DE102014106718A1 - Method and system for determining an objective situation - Google Patents
Method and system for determining an objective situation Download PDFInfo
- Publication number
- DE102014106718A1 DE102014106718A1 DE102014106718.5A DE102014106718A DE102014106718A1 DE 102014106718 A1 DE102014106718 A1 DE 102014106718A1 DE 102014106718 A DE102014106718 A DE 102014106718A DE 102014106718 A1 DE102014106718 A1 DE 102014106718A1
- Authority
- DE
- Germany
- Prior art keywords
- marker
- configuration
- elements
- carrier
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Abstract
Mit den Verfahren zur Bestimmung einer gegenständlichen Lage und einem System (1) zur Darbietung einer Blickfelddarstellung ist die Anordnung eines Markerträgers (3) mit Markerelementen in drei räumlichen Dimensionen (x, y, z) und in einer Orientierung (Θ) erfassbar. Eine Digitalkamera (7) und eine Recheneinheit (13) mit Algorithmen zur Auswertung von Bilddaten werden verwendet. Der Markerträger (3) weist mindestens zwei Trägerflächenelemente (27, 27V) mit Markerelementen (5) in einer flächenelementeweise abweichenden Markerkonfiguration auf. Ein Markererkennungsalgorithmus und ein Vergleichsalgorithmus sind zur Berechnung einer dreidimensionalen Markerpositionskonfiguration (43), welche die Lage ausmacht, vorgesehen. Es werden sequentiell Zuordnungen von drei gemeinsam sichtbaren Markerelementen (5) der Markerkonfiguration zu Markermodellkonfigurationen geprüft. Eine bekannte Ausgangslage lässt sich zur Verfolgung einer Bewegung des Markerträgers in eine geänderte gegenständliche Lage unter Berücksichtung verborgener Markerelemente einsetzen. In dem System (1) ausgeführt, können die gewonnene Position (x, y, z) und Orientierung (Θ) in einer errechneten Darstellung einer räumlichen Lage eines Blickfelds, z. B. in einen virtuellen Raum, auf einer Anzeigeeinheit (19), wie einer Videobrille (23), synchron zur Ausführung einer Bewegung gezeigt werden.With the method for determining an objective position and a system (1) for presenting a visual field representation, the arrangement of a marker carrier (3) with marker elements in three spatial dimensions (x, y, z) and in an orientation (Θ) can be detected. A digital camera (7) and a computing unit (13) with algorithms for the evaluation of image data are used. The marker carrier (3) has at least two carrier surface elements (27, 27V) with marker elements (5) in a region-wise deviating marker configuration. A marker recognition algorithm and a comparison algorithm are provided for calculating a three-dimensional marker position configuration (43) that makes up the location. Assignments of three mutually visible marker elements (5) of the marker configuration to marker model configurations are examined sequentially. A known starting position can be used to track a movement of the marker carrier into a changed objective position taking into account hidden marker elements. In the system (1) executed, the obtained position (x, y, z) and orientation (Θ) in a calculated representation of a spatial position of a field of view, for. In a virtual space, on a display unit (19), such as a video eyeglass (23), in synchronization with the execution of a movement.
Description
Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung einer gegenständlichen Lage gemäß Oberbegriff von Anspruch 1 und ein Verfahren zur Bestimmung einer geänderten gegenständlichen Lage gemäß Oberbegriff von Anspruch 8, mit denen insbesondere eine Position eines Gegenstands oder Körpers im Raum erfasst werden kann. Die vorliegende Erfindung betrifft weiterhin ein System zur Darbietung einer Blickfelddarstellung gemäß Oberbegriff von Anspruch 18, wobei mit dem System eine bestimmbare, gegenständliche Lage als ein räumlich veränderbares Blickfeld in eine computergenerierte Ansicht eines Raumabbilds, z. B. eines virtuellen Raums, einbeziehbar ist. The present invention relates to a method for determining an objective position according to the preamble of claim 1 and a method for determining a modified subject position according to the preamble of claim 8, with which in particular a position of an object or body can be detected in space. The present invention further relates to a system for presenting a field of view representation according to the preamble of claim 18, wherein the system is a determinable, representational position as a spatially variable field of view in a computer-generated view of a space image, z. B. a virtual space, can be included.
Stand der Technik State of the art
Aus dem Gebiet der Visualisierungstechnik, insbesondere im Bereich der sogenannten virtuellen Realität, sind bereits verschiedene Vorgehensweisen bekannt, mit denen z. B. eine Körperposition erfasst werden kann, um die daraus gewonnenen Daten z. B. für eine Computersimulation heranzuziehen. In dem Dokument
Eine andersartiges Verfahren mit Apparat, bei dem nur eine Kamera zum Einsatz kommt, wird in Dokument
Für die Erfassung einer Körperform z. B. eines menschlichen Körpers, wird in dem Dokument
Eine Methode zur Bestimmung einer Position eines Körpers nach kartesischen Koordinaten (x, y, z) mit Hilfe von wenigstens einem Markerobjekt von bekannten Abmessungen ist aus Dokument
Die Rotation eines Körpers wird in der Patentanmeldung
Die Verfolgung der Bewegung von Objekten die mit aktiv- oder passiv-strahlenden Markerelementen versehen sind, wird in Dokument
Zur Verbesserung der Identifizierbarkeit von einzelnen Markern, wird in der Patentanmeldung
Die in dem Dokument
Ein Verfahren und eine Vorrichtung zur Videoverfolgung eines Objekts mittels einer am Kopf montierten Bildanzeigevorrichtung, sind in Dokument
Weitere Aspekte zur Bestimmung einer Pose mit einer Kamera sind z. B. in den Dokumenten
Einzelne Aspekte, die bei der mathematischen Ausgestaltung von Algorithmen hilfreich sein können, sowie Erläuterungen zu Begrifflichkeiten sind in den folgenden Veröffentlichungen enthalten: Zu Struktur aus Bewegung (Structure-from-Motion) siehe
Ein Verfahren zur monokularen omnidirektionalen Erfassung von Kopfbewegungen im sichtbaren Lichtspektrum ist in dem Artikel von
Von dem Unternehmen ImmerSight GmbH wurde bereits eine Ausführungsform eines Markerträgers mit einem fünfeckigen Querschnitts präsentiert, auf dem mehrere Marker auf Flächenelementen angeordnet sind. Der Markerträger kann um den Kopf einer Person ungefähr auf Augenhöhe mittels einer Videobrille getragen werden. Die Kopfstellung und die Bewegung der Person im Raum werden in einem System über eine Kamera ermittelt. Die Kopfposition lässt sich in eine Präsentation einer virtuellen Umgebung, z. B. aus einem rechnergestützten Entwicklungsprogramm (CAD), zur Darstellung auf einer Videobrille umrechnen. Damit können bereits beeindruckende visuelle Darstellungen erzeugt werden. The company ImmerSight GmbH has already presented an embodiment of a marker carrier with a pentagonal cross section, on which several markers are arranged on surface elements. The marker carrier can be worn around a person's head at approximately eye level via video glasses. The head position and the movement of the person in the room are determined in a system via a camera. The head position translates into a presentation of a virtual environment, e.g. B. from a computer-aided development program (CAD), convert to display on a video glasses. This already impressive visual representations can be generated.
Aufgabenstellung task
Die Aufgabe der vorliegenden Erfindung besteht darin die Bestimmung einer Position weiter zu verbessern und möglichst exakte Positionsdaten in Echtzeit, oder zumindest in einer Zeitfolge die unterhalb der menschlichen Wahrnehmungsschwelle liegt, bereitzustellen. Nach einem weiteren Aspekt besteht eine Aufgabe darin, gewonnene Positionsdaten zur weiteren Verbesserung eines visuellen Eindrucks einer virtuellen Umgebung innerhalb eines Systems zu verwerten. Damit sollen z. B. Bewegungen in einer virtuellen Welt noch beeindruckender erscheinen, weil die Darstellung der Bewegung einem natürlichen bzw. einem tatsächlichen Bewegungsablauf noch besser entspricht. The object of the present invention is to further improve the determination of a position and to provide as exact as possible position data in real time, or at least in a time sequence which lies below the human perception threshold. In another aspect, an object is to utilize acquired positional data to further enhance a visual impression of a virtual environment within a system. This should be z. B. movements in a virtual world seem even more impressive, because the representation of the movement corresponds to a natural or an actual movement even better.
Erfindungsbeschreibung invention description
Die erfindungsgemäße Aufgabe wird durch den kennzeichnenden Teil eines Verfahrens nach Anspruch 1 und den kennzeichnenden Teil eines Verfahrens nach Anspruch 8 gelöst, sowie durch ein System, das die Merkmale des kennzeichnenden Teils von Anspruch 18 aufweist. The object of the invention is achieved by the characterizing part of a method according to claim 1 and the characterizing part of a method according to claim 8, as well as by a system having the features of the characterizing part of claim 18.
Die Pose eines Objekts, die auch als Lage eines Objekts bzw. Lage eines Gegenstands bezeichnet werden kann, wird aus Kamerabildern ermittelt. Positionsdaten können auch bei schnellen Bewegungen oder Drehungen in guter Qualität, d. h. insbesondere ununterbrochen, bereitgestellt werden. Bereits ein einziges Kamerabild kann ausreichen, um eine präzise Abschätzung für die Lage eines Objekts zu erhalten. Besonders zuverlässig sind erfindungsgemäße Verfahren, die es ermöglichen die Lage eines Objekts in jeder theoretisch einnehmbaren Pose zu bestimmen. Nach einem zeitlichen Aspekt kann eine einnehmbare Pose auch als eine geänderte gegenständliche Lage bezeichnet werden. Eine geänderte gegenständliche Lage lässt sich z. B. durch eine erste Bilddatenpixelanordnung und eine zweite Bilddatenpixelanordnung festhalten. Die geänderte gegenständliche Lage ist ausgehend von einer Ausgangslage einnehmbar. Die Ausgangslage kann daher auch als eine erste gegenständliche Lage bezeichnet werden. Vorzugweise werden die Bilder mit einer einzigen Kamera, wie eine schwarz/weiß-Kamera, aufgenommen. Handelsübliche Digitalkameras können verwendet werden. Die Aufnahmen erfolgen mit einer Bildwiederholrate. Die Bildwiederholrate hat eine Größe, mit der ein Bewegungsablauf insbesondere schrittweise, mit anderen Worten ohne Auslassung einzelner Bewegungsphasen, abbildbar ist. Die Bestimmung der Lage eines Objekts lässt sich besonders schnell ausführen, wenn eine Vorinformation über die geometrische Struktur des Objekts vorliegt. Eine anfängliche Bestimmung einer gegenständlichen Lage wird auch als Initialisierung bezeichnet. The pose of an object, which may also be referred to as the position of an object, is determined from camera images. Positional data can also be provided with fast movements or rotations in good quality, ie in particular uninterrupted. Already a single camera image can be sufficient to obtain a precise estimate of the position of an object. Particularly reliable are methods according to the invention which make it possible to determine the position of an object in each theoretically recordable pose. After a temporal aspect, an ingestible pose can also be referred to as a changed objective situation. A changed objective situation can be z. B. by a first image data pixel arrangement and a second image data pixel arrangement hold. The changed physical situation can be assumed starting from a starting position. The starting position can therefore also be referred to as a first objective position. Preferably, the pictures are taken with a single camera, such as a black and white camera. Commercially available digital cameras can be used. The pictures are taken at a refresh rate. The refresh rate has a size with which a sequence of movements, in particular stepwise, in other words without omission of individual movement phases, can be mapped. The determination of the position of an object can be carried out particularly quickly if there is a prior information about the geometric structure of the object. An initial determination of an objective situation is also called initialization.
Eine Objektstruktur lässt sich anhand einzelner Markerpunkte festlegen. Ein Markerpunkt kann eine Stelle des Objekts sein, die sich von einem Umgebungsbereich des Objekts unterscheidet. Es ist auch möglich, an einem Objekt Markerelemente vorzusehen. Ein Markerpunkt kann z. B. ein Mittelpunkt eines Markerelements sein. Anders gesagt kann durch ein Markerelement ein Punkt an einer Struktur eines Objekts messbar festgelegt sein. Die Festlegung ist nach einem Aspekt eindeutig. Eine Position eines Objektpunkts entspricht einer Position eines Markerpunkts. Auch die erhobene Position eines Markerpunkts legt die Position eines Objekts in drei Freiheitsgraden fest. Bei Objekten, die z. B. in Form oder Farbe veränderlich sind, ist es vorteilhaft für die Bestimmung einer gegenständlichen Lage, wenn dem veränderlichen Objekt ein Markerträger zugeordnet ist. Auf dem Markerträger sind Markerpunkte in Gestalt von Markerelementen angeordnet. Die Anordnung der Markerelemente zueinander ist festgelegt. Der Markerträger ist vorzugsweise forminvariant. Der Markerträger kann von dem Objekt oder von einer Person getragen werden. Nach einem Aspekt kann der Markerträger auch selbst als Objekt bezeichnet werden, dem eine gegenständliche Lage zukommt. Eine gegenständliche Lage wird eindeutig durch drei räumliche Dimensionen und eine Orientierung beschrieben. Durch ein Markerelement, insbesondere einen Mittelpunkt eines Markerelements, wird eine Position eines Objektpunkts angezeigt. An object structure can be defined using individual marker points. A marker point may be a location of the object that is different from a surrounding area of the object. It is also possible to provide marker elements on an object. A marker point may, for. B. be a center of a marker element. In other words, a point on a structure of an object can be measurably determined by a marker element. The definition is unique according to one aspect. A position of an object point corresponds to a position of a marker point. Also, the raised position of a marker point determines the position of an object in three degrees of freedom. For objects that z. B. are variable in shape or color, it is advantageous for the determination of an objective position when the variable object is associated with a label carrier. On the label carrier marker points are arranged in the form of marker elements. The arrangement of the marker elements to each other is fixed. The label carrier is preferably forminvariant. The marker carrier may be carried by the object or by a person. In one aspect, the marker carrier may also be referred to itself as an object to which an objective situation belongs. An objective situation is clearly described by three spatial dimensions and one orientation. By a marker element, in particular a center of a marker element, a position of an object point is displayed.
Die Markerelemente bilden in einer jeweiligen Position auf dem Markerträger eine Markerkonfiguration. Eine Mehrzahl von Markerelementen liegt in einer Konfiguration vor. Die Markerkonfiguration kann auch als eine Konfiguration von Markerpunkten bezeichnet werden. Die Markerkonfiguration ist z. B. aus der Herstellung des Markerträgers vorbekannt. Nach einem Aspekt liegt die bekannte Markerkonfiguration als Datensatz vor, die auch als Markerkonfigurationsdaten bezeichnet werden. Es ist auch möglich die Markerkonfiguration an einem veränderbaren Markerträger durch einen Algorithmus, insbesondere aus einer Folge von zweidimensionalen Bildern, zu ermitteln. Der Markerträger oder auch die Markerkonfiguration ist zumindest einem Koordinatentupel eines Objekts zuordnenbar, wobei das Koordinatentupel zumindest drei räumliche Dimensionen und eine Orientierung beschreibt. Eine in einem Raum eingenommene Lage einer Markerkonfiguration, insbesondere bezogen auf einen Fixpunkt des Raums, wird auch als Markerpositionskonfiguration bezeichnet. Eine Markermodellkonfiguration umfasst eine Konfiguration von Markerpunktkoordinaten, die eine rechnerisch bereitgestellte Markerpositionskonfigurationshypothese darstellt. The marker elements form a marker configuration in a respective position on the label carrier. A plurality of marker elements exist in a configuration. The marker configuration may also be referred to as a configuration of marker points. The marker configuration is z. B. from the production of the label carrier previously known. In one aspect, the known marker configuration exists as a data set, also referred to as marker configuration data. It is also possible to determine the marker configuration on a changeable marker carrier by an algorithm, in particular from a sequence of two-dimensional images. The marker carrier or else the marker configuration can be assigned to at least one coordinate tuple of an object, wherein the coordinate tuple describes at least three spatial dimensions and one orientation. A position of a marker configuration taken in a room, in particular with reference to a fixed point of the room, is also referred to as marker position configuration. A marker model configuration includes a marker point coordinate configuration that represents a computationally provided marker position configuration hypothesis.
Die Bestimmung der Pose bzw. der Lage erfolgt mit einer Digitalkamera. Die Digitalkamera kann einen Markerträger filmen oder fotografieren. Die optischen Kamerabilder werden in der Digitalkamera in elektronische Daten, die auch als Bilddaten bezeichnet werden, gewandelt. Die Bilddaten werden einer Recheneinheit zugeführt, welche insbesondere eine Speichereinheit aufweist. Zwischen der Recheneinheit und der Digitalkamera liegt eine Bilddatenerfassungsverbindung vor, die z. B. über eine Leitungsverbindung oder als eine Funkverbindung, wie eine Infrarotverbindung, ausgebildet sein kann. In der Recheneinheit wird die gegenständliche Lage bestimmt. Die Recheneinheit wertet Bilddaten aus. Die Bilddaten dienen der Bestimmung der Lage eines Objekts, die zu dem Zeitpunkt der Bilderfassung eingenommen ist. In Versuchen hat sich herausgestellt, dass Verfahren zur Bestimmung einer gegenständlichen Lage besonders genau arbeiten, wenn ein Markerträger verwendet wird, der mindestens sechs Markerelemente in einer vorbekannten Markerkonfiguration aufweist. Die Markerelemente sind zueinander beabstandet angeordnet. Die Markerkonfiguration nimmt auf dem Markerträger eine Position ein. Durch die Markerkonfiguration auf dem Markerträger lässt sich eine Richtung bezogen auf den Markerträger festlegen. Eine Richtung kann z. B. mit einer Orientierung angegeben werden. Die dem Markerträger zugeordnete Richtung kann eine Richtung eines Objekts, wie eine Drehrichtung, eine Bewegungsrichtung, eine Laufrichtung oder eine Flugrichtung, die auch als Translationsrichtung oder Rotationsrichtung bezeichnet werden können, sein. Der Markerträger ist an einem Objekt befestigbar. Die Richtung kann allerdings auch eine Kopfstellung oder eine Blickrichtung einer Person sein, die den Markerträger z. B. auf dem Kopf trägt. Position, Richtung oder auch Orientierung können z. B. mittels Koordinaten oder Vektoren abstrakt, insbesondere zusammengefasst als Datentupel, dargestellt werden. The determination of the pose or the situation is carried out with a digital camera. The digital camera can film or photograph a marker carrier. The optical camera images are converted in the digital camera into electronic data, which are also referred to as image data. The image data are supplied to a computing unit, which in particular has a memory unit. Between the arithmetic unit and the digital camera is an image data acquisition connection, the z. B. via a line connection or as a radio connection, such as an infrared connection may be formed. In the arithmetic unit, the objective position is determined. The arithmetic unit evaluates image data. The image data serve to determine the position of an object, which is taken at the time of image acquisition. In experiments, it has been found that methods for determining an objective position work particularly accurately when a marker carrier is used which has at least six marker elements in a previously known marker configuration. The marker elements are arranged at a distance from one another. The marker configuration takes a position on the marker carrier. The marker configuration on the marker carrier allows you to specify a direction relative to the marker carrier. One direction can z. B. be given with an orientation. The direction associated with the marker carrier may be a direction of an object, such as a direction of rotation, a direction of movement, a direction of travel or a direction of flight, which may also be referred to as a translation direction or a direction of rotation. The marker carrier can be attached to an object. However, the direction can also be a head position or a line of sight of a person who the marker carrier z. B. carries on the head. Position, direction or orientation can z. B. by means of coordinates or vectors abstract, in particular summarized as a data tuple represented.
Ein Markerelement nimmt im Raum eine Markerposition ein. Die Markerposition ist von der Digitalkamera erfassbar. Die Digitalkamera zeichnet Licht, das von einem Markerelement ausgeht, auf. Licht, das von dem Markerelement aktiv oder passiv ausgesendet werden kann, wird durch einen Kamerachip auf eine elektronische Bilddatenpixelanordnung abgebildet. Der Raumbereich in drei Dimensionen, in dem sich ein Markerelement befindet, wird auf eine zweidimensionale Pixelanordnung abgebildet, aus der die zu erfassenden Bilddaten hervorgehen. In der Recheneinheit werden die Bilddaten bzw. die Bilddatenpixelanordnung ausgewertet. Vorzugsweise nimmt ein Markerelement in der Bilddatenpixelanordnung mindestens ein Pixel ein, womit ein von der Digitalkamera zu leistendes Auflösungsvermögen festgelegt werden kann. Nach einem anderen Aspekt bestimmt eine Pixelgröße im Verhältnis zu einer Markergröße bei einem gegebenen, festliegenden Abbildungsverhältnis durch eine Digitalkamera einen, vorzugsweise maximalen, Abstand zwischen der Digitalkamera und dem Markerelement. Aufgrund der innerhalb eines Pixels erfolgten Helligkeitsintegration und der möglichen Aufteilung der Helligkeit eines Markerelements, z. B. über vier in einem Quadrat angeordnete Pixel, sollte das Auflösungsvermögen, zumindest bei passiven, lichtstreuenden Markerelementen, nicht unterschritten werden. Damit ist ein Markerelement in einer Bilddatenpixelanordnung als ein Markerbildbereich auffindbar. A marker element occupies a marker position in space. The marker position can be detected by the digital camera. The digital camera records light emanating from a marker element. Light which can be actively or passively emitted by the marker element is imaged by a camera chip onto an electronic image data pixel arrangement. The space area in three dimensions, in which a marker element is located, is imaged onto a two-dimensional pixel arrangement, from which the image data to be acquired emerge. The image data or the image data pixel arrangement are evaluated in the arithmetic unit. Preferably, a marker element in the image data pixel arrangement occupies at least one pixel, whereby a can be determined by the digital camera to be resolved resolution. In another aspect, a pixel size relative to a marker size at a given fixed imaging ratio by a digital camera determines a, preferably maximum, distance between the digital camera and the marker element. Due to the integration of brightness within a pixel and the possible distribution of the brightness of a marker element, e.g. B. over four pixels arranged in a square, the resolution should, at least for passive, light-scattering marker elements, not be exceeded. Thus, a marker element can be found in an image data pixel arrangement as a marker image area.
In der Recheneinheit kann ein Verfahren, wie das Verfahren zur Bestimmung einer gegenständlichen Lage, durch einen Softwarecode programmiert sein. Die Recheneinheit führt Algorithmen aus. Ein Algorithmus kann nach einem Systemaspekt auch als eine Einheit bezeichnet werden, die in der Recheneinheit vorliegen. Anders gesagt sind Algorithmen Untereinheiten einer Recheneinheit, die neben den internen Betriebseinheiten der Recheneinheit zur Ausführung vorgehalten werden. In the arithmetic unit, a method such as the method for determining an objective position may be programmed by a software code. The arithmetic unit executes algorithms. An algorithm can also be referred to as a unit according to a system aspect, which are present in the arithmetic unit. In other words, algorithms are subunits of a computing unit, which are kept ready for execution in addition to the internal operating units of the computing unit.
Die Recheneinheit ist mit einem Markererkennungsalgorithmus ausgestattet. Der Markererkennungsalgorithmus dient der Auffindung eines Markerbildbereichs in der zweidimensionalen Bilddatenpixelanordnung. Vorzugsweise wird jeder der abgebildeten Markerelemente als Markerbildbereich von dem Markererkennungsalgorithmus aufgefunden. Als Markererkennungsalgorithmus eignet sich z. B. die sogenannte Hough-Transformation. Die Hough-Transformation ist ein robustes globales Verfahren zur Erkennung von Geraden, Kreisen oder beliebigen anderen parametrisierbaren geometrischen Figuren in einem binären Gradientenbild, also einem Schwarz-Weiß-Bild, anhand des Auffindens von Kanten. Die Hough-Transformation eignet sich, um kugelförmige Marker oder Markerelemente in einer Bilddatenpixelanordnung zu erkennen. The arithmetic unit is equipped with a marker recognition algorithm. The marker recognition algorithm serves to find a marker image area in the two-dimensional image data pixel arrangement. Preferably, each of the imaged marker elements is found as a marker image area by the marker recognition algorithm. As a marker recognition algorithm is z. B. the so-called Hough transformation. The Hough transform is a robust global method of recognizing straight lines, circles, or any other parametrizable geometric shape in a binary gradient image, that is, a black and white image, by finding edges. The Hough transform is useful for detecting spherical markers or marker elements in an image data pixel array.
Die zweidimensionale Bilddatenpixelanordnung wird verwendet, um eine dreidimensionale Markerpositionskonfiguration zu berechnen. Die dreidimensionale Markerpositionskonfiguration kann als die räumliche Anordnung, in der die Markerelemente im Aufnahmebereich der Digitalkamera vorliegen, bezeichnet werden. Nach einem Aspekt ist in der Markerpositionskonfiguration auch der Abstand zwischen Markerträger und Digitalkamera enthalten. Abstandsänderungen zwischen einer Markerkonfiguration und einer Digitalkamera sind schnell auswertbar. Marker können auch als Markerelemente bezeichnet werden. Nach einem Aspekt können Marker Markerelemente umfassen. The two-dimensional image data pixel array is used to calculate a three-dimensional marker position configuration. The three-dimensional marker position configuration may be referred to as the spatial arrangement in which the marker elements are present in the receiving area of the digital camera. In one aspect, the marker position configuration also includes the distance between the marker carrier and the digital camera. Distance changes between a marker configuration and a digital camera can be evaluated quickly. Markers can also be referred to as marker elements. In one aspect, markers may include marker elements.
Der Markerträger weist mindestens zwei fest miteinander verbundene Trägerflächenelemente auf, die als ein erstes und als ein zweites Trägerflächenelement bezeichnet werden können. Ein Trägerflächenelement ist ein Flächenelement, das vorzugsweise ein Verhältnis von einer Längsseite zu einer Schmalseite aufweist, das z. B. ein Verhältnis von 10:1 nicht überschreitet. Das kann Trägerflächenelement zur Längsseite und Schmalseite noch eine Dicke aufweist, die insbesondere weniger als 10 mm (Millimeter), vorzugsweise weniger als 2 mm beträgt. Ein Trägerflächenelement ist vorzugsweise ebenflächig. Auf dem Trägerflächenelement angeordnete Markerelemente verschwinden bei einer Winkelstellung des Trägerflächenelements bezogen auf die Digitalkamera nicht hinter dem Horizont einer Wölbung. Das erste und das zweite Trägerflächenelement weisen eine Winkelstellung zueinander auf. Ein Winkel zwischen zwei Trägerflächenelementen beträgt vorzugsweise mindestens 90°. Dem ersten Trägerflächenelement sind mindestens drei der mindestens sechs Markerelemente zugeordnet. Die Markerelemente besitzen eine zwei- oder drei-dimensionale Form, die sie von dem Trägerflächenelement unterscheidet. Markerelemente sind z. B. kugelförmige Objekte, die auf dem Trägerflächenelement angeordnet sind. Weitere Markerelemente sind dem zweiten Trägerflächenelement oder auch weiteren, vorliegenden Trägerflächenelementen zugeordnet. Das erste Trägerflächenelement mit den zugeordneten Markerelementen unterscheidet sich von dem zweiten Trägerflächenelements durch die zugeordneten Markerelementen und insbesondere von allen weiterer Trägerflächenelemente mit zugeordneten Markerelementen. Die Unterscheidbarkeit ergibt sich aus der abweichenden Konfigurierung der Markerelemente auf einem jeweiligen Trägerflächenelement. Bei gleichartigen Markerelementen unterscheiden sich vorzugsweise die Abstände, die die Markerelemente auf einem Trägerflächenelement zueinander aufweisen. Liegen die Markerelemente auf einem Trägerflächenelement in einer Dreieckskonfiguration vor, so ist vorzugsweise zumindest einer der Dreieckswinkel nur einmalig in der vorbekannten Markerkonfiguration vorhanden. Vorteilhaft ist es auch, wenn alle Dreieckswinkel, die in der Markerkonfiguration, insbesondere auf einem Trägerflächenelement, vorliegen, voneinander abweichen. Die Markerelemente der Markerkonfiguration sind bereichsweise unterscheidbar konfiguriert. The marker carrier has at least two fixedly connected carrier surface elements, which may be referred to as a first and a second carrier surface element. A support surface element is a surface element, which preferably has a ratio of one longitudinal side to a narrow side, the z. B. does not exceed a ratio of 10: 1. This can carrier element to the longitudinal side and narrow side still has a thickness which is in particular less than 10 mm (millimeters), preferably less than 2 mm. A carrier surface element is preferably planar. On the support surface element arranged marker elements disappear at an angular position of the support surface element relative to the digital camera not behind the horizon of a curvature. The first and the second carrier surface element have an angular position to each other. An angle between two carrier surface elements is preferably at least 90 °. At least three of the at least six marker elements are assigned to the first carrier surface element. The marker elements have a two- or three-dimensional shape that distinguishes them from the support surface element. Marker elements are z. B. spherical objects which are arranged on the support surface element. Further marker elements are assigned to the second carrier surface element or also further, present carrier surface elements. The first carrier surface element with the associated marker elements differs from the second carrier surface element by the associated marker elements and in particular by all other carrier surface elements with associated marker elements. The distinctiveness results from the different configuration of the marker elements on a respective support surface element. In the case of similar marker elements, the distances which the marker elements have on a carrier surface element to one another differ preferably. If the marker elements are present on a carrier surface element in a triangular configuration, preferably at least one of the triangular angles is present only once in the previously known marker configuration. It is also advantageous if all triangular angles which are present in the marker configuration, in particular on a carrier surface element, deviate from one another. The marker elements of the marker configuration are configured in different ways.
Die Berechnung der Markerpositionskonfiguration erfolgt aus drei gemeinsam für die Digitalkamera sichtbaren Markerelementen, die in der Markerkonfiguration vorliegen. Bei der Berechnung kommt ein Vergleichsalgorithmus zum Einsatz. Der Vergleichsalgorithmus wird auf drei gemeinsam von der Digitalkamera in einer Bilddatenpixelanordnung erfasste Markerelemente, die der Markerkonfiguration angehören, und eine Markermodellkonfiguration angewendet. Anders gesagt wird der Vergleichsalgorithmus auf die Bildbereiche der Markerelemente, insbesondere auf einen Koordinatensatz des jeweiligen Bildbereichs angewendet. Die Markermodellkonfiguration geht aus der bekannten Markerkonfiguration hervor. Die Markermodellkonfiguration ist eine perspektivische Darstellung der Markerkonfiguration, die z. B. als ein Datensatz in der Recheneinheit vorliegt. Die Markermodellkonfiguration wird, insbesondere bereichsweise, vorzugsweise mit einem Projektionsalgorithmus, auf die Ebene der Markerbildbereiche projiziert. Mathematisch wird die Projektion mit einer sogenannten Projektionsgleichung durchgeführt, deren Lösung in der Recheneinheit erfolgt. Die Projektion wird auf drei Markerbildbereiche gerichtet. Die drei Markerbildbereiche sind eine Untergruppe aus allen aufgefundenen Markerbildbereichen einer Bilddatenpixelanordnung. Die Untergruppe kann z. B. auch fünf Markerbildbereiche umfassen aus denen verschiedene Kombinationen von drei Markerbildbereichen gebildet werden. The marker position configuration is calculated from three common marker elements visible to the digital camera, which are present in the marker configuration. The calculation uses a comparison algorithm. The comparison algorithm is applied to three marker elements collectively acquired by the digital camera in an image data pixel arrangement, which belong to the marker configuration, and a marker model configuration applied. In other words, the comparison algorithm is applied to the image areas of the marker elements, in particular to a coordinate set of the respective image area. The marker model configuration is based on the known marker configuration. The marker model configuration is a perspective view of the marker configuration, e.g. B. is present as a record in the arithmetic unit. The marker model configuration is projected onto the level of the marker image areas, in particular in regions, preferably with a projection algorithm. Mathematically, the projection is performed with a so-called projection equation, which is solved in the arithmetic unit. The projection is directed to three marker image areas. The three marker image areas are a subset of all found marker image areas of an image data pixel array. The subgroup can z. B. also include five marker image areas from which various combinations of three marker image areas are formed.
Verschiedene Markermodellkonfigurationen werden sequenziell mit drei Markerbildbereichen verglichen. Der Vergleich kann auch auf parallelen Prozessoren einer Recheneinheit ausgeführt werden. Der Vergleichsalgorithmus bestimmt mindestens einen Genauigkeitswert des Vergleichs. Der Genauigkeitswert kann z. B. ein Koordinatendifferenzwert, ein Schrittweitewert oder ein Schrittzahlwert sein. Der mindestens eine Genauigkeitswert ist einer Markermodellkonfiguration zugeordnet. Ein Vergleich von Genauigkeitswerten verschiedener Markermodellkonfigurationen zeigt an, welche Markermodellkonfiguration der Markerpositionskonfiguration entspricht. Es wird rechnerisch festgelegt, welche räumliche Position und welche Orientierung die Markerpositionskonfiguration aufweist. Position und Orientierung werden anhand der zuordnenbaren Markermodellkonfiguration ausgewählt, nämlich der Markermodellkonfiguration, die am Besten zu den Markerbildbereichen passt. Damit ist die gegenständliche Lage erkannt. Insbesondere liegen die drei räumlichen Dimensionen und eine Orientierung in einer Koordinatendarstellung vor. Die eindeutig ermittelten Koordinaten, welche die Lage beschreiben, können von der Recheneinheit in zusätzlichen Algorithmen weiterverwendet werden. Die gegenständliche Lage, die z. B. von einem Objekt oder einer Person, welcher der Markerträger zugeordnet ist, zumindest nach einem Aspekt eingenommen ist, ist somit bestimmt. Demnach ist die Lage erkannt oder anders gesagt ausgemacht. Different marker model configurations are compared sequentially with three marker image areas. The comparison can also be carried out on parallel processors of a computing unit. The comparison algorithm determines at least one accuracy value of the comparison. The accuracy value can z. For example, it may be a coordinate difference value, a step size value, or a step count value. The at least one accuracy value is associated with a marker model configuration. A comparison of accuracy values of different marker model configurations indicates which marker model configuration corresponds to marker position configuration. It is computationally determined which spatial position and which orientation has the marker position configuration. Position and orientation are selected based on the assignable marker model configuration, the marker model configuration that best fits the marker image areas. Thus the objective situation is recognized. In particular, the three spatial dimensions and an orientation are present in a coordinate representation. The uniquely determined coordinates which describe the position can be used by the computing unit in additional algorithms. The objective situation, the z. B. of an object or a person, which is assigned to the marker carrier, at least taken in one aspect is thus determined. Accordingly, the situation is recognized or stated otherwise.
Es ist auch möglich mit einem erfindungsgemäßen Verfahren schnell eine geänderte gegenständliche Lage zu bestimmen. Eine geänderte gegenständliche Lage liegt insbesondere dann vor, wenn ein Markerträger ausgehend von einer ersten Position eine zweite Position einnimmt. Beispielsweise kann eine Person oder ein Objekt, das dem Markerträger zugeordnet ist, eine Pose einnehmen. Eine Pose ist z. B. eine Neigung eines Markerträgers, die einer Kopfneigung entspricht. Eine Pose ist auch eine Drehstellung eines Markerträgers, die einer Kopfdrehung entspricht. Nach einem Aspekt umfasst die Pose eine Position eines Markerträgers im Raum und eine Orientierung des Markerträgers. Es kann auch von einem Ort und von einer Neigung des Markerträgers gesprochen werden. Die Orientierung ist nach einem weiteren Aspekt eine dem Markerträger zugeordnete Richtung. In jedem Fall liegt eine geänderte gegenständliche Lage im Ablauf einer Bewegung vor. Die geänderte gegenständliche Lage ist mit einer Digitalkamera aufzeichenbar. Eine geänderte gegenständliche Lage ist eine gegenständliche Lage, die ausgehend von einer Ausgangslage eingenommen worden ist. Eine Änderung der gegenständlichen Lage ist als eine zeitliche Folge von Änderungsschritten, die auch als Bewegungsschritte bezeichnet werden können, beschreibbar. Die gegenständliche Lage nach einem Änderungsschritt ist in einer Bilddatenpixelanordnung erfassbar. Nach einem Aspekt kann eine Ausgangslage eine bekannte Markerkonfiguration sein, die als Koordinatensatz, der alle Markerelemente einzeln umfasst, in der Recheneinheit vorliegt. Die Ausgangslage kann z. B. durch eine Erfassung von Markerbildbereichen mit einer Digitalkamera in einer ersten Bilddatenpixelanordnung in einer Recheneinheit bestimmt worden sein. Die Ausgangslage kann allerdings auch iterativ aus einer zeitlich zurückliegenden Auswertung von Markerbildbereichen bestimmt worden sein. Hierzu eignet sich z. B. eine Folge von zweidimensionalen Bilddatenpixelanordnungen, die in einem Ablauf einer Bewegung mit dem Markerträger aufgezeichnet wurde, wobei vorzugsweise alle Seiten des Markerträgers der Digitalkamera gezeigt werden. It is also possible with a method according to the invention to quickly determine a changed physical position. An altered physical situation exists in particular when a marker carrier assumes a second position starting from a first position. For example, a person or an object associated with the marker carrier can pose. A pose is z. B. an inclination of a marker carrier, which corresponds to a head tilt. A pose is also a rotational position of a marker carrier, which corresponds to a head rotation. In one aspect, the pose includes a position of a marker carrier in the space and an orientation of the marker carrier. It can also be spoken of a place and a tendency of the brand owner. The orientation is, according to another aspect, a direction associated with the marker carrier. In any case, there is a changed physical situation in the course of a movement. The changed physical situation can be recorded with a digital camera. A changed objective situation is a representational situation that has been assumed from an initial situation. A change in the present situation can be described as a chronological sequence of change steps, which can also be referred to as movement steps. The physical position after a modification step can be detected in an image data pixel arrangement. In one aspect, a seed may be a known marker configuration that exists in the arithmetic unit as a set of coordinates that includes all marker elements individually. The starting position can z. B. be determined by a detection of marker image areas with a digital camera in a first image data pixel arrangement in a computing unit. However, the starting position may also have been determined iteratively from a past evaluation of marker image areas. This is z. A sequence of two-dimensional image data pixel arrays recorded in a sequence of movement with the marker carrier, preferably showing all sides of the mark carrier of the digital camera.
Bei der Aufzeichnung der Bewegung durch die Digitalkamera wird eine zeitliche Abfolge von Bilddatenpixelanordnungen aufgenommen. Ausgehend von einer ersten Bilddatenpixelanordnung, aus der heraus eine Ausgangslage festgelegt ist, wird mindestens eine weitere Bilddatenpixelanordnung aufgenommen und als Datensatz der Recheneinheit zugeführt. Diese weitere, zweidimensionale Bilddatenpixelanordnung weist in Folge einer Bewegung geänderte Markerbildbereiche auf. Geänderte Markerbildbereiche zeigen eine geänderte gegenständliche Lage an. Hierbei ist es einerseits möglich, dass eine Bewegung des Markerträgers erfolgt ist. Andererseits können geänderte Markerbildbereiche auch durch eine Bewegung der Digitalkamera vorliegen, wobei vorzugsweise der Markerträger sich an einer ortsfesten Position befindet. Es ist auch möglich, dass geänderte Bildbereiche aufgrund einer Relativbewegung zwischen Markerträger und Digitalkamera vorliegen. Mittels des erfindungsgemäßen Verfahrens kann insbesondere eine geänderte relative gegenständliche Lage bestimmt werden. When recording the motion through the digital camera, a temporal sequence of image data pixel arrays is captured. Starting from a first image data pixel arrangement, from which an initial position is determined, at least one further image data pixel arrangement is recorded and fed as a data set to the arithmetic unit. This further, two-dimensional image data pixel arrangement has changed marker image areas as a result of a movement. Modified marker image areas indicate a changed objective situation. On the one hand, it is possible that a movement of the marker carrier has taken place. On the other hand, changed marker image areas can also be present through a movement of the digital camera, the marker carrier preferably being in a stationary position. It is also possible that altered image areas are present due to a relative movement between marker carrier and digital camera. By means of the method according to the invention in particular, a changed relative objective position can be determined.
Eine geänderte gegenständliche Lage ist durch eine Position und/oder eine Orientierung beschreibbar. Die geänderte Position und/oder die geänderte Orientierung können einem Objekt zugeordnet sein. Die Position bzw. die Orientierung lassen sich z. B. durch Koordinaten eines Koordinatensystems benennen. Es können Datentupel für einen Punkt im Koordinatensystem oder für eine Richtung im Koordinatensystem angegeben werden. Der Ursprung des Koordinatensystems kann theoretisch in die Digitalkamera gesetzt sein. Der Ursprung des Koordinatensystems kann aber auch in einen Punkt, wie den Mittelpunkt eines Markerträgers gesetzt sein. Es ist auch möglich dass der Ursprung des Koordinatensystems als ein Fixpunkt raumfest vorliegt. Der Zeitpunkt in dem die geänderte gegenständliche Lage vorliegt, bestimmt auch das Vorliegen einer zugeordneten Markerpositionskonfiguration. Andererseits kann aus Kenntnis der Markerpositionskonfiguration auch eine, insbesondere geänderte, gegenständliche Lage vorgegeben werden. Eine Markerpositionskonfiguration ist aus den Markerbildbereichen, die in einer weiteren Bilddatenpixelanordnung enthalten sind, festlegbar. Bei der Bestimmung der Markerpositionskonfiguration wird auch eine Markermodellkonfiguration herangezogen, die der Ausgangslage entspricht. Ein Vergleichsalgorithmus wird auf eine Anordnung von ausgewählten Markerbildbereichen und eine Markermodellkonfiguration angewendet. Bei dem Vergleich kann ein Markerbildbereich in der weiteren Bilddatenpixelanordnung aufgesucht werden, der zu einem Markerbildbereich in der Ausgangslage, insbesondere einem dem Markerbildbereich in der Ausgangslage zugeordneten Koordinatenpunkt, einen im Vergleich zu anderen Markerbildbereichen der weiteren Bilddatenpixelanordnung, insbesondere zu deren jeweiligen Koordinatenmittelpunkt, kleinsten Abstand aufweist. Ein solcher Bildbereich wird auch als nächster Nachbar bezeichnet. Nächste Nachbarn können auch für mindestens drei Markerbildbereiche, z. B. für jeweils zugeordnete Koordinatenpunkte, insbesondere der weiteren Bilddatenpixelanordnung, bestimmt werden. A changed physical position can be described by a position and / or an orientation. The changed position and / or the changed orientation can be assigned to an object. The position or orientation can be z. B. by coordinates of a coordinate system naming. You can specify data tuples for a point in the coordinate system or for a direction in the coordinate system. The origin of the coordinate system can theoretically be set in the digital camera. The origin of the coordinate system can also be set in a point, such as the center of a marker carrier. It is also possible that the origin of the coordinate system is fixed in space as a fixed point. The time at which the altered physical position is present also determines the presence of an associated marker position configuration. On the other hand, knowing the marker position configuration, it is also possible to specify a, in particular altered, objective position. A marker position configuration is determinable from the marker image areas included in another image data pixel array. When determining the marker position configuration, a marker model configuration is also used which corresponds to the starting position. A comparison algorithm is applied to an array of selected marker image areas and a marker model configuration. In the comparison, a marker image area can be visited in the further image data pixel arrangement, which has a smallest distance to a marker image area in the starting position, in particular a coordinate point assigned to the marker image area in the starting position, compared to other marker image areas of the further image data pixel arrangement, in particular to their respective coordinate center , Such an image area is also referred to as the nearest neighbor. Next neighbors can also be used for at least three marker image areas, eg. B. for each associated coordinate points, in particular the further image data pixel arrangement, are determined.
Wenn ein Markerbildbereich in der Bilddatenpixelanordnung nicht erscheint, weil ein entsprechendes Markerelement z. B. durch ein zweites Markerelement verdeckt ist, so kann aufgrund bekannter Markerkonfiguration auf einen solchen verdeckten, weiteren Markerbildbereich rückgeschlossen werden. Das Verfahren wird insbesondere dadurch robust, dass nicht alle Markerelemente des Markerträgers von der Digitalkamera aufgezeichnet werden müssen. Aufgrund der Vorkenntnis über eine Geometrie des Markerträgers und der Vorkenntnis über eine Markerkonfiguration ist bekannt, in welcher Modellansicht Markerträger und zugeordnete Markerelemente für die Digitalkamera sichtbar sind. Solche „sichtbaren“ Markerelemente sind bei der Auswertung einer Markermodellkonfiguration besonders zu berücksichtigen. Damit liegt ein Ergebnis des Vergleichsalgorithmus, der auf Markermodellkonfigurationen und auf Markerbildbereiche angewendet wird, schneller vor. Weiterhin wird auch die Leistungsfähigkeit eines numerischen Optimierungsverfahrens, das auf die im Vergleichsalgorithmus vorausgewählte Markermodellkonfiguration angewendet wird, noch mehr verbessert. If a marker image area does not appear in the image data pixel array because a corresponding marker element is e.g. B. is covered by a second marker element, it can be deduced on the basis of known marker configuration on such a hidden, further marker image area. The method is particularly robust in that not all marker elements of the marker carrier must be recorded by the digital camera. Due to the prior knowledge of a geometry of the marker carrier and the prior knowledge of a marker configuration, it is known in which model view marker carrier and associated marker elements are visible to the digital camera. Such "visible" marker elements should be given special consideration when evaluating a marker model configuration. Thus, a result of the comparison algorithm applied to marker model configurations and marker image areas is faster. Furthermore, the performance of a numerical optimization method applied to the preselected marker model configuration in the comparison algorithm is even more improved.
Das Verfahren gewinnt eine besondere Genauigkeit insbesondere dadurch, dass eine Markerpositionskonfiguration eine Markerkonfiguration von einer Mehrzahl von Markern an einer Position im Raum aufweist. Die Markerkonfiguration liegt auf einem Markerträger vor. Der Markerträger weist mindestens zwei Flächenelemente auf. Die Marker auf den Flächenelementen stellen in der Gestalt des Markerträgers an einem Ort im Raum und in einer Orientierung im Raum eine Markerpositionskonfiguration dar. Die Marker, liegen in einer flächenelementweisen Anordnung vor. Die Anordnung auf einem ersten Flächenelement und die Anordnung auf einem zweiten Flächenelement unterscheiden sich. Allerdings können die Marker auch in ein Flächenelement räumlich integriert sein, z. B. als weiße oder farbige Flächenbereiche. Auf das jeweilige Flächenelement bezogen, weisen die Marker auf dem ersten Flächenelement eine andere Position auf als die Marker auf dem zweiten Flächenelement. Die Marker auf einem ersten und einem zweiten Flächenelement können nicht deckungsgleich übereinander gebracht werden. Vorzugsweise sind die Markerpositionen auf dem ersten Flächenelement und die Markerpositionen auf dem zweiten Flächenelement weder durch Drehung, noch durch Verschiebung, noch durch gleichmäßige Streckung der Konfiguration, noch durch eine Kombination dieser Operationen ineinander überführbar. Anders gesagt weicht die Anordnung von Markern, die ein erstes Flächenelement aufweist, von einer Anordnung von Markern, die ein zweites Flächenelement aufweist, ab. Zwar können drei nichtlinear angeordnete Marker durch eine räumliche Drehung immer in eine räumliche Anordnung verbracht werden. Deren Projektion auf eine ebene Fläche, wie dem Sensor einer Digitalkamera, könnte einer zweiten, ebenen Dreiecksanordnung von Markerelementen gleichen. Diese grundsätzlich bekannte Möglichkeit ist allerdings durch die Markerkonfiguration, die auf Flächenelemente bezogen ist, ausgeschlossen. Markerelemente, die auf Flächenelementen konfiguriert sind, sind nicht gruppenweise frei zueinander räumlich veränderbar. Folglich sind die Markerelemente auch in der Projektion auf eine Bilddatenpixelanordnung flächenelementeweise unterscheidbar. Insbesondere ist die Anordnung von Markerelementen auf zueinander benachbarten Flächenelementen so konfiguriert, dass in der Projektion auf eine Fläche in einer Digitalkamera Markerelemente eines ersten Flächenelements nicht z. B. dreiecksgleich zu Markerelementen eines zweiten Flächenelements vorliegen. Ein zweites Flächenelement ist zu einem ersten Flächenelement benachbart, wenn zwischen dem ersten und dem zweiten Flächenelement kein weiteres Flächenelement vorliegt. Ein Vergleichsalgorithmus, angewendet auf die Marker des ersten Flächenelements und die Marker weiterer Flächenelemente, wird keine Übereinstimmung zwischen der jeweiligen Markerkonfiguration feststellen. Zwei beliebig auswählbare Flächenelemente von allen vorgesehenen Trägerflächenelementen differieren in der Konfiguration der jeweiligen Marker eines Flächenelements. The method gains particular accuracy, in particular, in that a marker position configuration has a marker configuration of a plurality of markers at a position in space. The marker configuration is present on a marker carrier. The marker carrier has at least two surface elements. The markers on the surface elements represent a marker position configuration in the shape of the marker support at a location in space and in an orientation in space. The markers are in a planar element-wise arrangement. The arrangement on a first surface element and the arrangement on a second surface element differ. However, the markers can also be spatially integrated into a surface element, for. B. as white or colored areas. With respect to the respective surface element, the markers on the first surface element have a different position than the markers on the second surface element. The markers on a first and a second surface element can not be superimposed on each other. Preferably, the marker positions on the first surface element and the marker positions on the second surface element can be converted into one another neither by rotation, nor by displacement, nor by uniform extension of the configuration, nor by a combination of these operations. In other words, the arrangement of markers having a first surface element differs from an arrangement of markers having a second surface element. Although three non-linearly arranged markers can always be brought into a spatial arrangement by a spatial rotation. Their projection onto a flat surface, such as the sensor of a digital camera, could be like a second, flat triangular array of marker elements. However, this basically known possibility is excluded by the marker configuration, which is based on surface elements. Marker elements that are configured on surface elements can not be spatially modified in groups. Consequently, the marker elements can also be differentiated surface-element wise in the projection onto an image data pixel arrangement. In particular, the arrangement of marker elements on adjacent surface elements is configured such that in the projection onto an area in a digital camera marker elements of a first surface element not z. B. triangular equal to marker elements of a second surface element. A second surface element is adjacent to a first surface element, if there is no further surface element between the first and the second surface element. A comparison algorithm applied to the markers of the first area element and the markers of other area elements will not find a match between the respective marker configuration. Two arbitrarily selectable surface elements of all provided support surface elements differ in the configuration of the respective markers of a surface element.
Ein numerisches Optimierungsverfahren wird verwendet, um die Parameter eines Systems, die eine Zielfunktion minimieren oder maximieren, zu bestimmen. Die Bestimmung erfolgt derart, dass entweder ein vorgegebenes Ergebnis ε der Zielfunktion unterschritten bzw. überschritten wird oder keine anderen Parameter gefunden werden, die ein kleineres bzw. größeres Ergebnis einer Zielfunktion liefern. Das Ergebnis ε kann auch als Genauigkeitswert bezeichnet werden. Diese Parameter bezeichnet man als optimal bezüglich der Zielfunktion. In einem Messsystem zur Bestimmung einer gegenständlichen Lage im Raum aus einer zwei-dimensionalen Bilddatenpixelanordnung sind die „optimalen“ Koordinaten im Idealfall die tatsächlichen Koordinaten der Markerkonfiguration. A numerical optimization method is used to determine the parameters of a system that minimize or maximize a target function. The determination takes place in such a way that either a predefined result ε of the target function is undershot or exceeded or no other parameters are found which yield a smaller or larger result of a target function. The result ε can also be referred to as an accuracy value. These parameters are called optimal in terms of the objective function. In a measuring system for determining an objective position in space from a two-dimensional image data pixel arrangement, the "optimal" coordinates are ideally the actual coordinates of the marker configuration.
Die Ausgleichsrechnung ist ein Beispiel für eine verwendbare Optimierungsmethode, wobei für eine Reihe von Messdaten (z. B. Markierungen in einem zweidimensionalen Bild) die unbekannten Parameter ihres geometrisch-physikalischen Modells (Projektion von Objektpunkten in eine Bildebene) bestimmt bzw. geschätzt werden. The compensation calculation is an example of a usable optimization method in which the unknown parameters of their geometrical-physical model (projection of object points into an image plane) are determined or estimated for a series of measurement data (eg markings in a two-dimensional image).
Eine Methode zur Lösung von solchen sogenannten Ausgleichs-Problemen ist die Methode der kleinsten Fehlerquadrate, bei der der quadratische Abstand der Messpunkte zu einer Schätzfunktion als Zielfunktion minimiert wird, derart, dass entweder mit den gefundenen Parametern ein vorgegebener Abstand ε unterschritten wird, oder es keine anderen Parameter gibt, die einen kleineren quadratischen Abstand von Messpunkten zu einer Schätzfunktion liefert. One method for solving such so-called compensation problems is the method of least squares, in which the quadratic distance of the measurement points to an estimation function as target function is minimized, such that either the parameters found are below a predetermined distance ε or none other parameter that provides a smaller squared distance from measurement points to an estimator.
Iterative Verfahren zur Lösung nichtlinearer Ausgleichsprobleme nähern die zu schätzenden Parameter, insbesondere Koordinaten, ausgehend von Startwerten schrittweise den optimalen Parametern, wie Koordinaten, an. Iterative Verfahren werden so lange fortgeführt bis ein Abbruchkriterium eintrifft, wie beispielsweise: Iterative methods for solving non-linear compensation problems approximate the parameters to be estimated, in particular coordinates, starting from starting values stepwise to the optimal parameters, such as coordinates. Iterative methods are continued until a termination criterion arrives, such as:
- • Eine Zielfunktion unterschreitet mit den iterativ gefunden Parametern einen vorgegebenen Grenzwert ε. • A target function falls below a predetermined limit ε with the parameters found iteratively.
- • Das Ergebnis der Zielfunktion ändert sich um weniger als beispielsweise 1% des Vorergebnisses. • The result of the objective function changes by less than 1% of the previous result.
- • Es wurden die maximale Anzahl an Iterationsschritten, zum Beispiel 20, durchgeführt. • The maximum number of iteration steps, for example 20, has been performed.
- • Es können keine Parameter mehr gefunden werden die das Ergebnis der Zielfunktion weiter verkleinern. • Parameters can no longer be found which further reduce the result of the target function.
Beispiele für numerische Optimierungsverfahren sind der Levenberg-Marquardt-Algorithmus oder das Gauß-Newton-Verfahren. Examples of numerical optimization methods are the Levenberg-Marquardt algorithm or the Gauss-Newton method.
Eine gegenständliche Lage bzw. eine geänderte gegenständliche Lage kann besonders vorteilhaft mit einem System zur Darbietung einer Blickfelddarstellung erhoben werden. In dem System wird eine Lage bestimmt und ausgewertet. Eine als Datensatz durch das System bereitgestellte Lage kann innerhalb des Systems weiter verwendet werden. Hierbei wird eine Lage vorzugsweise zur Berechnung einer Blickfelddarstellung benutzt. Die Blickfelddarstellung kann z. B. eine Ansicht eines virtuellen Raums umfassen. Ein virtueller Raum ist eine zumindest nach einem Aspekt rechnerisch generierte, in Visualisierungsdaten darstellbare, räumliche Geometrie. Eine Ansicht wird insbesondere durch einen Raumwinkelbereich, der nach einem Aspekt auch als Blickfeld bezeichnet werden kann, festgelegt. Der Raumwinkelbereich ist durch eine Bewegung veränderbar. Die Bewegung wird im realen Raum ausgeführt. Die reale Bewegung ist in eine Darstellung des virtuellen Raums übertragbar. Ein sich durch die Bewegung veränderndes Blickfeld kann einem Betrachter angezeigt werden. An objective situation or a changed objective situation can be raised particularly advantageously with a system for the presentation of a visual field representation. In the system, a location is determined and evaluated. A location provided as a record by the system may continue to be used within the system. In this case, a layer is preferably used for calculating a field of view representation. The field of view can z. B. include a view of a virtual space. A virtual space is a spatial geometry computationally generated in visualization data, at least for one aspect. A view is determined, in particular, by a solid angle range, which according to one aspect can also be referred to as a field of view. The solid angle range can be changed by a movement. The movement is carried out in real space. The real movement is transferable into a representation of the virtual space. A field of view that changes as a result of the movement can be displayed to a viewer.
Das System umfasst einen portablen Markerträger, der z. B. einen Bereich eines Gesichtsfelds einer Person, wie einen Schläfenbereich, überdeckt. Vorzugsweise umschließt der Markerträger den Kopf allseitig auf einer Ebene. In der Ebene können die Augen liegen. Die Ebene kann auch die Ohren oder die Gehörgänge überschneiden. Die Ebene erstreckt sich vorzugsweise von den Augen zum Hinterkopf. Die Ebene kann auch parallel zu einer Ebene liegen, die den Augen zugeordnet ist, wie eine Ebene einer Hutkrempe. Der Markerträger kann sich z. B. entlang eines Stirnbands erstrecken. Der Markerträger kann mit Hilfe eines Bandes, das den Hinterkopf umschließt, getragen werden. Der portable Markerträger kann allerdings auch an einer Vorrichtung nach Art eines Brillengestells getragen werden. Der Markerträger weist ein sehr geringes Gewicht von weniger als 1 Kilogramm auf. Der Markerträger schränkt Bewegungsmöglichkeiten einer Person nicht oder zumindest nur unwesentlich ein. The system includes a portable marker carrier, the z. B. covers an area of a visual field of a person, such as a temple area. The marker carrier preferably encloses the head on all sides on one level. In the plane the eyes can lie. The plane may also overlap the ears or the ear canals. The plane preferably extends from the eyes to the back of the head. The plane may also be parallel to a plane associated with the eyes, such as a plane of a hat brim. The marker carrier can be z. B. extend along a headband. The marker carrier can be worn by means of a band that encloses the back of the head. However, the portable marker carrier can also be worn on a device in the manner of a spectacle frame. The label carrier has a very low weight of less than 1 kilogram. The marker carrier does not restrict the possibilities of movement of a person or at least only insignificantly.
Auf einem Oberflächenbereich, der bezogen auf einen zur Aufnahme eines Kopfes oder eines Objektes vorgesehenen Innenbereich des Markerträgers, nach außen gerichtet ist, ist eine Mehrzahl von Markerelementen vorgesehen. Ein Markerelement kann ein Ellipsoid sein. Ein Markerelement kann auch aus Zylinder, Quader, Kugel, Kegelelementen oder Kombinationen davon darstellbar sein. Es ist auch möglich Markerelemente zu verwenden, die eine Polyederform aufweisen. Die Form eines Markerelements kann eine Körperform sein, die sich von dem Markerträger abhebt. Zwischen einem Markerelement und dem Markerträger befindet sich kein Abstandshalter. Vielmehr kann ein Markerelement auch in einem ebenen Bereich des Markerträgers integriert sein, wobei sich das Markerelement allerdings in zumindest einer optischen Eigenschaft, wie Absorption, Reflektivität oder eine spektrale Eigenschaft, von dem Flächenbereich des portablen Markerträgers unterscheiden muss. Als Materialien für Markerelemente eignen sich z. B. Papier oder leichtgewichtige Keramik, wie Zeolith, insbesondere von nahezu weißer Farbe. Als Materialien für Markerträger eignen sich z. B. Kohlefaserplatten, schwarz eloxierte Leichtmetallplatten oder Kunststoffplatten, insbesondere von schwarzer Farbe. Auch andere Materialien können verwendet werden, die insbesondere ein Leichtgewicht aufweisen, das den Tragekomfort nicht beeinträchtigt. A plurality of marker elements are provided on a surface area directed outward relative to an interior area of the marker support provided for receiving a head or an object. A marker element can be an ellipsoid. A marker element can also be represented from cylinder, cuboid, sphere, cone elements or combinations thereof. It is also possible to use marker elements which have a polyhedron shape. The shape of a marker element may be a body shape that stands out from the marker carrier. There is no spacer between a marker element and the label carrier. Rather, a marker element can also be integrated in a flat region of the marker carrier, wherein the marker element, however, must differ in at least one optical property, such as absorption, reflectivity or a spectral property, from the surface area of the portable marker carrier. As materials for marker elements are z. As paper or lightweight ceramics, such as zeolite, in particular of almost white color. As materials for label carriers are z. As carbon fiber plates, black anodized light metal plates or plastic plates, especially of black color. Other materials can be used, which in particular have a lightweight that does not affect the comfort.
Das System weist mindestens eine Digitalkamera auf. Die Digitalkamera kann z. B an einem Stativ oder an einer Zimmerdecke befestigt sein. Es ist auch möglich mehrere Digitalkameras zu verwenden, um einen durch eine Digitalkamera aufnehmbaren Raumbereich zu erweitern. Die Digitalkamera weist insbesondere ein Objektiv auf, mit dem ein Raumbereich scharf abgebildet werden kann. Es kann z. B. ein monokulares Objektiv zum Einsatz kommen. Vorteilhaft sind Objektive, die mit nur unwesentlicher Verzerrung einen Raumbereich abbilden. Die Abbildung erfolgt auf ein zweidimensionales Feld eines Sensors. Der Sensor wandelt das eintreffende Licht pixelweise in elektronische Daten um, die ein zweidimensionales Pixeldatenfeld bilden. Eine fotographische Aufnahme oder ein Bild einer Filmsequenz der Digitalkamera kann als ein erstes Pixeldatenfeld an eine Recheneinheit übertragen werden. Die Recheneinheit ist z. B. eine mobile Recheneinheit, wie ein sogenanntes Smartphone, ein Laptop oder ein Tablet. Auf der Recheneinheit sind Algorithmen, wie Bilddatenverarbeitungsalgorithmen, ausführbar. Weiterhin umfasst das System eine elektronische Bildanzeige. Auf der elektronischen Bildanzeige kann z. B. ein Pixeldatenfeld optisch sichtbar gemacht werden. Auf der elektronischen Bildanzeige kann allerdings auch eine berechnete Blickfelddarstellung visualisiert werden. The system has at least one digital camera. The digital camera can z. B be attached to a tripod or on a ceiling. It is also possible to use a plurality of digital cameras to expand a space to be recorded by a digital camera. In particular, the digital camera has a lens with which a spatial area can be sharply imaged. It can, for. B. come a monocular lens used. It is advantageous to use lenses that image a spatial area with only insignificant distortion. The image is taken on a two-dimensional field of a sensor. The sensor converts the incoming light pixel by pixel into electronic data, which form a two-dimensional pixel data field. A photographic shot or an image of a movie sequence of the digital camera may be transmitted as a first pixel data field to a computing unit. The arithmetic unit is z. As a mobile computing unit, such as a so-called smartphone, a laptop or a tablet. Algorithms, such as image data processing algorithms, can be executed on the arithmetic unit. Furthermore, the system comprises an electronic image display. On the electronic image display z. B. a pixel data field can be made visually visible. However, a calculated field of view display can also be visualized on the electronic image display.
In dem System ist eine Datenübertragungseinheit vorgesehen. Die Datenübertragungseinheit besorgt die Datenübertragungsverbindung zwischen der Digitalkamera und der Recheneinheit. Die Datenübertragungsverbindung kann auch die Bereitstellung von elektronischen Daten für die Erstellung einer Blickfelddarstellung auf der elektronischen Bildanzeige bereitstellen. Anders gesagt, kann die elektronische Bildanzeige in Verbindung mit der Recheneinheit vorliegen. Die elektronische Bildanzeige kann aber auch ein eigenständiges Gerät unabhängig von der Recheneinheit sein und über die Datenübertragungsverbindung mit elektronischen Daten, insbesondere auch mit elektrischer Energie zum Betrieb, versorgt werden. Vorzugsweise wird eine kabellose Datenübertragungsverbindung verwendet. Es ist günstig für Anwendungen des Systems, wenn die Bildanzeige frei bewegbar ist. Eine Datenübertragungsverbindung zwischen Bildanzeige und Recheneinheit wird durch Bewegungen eines Markerträgers nicht unterbrochen. In the system, a data transmission unit is provided. The data transfer unit provides the data transfer connection between the digital camera and the arithmetic unit. The communication link may also provide the provision of electronic data for the creation of a visual field representation on the electronic image display. In other words, the electronic image display may be in connection with the arithmetic unit. The electronic image display can also be an independent device independent of the arithmetic unit and be supplied via the data transmission connection with electronic data, in particular with electrical energy for operation. Preferably, a wireless data transmission connection is used. It is convenient for applications of the system when the image display is freely movable. A data transmission connection between image display and arithmetic unit is not interrupted by movements of a marker carrier.
Das System umfasst mindestens eine Lichtquelle. Die Lichtquelle dient zur Aussendung von vorzugsweise sichtbarem Licht. Das von der Lichtquelle bereitgestellte Licht muss mit der Digitalkamera registrierbar sein. Es ist auch möglich, dass eine Umwandlung des Lichts, z. B. durch Fluoreszenz oder Phosphoreszenz, an einem Markerelement erfolgt. Hierbei kann insbesondere eine ultraviolette Lichtquelle nützlich sein. Markerelemente können eine fluoreszierende oder phosphorzierende Beschichtung aufweisen. Vorzugsweise wird allerdings sichtbares Licht verwendet. Markerelemente können als Lichtquelle nach Art eines leuchtenden Mondes dienen. Es kann auch gesagt werden, dass das Tageslicht, das die Sonne liefert, direkt oder durch Reflexion bzw. Streuung indirekt als Lichtquelle Verwendung finden kann. Das Licht ist von der Digitalkamera registrierbar. Das Licht der Lichtquelle durchtritt zumindest bereichsweise den von der Digitalkamera überblickten Raumbereich. Es ist auch möglich durch Fluoreszenzeigenschaften von Markerelementen einen nichtsichtbaren Spektralbereich einer Lichtquelle in einen sichtbaren Spektralbereich an Markerelementen umzuwandeln und für die Digitalkamera registrierbar zu machen. Damit kann eine Kontrastverstärkung zwischen dem Markerelement und der unmittelbaren Umgebung des Markerelements, insbesondere in einem Bildbereich des Pixeldatenfelds, das auch als Pixeldatenanordnung bezeichnet werden kann, erreicht werden. Eine häufig eingesetzte Lichtquelle ist z. B. eine Leuchtstoffröhre oder eine Leuchtdiode (LED). The system includes at least one light source. The light source serves to emit preferably visible light. The light provided by the light source must be recordable with the digital camera. It is also possible that a conversion of the light, for. B. by fluorescence or phosphorescence, takes place on a marker element. In particular, an ultraviolet light source may be useful here. Marker elements may have a fluorescent or phosphorscent coating. Preferably, however, visible light is used. Marker elements can serve as a light source in the manner of a luminous moon. It can also be said that the daylight provided by the sun can be used indirectly as a light source directly or by reflection or scattering. The light can be registered by the digital camera. The light from the light source passes at least partially through the space area covered by the digital camera. It is also possible by means of fluorescent properties of marker elements to convert a non-visible spectral range of a light source into a visible spectral range of marker elements and to register it for the digital camera. Thus, a contrast enhancement between the marker element and the immediate surroundings of the marker element, in particular in an image area of the pixel data field, which can also be referred to as pixel data arrangement, can be achieved. A commonly used light source is z. B. a fluorescent tube or a light emitting diode (LED).
Die Recheneinheit errechnet eine Blickfelddarstellung. Die Blickfelddarstellung wird für die Bildanzeige bereitgestellt. In die Blickfelddarstellung wird eine Betrachterposition, die nahezu zeitgleich eingenommen ist, eingerechnet. Der Markerträger ist in dem von der Digitalkamera abgebildeten Raumbereich frei bewegbar. Zwischen Markerträger und Digitalkamera sind keine optischen Barrieren angeordnet. Es ist allerdings möglich, dass Teile des Markerträgers vorübergehend durch z. B. Haare oder einen Schal überdeckt werden. Der Raum zwischen Markerträger und Digitalkamera ist obstruktionsfrei. Es ist z. B. durch eine Raumbegrenzung vorgesehen, dass durch eine Abstandsänderung zwischen Markerträger und Digitalkamera eine Mindestauflösung von einem Markerelement in dem Pixeldatenfeld nicht unterschritten wird. Die Mindestauflösung umfasst vorzugsweise ein Pixel für ein Markerelement. Anders gesagt sollte ein Markerelement mindestens ein Pixel einnehmen. Die Mindestauflösung kann aber auch auf eine vorbestimmbare Anzahl von, z. B. vier, Pixel für ein Markerelement festgelegt werden, um eine Zuverlässigkeit einer fehlerfreien Markererkennung, z. B. durch Ausschluss elektronischer Einzelpixelfehler, zu verbessern. The arithmetic unit calculates a visual field representation. The field of view representation is provided for the image display. In the field of view, a viewer's position, which is taken almost at the same time, is included. The marker carrier is freely movable in the space area imaged by the digital camera. Between Markers and Digital camera are arranged no optical barriers. However, it is possible that parts of the marker carrier temporarily by z. As hair or a scarf are covered. The space between the marker carrier and the digital camera is obstruction-free. It is Z. B. by a space limitation provided that a minimum resolution of a marker element in the pixel data field is not exceeded by a change in distance between the marker carrier and digital camera. The minimum resolution preferably comprises one pixel for a marker element. In other words, a marker element should occupy at least one pixel. The minimum resolution can also be a predeterminable number of, z. B. four, pixels are set for a marker element to a reliability of error-free marker recognition, eg. B. by excluding electronic single pixel error to improve.
Der Markerträger umfasst mindestens fünf Flächenelemente. Ein Flächenelement kann auch als Trägerflächenelement bezeichnet werden. Ein Flächenelement ist zumindest bereichsweise ebenflächig. Ein Flächenelement kann eine Kante, wie eine Faltungskante aufweisen. Nach einem Aspekt können Flächenelemente mit einer Faltungskante auch als zwei Flächenelemente bezeichnet werden. Als besonders günstig hat sich in Versuchen ein Markerträger herausgestellt, der mindestens fünf Flächenelemente umfasst, die jeweils an einem Randbereich einander zugeordnet sind. Es können allerdings auch zehn Flächenelemente vorteilhaft zusammengestellt werden. Werden Flächenelement trapezartig ausgebildet, lassen sie sich besonders günstig aneinanderstellen. Entlang von drei Randbereichen der trapezartigen Form erstrecken sich vorzugsweise wiederum Randbereiche weiterer Flächenelemente. Ein vierter Randbereich des Flächenelements kann freistehend sein. Die Flächenelemente sind ringartig angeordnet. Mindestens fünf Flächenelemente können zu einem Ring zusammengeschlossen sein. Nach einem Aspekt kann der Ring mit einer fünfeckigen Querschnittsfläche vorliegen. Der Markerträger kann ähnlich wie ein Kranz um einen Kopf liegen. Auf einem Flächenelement des Markerträgers liegen die Markerelemente in einer Konfiguration vor. Die Konfiguration der Markerelemente auf einem Flächenelement ist einzigartig. Anders gesagt, weicht die Anordnung der Markerelemente auf einem Flächenelement von der Anordnung der Markerelemente auf einem zweiten Flächenelement ab. Die Konfiguration der Markerelemente ist flächenelementeweise voneinander abweichend. The marker carrier comprises at least five surface elements. A surface element can also be referred to as a carrier surface element. A surface element is at least partially planar. A surface element may have an edge, such as a folding edge. In one aspect, surface elements having a folding edge may also be referred to as two surface elements. In tests, a marker carrier has proven to be particularly favorable, which comprises at least five surface elements which are each assigned to one another at an edge region. However, it is also possible to combine ten surface elements to advantage. If surface element formed trapezoidal, they can be particularly favorable place together. Edge regions of further surface elements preferably extend along three edge regions of the trapezoidal shape. A fourth border area of the area element may be freestanding. The surface elements are arranged like a ring. At least five surface elements can be combined into a ring. In one aspect, the ring may be of pentagonal cross-sectional area. The marker carrier can be similar to a wreath around a head. On a surface element of the marker carrier, the marker elements are in a configuration. The configuration of the marker elements on a surface element is unique. In other words, the arrangement of the marker elements on a surface element differs from the arrangement of the marker elements on a second surface element. The configuration of the marker elements is different from each other surface-wise.
Der portable Markerträger kann in dem Raumbereich, den die Digitalkamera ermisst, eine Winkelstellung einnehmen. Die Winkelstellung liegt bezüglich einer Kamerabildebene vor. Nach einem Aspekt liegt die Winkelstellung bezüglich einer Sensorebene der Digitalkamera vor. Die Winkelstellung ist durch eine Bewegung des Markerträgers veränderbar. Es kann z. B. eine Kippbewegung oder eine Rotationsbewegung des Markerträgers zu einer Winkelstellung führen. Der Markerträger ist von der Digitalkamera in jeder Winkelstellung in Gestalt von mindestens zwei markerelementeaufweisenden Flächenelementen, ein erstes Flächenelement und ein zweites Flächenelement, die auch als Trägerflächenelemente bezeichenbar sind, einsehbar. Die zwei Flächenelemente können zueinander benachbart sein, wobei insbesondere das erste Flächenelement mit einem Randbereich an das zweite Flächenelement anschließt. Mindestens zwei Flächenelemente, die Markerelemente aufweisen, sind von der Digitalkamera gemeinsam filmbar bzw. fotografierbar, oder anders gesagt abbildbar. Die zwei Flächenelemente sind vorzugsweise jeweils trapezartig und ebenflächig gestaltet. Von den zwei Flächenelementen wird ein Winkel eingeschlossen, der kleiner als 180 ° ist. Anders gesagt ist das zweite Flächenelement nicht als eine geradlinige, insbesondere nicht als parallelartige Fortsetzung des ersten Flächenelements angeordnet. Die zwei Flächenelemente können einteilig vorliegen, gelten aber, insbesondere hinsichtlich einer Abbildung auf eine Bilddatenpixelanordnung, dennoch als unterschiedliche Flächenelemente. The portable marker carrier can assume an angular position in the spatial area that the digital camera measures. The angular position is in front of a camera plane. In one aspect, the angular position is relative to a sensor plane of the digital camera. The angular position can be changed by a movement of the marker carrier. It can, for. B. lead a tilting movement or a rotational movement of the marker carrier to an angular position. The marker carrier can be viewed by the digital camera in every angular position in the form of at least two surface element elements bearing marker elements, a first surface element and a second surface element, which can also be labeled as carrier surface elements. The two surface elements may be adjacent to each other, wherein in particular the first surface element connects with an edge region to the second surface element. At least two surface elements which have marker elements can be jointly filmed or photographed by the digital camera, or in other words can be imaged. The two surface elements are preferably designed trapezoidal and planar. Of the two surface elements, an angle smaller than 180 ° is included. In other words, the second surface element is not arranged as a rectilinear, in particular not parallel, continuation of the first surface element. The two surface elements may be present in one piece, but nevertheless, in particular with regard to a mapping to an image data pixel arrangement, they nevertheless count as different surface elements.
Die Digitalkamera empfängt Licht von Markerelementen. Es liegen mindestens vier Markerelemente vor, die algorithmisch von der Recheneinheit in dem Pixeldatenfeld erkennbar sind. Mittels der erfassbaren Markerelemente wird in der Recheneinheit durch mindestens eine Vergleichseinheit, wie ein Vergleichsalgorithmus, eine räumliche Lage des Blickfelds festgelegt. Der Vergleichsalgorithmus überprüft, ob bzw. inwieweit eine Abweichung zwischen den vier Markerelementen in zweidimensionaler Abbildung und einer Markermodellkonfiguration vorliegt. Der Vergleichsalgorithmus erkennt die Markermodellkonfiguration, die die bestmögliche Übereinstimmung mit vier Markerelementen aufweist. Die ausgewählte Markermodellkonfiguration, die auch als Markerpositionskonfiguration bezeichnet werden kann, umfasst Koordinaten, die eine räumliche Lage des Blickfelds festlegen. Das Blickfeld ist an der Markerpositionskonfiguration ausgerichtet. Mit dem System kann die räumliche Lage des Blickfelds zeiteffizient berechnet und der Bildanzeige zugeführt werden, sodass der Eindruck einer fließenden Veränderung des Blickfelds in dem Verlauf einer Bewegung entsteht. The digital camera receives light from marker elements. There are at least four marker elements that are algorithmically recognizable by the arithmetic unit in the pixel data field. By means of the detectable marker elements, a spatial position of the field of view is defined in the arithmetic unit by at least one comparison unit, such as a comparison algorithm. The comparison algorithm checks whether or to what extent there is a deviation between the four marker elements in two-dimensional imaging and a marker model configuration. The comparison algorithm recognizes the marker model configuration that has the best match with four marker elements. The selected marker model configuration, which may also be referred to as marker position configuration, includes coordinates that define a spatial location of the field of view. The field of view is aligned with the marker position configuration. With the system, the spatial position of the field of view can be calculated time-efficiently and fed to the image display, giving the impression of a fluid change in the field of view in the course of a movement.
Nachfolgend werden vorteilhafte Ausgestaltungen und Weiterbildungen dargelegt, die für sich gesehen, sowohl einzeln aus auch in Kombination, ebenfalls erfinderische Aspekte offenbaren können. In the following, advantageous embodiments and developments are set forth, which in themselves, both individually and in combination, can also disclose inventive aspects.
Die Markermodellkonfiguration kann ausgehend von einer Vorauswahl von Markerelementen bestimmt werden. Vorzugsweise umfasst eine Vorauswahl drei Markerelementen. Die Markerelemente können auf einem einzigen Flächenelement angeordnet sein. Die Markerkonfiguration, aus der die Markerelemente ausgewählt werden, ist vorbekannt. Für den Vergleich mit Markerbildbereichen werden vorzugsweise Konfigurationshypothesen der drei Markerelemente erstellt, die auch als Markermodellkonfigurationen der drei Markerelemente bezeichnet werden können. Insbesondere bis zu fünf Konfigurationshypothesen kommen zum Einsatz. Auf Grundlage der fünf Konfigurationshypothesen gelangt der Vergleichsalgorithmus zu einer Entscheidung, ob die drei Markerelemente als Markermodellkonfiguration für weitere Berechnungen geeignet sind. Ein solches Vorgehen erlaubt ein schnelles Überprüfen verschiedener Markermodellkonfigurationen. The marker model configuration can be based on a preselection of marker elements be determined. Preferably, a preselection comprises three marker elements. The marker elements can be arranged on a single surface element. The marker configuration from which the marker elements are selected is previously known. For comparison with marker image regions, configuration hypotheses of the three marker elements are preferably created, which can also be referred to as marker model configurations of the three marker elements. In particular, up to five configuration hypotheses are used. Based on the five configuration hypotheses, the comparison algorithm makes a decision as to whether the three marker elements are suitable as a marker model configuration for further calculations. Such a procedure allows a quick check of different marker model configurations.
Die Qualität einer Vorauswahl einer Markermodellkonfiguration kann überprüft werden. Mindestens ein weiterer Markerbildbereich, insbesondere aus der gleichen zweidimensionalen Bilddatenpixelanordnung, wird ausgewählt. Die Zuordenbarkeit des mindestens einen weiteren Bildbereichs zur Markermodellkonfiguration kann die Auswahlentscheidung zu der Markermodellkonfiguration bestärken. Es hat sich als vorteilhaft herausgestellt, wenn bei der Überprüfung eine perspektivische Sichtbarkeit von Markerelementen berücksichtigt wird. Es ist möglich, dass mindestens ein Markerelement von dem Markerträger, insbesondere von einem Flächenelement des Markerträgers in einer Position des Markerträgers oder einer Orientierung des Markerträgers vor der Digitalkamera verdeckt ist. Ein verdecktes Markerelement der Markermodellkonfiguration kann von der Überprüfung eines weiteren Markerbildbereichs ausgeschlossen werden. Eine perspektivische Sichtbarkeit ist insbesondere aufgrund der Zuordnung von Markerelementen, insbesondere von konfigurierten Markerelementen, zu einem Trägerflächenelement vorbestimmt. Eine Markermodellkonfiguration ist nach einem Aspekt ein hypothetisches Abbild einer vorbestimmten Anordnung von Markerelementen auf einem Markerträger, die als Datensatz in einer Recheneinheit vorliegt. Die Markermodellkonfiguration kann alle Markerelemente, die auf einem Markerträger angeordnet sind, umfassen. The quality of a preselection of a marker model configuration can be checked. At least one further marker image area, in particular from the same two-dimensional image data pixel arrangement, is selected. The assignability of the at least one further image area to the marker model configuration may encourage the selection decision to the marker model configuration. It has proven to be advantageous if, during the check, a perspective visibility of marker elements is taken into account. It is possible for at least one marker element to be concealed by the marker carrier, in particular by a surface element of the marker carrier in a position of the marker carrier or an orientation of the marker carrier in front of the digital camera. A hidden marker element of the marker model configuration can be excluded from the review of another marker image area. A perspective visibility is predetermined in particular on the basis of the assignment of marker elements, in particular of configured marker elements, to a carrier surface element. A marker model configuration, in one aspect, is a hypothetical image of a predetermined array of marker elements on a marker carrier present as a data set in a computing unit. The marker model configuration may include all marker elements arranged on a label carrier.
Als besonders zuverlässiger Markererkennungsalgorithmus hat sich ein Hellfleckfilter herausgestellt. Mit dem Hellfleckfilter werden insbesondere helle Bildbereiche in einer Bilddatenpixelanordnung vor einem Hintergrund, der weniger hell ist, als ein Markerbildbereich erkannt. Es können z. B. weiße Markerelemente verwendet werden, die helle, zumindest stellenweise weißliche, Bildbereiche verursachen. Der Hellfleckfilter kann eine Fleckgeometrie herausfiltern, die einem Markerelement zuordnenbar ist. Helle Flecken in einer Bilddatenpixelanordnung, die nicht von einem Markerelement stammen, können zumindest teilweise ausgeschlossen werden. As a particularly reliable marker detection algorithm, a bright spot filter has been found. With the bright spot filter, in particular, bright image areas in an image data pixel arrangement are detected in front of a background that is less bright than a marker image area. It can z. B. white marker elements are used that cause bright, at least locally whitish, image areas. The bright spot filter can filter out a spot geometry that can be assigned to a marker element. Bright spots in an image data pixel array which are not from a marker element can be at least partially excluded.
Die Zuverlässigkeit des Verfahrens lässt sich weiter verbessern, wenn berücksichtigt wird, dass ein Markerelement vorrübergehend, z. B. durch Haare oder durch Schattenwurf verdeckt sein kann. Es ist möglich zu berechnen, an welcher Stelle ein verdecktes Markerelement vorliegen könnte. Dadurch lässt sich z. B. eine Erkennung von Markerbildbereichen unter Verwendung einer vorbekannten Markermodellkonfiguration verfeinern. The reliability of the method can be further improved if it is taken into account that a marker element temporarily, z. B. may be covered by hair or by shadows. It is possible to calculate at which point a hidden marker element might be present. This can be z. For example, refine a recognition of marker image areas using a prior art marker model configuration.
Das Verfahren lässt sich weiterhin günstig ausgestalten, indem eine vorteilhafte Darstellungsweise einer Position und einer Richtung zur Bestimmung der Lage verwendet wird. Eine Position und eine Richtung können z. B. mit einem Translationsvektor und einer Rotationsdarstellung mathematisch dargestellt werden, die zu einer Markermodellkonfiguration führen. Beispiele für eine Rotationsdarstellung sind eine Rotationsmatrix, Euler-Winkel, ein Quaternion, eine Rodriguez-Darstellung oder eine Winkel-Vektor-Darstellung. The method can furthermore be designed favorably by using an advantageous representation of a position and a direction for determining the position. A position and a direction can z. B. be represented mathematically with a translation vector and a rotation representation, leading to a marker model configuration. Examples of a rotation representation are a rotation matrix, Euler angle, a quaternion, a Rodriguez representation or an angle vector representation.
Orientierungsdarstellungen werden verwendet um eine Winkellage von Objekten zueinander mathematisch beschreiben zu können. Außerdem werden sie benutzt um eine Winkellageänderung, also eine Drehbewegung, von Objekten mathematisch zu beschreiben. Orientation representations are used to mathematically describe an angular position of objects. In addition, they are used to mathematically describe an angular position change, ie a rotational movement, of objects.
Euler-Winkel und Rodriguez-Darstellung sind 3-Parametrische Darstellungen. Bei einer 3-Parametrischen Darstellung der Orientierung sind alle Parameter von einander unabhängig. Das bedeutet, dass jeder Parameter für sich allein geändert werden kann und die Parameter immer noch eine Orientierung darstellen. Vor allem bei numerischen Optimierungsverfahren ist das ein großer Vorteil. Ein Problem kann sich ergeben, wenn eine Orientierungsdarstellung in einer Winkellage durch mehrere Varianten derselben Darstellungsform ausgedrückt werden kann. Es gibt beispielsweise 12 Arten eine einzige Orientierung mit Eulerwinkeln darzustellen. Ein weiteres mögliches Problem einer Darstellungsform ist das Auftreten einer kardanischen Blockade (Gimbal-Lock), bei der zwei Parameter dieselbe Änderung der Winkellage, also eine Drehung um dieselbe Achse, beschreiben. Eine Folge ist ein Springen der beschreibenden Parameter obwohl sich die Winkellage nicht ändert. Möchte man üblicherweise aus zwei Messungen der Winkellage auf eine Winkelgeschwindigkeit schließen, indem man die Differenz der gemessenen Lageparameter durch die verstrichene Zeit teilt, würde man in diesem Fall ein falsches Ergebnis erhalten. 3-Parametrische Darstellungsformen sind deshalb für Anwendungen bei denen der Parameter über die Zeit fortgeschrieben wird (Beispielsweise Rauschfilter) ungünstig. Die Rodriguez-Darstellung bietet Vorteile für numerische Optimierungsverfahren, weil sie sich besonders einfach aus einer Quaternion Darstellung berechnet. Euler angle and Rodriguez representation are 3-parametric representations. In a 3-parametric representation of the orientation, all parameters are independent of each other. This means that each parameter can be changed on its own and the parameters still provide orientation. This is a big advantage, especially with numerical optimization methods. A problem may arise if an orientation representation in an angular position can be expressed by several variants of the same form of representation. For example, there are 12 ways to represent a single orientation with Euler angles. Another possible problem of a form of representation is the occurrence of a gimbal lock, in which two parameters describe the same change of the angular position, ie a rotation about the same axis. One consequence is a jumping of the descriptive parameters although the angular position does not change. If one normally wishes to deduce from two measurements of the angular position to an angular velocity by dividing the difference of the measured positional parameters by the elapsed time, one would obtain a wrong result in this case. 3-Parametric representations are therefore unfavorable for applications in which the parameter is updated over time (for example noise filter). The Rodriguez Presentation offers advantages for numerical optimization methods because it is particularly easy to calculate from a quaternion representation.
Quaternion oder Winkel-Vektor-Darstellung sind Beispiele für 4(vier)-parametrisch Darstellungen. Eine 4-parametrische Darstellungsform hat keinen undefinierten Zustand wie den Gimbal-Lock und ist daher für sogenannte „Tracking“-Anwendungen bei der Verfolgung von Bewegung sowie für Rauschfilter geeignet. Die vier Parameter sind allerdings aufgrund der Überbestimmung nicht unabhängig von einander. Eine Änderung eines einzelnen Parameters hat immer eine Änderung mindestens eines weiteren Parameters zur Folge. Werden Zwangsbedingungen der Parameter zueinander nicht beachtet kann es sein, dass die Parameter eine Drehung und Verformung beschreiben. Für Methoden, die einzelne Parameter verändern, wie numerische Optimierungsverfahren, ist diese Darstellung daher weniger geeignet und erfordert oft eine zusätzliche Korrektur der Verformung, wenn z. B. bei einer Optimierung einer Orientierung das Objekt nicht nur gedreht sondern auch verformt wird. Quaternion or angle vector representation are examples of 4 (four) -parametric representations. A 4-parametric representation has no undefined state such as the gimbal lock and is therefore suitable for so-called tracking applications in motion tracking and noise filters. However, the four parameters are not independent due to over-determination. Changing a single parameter always results in a change of at least one other parameter. If the constraints of the parameters to each other are disregarded, it may be that the parameters describe a rotation and deformation. For methods that change individual parameters, such as numerical optimization methods, this representation is therefore less suitable and often requires an additional correction of the deformation when z. B. in an optimization of an orientation, the object is not only rotated but also deformed.
Es ist allerdings vorteilhaft, wenn das erfindungsgemäße Verfahren mit einem numerischen Optimierungsverfahren ausgestattet ist. Durch ein numerisches Optimierungsverfahren kann die Genauigkeit bei der Bestimmung der Lage verbessert werden. In einem numerischen Optimierungsverfahren kann z. B. ein Levenberg-Marquart-Algorithmus zum Einsatz kommen. Der Levenberg-Marquardt-Algorithmus ist ein numerisch, iteratives Verfahren zur Lösung nichtlinearer Ausgleichs-Probleme mit Hilfe der Methode der kleinsten Fehlerquadrate, das sehr robust gegen schlechte Startwerte der zu bestimmenden Parameter ist. Das Gauß-Newton-Verfahren ist ein anderes Beispiel für ein verwendbares numerisches Optimierungsverfahren. However, it is advantageous if the method according to the invention is equipped with a numerical optimization method. A numerical optimization method can improve the accuracy in determining the position. In a numerical optimization method can z. For example, a Levenberg-Marquart algorithm can be used. The Levenberg-Marquardt algorithm is a numerical, iterative method for solving nonlinear compensation problems using the method of least squares, which is very robust against poor starting values of the parameters to be determined. The Gauss-Newton method is another example of a useful numerical optimization method.
Das numerische Optimierungsverfahren wird auf eine Vorauswahl von Markerbildbereichen angewendet. Die Vorauswahl umfasst die drei Markerbildbereiche, die als Markerbildbereiche mit einer geringsten Abweichung zu einer Markermodellkonfiguration erkannt wurden. Es wird mindestens ein weiterer Markerbildbereich hinzugenommen. Anders gesagt wird das numerische Optimierungsverfahren auf mindestens vier Markerbildbereiche angewendet. Damit kann die Bestimmung der Lage präzisiert werden. Insbesondere lässt sich eine Orientierung genauer bestimmen. Vorzugsweise wird das numerische Optimierungsverfahren auf eine dreiparametrische Darstellung der Orientierung der Markermodellkonfiguration angewendet. Es werden auch alle weiteren Punkte der Markermodellkonfiguration, die nicht zu den Markerbildbereichen passen, durch die vorbekannten Markerkonfiguration mitgeführt. The numerical optimization method is applied to a preselection of marker image areas. The preselection comprises the three marker image areas that have been recognized as marker image areas with a least deviation from a marker model configuration. At least one additional marker image area is added. In other words, the numerical optimization method is applied to at least four marker image areas. Thus, the determination of the situation can be specified. In particular, an orientation can be determined more accurately. Preferably, the numerical optimization method is applied to a three-parametric representation of the orientation of the marker model configuration. All other points of the marker model configuration which do not match the marker image areas are also carried by the previously known marker configuration.
Bei der Bestimmung einer Änderung einer gegenständlichen Lage werden von der Digitalkamera Bilddatenpixelanordnungen, z. B. mit einer Folge von sechzig Bilddatenpixelanordnungen, die auch als Bilder bezeichnet werden können, in einer Sekunde bereitgestellt. Von einem ersten Bild zu einem zweiten Bild kann eine Änderung einer Markerpositionskonfiguration erfolgt sein. Der Veränderung der Markerpositionskonfiguration kann auch eine Verschiebung von Markern, die auch als Markerelemente bezeichnet werden können, auf dem Markerträger zugrunde liegen. Dabei kann es erforderlich sein, die Markermodellkonfiguration, welche die Ausgangslage festlegt, neu zu berechnen. Das Verfahren lässt sich besonders schnell ausführen, wenn die auf dem Markerträger angeordneten Marker gleich gestaltet sind. Vorzugsweise sind die Markerelemente, die dem Markerträger zugeordnet sind, gleichförmig, gleichfarbig, insbesondere weiß oder schwarz, und gleichgroß. Der Markerträger ist dazu kontrastierend ausgebildet, vorzugsweise schwarz oder weiß. Eine Markerkonfiguration kann aus den erfassten Markerbildbereichen rechnerisch bestimmt werden. Hierbei werden Markerbildbereiche aus mehreren Bilddatenpixelanordnungen berücksichtigt. Vorzugsweise werden in den mehreren Bilddatenpixelanordnungen alle Markerelemente gezeigt. Anders gesagt, sollte jedes Trägerflächenelement des Markerträgers in zumindest einer Bilddatenpixelanordnung zumindest mit den auf dem Trägerflächenelement angeordneten Markern erfasst werden. Die geänderte Markerkonfiguration wird algorithmisch festgelegt. Insbesondere werden gute Ergebnisse durch Verwendung eines Struktur-aus-Bewegung-Algorithmus (structure-from-motion) erlangt. Diesem Algorithmus liegt eine Methode der Photogrammetrie, bei der eine dreidimensionale Struktur, die aus zwei Blickwinkeln in zweidimensionalen-Bildern betrachtet wird, dreidimensional vermessen wird, zugrunde. Zusätzlich kann auch noch ein Ensemble-Anpassung-Algorithmus (bundle-adjustment) verwendet werden, um die Genauigkeit der bestimmten Markerkombination weiter zu verbessern. Hierbei erfolgt eine gleichzeitige numerische Verfeinerung der Kameraparameter (Position, Ausrichtung, Fokuslänge, Pixelabmessungen, optische Verzerrung) und einer dreidimensionalen Struktur, die aus mehreren Perspektiven aufgenommen wurde. Aus einem näherungsweise bestimmten Punktemodell, das von verschiedenen Blickwinkeln mit unsicheren Kameraparametern erfasst wurde, kann eine präzise Schätzung der Punktkoordinaten ermittelt werden. Der Fehler zwischen projizierter dreidimensionaler Markermodellkonfiguration und korrespondierenden Bildpunkten wird minimiert. Es wird rekursiv eine Markerkonfiguration als Markermodellkonfiguration errechnet. Die berechnete Markerkonfiguration legt die Markermodellkonfiguration der Ausgangslage fest. In determining a change in an objective position, the digital camera will acquire image data pixel arrangements, e.g. With a sequence of sixty image data pixel arrays, which may also be referred to as images, in one second. From a first image to a second image, a change in marker position configuration may have occurred. The change in the marker position configuration may also be based on a shift of markers, which may also be referred to as marker elements, on the marker carrier. It may be necessary to recalculate the marker model configuration that defines the starting position. The procedure can be carried out particularly quickly if the markers arranged on the marker carrier are of the same design. Preferably, the marker elements associated with the label carrier are uniform, same color, especially white or black, and equal in size. The marker carrier is designed to contrast, preferably black or white. A marker configuration can be determined by calculation from the acquired marker image areas. In this case, marker image areas from a plurality of image data pixel arrangements are taken into account. Preferably, all of the marker elements are shown in the plurality of image data pixel arrays. In other words, each carrier surface element of the marker carrier should be detected in at least one image data pixel arrangement at least with the markers arranged on the carrier surface element. The changed marker configuration is determined algorithmically. In particular, good results are obtained by using a structure-from-motion algorithm. This algorithm is based on a method of photogrammetry in which a three-dimensional structure, which is viewed from two viewing angles in two-dimensional images, is measured three-dimensionally. In addition, an ensemble adjustment algorithm (bundle-adjustment) may also be used to further enhance the accuracy of the particular marker combination. This involves a simultaneous numerical refinement of the camera parameters (position, orientation, focus length, pixel dimensions, optical distortion) and a three-dimensional structure, which was taken from several perspectives. From an approximate point model captured from different angles with insecure camera parameters, a precise estimate of the point coordinates can be determined. The error between projected three-dimensional marker model configuration and corresponding pixels is minimized. A marker configuration is calculated recursively as marker model configuration. The calculated marker configuration sets the marker model configuration of the starting position.
Die Markerpositionskonfiguration der geänderten Lage lässt sich aus z. B. einer ersten und einer zweiten Bilddatenpixelanordnung berechnen. In die Berechnung kann auch eine weitere Bilddatenpixelanordnung, wie die zweite Bilddatenpixelanordnung, einbezogen werden. Nach einem Aspekt erfolgt eine Zuordnung eines Markerbildbereichs, der in einer ersten Bilddatenpixelanordnung vorliegt, zu einem nächster-Nachbar-Bildbereich, der ein Markerbildbereich einer weiteren Bilddatenpixelanordnung ist. Es ist möglich, dass bei der Zuordnung eine zweite Bilddatenpixelanordnung übersprungen wird, weil z. B. zu wenige Markerbildbereiche in der zweiten Bilddatenpixelanordnung auffindbar waren, sodass eine weitere Bilddatenpixelanordnung verwendet wird. Ein Nächster-Nachbar-Bildbereich ist ein Bildbereich, der ausgehend von einer Position eines erfassten Markerbildbereichs einer ersten Bilddatenpixelanordnung in einer weiteren Bilddatenpixelanordnung den kleinsten linearen Abstand im Vergleich zu allen anderen Markerbildbereichen der weiteren Bilddatenpixelanordnung aufweist. Vorzugsweise ist zu mindestens drei Markerbildbereichen einer ersten Bilddatenpixelanordnung jeweils ein Nächster-Nachbar-Bildbereich der weiteren Bilddatenpixelanordnung auffindbar. Die erste Bilddatenpixelanordnung ist dabei die Ausgangslage. Durch die Änderung der drei Markerbildbereiche der Ausgangslage zu den drei Nächster-Nachbar-Bildbereichen ist die Markerpositionskonfiguration, die die geänderte Lage festlegt, z. B. mittels einer Projektion oder einer Verschiebung einer Ausgangslage, insbesondere anhand einer Markermodellkonfiguration bestimmbar. Damit lässt sich die Auswertungsgeschwindigkeit noch mehr steigern. The marker position configuration of the changed position can be determined from z. B. calculate a first and a second image data pixel arrangement. The calculation may also include a further image data pixel arrangement, such as the second image data pixel arrangement. According to one aspect, an association of a marker image area, which is present in a first image data pixel arrangement, to a next neighbor image area, which is a marker image area of a further image data pixel arrangement. It is possible that in the assignment of a second image data pixel arrangement is skipped because z. B. too few marker image areas were found in the second image data pixel arrangement, so that a further image data pixel arrangement is used. A next-neighbor image area is an image area which, starting from a position of a detected marker image area of a first image data pixel arrangement in a further image data pixel arrangement, has the smallest linear distance in comparison to all other marker image areas of the further image data pixel arrangement. Preferably, at least three marker image areas of a first image data pixel arrangement can each be found a next neighbor image area of the further image data pixel arrangement. The first image data pixel arrangement is the starting position. By changing the three marker image areas of the starting position to the three nearest neighbor image areas, the marker position configuration that determines the changed position, for. B. determined by means of a projection or a shift of a starting position, in particular based on a marker model configuration. This allows the evaluation speed to be increased even more.
Die Genauigkeit der Bestimmung von Position und/oder die Orientierung kann noch weiter optimiert werden. Eine Optimierung ist mittels einer additiven Änderung möglich. Das Optimierungsverfahren wird numerisch ausgeführt. In der Recheneinheit kann z. B. ein Levenberg-Marquardt-Algorithmus zur Optimierung einer Markermodellkonfiguration verwendet werden. Hierbei wird eine Jacoby-Matrix durch numerische Differentiation approximiert. Vorzugsweise erfolgt die Optimierung der Orientierung in einer dreiparametrischen Darstellung der Orientierung in der Markermodellkonfiguration. Die Optimierung erfolgt z. B. mittels eines Programmcodes, der in der Recheneinheit ausführbar ist. The accuracy of determining position and / or orientation can be further optimized. An optimization is possible by means of an additive change. The optimization procedure is performed numerically. In the arithmetic unit z. For example, a Levenberg-Marquardt algorithm may be used to optimize a marker model configuration. Here, a Jacoby matrix is approximated by numerical differentiation. Preferably, the orientation is optimized in a three-parametric representation of the orientation in the marker model configuration. The optimization takes place z. B. by means of a program code, which is executable in the arithmetic unit.
Das Verfahren zur Bestimmung einer gegenständlichen Lage, insbesondere nach einer Lageänderung, kann noch bessere Ergebnisse liefern, wenn bei dem numerischen Optimierungsverfahren ein Kontrollalgorithmus (RANSAC, Random Sample Consensus) vorgesehen ist. Mindestens ein Ergebnis des numerischen Optimierungsverfahrens wird überprüft. Nach einem ersten Aspekt können Fehlerbildbereiche, die z. B. durch stark reflektierende Gegenstände in dem Raumbereich von der Digitalkamera in die Bilddatenpixelanordnung abgebildet werden, die allerdings keine Markerelemente bzw. Marker sind, von dem Kontrollalgorithmus ausgeschlossen werden. Nach einem zweiten Aspekt können Markerbildbereiche, die in einer ersten Bilddatenpixelanordnung nicht sichtbar oder nicht auffindbar waren, die allerdings gemäß der Markerkonfiguration hätten auffindbar sein sollen, als Fehler erkannt und insbesondere nach Auffindung in einer zweiten Bilddatenpixelanordnung, z. B. rekursiv, mit einbezogen werden. Das Ergebnis des numerischen Optimierungsverfahrens wird anhand einer Zufallsauswahl von mindestens einer Markerbildbereichskonfiguration überprüft. Anders gesagt dient der RANSAC-Algorithmus dazu um eine Reihe von Messwerten, wie Markerbildbereichen bzw. Markerbildbereichen zugeordnete Koordinaten, von sogenannten Ausreißern, also Messwerten mit groben Fehlern, zu bereinigen. Aus einer vorliegenden Menge von Messungen m wird eine zufällig gewählte Untermenge mi genommen, die genau die zur Generierung einer Schätzhypothese notwendige Mindestanzahl an Messungen enthält. Damit wird die Wahrscheinlichkeit, dass sich Ausreißer in der Untermenge mi befinden, minimiert. Werte, die abhängig von einem Grenzwert k, der auch als Genauigkeitswert bezeichnet werden kann, die aus mi generierte Hypothese stärken, werden als Treffer, sogenannte „Inlier“, betrachtet. Die Untermenge, deren Hypothese die meisten Treffer produziert, wird als beste Schätzung betrachtet. Die Untermenge ist z. B. eine Auswahl von drei Markerbildbereichen, mit denen eine eindeutige Bestimmung möglich ist. Das so erhaltene Ergebnis wird mit dem Ergebnis des numerischen Optimierungsverfahrens, das insbesondere mehr als drei Markerbildbereiche einbezogen hat, verglichen. Durch Wiederholung ist es auch möglich verschiedene Markerbildbereichskonfigurationen zu überprüfen, ob daraus konsistent ein gleichartiges Ergebnis erhalten wird. Eine Hypothese kann auch als Posenhypothese oder Lagehypothese bezeichnet werden. Der Kontrollalgorithmus wird insbesondere zur Überprüfung der Zuordnung nächster Nachbarn von Markerbildbereichen zwischen einer ersten und einer zweiten Bilddatenpixelanordnung verwendet. Es erfolgt, anders gesagt, eine Überprüfung einer Übereinstimmung einer Projektion einer Markermodellkonfiguration mit einer Konfiguration von Markerbildbereichen aus einer nachfolgend aufgenommenen Bilddatenpixelanordnung. Damit kann eine grundsätzliche Möglichkeit, dass mit einer fehlerhaften Zuordnung eines nächsten Nachbarn in der Zeitfolge das Verfahren die Bestimmung einer geänderten gegenständlichen Lage verfehlt, nahezu ausgeschlossen werden. The method for determining an objective position, in particular after a change in position, can yield even better results if the numerical optimization method provides for a control algorithm (RANSAC, Random Sample Consensus). At least one result of the numerical optimization procedure is checked. According to a first aspect, defect image areas that z. B. are reflected by highly reflective objects in the space area of the digital camera in the image data pixel arrangement, which are, however, no marker elements or markers are excluded from the control algorithm. According to a second aspect, marker image areas which were not visible or could not be found in a first image data pixel arrangement but which should have been findable according to the marker configuration are recognized as defects and, in particular after being found in a second image data pixel arrangement, e.g. B. recursively, be included. The result of the numerical optimization procedure is checked by means of a random selection of at least one marker image area configuration. In other words, the RANSAC algorithm is used to clean up a series of measured values, such as coordinates associated with marker image areas or marker image areas, of so-called outliers, that is, measurements with coarse errors. From a given set of measurements m, a randomly chosen subset m i is taken, which contains exactly the minimum number of measurements necessary to generate an estimation hypothesis. This minimizes the likelihood that outliers will be in the subset m i . Values which, depending on a limit value k, which can also be referred to as an accuracy value, strengthen the hypothesis generated from m i , are regarded as hits, so-called "inlier". The subset whose hypothesis produces the most hits is considered the best guess. The subset is z. B. a selection of three marker image areas, with which a clear determination is possible. The result thus obtained is compared with the result of the numerical optimization method, which in particular has included more than three marker image areas. By repeating it is also possible to check different marker image area configurations to see whether a consistent result is consistently obtained. A hypothesis can also be called a pose hypothesis or hypothesis. The control algorithm is used in particular for checking the assignment of nearest neighbors of marker image areas between a first and a second image data pixel arrangement. In other words, a check is made for a match of a projection of a marker model configuration with a configuration of marker image areas from a subsequently recorded image data pixel arrangement. Thus, a fundamental possibility that with an incorrect assignment of a next neighbor in the time sequence, the method misses the determination of a changed objective situation, can be almost excluded.
Eine weitere Verbesserung der Genauigkeit bei der Bestimmung einer gegenständlichen Lage ist durch die Verwendung eines Rauschenunterdrückungsalgorithmus möglich. Es ist günstig, wenn der Rauschenunterdrückungsalgorithmus mittels einer Bewegungsverlaufsprognose die Position und/oder die Orientierung rechnerisch filtert. Position und/oder Orientierung werden beispielsweise bei einer geänderten gegenständlichen Lage aus Bilddatenpixelanordnungen erhalten und mit einem numerischen Optimierungsverfahren verfeinert. Ein Bewegungsverlauf ist stetig. Daher ist eine Prognose über den Bewegungsverlauf möglich. Vorzugsweise kommt eine Zustandsraumdarstellung von Markermodellkonfigurationen zum Einsatz. Die Zustandsraumdarstellung, die auch als Zustandsraummodell bezeichnet werden kann, ist eine Form der Beschreibung eines dynamischen Übertragungssystems. Das Zustandsraummodell ermöglicht eine Analyse und Synthese dynamischer, veränderlicher Systeme im Zeitbereich und kann auch effizient z. B. bei der regelungstechnischen Behandlung von Mehrgrößensystemen, sowie bei nichtlinearen und zeitvariablen Übertragungssystemen eingesetzt werden. Es werden sämtliche Beziehungen der Zustandsgrößen, der Eingangsgrößen und Ausgangsgrößen in Form von Matrizen und Vektoren dargestellt. Das Zustandsraummodell wird durch zwei Gleichungen – die Zustandsdifferenzialgleichung erster Ordnung und die Ausgangsgleichung – beschrieben. Further improvement in the accuracy of determining an objective location is possible through the use of a noise suppression algorithm. It is cheap, though the noise suppression algorithm uses a motion progression forecast to computationally filter the position and / or the orientation. Position and / or orientation are obtained from image data pixel arrangements, for example in the case of a changed physical position, and refined with a numerical optimization method. A movement process is continuous. Therefore, a prognosis about the course of the movement is possible. Preferably, a state space representation of marker model configurations is used. The state space representation, which may also be referred to as a state space model, is one form of the description of a dynamic transmission system. The state space model enables analysis and synthesis of dynamic, variable systems in the time domain and can also efficiently z. B. in the control engineering of multi-size systems, as well as non-linear and time-variable transmission systems are used. All relationships of the state variables, the input variables and output variables in the form of matrices and vectors are represented. The state space model is described by two equations - the first order state differential equation and the output equation.
Ein Beispiel für einen Rauschenunterdrückungsalgorithmus ist ein Kalmanfilter. Der Kalmanfilter ist ein Filter, der im Zustandsraum anwendbar ist. Damit können Messungen unter Zuhilfenahme eines Prozess- und Mess-Modells, wie einer Markermodellkonfiguration, verbessert werden. Der Kalmanfilter arbeitet in den zwei Schritten Prädikation und Innovation:
- – Prädiktion: Unter Zuhilfenahme eines Prozessmodells (z. B. Differentialgleichung eines bewegenden Objekts) wird der letzte geschätzte Zustand (z. B. Position und Geschwindigkeit) für die nächste Messung vorausgesagt.
- – Innovation: Die prädizierte Messung wird mit der neuen Messung zu einem neuen Schätzergebnis kombiniert. Dabei wird Messung und Messwertprädiktion je nach Unsicherheit der Messung (Messrauschen) und Unsicherheit der Prädiktion (Modellrauschen, Kovarianz der Messwertprädiktion, Kovarianz der Schätzung) unterschiedlich gewichtet.
- Prediction: With the help of a process model (eg differential equation of a moving object) the last estimated state (eg position and velocity) is predicted for the next measurement.
- - Innovation: The predicted measurement is combined with the new measurement to a new estimation result. Depending on the uncertainty of the measurement (measurement noise) and uncertainty of the prediction (model noise, covariance of the measured value prediction, covariance of the estimation), measurement and measured value prediction are weighted differently.
Der Kalmanfilter selbst basiert auf einem Satz linearer mathematischer Gleichungen und setzt gauss-verteiltes Rauschen voraus. Vereinfacht gesprochen dient der Kalmanfilter nach einem Aspekt zum Entfernen der von den Messgeräten, wie der Digitalkamera, verursachten Störungen. Dabei müssen sowohl die mathematische Struktur des zugrundeliegenden dynamischen Systems, wie die Bewegung von Markerelementen, als auch die der Messverfälschungen, wie z. B. das Pixelrauschen, bekannt sein. Im Rahmen der mathematischen Schätztheorie spricht man hinsichtlich Kalmanfilter auch von einem Bayes'schen Minimum-Varianz-Schätzer für lineare stochastische Systeme in Zustandsraumdarstellung. The Kalman filter itself is based on a set of linear mathematical equations and requires gaussian distributed noise. In simple terms, the Kalman filter, in one aspect, serves to remove the interference caused by the meters, such as the digital camera. In this case, both the mathematical structure of the underlying dynamic system, such as the movement of marker elements, as well as the Messverfälschungen, such. As the pixel noise, be known. With regard to Kalman filters, mathematical estimation theory is also referred to as a Bayesian minimum-variance estimator for linear stochastic systems in state space representation.
Es können auch Weiterentwicklungen von Kalmanfiltern verwendet werden, wie z. B. ein Extended Kalman-Filter (EKF) bzw. ein linearisiertes Kalman-Filter. Further developments of Kalman filters can be used, such. For example, an extended Kalman filter (EKF) or a linearized Kalman filter.
Eine andere, vorzugsweise in einem Verfahren verwendete Weiterentwicklung eines Rauschenunterdrückungsalgorithmus ist der quaternionenbasierte Bewegungsfolgefilter, der auch als quaternionenbasierter Kalmanfilter bezeichnet werden kann. Hierbei handelt es sich um einen nichtlinearen Filter zum Glätten von Winkellagemessungen. Insbesondere wird bei diesem Filter das bekannte Problem des „Gimbal-Lock“ vermieden. Quaternionen eignen sich ganz besonders zur Darstellung von Rotationen und bei der Lösung von Problemen der Bewegungsverfolgung. Quaternionen sind gegenüber anderen Darstellungsformen auch besonders kompakt. Es handelt sich um Vier-Parameter-Darstellungen. Die Bewegungsdynamik kann als Modell linear beschrieben werden und die Übergangsmatrix, die auch als Transitionsmatrix bezeichnet werden kann, ist einfach zu berechnen. Another refinement of a noise suppression algorithm, preferably used in a method, is the quaternion-based motion sequence filter, which may also be referred to as a quaternion-based Kalman filter. This is a non-linear filter for smoothing angular position measurements. In particular, the known problem of the "gimbal lock" is avoided in this filter. Quaternions are particularly useful for imaging rotations and solving motion tracking problems. Quaternions are also particularly compact compared to other forms of representation. These are four-parameter representations. The motion dynamics can be described linearly as a model and the transition matrix, which can also be called a transition matrix, is easy to calculate.
Bei drei räumlichen Koordinatenachsen zur Bezeichnung einer räumlichen Lage kann die Transitionsmatrix mit drei um die jeweiligen Koordinatenachsen auftretenden Winkelgeschwindigkeiten berechnet werden. Nach einem weiteren Aspekt lassen sich in der Umkehrung mit der Transitionsmatrix aus zwei Winkellagen, die zu unterschiedlichen Zeitpunkten bestimmt wurden, Drehgeschwindigkeiten um die jeweiligen Koordinatenachsen berechnen. Die Drehgeschwindigkeiten sind einer Drehung zugeordnet, die ein Objekt von der ersten Winkellage in die zweite Winkellage zum jeweiligen Zeitpunkt der Winkellage überführen. With three spatial coordinate axes for designating a spatial position, the transition matrix can be calculated with three angular velocities occurring around the respective coordinate axes. According to another aspect, in the inversion with the transition matrix, rotational speeds about the respective coordinate axes can be calculated from two angular positions which were determined at different times. The rotational speeds are associated with a rotation, which convert an object from the first angular position to the second angular position at the respective time of the angular position.
Der quaternionenbasierte Bewegungsfolgefilter berücksichtigt im Speziellen zwei Eigenschaften der Orientierungsdarstellung mit Quaternionen. Zum einen berücksichtigt der Bewegungsfolgefilter die Eigenschaft, dass der die Drehung, anders gesagt die Rotation, darstellende Operator, nämlich der Rotationsoperator, und damit ein möglicher Fehler, der der Orientierung zukommt, durch eine Multiplikation beschrieben wird, und damit nichtlinear ist. Zum anderen wird berücksichtigt, dass das Quaternion, das die Winkellage eines Objekts beschreibt, immer ein Einheitsquaternion mit der Länge 1 (betrachtet als Betrag eines Vektors) ergeben muss. In particular, the quaternion-based motion sequence filter takes into account two characteristics of the quaternion orientation plot. On the one hand, the motion sequence filter takes into account the property that the operator representing the rotation, in other words the rotation, namely the rotation operator, and thus a possible error to be orientated, is described by multiplication, and is thus nonlinear. On the other hand, it is considered that the quaternion, which describes the angular position of an object, always has to result in a unit quaternion with the length 1 (considered as the magnitude of a vector).
In einer Ausführungsform eines quaternionenbasierten Filters mit additivem Fehler kann die multiplikative Rotationsoperation linearisiert werden, sodass sie durch eine Addition beschrieben wird. Die Eigenschaft des Einheitsquaternions kann in diesem Falle zwar dadurch bewahrt werden, dass das Ergebnis der Filterung normiert wird. In der mathematischen Struktur des zugrundeliegenden dynamischen Systems als auch bei der Beschreibung der Messverfälschung, muss allerdings das Verfahren zur Bestimmung der Winkellage als ein Pseudomessgerät für die vier Parameter eines Quaternion betrachtet werden, wobei jedem Parameter eine von den anderen Parametern unabhängige Messverfälschung zugeordnet wird, was daher vorzugsweise noch weiter zu verbessern ist. In one embodiment of an additive error quaternion-based filter, the multiplicative rotation operation may be linearized such that it is described by an addition. The In this case, the property of unit quaternion can be preserved by normalizing the result of the filtering. However, in the mathematical structure of the underlying dynamic system as well as in the description of the measurement distortion, the angular position determination method must be considered as a pseudo-meter for the four parameters of a quaternion, assigning to each parameter measurement falsification independent of the other parameters Therefore, preferably still be improved.
Eine andere Weiterentwicklung eines quaternionenbasierten Bewegungsfolgefilters verfolgt nicht die Winkellage eines Objekts selbst, sondern die Änderung der Winkellage des Objekts. Es kann auch gesagt werden, dass die multiplikative Operation der 4-parametrischen Ausgangswinkellage mit der ebenfalls 4-parametrischen Änderung der Winkellage die aktualisierte Winkellage ergibt, die zum Zeitpunkt der Erfassung einer neuen Bilddatenpixelanordnung vorliegt. Nach einem Aspekt kann die Messung der neuen Winkellage aus der neuen Bilddatenpixelanordnung als eine Messung der Winkellage mit einer Messverfälschung bezeichnet werden. Die Berechnung der neuen, um die Messverfälschung bereinigten Winkellage wird um den Bewegungsfolgefilter gekapselt. Der Bewegungsfolgefilter berücksichtigt eine Beschränkung der Winkellage hinsichtlich eines Erwartungswerts einer Bewegungsgröße. Im Bewegungsfolgefilter selbst wird die Änderung der Winkellage in einer 3(drei)-parametrischen Darstellungsform verfolgt und kann deshalb mit einem linearen, additiven Fehler beschrieben werden ohne die Drehoperation zu verzerren. Das gefilterte Ergebnis wird vor der multiplikativen Rotationsoperation mit der Ausgangswinkellage in eine 4-parametrische Darstellung umgerechnet. Die Änderung der Winkellage kann beispielsweise mit Winkelgeschwindigkeitssensoren, wie etwa einem Gyroskop, direkt gemessen werden. Es ist auch möglich, die Änderung der Winkellage unter Annahme gleichmäßiger Rotationsbewegung im Bewegungsprozess-Modell, mittels der Transitionsmatrix aus der Ausgangswinkellage und der neuen Messung der Winkellage zu berechnen. Bei der Verwendung von sensorisch erhobenen Winkelgeschwindigkeiten müssen unterschiedliche Datenraten zwischen Sensordaten und Bilddatenpixelanordnungen kompensiert werden. Eine Anpassung von Messungen, die mit unterschiedlichen Datenraten erfasst werden, kann durch Zuhilfenahme eines dynamischen Bewegungsmodells geschehen, mit dem insbesondere Messwerte interpoliert werden können. Another development of a quaternion-based motion sequence filter does not track the angular position of an object itself, but the change in the angular position of the object. It can also be said that the multiplication operation of the 4-parametric output angular position with the likewise 4-parametric change of the angular position results in the updated angular position which is present at the time of the detection of a new image data pixel arrangement. In one aspect, the measurement of the new angular position from the new image data pixel arrangement may be referred to as measuring the angular position with a measurement corruption. The calculation of the new angular position adjusted for the measurement distortion is encapsulated around the motion sequence filter. The motion sequence filter takes into account a limitation of the angular position with respect to an expectation value of a motion quantity. In the motion sequence filter itself, the change of the angular position is tracked in a 3 (three) -parametric representation and can therefore be described with a linear additive error without distorting the rotation operation. The filtered result is converted into a 4-parametric representation before the multiplicative rotation operation with the output angular position. The change in the angular position can be measured directly with, for example, angular rate sensors, such as a gyroscope. It is also possible to calculate the change of the angular position assuming uniform rotational motion in the motion process model, by means of the transition matrix from the output angular position and the new measurement of the angular position. When using sensory angular velocities different data rates between sensor data and Bilddatenpixelanordnungen must be compensated. An adaptation of measurements, which are recorded with different data rates, can be done by using a dynamic motion model with which, in particular, measured values can be interpolated.
Durch ein dynamisches Bewegungsmodell können Bewegungsänderungen in der Position mit Änderungen der Winkellage gekoppelt werden, was eine verbesserte Bestimmung der Objektpose, anders gesagt, der gegenständlichen Lage eines Objekts, ergibt. By means of a dynamic movement model, movement changes in the position can be coupled with changes in the angular position, which results in an improved determination of the object pose, in other words, the objective position of an object.
Als Alternative zu einem Kalman-Filter kann auch ein Partikelfilter, wie ein Kondensationsalgorithmus oder ein sequenzieller Monte-Carlo-Algorithmus eingesetzt werden. Hierbei handelt es sich um nichtlineare Filter, die keine Gauß-verteilten Rauschprozesse voraussetzen. As an alternative to a Kalman filter, a particulate filter such as a condensation algorithm or a sequential Monte Carlo algorithm can also be used. These are non-linear filters that do not require Gaussian distributed noise processes.
Mit dem Verfahren kann besonders zügig und schnell eine Lagebestimmung erfolgen, wenn als Ausgangspunkt eine Vorauswahl einer Markeruntergruppe der Markerkonfiguration zur Anwendung des Vergleichsalgorithmus getroffen wird. In der Vorauswahl kann anders gesagt eine Anfangskonfiguration des Vergleichsalgorithmus festgelegt werden. Die Markeruntergruppe wird aus der Markerkonfiguration bestimmt. Die Markeruntergruppe kann auch aus einer Markermodellkonfiguration bestimmt werden. Vorzugsweise erfolgt die Vorauswahl der Markeruntergruppe algorithmisch in der Recheneinheit, wobei auf vorbekannte Markerkonfigurationsdaten zurückgegriffen wird. Als Markeruntergruppe können z. B. Markerelemente gewählt werden, die einen kleinsten, insbesondere mittleren, Abstand aufweisen. Nach einem Aspekt handelt es sich hierbei um die nächsten Nachbarn innerhalb der Markerkonfiguration. Die Markeruntergruppe umfasst vorzugsweise drei Markerelemente. Die Markeruntergruppe kann auch vier Markerelemente umfassen. Der kleinste mittlere Abstand ist insbesondere dann erkannt, wenn durch einen hypothetischen Austausch eines Markerelements der Markeruntergruppe ein mittlerer Abstand vergrößert wird. Der mittlere Abstand kann z. B. danach berechnet werden, dass jeweils alle vorliegenden paarweisen Abstände von zwei Markerelementen der Markeruntergruppe addiert und durch die Anzahl der Abstände dividiert werden. With the method, a position determination can be carried out particularly quickly and quickly if, as a starting point, a preselection of a marker subgroup of the marker configuration for the application of the comparison algorithm is made. In other words, in the preselection, an initial configuration of the comparison algorithm can be defined. The marker subgroup is determined from the marker configuration. The marker subgroup can also be determined from a marker model configuration. The preselection of the marker subgroup is preferably carried out algorithmically in the arithmetic unit, with recourse being made to previously known marker configuration data. As a marker subgroup z. B. marker elements are selected, which have a smallest, especially middle, distance. In one aspect, these are the closest neighbors within the marker configuration. The marker subgroup preferably comprises three marker elements. The marker subgroup may also include four marker elements. The smallest average distance is recognized in particular when a mean distance is increased by a hypothetical exchange of a marker element of the marker subgroup. The average distance can be z. For example, it can then be calculated that in each case all present pairwise distances of two marker elements are added to the marker subgroup and divided by the number of spacings.
Nach einem anderen Aspekt hat es sich in Versuchen als förderlich für die Schnelligkeit bei der Bestimmung einer Lage bzw. einer geänderten Lage herausgestellt, wenn eine Untergruppe von Markerbildbereichen vorausgewählt wird, auf die der Vergleichsalgorithmus angewendet wird. Eine erste Untergruppe umfasst vorzugsweise fünf Markerbildbereiche. Die erste Untergruppe kann allerdings auch drei Markerbildbereiche umfassen, insbesondere wenn eine Überprüfung eines numerischen Optimierungsverfahrens durchzuführen ist. Die Untergruppe wird vorzugsweise als Nächste-Nachbar-Markerbildbereichskonfiguration ausgewählt. Hierbei werden aus allen aufgefundenen Markerbildbereichen die Markerbildbereiche ausgewählt, die zueinander als nächste Nachbarn algorithmisch ausgewertet werden. Die nächsten Nachbarn lassen sich z. B. dadurch identifizieren, dass der mittlere Abstand von jeweils drei Markerbildbereichen aus allen aufgefundenen Markerbildbereichen berechnet wird. Die Markerbildbereiche mit dem kleinsten mittleren Abstand bilden die ausgewählte erste Untergruppe. Weitere Markerbildbereiche, die einen größeren mittleren Abstand als eine erste Untergruppe aufweisen, lassen sich sequenziell mit jeweils größerem mittleren Abstand in den Vergleichsalgorithmus einbringen. Das erfolgt vorzugsweise wenn die erste Untergruppe oder eine weitere Untergruppe von dem Vergleichsalgorithmus, z. B. aufgrund unzureichender Übereinstimmung mit einer Markermodellkonfiguration, aussortiert wurde. In another aspect, it has been found in experiments to promote the speed of determining a location or a changed location when preselecting a subset of marker image areas to which the comparison algorithm is applied. A first subgroup preferably comprises five marker image areas. However, the first subgroup may also comprise three marker image areas, in particular if a review of a numerical optimization procedure is to be carried out. The subgroup is preferably selected as the nearest neighbor marker image area configuration. In this case, the marker image areas are selected from all found marker image areas, which are evaluated algorithmically as the nearest neighbors. The nearest neighbors can be z. B. in that the mean distance of three marker image areas from all found marker image areas is calculated. The marker image areas with the smallest mean distance form the selected first subgroup. Additional marker image areas, which have a greater average distance than a first subgroup, can be introduced into the comparison algorithm sequentially, each with a larger average spacing. This is preferably done when the first subgroup or another subset of the comparison algorithm, e.g. Due to insufficient compliance with a marker model configuration.
Nach einem weiteren Aspekt kann eine Nächste-Nachbar-Markerbildbereichskonfiguration auch eine erste Markerbildbereichskonfiguration aus einer ersten Bilddatenpixelanordnung und eine zweite Markerbildbereichskonfiguration aus einer zweiten Bilddatenpixelanordnung sein, die z. B. von allen Markerbildbereichskonfigurationen, insbesondere innerhalb der Markerbildbereichskonfiguration, den kleinsten mittleren Abstand zueinander aufweisen. In another aspect, a nearest neighbor marker image area configuration may also be a first marker image area configuration of a first image data pixel array and a second marker image area configuration of a second image data pixel array, e.g. B. of all marker image area configurations, in particular within the marker image area configuration, the smallest mean distance from each other.
Eine algorithmisch mittels Markerbildbereichen aufgefundene Markerpositionskonfiguration, die die gegenständliche Lage ausmacht, kann noch weiter verfeinert werden, indem der Markerpositionskonfiguration eine Position und eine Richtung eines Raumwinkelbereichs zugeordnet wird. Insbesondere ist es möglich, bei einer Bewegung eine Zuordnung eines geänderten Raumwinkelbereichs zu einer Markerpositionskonfiguration durchzuführen. Ein geänderter Raumwinkelbereich ist ein Raumwinkelbereich, der in einer zweiten gegenständlichen Lage vorliegt. Eine Größe des Raumwinkelbereichs kann z. B. durch zwei Winkel angegeben werden. Die Größe des Raumwinkelbereichs entspricht z. B. einem Blickfeld eines menschlichen Auges oder einem Blickfeld eines menschlichen Augenpaares. Die Position kann z. B. die Position des Kopfes im Raum sein. Die Richtung kann z. B. die Drehstellung des Kopfes oder die Drehstellung der Augen oder auch eine Kombination aus Drehstellung des Kopfes und Drehstellung der Augen sein. Der Raumwinkelbereich ist in Bereichsbilddaten eines virtuellen Raums umrechenbar. Es können allerdings auch aus Bilddaten eines realen Raums, wie eine Photographie oder ein Film, die digitalisiert auf der Recheneinheit vorliegen, zur Berechnung von Bereichsbilddaten, die einem Raumwinkelbereich zugeordnet sind, herangezogen werden. Insbesondere werden für eine Umrechnung Bilddaten eines dreidimensionalen Raums verwendet. Bereichsbilddaten, die einem Raumwinkelbereich zuordnenbar sind, können von einem rechnergestützten Konstruktionsprogramm bereitgestellt worden sein. Es ist auch möglich eine Position und eine Richtung in einem rechnergestützten Konstruktionsprogramm zu verwenden, um einen Raumwinkelbereich eines virtuellen Raums zu errechnen. An algorithmic marker position configuration retrieved by means of marker image areas, which constitutes the objective location, can be further refined by assigning a position and a direction of a solid angle range to the marker position configuration. In particular, it is possible to carry out an assignment of a changed solid angle range to a marker position configuration during a movement. A changed solid angle range is a solid angle range present in a second objective position. A size of the solid angle range can be z. B. be indicated by two angles. The size of the solid angle range corresponds to z. B. a field of view of a human eye or a field of view of a human eye pair. The position can z. B. be the position of the head in space. The direction can z. B. be the rotational position of the head or the rotational position of the eyes or a combination of rotational position of the head and rotational position of the eyes. The solid angle range can be converted into area image data of a virtual space. However, image data of a real space such as a photograph or a film digitized on the arithmetic unit may also be used for calculating area image data associated with a solid angle area. In particular, image data of a three-dimensional space are used for a conversion. Area image data attributable to a solid angle area may be provided by a computer-aided design program. It is also possible to use a position and a direction in a computer-aided design program to calculate a solid angle range of a virtual space.
Ein System, mit dem eine Blickfelddarstellung dargeboten werden kann, arbeitet vorzugsweise mit Markerelementen, die in einer Konfiguration vorliegen. Die Konfiguration der Markerelemente kann durch einen Markerträger, insbesondere durch Flächenelemente des Markerträgers strukturiert sein. Die Konfiguration der Markerelemente wird vorzugsweise durch eine Pseudozufallsverteilung der Markerelemente festgelegt. Bei einer Pseudozufallsverteilung wird eine Position eines Markerelements mit Hilfe mindestens einer Zufallszahl vorbestimmt. Zufallszahlen werden z. B. von einem Zufallszahlenalgorithmus rechnerisch vorgegeben. Eine Zufallszahl kann z. B. eine Koordinate oder ein Pixel auf einem Flächenelement eindeutig festlegen. Der Begriff Pseudozufallsverteilung besagt, dass die zufällige Verteilung der Markerelemente weiteren Randbedingungen unterliegt. Es ist beispielsweise möglich vorab festzulegen, dass auf einem Flächenelement des Markerträgers eine bestimmte Anzahl, wie z. B. drei, Markerelemente vorliegen müssen. Es kann auch festgelegt werden, dass die Markerelemente nichtlinear angeordnet sind. Bei einer Pseudozufallsverteilung kann auch eine Randbedingung festgelegt werden, wonach in der Konfiguration ein Mindestabstand jedes Markerelements von einem nächstliegenden Rand eingehalten ist. Nach einem anderen Aspekt kann auch ein Mindestabstand von einer nächstliegenden Kante des Markerträgers vorausgesetzt sein. Nach noch einem anderen Aspekt lässt sich vorab ein Mindestabstand von jeweils zwei Markerelementen der Konfiguration festlegen. Mit solchen Vorgaben lässt sich z. B. die Unterscheidbarkeit von zwei Markerelementen verbessern. Weiterhin werden in einem Pixeldatenfeld, das von einer Kamera aufgenommen wurde, Markerelemente zumindest bereichsweise mit dem Hintergrund des Markerträgers gezeigt, wodurch ein Auffinden von Markerelementen in dem Pixeldatenfeld erleichtert werden kann. Ein Markerträger bietet einen homogenen und gleichmäßigen, insbesondere dunklen, Hintergrund, der sich z. B. von einem in dem Raumbereich erfassbaren Hintergrund unterscheidet. Der Mindestabstand beträgt vorzugsweise mindestens ein Drittel eines Markerelementdurchmessers. Es ist auch möglich, einen Mindestabstand von einem halben Markerelementdurchmesser oder einem ganzen Markerelementdurchmesser als Mindestabstand vorzusehen, um so die Markererkennung in dem Pixeldatenfeld weiter zu verbessern. Vorzugsweise sind alle Markerelemente in der Konfiguration nicht linear zueinander angeordnet, sodass von einer Nichtlinearität der Konfiguration gesprochen werden kann. Eine nichtlineare Konfiguration von drei Markerelementen ist eine Dreieckskonfiguration. Durch jede dieser Randbedingungen kann die Bestimmung einer Lage in verschiedenen Winkelstellungen des Markerträgers weiter verbessert, und eine Erkennbarkeit eines Markerelements durch eine Digitalkamera gesteigert werden. A system for providing field of view display preferably operates with marker elements that are in a configuration. The configuration of the marker elements can be structured by a marker carrier, in particular by surface elements of the marker carrier. The configuration of the marker elements is preferably determined by a pseudorandom distribution of the marker elements. In a pseudo-random distribution, a position of a marker element is predetermined by means of at least one random number. Random numbers are z. B. predetermined by a random number algorithm by calculation. A random number can be z. B. uniquely define a coordinate or a pixel on a surface element. The term pseudo-random distribution means that the random distribution of the marker elements is subject to further boundary conditions. It is for example possible to specify in advance that on a surface element of the marker carrier a certain number, such. B. three, marker elements must be present. It can also be specified that the marker elements are arranged non-linearly. In the case of a pseudo-random distribution, a boundary condition can also be defined, according to which a minimum distance of each marker element from a nearest edge is maintained in the configuration. According to another aspect, a minimum distance from a nearest edge of the marker carrier can be assumed. According to yet another aspect, a minimum distance of in each case two marker elements of the configuration can be defined in advance. With such specifications can be z. B. improve the distinctness of two marker elements. Furthermore, in a pixel data field recorded by a camera, marker elements are at least partially shown with the background of the marker carrier, whereby finding marker elements in the pixel data field can be facilitated. A marker carrier provides a homogeneous and uniform, especially dark, background, the z. B. differs from a detectable in the space area background. The minimum distance is preferably at least one third of a marker element diameter. It is also possible to provide a minimum distance of half a marker element diameter or a whole marker element diameter as a minimum distance so as to further improve marker recognition in the pixel data field. Preferably, all the marker elements in the configuration are not arranged linearly with respect to one another, so that a nonlinearity of the configuration can be spoken of. A nonlinear configuration of three marker elements is a triangle configuration. By each of these boundary conditions, the determination of a position in different angular positions of the marker carrier can be further improved, and a recognizability of a marker element can be increased by a digital camera.
Markerelemente lassen sich besonders gut in einem Pixeldatenfeld auffinden, wenn die Konfiguration mindestens einen, vorzugsweise mindestens vier Markerbildbereiche bereitstellt. Konfiguration besagt auch, dass eine Kombination einer vorausgewählten Ausgestaltung eines Markerträgers mit Markerelementen vorliegt. Die Markerbildbereiche werden in einer Aufnahme einer Digitalkamera bereitgestellt. Die Aufnahme der Digitalkamera erfasst auch Markerträgerbildbereiche. Mindestens einer der Markerbildbereiche sollte zumindest bereichsweise an einen Markerträgerbildbereich angrenzen. Vorzugsweise grenzen mindestens vier Markerbildbereiche an einen Markerträgerbildbereich an. Sind weitere Markerbildbereiche in dem Pixeldatenfeld enthalten, so sind insbesondere auch die weiteren Markerbildbereiche in zweidimensionaler Ansicht des Pixeldatenfelds zumindest an einem Kantenbereich mit einem Helligkeitsunterschied zu einem Flächenelement des Markerträgers ausgewiesen. Vorzugsweise ist ein Markerbildbereich von einem Markerträgerbildbereichsrand umschlossen. Marker elements can be found particularly well in a pixel data field if the configuration provides at least one, preferably at least four marker image areas. Configuration also implies that there is a combination of a preselected configuration of a label carrier with marker elements. The marker image areas are provided in a photograph of a digital camera. The digital camera also captures marker carrier image areas. At least one of the marker image areas should at least partially adjoin a marker carrier image area. Preferably, at least four marker image areas adjoin a marker carrier image region. If further marker image areas are contained in the pixel data field, in particular also the further marker image areas in a two-dimensional view of the pixel data field are identified at least at an edge area with a brightness difference to a surface element of the marker carrier. Preferably, a marker image area is enclosed by a marker carrier image area border.
Markerbildbereiche sind besonders gut mit einem Markererkennungsalgorithmus zu erfassen, wenn sie mit einem hohen Kontrast im Verhältnis zu einem Bildbereichshintergrund vorliegen. Dafür ist es günstig, wenn Flächenelemente eines Markerträgers eine absorptionsfördernde Oberfläche aufweisen. Als ein förderlicher Aspekt einer Oberfläche wird eine Materialeigenschaft verstanden, die eine Erleichterung oder eine Begünstigung eines optischen Effekts bewirkt. Der Markerträger kann z. B. zur Verbesserung, d. h. Erhöhung, der Absorption von sichtbarem Licht ausgebildet sein. Die Absorption eines Flächenelements kann auch für einen vorgegebenen Spektralbereich optimiert sein. Vorzugsweise wird mehr als 50% des Lichts, das auf ein Flächenelement einfällt, absorbiert. Eine absorptionsfördernde Oberfläche ist nach einem Aspekt zu unterscheiden von einer reflexionsfördernden Oberfläche. Eine reflexionsfördernde Oberfläche erleichtert Photonen das Verlassen der Oberfläche, wohingegen eine absorptionsfördernde Oberfläche eine Aussendung von Photonen erschwert. Der Bereich sichtbaren Lichts kann z. B. zwischen 350 und 800 Nanometer bemessen sein. Markerelemente weisen vorzugsweise eine reflexionsfördernde Oberfläche auf. Eine reflexionsfördernde Oberfläche ist z. B. eine weiße Oberfläche. Eine weiße Oberfläche wirft eintreffendes Licht des sichtbaren Spektralbereichs zurück. Es ist auch möglich, dass die Reflexion mit einer Streuung von Licht erfolgt. Anders gesagt bietet eine reflexionsfördernde Oberfläche vorzugsweise keinen Winkelerhalt für einfallendes Licht, insbesondere möglichst geringe Rückreflexion, sodass eine Positionierung einer Lichtquelle frei wählbar ist. Eine reflexionsfördernde Oberfläche kann nach einem Aspekt auch als eine abstrahlungsfördernde Oberfläche bezeichnet werden. Die Abstrahlung kann eine Rückstrahlung von empfangenem Licht umfassen. Die Abstrahlung kann aber auch die Aussendung von generiertem Licht umfassen. Vorzugsweise werden mehr als 50 % des auf ein Markerelement einfallenden Lichts reflektiert. Insbesondere sind Markerelementoberflächen vorteilhaft, die Licht breitbandig zurückwerfen. Es können allerdings auch Markerelementoberflächen oder Markerelementoberflächenbeschichtungen verwendet werden, die eine Abstrahlung von sichtbarem Licht, insbesondere in einem spektral-eingeschränkten Wellenlängenbereich, fördern. Damit ist es möglich, z. B. durch das Vorsetzen eines geeigneten Spektralfilters vor eine Digitalkamera, die Auffindbarkeit von Bildbereichen von Markerelementen in einer Bilddatenpixelanordnung zu verbessern. Nach einem weiteren Aspekt kann die Auffindbarkeit von Markerelementen in Bildbereichen auch durch eine Beschichtung mit einem optischen Aufheller verbessert werden. Ein optischer Aufheller ist eine Substanz, die z. B. energiereiches Licht, wie UV-Licht, in energieärmeres Licht, wie sichtbares Licht, umwandelt. Der optische Aufheller wird vorzugsweise auf den Markerelementen aufgebracht. Der optische Aufheller kann auch als Beimischung des formgebenden Materials eines Markerelements vorliegen. Optische Aufheller sind z. B. dann besonders nützlich, wenn an dem Aufstellungsort des Markerträgers Tageslicht herrscht oder zumindest zum Licht der Lichtquelle beiträgt. Es kann allerdings auch eine zusätzliche, sogenannte Schwarzlichtquelle, wie eine Schwarzlichtleuchtstofflampe, verwendet werden, um die Auffindbarkeit von Markerelementen durch einen Markererkennungsalgorithmus noch weiter zu verbessern. Als Alternative zu passiv kontrastbildenden Markerelementen können auch aktiv leuchtende Markerelemente, wie z. B. Markerelemente, in die jeweils eine Leuchtdiode integriert ist, verwendet werden. Eine größere Unabhängigkeit von verfügbaren Lichtquellen lässt sich z. B. durch Integration einer Leuchtdiode oder eines Lichtleitfaserendes von einer Lichtquelle in mindestens ein nach außen durchscheinbares Markerelement erreichen. Marker image areas are particularly well captured with a marker detection algorithm if they are present with a high contrast relative to an image area background. For this it is favorable if surface elements of a marker carrier have an absorption-promoting surface. A beneficial aspect of a surface is understood to be a material property that causes relief or enhancement of an optical effect. The marker carrier can z. To improve, d. H. Increase the absorption of visible light be formed. The absorption of a surface element can also be optimized for a given spectral range. Preferably, more than 50% of the light incident on a sheet is absorbed. An absorption-promoting surface is, in one aspect, to be distinguished from a reflection-promoting surface. A reflection-promoting surface facilitates photons leaving the surface, whereas an absorption-promoting surface makes it difficult to emit photons. The range of visible light can z. B. be sized between 350 and 800 nanometers. Marker elements preferably have a reflection-promoting surface. A reflection-enhancing surface is z. B. a white surface. A white surface reflects incoming light of the visible spectral range. It is also possible that the reflection takes place with a scattering of light. In other words, a reflection-promoting surface preferably does not provide angular preservation for incident light, in particular the least possible back reflection, so that positioning of a light source is freely selectable. A reflection-promoting surface may in one aspect also be referred to as an emission-promoting surface. The radiation may include a return of received light. The radiation may also include the emission of generated light. Preferably, more than 50% of the light incident on a marker element is reflected. In particular, marker element surfaces are advantageous which reflect light in a broadband manner. However, marker element surfaces or marker element surface coatings that promote visible light emission, particularly in a spectrally restricted wavelength range, may also be used. This makes it possible, for. By pre-setting a suitable spectral filter in front of a digital camera to improve the findability of image areas of marker elements in an image data pixel array. In a further aspect, the findability of marker elements in image areas can also be improved by coating with an optical brightener. An optical brightener is a substance that z. B. high-energy light, such as UV light, in lower energy light, such as visible light, converts. The optical brightener is preferably applied to the marker elements. The optical brightener can also be present as an admixture of the shaping material of a marker element. Optical brighteners are z. B. especially useful when there is daylight at the site of the marker support or at least contributes to the light of the light source. However, an additional, so-called black light source, such as a black light fluorescent lamp, may be used to further enhance the findability of marker elements by a marker detection algorithm. As an alternative to passive contrast-forming marker elements also actively illuminated marker elements such. B. marker elements, in each of which a light-emitting diode is integrated, are used. A greater independence of available light sources can be z. B. by integrating a light emitting diode or an optical fiber end of a light source in at least one outwardly translucent marker element.
Die Recheneinheit des Systems ist vorzugsweise so klein und leicht, dass sie tragbar ist. Die Recheneinheit kann z. B. in einer Hand getragen werden. Es ist auch möglich, die Recheneinheit an einem Riemen oder einem Gürtel zu befestigen. Der Anwendungsmöglichkeiten der Recheneinheit werden noch mehr erweitert, wenn die Recheneinheit eine Speichereinheit aufweist. Die Speichereinheit kann unter Anderem zur Bereitstellung von Daten eines virtuellen Raums eingesetzt werden. Es ist aber auch möglich, die Daten eines virtuellen Raums per Funk zur Recheneinheit zu übertragen, um die tragbare Recheneinheit möglichst klein zu gestalten, sodass sie in einem Innenbereich eines Markerträgers untergebracht sein kann. Die Daten des virtuellen Raums können zur Bereitstellung von Lageänderungen oder Blickfelddarstellungen in zeitlicher Folge verwendet werden. Es ist auch vorteilhaft, wenn ein Steuerelement in dem System vorgesehen ist. Das Steuerelement kann eine Vorauswahl einer Raumbereichspositionierung einfach und schnell ermöglichen. Ein Steuerelement kann so ausgebildet sein, dass es mit einer Recheneinheit verbindbar ist. Beispielsweise kann ein Steuerelement als ein Spracherkennungsmodul vorliegen, das über ein Mikrofon eine Spracheingabe auswertet. Es ist auch möglich, dass das Steuerelement als eine Gestenerkennungseinheit ausgebildet ist, in der ein oder mehrere Pixeldatenfelder algorithmisch analysierbar sind. Die Pixeldatenfelder werden z. B. mit der Digitalkamera optisch erfasst und in algorithmisch auswertbare elektronische Daten umgewandelt. Damit lässt sich eine Blickfelddarstellung schnell ändern, ohne einen Systemneustart vornehmen zu müssen. Die Blickfelddarstellung kann durch Lageänderungen in dem System weiter verfolgt werden. The computing unit of the system is preferably so small and light that it is portable. The arithmetic unit can z. B. be worn in one hand. It is also possible to attach the arithmetic unit to a belt or belt. The application possibilities of the arithmetic unit are even more expanded if the arithmetic unit has a memory unit. Among other things, the storage unit can be used to provide virtual space data. But it is also possible to transmit the data of a virtual space by radio to the arithmetic unit in order to make the portable computing unit as small as possible, so that it can be housed in an interior of a marker carrier. The virtual space data can be used to provide location changes or field of view images in chronological order be used. It is also advantageous if a control is provided in the system. The control can easily and quickly enable a preselection of a space area positioning. A control element can be designed so that it can be connected to a computing unit. For example, a control may be present as a voice recognition module that evaluates a voice input via a microphone. It is also possible that the control element is designed as a gesture recognition unit in which one or more pixel data fields can be analyzed algorithmically. The pixel data fields are z. B. optically recorded with the digital camera and converted into algorithmically evaluable electronic data. This allows a field of view representation to be changed quickly without having to reboot the system. The field of view representation can be further tracked by changes in position in the system.
Neben einer ersten elektronischen Bildanzeige kann das System auch weitere elektronische Bildanzeigen, insbesondere eine zweite elektronische Bildanzeige, umfassen. Es ist möglich, dass die erste elektronische Bildanzeige und die zweite elektronische Bildanzeige gemeinsam ein Blickfeld bilden. Eine günstige Anordnung liegt vor, wenn die weitere elektronische Bildanzeige von einer ersten elektronischen Bildanzeige in einer Querrichtung fest beabstandet ist. Vorzugsweise sind die elektronischen Bildanzeigen nebeneinander angeordnet, womit eine erweiterte Blickfelddarstellung möglich ist. Nach einem weiteren Aspekt kann auch das gleiche Blickfeld dupliziert dargeboten werden. Damit können auch unterschiedliche Betrachter sich auf das gleiche Blickfeld konzentrieren. In einer weiteren Ausführungsform können ein erstes und ein zweites Blickfeld als ein Stereoraumwinkelbereich dargeboten werden. Ein Stereoraumwinkelbereich bietet einen noch beeindruckenderen räumlichen Eindruck einer virtuellen Umgebung bzw. eines virtuellen Raums für einen Betrachter. In addition to a first electronic image display, the system may also include other electronic image displays, in particular a second electronic image display. It is possible that the first electronic image display and the second electronic image display together form a field of view. A favorable arrangement is when the further electronic image display is fixedly spaced from a first electronic image display in a transverse direction. Preferably, the electronic image displays are arranged side by side, whereby an extended visual field representation is possible. According to another aspect, the same field of view can also be duplicated. This allows different viewers to focus on the same field of vision. In another embodiment, a first and a second field of view may be presented as a stereo region angle range. A stereo angle range provides an even more impressive spatial impression of a virtual environment or a virtual space for a viewer.
Ein Ausführungsbeispiel einer elektronischen Bildanzeige ist eine Videobrille. Eine Videobrille weist in einer Ausführungsform eine erste und eine zweite Bildanzeige auf. Eine Bildanzeige ist einem Auge zugeordnet. Weiterhin kann eine Videobrille mindestens eine Messeinrichtung umfassen. Es können auch weitere Messeinrichtungen, wie eine zweite Messeinrichtung, an einer Videobrille vorgesehen sein. Eine Messeinrichtung ist eine Einheit zur Ausführung mindestens einer Messung einer Messgröße, vorzugsweise in zeitlicher Folge. Eine Messeinrichtung umfasst z. B. mindestens einen Inertialsensor zur Messung von Beschleunigung und Drehraten (inertial measurement unit, kurz IMU), mindestens einen Augenstellungssensor oder ein Sehschärfesensor. Es ist in einer vorteilhaften Weiterbildung möglich mittels einer Videobrille, die insbesondere für jedes Auge eine Augenstellungsmesseinrichtung umfasst, eine Blickrichtung einer Person, bzw. eine Blickrichtungsänderung einer Person, durch Verdrehen der Augen festzustellen. Eine Blickrichtung kann in eine Darstellung insbesondere eines Blickfelds bzw. eines Winkelbereichs in einem virtuellen Raum eingerechnet werden. Es ist auch möglich eine Lagesensorik, die z. B. mechanisch arbeitet, oder einen Beschleunigungssensor in dem System vorzusehen, um eine Genauigkeit einer Lagebestimmung noch weiter zu verbessern oder nach einem anderen Aspekt eine Geschwindigkeit einer Lagebestimmung noch weiter zu erhöhen. One embodiment of an electronic image display is video glasses. Video glasses in one embodiment have first and second image displays. An image display is associated with an eye. Furthermore, a video eyeglass may comprise at least one measuring device. Other measuring devices, such as a second measuring device, may also be provided on a video eyeglass. A measuring device is a unit for performing at least one measurement of a measured variable, preferably in chronological order. A measuring device comprises z. B. at least one inertial sensor for measuring acceleration and rotation rates (inertial measurement unit, short IMU), at least one eye position sensor or visual acuity sensor. In an advantageous development, it is possible by means of a video eyeglass, which in particular comprises an eye position measuring device for each eye, to determine a viewing direction of a person, or a change in the viewing direction of a person, by turning the eyes. A viewing direction can be included in a representation of, in particular, a field of view or an angular range in a virtual space. It is also possible a position sensor, the z. B. mechanical, or to provide an acceleration sensor in the system in order to improve the accuracy of a position determination even further or, according to another aspect, to further increase a speed of a position determination.
Die zuvor dargestellten Kombinationen und Ausführungsbeispiele lassen sich auch in zahlreichen weiteren Verbindungen und Kombinationen betrachten. Einzelne benannte Aspekte sind frei miteinander kombinierbar oder auch mit Merkmalskombinationen als weitere Ausführungsform zusammenfassbar. The previously described combinations and exemplary embodiments can also be considered in numerous other connections and combinations. Individual named aspects can be freely combined with each other or combined with feature combinations as a further embodiment.
Figurenkurzbeschreibung Brief Description
Die vorliegende Erfindung kann noch besser verstanden werden, wenn Bezug auf die beiliegenden Figuren genommen wird, die beispielhaft besonders vorteilhafte Ausgestaltungsmöglichkeiten darlegen, ohne die vorliegende Erfindung auf diese einzuschränken, wobei The present invention may be better understood by reference to the accompanying figures, which set forth by way of example particularly advantageous design possibilities without restricting the present invention thereto
Figurenbeschreibung figure description
In
Eine Ausführungsform eines Markerträgers
In
Eine weitere Ausführungsform eines Markerträgers
Ein Flussdiagramm für ein erfindungsgemäßes Verfahren
Mit einer monookularen Digitalkamera
Mit erfolgter Verfahrensinitialisierung
In
Es ist allerdings auch möglich in einer weiteren Ausführungsform das Verfahren zur Bestimmung einer gegenständlichen Lage (
Die in den einzelnen Figuren gezeigten Ausgestaltungsmöglichkeiten lassen sich auch untereinander in beliebiger Form verbinden. Insbesondere lassen sich einzelne Aspekte eines Ausführungsbeispiels mit einem zweiten Ausführungsbeispiel kombinieren. The design options shown in the individual figures can also be interconnected in any form. In particular, individual aspects of an exemplary embodiment can be combined with a second exemplary embodiment.
BezugszeichenlisteLIST OF REFERENCE NUMBERS
- 1 1
- System, insbesondere System zur Darbietung einer Blickfelddarstellung System, in particular system for the presentation of a field of view presentation
- 2 2
- gegenständliche Lage objective situation
- 3, 3‘, 3‘‘, 103 3, 3 ', 3' ', 103
- Markerträger, insbesondere Markerträgerbildbereich Marker carrier, in particular marker carrier image area
- 5, 5‘, 5‘‘, 5‘‘‘, 5IV, 1055, 5 ', 5'',5''', 5 IV , 105
- Markerelement, insbesondere Markerbildbereich Marker element, in particular marker image area
- 5a 5a
- Markerelement, insbesondere verdecktes Markerelement Marker element, in particular hidden marker element
- 7, 207, 307 7, 207, 307
- Digitalkamera, insbesondere monookulare Digitalkamera Digital camera, in particular monochromatic digital camera
- 9 9
- Kamerabildebene Camera image plane
- 11 11
- Raumbereich space area
- 13 13
- Recheneinheit computer unit
- 15 15
- Datenübertragungseinheit Data transfer unit
- 17, 17‘ 17, 17 '
- Datenübertragungsverbindung, insbesondere BilddatenerfassungsverbindungData transmission connection, in particular image data acquisition connection
- 19, 119, 119‘‚ 19, 119, 119 ',
- elektronische Bildanzeige, insbesondere Blickfelddarstellung electronic image display, in particular visual field representation
- 21 21
- Pixeldatenfeld, insbesondere Bild Pixel data field, especially image
- 23, 123 23, 123
- Videobrille video glasses
- 125 125
- Messeinrichtung, insbesondere Beschleunigungssensor Measuring device, in particular acceleration sensor
- 27, 27‘‘,127 27, 27 ", 127
- erstes Flächenelement, insbesondere Trägerflächenelement first surface element, in particular support surface element
- 27‘, 27V, 127‘ 27 ', 27 V, 127'
- zweites Flächenelement, insbesondere Trägerflächenelement second surface element, in particular support surface element
- 27‘‘‘, 27IV, 127‘‘, 127‘‘‘, 127IV 27 ''', 27 IV , 127'',127''', 127 IV
- weiteres Flächenelement, insbesondere Trägerflächenelement another surface element, in particular support surface element
- 29 29
- absorptionsfördernde Oberfläche Absorption-promoting surface
- 31 31
- reflexionsfördernde Oberfläche reflection-enhancing surface
- 33 33
- Rand edge
- 35, 35‘ 35, 35 '
- Kante edge
- 37, 37‘ 37, 37 '
- Abstand, insbesondere zwischen zwei Markerelementen Distance, in particular between two marker elements
- 38 38
- Mindestabstand, insbesondere zu einem Rand Minimum distance, especially to an edge
- 39 39
- Markerelementdurchmesser, insbesondere Mindestabstandgröße Marker element diameter, in particular minimum distance size
- 41, 41‘, 41‘‘, 41‘‘‘, 41IV, 41V 41, 41 ', 41'',41''', 41 IV, 41 V
- Konfiguration, insbesondere Anordnung von Markerelementen auf mindestens einem TrägerflächenelementConfiguration, in particular arrangement of marker elements on at least one carrier surface element
- 42 42
- Pseudozufallsverteilung, insbesondere der Konfiguration der MarkerelementePseudo-random distribution, in particular the configuration of the marker elements
- 43 43
- Markerpositionskonfiguration, insbesondere dreidimensionale Anordnung Marker position configuration, in particular three-dimensional arrangement
- 46, 146 46, 146
- Innenbereich interior
- 150 150
- Datenübertragungseinheit, insbesondere Sender und Empfänger Data transmission unit, in particular transmitter and receiver
- 61 61
- Winkelstellung, insbesondere des Markerträgers Angular position, in particular of the marker carrier
- 63, 63‘ 63, 63 '
- Winkelstellung, insbesondere der Flächenelemente Angular position, especially the surface elements
- 200, 300 200, 300
- Verfahren, insbesondere zur Bestimmung einer gegenständlichen Lage Method, in particular for determining an objective situation
- 201, 301 201, 301
- Verfahren, insbesondere zur Bestimmung einer gegenständlichen Lage nach einer Lageänderung, vorzugsweise aus einer zweiten BilddatenpixelanordnungMethod, in particular for determining an objective position after a change in position, preferably from a second image data pixel arrangement
- 202, 302 202, 302
- Start, insbesondere der Verfahren in dem System Start, in particular the procedures in the system
- 204, 304 204, 304
- Markererkennungsalgorithmus, insbesondere Hellfleckfilter Marker recognition algorithm, in particular bright spot filter
- 206, 306 206, 306
- Markerbildbereiche Marker image areas
- 208, 308 208, 308
- 2D-Koordinaten aller möglichen Marker im Bild 2D coordinates of all possible markers in the image
- 208a, 308a 208a, 308a
- 2D-Koordinaten aus der vorherigen Bilddatenpixelanordnung, insbesondere Ausgangslage2D coordinates from the previous image data pixel arrangement, in particular starting position
- 210, 310 210, 310
- Verfahren initialisiert, insbesondere System wurde bereits initialisiert Procedure initialized, especially system has already been initialized
- 212, 312 212, 312
- Verfahren nicht initialisiert, insbesondere System ist noch nicht initialisiert Procedure not initialized, especially system is not yet initialized
- 214, 314 214, 314
- Vergleichsalgorithmus, insbesondere Nächster-Nachbar-MarkerbildbereichComparison algorithm, in particular nearest neighbor marker image area
- 216, 316 216, 316
- Markermodellkonfigurationhypothesen zur Bestimmung von Korrespondenzen zu Markerbildbereichen durch VergleicheMarker model configuration hypotheses for determining correspondences to marker image areas through comparisons
- 218, 318 218, 318
- Kontrollalgorithmus zum finden und ausschließen von Ausreißern, wie Fehlerbildbereichen, insbesondere RANSACControl algorithm for finding and excluding outliers, such as defect image areas, in particular RANSAC
- 220, 320 220, 320
- numerisches Optimierungsverfahren bezüglich projizierter Markermodellkonfiguration und korrespondierenden Markerbildbereichen, um Projektionsparameter zu finden, insbesondere Levenberg-Marquardt-Algorithmusnumerical optimization method with respect to projected marker model configuration and corresponding marker image areas to find projection parameters, in particular Levenberg-Marquardt algorithm
- 220‘, 320‘ 220 ', 320'
- numerisches Optimierungsverfahren bezüglich projizierter Markermodellkonfiguration und korrespondierenden Markerbildbereichen, insbesondere Levenberg-Marquardt-Algorithmusnumerical optimization method with regard to projected marker model configuration and corresponding marker image areas, in particular Levenberg-Marquardt algorithm
- 221, 321 221, 321
- Bilddatenpixelanordnung, insbesondere Bild Image data pixel arrangement, in particular image
- 221‘, 221‘‘, 321‘, 321‘‘221 ', 221' ', 321', 321 ''
- Weitere, insbesondere nächste, Bilddatenpixelanordnung Further, in particular next, image data pixel arrangement
- 222, 322 222, 322
- Bestimmung einer geänderten gegenständlichen Lage, insbesondere neue Messung einer PoseDetermination of a changed objective situation, in particular new measurement of a pose
- 224, 324 224, 324
- Filteralgorithmus, insbesondere quaternionenbasierter BewegungsfolgefilterFilter algorithm, in particular quaternion-based motion sequence filter
- 226, 326 226, 326
- Bewegungsmodell eines Markerträgers Movement model of a marker carrier
- 228, 328 228, 328
- Prognose eines Bewegungsverlaufs Forecasting a movement history
- 230, 330 230, 330
- Bestimmung einer, insbesondere geänderten, gegenständlichen Lage, vorzugsweise Schätzung einer PoseDetermining a, in particular changed, representational position, preferably estimating a pose
- 232, 332 232, 332
- 3D-Computergrafik, insbesondere Darstellung der räumlichen Lage eines Blickfelds in einen Raumwinkelbereich3D computer graphics, in particular representation of the spatial position of a field of view in a solid angle range
- 234, 334 234, 334
- bekannte Markerkonfiguration, insbesondere Anordnung der Marker Known marker configuration, in particular arrangement of markers
- 236, 336 236, 336
- bekannte Geometrie des Markerträgers, insbesondere Trägerflächenelementeknown geometry of the marker carrier, in particular support surface elements
- 238, 338 238, 338
- andere Punkte wählen choose other points
- 242, 342 242, 342
- Markermodellkonfiguration Marker model configuration
- 350 350
- Iteration über alle Markerbildbereiche (Mi) Iteration over all marker image areas (M i )
- 351 351
- Gruppe der 5 nächst benachbarten Markerbildbereiche um einen ausgewählten Markerbildbereich (Mi)Group of the 5 closest adjacent marker image areas around a selected marker image area (M i )
- 352 352
- Iteration über alle 10 ungeordneten Stichproben (Kombinationen) von 3 aus 5 MarkerbildbereichenIteration over all 10 random samples (combinations) of 3 out of 5 marker image areas
- 353 353
- Kombination wurde schon einmal geprüft. Combination has already been tested once.
- 354 354
- Kombination wurde noch nicht geprüft Combination has not been tested yet
- 355 355
- Iteration über alle Permutationen von drei Markerbildbereichen Iteration over all permutations of three marker image areas
- 356 356
- nächste Permutation, insbesondere nächste Iteration next permutation, especially next iteration
- 357 357
- alle Permutationen aus drei Markerbildbereichen sind geprüft all permutations from three marker image areas are checked
- 358 358
- alle Kombinationen aus fünf Markerbildbereichen sind geprüft all combinations of five marker image areas are checked
- 359 359
- alle Markerbildbereiche (Mi) sind geprüft all marker image areas (M i ) are checked
- 260 260
- Iteration über alle geordneten Stichproben (Variationen) dreier MarkerbildbereicheIteration over all ordered samples (variations) of three marker image areas
- 262, 362 262, 362
- drei Markerbildbereiche three marker image areas
- 264, 364 264, 364
- drei Punkte der Markermodellkonfiguration three points of the marker model configuration
- 266, 366 266, 366
- Bis zu fünf Posenhypothesen, insbesondere Konfigurationshypothesen Up to five pose hypotheses, especially configuration hypotheses
- 268, 268‘, 368, 368‘268, 268 ', 368, 368'
- Projektion der Markermodellkonfiguration mit Posenhypothese in das 2D-Bild, insbesondere Projektionsalgorithmus Projection of the marker model configuration with pose hypothesis into the 2D image, in particular projection algorithm
- 270, 370 270, 370
- Vergleich zur Zuordnenbarkeit von vorzugsweise weiteren Übereinstimmungen zwischen Markerbildbereichen und projizierten, theoretisch sichtbaren Punkten der Markermodellkonfiguration, insbesondere Vergleichsalgorithmus Comparison to the assignability of preferably further matches between marker image areas and projected, theoretically visible points of the marker model configuration, in particular comparison algorithm
- 272, 372 272, 372
- Iteration über alle fünf Posenhypothesen, insbesondere KonfigurationshypothesenIteration on all five pose hypotheses, especially configuration hypotheses
- 274, 374 274, 374
- nächste Posenhypothese next posse hypothesis
- 276, 376 276, 376
- alle Posenhypothesen aus 3 Markerbildbereichen sind geprüft all pose hypotheses from 3 marker image areas are checked
- 278, 378‘, 378‘‘ 278, 378 ', 378' '
- nächster Iterationsschritt next iteration step
- 280 280
- Ende der Iteration über alle Variationen End of the iteration over all variations
- 282, 382 282, 382
- keine Posenhypothese plausibel no poses hypothesis plausible
- 284, 384 284, 384
- passende Posenhypothese, insbesondere anhand eines Genauigkeitswerts, gefundenmatching poses hypothesis, especially on the basis of an accuracy value found
- 286, 386 286, 386
- Zuordnung zwischen Markerbildbereich und korrespondierendem Punkt der Markermodellkonfiguration, vorzugsweise mittels Genauigkeitswert, insbesondere VergleichsalgorithmusAssignment between marker image area and corresponding point of the marker model configuration, preferably by means of accuracy value, in particular comparison algorithm
- 288, 388 288, 388
- Verfahren ist initialisiert, insbesondere eine Ausgangslage im System ist bestimmtMethod is initialized, in particular a starting position in the system is determined
- 290, 390 290, 390
- Initialisierung des quaternionenbasierten Bewegungsfolgefilters mit Position und Orientierung Initialization of the quaternion-based motion sequence filter with position and orientation
- x x
- erste räumliche Dimension first spatial dimension
- y y
- zweite räumliche Dimension second spatial dimension
- z z
- dritte räumliche Dimension third spatial dimension
- α α
- Raumwinkelbereich Solid angle
- Θ Θ
- Orientierung orientation
- B-B B-B
- Achse axis
- B B
- Richtung, insbesondere Orientierung Direction, especially orientation
- F F
- Raumbereich, insbesondere Bewegungsbereich Spatial area, in particular movement area
- P P
- Trägerperson wearer
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- GB 2451461 A [0002] GB 2451461 A [0002]
- US 4884219 [0003] US 4884219 [0003]
- US 2012/0095589 A1 [0004] US 2012/0095589 A1 [0004]
- WO 98/30977 [0005] WO 98/30977 [0005]
- US 2002/0001397 A1 [0006] US 2002/0001397 A1 [0006]
- WO 2011/141531 A1 [0007] WO 2011/141531 A1 [0007]
- US 2012/0121124 A1 [0008] US 2012/0121124 A1 [0008]
- WO 02063456 A1 [0009] WO 02063456 A1 [0009]
- DE 60301987 T2 [0010] DE 60301987 T2 [0010]
- US 2010/0232727 A1 [0011] US 2010/0232727 A1 [0011]
- US 2012/0169887 A1 [0011] US 2012/0169887 A1 [0011]
- DE 69132952 T2 [0011] DE 69132952 T2 [0011]
- US 7529387 B2 [0011] US Pat. No. 7,529,387 B2 [0011]
- US 8081815 B2 [0011] US8081815 B2 [0011]
- US 8217995 B2 [0011] US 8217995 B2 [0011]
- WO 2008/055262 A2 [0011] WO 2008/055262 A2 [0011]
- US 3069654 [0012] US 3,069,654 [0012]
Zitierte Nicht-PatentliteraturCited non-patent literature
- Linda G. Shapiro, George C. Stockman in „Computer Vision“, Prentice Hall, (2001) [0012] Linda G. Shapiro, George C. Stockman in "Computer Vision", Prentice Hall, (2001) [0012]
- M. A. Fischler, und R. C. Bolles in „Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography“, Commun. ACM, 24(6): S.381 bis S. 395 (1981) [0012] MA Fischler, and RC Bolles in "Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography", Commun. ACM, 24 (6): p.381 to p. 395 (1981) [0012]
- B. Triggs, P. Mclauchlan, R. Hartley und A. Fitzgibbon, Kapitel „Bundle adjustment – a modern synthesis“ in „Vision Algorithms: Theory and Practice“, LNCS, Seite 298 bis Seite 375, Springer Verlag, (2000) [0012] B. Triggs, P. Mclauchlan, R. Hartley and A. Fitzgibbon, chapter "Bundle adjustment - a modern synthesis" in "Vision Algorithms: Theory and Practice", LNCS, page 298 to page 375, Springer Verlag, (2000) [ 0012]
- J. B. Kuipers “Quaternions and Rotation Sequences: A Primer with Applications to Orbits, Aerospace, and Virtual Reality”, Mathematical Sciences Series, Princeton University Press (1999), ISBN 9780691058726 [0012] JB Kuiper's "Quaternions and Rotation Sequences: A Primer with Applications to Orbit, Aerospace, and Virtual Reality", Mathematical Sciences Series, Princeton University Press (1999), ISBN 9780691058726 [0012]
- Y. Bar-Shalom und Xiao Rong Li, “Estimation with Applications to Tracking and Navigation”, John Wiley & Sons, Inc., New York, NY, USA (2001), ISBN 047141655X [0012] Y. Bar-Shalom and Xiao Rong Li, "Estimation with Applications to Tracking and Navigation", John Wiley & Sons, Inc., New York, NY, USA (2001), ISBN 047141655X [0012]
- Y. Bar-Shalom und Xiao Rong Li, “Estimation with Applications to Tracking and Navigation”, John Wiley & Sons, Inc., New York, NY, USA (2001) [0012] Y. Bar-Shalom and Xiao Rong Li, "Estimation with Applications to Tracking and Navigation", John Wiley & Sons, Inc., New York, NY, USA (2001) [0012]
- B. Ristic, S. Arulampalam, N. Gordon, “Beyond the Kalman Filter: Particle Filters for Tracking Applications”, Artech House (2004) [0012] Ristic, S. Arulampalam, N. Gordon, "Beyond the Kalman Filters: Particle Filters for Tracking Applications", Artech House (2004). [0012]
- A. J. Haug, "A Tutorial on Bayesian Estimation and Tracking Techniques Applicable to Nonlinear and Non-Gaussian Processes", The MITRE Corporation, USA, Tech. Rep., Feb. Retrieved 2008-05-06 (2005) [0012] AJ Haug, "A Tutorial on Bayesian Estimation and Tracking Techniques Applicable to Nonlinear and Non-Gaussian Processes", The MITER Corporation, USA, Tech. Rep., Feb. Retrieved 2008-05-06 (2005) [0012]
- F. L. Markley, “Attitude Error Representations for Kalman Filtering” in Journal of Guidance, Control, and Dynamics, 26 (2), Seite 311 bis Seite 317, (März 2003) [0012] FL Markley, "Attitude Error Representations for Kalman Filtering" in Journal of Guidance, Control, and Dynamics, 26 (2), page 311 to page 317, (March, 2003) [0012]
- I. Y. Bar-Itzhack, und Y. Oshman “Attitude Determination from Vector Observations: Quaternion Estimation” in IEEE Transactions on Aerospace and Electronic Systems, 21 (1), Seite 128 bis Seite 136, (Jan. 1985) [0012] IY Bar-Itzhack, and Y. Oshman "Attitude Determination from Vector Observations: Quaternion Estimation" in IEEE Transactions on Aerospace and Electronic Systems, 21 (1), page 128 to page 136, (Jan. 1985) [0012]
- I. Y Bar-Itzhack,.J. Deutschmann und F. L. Markley, “Quaternion Normalization in Additive EKF For Spacecraft Attitude Determination” in NASA Technical Documents, Seite 403 bis Seite 421, (Feb. 1993) [0012] I.Y Bar-Itzhack, .J. Deutschmann and FL Markley, "Quaternion Normalization in Additive EKF For Spacecraft Attitude Determination" in NASA Technical Documents, page 403 to page 421, (Feb. 1993) [0012]
- Giroen Lichtenauer und Maya Pantic, 2011 IEEE International Conference on Computervision Workshop, Seite 430 bis Seite 436, (2011) [0013] Giroen Lichtenauer and Maya Pantic, 2011 IEEE International Conference on Computer Vision Workshop, page 430 to page 436, (2011) [0013]
Claims (24)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102014106718.5A DE102014106718B4 (en) | 2014-05-13 | 2014-05-13 | System that presents a field of view representation in a physical position in a changeable solid angle range |
| PCT/EP2015/060502 WO2015173256A2 (en) | 2014-05-13 | 2015-05-12 | Method and system for determining a representational position |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102014106718.5A DE102014106718B4 (en) | 2014-05-13 | 2014-05-13 | System that presents a field of view representation in a physical position in a changeable solid angle range |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE102014106718A1 true DE102014106718A1 (en) | 2015-11-19 |
| DE102014106718B4 DE102014106718B4 (en) | 2022-04-07 |
Family
ID=53373396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102014106718.5A Active DE102014106718B4 (en) | 2014-05-13 | 2014-05-13 | System that presents a field of view representation in a physical position in a changeable solid angle range |
Country Status (2)
| Country | Link |
|---|---|
| DE (1) | DE102014106718B4 (en) |
| WO (1) | WO2015173256A2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102015102940A1 (en) * | 2015-03-02 | 2016-09-22 | Martin Bünner | Image processing system for automated recognition of structures in a three-dimensional space and marking element for marking structures in a three-dimensional space |
| WO2017198331A1 (en) * | 2016-05-18 | 2017-11-23 | Kuka Roboter Gmbh | Method and system for aligning a virtual model with a real object |
| WO2020070650A1 (en) * | 2018-10-03 | 2020-04-09 | Smartcone Technologies Inc. | Optics based multi-dimensional target and multiple object detection and tracking method |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192318B (en) * | 2018-11-15 | 2023-09-01 | 杭州海康威视数字技术股份有限公司 | Method and device for determining position and flight direction of unmanned aerial vehicle and unmanned aerial vehicle |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3069654A (en) | 1960-03-25 | 1962-12-18 | Paul V C Hough | Method and means for recognizing complex patterns |
| US4884219A (en) | 1987-01-21 | 1989-11-28 | W. Industries Limited | Method and apparatus for the perception of computer-generated imagery |
| DE19536295A1 (en) * | 1995-09-29 | 1997-04-03 | Daimler Benz Ag | Arrangement of partially structured flat signal markers for calibration and orientation of three=dimensional sensors |
| WO1998030977A1 (en) | 1997-01-13 | 1998-07-16 | Qualisys Ab | Method and arrangement for determining the position of an object |
| US20020001397A1 (en) | 1997-10-30 | 2002-01-03 | Takatoshi Ishikawa | Screen image observing device and method |
| DE69132952T2 (en) | 1990-11-30 | 2002-07-04 | Sun Microsystems Inc | COMPACT HEAD TRACKING SYSTEM FOR CHEAP VIRTUAL REALITY SYSTEM |
| WO2002063456A1 (en) | 2001-02-08 | 2002-08-15 | Anderson Technologies Pty Ltd | Optical tracking computer interface |
| DE60301987T2 (en) | 2002-03-07 | 2006-08-03 | Samsung Electronics Co., Ltd., Suwon | A method and apparatus for video tracking a head-mounted image display device |
| WO2008055262A2 (en) | 2006-11-02 | 2008-05-08 | Sensics, Inc. | Systems and methods for a head-mounted display |
| GB2451461A (en) | 2007-07-28 | 2009-02-04 | Naveen Chawla | Camera based 3D user and wand tracking human-computer interaction system |
| US7529387B2 (en) | 2004-05-14 | 2009-05-05 | Canon Kabushiki Kaisha | Placement information estimating method and information processing device |
| US20100232727A1 (en) | 2007-05-22 | 2010-09-16 | Metaio Gmbh | Camera pose estimation apparatus and method for augmented reality imaging |
| WO2011141531A1 (en) | 2010-05-11 | 2011-11-17 | Movolution Gmbh | Movement analysis and/or tracking system |
| US8081815B2 (en) | 2006-08-11 | 2011-12-20 | Canon Kabushiki Kaisha | Marker arrangement information measuring apparatus and method |
| US20120095589A1 (en) | 2010-10-15 | 2012-04-19 | Arkady Vapnik | System and method for 3d shape measurements and for virtual fitting room internet service |
| US20120121124A1 (en) | 2010-01-04 | 2012-05-17 | The Board Of Trustees Of The Leland Stanford Junior University | Method for optical pose detection |
| US20120169887A1 (en) | 2011-01-05 | 2012-07-05 | Ailive Inc. | Method and system for head tracking and pose estimation |
| US8217995B2 (en) | 2008-01-18 | 2012-07-10 | Lockheed Martin Corporation | Providing a collaborative immersive environment using a spherical camera and motion capture |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6978167B2 (en) * | 2002-07-01 | 2005-12-20 | Claron Technology Inc. | Video pose tracking system and method |
| US20080170750A1 (en) * | 2006-11-01 | 2008-07-17 | Demian Gordon | Segment tracking in motion picture |
| US20130106833A1 (en) * | 2011-10-31 | 2013-05-02 | Wey Fun | Method and apparatus for optical tracking of 3d pose using complex markers |
| US9529426B2 (en) * | 2012-02-08 | 2016-12-27 | Microsoft Technology Licensing, Llc | Head pose tracking using a depth camera |
-
2014
- 2014-05-13 DE DE102014106718.5A patent/DE102014106718B4/en active Active
-
2015
- 2015-05-12 WO PCT/EP2015/060502 patent/WO2015173256A2/en active Application Filing
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3069654A (en) | 1960-03-25 | 1962-12-18 | Paul V C Hough | Method and means for recognizing complex patterns |
| US4884219A (en) | 1987-01-21 | 1989-11-28 | W. Industries Limited | Method and apparatus for the perception of computer-generated imagery |
| DE69132952T2 (en) | 1990-11-30 | 2002-07-04 | Sun Microsystems Inc | COMPACT HEAD TRACKING SYSTEM FOR CHEAP VIRTUAL REALITY SYSTEM |
| DE19536295A1 (en) * | 1995-09-29 | 1997-04-03 | Daimler Benz Ag | Arrangement of partially structured flat signal markers for calibration and orientation of three=dimensional sensors |
| WO1998030977A1 (en) | 1997-01-13 | 1998-07-16 | Qualisys Ab | Method and arrangement for determining the position of an object |
| US20020001397A1 (en) | 1997-10-30 | 2002-01-03 | Takatoshi Ishikawa | Screen image observing device and method |
| WO2002063456A1 (en) | 2001-02-08 | 2002-08-15 | Anderson Technologies Pty Ltd | Optical tracking computer interface |
| DE60301987T2 (en) | 2002-03-07 | 2006-08-03 | Samsung Electronics Co., Ltd., Suwon | A method and apparatus for video tracking a head-mounted image display device |
| US7529387B2 (en) | 2004-05-14 | 2009-05-05 | Canon Kabushiki Kaisha | Placement information estimating method and information processing device |
| US8081815B2 (en) | 2006-08-11 | 2011-12-20 | Canon Kabushiki Kaisha | Marker arrangement information measuring apparatus and method |
| WO2008055262A2 (en) | 2006-11-02 | 2008-05-08 | Sensics, Inc. | Systems and methods for a head-mounted display |
| US20100232727A1 (en) | 2007-05-22 | 2010-09-16 | Metaio Gmbh | Camera pose estimation apparatus and method for augmented reality imaging |
| GB2451461A (en) | 2007-07-28 | 2009-02-04 | Naveen Chawla | Camera based 3D user and wand tracking human-computer interaction system |
| US8217995B2 (en) | 2008-01-18 | 2012-07-10 | Lockheed Martin Corporation | Providing a collaborative immersive environment using a spherical camera and motion capture |
| US20120121124A1 (en) | 2010-01-04 | 2012-05-17 | The Board Of Trustees Of The Leland Stanford Junior University | Method for optical pose detection |
| WO2011141531A1 (en) | 2010-05-11 | 2011-11-17 | Movolution Gmbh | Movement analysis and/or tracking system |
| US20120095589A1 (en) | 2010-10-15 | 2012-04-19 | Arkady Vapnik | System and method for 3d shape measurements and for virtual fitting room internet service |
| US20120169887A1 (en) | 2011-01-05 | 2012-07-05 | Ailive Inc. | Method and system for head tracking and pose estimation |
Non-Patent Citations (12)
| Title |
|---|
| A. J. Haug, "A Tutorial on Bayesian Estimation and Tracking Techniques Applicable to Nonlinear and Non-Gaussian Processes", The MITRE Corporation, USA, Tech. Rep., Feb. Retrieved 2008-05-06 (2005) |
| B. Ristic, S. Arulampalam, N. Gordon, "Beyond the Kalman Filter: Particle Filters for Tracking Applications", Artech House (2004) |
| B. Triggs, P. Mclauchlan, R. Hartley und A. Fitzgibbon, Kapitel "Bundle adjustment - a modern synthesis" in "Vision Algorithms: Theory and Practice", LNCS, Seite 298 bis Seite 375, Springer Verlag, (2000) |
| F. L. Markley, "Attitude Error Representations for Kalman Filtering" in Journal of Guidance, Control, and Dynamics, 26 (2), Seite 311 bis Seite 317, (März 2003) |
| Giroen Lichtenauer und Maya Pantic, 2011 IEEE International Conference on Computervision Workshop, Seite 430 bis Seite 436, (2011) |
| I. Y Bar-Itzhack,.J. Deutschmann und F. L. Markley, "Quaternion Normalization in Additive EKF For Spacecraft Attitude Determination" in NASA Technical Documents, Seite 403 bis Seite 421, (Feb. 1993) |
| I. Y. Bar-Itzhack, und Y. Oshman "Attitude Determination from Vector Observations: Quaternion Estimation" in IEEE Transactions on Aerospace and Electronic Systems, 21 (1), Seite 128 bis Seite 136, (Jan. 1985) |
| J. B. Kuipers "Quaternions and Rotation Sequences: A Primer with Applications to Orbits, Aerospace, and Virtual Reality", Mathematical Sciences Series, Princeton University Press (1999), ISBN 9780691058726 |
| Linda G. Shapiro, George C. Stockman in "Computer Vision", Prentice Hall, (2001) |
| M. A. Fischler, und R. C. Bolles in "Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography", Commun. ACM, 24(6): S.381 bis S. 395 (1981) |
| Y. Bar-Shalom und Xiao Rong Li, "Estimation with Applications to Tracking and Navigation", John Wiley & Sons, Inc., New York, NY, USA (2001) |
| Y. Bar-Shalom und Xiao Rong Li, "Estimation with Applications to Tracking and Navigation", John Wiley & Sons, Inc., New York, NY, USA (2001), ISBN 047141655X |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102015102940A1 (en) * | 2015-03-02 | 2016-09-22 | Martin Bünner | Image processing system for automated recognition of structures in a three-dimensional space and marking element for marking structures in a three-dimensional space |
| WO2017198331A1 (en) * | 2016-05-18 | 2017-11-23 | Kuka Roboter Gmbh | Method and system for aligning a virtual model with a real object |
| WO2020070650A1 (en) * | 2018-10-03 | 2020-04-09 | Smartcone Technologies Inc. | Optics based multi-dimensional target and multiple object detection and tracking method |
| US10713527B2 (en) | 2018-10-03 | 2020-07-14 | SmartCone Technologies, Inc. | Optics based multi-dimensional target and multiple object detection and tracking method |
| GB2591959A (en) * | 2018-10-03 | 2021-08-11 | Smartcone Tech Inc | Optics based multi-dimensional target and multiple object detection and tracking method |
| GB2591959B (en) * | 2018-10-03 | 2023-06-07 | Smartcone Tech Inc | Optics based multi-dimensional target and multiple object detection and tracking method |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102014106718B4 (en) | 2022-04-07 |
| WO2015173256A3 (en) | 2016-09-09 |
| WO2015173256A2 (en) | 2015-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2728374B1 (en) | Invention relating to the hand-eye calibration of cameras, in particular depth image cameras | |
| DE102014019671B4 (en) | Method for optically scanning and measuring an environment with a 3D measuring device and auto-calibration by means of a 2D camera | |
| DE102015122842A1 (en) | Calibration plate for calibrating a 3D measuring device and method therefor | |
| DE112010004767T5 (en) | Point cloud data processing device, point cloud data processing method and point cloud data processing program | |
| DE102010037169A1 (en) | Unlimited spatially oriented field of view display device | |
| EP2880853B1 (en) | Apparatus and method for determining the distinct location of an image-recording camera | |
| DE112016001150T5 (en) | ESTIMATION OF EXTRINSIC CAMERA PARAMETERS ON THE BASIS OF IMAGES | |
| WO2014118391A2 (en) | Inspection camera unit, method for inspecting interiors, and sensor unit | |
| DE102014106718B4 (en) | System that presents a field of view representation in a physical position in a changeable solid angle range | |
| EP3256036A1 (en) | Device and method for distance determination and/or centering using corneal reflections | |
| DE102009054214B4 (en) | Method and apparatus for generating a representation of an environment | |
| DE102008023439B4 (en) | Augmented reality binoculars for navigation support | |
| DE102013100569A1 (en) | Method for displaying surrounding of vehicle of vehicle assembly and training system, involves detecting three-dimensional image data of surrounding by detection device arranged at vehicle | |
| EP3584536B1 (en) | Terrestrial observation apparatus with pose determining functionality | |
| AT511460B1 (en) | METHOD FOR DETERMINING THE POSITION OF AN AIRCRAFT | |
| DE102015106838B4 (en) | Method for controlling a 3D measuring device by means of the movement path and device for this purpose | |
| DE3908575C2 (en) | ||
| DE102016222319A1 (en) | 3D REFERENCING | |
| DE102014019669B4 (en) | 16Method for optically sensing and measuring an environment with a 3D measuring device and autocalibrating under predetermined conditions | |
| DE202014011540U1 (en) | System in particular for the presentation of a field of view display and video glasses | |
| WO2017198441A1 (en) | Method for setting a viewing direction in a representation of a virtual environment | |
| DE102014019672B3 (en) | Method for optically scanning and measuring an environment with a 3D measuring device and auto-calibration with wavelength checking | |
| DE102019102423A1 (en) | Method for live annotation of sensor data | |
| DE102014105011B4 (en) | System for visualizing the field of view of an optical device | |
| EP3449463A1 (en) | Motion analysis system and motion tracking system comprising same of moved or moving objects that are thermally distinct from their surroundings |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R081 | Change of applicant/patentee |
Owner name: IMMERSIGHT GMBH, DE Free format text: FORMER OWNER: IMMERSIGHT GMBH, 89081 ULM, DE |
|
| R082 | Change of representative |
Representative=s name: CREMER & CREMER, DE |
|
| R016 | Response to examination communication | ||
| R082 | Change of representative |
Representative=s name: CREMER & CREMER, DE |
|
| R082 | Change of representative |
Representative=s name: SAWODNY, MICHAEL, DIPL.-PHYS. DR.RER.NAT., DE |
|
| R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06K0009320000 Ipc: G06V0030146000 |
|
| R081 | Change of applicant/patentee |
Owner name: IMMERSIGHT GMBH, DE Free format text: FORMER OWNER: IMMERSIGHT GMBH, 89073 ULM, DE |
|
| R016 | Response to examination communication | ||
| R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06V0030146000 Ipc: G06V0010620000 |
|
| R018 | Grant decision by examination section/examining division | ||
| R130 | Divisional application to |
Ref document number: 102014020095 Country of ref document: DE |
|
| R020 | Patent grant now final |