Search Images Maps Play YouTube News Gmail Drive More »
Sign in
Screen reader users: click this link for accessible mode. Accessible mode has the same essential features but works better with your reader.

Patents

  1. Advanced Patent Search
Publication numberEP1730970 A1
Publication typeApplication
Application numberEP20050731750
PCT numberPCT/EP2005/051195
Publication date13 Dec 2006
Filing date16 Mar 2005
Priority date2 Apr 2004
Also published asDE102004016331A1, DE102004016331B4, US8345066, US20070202472, WO2005096638A1
Publication number05731750, 05731750.5, 2005731750, EP 1730970 A1, EP 1730970A1, EP-A1-1730970, EP05731750, EP1730970 A1, EP1730970A1, EP20050731750, PCT/2005/51195, PCT/EP/2005/051195, PCT/EP/2005/51195, PCT/EP/5/051195, PCT/EP/5/51195, PCT/EP2005/051195, PCT/EP2005/51195, PCT/EP2005051195, PCT/EP200551195, PCT/EP5/051195, PCT/EP5/51195, PCT/EP5051195, PCT/EP551195
InventorsSoeren Moritz
ApplicantSiemens Aktiengesellschaft
Export CitationBiBTeX, EndNote, RefMan
External Links: Espacenet, EP Register
Device and method for simultaneously representing virtual and real environment information
EP 1730970 A1 (text from WO2005096638A1) 
Abstract  
The invention relates to a device and a method for representing virtual and real environment information for at least one user, whereby virtual arrangements and real arrangements are represented in such a way that masking of the virtual arrangements by real arrangements can be identified. The relative position and orientation of the device in the real environment are detected by means of an environment detection unit (4). In addition, a detection of the reality and the conversion thereof into a 3-dimensional surface model is continuously carried out by means of a spatial detection unit (3). A processing system (9) transfers the 3-dimensional surface model of the real arrangement and the 3-dimensional model of the virtual arrangement into a common co-ordinates system and calculates possible masking surfaces of the virtual arrangement by the real arrangement.
Claims  translated from German  (OCR text may contain errors)
Patentansprüche claims
1. Vorrichtung (1) zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender (2) mit 1. Device (1) for displaying information, in particular augmented-reality information, for at least one user (2) with
• mindestens einer Raumerfassungseinheit (3) zur Erfassung einer aktuellen Realität (13) und zur Generierung entsprechender Rauminformationen (10) , • at least one spatial detection unit (3) for detecting a current reality (13) and to generate corresponding spatial information (10),
• mindestens einer Umgebungserfassungseinheit (4) zur Erfas- sung einer Umgebung und zur Generierung entsprechender Umgebungsinformationen (5) , die eine Position und/oder eine Ausrichtung der Vorrichtung (1) in Bezug auf die Umgebung kennzeichnen, • at least one environment sensing unit (4) for Erfas- solution of an environment and for generating a corresponding environment information (5), which define a position and / or orientation of the device (1) in relation to the surroundings,
• mindestens einer Verarbeitungseinheit (9) zur Verknüpfung der Umgebungsinformationen (5) , der Rauminformationen (10) und von in einem ersten Speichermedium (7) abgelegten Informationen (8) , die zur Beschreibung mindestens eines Objektes dienen, zu einer Menge von Bildinformationen (14) derart, dass wechselseitige Verdeckungen der aktuellen Re- alität (13) und des durch die abgelegten Informationen (8) beschriebenen Objektes durch mindestens eine Wiedergabeeinheit (6) erkennbar gemacht werden. • at least one processing unit (9) for linking the environment information (5), the space information (10) and stored by a first storage medium (7) information (8), which are used for describing at least one object, to an amount of image information (14 ) such that reciprocal masking of the current re- ality (13) and (through the stored information object described 8) can be made visible through at least a reproduction unit (6).
2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Raumerfassungseinheit (3) 2. Device according to claim 1, characterized in that the spatial detection unit (3)
• eine Raumerfassungsvorrichtung (3a) , die zur Erfassung von Flächenabstandspunkten der aktuellen Realität (13) vorgesehen ist, und • eine Verarbeitungseinheit (3b) , die zur Berechnung der Rauminformationen (10) vorgesehen ist, aufweist, wobei die Rauminformationen (10) insbesondere ein 3-dimensionales Modell (10b) der Realität (13) beschreiben. • a spatial detection device (3a) which is provided for the detection of surface distance points of the current reality (13), and • a processing unit (3b) is provided for calculating the space information (10), wherein the space information (10) in particular a describe 3-dimensional model (10b) of the reality (13).
3. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Umgebungserfassungseinheit (4) eine Umgebungserfassungsvorrichtung (4a) , die zur Erfas- sung der Position und/oder der Ausrichtung der Vorrichtung (1) in Bezug auf die reale Umgebung vorgesehen ist, und • eine Verarbeitungseinheit (4b) zur Berechnung der Umgebungsinformationen (5) , welche die Position und/oder die Ausrichtung der Vorrichtung (1) in Bezug auf die reale Umgebung beispielsweise in Form einer Matrix (5b) beschreiben, aufweist . 3. Device according to one of the preceding claims, characterized in that the environment detecting unit (4) a surrounding detection device (4a) which is provided with respect to the real environment to Erfas- solution of the position and / or orientation of the device (1), and • a processing unit (4b) for calculating the environment information (5), which describe the position and / or orientation of the device (1) with respect to the real environment, for example in the form of a matrix (5b).
4. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als das durch die in dem ersten Speichemedium (7) abgelegten Informationen (8) beschriebene Objekt ein Modell (8b) einer Anlage und/oder eines Anlagenteils vorgesehen ist. 4. Device according to one of the preceding claims, characterized in that as the object stored by the first spoke in the medium (7) information (8) described above is provided / or a plant and a plant component a model (8b).
5. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Wiedergabeeinheit (6) als Head-Mounted-Display ausgebildet ist, wobei die von den durch die Verarbeitungseinheit (9) generierten Bildinformationen (14) beschriebenen Objekte direkt in das Sichtfeld des Anwenders (2) eingeblendet werden,, und der Anwender (2) den von den durch die Bildinformationen (14) beschriebenen Objekten nicht verdeckten Teil der aktuellen Realität (13) weiterhin direkt wahrnimmt . 5. Device according to one of the preceding claims, characterized in that the reproduction unit (6) is designed as a head-mounted display, said generated by the by the processing unit (9) image information objects described (14) directly into the field of view of the user (2) appear ,, and perceived by the user (2) the objects described by the image information by the (14) uncovered part of the current reality (13) further directly.
6. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Wiedergabeeinheit (6) derart ausgebildet ist, dass die von den durch die Verarbeitungseinheit (9) generierten Bildinformationen (14) beschriebenen Ob- jekte und der von den durch die Bildinformationen (14) beschriebenen Objekte nicht verdeckte Teil der aktuellen Realität (13) dargestellt werden, wobei die Vorrichtung hierzu insbesondere mindestens eine Bilderfassungseinheit (18) , die beispielsweise als Videokamera ausgeführt ist, zur Erfassung der aktuellen Realität (13) aufweist. 6. Device according to one of the preceding claims, characterized in that the reproduction unit (6) is designed such that the data generated by the by the processing unit (9), image information (14) projects Obwalden described and that of the (by the image information 14 ) objects described unobstructed part of the current reality (13) are presented, said device comprising for this purpose in particular at least one image acquisition unit (18), which is for example designed as a video camera (for detecting the current reality 13).
7. Vorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass ein zweites Speichermedium (12) vorgesehen ist, das zur Speicherung von Kalibrierinformationen (11) verwendet wird, wobei die Kalibrierinformationen (11) geometrische Abweichungen zwischen Auge des Anwenders 7. Device according to one of claims 1 to 5, characterized in that a second storage medium (12) is provided which is used to store calibration information (11), wherein the calibration information (11) geometric deviations between the eye of the user
(2), der Position des Wiedergabesystems (6) sowie der Raumerfassungsvorrichtung (3a) und der Umgebungserfassungsvorrichtung (4a) beschreiben. describe (2), the position of the reproducing system (6) and the spatial detection device (3a) and the surroundings sensing device (4a).
8. Vorrichtung nach einem der Ansprüche 1 bis 4 oder 6, dadurch gekennzeichnet, dass ein zweites Speichermedium (12) vorgesehen ist, das zur Speicherung von Kalibrierinformationen (11) verwendet wird, wobei die Kalibrierinformationen (11) geometrische Abweichungen zwischen Position der Bilder- fassungseinheit (18), der Raumerfassungsvorrichtung (3a) und der Umgebungserfassungsvorrichtung (4a) beschreiben. 8. Device according to one of claims 1 to 4 or 6, characterized in that a second storage medium (12) is provided which is used to store calibration information (11), wherein the calibration information (11) geometric deviations between the position paintings- acquisition unit (18), the space detecting means (3a) and the surrounding environment detection means (4a) describe.
9. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Verarbeitungseinheit (9) derart ausgebildet ist, dass sie auf Basis der von der Raumerfassungseinheit (3) und der Umgebungserfassungseinheit (4) generierten Informationen (5,10) sowie den in den Speichermedien (7,12) abgelegten Informationen (8,11) die mittels der Rauminformationen (10) und mittels der im ersten Speicherme- dium (7) abgelegten Informationen (8) beschriebenen Objekte in einem gemeinsamen Koordinatensystem darstellt. 9. Device according to one of the preceding claims, characterized in that the processing unit (9) is designed such that it on the basis of the spatial detection unit (3) and the environment detecting unit generated (4) Information (5.10), as well as in the by means of the information space (10) and stored by the first storage medium (7) information (8) represents storage media (7.12) stored information (8,11) objects described in a common coordinate system.
10. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung (1) mindestens ein Simulationssystem (16) zur Generierung der in dem ersten Speichermedium (7) abgelegten Informationen (8) aufweist. 10. Device according to one of the preceding claims, characterized in that the device (1) comprises at least a simulation system (16) for generating in said first storage medium (7) stored information (8).
11. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Raumerfassungsvorrichtung (3a) der Raumerfassungseinheit (3) als Radarsystem, als Ultraschallsystem, als Lasersystem oder als Stereokamerasystem ausgeführt ist. 11. Device according to one of the preceding claims, characterized in that the spatial detection device (3a) is carried out of the space detecting unit (3) as a radar system, an ultrasonic system, a laser system or as a stereo camera system.
12. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Raumerfassungsvorrichtung (3a) und die Umgebungserfassungsvorrichtung (4a) in einer gemeinsamen Erfassungsvorrichtung ausgeführt sind. 12. Device according to one of the preceding claims, characterized in that the spatial detection device (3a) and the environment detecting device (4a) are constructed in a common detecting device.
13. Verfahren zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender (2) bei dem 13. A method for displaying information, in particular augmented-reality information, for at least one user (2) in which
• mit Hilfe einer Raumerfassungseinheit (3) eine aktuelle Realität (13) erfasst und entsprechende Rauminformationen (10) generiert werden, are generated • detected by means of a space detecting unit (3) a current reality (13) and corresponding three-dimensional information (10),
• mit Hilfe mindestens einer Umgebungserfassungseinheit (4) eine Umgebung erfasst und entsprechende Umgebungsinformationen (5) generiert werden, die eine Position und/oder eine Ausrichtung der Vorrichtung (1) in Bezug auf die Umgebung kennzeichnen, • using at least one environment sensing unit (4) detects an ambient environment and corresponding information (5) to be generated, the position and / or orientation of the device (1) with respect to characterize the environment,
• mit Hilfe mindestens einer Verarbeitungseinheit (9) die Umgebungsinformationen (5) , die Rauminformationen (10) und in einem ersten Speichermedium (7) abgelegte Informationen (8), die zur Beschreibung mindestens eines Objektes dienen, zu einer Menge von Bildinformationen (14) derart verknüpft werden, dass wechselseitige Verdeckungen der aktuellen Realität (13) und des durch die abgelegten Informationen (8) beschriebenen Objektes durch mindestens eine Wiedergabeeinheit (6) erkennbar gemacht werden. • using at least one processing unit (9), the environment information (5), the spatial information (10) and in a first storage medium stored (7) information (8), which are used for describing at least one object, to an amount of image information (14) are linked in such a way that reciprocal masking the current reality (13) and by the stored information (8) described object can be made visible through at least a reproduction unit (6).
14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass mit Hilfe 14. The method according to claim 13, characterized in that with the aid of
• einer Raumerfassungsvorrichtung (3a) , die Bestandteil der Raumerfassungseinheit (3) ist, Flächenabstandspunkte der aktuellen Realität (13) erfasst werden, und • a spatial detection device (3a) that is part of the spatial detection unit (3), surface distance points of the current reality (13) are detected, and
• einer Verarbeitungseinheit (3b) , die Bestandteil der Raumerfassungseinheit (3) ist, die Rauminformationen (10) berechnet werden, wobei die Rauminformationen (10) insbesondere ein 3-dimen- sionales Modell (10b) der aktuellen Realität (13) beschreiben. • a processing unit (3b), the part of the space detecting unit (3), the spatial information (10) are calculated, and the spatial information (10) describing particular a 3-dimen- dimensional model (10b) of the current reality (13).
15. Verfahren nach einem der Ansprüche 13 bis 14, dadurch gekennzeichnet, dass mit Hilfe 15. The method according to any one of claims 13 to 14, characterized in that with the aid of
• einer Umgebungserfassungsvorrichtung (4a), die Bestandteil der Umgebungserfassungseinheit (4) ist, die Position und/oder die Ausrichtung der Vorrichtung (1) in Bezug auf die reale Umgebung erfasst werden, und • an environment sensing device (4a) forming part of the environment sensing unit (4) the position and / or orientation of the device (1) with respect to the real environment has to be recorded, and
• einer Verarbeitungseinheit (4b) , die Bestandteil der Umgebungserfassungseinheit (4) ist, die UmgebungsInformationen (5) , welche die Position und/oder die Ausrichtung der Vor- richtung (1) in Bezug auf die reale Umgebung beispielsweise in Form einer Matrix (5b) beschreiben, berechnet werden. • a processing unit (4b), which part of the environment sensing unit (4), the environment information (5) indicating the position and / or orientation of the forward direction (1) with respect to the real environment (for example in the form of a matrix 5b ) describe be calculated.
16. Verfahren nach einem der Ansprüche 13 bis 15, dadurch gekennzeichnet, dass das durch die in dem ersten 16. The method according to any one of claims 13 to 15, characterized in that the first in the by the
Speichemedium (7) abgelegten Informationen (8) beschriebene Objekte ein Modell (8b) einer Anlage und/oder eines Anlagenteils darstellt. Spoke medium (7) objects stored information (8) represents a model described (8b) / a conditioning and or a plant component.
17. Verfahren nach einem der Ansprüche 13 bis 16, dadurch gekennzeichnet, dass die von den durch die Verarbeitungseinheit (9) generierten Bildinformationen (14) beschriebenen Objekte mit Hilfe der Wiedergabeeinheit (6), die insbesondere als Head-Mounted-Display ausgeführt ist, direkt in das Sichtfeld des Anwenders (2) eingeblendet werden, und der Anwender (2) den von den durch die Bildinformationen (14) beschriebenen Objekten nicht verdeckten Teil der aktuellen Realität (13) weiterhin direkt wahrnimmt. 17. The method according to any one of claims 13 to 16, characterized in that the data generated by the by the processing unit (9) image information described (14) objects with the aid of the reproducing unit (6), which in particular is designed as a head-mounted display, be inserted directly into the field of view of the user (2) and the user (2) perceives uncovered part of the current reality (13) further to the objects directly from those described by the image information (14).
18. Verfahren nach einem der Ansprüche 13 bis 17, dadurch gekennzeichnet, dass die von den durch die Verarbeitungseinheit (9) generierten Bildinformationen (14) beschriebenen Objekte und der von den durch die Bildinformationen (14) beschriebenen Objekte nicht verdeckte Teil der aktuellen Realität (13) mit Hilfe der Wiedergabeeinheit (6) dargestellt werden, wobei die Vorrichtung hierzu insbesondere mindestens eine Bilderfassungseinheit (18) , die beispielsweise als Vi- deokamera ausgeführt ist, zur Erfassung der aktuellen Realität (13) aufweist. 18. The method according to any one of claims 13 to 17, characterized in that the data generated by the by the processing unit (9), image information (14) objects and described the objects described by the by the image information (14) (not covered portion of the current reality 13) are represented by means of the reproducing unit (6), wherein the device for this purpose in particular at least one image acquisition unit (18) which is designed for example as a video camera and (for detecting the current reality 13).
19. Verfahren nach einem der Ansprüche 13 bis 17, dadurch gekennzeichnet, dass mit Hilfe eines zweiten Speichermediums (12) Kalibrierinformationen (11) gespeichert werden, wobei die Kalibrierinformationen (11) geometrische Abweichungen zwischen Auge des Anwenders (2) , der Position des Wiedergabesystems (6) sowie der Raumerfassungsvorrichtung (3a) und der Umgebungserfassungsvorrichtung (4a) beschreiben. 19. A method according to any one of claims 13 to 17, characterized in that with the aid of a second storage medium (12) calibration information (11) are stored, said calibration information (11) geometric deviations between the eye of the user (2), the position of the reproducing system (6) and the spatial detection device (3a) and the surroundings sensing device (4a) describe.
20. Verfahren nach einem der Ansprüche 13 bis 16 oder 18, dadurch gekennzeichnet, dass mit Hilfe eines zweiten Speichermediums (12) Kalibrierinformationen (11) gespeichert wer- den, wobei die Kalibrierinformationen (11) geometrische Abweichungen zwischen Position der Bilderfassungseinheit (18) , der Raumerfassungsvorrichtung (3a) und der Umgebungserfassungsvorrichtung (4a) beschreiben. 20. The method according to any one of claims 13 to 16 or 18, characterized in that advertising stored using a second storage medium (12) calibration information (11) to, wherein the calibration information (11) geometric deviations between position of the image capture unit (18), the spatial detection device (3a) and the surroundings sensing device (4a) describe.
21. Verfahren nach einem der Ansprüche 13 bis 20, dadurch gekennzeichnet, dass mit Hilfe der Verarbeitungsein— heit (9) auf Basis der von der Raumerfassungseinheit (3) und der Umgebungserfassungseinheit (4) generierten Informationen (5,10) sowie den in den Speichermedien (7,12) abgelegten In- formationen (8,11) die mittels der Rauminformationen (10) und mittels der im ersten Speichermedium (7) abgelegten Informationen (8) beschriebenen Objekte in einem gemeinsamen Koordinatensystem dargestellt werden. 21. The method according to any one of claims 13 to 20, characterized in that integrated with the help of Verarbeitungsein- (9) (4) on the basis of the spatial detection unit (3) and the environment detecting unit generated information (5,10) as well as in the storage media (7.12) stored information (8,11) by means of the information space (10) and stored in the first memory means of the medium (7) information objects described (8) are represented in a common coordinate system.
22. Verfahren nach einem der Ansprüche 13 bis 21, dadurch gekennzeichnet, dass mit Hilfe mindestens eines Simulationssystems (16) die in dem ersten Speichermedium (7) abgelegten Informationen (8) generiert werden. 22. The method according to any one of claims 13 to 21, characterized in that at least one simulation system (16) deposited by means of the in the first storage medium (7) information (8) are generated.
23. Verfahren nach einem der Ansprüche 13 bis 22, dadurch gekennzeichnet, dass ein Radarsystem, ein Ultraschallsystem, ein Lasersystem oder ein Stereokamerasystem für die Raumerfassungsvorrichtung (3a) der Raumerfassungseinheit (3) verwendet wird. 23. The method according to any one of claims 13 to 22, characterized in that a radar system, an ultrasonic system, a laser system or a stereo camera system for spatial detection device (3a) is used, the space detecting unit (3).
24. Verfahren nach einem der Ansprüche 13 bis 23, dadurch gekennzeichnet, dass für die Raumerfassungsvorrichtung (3a) und die Umgebungserfassungsvorrichtung (4a) eine gemeinsame Erfassungsvorrichtung verwendet wird. 24. The method according to any one of claims 13 to 23, characterized in that for the spatial detection device (3a) and the environment detecting device (4a) have a common detecting device is used.
Description  translated from German  (OCR text may contain errors)

Beschreibung description

Vorrichtung und Verfahren zur gleichzeitigen Darstellung virtueller und realer Umgebungsinformationen Device and method for the simultaneous representation of the virtual and real environment information

Die Erfindung betrifft eine Vorrichtung sowie ein Verfahren zur Darstellung von Informationen, insbesondere Augmented- Reality Informationen, für mindestens einen Anwender. The invention relates to an apparatus and a method for displaying information, in particular augmented reality information, for at least one user. Eine derartige Vorrichtung kommt beispielsweise bei der Planung von Anlagen und Maschinen zum Einsatz. Such a device is used for example in the design of equipment and machines. Mit Hilfe dieser Vorrichtung soll schon in der Planungsphase schnell ein erster Eindruck einer geplanten Anlage oder einer geplanten Umbaumaßnahme in einer bereits existierenden Umgebung gewonnen werden. Using this device, a first impression of a planned facility or planned conversion measure is to be recovered in an existing environment quickly during the planning phase.

Augmented Reality (AR) , erweiterte Realität, ist eine Form der Mensch-Technik-Interaktion, die dem Menschen z. B. über eine Datenbrille In ormationen in sein Sichtfeld einblendet und damit die von ihm wahrgenommene aktuelle Realität erweitert. Augmented Reality (AR), augmented reality, is a form of human-computer interaction, such as man., Via data goggles In ormation into his field of vision fades, thus expanding the perceived him current reality. Dieses geschieht kontextabhängig, dh passend zum und abgeleitet vom betrachteten Objekt, z. B. einem Bauteil, einem Werkzeug, einer Maschine oder zu seinem Standort. This happens depending on the context, that is suitable to and derived from the observed object, for. Example, a component, a tool, a machine, or to his site. Beispiel hierfür kann ein Sicherheitshinweis während eines Mon- tage-/Demontageprozesses sein. Example of this can be a security alert when a Mon- for days / disassembly process.

Zur Darstellung der erweiterten Realität existieren zwei gängige Verfahren. To display the augmented reality two common methods exist. Beim sogenannten Optical-See-Through (OST) erfolgt die Einblendung der virtuellen Informationen direkt in das Sichtfeld des Anwenders, wobei der Anwender die Realität weiterhin direkt wahrnehmen kann. The so-called optical see-through (OST) the insertion of the virtual information directly into the field of view of the user, whereby the user can continue to directly perceive the reality. In diesem Fall kommt typischerweise ein am Kopf getragener Miniaturmonitor, ein sogenanntes Head-Mounted Display, zur Darstellung der Bildinformationen zum Einsatz. In this case typically comes a worn on the head miniature monitor, a so-called head-mounted display, for displaying the image information is used. Beim sogenannten Video-See-Through (VST) wird die Realität über eine Videokamera erfasst. The so-called video see-through (VST) the reality is captured by a video camera. Die •Einblendung der virtuellen Informationen erfolgt in das aufgenommene Videobild. The • display of the virtual information is in the recorded video image. Die so generierten Bildinformationen können dann mit einem oder mehreren Head-Mounted-Displays o- der mit einem Standarddisplay wie einem Monitor zur Anzeige gebracht werden. The image information generated in this way can then be reacted with one or more head-mounted displays, or with a standard display as a monitor for display. Somit können mehrere Anwender die erweiterte Realität betrachten, z. B. auch an einem entfernten Ort. Thus, many users consider the augmented reality such. As well as at a remote location. Bei Video-See-Through können die Videokamera und das Raumerfassungssystem auch am Kopf des Anwenders montiert sein. For video see-through the video camera and the spatial detection system can also be mounted on the head of the user. In der heutigen Praxis erfolgt aber die Montage der Videokamera - und somit vorteilhafterweise auch die Montage des Raumerfassungssystems - an einem tragbaren Computer (zB Tablet PC). and thus advantageously also the assembly of the space detection system - - In today's practice, the installation of the video camera is carried on a portable computer (eg tablet PC).

Der Erfindung liegt die Aufgabe zugrunde, eine Vorrichtung bzw. ein Verfahren zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender anzugeben, die bzw. das bei reduziertem Zeit- und Kostenaufwand eine Planung neuer Anlagen bzw. eine Erweiterung bestehender Anlagen in einer aktuell existenten Umgebung ermöglicht, wobei auch dynamische Vorgänge sowohl der realen als auch der virtuellen Umgebung erfassbar und darstellbar sind. The invention has for its object to provide an apparatus and a method for displaying information, in particular augmented-reality information to specify a user for at least machine or at reduced time and cost of a design of new plants or an extension of existing plants allows a currently existent in environment, said dynamic processes both the real and the virtual environment can be detected and displayed.

Diese Aufgabe wird gelöst durch eine Vorrichtung zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender mit This object is achieved by a device for displaying information, in particular augmented-reality information, for at least one user with

• mindestens einer Raumerfassungseinheit zur Erfassung einer aktuellen Realität und zur Generierung entsprechender Rauminformationen, • at least one spatial detection unit for detecting a current reality and to generate corresponding spatial information,

• mindestens einer Umgebungserfassungseinheit zur Erfassung einer Umgebung und zur Generierung entsprechender Umgebungsinformationen, die eine Position und/oder eine Aus- richtung der Vorrichtung in Bezug auf die Umgebung kennzeichnen, • at least one environment detecting unit for detecting an environment and for generating a corresponding environment information, which define a position and / or orientation of the device with respect to the environment,

• mindestens einer Verarbeitungseinheit zur Verknüpfung der Umgebungsinformationen, der Rauminformationen und von in einem ersten Speichermedium abgelegten Informationen, die zur Beschreibung mindestens eines Objektes dienen, zu einer Menge von Bildinformationen derart, dass wechselseitige Verdeckungen der aktuellen Realität und des durch die abgelegten Informationen beschriebenen Objektes durch mindestens eine Wiedergabeeinheit erkennbar gemacht werden. • at least one processing unit for linking the environment information, the space information, and stored in a first storage medium information used for describing at least one object, to an amount of image information such that reciprocal masking the current reality and the object described by the information stored by at least one reproducing unit can be made visible.

Diese Aufgabe wird weiter gelöst durch eine Verfahren zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender bei dem • mit Hilfe mindestens einer Raumerfassungseinheit eine aktuelle Realität erfasst und entsprechende Rauminformationen generiert werden, • mit Hilfe mindestens einer Umgebungserfassungseinheit eine Umgebung erfasst und entsprechende Umgebungsinformationen generiert werden, die eine Position und/oder eine Ausrichtung der Vorrichtung in Bezug auf die Umgebung kennzeichnen, • mit Hilfe mindestens einer Verarbeitungseinheit die Umgebungsinformationen, die Rauminformationen und in einem ersten Speichermedium abgelegte Informationen, die zur Beschreibung mindestens eines Objektes dienen, zu einer Menge von Bildinformationen derart verknüpft werden, dass wechselseitige Verdeckungen der aktuellen Realität und des durch die abgelegten Informationen beschriebenen Objektes durch mindestens eine Wiedergabeeinheit erke This object is further achieved by a method for displaying information, in particular augmented-reality information, for at least one user in the • using at least one spatial detection unit detects a current reality and corresponding spatial information is generated, • detected with the aid of at least one environment detecting unit an environment and corresponding environment information are generated which define a position and / or orientation of the device with respect to the environment, • using at least one processing unit, the environment information, the spatial information and stored in a first storage medium information used for describing at least one object, be linked to an amount of image information such that reciprocal masking the current reality and the object described by the information stored erke by at least one reproducing unit nnbar gemacht werden. nnbar be made.

Bei der erfindungsgemäßen Vorrichtung bzw. dem erfindungsgemäßen Verfahren wird ein aus dem Stand der Technik bekanntes AR System um eine Raumerfassungseinheit ergänzt, die eine kontinuierliche Erfassung der aktuellen Realität erlaubt. In the inventive device and the method according to the invention a well-known from the prior art AR system is supplemented by a space detection unit which allows a continuous detection of the current reality. Die Raumerfassungseinheit erkennt, welche Flächen sich in einem Erfassungsbereich der Vorrichtung befinden und welchen Abstand diese Flächen zur Vorrichtung haben. The space detecting unit detects which areas are located in a detection area of the device and have what distance these surfaces to the device. Mit Hilfe einer Umgebungserfassungseinheit werden relative Position und Ausrichtung der Vorrichtung in Bezug auf die reale Umgebung erfasst. With the help of an environment detecting unit relative position and orientation of the device with respect to the real environment are detected. Mittels eines Verarbeitungssystems werden die von der Raum- und der Umgebungserfassungseinheit generierten Daten mit einer weiteren mindestens ein Objekt beschreibenden Datenmenge derart verknüpft, dass wechselseitige Verdeckungen im Blickfeld des Anwenders bei einer Darstellung der erfass- ten Realität und der von der Datenmenge beschriebenen Objekte sichtbar gemacht werden. By means of a processing system are generated by the space and the environment detecting unit data associated with a further at least one object data describing amount such that reciprocal masking the field of view of the user at a display of the erfass- th reality and objects described by the amount of data to be visualized ,

Der Erfindung liegt die Erkenntnis zu Grunde, dass bei der The invention is based on the realization that in the

Planung neuer Anlagen bzw. Erweiterung bestehender Anlagen in einer aktuell existenten Umgebung Fragestellungen bezüglich räumlicher Aspekte beantwortet werden müssen wie: Planning new facilities or expansion of existing systems in a currently existing environment issues regarding spatial aspects need to be answered, such as:

- Kann ein neues Anlagenteil in einer bestimmten Position eingebaut werden? - Can a new piece of equipment in a certain position to be installed?

- Wie ist der Einbauweg? - What is the Einbauweg?

- Können durch bewegte Maschinenteile und Menschen Kollisionen entstehen? - Can by moving machine parts and human conflicts arise?

Diese Fragestellungen können mit der erfindungsgemäßen Vorrichtung bzw. dem erfindungsgemäßen System mit Hilfe von AR Systemen beantwortet werden, ohne dass ein komplettes 3- dimensionales Modell der real existenten Umgebung unter großem Zeit- und Kostenaufwand generiert werden muss. These questions can be answered with the device of the invention or the system according to the invention with the help of AR systems without a complete 3-dimensional model of the real existing environment needs to be generated at great time and expense. Mittels der die erfasste Realität beschreibenden Informationen können Verdeckungen der geplanten Anlage, die in Form eines virtuellen 3-dimensionalen Modells dargestellt wird, berechnet werden und in der erweiterten Realität durch Ausblenden dargestellt werden. By means of the detected real descriptive information can be calculated masking the planned system, which is represented in the form of a virtual 3-dimensional model and displayed in the augmented reality by hiding.

Die kontinuierliche Erfassung der sich im Erfassungsbereich der Vorrichtung befindlichen aktuellen Realität ermöglicht sogar eine Visualisierung der virtuellen Anordnung und einer in der realen Umgebung vorhandenen Dynamik innerhalb der er- weiterten Realität. The continuous detection of itself located in the detection area of the device current reality even allows a visualization of the virtual device and an existing in the real environment dynamics within the ER far Erten reality. Hierbei entfällt der erhebliche Synchronisationsaufwand, den eine solche Visualisierung bei einer vollständigen 3-dimensionalen Modellierung einer nicht statischen Realität hervorrufen würde . Here, the major synchronization effort that such a visualization would cause in a complete 3-dimensional modeling of a non-static reality unnecessary.

Bei einer vorteilhaften Ausführungsform der Erfindung umfasst die Raumerfassungseinheit • eine Raumerfassungsvorrichtung, die zur Erfassung von Flä- chenabstandspunkten der aktuellen Realität vorgesehen ist, und In an advantageous embodiment of the invention, the spatial detection unit • a spatial detection apparatus for detecting chenabstandspunkten area-the current reality is provided comprising, and

• eine Verarbeitungseinheit , die zur Berechnung der Raumin- formationen vorgesehen ist, wobei die Rauminformationen insbesondere ein 3-dimensionales Modell der Realität beschreiben. • a processing unit which is provided for calculating the area information, the space information, in particular describe a 3-dimensional model of reality. Auf diese Weise wird nur der zur Berechnung eventuell auftretender Verdeckungsflächen benötigte Informationsgehalt der aktuellen Realität erfasst und modelliert, wodurch der Aufwand gegenüber der Erstellung eines kompletten 3-dimensionalen Modells einer realen geometrischen Anordnung erheblich reduziert wird. In this way, only the possibly occurring for calculating masking surfaces is detected required information content of the current reality and modeled, whereby the complexity compared to the creation of a complete 3-dimensional model of a real geometrical arrangement is significantly reduced.

Die Umgebungserfassungseinheit weist vorteilhafter Weise • eine Umgebungserfassungsvorriehtung, die zur Erfassung der Position und/oder der Ausrichtung der Vorrichtung in Bezug auf die reale Umgebung vorgesehen ist, und The environment detection unit advantageously has a Umgebungserfassungsvorriehtung •, which is provided for detecting the position and / or orientation of the device with respect to the real environment, and

• eine Verarbeitungseinheit zur Berechnung der Umgebungsinformationen, welche die Position und/oder die Ausrichtung der Vorrichtung in Bezug auf die reale Umgebung beispielsweise in Form einer Matrix beschreiben, auf. • a processing unit for calculating the area information describing the position and / or orientation of the device with respect to the real environment, for example in the form of a matrix on.

Bei einer typischen Anwendung der erfindungsgemäßen Vorrich- tung ist als das durch die in dem ersten Speichemedium abgelegten Informationen beschriebene Objekt ein Modell einer Anlage und/oder eines Anlagenteils vorgesehen. a model of a system and / or a system part is provided tung In a typical application of the invention as Vorrich- the object described by the data stored in the first spoke medium information. Beispielsweise kann bei einer geplanten Einbaumaßnahme ein virtuelles Modell der einzubauenden Anlage bzw. des einzubauenden Anlagenteils erstellt werden, um so schnell einen ersten Eindruck des zu planenden Systems in der hierfür vorgesehenen Realität zu gewinnen. For example, at a planned installation measure a virtual model of the incorporated plant or plant part to be installed can be created so quickly to get a first impression of the system to be planned in the space provided reality.

Bei einer vorteilhaften Ausführungsform der Erfindung ist die Wiedergabeeinheit als Head-Mounted-Display ausgebildet, wobei die von den durch die Verarbeitungseinheit generierten Bildinformationen beschriebenen Objekte direkt in das Sichtfeld des Anwenders eingeblendet werden, und der Anwender den von den durch die Bildinformationen beschriebenen Objekten nicht verdeckten Teil der aktuellen Realität weiterhin direkt wahrnimmt . In an advantageous embodiment of the invention, the rendering unit is designed as a head-mounted display, whereby the objects described by the generated by the processing unit image information is directly displayed in the field of view of the user, and the user selects the not hidden from those described by the image information objects perceives part of the current reality continues directly. Bei dieser Art der Darstellung von Augmented-Reality Informationen handelt es sich um das sogenannte Optical-See- Through Verfahren. With this type of display of augmented reality information is the so-called Optical See-Through method. In diesem Fall sind die Raumerfassungsvorrichtung und die Umgebungserfassungsvorrichtung vorteilhafter Weise am Kopf des Anwenders angebracht, so dass sie in Relation zu den Augen des Anwenders ruhen. In this case, the spatial detection device and the ambient detection device advantageously attached to the head of the user so that they rest in relation to the user's eyes. Die Blickwinkel der Raumerfassungsvorrichtung und der Umgebungserfassungsvorrichtung überschneiden sich mit dem aktuellen Blickfeld des Anwenders im Idealfall so, dass das komplette Sichtfeld des Anwenders erfasst wird. The viewing angle of the spatial detection apparatus and the environment detecting device overlap with the current field of view of the user, ideally, so that the entire field of view of the user is detected. Hingegen können die Verarbeitungseinheiten der Raumerfassungseinheit und der Umgebungserfassungs- einheit auf einem von dem Anwender mitgeführten Rechner realisiert werden. However, the processing units of the spatial detection unit and the Umgebungserfassungs- unit can be realized on a computer carried by the user.

Bei einer alternativen vorteilhaften Ausführungsform ist die Wiedergabeeinheit derart ausgebildet, dass die von den durch die Verarbeitungseinheit generierten Bildinformationen beschriebenen Objekte und der von den durch die Bildinformationen beschriebenen Objekte nicht verdeckte Teil der aktuellen Realität dargestellt werden, wobei die Vorrichtung hierzu insbesondere mindestens eine Bilder assungseinheit, die bei- spielsweise als Videokamera ausgeführt ist, zur Erfassung der aktuelle Realität aufweist. In an alternative advantageous embodiment, the playback unit is designed such that the objects and described by the generated by the processing unit image information of the non-concealed from those described by the image information items of the current reality represented, which apparatus for this purpose in particular at least assungseinheit an image, the examples of play is performed as a video camera, comprising for detecting the current reality. Diese Ausführungsform ermöglicht die Darstellung der Augmented-Reality Informationen für mehrer Anwender. This embodiment enables the display of the augmented reality information for multiple users. Bei dieser Art der Darstellung von Augmented- Reality Informationen handelt es sich um das sogenannte Vi- deo-See-Through Verfahren. With this type of display of augmented reality information is the so-called Vi deo see-through method. Hierbei werden die von den Bildinformationen beschriebenen und nicht durch die aktuelle Realität verdeckten Teile der virtuellen Objekte in das von der Videokamera erfasste Bild eingeblendet und auf einem oder, z. B. unter Verwendung eines Videospiltters, mehreren Wieder- , gabeeinheiten dargestellt. Here, the parts of the virtual objects described by the image information and not covered by the current reality are displayed in the image captured by the video camera and displayed on one or, for. Example, using a Videospiltters, multiple re-, transfer units. Bei den Wiedergabeeinheiten kann es sich um Head-Mounted-Displays oder aber gewöhnliche Monitore handeln die insbesondere auch an von der erfassten aktu- eilen Realität entfernten Orten positioniert sein können. The reproduction units may be head-mounted display or conventional monitors act in particular also on the detected aktu- hurry reality remote locations can be positioned. Bei dieser Art der Ausführung können die Raumerfassungsvorrichtung, die Umgebungserfassungsvorrichtung und die Bilderfas- suηgseinheit auf dem Kopf eines Anwenders oder an einer sons- tigen Vorrichtung, beispielsweise einem tragbaren Computer, montiert sein. In this type of embodiment, the spatial detection apparatus, the environment detecting device, and the Bilderfas- suηgseinheit may be mounted on the head of a user or a term sons- device such as a portable computer.

Um bei einer Ausführung der Vorrichtung unter Anwendung des Optical-See-Through Verfahrens den Blickwinkel und die Posi- tion des Anwenders möglichst exakt mit der Position und der Ausrichtung der Raumerfassungsvorrichtung abgleichen zu können, ist vorteilhafterweise ein zweites Speichermedium vorgesehen, das zur Speicherung von Kalibrierinformationen verwendet wird, wobei die Kalibrierinformationen geometrische Ab— weichungen zwischen Auge des Anwenders, der Position des Wiedergabesystems sowie der Raumerfassungsvorrichtung und der Umgebungser assungsvorrichtung beschreiben. To be able to calibrate the angle and the position of the user as exact as possible with the position and the orientation of the spatial detection device in an embodiment of the apparatus using the optical see-through method, is advantageously a second storage medium provided, for storing calibration information is used, wherein the calibration information geometrical deviations assungsvorrichtung describe between the eye of the user, the position of the reproduction system and the spatial detection device and the Umgebungser. Das zweite Speichermedium kann alternativ auch mit dem ersten Speichermedium in Form eines gemeinsamen Speichermediums realisiert sein. The second storage medium may alternatively be implemented with the first storage medium in the form of a common storage medium.

Um bei einer Ausführung der Vorrichtung .unter Anwendung des Video-See-Through Verfahrens den Blickwinkel und die Position der Videokamera möglichst exakt mit der Position und der Ausrichtung der Raumerfassungsvorrichtung abgleichen zu können, ist vorteilhafterweise das zweite Speichermedium zur Speicherung von Kalibrierinformationen vorgesehen, wobei die Kalibrierinformationen geometrische Abweichungen zwischen der Position der Videokamera, der Position des Wiedergabesystems sowie der Raumerfassungsvorrichtung und der Umgebungserfas- sungsvorrichtung beschreiben. To be able to calibrate the angle and position of the video camera as exactly as possible with the position and the orientation of the spatial detection device .Among using the video see-through method in one embodiment of the device, the second storage medium for storing calibration information is advantageously provided, wherein the describe calibration information geometric deviations between the position of the video camera, the position of the reproduction system and the spatial detection device and the Umgebungserfas- sungsvorrichtung. Das zweite Speichermedium kann alternativ auch mit dem ersten Speichermedium in Form eines gemeinsamen Speichermediums realisiert sein. The second storage medium may alternatively be implemented with the first storage medium in the form of a common storage medium.

Eine einfache Berechnung eventueller Verdeckungen virtueller geometrischer Anordnungen durch Anordnungen in der aktuellen Realität wird vorteilhafter Weise dadurch realisiert, dass die Verarbeitungseinheit auf Basis der von der Raumerfassungseinheit und der Umgebungserfassungseinheit generierten Informationen sowie den in den Speichermedien abgelegten Informationen die mittels der Rauminformationen und mittels der im ersten Speichermedium abgelegten Informationen beschriebenen Objekte in einem gemeinsamen Koordinatensystem darstellt. A simple calculation of possible occlusions virtual geometric arrangements by arrays in the current reality is realized advantageously in that the processing unit based on the information generated by the spatial detection unit and the environment detecting unit, and the data stored in the storage media information in the first means of the spatial information and by means of represents storage medium information stored objects described in a common coordinate system. Auf Basis dieses gemeinsamen Bezugssystems kann die Verarbeitungseinheit neue Bildinformationen berechnen, bei der diejenigen von den durch die im ersten Speichermedium abgelegten Informationen beschriebenen Flächen ausgeblendet werden, die von den durch die Rauminformationen beschriebenen Flächen im Blickfeld des Anwenders bzw. der Videokamera verdeckt werden. Based on this common reference system, the processing unit can calculate new image information in which those are hidden from those described by the data stored in the first storage medium information areas which are concealed from those described by the space information areas in the field of view of the user or the video camera. Die Verarbeitungseinheit zur Verknüpfung der Umgebungs- und der Rauminformationen kann zusammen mit der Verarbeitungseinheit der Raumerfassungseinheit und/oder der Verarbeitungseinheit der Umgebungserfassungseinheit auf einem Rechner realisiert sein. The processing unit for combining the ambient and the spatial information may be implemented on a computer together with the processing unit of the spatial detection unit and / or the processing unit of the environment detecting unit.

Eine Dynamisierung eines virtuellen Anlagenmodells kann mit der erfindungsgemäßen Vorrichtung dadurch realisiert werden, dass die Vorrichtung mindestens ein Simulationssystem zur Generierung der in dem ersten Speichermedium abgelegten Informationen aufweist. A dynamic of a virtual system model can be implemented with the inventive device in that the device comprises at least a simulation system for generating the data stored in the first storage medium information. Die dynamischen Vorgänge werden von dem Simulationssystem berechnet. The dynamic processes are calculated by the simulation system. Die im ersten Speichermedium ab- gelegten Informationen zur Beschreibung der virtuellen Objekte werden entsprechend der vom Simulationssystem berechneten Daten kontinuierlich angepasst. The off set in the first storage medium information describing the virtual objects are continuously adjusted according to the calculated by the simulation system data.

Die Raumerfassungsvorrichtung der Raumerfassungseinheit kann zum Beispiel als Radarsystem, als Ultraschallsystem, als Lasersystem oder als Stereokamerasystem ausgeführt sein. The spatial detection device of the spatial detection unit may for example as a radar system, an ultrasonic system, a laser system or be configured as a stereo camera system. Zur Minimierung des erforderlichen Hardwareaufwands können insbesondere bei kamerabasierten Systemen die Raumerfassungsvorrichtung und die Umgebungserfassungsvorrichtung in einer ge- meinsamen Erfassungsvorrichtung ausgeführt sein. To minimize the required hardware effort, the spatial detection device and the ambient detection device can in particular be carried out in of a common detector for camera-based systems. Bei einer Ausführungsform unter Anwendung des Video-See-Through Verfahrens ist darüber hinaus auch eine Integration der Raumerfas- sungsvorrichtung und/oder der Umgebungserfassungsvorrichtung in die für diese Methode benötigte Videokamera möglich. In one embodiment, using the video see-through method, an integration of Raumerfas- is sungsvorrichtung and / or the environment detection device is possible in the time required for this method video camera beyond.

Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsbeispiele näher beschrieben und erläutert. In the following the invention is described in detail with reference to the embodiment illustrated in the figures and explained embodiments. Es zeigen: Show it:

FIG 1 eine schematische Darstellung einer Vorrichtung zur Darstellung von Informationen, insbesondere Augmented- Reality Informationen, für mindestens einen Anwender, FIG 2 eine schematische Darstellung einer auf das Video-See- Through Verfahrens basierenden Ausführungsform der Vorrichtung, FIG 3 eine alternative Vorrichtung zur Darstellung von Infor- mationen, die auf dem Video-See-Through Verfahren basiert und FIG 4 eine Darstellung eines typischen Anwendungsszenarios einer Ausführungsform der in FIG 1 gezeigten Vorrichtung. 1 shows a schematic representation of a device for displaying information, in particular augmented reality information, for at least one user, FIG 2 is a schematic representation of a based on the video-See-Through method embodiment of the apparatus, FIG 3 shows an alternative apparatus for the preparation of infor- mation, which is based on the video see-through method, and FIG 4 is an illustration of a typical application scenario of an embodiment of the apparatus shown in Fig. 1 FIG 1 zeigt eine schematische Darstellung einer Vorrichtung 1 zur Darstellung von Informationen, insbesondere Augmented- Reality Informationen, für mindestens einen Anwender 2. Die dargestellte Vorrichtung betrifft eine Ausführungsform, die auf dem Optical-See-Through Verfahren beruht. 1 shows a schematic representation of a device 1 for displaying information, in particular augmented reality information, for at least one user 2. The apparatus illustrated relates to an embodiment which is based on the optical see-through method. Der Anwender 2 erfasst mit Hilfe einer Raumerfassungseinheit 3 eine sich in seinem Blickfeld befindende aktuelle Realität 13. Auf dem Kopf des Anwenders 2 befindet sich als Teil der Raumerfassungseinheit 3 eine Raumerfassungsvorrichtung 3a, die relativ zu den Augen des Anwenders 2 ruht. The user 2 detected by means of a spatial detection unit 3 a is exploiting Dende in his field of current reality 13 is located on the user's head 2 as part of spatial detection unit 3 is a spatial detection device 3a which rests relative to the user's eyes. 2 Mit Hilfe einer Verarbeitungseinheit 3b der Raumerfassungseinheit 3 werden Raumerfassungsinformationen 10 generiert, die an eine Verarbeitungseinheit 9 weitergegeben werden. By means of a processing unit 3b of the space detecting unit 3 spatial detection information 10 are generated that are passed to a processing unit. 9

Ebenfalls auf dem Kopf des Anwenders 2 ist eine Umgebungser- fassungsvorrichtung 4a positioniert, mit der die Position und der Blickwinkel des Anwenders 2 erfasst werden können. Also on the head of the user 2 is a Umgebungser- capturing device 4a positioned, with which the position of the user 2 and the angle of view can be detected. Die Umgebungserfassungsvorrichtung 4a ruht in Bezug auf die Raumerfassungsvorrichtung 3a und in Bezug auf die Augen des Anwenders 2. Eine Verarbeitungsvorrichtung 4b generiert aus der erfassten Position und dem erfassten Blickwinkel Umgebungsin- formationen 5, die ebenfalls an die Verarbeitungseinheit 9 weitergegeben werden. The environment detection device 4a rests with respect to the spatial detection apparatus 3 and with respect to the eyes of the user 2. A processing device 4b generated from the detected position and formations the detected angle Umgebungsin- 5, which are also passed on to the processing unit. 9

Bei einer alternativen Ausführungsform der Umgebungserfassungseinheit 4 umfasst die Umgebungserfassungsvorrichtung ei- nen Sensor, der auf dem Kopf des Anwenders positioniert ist und eine weitere Erfassungsvorrichtung, die so aufgestellt ist, dass sie die Position und die Ausrichtung des Sensors und somit auch des Anwenders in Bezug auf die aktuelle Realität erfassen kann. In an alternative embodiment, the environment detection unit 4, the environment detecting device includes egg NEN sensor which is positioned on the head of the user and a further detection device which is set up so that they have the position and orientation of the sensor and thus also of the user with respect to can detect the current reality.

In einem Speichermedium 7 sind Informationen 8 abgelegt, die zB eine virtuelle geometrische Anordnung beschreiben. In a storage medium 7 information 8 is stored, for example, describe a virtual geometric arrangement. Bei der virtuellen geometrischen Anordnung kann es sich beispielsweise um das dreidimensionale Modell einer geplanten Anlage oder eines geplanten Anlagenteils handeln. In the virtual geometric arrangement can, for example, be the three-dimensional model of a planned facility or planned plant part. Die Informationen 8, die das dreidimensionale Modell einer solchen Anlage beschreiben, werden ebenfalls der Verarbeitungseinheit 9 zugeführt . The information 8 that describe the three-dimensional model of such a system, the processing unit 9 are also fed.

Ein weiteres Speichermedium 12 enthält Kalibrierinformationen 11, die die geometrischen Abweichungen zwischen Auge des Anwenders 2, der Position einer sich auf dem Kopf des Anwenders 2 befindlichen Wiedergabeeinheit 6 sowie der Raumerfassungsvorrichtung 3a und der Umgebungserfassungsvorrichtung 4a be- schreiben. Another storage medium 12 includes calibration information 11, which write the geometric deviations between the eye of the user 2, the position of a reproducing unit 6 is located on the head of the user 2 and the spatial detection device 3a and the environment detecting device 4a loading.

Die Verarbeitungseinheit 9 verknüpft nun die Rauminformation 10, die Umgebungsinformation 5, die Information 8, die das dreidimensionale Modell der virtuellen Anlage beschreiben, und die Kalibrierinformation 11 zu einer Menge von Bildinformationen 14 derart, dass wechselseitige Verdeckungen der aktuellen Realität und der geplanten virtuellen Anlage durch die Wiedergabeeinheit 6 erkennbar gemacht werden. The processing unit 9 now combines the spatial information 10, the environment information 5, the information 8 that describe the three-dimensional model of the virtual plant, and the calibration information 11 to a set of image data 14 such that reciprocal masking the current reality and the planned virtual installation by the reproducing unit 6 can be made visible. Über die Wiedergabeeinheit 6, die in diesem Beispiel als Head-Mounted- Display ausgeführt ist, wird lediglich ein Bild der geplanten virtuellen Anlage dargestellt, bei dem die von der aktuellen Realität 13 im Blickfeld des Anwenders 2 verdeckten Flächen ausgeblendet sind. About the reproducing unit 6, which is carried out in this example as a head-mounted display, is shown only an image of the intended virtual system in which the masked by the actual reality 13 in the field of view of the user 2 surfaces are hidden. Der Teil der aktuellen Realität 13, der nicht durch die geplante virtuelle Anlage verdeckt wird, wird vom Anwender direkt wahrgenommen. The part of the current reality 13, which is not covered by the planned virtual plant is directly perceived by the user.

Auf diese Weise wird dem Anwender 2 eine gemischt virtuell reale Umgebung visualisiert, ohne dass eine zeit- und kostenintensive komplett 3-dimensionale Modellierung der realen Umgebung erforderlich wird. In this way, the user is visualized a mixed virtually real environment 2 without a time-consuming and costly complete 3-dimensional modeling of the real environment is required. Auch dynamische Vorgänge innerhalb der realen Umgebung können visualisiert werden, wobei ledig- lieh eine kontinuierliche Berechnung der Verdeckungsflächen durchzuführen ist. Dynamic processes within the real environment can be visualized, wherein QUIRES ONLY lent a continuous calculation of the masking surfaces is to be performed.

FIG 2 zeigt eine schematische Darstellung einer auf dem Video-See-Through Verfahren basierenden Ausführungsform der Vorrichtung 1. Es werden hier und auch bei der Beschreibung der * .weiteren Figuren die selben Bezugszeichen wie in FIG 1 verwendet. 2 shows a schematic representation of a based on the video see-through method embodiment of the device 1. It will here and the same reference numerals as in Figure 1 used in the description of * .weiteren figures. Bei dieser Ausführungsform wird die Vorrichtung 1 um eine Bilderfassungseinheit 18, die insbesondere als Videokamera ausgeführt ist, ergänzt. In this embodiment, the device 1 is supplemented by an image capturing unit 18, which is in particular designed as a video camera. Die Wiedergabeeinheit 6 stellt nun die komplette erweiterte Realität dar. D. h. neben den Bildin ormationen 14, die ein Modell der virtuellen Anlage beschreiben, bei dem die von der aktuellen Realität verdeckten Fläche ausgeblendet sind, wird auch der von der Videokamera 18 erfasste Teil der aktuellen Realität 13, der nicht von der virtuellen Anlage verdeckt wird, mit Hilfe der Wiedergabeeinheit 6 dargestellt. The reproducing unit 6 now provides the complete augmented reality is. That is, in addition to the picture-in ormation 14, describe a model of the virtual plant, in which the masked by the actual reality space are hidden, is the value detected by the video camera 18 partly the current reality 13 which is not covered by the virtual plant, represented by means of the reproduction unit. 6 Hierzu wird das Bild der virtuellen Anlage, bei dem die von der aktuellen Realität 13 verdeckten Flächen ausgeblendet sind, in das von der Videokamera .18 erfasste Bild eingeblendet. For this purpose, the image of the virtual system in which the masked by the actual reality surfaces 13 are hidden, appears in the image captured by the video camera .18 image. Bei dieser Art der Aus- führung kommt eine Konvertierungseinheit 15 mit Mixing Funktion zum Einsatz, um ein entsprechendes von der Wiedergabeeinheit 6 darstellbares Signal zu erzeugen. In this type of exemplary conversion unit 15 with mixing function is used to generate a corresponding displayable by the reproducing unit 6 signal. Diese kann sowohl softwaretechnisch als auch hardwaretechnisch - beispielsweise als Videokarte mit entsprechender Funktionalität - ausgeführt sein. This can be both by software and hardware technology - for example, a video card with appropriate functionality - be run.

In der dargestellten Ausführungsform sind die Raumerfassungsvorrichtung 3a, die Umgebungserfassungsvorrichtung 4a und die Bilderfassungseinheit 18 auf dem Kopf des Anwenders 2 positioniert. In the illustrated embodiment, the spatial detection apparatus 3, the environment detecting device 4 and the image detection unit are positioned on the head of the user 2 eighteenth Die zur Visualisierung der erweiterten Realität verwendete Wiedergabeeinheit 6 ist ebenfalls mit dem Kopf des Anwenders 2 verbunden, beispielsweise handelt es sich hierbei um ein Head-Mounted-Display. The playback unit 6 used for visualization of augmented reality is also connected to the user's head 2, for example, is this is a head-mounted display.

FIG 3 zeigt eine alternative Vorrichtung zur Darstellung von Informationen, die auf dem Video-See-Through Verfahren ba- siert . 3 shows an alternative device for displaying information, the Siert BA on the video see-through method. Bei dieser Ausführungsform der Vorrichtung 1 sind die Raumerfassungsvorrichtung 3a, die Umgebungserfassungsvorrichtung 4a, die Bilderfassungseinheit 18 sowie die Wiedergabeeinheit 6 an einem tragbaren Computer montiert . In this embodiment of device 1, the spatial detection apparatus 3, the environment detecting device 4, the imaging unit 18 and the reproducing unit 6 are mounted on a portable computer. Diese Ausführungsform ermöglicht es mehreren Anwendern, die erweiterte Realität zu betrachten. This embodiment allows multiple users to view the augmented reality. Mit Hilfe eines Videosplitters ist überdies auch die Darstellung der erweiterten Realität auf mehreren Wiedergabeeinheiten möglich. Using a video splitter and the representation of the augmented reality on a plurality of reproduction units is also possible.

FIG 4 zeigt ein typisches Anwendungsszenario einer Ausfüh- rungsform der in FIG 1 gezeigten Vorrichtung. FIG 4 shows a typical application scenario of an exemplary form of the apparatus shown in Fig. 1 Im Blickfeld eines Anwenders 2 befindet sich eine aktuelle Realität 13, die beispielsweise ein Förderband sein kann. In view of a user 2 there is a current reality 13, which may for example be a conveyor belt. Die Raumerfassungsvorrichtung 3a des Raumerfassungssystems 3 erfasst den im Blickwinkel des Anwenders 2 befindlichen Teil des Förder- bandes 13. Die Verarbeitungseinheit 3b der Raumerfassungseinheit 3 modelliert die im Blickfeld des Anwenders 2 befindlichen Flächen des Förderbandes 13 in ein dreidimensionales Flächenmodell 10b. The spatial detection device 3a of the spatial detection system 3 detects the located in the viewing angle of the user's 2 part of the conveyor belt 13. The processing unit 3b of the space detecting unit 3 models the surfaces of the conveyor belt 13 located in the field of view of the user 2 in a three-dimensional surface model 10b.

Mit Hilfe der Umgebungserfassungseinheit 4, bei der es sich beispielsweise um ein handelsübliches Trackingsystem handelt, werden die Position und der Blickwinkel des Anwenders 2 zur aktuellen Realität erfasst. By means of the environment sensing unit 4, which is, for example, is a commercially available tracking system, the position of the user 2 and the angles are detected on the current reality. Die Verarbeitungseinheit 4b der Umgebungserfassungseinheit 4 generiert hieraus Informationen 5, die in Form einer Matrix 5b dargestellt werden. The processing unit 4b of the environment detection unit 4 generates therefrom information 5, which are represented in the form of a matrix 5b.

Ein Simulationssystem 16 generiert kontinuierlich eine Datenmenge 8, die das 3D-Modell 8b einer virtuellen geometrischen Anordnung, in diesem Beispiel eines Roboters, beschreibt. A simulation system 16 continuously generates a data set 8, 8b of a virtual geometric arrangement, in this example, a robot, describes the 3D model. Auf diese Weise wird eine Dynamisierung des virtuellen Roboters in der erweiteten Realität durchgeführt. In this way, a more dynamic virtual robot is performed in which is expanded reality. Die entsprechende Datenmenge 8 ist in einem ersten Speichermedium 7 abgelegt. The corresponding amount of data 8 is stored in a first storage medium. 7

In einem zweiten Speichermedium 12 sind die zuvor beschriebenen Kalibrierinformationen 11 in Form einer Matrix 11b bzw. mehrerer Matrizen abgelegt. In a second storage medium 12, the calibration information described above are stored 11 in the form of a matrix 11b, and a plurality of matrices.

Die Verarbeitungseinheit 9 stellt nun mit Hilfe der Kalibrierinformationen 11 und der Umgebungsinformationen 5 das 3- dimensionale Flächenmodell 10b der realen Anordnung 13 (hier des Förderbandes) und das 3-dimensionale Modell 8b der virtu- eilen Anordnung (hier eines virtuellen Roboters) in einem gemeinsamen Koordinatensystem dar. Innerhalb dieses Koordinatensystems berechnet die Verarbeitungseinheit 9 Verdeckungen des virtuellen Roboters, die durch das Förderband hervorgerufen werden. The processing unit 9 now illustrates using the calibration information 11 and the environment information 5, the 3-dimensional surface model 10b of the real assembly 13 (here, the conveyor belt), and the 3-dimensional model 8b of the virtual rush arrangement (here, a virtual robot) in a common coordinate system. In this coordinate system, the processing unit 9 calculates masking the virtual robot, which are caused by the conveyor belt. Als Ergebnis generiert die Verarbeitungseinheit 9 eine neue Datenmenge 14, die wiederum ein virtuelles Modell 14b des Roboters beschreibt, bei der die vom Förderband verdeckten Flächen ausgeblendet werden. As a result, the processing unit 9 generates a new set of data 14, which in turn describes a virtual model of the robot 14b, in which the hidden from the conveyor belt surfaces are hidden.

Das Modell 14b des virtuellen Roboters, bei dem die Verde- ckungen durch das Förderband ausgeblendet sind, wird mittels einer Videokarte 15 in ein von der Wiedergabeeinheit 6 darstellbares Signal konvertiert. The model 14b of the virtual robot, in which the Verde- ckungen are hidden by the conveyor belt, is converted by means of a video card 15 in a displayable by the reproducing unit 6 signal.

Der Anwender .2 sieht durch gleichzeitiges Erfassen des mit- tels der Wiedergabeeinheit 6 dargestellten Modells 14b des virtuellen Roboters und des realen Förderbandes ein gemischt virtuell reales Bild 17, bei dem durch das Ausblenden der von der Verarbeitungseinheit 9 berechneten Flächen der gewünschte 3-dimensionale Eindruck vermittelt wird. The user .2 seen by simultaneously detecting the with- means of the reproducing unit model depicted 6 14b of the virtual robot and the actual conveyor belt, a mixed virtually real image 17, in which by hiding calculated by the processing unit 9 faces of the desired 3-dimensional impression mediated. Die Notwendigkeit einer zeit- und kostenintensiven 3-dimensionalen Modellierung des Förderbandes wird bei der erfindungsgemäßen Vorrichtung bzw. dem erfindungsgemäßen Verfahren eliminiert. The need for a time-consuming and expensive 3-dimensional modeling of the conveyor belt is eliminated in the inventive apparatus or the inventive method.

Zusammenfassend betrifft die Erfindung eine Vorrichtung und ein Verfahren zur Darstellung von virtuellen und realen Umgebungsinformationen für einen oder mehrere Anwender, wobei virtuelle Anordnungen und reale Anordnungen derartig dargestellt werden, dass Verdeckungen der virtuellen Anordnungen durch reale Anordnungen erkennbar gemacht werden. In summary, the invention provides an apparatus and a method for display of virtual and real environment information for one or more users concerned, wherein virtual devices and real devices are shown such that masking effects of the virtual devices are made recognizable by real arrangements. Mit Hilfe einer Umgebungserfassungseinheit 4 werden relative Position und Ausrichtung der Vorrichtung in der realen Umgebung er- fasst. With the help of an environment detection unit 4 relative position and orientation of the device in the real environment to be construed ER. Zusätzlich wird mittels einer Raumerfassungseinheit 3 kontinuierlich eine Erfassung der Realität und deren Umre- chung in ein 3-dimensionales Flächenmodell durchgeführt . Additionally, a detection of the reality and its Umre- is carried out monitoring in a 3-dimensional surface model continuously by means of a spatial detection unit. 3 Ein VerarbeitungsSystem 9 transferiert das 3-dimensionale Flächenmodell der realen Anordnung und das 3-dimensionale Modell der virtuellen Anordnung in ein gemeinsames Koordinatensystem und berechnet eventuelle Verdeckungsflächen der virtuellen Anordnung durch die reale Anordnung. A processing system 9 transfers the 3-dimensional surface model of the real array and the 3-dimensional model of the virtual placement in a common coordinate system and calculates any masking surfaces of the virtual device by the real arrangement.

Non-Patent Citations
Reference
1 *See references of WO2005096638A1
Referenced by
Citing PatentFiling datePublication dateApplicantTitle
US978169720 Jun 20143 Oct 2017Samsung Electronics Co., Ltd.Localization using converged platforms
Classifications
International ClassificationH04N13/00, G02B27/01, G06F3/01
Cooperative ClassificationH04N7/18, G06T17/05, G06F3/011, H04N13/0203, H04N13/0468
European ClassificationG06T17/05, G06F3/01B
Legal Events
DateCodeEventDescription
13 Dec 2006AKDesignated contracting states:
Kind code of ref document: A1
Designated state(s): DE FR GB IT
13 Dec 200617PRequest for examination filed
Effective date: 20060726
11 Jul 2007RBVDesignated contracting states (correction):
Designated state(s): DE FR GB IT
11 Jul 2007DAXRequest for extension of the european patent (to any country) deleted
29 Jul 200917QFirst examination report
Effective date: 20090626
13 Mar 2013RAP1Transfer of rights of an ep published application
Owner name: SIEMENS AKTIENGESELLSCHAFT
18 Sep 201318DDeemed to be withdrawn
Effective date: 20130319