DE102004016331B4

DE102004016331B4 - Vorrichtung und Verfahren zur gleichzeitigen Darstellung virtueller und realer Umgebungsinformationen

Info

Publication number: DE102004016331B4
Application number: DE102004016331A
Authority: DE
Inventors: Soeren Moritz
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2004-04-02
Filing date: 2004-04-02
Publication date: 2007-07-05
Anticipated expiration: 2024-04-03
Also published as: DE102004016331A1; US20070202472A1; EP1730970A1; US8345066B2; WO2005096638A1

Abstract

Vorrichtung (1) zur Darstellung von Augmented-Reality-Informationen, welche zur Planung neuer Anlagen und/oder einer Erweiterung bestehender Anlagen in einer aktuell existenten Umgebung vorgesehen sind, für mindestens einen Anwender (2)
mit
• mindestens einer Raumerfassungseinheit (3) zur Erfassung einer aktuellen Realität (13) und zur Generierung entsprechender Rauminformationen (10),
• mindestens einer Umgebungserfassungseinheit (4) zur Erfassung einer realen Umgebung und zur Generierung entsprechender Umgebungsinformationen (5), die eine Position und/oder eine Ausrichtung der Vorrichtung (1) in Bezug auf die reale Umgebung kennzeichnen,
• mindestens einer Verarbeitungseinheit (9) zur Verknüpfung der Umgebungsinformationen (5), der Rauminformationen (10) und von in einem ersten Speichermedium (7) abgelegten Informationen (8), die zur Beschreibung mindestens eines virtuellen Objektes dienen, zu einer Menge von Bildinformationen (14) derart, dass wechselseitige Verdeckungen der aktuellen Realität (13) und des durch die abgelegten Informationen (8) beschriebenen virtuellen Objektes durch mindestens eine Wiedergabeeinheit (6) erkennbar gemacht werden, dadurch gekennzeichnet, dass die von...

Description

Die Erfindung betrifft eine Vorrichtung sowie ein Verfahren zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender.

Eine derartige Vorrichtung kommt beispielsweise bei der Planung von Anlagen und Maschinen zum Einsatz. Mit Hilfe dieser Vorrichtung soll schon in der Planungsphase schnell ein erster Eindruck einer geplanten Anlage oder einer geplanten Umbaumaßnahme in einer bereits existierenden Umgebung gewonnen werden.

Augmented Reality (AR), erweiterte Realität, ist eine Form der Mensch-Technik-Interaktion, die dem Menschen z. B. über eine Datenbrille Informationen in sein Sichtfeld einblendet und damit die von ihm wahrgenommene aktuelle Realität erweitert. Dieses geschieht kontextabhängig, d. h. passend zum und abgeleitet vom betrachteten Objekt, z. B. einem Bauteil, einem Werkzeug, einer Maschine oder zu seinem Standort. Beispiel hierfür kann ein Sicherheitshinweis während eines Montage-/Demontageprozesses sein.

Zur Darstellung der erweiterten Realität existieren zwei gängige Verfahren. Beim sogenannten Optical-See-Through (OST) erfolgt die Einblendung der virtuellen Informationen direkt in das Sichtfeld des Anwenders, wobei der Anwender die Realität weiterhin direkt wahrnehmen kann. In diesem Fall kommt typischerweise ein am Kopf getragener Miniaturmonitor, ein sogenanntes Head-Mounted Display, zur Darstellung der Bildinformationen zum Einsatz. Beim sogenannten Video-See-Through (VST) wird die Realität über eine Videokamera erfasst. Die Einblendung der virtuellen Informationen erfolgt in das aufgenommene Videobild. Die so generierten Bildinformationen können dann mit einem oder mehreren Head-Mounted-Displays oder mit einem Standarddisplay wie einem Monitor zur Anzeige gebracht werden. Somit können mehrere Anwender die erweiterte Realität betrachten, z. B. auch an einem entfernten Ort. Bei Video-See-Through können die Videokamera und das Raumerfassungssystem auch am Kopf des Anwenders montiert sein. In der heutigen Praxis erfolgt aber die Montage der Videokamera – und somit vorteilhafterweise auch die Montage des Raumerfassungssystems – an einem tragbaren Computer (z.B. Tablet PC).

Aus der DE 102 40 392 A1 ist ein System und Verfahren zur Bestimmung von Abständen virtueller Objekte zu realen Objekten durch den Einsatz der Augmented Reality Technologie bekannt. Zur Vermessung der Abstände wird das Augmented Reality System mit einem Vermessungssystem gekoppelt.

Aus der DE 101 28 015 A1 ist ein Verfahren und ein System bekannt, wobei virtuelle Planungsergebnisse mit Hilfe eines Augmented Reality Systems einer realen Fertigungsumgebung überlagert werden. Die Überlagerung virtueller Planungsobjekte mit der realen Umgebung ermöglicht einem Träger einer Datenbrille eine einfache Möglichkeit für eine Kollisionsanalyse, bei der überprüft wird, ob das Planungsobjekt von seinen Abmessungen oder von seinem Aktionsradius an einer vorgesehenen Stelle in der realen Umgebung positioniert werden kann.

Aus der US 2003/0032484 A1 ist ein Spielsystem bekannt, wobei die Bewegungen und die Aktionen virtueller Objekte derart gesteuert werden, dass die virtuellen Objekte sich von dem Blickfeld eines Spielers hinaus bewegt oder in bzw. hinter einem realen Objekt versteckt werden können, damit sie dem Spieler nicht sichtbar gemacht werden.

Der Erfindung liegt die Aufgabe zugrunde, eine Vorrichtung bzw. ein Verfahren zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender anzugeben, die bzw. das bei reduziertem Zeit- und Kostenaufwand eine Planung neuer Anlagen bzw. eine Erweite rung bestehender Anlagen in einer aktuell existenten Umgebung ermöglicht, wobei auch dynamische Vorgänge sowohl der realen als auch der virtuellen Umgebung erfassbar und darstellbar sind.

Diese Aufgabe wird durch eine Vorrichtung mit den Merkmalen des Anspruchs 1 gelöst.

Diese Aufgabe wird weiter durch ein Verfahren mit den Merkmalen des Anspruchs 13 gelöst.

Bei der erfindungsgemäßen Vorrichtung bzw. dem erfindungsgemäßen Verfahren wird ein aus dem Stand der Technik bekanntes AR System um eine Raumerfassungseinheit ergänzt, die eine kontinuierliche Erfassung der aktuellen Realität erlaubt. Die Raumerfassungseinheit erkennt, welche Flächen sich in einem Erfassungsbereich der Vorrichtung befinden und welchen Abstand diese Flächen zur Vorrichtung haben. Mit Hilfe einer Umgebungserfassungseinheit werden relative Position und Ausrichtung der Vorrichtung in Bezug auf die reale Umgebung erfasst. Mittels eines Verarbeitungssystems werden die von der Raum- und der Umgebungserfassungseinheit generierten Daten mit einer weiteren mindestens ein Objekt beschreibenden Datenmenge derart verknüpft, dass wechselseitige Verdeckungen im Blickfeld des Anwenders bei einer Darstellung der erfassten Realität und der von der Datenmenge beschriebenen Objekte sichtbar gemacht werden.

Der Erfindung liegt die Erkenntnis zu Grunde, dass bei der Planung neuer Anlagen bzw. Erweiterung bestehender Anlagen in einer aktuell existenten Umgebung Fragestellungen bezüglich räumlicher Aspekte beantwortet werden müssen wie:

– Kann ein neues Anlagenteil in einer bestimmten Position eingebaut werden?
– Wie ist der Einbauweg?
– Können durch bewegte Maschinenteile und Menschen Kollisionen entstehen?

Diese Fragestellungen können mit der erfindungsgemäßen Vorrichtung bzw. dem erfindungsgemäßen System mit Hilfe von AR Systemen beantwortet werden, ohne dass ein komplettes 3-dimensionales Modell der real existenten Umgebung unter großem Zeit- und Kostenaufwand generiert werden muss. Mittels der die erfasste Realität beschreibenden Informationen können Verdeckungen der geplanten Anlage, die in Form eines virtuellen 3-dimensionalen Modells dargestellt wird, berechnet werden und in der erweiterten Realität durch Ausblenden dargestellt werden.

Die kontinuierliche Erfassung der sich im Erfassungsbereich der Vorrichtung befindlichen aktuellen Realität ermöglicht sogar eine Visualisierung der virtuellen Anordnung und einer in der realen Umgebung vorhandenen Dynamik innerhalb der erweiterten Realität. Hierbei entfällt der erhebliche Synchronisationsaufwand, den eine solche Visualisierung bei einer vollständigen 3-dimensionalen Modellierung einer nicht statischen Realität hervorrufen würde.

Bei einer vorteilhaften Ausführungsform der Erfindung umfasst die Raumerfassungseinheit

• eine Raumerfassungsvorrichtung, die zur Erfassung von Flächenabstandspunkten der aktuellen Realität vorgesehen ist, und
• eine Verarbeitungseinheit, die zur Berechnung der Rauminformationen vorgesehen ist,

wobei die Rauminformationen insbesondere ein 3-dimensionales Modell der Realität beschreiben. Auf diese Weise wird nur der zur Berechnung eventuell auftretender Verdeckungsflächen benötigte Informationsgehalt der aktuellen Realität erfasst und modelliert, wodurch der Aufwand gegenüber der Erstellung eines kompletten 3-dimensionalen Modells einer realen geometrischen Anordnung erheblich reduziert wird.

Die Umgebungserfassungseinheit weist vorteilhafter Weise

• eine Umgebungserfassungsvorrichtung, die zur Erfassung der Position und/oder der Ausrichtung der Vorrichtung in Bezug auf die reale Umgebung vorgesehen ist, und
• eine Verarbeitungseinheit zur Berechnung der Umgebungsinformationen, welche die Position und/oder die Ausrichtung der Vorrichtung in Bezug auf die reale Umgebung beispielsweise in Form einer Matrix beschreiben,

auf.

Bei einer typischen Anwendung der erfindungsgemäßen Vorrichtung ist als das durch die in dem ersten Speichemedium abgelegten Informationen beschriebene Objekt ein Modell einer Anlage und/oder eines Anlagenteils vorgesehen. Beispielsweise kann bei einer geplanten Einbaumaßnahme ein virtuelles Modell der einzubauenden Anlage bzw. des einzubauenden Anlagenteils erstellt werden, um so schnell einen ersten Eindruck des zu planenden Systems in der hierfür vorgesehenen Realität zu gewinnen.

Bei einer vorteilhaften Ausführungsform der Erfindung ist die Wiedergabeeinheit als Head-Mounted-Display ausgebildet, wobei die von den durch die Verarbeitungseinheit generierten Bildinformationen beschriebenen Objekte direkt in das Sichtfeld des Anwenders eingeblendet werden, und der Anwender den von den durch die Bildinformationen beschriebenen Objekten nicht verdeckten Teil der aktuellen Realität weiterhin direkt wahrnimmt. Bei dieser Art der Darstellung von Augmented-Reality Informationen handelt es sich um das sogenannte Optical-See-Through Verfahren. In diesem Fall sind die Raumerfassungsvorrichtung und die Umgebungserfassungsvorrichtung vorteilhafter Weise am Kopf des Anwenders angebracht, so dass sie in Relation zu den Augen des Anwenders ruhen. Die Blickwinkel der Raumerfassungsvorrichtung und der Umgebungserfassungsvorrichtung überschneiden sich mit dem aktuellen Blickfeld des Anwenders im Idealfall so, dass das komplette Sichtfeld des Anwenders erfasst wird. Hingegen können die Verarbeitungseinheiten der Raumerfassungseinheit und der Umgebungserfassungseinheit auf einem von dem Anwender mitgeführten Rechner realisiert werden.

Bei einer alternativen vorteilhaften Ausführungsform ist die Wiedergabeeinheit derart ausgebildet, dass die von den durch die Verarbeitungseinheit generierten Bildinformationen beschriebenen Objekte und der von den durch die Bildinformationen beschriebenen Objekte nicht verdeckte Teil der aktuellen Realität dargestellt werden, wobei die Vorrichtung hierzu insbesondere mindestens eine Bilderfassungseinheit, die beispielsweise als Videokamera ausgeführt ist, zur Erfassung der aktuellen Realität aufweist. Diese Ausführungsform ermöglicht die Darstellung der Augmented-Reality Informationen für mehrere Anwender. Bei dieser Art der Darstellung von Augmented-Reality Informationen handelt es sich um das sogenannte Video-See-Through Verfahren. Hierbei werden die von den Bildinformationen beschriebenen und nicht durch die aktuelle Realität verdeckten Teile der virtuellen Objekte in das von der Videokamera erfasste Bild eingeblendet und auf einem oder, z. B. unter Verwendung eines Videospiltters, mehreren Wiedergabeeinheiten dargestellt. Bei den Wiedergabeeinheiten kann es sich um Head-Mounted-Displays oder aber gewöhnliche Monitore handeln die insbesondere auch an von der erfassten aktu ellen Realität entfernten Orten positioniert sein können. Bei dieser Art der Ausführung können die Raumerfassungsvorrichtung, die Umgebungserfassungsvorrichtung und die Bilderfassungseinheit auf dem Kopf eines Anwenders oder an einer sonstigen Vorrichtung, beispielsweise einem tragbaren Computer, montiert sein.

Um bei einer Ausführung der Vorrichtung unter Anwendung des Optical-See-Through Verfahrens den Blickwinkel und die Position des Anwenders möglichst exakt mit der Position und der Ausrichtung der Raumerfassungsvorrichtung abgleichen zu können, ist vorteilhafterweise ein zweites Speichermedium vorgesehen, das zur Speicherung von Kalibrierinformationen verwendet wird, wobei die Kalibrierinformationen geometrische Abweichungen zwischen Auge des Anwenders, der Position des Wiedergabesystems sowie der Raumerfassungsvorrichtung und der Umgebungserfassungsvorrichtung beschreiben. Das zweite Speichermedium kann alternativ auch mit dem ersten Speichermedium in Form eines gemeinsamen Speichermediums realisiert sein.

Um bei einer Ausführung der Vorrichtung unter Anwendung des Video-See-Through Verfahrens den Blickwinkel und die Position der Videokamera möglichst exakt mit der Position und der Ausrichtung der Raumerfassungsvorrichtung abgleichen zu können, ist vorteilhafterweise das zweite Speichermedium zur Speicherung von Kalibrierinformationen vorgesehen, wobei die Kalibrierinformationen geometrische Abweichungen zwischen der Position der Videokamera, der Position des Wiedergabesystems sowie der Raumerfassungsvorrichtung und der Umgebungserfassungsvorrichtung beschreiben. Das zweite Speichermedium kann alternativ auch mit dem ersten Speichermedium in Form eines gemeinsamen Speichermediums realisiert sein.

Eine einfache Berechnung eventueller Verdeckungen virtueller geometrischer Anordnungen durch Anordnungen in der aktuellen Realität wird vorteilhafter Weise dadurch realisiert, dass die Verarbeitungseinheit auf Basis der von der Raumerfassungseinheit und der Umgebungserfassungseinheit generierten Informationen sowie den in den Speichermedien abgelegten Informationen die mittels der Rauminformationen und mittels der im ersten Speichermedium abgelegten Informationen beschriebenen Objekte in einem gemeinsamen Koordinatensystem darstellt. Auf Basis dieses gemeinsamen Bezugssystems kann die Verarbeitungseinheit neue Bildinformationen berechnen, bei der diejenigen von den durch die im ersten Speichermedium abgelegten Informationen beschriebenen Flächen ausgeblendet werden, die von den durch die Rauminformationen beschriebenen Flächen im Blickfeld des Anwenders bzw. der Videokamera verdeckt werden. Die Verarbeitungseinheit zur Verknüpfung der Umgebungs- und der Rauminformationen kann zusammen mit der Verarbeitungseinheit der Raumerfassungseinheit und/oder der Verarbeitungseinheit der Umgebungserfassungseinheit auf einem Rechner realisiert sein.

Eine Dynamisierung eines virtuellen Anlagenmodells kann mit der erfindungsgemäßen Vorrichtung dadurch realisiert werden, dass die Vorrichtung mindestens ein Simulationssystem zur Generierung der in dem ersten Speichermedium abgelegten Informationen aufweist. Die dynamischen Vorgänge werden von dem Simulationssystem berechnet. Die im ersten Speichermedium abgelegten Informationen zur Beschreibung der virtuellen Objekte werden entsprechend der vom Simulationssystem berechneten Daten kontinuierlich angepasst.

Die Raumerfassungsvorrichtung der Raumerfassungseinheit kann zum Beispiel als Radarsystem, als Ultraschallsystem, als Lasersystem oder als Stereokamerasystem ausgeführt sein. Zur Minimierung des erforderlichen Hardwareaufwands können insbesondere bei kamerabasierten Systemen die Raumerfassungsvorrichtung und die Umgebungserfassungsvorrichtung in einer gemeinsamen Erfassungsvorrichtung ausgeführt sein. Bei einer Ausführungsform unter Anwendung des Video-See-Through Verfahrens ist darüber hinaus auch eine Integration der Raumerfas sungsvorrichtung und/oder der Umgebungserfassungsvorrichtung in die für diese Methode benötigte Videokamera möglich.

Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsbeispiele näher beschrieben und erläutert. Es zeigen:
1 eine schematische Darstellung einer Vorrichtung zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender,
2 eine schematische Darstellung einer auf das Video-See-Through Verfahrens basierenden Ausführungsform der Vorrichtung,
3 eine alternative Vorrichtung zur Darstellung von Informationen, die auf dem Video-See-Through Verfahren basiert und
4 eine Darstellung eines typischen Anwendungsszenarios einer Ausführungsform der in 1 gezeigten Vorrichtung.
1 zeigt eine schematische Darstellung einer Vorrichtung 1 zur Darstellung von Informationen, insbesondere Augmented-Reality Informationen, für mindestens einen Anwender 2. Die dargestellte Vorrichtung betrifft eine Ausführungsform, die auf dem Optical-See-Through Verfahren beruht. Der Anwender 2 erfasst mit Hilfe einer Raumerfassungseinheit 3 eine sich in seinem Blickfeld befindende aktuelle Realität 13. Auf dem Kopf des Anwenders 2 befindet sich als Teil der Raumerfassungseinheit 3 eine Raumerfassungsvorrichtung 3a, die relativ zu den Augen des Anwenders 2 ruht. Mit Hilfe einer Verarbeitungseinheit 3b der Raumerfassungseinheit 3 werden Raumerfassungsinformationen 10 generiert, die an eine Verarbeitungseinheit 9 weitergegeben werden.
Ebenfalls auf dem Kopf des Anwenders 2 ist eine Umgebungserfassungsvorrichtung 4a positioniert, mit der die Position und der Blickwinkel des Anwenders 2 erfasst werden können. Die Umgebungserfassungsvorrichtung 4a ruht in Bezug auf die Raumerfassungsvorrichtung 3a und in Bezug auf die Augen des Anwenders 2. Eine Verarbeitungsvorrichtung 4b generiert aus der erfassten Position und dem erfassten Blickwinkel Umgebungsinformationen 5, die ebenfalls an die Verarbeitungseinheit 9 weitergegeben werden.
Bei einer alternativen Ausführungsform der Umgebungserfassungseinheit 4 umfasst die Umgebungserfassungsvorrichtung einen Sensor, der auf dem Kopf des Anwenders positioniert ist und eine weitere Erfassungsvorrichtung, die so aufgestellt ist, dass sie die Position und die Ausrichtung des Sensors und somit auch des Anwenders in Bezug auf die aktuelle Realität erfassen kann.
In einem Speichermedium 7 sind Informationen 8 abgelegt, die z.B. eine virtuelle geometrische Anordnung beschreiben. Bei der virtuellen geometrischen Anordnung kann es sich beispielsweise um das dreidimensionale Modell einer geplanten Anlage oder eines geplanten Anlagenteils handeln. Die Informationen 8, die das dreidimensionale Modell einer solchen Anlage beschreiben, werden ebenfalls der Verarbeitungseinheit 9 zugeführt.
Ein weiteres Speichermedium 12 enthält Kalibrierinformationen 11, die die geometrischen Abweichungen zwischen dem Auge des Anwenders 2, der Position einer sich auf dem Kopf des Anwenders 2 befindlichen Wiedergabeeinheit 6 sowie der Raumerfassungsvorrichtung 3a und der Umgebungserfassungsvorrichtung 4a beschreiben.
Die Verarbeitungseinheit 9 verknüpft nun die Rauminformation 10, die Umgebungsinformation 5, die Information 8, die das dreidimensionale Modell der virtuellen Anlage beschreiben, und die Kalibrierinformation 11 zu einer Menge von Bildinformationen 14 derart, dass wechselseitige Verdeckungen der aktuellen Realität und der geplanten virtuellen Anlage durch die Wiedergabeeinheit 6 erkennbar gemacht werden. Über die Wiedergabeeinheit 6, die in diesem Beispiel als Head-Mounted-Display ausgeführt ist, wird lediglich ein Bild der geplanten virtuellen Anlage dargestellt, bei dem die von der aktuellen Realität 13 im Blickfeld des Anwenders 2 verdeckten Flächen ausgeblendet sind. Der Teil der aktuellen Realität 13, der nicht durch die geplante virtuelle Anlage verdeckt wird, wird vom Anwender direkt wahrgenommen.
Auf diese Weise wird dem Anwender 2 eine gemischt virtuell reale Umgebung visualisiert, ohne dass eine zeit- und kostenintensive komplett 3-dimensionale Modellierung der realen Umgebung erforderlich wird. Auch dynamische Vorgänge innerhalb der realen Umgebung können visualisiert werden, wobei lediglich eine kontinuierliche Berechnung der Verdeckungsflächen durchzuführen ist.
2 zeigt eine schematische Darstellung einer auf dem Video-See-Through Verfahren basierenden Ausführungsform der Vorrichtung 1. Es werden hier und auch bei der Beschreibung der weiteren Figuren die selben Bezugszeichen wie in 1 verwendet. Bei dieser Ausführungsform wird die Vorrichtung 1 um eine Bilderfassungseinheit 18, die insbesondere als Videokamera ausgeführt ist, ergänzt. Die Wiedergabeeinheit 6 stellt nun die komplette erweiterte Realität dar. D. h. neben den Bildinformationen 14, die ein Modell der virtuellen Anlage beschreiben, bei dem die von der aktuellen Realität verdeckten Fläche ausgeblendet sind, wird auch der von der Videokamera 18 erfasste Teil der aktuellen Realität 13, der nicht von der virtuellen Anlage verdeckt wird, mit Hilfe der Wiedergabeeinheit 6 dargestellt. Hierzu wird das Bild der virtuellen Anlage, bei dem die von der aktuellen Realität 13 verdeckten Flächen ausgeblendet sind, in das von der Videokamera 18 erfasste Bild eingeblendet. Bei dieser Art der Ausführung kommt eine Konvertierungseinheit 15 mit Mixing Funktion zum Einsatz, um ein entsprechendes von der Wiedergabeeinheit 6 darstellbares Signal zu erzeugen. Diese kann sowohl softwaretechnisch als auch hardwaretechnisch – beispielsweise als Videokarte mit entsprechender Funktionalität – ausgeführt sein.
In der dargestellten Ausführungsform sind die Raumerfassungsvorrichtung 3a, die Umgebungserfassungsvorrichtung 4a und die Bilderfassungseinheit 18 auf dem Kopf des Anwenders 2 positioniert. Die zur Visualisierung der erweiterten Realität verwendete Wiedergabeeinheit 6 ist ebenfalls mit dem Kopf des Anwenders 2 verbunden, beispielsweise handelt es sich hierbei um ein Head-Mounted-Display.
3 zeigt eine alternative Vorrichtung zur Darstellung von Informationen, die auf dem Video-See-Through Verfahren basiert. Bei dieser Ausführungsform der Vorrichtung 1 sind die Raumerfassungsvorrichtung 3a, die Umgebungserfassungsvorrichtung 4a, die Bilderfassungseinheit 18 sowie die Wiedergabeeinheit 6 an einem tragbaren Computer montiert. Diese Ausführungsform ermöglicht es mehreren Anwendern, die erweiterte Realität zu betrachten. Mit Hilfe eines Videosplitters ist überdies auch die Darstellung der erweiterten Realität auf mehreren Wiedergabeeinheiten möglich.
4 zeigt ein typisches Anwendungsszenario einer Ausführungsform der in 1 gezeigten Vorrichtung. Im Blickfeld eines Anwenders 2 befindet sich eine aktuelle Realität 13, die beispielsweise ein Förderband sein kann. Die Raumerfassungsvorrichtung 3a des Raumerfassungssystems 3 erfasst den im Blickwinkel des Anwenders 2 befindlichen Teil des Förderbandes 13. Die Verarbeitungseinheit 3b der Raumerfassungseinheit 3 modelliert die im Blickfeld des Anwenders 2 befindlichen Flächen des Förderbandes 13 in ein dreidimensionales Flächenmodell 10b.
Mit Hilfe der Umgebungserfassungseinheit 4a, bei der es sich beispielsweise um ein handelsübliches Trackingsystem handelt, werden die Position und der Blickwinkel des Anwenders 2 zur aktuellen Realität erfasst. Die Verarbeitungseinheit 4b der Umgebungserfassungseinheit 4a generiert hieraus Informationen 5, die in Form einer Matrix 5b dargestellt werden.
Ein Simulationssystem 16 generiert kontinuierlich eine Datenmenge 8, die das 3D-Modell 8b einer virtuellen geometrischen Anordnung, in diesem Beispiel eines Roboters, beschreibt. Auf diese Weise wird eine Dynamisierung des virtuellen Roboters in der erweiteten Realität durchgeführt. Die entsprechende Datenmenge 8 ist in einem ersten Speichermedium 7 abgelegt.
In einem zweiten Speichermedium 12 sind die zuvor beschriebenen Kalibrierinformationen 11 in Form einer Matrix 11b bzw. mehrerer Matrizen abgelegt.
Die Verarbeitungseinheit 9 stellt nun mit Hilfe der Kalibrierinformationen 11 und der Umgebungsinformationen 5 das 3-dimensionale Flächenmodell 10b der realen Anordnung 13 (hier des Förderbandes) und das 3-dimensionale Modell 8b der virtuellen Anordnung (hier eines virtuellen Roboters) in einem gemeinsamen Koordinatensystem dar. Innerhalb dieses Koordinatensystems berechnet die Verarbeitungseinheit 9 Verdeckungen des virtuellen Roboters, die durch das Förderband hervorgerufen werden. Als Ergebnis generiert die Verarbeitungseinheit 9 eine neue Datenmenge 14, die wiederum ein virtuelles Modell 14b des Roboters beschreibt, bei der die vom Förderband verdeckten Flächen ausgeblendet werden.
Das Modell 14b des virtuellen Roboters, bei dem die Verdeckungen durch das Förderband ausgeblendet sind, wird mittels einer Videokarte 15 in ein von der Wiedergabeeinheit 6 darstellbares Signal konvertiert.
Der Anwender 2 sieht durch gleichzeitiges Erfassen des mittels der Wiedergabeeinheit 6 dargestellten Modells 14b des virtuellen Roboters und des realen Förderbandes ein gemischt virtuell reales Bild 17, bei dem durch das Ausblenden der von der Verarbeitungseinheit 9 berechneten Flächen der gewünschte 3-dimensionale Eindruck vermittelt wird. Die Notwendigkeit einer zeit- und kostenintensiven 3-dimensionalen Modellierung des Förderbandes wird bei der erfindungsgemäßen Vorrichtung bzw. dem erfindungsgemäßen Verfahren eliminiert.
Zusammenfassend betrifft die Erfindung eine Vorrichtung und ein Verfahren zur Darstellung von virtuellen und realen Umgebungsinformationen für einen oder mehrere Anwender, wobei virtuelle Anordnungen und reale Anordnungen derartig dargestellt werden, dass Verdeckungen der virtuellen Anordnungen durch reale Anordnungen erkennbar gemacht werden. Mit Hilfe einer Umgebungserfassungseinheit 4a werden relative Position und Ausrichtung der Vorrichtung in der realen Umgebung erfasst. Zusätzlich wird mittels einer Raumerfassungseinheit 3 kontinuierlich eine Erfassung der Realität und deren Umrechung in ein 3-dimensionales Flächenmodell durchgeführt. Ein Verarbeitungssystem 9 transferiert das 3-dimensionale Flächenmodell der realen Anordnung und das 3-dimensionale Modell der virtuellen Anordnung in ein gemeinsames Koordinatensystem und berechnet eventuelle Verdeckungsflächen der virtuellen Anordnung durch die reale Anordnung.

Claims

Vorrichtung (1) zur Darstellung von Augmented-Reality-Informationen, welche zur Planung neuer Anlagen und/oder einer Erweiterung bestehender Anlagen in einer aktuell existenten Umgebung vorgesehen sind, für mindestens einen Anwender (2) mit • mindestens einer Raumerfassungseinheit (3) zur Erfassung einer aktuellen Realität (13) und zur Generierung entsprechender Rauminformationen (10), • mindestens einer Umgebungserfassungseinheit (4) zur Erfassung einer realen Umgebung und zur Generierung entsprechender Umgebungsinformationen (5), die eine Position und/oder eine Ausrichtung der Vorrichtung (1) in Bezug auf die reale Umgebung kennzeichnen, • mindestens einer Verarbeitungseinheit (9) zur Verknüpfung der Umgebungsinformationen (5), der Rauminformationen (10) und von in einem ersten Speichermedium (7) abgelegten Informationen (8), die zur Beschreibung mindestens eines virtuellen Objektes dienen, zu einer Menge von Bildinformationen (14) derart, dass wechselseitige Verdeckungen der aktuellen Realität (13) und des durch die abgelegten Informationen (8) beschriebenen virtuellen Objektes durch mindestens eine Wiedergabeeinheit (6) erkennbar gemacht werden, dadurch gekennzeichnet, dass die von der aktuellen Realität im Blickfeld des Anwenders verdeckten Flächen des Objektes ausgeblendet sind, wobei das durch die im ersten Speichermedium (7) abgelegten Informationen (8) beschriebene virtuelle Objekt ein Modell (8b) einer Anlage und/oder eines Anlagenteils ist.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Raumerfassungseinheit (3) • eine Raumerfassungsvorrichtung (3a), die zur Erfassung von Flächenabstandspunkten der aktuellen Realität (13) vorgesehen ist, und • eine Verarbeitungseinheit (3b), die zur Berechnung der Rauminformationen (10) vorgesehen ist, aufweist, wobei die Rauminformationen (10) insbesondere ein 3-dimensionales Modell (10b) der Realität (13) beschreiben.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Umgebungserfassungseinheit (4) eine Umgebungserfassungsvorrichtung (4a), die zur Erfassung der Position und/oder der Ausrichtung der Vorrichtung (1) in Bezug auf die reale Umgebung vorgesehen ist, und • eine Verarbeitungseinheit: (4b) zur Berechnung der Umgebungsinformationen (5), welche die Position und/oder die Ausrichtung der Vorrichtung (1) in Bezug auf die reale Umgebung beispielsweise in Form einer Matrix (5b) beschreiben, aufweist.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als das durch die in dem ersten Speichemedium (7) abgelegten Informationen (8) beschriebene Objekt ein Modell (8b) einer Anlage und/oder eines Anlagenteils vorgesehen ist.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Wiedergabeeinheit (6) als Head-Mounted-Display ausgebildet ist, wobei die von den durch die Verarbeitungseinheit (9) generierten Bildinformationen (14) beschriebenen Objekte direkt in das Sichtfeld des Anwenders (2) eingeblendet werden, und der Anwender (2) den von den durch die Bildinformationen (14) beschriebenen Objekten nicht verdeckten Teil der aktuellen Realität (13) weiterhin direkt wahrnimmt.
Vorrichtung nach einem dar vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Wiedergabeeinheit (6) derart ausgebildet ist, dass die von den durch die Verarbeitungseinheit (9) generierten Bildinformationen (14) beschriebenen Objekte und der von den durch die Bildinformationen (14) be schriebenen Objekte nicht verdeckte Teil der aktuellen Realität (13) dargestellt werden, wobei die Vorrichtung hierzu insbesondere mindestens eine Bilderfassungseinheit (18), die beispielsweise als Videokamera ausgeführt ist, zur Erfassung der aktuellen Realität (13) aufweist.
Vorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass ein zweites Speichermedium (12) vorgesehen ist, das zur Speicherung von Kalibrierinformationen (11) verwendet wird, wobei die Kalibrierinformationen (11) geometrische Abweichungen zwischen Auge des Anwenders (2), der Position des Wiedergabesystems (6) sowie der Raumerfassungsvorrichtung (3a) und der Umgebungserfassungsvorrichtung (4a) beschreiben.
Vorrichtung nach einem der Ansprüche 1 bis 4 oder 6, dadurch gekennzeichnet, dass ein zweites Speichermedium (12) vorgesehen ist, das zur Speicherung von Kalibrierinformationen (11) verwendet wird, wobei die Kalibrierinformationen (11) geometrische Abweichungen zwischen Position der Bilderfassungseinheit (18), der Raumerfassungsvorrichtung (3a) und der Umgebungserfassungsvorrichtung (4a) beschreiben.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Verarbeitungseinheit (9) derart ausgebildet ist, dass sie auf Basis der von der Raumerfassungseinheit (3) und der Umgebungserfassungseinheit (4) generierten Informationen (5, 10) sowie den in den Speichermedien (7, 12) abgelegten Informationen (8, 11) die mittels der Rauminformationen (10) und mittels der im ersten Speichermedium (7) abgelegten Informationen (8) beschriebenen Objekte in einem gemeinsamen Koordinatensystem darstellt.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung (1) mindestens ein Simulationssystem (16) zur Generierung der in dem ersten Speichermedium (7) abgelegten Informationen (8) aufweist.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Raumerfassungsvorrichtung (3a) der Raumerfassungseinheit (3) als Radarsystem, als Ultraschallsystem, als Lasersystem oder als Stereokamerasystem ausgeführt ist.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Raumerfassungsvorrichtung (3a) und die Umgebungserfassungsvorrichtung (4a) in einer gemeinsamen Erfassungsvorrichtung ausgeführt sind.
Verfahren zur Darstellung von Augmented-Reality-Informationen, welche zur Planung neuer Anlagen und/oder einer Erweiterung bestehender Anlagen in einer aktuell existenten Umgebung vorgesehen sind, für mindestens einen Anwender (2) bei dem • mit Hilfe einer Raumerfassungseinheit (3) eine aktuelle Realität (13) erfasst und entsprechende Rauminformationen (10) generiert werden, • mit Hilfe mindestens einer Umgebungserfassungseinheit (4) eine reale Umgebung erfasst und entsprechende Umgebungsinformationen (5) generiert werden, die eine Position und/oder eine Ausrichtung der Vorrichtung (1) in Bezug auf die reale Umgebung kennzeichnen, • mit Hilfe mindestens einer Verarbeitungseinheit (9) die Umgebungsinformationen (5), die Rauminformationen (10) und in einem ersten Speichermedium (7) abgelegte Informationen (8), die zur Beschreibung mindestens eines virtuellen Objektes dienen, zu einer Menge von Bildinformationen (14) derart verknüpft werden, dass wechselseitige Verdeckungen der aktuellen Realität (13) und des durch die abgelegten Informationen (8) beschriebenen virtuellen Objektes durch mindestens eine Wiedergabeeinheit (6) erkennbar gemacht werden, dadurch gekennzeichnet, dass die von der aktuellen Realität im Blickfeld des Anwenders verdeckten Flächen des Objektes ausgeblendet sind, wobei das durch die im ersten Speichermedium (7) abgelegten Informationen (8) be schriebene virtuelle Objekt ein Modell (8b) einer Anlage und/oder eines Anlagenteils ist.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass mit Hilfe • einer Raumerfassungsvorrichtung (3a), die Bestandteil der Raumerfassungseinheit (3) ist, Flächenabstandspunkte der aktuellen Realität (13) erfasst werden, und • einer Verarbeitungseinheit (3b), die Bestandteil der Raumerfassungseinheit (3) ist, die Rauminformationen (10) berechnet werden, wobei die Rauminformationen (10) insbesondere ein 3-dimensionales Modell (10b) der aktuellen Realität (13) beschreiben.
Verfahren nach einem der Ansprüche 13 bis 14, dadurch gekennzeichnet, dass mit Hilfe • einer Umgebungserfassungsvorrichtung (4a), die Bestandteil der Umgebungserfassungseinheit (4) ist, die Position und/oder die Ausrichtung der Vorrichtung (1) in Bezug auf die reale Umgebung erfasst werden, und • einer Verarbeitungseinheit (4b), die Bestandteil der Umgebungserfassungseinheit (4) ist, die Umgebungsinformationen (5), welche die Position und/oder die Ausrichtung der Vorrichtung (1) in Bezug auf die reale Umgebung beispielsweise in Form einer Matrix (5b) beschreiben, berechnet werden.
Verfahren nach einem der Ansprüche 13 bis 15, dadurch gekennzeichnet, dass das durch die in dem ersten Speichemedium (7) abgelegten Informationen (8) beschriebene Objekte ein Modell (8b) einer Anlage und/oder eines Anlagenteils darstellt.
Verfahren nach einem der Ansprüche 13 bis 16, dadurch gekennzeichnet, dass die von den durch die Verarbeitungseinheit (9) generierten Bildinformationen (14) beschriebenen Objekte mit Hilfe der Wiedergabeeinheit (6), die insbe sondere als Head-Mounted-Display ausgeführt ist, direkt in das Sichtfeld des Anwenders (2) eingeblendet werden, und der Anwender (2) den von den durch die Bildinformationen (14) beschriebenen Objekten nicht verdeckten Teil der aktuellen Realität (13) weiterhin direkt wahrnimmt.
Verfahren nach einem der Ansprüche 13 bis 17, dadurch gekennzeichnet, dass die von den durch die Verarbeitungseinheit (9) generierten Bildinformationen (14) beschriebenen Objekte und der von den durch die Bildinformationen (14) beschriebenen Objekte nicht verdeckte Teil der aktuellen Realität (13) mit Hilfe der Wiedergabeeinheit (6) dargestellt werden, wobei die Vorrichtung hierzu insbesondere mindestens eine Bilderfassungseinheit (18), die beispielsweise als Videokamera ausgeführt ist, zur Erfassung der aktuellen Realität (13) aufweist.
Verfahren nach einem der Ansprüche 13 bis 17, dadurch gekennzeichnet, dass mit Hilfe eines zweiten Speichermediums (12) Kalibrierinformationen (11) gespeichert werden, wobei die Kalibrierinformationen (11) geometrische Abweichungen zwischen Auge des Anwenders (2), der Position des Wiedergabesystems (6) sowie der Raumerfassungsvorrichtung (3a) und der Umgebungserfassungsvorrichtung (4a) beschreiben.
Verfahren nach einem der Ansprüche 13 bis 16 oder 18, dadurch gekennzeichnet, dass mit Hilfe eines zweiten Speichermediums (12) Kalibrierinformationen (11) gespeichert werden, wobei die Kalibrierinformationen (11) geometrische Abweichungen zwischen Position der Bilderfassungseinheit (18), der Raumerfassungsvorrichtung (3a) und der Umgebungserfassungsvorrichtung (4a) beschreiben.
Verfahren nach einem der Ansprüche 13 bis 20, dadurch gekennzeichnet, dass mit Hilfe der Verarbeitungseinheit (9) auf Basis der von der Raumerfassungseinheit (3) und der Umgebungserfassungseinheit (4) generierten Informationen (5, 10) sowie den in den Speichermedien (7, 12) abgelegten In formationen (8, 11) die mittels der Rauminformationen (10) und mittels der im ersten Speichermedium (7) abgelegten Informationen (8) beschriebenen Objekte in einem gemeinsamen Koordinatensystem dargestellt werden.
Verfahren nach einem der Ansprüche 13 bis 21, dadurch gekennzeichnet, dass mit Hilfe mindestens eines Simulationssystems (16) die in dem ersten Speichermedium (7) abgelegten Informationen (8) generiert werden.
Verfahren nach einem der Ansprüche 13 bis 22, dadurch gekennzeichnet, dass ein Radarsystem, ein Ultraschallsystem, ein Lasersystem oder ein Stereokamerasystem für die Raumerfassungsvorrichtung (3a) der Raumerfassungseinheit (3) verwendet wird.
Verfahren nach einem der Ansprüche 13 bis 23, dadurch gekennzeichnet, dass für die Raumerfassungsvorrichtung (3a) und die Umgebungserfassungsvorrichtung (4a) eine gemeinsame Erfassungsvorrichtung verwendet wird.