DE10240392A1

DE10240392A1 - System und Verfahren zur Bestimmung von Abständen virtueller Objekte zu realen Objekten durch den Einsatz der Augmented Reality Technology

Info

Publication number: DE10240392A1
Application number: DE10240392A
Authority: DE
Original assignee: Patron Guenter
Current assignee: Patron Guenter
Priority date: 2002-09-02
Filing date: 2002-09-02
Publication date: 2004-03-11

Abstract

Die Erfindung betrifft ein System und Verfahren zur Bestimmung von Abständen virtueller Objekte zu realen Objekten durch den Einsatz der Augmented Reality Technologie. Hierzu wird ein aus dem Stand der Technik bekanntes Augmented Reality System zur Vermessung verwendet. Dies wird erfindungsgemäß durch die Kopplung des Augmented Reality Systems mit einem anderen Vermessungssystem oder durch die Positionierung von Referenzgeometrien im Raum gelöst. DOLLAR A Durch das erfindungsgemäße System und Verfahren wird so die Vermessung nicht real existierender virtueller Objekte zu Objekten der realen Umgebung erreicht. Das System und Verfahren ermöglicht somit die Verbesserung der Planungs- und Entwicklungsqualität und die Verminderung des Aufwandes zur Datengenerierung zur Repräsentation der Realität.

Description

Kurzzusammenfassung
Die Erfindung betrifft ein System und Verfahren zur Bestimmung von Abständen virtueller Objekte zu realen Objekten durch den Einsatz der Augmented Reality Technologie. Hierzu wird ein aus dem Stand der Technik bekanntes Augmented Reality System zur Vermessung verwendet. Dies wird erfindungsgemäß durch die Kopplung des Augmented Reality Systems mit einem anderen Vermessungssystem oder durch die Positionierung von Referenzgeometrien im Raum gelöst.
Durch das erfindungsgemäße System und Verfahren wird so die Vermessung nicht real existierender virtueller Objekte, die mit Hilfe der Augmented Reality Technologie lagerichtig in die Realität eingeblendet werden, zu Objekten der realen Umgebung erreicht. Das System und Verfahren ermöglicht somit die Verbesserung der Planungs- und Entwicklungsqualität und die Verminderung des Aufwandes zur Datengenerierung zur Repräsentation der Realität.
Ausgangssituation
Es wird vorausgesetzt, dass sich der Begriff virtuelles Objekt auf die rechnerbasierte Repräsentation eines beliebigen realen Objektes bezieht. Dies schließt die zwei oder dreidimensionale Repräsentation von Konstruktionsdaten, Planungsdaten, Einrichtungsgegenständen oder Gebäuden ein. Diese virtuellen Objekte werden in Bezug mit real existierenden Objekten, z.B. Gebäuden oder Produkten, gesetzt.

Aus dem Stand der Technik ist es bekannt, dass zur Planung von Gebäude, Fertigungseinrichtungen oder zur Entwicklung von Produkten vorzugsweise Software-Werkzeuge eingesetzt werden. Diese Werkzeuge ermöglichen eine 2- oder 3-dimensionale Darstellung und Simulation von Planungs- und Konstruktionsergebnissen. So ermöglichen sie beispielsweise eine virtuelle Darstellung eines geplanten Layouts für Produktionsstrassen oder eine Simulation des Bewegungsablaufes von Produktkomponenten bzw. einer Simulation des Bewegungsablaufes von Betriebsmitteln.

Weiterhin sind aus dem Stand der Technik sogenannte Augmented Reality Systeme bekannt. Diese erlauben die Überlagerung von computergenerierten, virtuellen Informationen mit Seheindrücken der realen Umgebung. Hierzu werden die Seheindrücke der realen Welt, vorzugsweise mit auf dem Kopf getragenen halbdurchlässigen Datenbrillen, mit virtuellen Informationen gemischt. Die Einblendung der virtuellen Informationen kann dabei kontextabhängig, d.h. angepasst und abgeleitet von der jeweilig betrachteten realen Umgebung ausgeführt sein. Als Informationen können grundsätzlich jede Art von Daten wie Texte, Abbildungen etc. verwendet werden.

Dokumentierte Anwendungen der Technologie sehen einen Einsatz in der Produktion, im Service und in der Entwicklung komplexer Produkte vor. Auch ist der Einsatz der Technologie in der Produktion von Flugzeugen bekannt. Nach der Druckschrift DE 198 32 974 A1 und DE 101 28 015 A1 ist der Einsatz von Augmented Reality Technologien in Produktionsumgebungen bekannt.

Zusätzlich sind aus dem Stand der Technik Positionserfassungssysteme bekannt, die die Position von beliebigen Objekten in einem Vermessungsraum bestimmen. Diese sogenannten Tracking-Systeme erlauben beispielsweise die Erfassung von bis zu sechs Freiheitsgraden eines Objektes an das Referenzgeometrien, sogenannte Macker, angebracht sind. Zum Einsatz kommen Systeme mit unterschiedlichsten physikalischen Wirkprinzipien. Gängig sind sogenannte optische Tracking-Systeme, die durch verschiedene Verfahren der computergestützten Bildverarbeitung die Position der im Vermessungsraum befindlichen Objekte bestimmen. Diese Tracking-Systeme erlauben die kontextabhängige Darstellung der Objekte im Sinne der Augmented Reality Technologie.

1 zeigt schematisch die Anwendung der Augmented Reality Technologie für die Planung einer veränderten Fertigungsumgebung nach der Druckschrift DE 101 28 015 A1 . Diese reale Umgebung (700) des Anwenders wird mit einem Tracking-System (900) überwacht. Durch das Augmented Reality System (500, 500-1) werden zusätzlich zur Darstellung der realen Umgebung virtuelle Planungsgegenstände (600) (z.B Industrieroboter) perspektivisch richtig dargestellt. Hierzu wird kontinuierlich die Position des Anwenders und/oder der Kamera durch die Vermessung von Referenzgeometrien (800) bestimmt.

Weiterhin sind zwei- und dreidimensionale Vermessungssysteme aus dem Stand der Technik bekannt, die eine beliebige reale Umgebung erfassen. So können beispielsweise Laser-Scan Systeme ein Gebäude durch die Laufzeitmessung des abtastenden Laserstrahls vermessen werden. Als Endergebnis liegt eine dreidimensionale Punktewolke vor, bei der jeder gemessene Punkt dreidimensionale Koordinaten zugewiesen bekommt. Diese Punktewolke kann unter Zuhilfenahme von Rechnennrerkzeugen in eine dreidimensionales Datenmodell überführt werden.

2 zeigt schematisch den vorteilhaften Systemaufbau eines dreidimensionalen Vermessungssystems nach dem Stand der Technik. Ein oder mehrere zu vermessende Objekte (100-1-100-2) befinden sich in einem Vermessungsraum (100). Das Vermessungssystem (400) sendet über einen um ein oder mehrere Rotationsachsen (400-1) rotierenden Messkopf (400-3) einen Laserstrahl (400-2) aus. Dieser trifft auf ein reales Objekt (100-1) und wird reflektiert. Über die Laufzeitmessung zwischen Aussenden des Laserstrahls und Ankommen des reflektierten Strahls am Messkopf des Vermessungssystems (700) wird die Position eines Punktes des realen Objektes in Bezug auf das Vermessungssystem (700) bestimmt. Die Gesamtheit aller so generierter Messpunkte ergibt eine Punktewolke, die als zweidimensionales Bild auf einem Rechnersystem (300) angezeigt werden kann. Jedem Bildpunkt sind dabei die dreidimensionalen Koordinaten des entsprechenden Punktes in der realen Umgebung bzw. der realen Objekte zugeordnet.

Nachteile

Nachteilig an den bekannten Verfahren, insbesondere an der Druckschrift DE 101 28 015 A1 , ist das Fehlen des räumlichen Bezuges zwischen der Darstellung des virtuellen Objektes und der realen Umgebung. So ist die Darstellung des virtuellen Objektes in einer realen Umgebung zwar möglich, ein Vermessen des Objektes in Bezug zu der realen Umgebung ist, wegen der fehlenden Repräsentation der realen Umgebung als dreidimensionales Datenmodell, jedoch nicht möglich. Die Technologie der Virtuellen Realität ermöglich es zwar prinzipiell die Position beliebiger virtueller Objekte zur realen Umgebung zu bestimmen, jedoch ist hierfür die rechnerintegrierte Aufbereitung sowohl der realen wie der virtuellen Umgebung erforderlich. Dies erfordert einen hohen Aufwand.

Nachteilig an dreidimensionalen Messverfahren zur Generierung von Punktewolken ist der hohe Aufwand zur Generierung des dreidimensionalen Datenmodells.

Der Erfindung liegt somit die Aufgabe zu Grunde die Möglichkeiten der dreidimensionalen Positionserfassungssysteme, der Augmented Reality Technologie sowie der Vermessungssysteme so zu kombinieren, dass eine einfache Abstandsmessung von virtuellen Objekten in einer realen Umgebung ermöglicht wird, und so der Aufwand zu Modellierung der realen Umgebung vermindert wird bzw. ganz entfällt. Anwendungsfelder sind Planungs- und Konstruktionsgegenstände wie beispielsweise im Baugewerbe, in der Fertigungsplanung oder in der Konstruktion von Produkten. Letzteres Anwendungsfeld sieht beispielsweise die Bauraumvermessung bei der Konstruktion von Kraftfahrzeugen vor.

Beschreibung der Erfindung

Die zuvor hergeleitete und aus dem Stand der Technik hervorgehende Aufgabe wird erfindungsgemäß durch ein Verfahren gelöst, bei dem das Vermessungssystem mit der Augmented Reality Technologie verbunden wird (a.) oder das Vermessen durch die Augmented Reality Technologie alleine (b.) durchgeführt wird.

Hierzu wird zunächst ein beliebig großer Raum durch ein Erfassungssystem (Tracking-System) überwacht. Virtuelle Objekte, z.B. Planungsgegenstände wie Industrieroboter, werden innerhalb dieses Raumes mit der Technologie der Augmented Reality positioniert. Dabei werden vorteilhafterweise Referenzgeometrien in dem erfassten Raum positioniert. Die virtuellen Objekte werden vorteilhafterweise in Bezug auf diese Referenzgeometrien auf einem Ausgabemedium (z.B. Computermonitor) dargestellt.

a.) Zur Vermessung der Abstände von virtuellen Objekten zu der realen Umgebung wird das im Stand der Technik beschriebene Vermessungssystem mit dem Tracking-System gekoppelt. Die Ausgangsinformation des Vermessungssystems, die dreidimensionale Punktwolke, wird den virtuellen Objekten des Augmented Reality Systems perspektivisch richtig auf dem Anzeigegerät überlagert. Hierdurch liegt sowohl das virtuelle Objekt, z.B. Industrieroboter, wie auch die reale Umgebung (z.B. Fertigungshalle) in einer dreidimensionalen Repräsentation vor. Der Abstand zweier zu vermessender Punkte kann dann durch das Auswählen von Punkten der Punktwolke und des virtuellen Objektes und der Berechnung des Abstandes durch Vektorrechnung erfolgen.

3 zeigt schematisch den vorteilhaften Aufbau einer Variante des erfindungsmäßigen Systems und Verfahrens. Der reale Raum wird dabei mit dem aus dem Stand der Technik bekannten Verfahren (400) vermessen. Die resultierende Punktewolke wird über das Rechnersystem (300) an das aus dem Stand der Technik bekannte Augmented Reality System (500) übergeben. Die Punktewolke wird durch das Augmented Reality System (500) gemeinsam mit den virtuellen Objekten (600) im Anzeigegerät (500-1) dargestellt. Durch Auswahl einzelner Punkte der Punktewolke bzw. des virtuellen Objektes durch den Anwender wird der Abstand der Punkte (1000) durch das Augmented Reality System (500) berechnet.

Vorteilhafterweise ist die Position des Tracking-Systems (900) zu dem Messkopf (400-1) des Vermessungssystems (400) zu jedem Zeitpunkt bekannt. Daraus lässt sich die Verknüpfung der Punktewolke mit Darstellung der virtuellen Objekte (600) im Augmented Reality System (500) erreichen.

b.) Alternativ sieht eine weitere Ausprägung des erfindungsmäßigen Verfahrens und Systems die Vermessung von Abständen virtueller Objekte zu realen Objekten durch das Augmented Reality System alleine vor.

Hierbei werden die durch das Augmented Reality System perspektivisch richtig dargestellten virtuellen Objekte durch die interaktive Positionierung von Referenzgeometrien zur Abstandsmessung herangezogen. Der Anwender betrachtet hierzu das Ausgabemedium des Augmented Reality Systems und positioniert eine Referenzgeometrie auf einen Punkt des virtuellen Objektes. Darauffolgend wird ein die Referenzgeometrie auf einem Punkt der realen Umgebung positioniert. Die Position der Referenzgeometrie im Raum wird dabei fortlaufend ermittelt. Der Abstand zwischen den Punkten der realen Umgebung bzw. des virtuellen Objektes wird vom Augmented Reality System berechnet.

Das erfindungsgemäße Verfahren und System sieht zusätzlich die Vermessung der Abstände mit einem Messstrahl vor. Eingesetzt wird hierbei vorteilhafterweise ein berührungsloser Abstandsmesser (z.B. Hand-Lasermessgerät). An dieses ist eine Referenzgeometrie angebracht. Das Messgerät wird zusammen mit der Referenzgeometrie an das im Anzeigegerät des AR-Systems sichtbaren virtuellen Objekt angesetzt. Im AR-System wird die Lage und Orientierung des Handmessgeräts erfasst. Ein virtueller Messstrahl wird durch das AR-System angezeigt, und kann vom Anwender durch die Bewegung des Hand-Messgeräts manipuliert werden. Zur Messung des Abstandes zwischen realem und virtuellem Objekt wird nun die Messtrecke zwischen dem Handgerät und dem realen Objekt vorteilhafterweise mit einem Lasermesssystem ermittelt und zu der Strecke zwischen Messgerät und virtuellem Objekt addiert. Hierzu wird die Differenz aus der dem Ar-System bekannten Position des Messgeräts dem Kollisionspunkt des virtuellen Messstrahls und dem virtuellen Objekt verwendet.

4 zeigt schematisch einen vorteilhaften Aufbau einer Variante des erfindungsmäßigen Systems und Verfahrens. Der Anwender betrachtet die Kombination aus virtuellen Objekten (600) und der realen Umgebung im Anzeigegerät (500-1) des Augmented Reality Systems (500). Er positioniert die Referenzgeometrien zur Vermessung (1100-1-1100-2) nacheinander auf einem Punkt des virtuellen Objektes bzw. auf einem realen Objekt. Das Augmented Reality System (500) protokolliert die Position der Referenzgeometrien im Raum und berechnet den Abstand (1000) der ausgewählten Punkte.

Vorteile und Anwendungen des Systems und Verfahrens

Vorteile des beschriebenen Systems und Verfahrens bestehen im Wegfall der aufwendigen Modellierung zur Darstellung der realen Umgebung. Bei der Variante a.) werden die durch das Vermessungssystem bestimmte Lage der realen Objekte des Messraums direkt zur Abstandsmessung verwendet ohne die Punktewolke in ein Datenmodell zu überführen. Bei der Variante b.) des erfindungsmäßigen Verfahrens und Systems werden die zu messenden Abstände direkt durch das Positionieren von Referenzgeometrien bestimmt. Beim vorteilhaften Einsatz eines Bildverarbeitungssystems als Tracking-System sind zusätzlich die Gerätekosten auf einfache Kamerasysteme, z.B. eine Webcam, beschränkt. Des weiteren treten bei dieser vorteilhaften Ausführung kein mechanischer Verschleiß auf. Zusätzlich erfordert die Vermessung keine Expertise im Umgang mit dem Vermessungssystem.

Mögliche Anwendungen des Systems und Verfahrens schließen die Bauraumuntersuchung in der Produktentwicklung, die Fertigungsplanung und die Bauindustrie ein. Zusätzlich können beispielsweise Einrichtungsgegenstände bezüglich ihrer Position im Anwendungsraum vermessen werden. Allgemein findet das System und Verfahren überall dort Anwendung, wo Produkte und Objekte bezüglich Ihrer Position im Raum vermessen werden sollen.

Claims

System und Verfahren zur Bestimmung von Abständen virtueller Objekte zu realen Objekten durch den Einsatz der Augmented Reality Technologie, dadurch gekennzeichnet, dass die reale Umgebung mit einem Vermessungssystem erfasst wird und die ermittelte Lage der realen Objekte der Umgebung an ein Augmented Reality System übergeben werden.
System und Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die ermittelte Lage der realen Objekte mit der Darstellung der virtuellen Objekte im Augmented Reality System zusammengeführt werden.
System und Verfahren zur Bestimmung von Abständen virtueller Objekte zu realen Objekten durch den Einsatz der Augmented Reality Technologie, dadurch gekennzeichnet, dass die reale Umgebung mit einem Tracking-System überwacht wird.
System und Verfahren zur Bestimmung von Abständen virtueller Objekte zu realen Objekten durch den Einsatz der Augmented Reality Technologie, dadurch gekennzeichnet, dass der Abstand durch einen virtuellen Messstrahl, dessen Lage und Orientierung durch ein Abstands-Messgerät festgelegt ist, dessen Position dem AR-System bekannt ist, gemessen wird.
System und Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass Referenzgeometrien zur Abstandsmessung verwendet werden.
System und Verfahren nach Anspruch 1 bis Anspruch 4, dadurch gekennzeichnet, das der Abstand zweier oder mehrerer Punkte der virtuellen bzw. realen Objekte zueinander durch das Augmented Reality System ermittelt werden.
Verfahren nach Anspruch 1 bis Anspruch 5, dadurch gekennzeichnet, dass die Abstände zweier oder mehrerer Punkte der virtuellen Objekte zueinander oder zweier oder mehrerer realer Objekte zueinander bestimmt werden.
Verfahren nach Anspruch 1 bis Anspruch 3, dadurch gekennzeichnet, dass ein beliebiges Tracking-System, vorteilhafterweise ein Bildverarbeitungssystem, eingesetzt wird.
Verfahren nach Anspruch 1 bis Anspruch 3, dadurch gekennzeichnet, dass als Ausgabemedium für Visualisierung der realen, der virtuellen oder allerr Objekte ein Head Mounted Display eingesetzt wird.
Verfahren nach Anspruch 1 bis Anspruch 3, dadurch gekennzeichnet, dass zur Abstandsvermessung ein oder mehrere Rechnersysteme eingesetzt werden.