DE10240392A1 - A system for determining relative spacing of virtual and real objects e.g. for planning of buildings and manufacturing equipment, requires involving an augmented reality system for environmental real object position - Google Patents

A system for determining relative spacing of virtual and real objects e.g. for planning of buildings and manufacturing equipment, requires involving an augmented reality system for environmental real object position Download PDF

Info

Publication number
DE10240392A1
DE10240392A1 DE10240392A DE10240392A DE10240392A1 DE 10240392 A1 DE10240392 A1 DE 10240392A1 DE 10240392 A DE10240392 A DE 10240392A DE 10240392 A DE10240392 A DE 10240392A DE 10240392 A1 DE10240392 A1 DE 10240392A1
Authority
DE
Germany
Prior art keywords
objects
virtual
real
augmented reality
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE10240392A
Other languages
German (de)
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Patron Guenter
Original Assignee
Patron Guenter
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Patron Guenter filed Critical Patron Guenter
Priority to DE10240392A priority Critical patent/DE10240392A1/en
Publication of DE10240392A1 publication Critical patent/DE10240392A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32085—Layout of factory, facility, cell, production system planning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes

Abstract

A system for determining spacing or virtual objects to real objects by using augmented reality technology (ATR) in which the real environment is ascertained with a measuring system and the ascertained position of the real objects of the environment are handed over to an augmented reality (AR) system. An Independent claim is included for a method of determining spacing of virtual objects to real objects.

Description

KurzzusammenfassungQuick Facts

Die Erfindung betrifft ein System und Verfahren zur Bestimmung von Abständen virtueller Objekte zu realen Objekten durch den Einsatz der Augmented Reality Technologie. Hierzu wird ein aus dem Stand der Technik bekanntes Augmented Reality System zur Vermessung verwendet. Dies wird erfindungsgemäß durch die Kopplung des Augmented Reality Systems mit einem anderen Vermessungssystem oder durch die Positionierung von Referenzgeometrien im Raum gelöst.The invention relates to a system and methods for determining distances between virtual objects real objects through the use of augmented reality technology. For this purpose, an augmented reality system known from the prior art is used used for measurement. This is done according to the invention the coupling of the augmented reality system with another measurement system or solved by positioning reference geometries in space.

Durch das erfindungsgemäße System und Verfahren wird so die Vermessung nicht real existierender virtueller Objekte, die mit Hilfe der Augmented Reality Technologie lagerichtig in die Realität eingeblendet werden, zu Objekten der realen Umgebung erreicht. Das System und Verfahren ermöglicht somit die Verbesserung der Planungs- und Entwicklungsqualität und die Verminderung des Aufwandes zur Datengenerierung zur Repräsentation der Realität.Through the system according to the invention and methods make the measurement of virtual realities that do not actually exist Objects that are positioned correctly using augmented reality technology into reality be faded in to objects of the real environment. The System and procedure enabled thus the improvement of planning and development quality and the Reduction of the effort for data generation for representation the reality.

Ausgangssituationinitial situation

Es wird vorausgesetzt, dass sich der Begriff virtuelles Objekt auf die rechnerbasierte Repräsentation eines beliebigen realen Objektes bezieht. Dies schließt die zwei oder dreidimensionale Repräsentation von Konstruktionsdaten, Planungsdaten, Einrichtungsgegenständen oder Gebäuden ein. Diese virtuellen Objekte werden in Bezug mit real existierenden Objekten, z.B. Gebäuden oder Produkten, gesetzt.It is assumed that the term virtual object on computer-based representation of any real object. This closes the two or three-dimensional representation of construction data, planning data, furnishings or buildings on. These virtual objects are related to real existing objects, e.g. buildings or products.

Aus dem Stand der Technik ist es bekannt, dass zur Planung von Gebäude, Fertigungseinrichtungen oder zur Entwicklung von Produkten vorzugsweise Software-Werkzeuge eingesetzt werden. Diese Werkzeuge ermöglichen eine 2- oder 3-dimensionale Darstellung und Simulation von Planungs- und Konstruktionsergebnissen. So ermöglichen sie beispielsweise eine virtuelle Darstellung eines geplanten Layouts für Produktionsstrassen oder eine Simulation des Bewegungsablaufes von Produktkomponenten bzw. einer Simulation des Bewegungsablaufes von Betriebsmitteln.It is from the state of the art known to design buildings, manufacturing facilities or to develop products, preferably software tools be used. These tools allow a 2 or 3 dimensional Presentation and simulation of planning and construction results. So enable for example, a virtual representation of a planned layout for production lines or a simulation of the movement of product components or a simulation of the movement of equipment.

Weiterhin sind aus dem Stand der Technik sogenannte Augmented Reality Systeme bekannt. Diese erlauben die Überlagerung von computergenerierten, virtuellen Informationen mit Seheindrücken der realen Umgebung. Hierzu werden die Seheindrücke der realen Welt, vorzugsweise mit auf dem Kopf getragenen halbdurchlässigen Datenbrillen, mit virtuellen Informationen gemischt. Die Einblendung der virtuellen Informationen kann dabei kontextabhängig, d.h. angepasst und abgeleitet von der jeweilig betrachteten realen Umgebung ausgeführt sein. Als Informationen können grundsätzlich jede Art von Daten wie Texte, Abbildungen etc. verwendet werden.Furthermore, from the state of the Technology known as augmented reality systems. Allow this the overlay of computer-generated, virtual information with visual impressions of the real environment. For this, the visual impressions of the real world are preferred with semi-transparent data glasses worn on the head, with virtual ones Information mixed. The display of the virtual information can be context-dependent, i.e. adapted and derived from the respective real environment considered accomplished his. As information can in principle any kind of data such as text, images etc. can be used.

Dokumentierte Anwendungen der Technologie sehen einen Einsatz in der Produktion, im Service und in der Entwicklung komplexer Produkte vor. Auch ist der Einsatz der Technologie in der Produktion von Flugzeugen bekannt. Nach der Druckschrift DE 198 32 974 A1 und DE 101 28 015 A1 ist der Einsatz von Augmented Reality Technologien in Produktionsumgebungen bekannt.Documented applications of the technology envisage use in production, service and in the development of complex products. The use of technology in the production of aircraft is also known. According to the publication DE 198 32 974 A1 and DE 101 28 015 A1 is known to use augmented reality technologies in production environments.

Zusätzlich sind aus dem Stand der Technik Positionserfassungssysteme bekannt, die die Position von beliebigen Objekten in einem Vermessungsraum bestimmen. Diese sogenannten Tracking-Systeme erlauben beispielsweise die Erfassung von bis zu sechs Freiheitsgraden eines Objektes an das Referenzgeometrien, sogenannte Macker, angebracht sind. Zum Einsatz kommen Systeme mit unterschiedlichsten physikalischen Wirkprinzipien. Gängig sind sogenannte optische Tracking-Systeme, die durch verschiedene Verfahren der computergestützten Bildverarbeitung die Position der im Vermessungsraum befindlichen Objekte bestimmen. Diese Tracking-Systeme erlauben die kontextabhängige Darstellung der Objekte im Sinne der Augmented Reality Technologie.In addition, from the state of the Technique known position detection systems, the position of determine any objects in a measurement room. These so-called Tracking systems allow, for example, the recording of up to six degrees of freedom of an object to the reference geometries, so-called Macker are attached. Systems are used different physical principles of action. So-called are common optical tracking systems by various methods of computer-aided image processing determine the position of the objects in the measurement room. These tracking systems allow the contextual Presentation of objects in the sense of augmented reality technology.

1 zeigt schematisch die Anwendung der Augmented Reality Technologie für die Planung einer veränderten Fertigungsumgebung nach der Druckschrift DE 101 28 015 A1 . Diese reale Umgebung (700) des Anwenders wird mit einem Tracking-System (900) überwacht. Durch das Augmented Reality System (500, 500-1) werden zusätzlich zur Darstellung der realen Umgebung virtuelle Planungsgegenstände (600) (z.B Industrieroboter) perspektivisch richtig dargestellt. Hierzu wird kontinuierlich die Position des Anwenders und/oder der Kamera durch die Vermessung von Referenzgeometrien (800) bestimmt. 1 shows schematically the application of augmented reality technology for planning a changed manufacturing environment according to the document DE 101 28 015 A1 , This real environment ( 700 ) of the user with a tracking system ( 900 ) supervised. Through the augmented reality system ( 500 . 500-1 ) in addition to the representation of the real environment, virtual planning objects ( 600 ) (e.g. industrial robots) correctly represented in perspective. For this purpose, the position of the user and / or the camera is continuously measured by measuring reference geometries ( 800 ) certainly.

Weiterhin sind zwei- und dreidimensionale Vermessungssysteme aus dem Stand der Technik bekannt, die eine beliebige reale Umgebung erfassen. So können beispielsweise Laser-Scan Systeme ein Gebäude durch die Laufzeitmessung des abtastenden Laserstrahls vermessen werden. Als Endergebnis liegt eine dreidimensionale Punktewolke vor, bei der jeder gemessene Punkt dreidimensionale Koordinaten zugewiesen bekommt. Diese Punktewolke kann unter Zuhilfenahme von Rechnennrerkzeugen in eine dreidimensionales Datenmodell überführt werden.There are also two- and three-dimensional measurement systems known from the prior art that any real environment to capture. So can For example, laser scan systems of a building by measuring the transit time of the scanning laser beam can be measured. The bottom line is a three-dimensional cloud of points in front of each measured point gets three-dimensional coordinates. This cloud of points can with the help of numerical tools in a three-dimensional Data model are transferred.

2 zeigt schematisch den vorteilhaften Systemaufbau eines dreidimensionalen Vermessungssystems nach dem Stand der Technik. Ein oder mehrere zu vermessende Objekte (100-1-100-2) befinden sich in einem Vermessungsraum (100). Das Vermessungssystem (400) sendet über einen um ein oder mehrere Rotationsachsen (400-1) rotierenden Messkopf (400-3) einen Laserstrahl (400-2) aus. Dieser trifft auf ein reales Objekt (100-1) und wird reflektiert. Über die Laufzeitmessung zwischen Aussenden des Laserstrahls und Ankommen des reflektierten Strahls am Messkopf des Vermessungssystems (700) wird die Position eines Punktes des realen Objektes in Bezug auf das Vermessungssystem (700) bestimmt. Die Gesamtheit aller so generierter Messpunkte ergibt eine Punktewolke, die als zweidimensionales Bild auf einem Rechnersystem (300) angezeigt werden kann. Jedem Bildpunkt sind dabei die dreidimensionalen Koordinaten des entsprechenden Punktes in der realen Umgebung bzw. der realen Objekte zugeordnet. 2 shows schematically the advantageous system structure of a three-dimensional measurement system according to the prior art. One or more objects to be measured ( 100-1-100-2 ) are in a measurement room ( 100 ). The measurement system ( 400 ) sends one over one or more rotation axes ( 400-1 ) rotating measuring head ( 400-3 ) a laser beam ( 400-2 ) out. This meets a real object ( 100-1 ) and becomes reflex advantage. Via the transit time measurement between the emission of the laser beam and the arrival of the reflected beam at the measuring head of the measuring system ( 700 ) the position of a point of the real object in relation to the measurement system ( 700 ) certainly. The entirety of all measurement points generated in this way results in a point cloud, which is displayed as a two-dimensional image on a computer system ( 300 ) can be displayed. The three-dimensional coordinates of the corresponding point in the real environment or the real objects are assigned to each pixel.

Nachteiledisadvantage

Nachteilig an den bekannten Verfahren, insbesondere an der Druckschrift DE 101 28 015 A1 , ist das Fehlen des räumlichen Bezuges zwischen der Darstellung des virtuellen Objektes und der realen Umgebung. So ist die Darstellung des virtuellen Objektes in einer realen Umgebung zwar möglich, ein Vermessen des Objektes in Bezug zu der realen Umgebung ist, wegen der fehlenden Repräsentation der realen Umgebung als dreidimensionales Datenmodell, jedoch nicht möglich. Die Technologie der Virtuellen Realität ermöglich es zwar prinzipiell die Position beliebiger virtueller Objekte zur realen Umgebung zu bestimmen, jedoch ist hierfür die rechnerintegrierte Aufbereitung sowohl der realen wie der virtuellen Umgebung erforderlich. Dies erfordert einen hohen Aufwand.A disadvantage of the known methods, in particular the publication DE 101 28 015 A1 , is the lack of spatial reference between the representation of the virtual object and the real environment. Thus, the representation of the virtual object in a real environment is possible, but measurement of the object in relation to the real environment is not possible because of the lack of representation of the real environment as a three-dimensional data model. In principle, the technology of virtual reality makes it possible to determine the position of any virtual objects in relation to the real environment, but this requires computer-integrated preparation of both the real and the virtual environment. This requires a lot of effort.

Nachteilig an dreidimensionalen Messverfahren zur Generierung von Punktewolken ist der hohe Aufwand zur Generierung des dreidimensionalen Datenmodells.A disadvantage of three-dimensional measuring methods to generate point clouds is the high effort for generation of the three-dimensional data model.

Der Erfindung liegt somit die Aufgabe zu Grunde die Möglichkeiten der dreidimensionalen Positionserfassungssysteme, der Augmented Reality Technologie sowie der Vermessungssysteme so zu kombinieren, dass eine einfache Abstandsmessung von virtuellen Objekten in einer realen Umgebung ermöglicht wird, und so der Aufwand zu Modellierung der realen Umgebung vermindert wird bzw. ganz entfällt. Anwendungsfelder sind Planungs- und Konstruktionsgegenstände wie beispielsweise im Baugewerbe, in der Fertigungsplanung oder in der Konstruktion von Produkten. Letzteres Anwendungsfeld sieht beispielsweise die Bauraumvermessung bei der Konstruktion von Kraftfahrzeugen vor.The invention is therefore the object based on the possibilities the three-dimensional position detection systems, the augmented To combine reality technology and measurement systems that a simple distance measurement of virtual objects in one real environment is, and so the effort to model the real environment is reduced is or is completely eliminated. Fields of application are planning and construction objects such as for example in the construction industry, in production planning or in Construction of products. The latter field of application sees, for example the space measurement in the construction of motor vehicles.

Beschreibung der Erfindungdescription the invention

Die zuvor hergeleitete und aus dem Stand der Technik hervorgehende Aufgabe wird erfindungsgemäß durch ein Verfahren gelöst, bei dem das Vermessungssystem mit der Augmented Reality Technologie verbunden wird (a.) oder das Vermessen durch die Augmented Reality Technologie alleine (b.) durchgeführt wird.The previously derived and from the State of the art object is achieved by the invention solved a procedure where the measurement system with augmented reality technology is connected (a.) or measuring through augmented reality Technology alone (b.) Is carried out.

Hierzu wird zunächst ein beliebig großer Raum durch ein Erfassungssystem (Tracking-System) überwacht. Virtuelle Objekte, z.B. Planungsgegenstände wie Industrieroboter, werden innerhalb dieses Raumes mit der Technologie der Augmented Reality positioniert. Dabei werden vorteilhafterweise Referenzgeometrien in dem erfassten Raum positioniert. Die virtuellen Objekte werden vorteilhafterweise in Bezug auf diese Referenzgeometrien auf einem Ausgabemedium (z.B. Computermonitor) dargestellt.For this purpose, a room of any size is first created monitored by a recording system (tracking system). Virtual objects, e.g. Planning Objects like industrial robots, are inside this room with technology of augmented reality. Here, reference geometries are advantageously used positioned in the captured space. The virtual objects are advantageously with respect to these reference geometries on an output medium (e.g. computer monitor).

a.) Zur Vermessung der Abstände von virtuellen Objekten zu der realen Umgebung wird das im Stand der Technik beschriebene Vermessungssystem mit dem Tracking-System gekoppelt. Die Ausgangsinformation des Vermessungssystems, die dreidimensionale Punktwolke, wird den virtuellen Objekten des Augmented Reality Systems perspektivisch richtig auf dem Anzeigegerät überlagert. Hierdurch liegt sowohl das virtuelle Objekt, z.B. Industrieroboter, wie auch die reale Umgebung (z.B. Fertigungshalle) in einer dreidimensionalen Repräsentation vor. Der Abstand zweier zu vermessender Punkte kann dann durch das Auswählen von Punkten der Punktwolke und des virtuellen Objektes und der Berechnung des Abstandes durch Vektorrechnung erfolgen.a.) To measure the distances from virtual objects to the real environment is in the state of the Technique described measuring system coupled with the tracking system. The initial information of the measuring system, the three-dimensional Point cloud, becomes the virtual objects of the augmented reality system correctly overlaid in perspective on the display device. This is both the virtual object, e.g. Industrial robots, like the real one Environment (e.g. production hall) in a three-dimensional representation in front. The distance between two points to be measured can then be determined by the Choose of points of the point cloud and the virtual object and the calculation the distance by vector calculation.

3 zeigt schematisch den vorteilhaften Aufbau einer Variante des erfindungsmäßigen Systems und Verfahrens. Der reale Raum wird dabei mit dem aus dem Stand der Technik bekannten Verfahren (400) vermessen. Die resultierende Punktewolke wird über das Rechnersystem (300) an das aus dem Stand der Technik bekannte Augmented Reality System (500) übergeben. Die Punktewolke wird durch das Augmented Reality System (500) gemeinsam mit den virtuellen Objekten (600) im Anzeigegerät (500-1) dargestellt. Durch Auswahl einzelner Punkte der Punktewolke bzw. des virtuellen Objektes durch den Anwender wird der Abstand der Punkte (1000) durch das Augmented Reality System (500) berechnet. 3 shows schematically the advantageous structure of a variant of the system and method according to the invention. The real space is created using the method known from the prior art ( 400 ) measured. The resulting cloud of points is displayed on the computer system ( 300 ) to the augmented reality system known from the prior art ( 500 ) to hand over. The cloud of points is created by the augmented reality system ( 500 ) together with the virtual objects ( 600 ) in the display device ( 500-1 ). By selecting individual points of the point cloud or the virtual object by the user, the distance of the points ( 1000 ) through the augmented reality system ( 500 ) calculated.

Vorteilhafterweise ist die Position des Tracking-Systems (900) zu dem Messkopf (400-1) des Vermessungssystems (400) zu jedem Zeitpunkt bekannt. Daraus lässt sich die Verknüpfung der Punktewolke mit Darstellung der virtuellen Objekte (600) im Augmented Reality System (500) erreichen.The position of the tracking system ( 900 ) to the measuring head ( 400-1 ) of the measurement system ( 400 ) known at all times. From this, the connection of the point cloud with representation of the virtual objects ( 600 ) in the augmented reality system ( 500 ) to reach.

b.) Alternativ sieht eine weitere Ausprägung des erfindungsmäßigen Verfahrens und Systems die Vermessung von Abständen virtueller Objekte zu realen Objekten durch das Augmented Reality System alleine vor.b.) Alternatively, see another Expression of the inventive method and Systems to measure distances between virtual objects real objects through the augmented reality system alone.

Hierbei werden die durch das Augmented Reality System perspektivisch richtig dargestellten virtuellen Objekte durch die interaktive Positionierung von Referenzgeometrien zur Abstandsmessung herangezogen. Der Anwender betrachtet hierzu das Ausgabemedium des Augmented Reality Systems und positioniert eine Referenzgeometrie auf einen Punkt des virtuellen Objektes. Darauffolgend wird ein die Referenzgeometrie auf einem Punkt der realen Umgebung positioniert. Die Position der Referenzgeometrie im Raum wird dabei fortlaufend ermittelt. Der Abstand zwischen den Punkten der realen Umgebung bzw. des virtuellen Objektes wird vom Augmented Reality System berechnet.Here, the virtual objects correctly represented in perspective by the augmented reality system are used for the distance measurement by the interactive positioning of reference geometries. For this purpose, the user looks at the output medium of the augmented reality system and positions a reference geometry on a point of the virtual object. The reference geometry is then positioned at a point in the real environment. The position of the reference geometry in the room is continuously determined. The distance between the points of the real environment or the virtual object is calculated by the augmented reality system.

Das erfindungsgemäße Verfahren und System sieht zusätzlich die Vermessung der Abstände mit einem Messstrahl vor. Eingesetzt wird hierbei vorteilhafterweise ein berührungsloser Abstandsmesser (z.B. Hand-Lasermessgerät). An dieses ist eine Referenzgeometrie angebracht. Das Messgerät wird zusammen mit der Referenzgeometrie an das im Anzeigegerät des AR-Systems sichtbaren virtuellen Objekt angesetzt. Im AR-System wird die Lage und Orientierung des Handmessgeräts erfasst. Ein virtueller Messstrahl wird durch das AR-System angezeigt, und kann vom Anwender durch die Bewegung des Hand-Messgeräts manipuliert werden. Zur Messung des Abstandes zwischen realem und virtuellem Objekt wird nun die Messtrecke zwischen dem Handgerät und dem realen Objekt vorteilhafterweise mit einem Lasermesssystem ermittelt und zu der Strecke zwischen Messgerät und virtuellem Objekt addiert. Hierzu wird die Differenz aus der dem Ar-System bekannten Position des Messgeräts dem Kollisionspunkt des virtuellen Messstrahls und dem virtuellen Objekt verwendet.The method and system according to the invention provides additionally the measurement of the distances with before a measuring beam. This is advantageously used a non-contact Distance meter (e.g. hand-held laser measuring device). At this is a reference geometry appropriate. The measuring device together with the reference geometry to that in the display device of the AR system visible virtual object. The situation in the AR system and orientation of the handheld meter detected. A virtual measuring beam is displayed by the AR system, and can be manipulated by the user through the movement of the handheld measuring device become. To measure the distance between real and virtual The measuring section between the handheld device and the real object advantageously determined with a laser measurement system and added to the distance between the measuring device and the virtual object. For this the difference from the position of the measuring device known to the Ar system becomes the collision point of the virtual measuring beam and the virtual object.

4 zeigt schematisch einen vorteilhaften Aufbau einer Variante des erfindungsmäßigen Systems und Verfahrens. Der Anwender betrachtet die Kombination aus virtuellen Objekten (600) und der realen Umgebung im Anzeigegerät (500-1) des Augmented Reality Systems (500). Er positioniert die Referenzgeometrien zur Vermessung (1100-1-1100-2) nacheinander auf einem Punkt des virtuellen Objektes bzw. auf einem realen Objekt. Das Augmented Reality System (500) protokolliert die Position der Referenzgeometrien im Raum und berechnet den Abstand (1000) der ausgewählten Punkte. 4 shows schematically an advantageous structure of a variant of the system and method according to the invention. The user looks at the combination of virtual objects ( 600 ) and the real environment in the display device ( 500-1 ) of the augmented reality system ( 500 ). It positions the reference geometries for measurement ( 1100-1-1100-2 ) one after the other on a point of the virtual object or on a real object. The augmented reality system ( 500 ) records the position of the reference geometries in the room and calculates the distance ( 1000 ) of the selected points.

Vorteile und Anwendungen des Systems und VerfahrensAdvantages and System and process applications

Vorteile des beschriebenen Systems und Verfahrens bestehen im Wegfall der aufwendigen Modellierung zur Darstellung der realen Umgebung. Bei der Variante a.) werden die durch das Vermessungssystem bestimmte Lage der realen Objekte des Messraums direkt zur Abstandsmessung verwendet ohne die Punktewolke in ein Datenmodell zu überführen. Bei der Variante b.) des erfindungsmäßigen Verfahrens und Systems werden die zu messenden Abstände direkt durch das Positionieren von Referenzgeometrien bestimmt. Beim vorteilhaften Einsatz eines Bildverarbeitungssystems als Tracking-System sind zusätzlich die Gerätekosten auf einfache Kamerasysteme, z.B. eine Webcam, beschränkt. Des weiteren treten bei dieser vorteilhaften Ausführung kein mechanischer Verschleiß auf. Zusätzlich erfordert die Vermessung keine Expertise im Umgang mit dem Vermessungssystem.Advantages of the system described and the procedure exist in the elimination of the complex modeling to represent the real environment. In variant a.) the location of the real objects determined by the measurement system of the measuring room used directly for distance measurement without the point cloud to convert into a data model. at variant b.) of the inventive method and systems, the distances to be measured are determined directly by positioning determined by reference geometries. With the advantageous use of a Image processing system as a tracking system are also the equipment costs to simple camera systems, e.g. a webcam, limited. Of no further mechanical wear occurs in this advantageous embodiment. Additionally requires the surveying no expertise in handling the surveying system.

Mögliche Anwendungen des Systems und Verfahrens schließen die Bauraumuntersuchung in der Produktentwicklung, die Fertigungsplanung und die Bauindustrie ein. Zusätzlich können beispielsweise Einrichtungsgegenstände bezüglich ihrer Position im Anwendungsraum vermessen werden. Allgemein findet das System und Verfahren überall dort Anwendung, wo Produkte und Objekte bezüglich Ihrer Position im Raum vermessen werden sollen.Possible Applications of the system and method include the installation space investigation in product development, manufacturing planning and the construction industry on. additionally can for example furnishings with regard to their position in the application room be measured. In general, the system and process can be found everywhere Application where products and objects are related to their position in space should be measured.

Claims (10)

System und Verfahren zur Bestimmung von Abständen virtueller Objekte zu realen Objekten durch den Einsatz der Augmented Reality Technologie, dadurch gekennzeichnet, dass die reale Umgebung mit einem Vermessungssystem erfasst wird und die ermittelte Lage der realen Objekte der Umgebung an ein Augmented Reality System übergeben werden.System and method for determining the distances between virtual objects and real objects through the use of augmented reality technology, characterized in that the real environment is recorded with a measurement system and the determined position of the real objects in the environment is transferred to an augmented reality system. System und Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die ermittelte Lage der realen Objekte mit der Darstellung der virtuellen Objekte im Augmented Reality System zusammengeführt werden.System and method according to claim 1, characterized in that the determined location of the real objects with the representation of the virtual objects in the augmented reality system. System und Verfahren zur Bestimmung von Abständen virtueller Objekte zu realen Objekten durch den Einsatz der Augmented Reality Technologie, dadurch gekennzeichnet, dass die reale Umgebung mit einem Tracking-System überwacht wird.System and method for determining distances of virtual objects real objects through the use of augmented reality technology, characterized in that the real environment is monitored with a tracking system becomes. System und Verfahren zur Bestimmung von Abständen virtueller Objekte zu realen Objekten durch den Einsatz der Augmented Reality Technologie, dadurch gekennzeichnet, dass der Abstand durch einen virtuellen Messstrahl, dessen Lage und Orientierung durch ein Abstands-Messgerät festgelegt ist, dessen Position dem AR-System bekannt ist, gemessen wird.System and method for determining distances of virtual objects real objects through the use of augmented reality technology, characterized in that the distance by a virtual Measuring beam, its position and orientation determined by a distance measuring device whose position is known to the AR system is measured. System und Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass Referenzgeometrien zur Abstandsmessung verwendet werden.System and method according to claim 3, characterized in that reference geometries are used for distance measurement. System und Verfahren nach Anspruch 1 bis Anspruch 4, dadurch gekennzeichnet, das der Abstand zweier oder mehrerer Punkte der virtuellen bzw. realen Objekte zueinander durch das Augmented Reality System ermittelt werden.System and method according to claim 1 to claim 4, characterized characterized that the distance between two or more points of the virtual or real objects to each other through augmented reality System can be determined. Verfahren nach Anspruch 1 bis Anspruch 5, dadurch gekennzeichnet, dass die Abstände zweier oder mehrerer Punkte der virtuellen Objekte zueinander oder zweier oder mehrerer realer Objekte zueinander bestimmt werden.A method according to claim 1 to claim 5, characterized in that the distances between two or more points of the virtual objects to each other or two or more real objects be determined otherwise. Verfahren nach Anspruch 1 bis Anspruch 3, dadurch gekennzeichnet, dass ein beliebiges Tracking-System, vorteilhafterweise ein Bildverarbeitungssystem, eingesetzt wird.Method according to claim 1 to claim 3, characterized in that that any tracking system, advantageously an image processing system, is used. Verfahren nach Anspruch 1 bis Anspruch 3, dadurch gekennzeichnet, dass als Ausgabemedium für Visualisierung der realen, der virtuellen oder allerr Objekte ein Head Mounted Display eingesetzt wird.Method according to claim 1 to claim 3, characterized in that that as an output medium for Visualization of real, virtual or all objects Head Mounted Display is used. Verfahren nach Anspruch 1 bis Anspruch 3, dadurch gekennzeichnet, dass zur Abstandsvermessung ein oder mehrere Rechnersysteme eingesetzt werden.Method according to claim 1 to claim 3, characterized in that that one or more computer systems are used to measure the distance.
DE10240392A 2002-09-02 2002-09-02 A system for determining relative spacing of virtual and real objects e.g. for planning of buildings and manufacturing equipment, requires involving an augmented reality system for environmental real object position Withdrawn DE10240392A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE10240392A DE10240392A1 (en) 2002-09-02 2002-09-02 A system for determining relative spacing of virtual and real objects e.g. for planning of buildings and manufacturing equipment, requires involving an augmented reality system for environmental real object position

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10240392A DE10240392A1 (en) 2002-09-02 2002-09-02 A system for determining relative spacing of virtual and real objects e.g. for planning of buildings and manufacturing equipment, requires involving an augmented reality system for environmental real object position

Publications (1)

Publication Number Publication Date
DE10240392A1 true DE10240392A1 (en) 2004-03-11

Family

ID=31502253

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10240392A Withdrawn DE10240392A1 (en) 2002-09-02 2002-09-02 A system for determining relative spacing of virtual and real objects e.g. for planning of buildings and manufacturing equipment, requires involving an augmented reality system for environmental real object position

Country Status (1)

Country Link
DE (1) DE10240392A1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004016331A1 (en) * 2004-04-02 2005-11-03 Siemens Ag Apparatus and method for concurrently displaying virtual and real environmental information
EP1701233A3 (en) * 2005-03-10 2007-07-04 Siemens Aktiengesellschaft Generation of virtual worlds based on a real environment
DE102014102773A1 (en) * 2014-03-03 2015-09-03 De-Sta-Co Europe Gmbh Process for reproducing a manufacturing process in a virtual environment
CN105565103A (en) * 2016-03-16 2016-05-11 广州日滨科技发展有限公司 Method and device for detecting elevator failures
DE102005014979B4 (en) 2005-03-24 2018-08-23 Volkswagen Ag Method and arrangement for planning production facilities
WO2018206652A1 (en) * 2017-05-11 2018-11-15 Homag Gmbh Method for adjusting a virtual object
CN114065364A (en) * 2022-01-17 2022-02-18 山东省地质测绘院 Urban engineering planning method and system based on unmanned aerial vehicle remote sensing mapping

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004016331B4 (en) * 2004-04-02 2007-07-05 Siemens Ag Apparatus and method for concurrently displaying virtual and real environmental information
US8345066B2 (en) 2004-04-02 2013-01-01 Siemens Aktiengesellschaft Device and method for simultaneously representing virtual and real ambient information
DE102004016331A1 (en) * 2004-04-02 2005-11-03 Siemens Ag Apparatus and method for concurrently displaying virtual and real environmental information
EP1701233A3 (en) * 2005-03-10 2007-07-04 Siemens Aktiengesellschaft Generation of virtual worlds based on a real environment
DE102005014979B4 (en) 2005-03-24 2018-08-23 Volkswagen Ag Method and arrangement for planning production facilities
DE102014102773A1 (en) * 2014-03-03 2015-09-03 De-Sta-Co Europe Gmbh Process for reproducing a manufacturing process in a virtual environment
WO2015131878A1 (en) 2014-03-03 2015-09-11 De-Sta-Co Europe Gmbh Method for representing a production process in a virtual environment
CN105565103A (en) * 2016-03-16 2016-05-11 广州日滨科技发展有限公司 Method and device for detecting elevator failures
CN105565103B (en) * 2016-03-16 2018-10-16 日立楼宇技术（广州）有限公司 Elevator faults detection method and device
WO2018206652A1 (en) * 2017-05-11 2018-11-15 Homag Gmbh Method for adjusting a virtual object
DE102017207995A1 (en) * 2017-05-11 2018-11-15 Homag Gmbh Method for customizing a virtual object
CN114065364A (en) * 2022-01-17 2022-02-18 山东省地质测绘院 Urban engineering planning method and system based on unmanned aerial vehicle remote sensing mapping
CN114065364B (en) * 2022-01-17 2022-05-17 山东省地质测绘院 Urban engineering planning method and system based on unmanned aerial vehicle remote sensing mapping

Similar Documents

Publication Publication Date Title
Iwata et al. Volume haptization
DE112011100294B4 (en) Portable articulated arm coordinate measuring machine with multibus arm technology
DE102007033486B4 (en) Method and system for mixing a virtual data model with an image generated by a camera or a presentation device
DE102009058802B4 (en) Arrangement for the combined representation of a real and a virtual model
Milgram et al. Applications of augmented reality for human-robot communication
DE112011100296T5 (en) Multifunctional coordinate measuring machines
DE112015004396T5 (en) AUGMENTED REALITY CAMERA FOR USE WITH 3D METROLOGY EQUIPMENT FOR PRODUCING 3D IMAGES FROM 2D CAMERA IMAGES
US10537986B2 (en) Tracking-enabled extended reach tool system and method
DE112013003584T5 (en) Portable articulated arm coordinate measuring machine with optical communication bus
DE102004016331B4 (en) Apparatus and method for concurrently displaying virtual and real environmental information
DE102013220107A1 (en) Method for guiding and / or controlling assembly and commissioning processes to be carried out at a workstation
JP2001060108A (en) Device and method for teaching robot action
DE10240392A1 (en) A system for determining relative spacing of virtual and real objects e.g. for planning of buildings and manufacturing equipment, requires involving an augmented reality system for environmental real object position
DE102004061841B4 (en) Markerless tracking system for augmented reality applications
Dosis et al. ROVIMAS: a software package for assessing surgical skills using the da Vinci telemanipulator system
DE102022202563B3 (en) Planning a trajectory of a robot
DE102019125075A1 (en) Method for the computer-implemented simulation of a LIDAR sensor in a virtual environment
EP4016061B1 (en) Method for operating an x-ray system
Ritchie et al. The Analysis of Design and Manufacturing Tasks Using Haptic and Immersive VR-Some Case Studies'
Tesch et al. Expert performance in the examination of interior surfaces in an automobile: virtual reality vs. reality
DE102021201289A1 (en) Measurement of a distance between a real object and a virtual object
Moczulski et al. Applications of augmented reality in machinery design, maintenance and diagnostics
Ootsubo et al. Support system for slope shaping based on a teleoperated construction robot
DE102005014979B4 (en) Method and arrangement for planning production facilities
DE102021131060B3 (en) System and method with a system

Legal Events

Date Code Title Description
8122 Nonbinding interest in granting licences declared
8130 Withdrawal