DE102004032531A1 - Verifying method for effecting a planned project stored as a three-dimensional model directs a camera at a space to produce a virtual image modeled with a real image - Google Patents

Verifying method for effecting a planned project stored as a three-dimensional model directs a camera at a space to produce a virtual image modeled with a real image Download PDF

Info

Publication number
DE102004032531A1
DE102004032531A1 DE200410032531 DE102004032531A DE102004032531A1 DE 102004032531 A1 DE102004032531 A1 DE 102004032531A1 DE 200410032531 DE200410032531 DE 200410032531 DE 102004032531 A DE102004032531 A DE 102004032531A DE 102004032531 A1 DE102004032531 A1 DE 102004032531A1
Authority
DE
Germany
Prior art keywords
camera
virtual image
location
output
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE200410032531
Other languages
German (de)
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
COMLOGIC DARMSTADT SYSTEME GMB
COMLOGIC DARMSTADT SYSTEME GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by COMLOGIC DARMSTADT SYSTEME GMB, COMLOGIC DARMSTADT SYSTEME GmbH filed Critical COMLOGIC DARMSTADT SYSTEME GMB
Priority to DE200410032531 priority Critical patent/DE102004032531A1/en
Publication of DE102004032531A1 publication Critical patent/DE102004032531A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition

Abstract

A camera (4) is directed at a space provided for a planned project. A virtual image of the planned project is calculated from a stored three-dimensional model as seen from the camera. A real image taken by the camera and the calculated virtual image are superimposed on each other and shown on a screen. An independent claim is also included for a system for carrying out the method of the present invention.

Description

Die Erfindung betrifft Verfahren und Anordnungen zum Überprüfen der Realisierung eines geplanten Objektes, wobei das geplante Objekt als 3D-Modell gespeichert ist.The The invention relates to methods and arrangements for checking the Realization of a planned object, whereby the planned object saved as a 3D model.

Bei Vorhaben, wie Erstellung oder Umbau von Fabrikanlagen, umfangreichen Maschinen oder auch Gebäuden ist eine Überwachung durch einen Abgleich zwischen den geplanten Objekten und den bei der Realisierung tatsächlich vorhandenen Objekten erforderlich. Mit der Erfindung soll ein solcher Abgleich schnell und sicher vorgenommen werden können.at Projects, such as creation or reconstruction of factories, extensive Machines or even buildings is a surveillance by a comparison between the planned objects and the at the realization actually required existing objects. With the invention, such Adjustment can be made quickly and safely.

Diese Aufgabe wird bei dem erfindungsgemäßen Verfahren dadurch gelöst, dass eine Kamera auf den für das geplante Objekt vorgesehenen Raum gerichtet ist, dass aus dem gespeicherten 3D-Modell ein virtuelles Bild des geplanten Objekts aus der Sicht der Kamera berechnet wird und dass das von der Kamera aufgenommene Real-Bild und das berechnete virtuelle Bild miteinander überlagert auf einem Bildschirm dargestellt werden.These The object is achieved in the method according to the invention in that a camera on the for the planned object is directed space that is out of the stored 3D model a virtual image of the planned object calculated from the point of view of the camera and that of the camera superimposed real image and the calculated virtual image superimposed be displayed on a screen.

Vorzugsweise ist bei dem erfindungsgemäßen Verfahren vorgesehen, dass die Überlagerung durch eine nicht additive Mischung erfolgt, insbesondere dass zu vergleichende Objekte im virtuellen Bild mit einer vorgesehenen Farbe versehen werden, die bei der Mischung ein Umschalten zwischen dem virtuellen Bild und dem Real-Bild bewirkt.Preferably is in the inventive method provided that the overlay by a non-additive mixture takes place, in particular that to be compared Provide objects in the virtual image with a designated color when switching between the virtual ones Image and the real image effect.

Durch die Erfindung ist ein virtueller Abgleich möglich, wobei reale und virtuelle Objekte der erstellten bzw. in Erstellung befindlichen Anlage möglichst frei kombinierbar sind. Das dem Benutzer dargebotene Bild ist wahrnehmbar, wobei Abweichungen zwischen Soll und Ist deutlich erkennbar sind. Der Abgleich der real vorhandenen – gegebenenfalls auch nicht vorhandenen Objekte – mit dem 3D-Modell erfolgt einfach, schnell und präzise.By the invention is a virtual alignment possible, where real and virtual Objects of the created or created system as free as possible can be combined. The image presented to the user is perceptible where deviations between desired and actual are clearly visible. The comparison of the real existing - possibly not existing objects - with The 3D model is simple, fast and accurate.

Eine vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens besteht darin, dass das geplante Objekt in jeweils einer von mehreren Realisierungsphasen abgebildet wird und mit dem Real-Bild der Kamera verglichen wird. Diese Ausgestaltung ermöglicht die Prüfung während der Realisierung und kann bei der Verwendung üblicher CAD-Programme, bei denen sich das 3D-Modell aus einer Vielzahl von Objekten zusammensetzt, in einfacher Weise verwirklicht werden.A advantageous embodiment of the method according to the invention is that the planned object in each case one of several realization phases is compared and compared with the real image of the camera. This configuration allows the exam while the realization and can when using conventional CAD programs, at where the 3D model is composed of a multitude of objects, be realized in a simple manner.

Eine erste vorteilhafte Ausführungsform des erfindungsgemäßen Verfahrens besteht darin, dass der Standort und die Blickrichtung der Kamera wählbar sind und mit Hilfe von Sensoren ermittelt werden und dass die ermittelten Messdaten zur Berechnung des virtuellen Bildes des 3D-Modells benutzt werden. Diese Ausführungsform hat den Vorteil, dass der Anwender die Kamera dorthin fahren kann, wo es aufgrund der räumlichen Gegebenheiten möglich und bezüglich der Abbildung des Objekts sinnvoll ist.A first advantageous embodiment the method according to the invention is that the location and the line of sight of the camera selectable are and with the help of sensors are determined and that the determined Measurement data used to calculate the virtual image of the 3D model become. This embodiment has the advantage that the user can drive the camera there, where it is due to the spatial Conditions possible and re the picture of the object makes sense.

Bei dieser Ausführungsform können die Messdaten durch Abstands- und/oder Winkelmessungen zu Referenzobjekten gewonnen werden. wird beispielsweise in einer Fabrikhalle eine Fabrikationsanlage erstellt, so eignen sich als Referenzobjekte meistens die Wände der Fabrikhalle. Um eine sichere Rechnung des virtuellen Bildes zu ermöglichen, kann bei dieser Ausführungsform vorgesehen sein, dass vor der Berechnung des virtuellen Bildes geprüft wird, ob eine zur eindeutigen Bestimmung des Standorts und der Blickrichtung genügende Anzahl von Referenzobjekten vorhanden sind und dass anderenfalls zur Eingabe weiterer Referenzobjekte aufgefordert wird.at this embodiment can the measured data by distance and / or angle measurements to reference objects be won. For example, in a factory building, a manufacturing plant is created created as reference objects are usually the walls of the Factory floor. To enable a secure calculation of the virtual image, can in this embodiment be provided that is checked before the calculation of the virtual image, whether one for the clear determination of the location and the viewing direction enough Number of reference objects are present and that otherwise to Input of further reference objects is requested.

Eine zweite Ausführungsform des erfindungsgemäßen Verfahrens besteht darin, dass durch geeignete Eingaben eine Blickrichtung festgelegt wird, welche bei der Berechnung des virtuellen Bildes berücksichtigt wird, und dass der Standort und die Blickrichtung der Kamera entsprechend den Eingaben durch Aktuatoren eingestellt werden.A second embodiment the method according to the invention is that by appropriate inputs a line of sight which is taken into account in the calculation of the virtual image and that the location and the direction of the camera accordingly the inputs can be adjusted by actuators.

Beide Ausführungsformen können derart ausgebildet sein, dass die Bilder, der Standort und die Blickrichtung der Kamera gespeichert werden. Dadurch können beispielsweise die gewonnenen Ergebnisse zu einem späteren Zeitpunkt begutachtet werden.Both embodiments can be formed such that the images, the location and the viewing direction stored on the camera. Thus, for example, the won Results for a later Time to be appraised.

Eine Anordnung zur Durchführung der ersten Ausführungsform des erfindungsgemäßen Verfahrens besteht darin, dass eine Einrichtung zum Bewegen der Kamera mit Sensoren versehen ist, welche den Standort und die Ausrichtung der Kamera gegenüber Referenzobjekten erfassen und über eine Schnittstelle an einen Rechner senden, dass der Rechner Programme zur Berechnung des virtuellen Bildes enthält, dass ein Ausgang des Rechners und ein Ausgang der Kamera an Eingänge einer Videomischeinheit angeschlossen sind und dass ein Ausgang der Videomischeinheit mit einem Bildschirm verbunden ist.A Arrangement for implementation the first embodiment the method according to the invention is that a device for moving the camera with Sensors are provided, which determine the location and orientation of Camera opposite Capture reference objects and via send an interface to a computer that calculator programs to calculate the virtual image that contains an output of the calculator and an output of the camera to inputs of a video mixing unit are connected and that an output of the video mixing unit with connected to a screen.

Bei dieser Anordnung ist vorzugsweise vorgesehen, dass die Kamera an einem Kamera-Ausleger auf einem Kamerawagen angeordnet ist, dass die Position und Ausrichtung des Kamerawagens mit Hilfe von Laser-Abstandsmessern und dass die Position und Ausrichtung der Kamera auf dem Kamerawagen mit Hilfe von Winkelsensoren am Kamera-Ausleger bestimmbar sind.at This arrangement is preferably provided that the camera a camera boom is placed on a camera dolly that the position and orientation of the camera carriage with the aid of laser distance meters and that the position and orientation of the camera on the camera dolly with Help of angle sensors on the camera boom can be determined.

Dabei haben die Laser-Abstandsmesser den Vorteil, dass sie gegenüber Störungen durch Lärm, Licht und elektromagnetische Strahlung unempfindlich sind.there The laser distance meters have the advantage that they are resistant to interference Noise, light and electromagnetic radiation are insensitive.

Für den Fall, dass die Referenzobjekte verschiedene Höhen aufweisen können, kann bei der erfindungsgemäßen Anordnung vorgesehen sein, dass die Laser-Abstandsmesser höhenverstellbar sind.In the case, that the reference objects can have different heights can in the inventive arrangement be provided that the laser distance meter are adjustable in height.

Eine vorteilhafte Anordnung zur Durchführung der zweiten Ausführungsform des erfindungsgemäßen Verfahrens besteht darin, dass eine Einrichtung zum Bewegen der Kamera mit Aktuatoren versehen ist, welche den Standort und die Ausrichtung der Kamera einstellen und über eine Schnittstelle von einem Rechner steuerbar sind, dass der Rechner Programme zur Berechnung des virtuellen Bildes aufgrund von Eingaben und zur Berechnung des Standortes und der Ausrichtung der Kamera enthält, dass ein Ausgang des Rechners und ein Ausgang der Kamera an Eingänge einer Videomischeinheit angeschlossen sind und dass ein Ausgang der Videomischeinheit mit einem Bildschirm verbunden ist.A advantageous arrangement for carrying out the second embodiment the method according to the invention is that a device for moving the camera with Actuators is provided, which determines the location and orientation of the Set the camera and over An interface controllable by a computer are the computer programs to calculate the virtual image based on inputs and Calculation of the location and orientation of the camera that contains an output of the computer and an output of the camera to inputs one Video mixing unit are connected and that an output of the video mixing unit connected to a screen.

Die Erfindung lässt zahlreiche Ausführungsformen zu. Zwei davon sind schematisch in der Zeichnung anhand mehrerer Figuren dargestellt und nachfolgend beschrieben. Es zeigt:The Invention leaves numerous embodiments to. Two of them are schematic in the drawing on the basis of several Figures shown and described below. It shows:

1 eine erste erfindungsgemäße Anordnung, 1 a first arrangement according to the invention,

2 ein Blockschaltbild einer zweiten erfindungsgemäßen Anordnung, 2 a block diagram of a second arrangement according to the invention,

3 eine auf einem Transportwagen befindliche Kamera für die Anordnung nach 1, 3 a camera located on a trolley for the arrangement 1 .

4 eine auf einem Transportwagen befindliche Kamera für die Anordnung nach 2, 4 a camera located on a trolley for the arrangement 2 .

5 ein Flussdiagramm eines das erfindungsgemäße Verfahren durchführenden Programms und 5 a flowchart of a method according to the invention performing program and

6 ein Beispiel für die Anordnung von Sensoren an einem Kamerawagen. 6 an example of the arrangement of sensors on a camera dolly.

Bei der Anordnung nach den 1 und 2 ist jeweils ein echtzeitfähiger Graphik-PC vorgesehen, der geeignete Speicher und Programme enthält, um im Speicher abgelegte Modelle zu verwalten und deren Ansichten – im folgenden auch virtuelle Bilder genannt – aus beliebigen Richtungen zu berechnen und darzustellen. zur Bedienung des PCs sind ein Computermonitor 2 und Eingabeeinrichtungen 3 vorgesehen. Letztere sind insbesondere eine Tastatur und Zeigegeräte, wie beispielsweise eine Maus. Eine Kamera 4 ist, wie später anhand der 3 und 4 genauer erläutert wird, beweglich angeordnet. Das virtuelle Bild darstellende Signale und Signale der Kamera 4, die das Real-Bild aufnimmt, werden einer Videomischeinheit 5 zugeleitet, welche die Signale derart mischt, dass auf dem angeschlossenen Bild-Monitor 6 Unterschiede zwischen dem Real-Bild und dem virtuellen Bild möglichst gut zu erkennen sind.In the arrangement according to the 1 and 2 In each case, a real-time graphics PC is provided which contains suitable memories and programs for managing models stored in memory and for calculating and displaying their views - also referred to below as virtual images - from any direction. to operate the PC are a computer monitor 2 and input devices 3 intended. The latter are in particular a keyboard and pointing devices, such as a mouse. A camera 4 is how later based on the 3 and 4 is explained in more detail, movably arranged. The virtual image representing signals and signals from the camera 4 taking the real picture becomes a video mixing unit 5 which mixes the signals in such a way that on the connected image monitor 6 Differences between the real image and the virtual image are as good as possible.

Bei der Anordnung nach 1 sind zwei Gruppen 7, 8 von Sensoren SP1 bis SPn und Sensoren SK1 bis SKn vorgesehen, deren Messdaten über ein Interface 9 dem PC zugeleitet werden. Diese Daten stellen den aktuellen Standort und die Ausrichtung der Kamera 4 dar. Diese Daten werden im PC zur Berechnung des virtuellen Bildes des 3D-Modells benutzt.In the arrangement according to 1 are two groups 7 . 8th from sensors SP1 to SPn and sensors SK1 to SKn whose measured data are provided via an interface 9 be forwarded to the PC. These data represent the current location and orientation of the camera 4 This data is used in the PC to calculate the virtual image of the 3D model.

Bei der Anordnung nach 2 wird die Ansicht des Modells durch eine Eingabe bei 3 vorgegeben, worauf die Kamera 4 mit Hilfe von Aktuatoren AP1 bis APn und AK1 bis AKn zum richtigen Standort verfahren und richtig ausgerichtet wird, damit das Real-Bild bezüglich der Blickrichtung und der Perspektive dem virtuellen Bild entspricht. Dazu werden die Positionierdaten über ein Interface 10 an die Aktuatoren geleitet, die in zwei Gruppen 11, 12 aufgeteilt sind, nämlich diejenigen Aktuatoren AP1 bis APn, welche den Kamerawagen, auch Systemplattform genannt, und diejenigen Aktuatoren AK1 bis AKn, welche den Kamera-Ausleger bewegen.In the arrangement according to 2 the view of the model is added by an input 3 given what the camera 4 is moved to the correct location with the help of actuators AP1 to APn and AK1 to AKn and aligned correctly so that the real image with respect to the viewing direction and the perspective corresponds to the virtual image. For this purpose, the positioning data are transmitted via an interface 10 directed to the actuators, divided into two groups 11 . 12 are split, namely those actuators AP1 to APn, which called the camera carriage, also called system platform, and those actuators AK1 to AKn, which move the camera boom.

Die 3a und 3b zeigen eine Ausführung der erfindungsgemäßen Anordnung in zwei Ansichten. Ein Kamerawagen 14 besteht aus einer Plattform 15 und Rädern 16, 17, 18, 19. Die Kamera 4 befindet sich auf einem Kamera-Ausleger und kann somit geschwenkt, geneigt und in der Höhe verstellt werden. An dem Kamera-Ausleger 20 sind vier Sensoren SK1 bis SK4 angeordnet, ein fünfter Sensor SK5 nimmt die Stellung eines Zoom-Objektivs in der Kamera 4 auf.The 3a and 3b show an embodiment of the inventive arrangement in two views. A camera car 14 consists of a platform 15 and wheels 16 . 17 . 18 . 19 , The camera 4 is located on a camera boom and can thus be tilted, tilted and adjusted in height. On the camera boom 20 four sensors SK1 to SK4 are arranged, a fifth sensor SK5 takes the position of a zoom lens in the camera 4 on.

Auf den schematisch dargestellten Rädern 16 bis 19 kann der Kamerawagen beliebig verfahren und gedreht werden. Zur Ermittlung des Standortes und der Richtung gegenüber nicht dargestellten Referenzobjekten dienen drei Sensoren SP1 bis SP3, die vertikal verstellbar auf einem Pfosten 21 angeordnet sind. In einem Gehäuse 22 befinden sich die erforderlichen elektronischen Komponenten, insbesondere der Rechner 1 (1, 2). Der Bild-Monitor 6 ist derart angeordnet, dass bereits bei der Ausrichtung der Kamera deren Bild unmittelbar beobachtet werden kann.On the wheels shown schematically 16 to 19 The camera carriage can be moved and rotated as desired. To determine the location and the direction opposite reference objects not shown are three sensors SP1 to SP3, the vertically adjustable on a post 21 are arranged. In a housing 22 are the necessary electronic components, especially the computer 1 ( 1 . 2 ). The picture monitor 6 is arranged in such a way that its image can be observed directly when the camera is aligned.

Bei dem in den 4a und 4b dargestellten Ausführungsbeispiel läuft ein Kamerawagen 25 auf einer Schiene 26 und wird von einem Aktuator AP1 vom PC (im Gehäuse 22) auf eine für die jeweilige Blickrichtung erforderliche Position auf der Schiene gesteuert. Der Kamera-Arm 27 ist als Teleskop ausgebildet, dessen Länge (Höhe der Kamera) von einem Aktuator AK1 eingestellt wird, während die Neigung der Kamera 4 durch einen Aktuator AK2 bewirkt wird.In the in the 4a and 4b illustrated embodiment runs a camera car 25 on a rail 26 and is powered by an actuator AP1 from the PC (in the housing 22 ) is controlled to a required position for the respective viewing direction on the rail. The camera arm 27 is designed as a telescope whose length (height of the camera) is adjusted by an actuator AK1, while the inclination of the camera 4 is effected by an actuator AK2.

5 zeigt ein Flussdiagramm, das wesentliche Teile eines Programms zur Durchführung des erfindungsgemäßen Verfahrens mit einer Anordnung nach den 1 bzw. 3 wiedergibt. 5 shows a flow chart, the essential parts of a program for carrying out the method according to the invention with an arrangement according to the 1 respectively. 3 reproduces.

Nach einem Start des Programms bei 30 wird bei 31 das 3D-Modell geladen. Die Schritte 32, 33, 34 dienen dazu, mindestens zwei Referenzobjekte, welche zur Bestimmung des Standortes und der Blickrichtung der Kamera benötigt werden und ihre Entsprechung im 3D-Modell haben, auszuwählen. Dabei wird zunächst bei 32 gefragt, ob bereits mindestens zwei Referenzobjekte ausgewählt sind. Ist dies nicht der Fall, wird bei 33 zur Auswahl eines (weiteren) Referenzobjektes aufgefordert bzw. die dazu erforderliche Eingabe getätigt.After a start of the program 30 is at 31 loaded the 3D model. The steps 32 . 33 . 34 serve to select at least two reference objects, which are needed to determine the location and the viewing direction of the camera and have their equivalent in the 3D model. It will be at first 32 asked if at least two reference objects have already been selected. If not, it will be included 33 for selecting a (further) reference object prompted or made the required input.

Sind dann bei 32 zwei Referenzobjekte vorhanden, können bei 34 noch weitere Referenzobjekte ausgewählt werden. Soll dies nicht geschehen, wird das Programm bei 35 mit dem Auslesen der Messdaten der Plattform-Sensoren weiter geführt. Daraufhin erfolgt bei 36 ein Auslesen der Messdaten der Sensoren am Kamera-Ausleger. Mit den ausgelesenen Messdaten wird bei 37 die reale Kamera-Position berechnet. Danach wird im Schritt 38 anhand der Messdaten die virtuelle Kamera derart transformiert, dass Position und Blickrichtung der realen und der virtuellen Kamera relativ zum absoluten Nullpunkt identisch sind.Then join 32 two reference objects are available, can at 34 even more reference objects are selected. If this is not done, the program will be included 35 continued with the readout of the measurement data of the platform sensors. Thereupon takes place at 36 a readout of the measurement data of the sensors on the camera boom. With the read out measurement data is at 37 calculates the real camera position. After that, in step 38 based on the measured data, the virtual camera is transformed such that the position and viewing direction of the real and the virtual camera are identical relative to the absolute zero point.

Wird bei 39 kein Objekt selektiert, so wird bei 40 das virtuelle Bild berechnet und bei 41 angezeigt, das heißt, der Videomischeinheit 5 (1) zugeführt. Wird bei 39 ein Objekt selektiert, wird bei 42 abgefragt, ob dem Objekt Chromamaterial zugeordnet ist. Unter Chromamaterial wird im vorliegenden Zusammenhang eine spezielle dem Objekt zugeordnete Farbe verstanden, beispielsweise reines Blau (in der RGB-Ebene 0:0:255). Diese Farbe wird von der Videomischeinheit als Stanzfarbe erkannt, so dass anstelle des Objektes mit dem gewählten Chromamaterial die entsprechenden Teile des Real-Bildes wiedergegeben werden.Is at 39 no object selected, so at 40 calculates the virtual image and at 41 displayed, that is, the video mixing unit 5 ( 1 ). Is at 39 an object is selected, at 42 queried if chroma material is assigned to the object. In the present context, chroma material is understood as meaning a specific color assigned to the object, for example pure blue (in the RGB plane 0: 0: 255). This color is recognized by the video mixing unit as a punching color, so that instead of the object with the selected chroma material, the corresponding parts of the real image are reproduced.

Wird an dieser Stelle ein virtuelles Bild gewünscht, kann dem Objekt sein ursprüngliches Material (Objektmaterial) zugeordnet werden. Dieses kann beispielsweise in einer Farbe oder in einer strukturierten Oberfläche (Maserung des Holzes) bestehen. Im Einzelnen wird nach der Abfrage 42 im nicht zutreffenden Fall das Objektmaterial bei 43 gespeichert und bei 44 das Chromamaterial (in der Regel gesättigtes Blau) ausgewählt. Hat das Objekt Chromamaterial und soll es als virtuelles Bild dargestellt werden, wird bei 45 das Objektmaterial geladen. In beiden Fällen wird das jeweils geladene Material bei 47 dem Objekt zugewiesen, worauf bei 40 die Berechnung des virtuellen Bildes erfolgt.If a virtual image is desired at this point, the original material (object material) can be assigned to the object. This can for example consist of a color or in a structured surface (grain of the wood). In detail, after the query 42 if not applicable, the object material 43 saved and at 44 the chroma material (usually saturated blue) is selected. If the object has chroma material and if it is to be displayed as a virtual image, it will be added 45 the object material loaded. In both cases, the loaded material will be added 47 assigned to the object, where at 40 the calculation of the virtual image takes place.

Nach dem Betrachten des mit dem Real-Bild gemischten virtuellen Bildes kann ein Benutzer bei 42 entscheiden, ob das Programm bei 43 beendet werden soll oder ob das Programm nochmals durchlaufen werden soll, beispielsweise mit einem anderen Kamera-Standort und gegebenenfalls anderen ausgewählten Referenzobjekten.After viewing the virtual image mixed with the real image, a user may join 42 decide if the program is at 43 be terminated or whether the program should be run again, for example, with a different camera location and, where appropriate, other selected reference objects.

Mit diesem Verfahren kann der Benutzer genau bestimmen, an welcher Stelle des resultierenden Videobildes er reale bzw. virtuelle Objekt sehen möchte.With This procedure allows the user to determine exactly at which point of the resulting video image he wants to see real or virtual object.

6 zeigt ein Beispiel für die Anordnung der optischen Sensoren auf der Plattform 15 (1), wobei von den Sensoren lediglich die Messstrahlen M1, M2, M3 dargestellt sind. Aus der Differenz der Länge der Messstrahlen M2 und M3 kann auf den Winkel geschlossen werden, den die Messstrahlen M2 und M3 mit der Wand 52 bilden. Aufgrund einfacher geometrischer Gleichungen kann dann auf die Länge der Lote zu den jeweiligen Wänden geschlossen werden, woraus sich der Standort und die Winkellage der Sensoren bzw. des Pfostens 21 und der Plattform 15 (3) ergeben. Daraus und aus den Messdaten der Sensoren am Kamera-Arm, der in 6 nicht erkennbar ist, kann der Standort der Kamera und deren Blickrichtung auf ein Objekt 53 berechnet werden. 6 shows an example of the arrangement of the optical sensors on the platform 15 ( 1 ), wherein of the sensors, only the measuring beams M1, M2, M3 are shown. From the difference in the length of the measuring beams M2 and M3, it is possible to deduce the angle which the measuring beams M2 and M3 make with the wall 52 form. Due to simple geometric equations can then be closed to the length of the solders to the respective walls, resulting in the location and the angular position of the sensors or the post 21 and the platform 15 ( 3 ). From this and from the measurement data of the sensors on the camera arm, which in 6 not recognizable, can the location of the camera and its line of sight to an object 53 be calculated.

Claims (13)

Verfahren zum Überprüfen der Realisierung eines geplanten Objektes, wobei das geplante Objekt als 3D-Modell gespeichert ist, dadurch gekennzeichnet, dass eine Kamera auf den für das geplante Objekt vorgesehenen Raum gerichtet ist, dass aus dem gespeicherten 3D-Modell ein virtuelles Bild des geplanten Objekts aus der Sicht der Kamera berechnet wird und dass das von der Kamera aufgenommene Real-Bild und das berechnete virtuelle Bild miteinander überlagert auf einem Bildschirm dargestellt werden.Method for checking the realization of a planned object, wherein the planned object is stored as a 3D model, characterized in that a camera is directed to the space provided for the planned object, that from the stored 3D model a virtual image of the planned object is calculated from the perspective of the camera and that the real image captured by the camera and the calculated virtual image superimposed on a screen are displayed. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Überlagerung durch eine nicht additive Mischung erfolgt.Method according to claim 1, characterized in that that the overlay done by a non-additive mixture. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass zu vergleichende Objekte im virtuellen Bild mit einer vorgesehenen Farbe versehen werden, die bei der Mischung ein Umschalten zwischen dem virtuellen Bild und dem Real-Bild bewirkt.A method according to claim 2, characterized in that to be compared objects are provided in the virtual image with a designated color, which causes the mixture to switch between the virtual image and the real image. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das geplante Objekt in jeweils einer von mehreren Realisierungsphasen abgebildet wird und mit dem Real-Bild der Kamera verglichen wird.Method according to one of the preceding claims, characterized characterized in that the planned object in each one of several Realization phases is pictured and with the real image of the camera is compared. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Standort und die Blickrichtung der Kamera wählbar sind und mit Hilfe von Sensoren ermittelt werden und dass die ermittelten Messdaten zur Berechnung des virtuellen Bildes des 3D-Modells benutzt werden.Method according to one of the preceding claims, characterized characterized in that the location and the line of sight of the camera are selectable and are determined by means of sensors and that the determined Measurement data used to calculate the virtual image of the 3D model become. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Messdaten durch Abstands- und/oder Winkelmessungen zu Referenzobjekten gewonnen werden.Method according to claim 5, characterized in that that the measurement data obtained by distance and / or angle measurements to reference objects become. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass vor der Berechnung des virtuellen Bildes geprüft wird, ob eine zur eindeutigen Bestimmung des Standorts und der Blickrichtung genügende Anzahl von Referenzobjekten vorhanden sind und dass anderenfalls zur Eingabe weiterer Referenzobjekte aufgefordert wird.Method according to Claim 6, characterized that is checked before the calculation of the virtual image, whether one for the unambiguous determination of the location and the viewing direction enough Number of reference objects are present and that otherwise is prompted for additional reference objects. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass durch geeignete Eingaben eine Blickrichtung festgelegt wird, welche bei der Berechnung des virtuellen Bildes berücksichtigt wird, und dass der Standort und die Blickrichtung der Kamera entsprechend den Eingaben durch Aktuatoren eingestellt werden.Method according to one of claims 1 to 4, characterized that a viewing direction is determined by suitable inputs, which is taken into account in the calculation of the virtual image, and that the location and the line of sight of the camera accordingly the inputs can be adjusted by actuators. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilder, der Standort und die Blickrichtung der Kamera gespeichert werden.Method according to one of the preceding claims, characterized characterized in that the pictures, the location and the viewing direction stored on the camera. Anordnung zur Durchführung des Verfahrens nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass eine Einrichtung (14, 20) zum Bewegen der Kamera (4) mit Sensoren (SP1 bis SPn, SK1 bis SKn) versehen ist, welche den Standort und die Ausrichtung der Kamera (4) gegenüber Referenzobjekten (51, 52) erfassen und über eine Schnittstelle (9) an einen Rechner (1) senden, dass der Rechner (1) Programme zur Berechnung des virtuellen Bildes enthält, dass ein Ausgang des Rechners (1) und ein Ausgang der Kamera (4) an Eingänge einer Videomischeinheit (5) angeschlossen sind und dass ein Ausgang der Videomischeinheit (5) mit einem Bildschirm (6) verbunden ist.Arrangement for carrying out the method according to one of Claims 5 to 7, characterized in that a device ( 14 . 20 ) to move the camera ( 4 ) is provided with sensors (SP1 to SPn, SK1 to SKn) which determine the location and orientation of the camera ( 4 ) compared to reference objects ( 51 . 52 ) and via an interface ( 9 ) to a computer ( 1 ) send the calculator ( 1 ) Programs for calculating the virtual image contains an output of the computer ( 1 ) and an output of the camera ( 4 ) to inputs of a video mixing unit ( 5 ) and that an output of the video mixing unit ( 5 ) with a screen ( 6 ) connected is. Anordnung nach Anspruch 10, dadurch gekennzeichnet, dass die Kamera (4) an einem Kamera-Ausleger (20) auf einem Kamerawagen (14) angeordnet ist, dass die Position und Ausrichtung des Kamerawagens (14) mit Hilfe von Laser-Abstandsmessern (SP1, SP2, SP3) und dass die Position und Ausrichtung der Kamera (4) auf dem Kamerawagen (14) mit Hilfe von Winkelsensoren (SK1, SK2, SK3, SK4) am Kamera-Ausleger (20) bestimmbar sind.Arrangement according to claim 10, characterized in that the camera ( 4 ) on a camera boom ( 20 ) on a camera car ( 14 ) is arranged that the position and orientation of the camera carriage ( 14 ) with the help of laser distance meters (SP1, SP2, SP3) and that the position and orientation of the camera ( 4 ) on the camera car ( 14 ) with the aid of angle sensors (SK1, SK2, SK3, SK4) on the camera boom ( 20 ) are determinable. Anordnung nach Anspruch 11, dadurch gekennzeichnet, dass die Laser-Abstandsmesser (SP1, SP2, SP3) höhenverstellbar sind.Arrangement according to claim 11, characterized that the laser distance meters (SP1, SP2, SP3) are height adjustable. Anordnung zur Durchführung des Verfahrens nach Anspruch 8, dadurch gekennzeichnet, dass eine Einrichtung (25, 27) zum Bewegen der Kamera (4) mit Aktuatoren (AP1, AK1, AK2) versehen ist, welche den Standort und die Ausrichtung der Kamera (4) einstellen und über eine Schnittstelle (10) von einem Rechner (1) steuerbar sind, dass der Rechner (1) Programme zur Berechnung des virtuellen Bildes aufgrund von Eingaben und zur Berechnung des Standortes und der Ausrichtung der Kamera (4) enthält, dass ein Ausgang des Rechners (1) und ein Ausgang der Kamera (4) an Eingänge einer Videomischeinheit (5) angeschlossen sind und dass ein Ausgang der Videomischeinheit (5) mit einem Bildschirm (6) verbunden ist.Arrangement for carrying out the method according to claim 8, characterized in that a device ( 25 . 27 ) to move the camera ( 4 ) is provided with actuators (AP1, AK1, AK2) indicating the location and orientation of the camera ( 4 ) and via an interface ( 10 ) from a computer ( 1 ) are controllable, that the computer ( 1 ) Programs for calculating the virtual image based on input and for calculating the location and orientation of the camera ( 4 ) contains that an output of the computer ( 1 ) and an output of the camera ( 4 ) to inputs of a video mixing unit ( 5 ) and that an output of the video mixing unit ( 5 ) with a screen ( 6 ) connected is.
DE200410032531 2004-07-06 2004-07-06 Verifying method for effecting a planned project stored as a three-dimensional model directs a camera at a space to produce a virtual image modeled with a real image Withdrawn DE102004032531A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE200410032531 DE102004032531A1 (en) 2004-07-06 2004-07-06 Verifying method for effecting a planned project stored as a three-dimensional model directs a camera at a space to produce a virtual image modeled with a real image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE200410032531 DE102004032531A1 (en) 2004-07-06 2004-07-06 Verifying method for effecting a planned project stored as a three-dimensional model directs a camera at a space to produce a virtual image modeled with a real image

Publications (1)

Publication Number Publication Date
DE102004032531A1 true DE102004032531A1 (en) 2006-02-02

Family

ID=35530006

Family Applications (1)

Application Number Title Priority Date Filing Date
DE200410032531 Withdrawn DE102004032531A1 (en) 2004-07-06 2004-07-06 Verifying method for effecting a planned project stored as a three-dimensional model directs a camera at a space to produce a virtual image modeled with a real image

Country Status (1)

Country Link
DE (1) DE102004032531A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4539585A (en) * 1981-07-10 1985-09-03 Spackova Daniela S Previewer
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4539585A (en) * 1981-07-10 1985-09-03 Spackova Daniela S Previewer
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method

Similar Documents

Publication Publication Date Title
DE102015011914B4 (en) Contour line measuring device and robotic system
DE102008040985B4 (en) Method for calibrating a multi-camera system
DE602006000627T2 (en) Three-dimensional measuring method and three-dimensional measuring device
EP2515101B1 (en) Methods for planning an inspection path and determining the sections to be inspected
DE102008041523B4 (en) Method for three-dimensional measurement and device for three-dimensional measurement
DE102009012590A1 (en) Device for determining the position of a robot arm with camera for taking pictures
EP1497613A1 (en) Method and device for determining the spatial co-ordinates of an object
EP1910999B1 (en) Method and device for determining the relative position of a first object with respect to a second object, corresponding computer program and a computer-readable storage medium
DE19815105B4 (en) Device and method for calibrating the camera or lens
DE112016006262T5 (en) Three-dimensional scanner and processing method for measuring support for this
EP1673589A1 (en) Method and device for determining the actual position of a geodetic instrument
DE102008002241A1 (en) Method for image-based measurement of room or partial area of room for e.g. craftsman to install windows, involves modeling virtual three-dimensional models of room by using image processing process with respect to distances
DE102009020307A1 (en) Simulator for a visual inspection device
DE10328523A1 (en) Method and measuring device for non-contact measurement of a contour of a surface and method for the automatic equalization of coordinates of pixels
DE202010017889U1 (en) Arrangement for recording geometric and photometric object data in space
DE102015220031A1 (en) Method for confidence estimation for optical-visual pose determination
EP2831839B1 (en) Method for automatically operating a monitoring system
DE102004032531A1 (en) Verifying method for effecting a planned project stored as a three-dimensional model directs a camera at a space to produce a virtual image modeled with a real image
DE102005010225A1 (en) Method for comparing a real object with a digital model
DE102018118422A1 (en) METHOD AND SYSTEM FOR PRESENTING DATA FROM A VIDEO CAMERA
DE60108918T2 (en) Interactive method and apparatus for video broadcasting of a moving video camera
DE102007057887A1 (en) Multidimensional area e.g. factory building, and/or object e.g. pipes, representation displaying and changing method, involves adapting actual condition of area and/or object for comparison with reference condition
DE102018103333B3 (en) Method and system for dynamic structural analysis
DE102019201600A1 (en) Method for generating a virtual, three-dimensional model of a real object, system for generating a virtual, three-dimensional model, computer program product and data carrier
DE102016105405B4 (en) Method and device arrangement for high-precision, (semi-) automatic in-situ calibration and registration of a projector-camera system to a component

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: DAIMLERCHRYSLER AG, 70327 STUTTGART, DE

8181 Inventor (new situation)

Inventor name: WURDIG, THOMAS, DIPL.-ING., 75417 MUEHLACKER, DE

8127 New person/name/address of the applicant

Owner name: DAIMLER AG, 70327 STUTTGART, DE

8120 Willingness to grant licences paragraph 23
8139 Disposal/non-payment of the annual fee