WO2013178358A1 - Method for spatially visualising virtual objects - Google Patents

Method for spatially visualising virtual objects Download PDF

Info

Publication number
WO2013178358A1
WO2013178358A1 PCT/EP2013/001584 EP2013001584W WO2013178358A1 WO 2013178358 A1 WO2013178358 A1 WO 2013178358A1 EP 2013001584 W EP2013001584 W EP 2013001584W WO 2013178358 A1 WO2013178358 A1 WO 2013178358A1
Authority
WO
WIPO (PCT)
Prior art keywords
environment
computer
screen assembly
cameras
screens
Prior art date
Application number
PCT/EP2013/001584
Other languages
German (de)
French (fr)
Inventor
Jürgen Kersting
Original Assignee
Kersting Juergen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kersting Juergen filed Critical Kersting Juergen
Publication of WO2013178358A1 publication Critical patent/WO2013178358A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/40—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels

Definitions

  • the invention relates to a method for the spatial visualization of virtual three-dimensional objects in a real environment.
  • a visualization device in which an image recorded by a camera is displayed in real time two-dimensionally on a screen and in this image a two-dimensional image of a three-dimensional virtual image generated by an image generator Object is integrated.
  • the perspective of the virtual object is adapted to the perspective of the image supplied by the camera in such a way that, when viewing the image displayed on the screen, one gets the impression that the virtual object is in the space recorded by the camera.
  • CONFIRMATION COPY however, not to walk around the represented virtual object to view it from different sides in different perspectives.
  • the invention relates first to a method for the spatial visualization of virtual three-dimensional objects in a real environment, characterized by
  • a screen arrangement comprising a plurality of screens whose image areas completely or partially enclose a visualization space for the virtual object
  • a computer-controlled image generator which generates two-dimensional perspective images of the object to be visualized and is integrated in the reconstructed environmental representations in the correct position
  • the method according to the invention is initially distinguished by the fact that it is executed with commercially available screens, video cameras and a sufficiently powerful computer as well as suitable software and that additional, obstructing the viewer aids are not needed.
  • the observer can move freely around the screen arrangement and sees on both screens the virtual object as well as the surroundings in the respectively correct perspective, creating a coherent spatial impression that overlaps the edges of the individual screens.
  • This method step has a certain similarity with the so-called cube-mapping, here however with the difference that lights or objects from the real environment are brought to the surfaces of the virtual object.
  • the screens of the screen arrangement expediently adjoin one another directly and have as narrow a border as possible or ideally no border.
  • the representation becomes the better, the more screens the screen arrangement comprises. At least two screens are required whose image surfaces are visible from opposite sides.
  • the display arrangement expediently contains more screens which surround the visualization space in all directions as well as from above and below. For this you need z. B. in all three spatial axes in each case two visible from opposite directions screens, ie a total of six screens, which are arranged in the shape of a cube.
  • the screens of the screen assembly are expediently designed according to the current state of the art as active flat screens with a narrow edge.
  • the screens of the screen arrangement can also be designed as passive projection surfaces onto which the images are projected with the aid of suitable projectors.
  • the screens of the screen arrangement may possibly also be formed arched.
  • the existing cameras can be used, which allow in this case at the same time a stereoscopic scanning of the environment of the screen assembly.
  • commercially available sensors or motion detectors which are available in addition to the cameras, can also be used for this purpose.
  • the invention further relates to an apparatus for carrying out the above-mentioned method, consisting of
  • a screen arrangement comprising a plurality of screens whose picture surfaces at least partially surround a visualization space for the virtual object, cameras assigned to the screen arrangement which record the surroundings completely or partially hidden by the screen arrangement for the viewer and display them on the screen surfaces of the screen arrangement that are visible to the viewer .
  • a computer that reconstructs the environmental images generated by the cameras from the perspective of the viewer,
  • an image generator assigned to the computer which computer-controlled generates two-dimensional perspective images of the virtual object to be visualized and integrates them into the reconstructed environmental representations in the correct position.
  • Figure 1 A screen arrangement according to the
  • Figure 2 is a block diagram of the device according to the invention.
  • the virtual object to be displayed is designated by the reference numeral 1. It is a virtual model car, which has been three-dimensionally configured with a corresponding graphics program in a computer R with an image generator B.
  • the virtual object 1 is displayed in a visualization space 2, which is surrounded on all sides by screens 3.
  • the screens 3 together form a screen arrangement 4, which together form a bypassable polyhedron, for example a cube or as in the case of the embodiment. example, a cuboid.
  • a bypassable polyhedron for example a cube or as in the case of the embodiment. example, a cuboid.
  • Each screen 3 is assigned on the respective opposite side of the polyhedral screen arrangement 4 cameras 5, which accommodate the observer partially hidden environment, for example, recognizable in Figure 1 room corner 6.
  • motion detectors 7 are provided, which determine the respective position of the observer with respect to the screen arrangement 1 (tracking). If necessary, this function of the motion detector 7 can also be perceived by the cameras 5.
  • the environmental images recorded by the cameras 5 are reconstructed in the computer R in such a way that they fit into the respective perspective of the viewer.
  • two-dimensional perspective images of the virtual object to be visualized are integrated into these reconstructed environmental representations, likewise in the perspective of the respective observer.
  • the reconstructed environmental images are displayed on the screens 3 of the screen assembly 1 together with the integrated images of the virtual object.
  • the three-dimensional virtual object 1 appears as if floating in the visualization space 2 and can be viewed by the viewer by wandering around the polyhedral screen assembly 4 from all sides.
  • a particularly close-to-reality impression is obtained if, at least on the glossy surfaces of the virtual object 1, virtual reflections of lights or objects from the environment recorded by the cameras 5 can be made visible and parts of the represented virtual object can be moved by gesture control.

Abstract

The invention relates to a method for spatially visualising virtual three-dimensional objects in a real environment. For the observer to be able to see the virtual three-dimensional object (1) from various sides in different views and embedded in the real environment, without needing auxiliary means, the invention proposes a method characterised by a screen arrangement (4) made of a plurality of screens (3), the image areas of which either entirely or partially enclose a visualisation chamber (2) for the virtual object (1), cameras (5) assigned to the screen arrangement (4) which capture the environment (6) which is either entirely or partially hidden to the observer of the screen arrangement (4), a computer-controlled reconstruction of the representations of the environment generated by the cameras (5) from the point of view of the observer, a computer-controlled image generator (B) which generates two-dimensional perspective images of the object (1) to be visualised and integrates same into the reconstructed representation of the environment in correct position, and a representation of the reconstructed representation of the environment with the integrated images of the virtual object on the image areas of the screen arrangement (4).

Description

Verfahren zur räumlichen Visualisierung von virtuellen Objekten  Method for the spatial visualization of virtual objects
Die Erfindung betrifft ein Verfahren zur räumlichen Visualisierung von virtuellen dreidimensionalen Objekten in einer realen Umgebung. The invention relates to a method for the spatial visualization of virtual three-dimensional objects in a real environment.
Nach dem Stand der Technik (vgl. DE 10 2009 056 013 A1 ) ist eine Visualisierungseinrichtungen bekannt, bei denen ein von einer Kamera aufgenommenes Bild in Echtzeit zweidimensional auf einem Bildschirm angezeigt wird und in dieses Bild ein von einem Bildgenerator erzeugtes zweidimensionales Bild eines dreidimensionalen virtuellen Objektes integriert wird. Dabei wird die Perspektive des virtuellen Objektes an die Perspektive des von der Kamera gelieferten Bildes derart angepasst, dass man bei der Betrachtung des auf dem Bildschirm angezeigten Bildes den Eindruck gewinnt, das virtuelle Objekt befinde sich in dem von der Kamera aufgenommenen Raum. According to the prior art (see DE 10 2009 056 013 A1), a visualization device is known in which an image recorded by a camera is displayed in real time two-dimensionally on a screen and in this image a two-dimensional image of a three-dimensional virtual image generated by an image generator Object is integrated. In this case, the perspective of the virtual object is adapted to the perspective of the image supplied by the camera in such a way that, when viewing the image displayed on the screen, one gets the impression that the virtual object is in the space recorded by the camera.
Eine solche Visualisierungseinrichtung ist natürlich erheblich einfacher, als Holographie, echte Stereoskopie oder die Projektion von Volumendaten in SD- Schichttechnik. Alle diese Systeme zur dreidimensionalen Darstellung erfordern nämlich einen erheblichen apparativen Aufwand und/oder für den Betrachter unbequeme einschränkende Hilfsmittel wie z. B. besonders ausgestaltete Brillen, Helme oder andere Darstellungssysteme, die vom Betrachter getragen werden müssen. Of course, such a visualization device is considerably simpler than holography, true stereoscopy, or the projection of volume data in SD layer technology. All these systems for three-dimensional representation namely require a considerable expenditure on equipment and / or for the viewer inconvenient restrictive aids such. As specially designed glasses, helmets or other display systems that must be worn by the viewer.
Die nach dem Stand der Technik gemäß DE 10 2009 056 013 A1 bekannte Visualisierungseinrichtung, die ohne solche Hilfsmittel auskommt, ermöglicht es The well-known according to the prior art according to DE 10 2009 056 013 A1 visualization device that does not require such tools, it allows
BESTÄTIGUNGSKOPIE jedoch nicht, um das dargestellte virtuelle Objekt herumzugehen um es von verschiedenen Seiten in unterschiedlichen Perspektiven zu betrachten. CONFIRMATION COPY however, not to walk around the represented virtual object to view it from different sides in different perspectives.
Es ist deshalb Aufgabe der Erfindung, das Visualisierungssystem der eingangs genannten Art dahingehend weiterzubilden, dass der Betrachter das virtuelle dreidimensionale Objekt von verschiedenen Seiten in unterschiedlichen Perspektiven und eingebettet in die reale Umgebung betrachten kann, und zwar ohne auf unbequeme Hilfsmittel angewiesen zu sein. It is therefore an object of the invention to develop the visualization system of the type mentioned in such a way that the viewer can view the virtual three-dimensional object from different sides in different perspectives and embedded in the real environment, without having to rely on inconvenient tools.
Gegenstand der Erfindung ist zunächst ein Verfahren zur räumlichen Visualisierung von virtuellen dreidimensionalen Objekten in einer realen Umgebung, gekennzeichnet durch The invention relates first to a method for the spatial visualization of virtual three-dimensional objects in a real environment, characterized by
- eine Bildschirmanordnung aus mehreren Bildschirmen, deren Bildflächen einen Visualisierungsraum für das virtuelle Objekt ganz oder teilweise umschließen, a screen arrangement comprising a plurality of screens whose image areas completely or partially enclose a visualization space for the virtual object,
- der Bildschirmanordnung zugeordnete Kameras, die die für den Betrachter von der Bildschirmanordnung ganz oder teilweise verdeckte Umgebung aufnehmen, Cameras associated with the screen assembly that receive the surroundings partially or completely obscured by the screen assembly for the viewer,
- eine rechnergesteuerte Rekonstruktion der von den Kameras erzeugten Umgebungsdarstellungen aus der Perspektive des Betrachters, a computer-controlled reconstruction of the environmental images generated by the cameras from the perspective of the observer,
-einen rechnergesteuerten Bildgenerator, der zweidimensionale perspektivische Abbildungen des zu visualisierenden Objektes erzeugt und lagegerecht in die rekonstruierten Umgebungsdarstellungen integriert und a computer-controlled image generator which generates two-dimensional perspective images of the object to be visualized and is integrated in the reconstructed environmental representations in the correct position and
- eine Darstellung der rekonstruierten Umgebungsdarstellungen mit den integrierten Abbildungen des virtuellen Objektes auf den Bildflächen der Bildschirmanordnung. Das Verfahren gemäß der Erfindung zeichnet sich zunächst dadurch aus, dass es mit handelsüblichen Bildschirmen, Videokameras und einem hinreichend leistungsstarken Rechner sowie einer geeigneten Software ausgeführt werden kann und dass zusätzliche, den Betrachter behindernde Hilfsmittel nicht benötigt werden. Der Betrachter kann unbehindert um die Bildschirmanordnung herumgehen und sieht auf den jeweils für ihn sichtbaren Bildschirmen sowohl den virtuellen Gegenstand als auch die Umgebung in der jeweils richtigen Perspek- tive, wobei ein die Ränder der einzelnen Bildschirme übergreifender, zusammenhängender Raumeindruck entsteht. - A representation of the reconstructed environmental representations with the integrated images of the virtual object on the image areas of the screen assembly. The method according to the invention is initially distinguished by the fact that it is executed with commercially available screens, video cameras and a sufficiently powerful computer as well as suitable software and that additional, obstructing the viewer aids are not needed. The observer can move freely around the screen arrangement and sees on both screens the virtual object as well as the surroundings in the respectively correct perspective, creating a coherent spatial impression that overlaps the edges of the individual screens.
Damit nicht mit einigen wenigen Betrachterpositionen gearbeitet werden muss, sondern jede beliebige Betrachterposition möglich wird, ist weiterhin vorgesehen, dass die jeweils aktuelle Position des Betrachters relativ zu der Bildschirmanordnung durch ein Trackingsystem erfasst wird. Hierdurch werden für den Betrachter alle an den Übergängen von einem Bildschirm zum nächsten auftretenden Abbildungsfehler vermieden, sodass aus jeder Position des Betrachters heraus ein absolut kohärenter Raumeindruck entsteht. So that it is not necessary to work with a few observer positions, but any viewer position is possible, it is further provided that the respective current position of the viewer is detected relative to the screen assembly by a tracking system. As a result, all aberrations occurring at the transitions from one screen to the next are avoided for the viewer so that an absolutely coherent spatial impression is created from every position of the observer.
Zur Verbesserung des räumlichen und realitätsnahen Eindruckes ist weiterhin vorgesehen, dass rechnergesteuert zumindest auf den glänzenden Oberflächen des virtuellen Objektes virtuelle Spiegelungen von Lichtern oder Gegenständen aus der von den Kameras aufgenommen Umgebung sichtbar gemacht werden. Dieser Verfahrensschritt hat eine gewisse Ähnlichkeit mit dem sogenannten cube-mapping, hier allerdings mit dem Unterschied, dass Lichter oder Gegenstände aus der realen Umgebung auf die Oberflächen des virtuellen Objektes gebracht werden. To improve the spatial and realistic impression is further provided that computer controlled at least on the shiny surfaces of the virtual object virtual reflections of lights or objects are made visible from the captured by the cameras environment. This method step has a certain similarity with the so-called cube-mapping, here however with the difference that lights or objects from the real environment are brought to the surfaces of the virtual object.
Schließlich ist vorgesehen, dass rechnergesteuert Teile des dargestellten virtuellen Objektes bewegt werden können, insbesondere durch eine Gestensteuerung. Hierdurch kann man zum Beispiel durch Gestensteuerung die Türen oder den Kofferraumdeckel eines virtuell dargestellten Kraftfahrzeuges aufklappen und/oder schließen oder sonstige vorprogrammierte Manipulationen an dem virtuellen Objekt vornehmen. Finally, it is provided that computer-controlled parts of the illustrated virtual object can be moved, in particular by a gesture control. As a result, it is possible, for example, to unfold and / or close the doors or the boot lid of a virtually represented motor vehicle by gesture control or to carry out other preprogrammed manipulations on the virtual object.
Zweckmäßig grenzen die Bildschirme der Bildschirmanordnung unmittelbar aneinander an und haben einen möglichst schmalen Rand oder am besten gar keinen Rand. Dabei wird die Darstellung wird umso besser, je mehr Bildschirme die Bildschirmanordnung umfasst. Notwendig sind mindestens zwei Bildschirme, deren Bildflächen von entgegengesetzten Seiten her sichtbar sind. Zweckmäßig enthält die Bildschirmanordnung allerdings mehr Bildschirme, die den Visualisierungsraum nach allen Seiten hin sowie von oben und unten umgeben. Dafür benötigt man z. B. in allen drei Raumachsen jeweils zwei aus entgegengesetzten Richtungen sichtbare Bildschirme, d. h. insgesamt sechs Bildschirme, die in der Form eines Würfels angeordnet sind. The screens of the screen arrangement expediently adjoin one another directly and have as narrow a border as possible or ideally no border. In this case, the representation becomes the better, the more screens the screen arrangement comprises. At least two screens are required whose image surfaces are visible from opposite sides. However, the display arrangement expediently contains more screens which surround the visualization space in all directions as well as from above and below. For this you need z. B. in all three spatial axes in each case two visible from opposite directions screens, ie a total of six screens, which are arranged in the shape of a cube.
Die Bildschirme der Bildschirmanordnung sind nach dem heutigen Stand der Technik zweckmäßig als aktive Flachbildschirme mit schmalem Rand ausgebildet. Alternativ können die Bildschirme der Bildschirmanordnung aber auch als passive Projektionsflächen ausgebildet sein, auf welche die Abbildungen mit Hilfe von geeigneten Projektoren projeziert werden. The screens of the screen assembly are expediently designed according to the current state of the art as active flat screens with a narrow edge. Alternatively, the screens of the screen arrangement can also be designed as passive projection surfaces onto which the images are projected with the aid of suitable projectors.
Zur weiteren Verbesserung des räumlichen Eindrucks können die Bildschirme der Bildschirmanordnung ggf. auch gewölbt ausgebildet sein. To further improve the spatial impression, the screens of the screen arrangement may possibly also be formed arched.
Für das oben angegebene Tracking zur Feststellung der jeweiligen Position des Betrachters können die bereits vorhandenen Kameras verwendet werden, die in diesem Fall zugleich eine stereoskopische Abtastung der Umgebung der Bildschirmanordnung erlauben. Alternativ können zu diesem Zweck auch handelsübliche Sensoren oder Bewegungsmelder verwendet werden, die zusätzlich zu den Kameras vorhanden sind. Gegenstand der Erfindung ist weiterhin eine Vorrichtung zur Durchführung des oben angegebenen Verfahrens, bestehend aus For the above-mentioned tracking to determine the respective position of the viewer, the existing cameras can be used, which allow in this case at the same time a stereoscopic scanning of the environment of the screen assembly. Alternatively, commercially available sensors or motion detectors, which are available in addition to the cameras, can also be used for this purpose. The invention further relates to an apparatus for carrying out the above-mentioned method, consisting of
- einer Bildschirmanordnung aus mehreren Bildschirmen, deren Bildflächen einen Visualierungsraum für das virtuelle Objekt wenigstens teilweise umschließen, - der Bildschirmanordnung zugeordnete Kameras, die die für den Betrachter von der Bildschirmanordnung ganz oder teilweise verdeckte Umgebung aufnehmen und auf den für den Betrachter sichtbaren Bildflächen der Bildschirmanordnung darstellen, einen Rechner, der die von den Kameras erzeugten Umgebungsdarstellungen aus der Perspektive des Betrachters rekonstruiert, a screen arrangement comprising a plurality of screens whose picture surfaces at least partially surround a visualization space for the virtual object, cameras assigned to the screen arrangement which record the surroundings completely or partially hidden by the screen arrangement for the viewer and display them on the screen surfaces of the screen arrangement that are visible to the viewer . a computer that reconstructs the environmental images generated by the cameras from the perspective of the viewer,
-einem dem Rechner zugeordneten Bildgenerator, der rechnergesteuert zweidimensionale perspektivische Abbildungen des zu visualisierenden virtuellen Objektes erzeugt und lagegerecht in die rekonstruierten Umgebungsdarstellungen integriert. an image generator assigned to the computer, which computer-controlled generates two-dimensional perspective images of the virtual object to be visualized and integrates them into the reconstructed environmental representations in the correct position.
Zweckmäßige Weiterbildungen der Vorrichtung sehen eine Bildschirmanordnung in Form eines von dem Betrachter umgehbaren Polyeders vor, vorzugsweise in der Form eine Kubus oder eines Quaders. Ein weiterer wichtiger Bestandteil der Vorrichtung ist das bereits oben erläuterte Tracking-System, welches die Position des Betrachters feststellt und die Darstellungen auf den Bildflächen der Bildschirmanordnung entsprechend steuert. Die für das Tracking verwendete Sensorik kann gegebenenfalls auch für die oben erwähnte Gestensteuerung verwendet werden. Ein Ausführungsbeispiel der Erfindung wird im folgenden anhand der Zeichnung näher erläutert. Es zeigen: Expedient developments of the device provide for a screen arrangement in the form of a polyhedron that can be bypassed by the observer, preferably in the form of a cube or a cuboid. Another important component of the device is the already explained above tracking system, which detects the position of the viewer and controls the representations on the image areas of the screen assembly accordingly. Optionally, the sensor used for the tracking may also be used for the above-mentioned gesture control. An embodiment of the invention will be explained in more detail below with reference to the drawing. Show it:
Figur 1 : Eine Bildschirmanordnung gemäß der Figure 1: A screen arrangement according to the
Erfindung mit einer Darstellung eines fiktiven dreidimensionalen Objekts; Figur 2: ein Blockschaltbild der Vorrichtung gemäß der Erfindung.  Invention with a representation of a fictitious three-dimensional object; Figure 2 is a block diagram of the device according to the invention.
In Figur 1 ist das darzustellende virtuelle Objekt mit dem Bezugszeichen 1 bezeichnet. Es handelt sich um ein virtuelles Modellauto, welches mit einem entsprechenden Grafikprogramm in einem Rechner R mit einem Bildgenerator B dreidimensional konfiguriert worden ist. In Figure 1, the virtual object to be displayed is designated by the reference numeral 1. It is a virtual model car, which has been three-dimensionally configured with a corresponding graphics program in a computer R with an image generator B.
Das virtuelle Objekt 1 wird in einem Visualisierungsraum 2 dargestellt, der nach allen Seiten hin von Bildschirmen 3 umgeben ist. Die Bildschirme 3 bilden gemeinsam eine Bildschirmanordnung 4, die zusammengenommen einen umgehbaren Polyeder bilden, zum Beispiel einen Würfel oder wie beim Ausfüh- rungsbeispiel einen Quader. Von den Bildschirmen 3 der Bildschirmanordnung 4 sind in Figur 1 nur die beiden dem Betrachter gegenüberliegende Bildschirme 3 zu sehen. The virtual object 1 is displayed in a visualization space 2, which is surrounded on all sides by screens 3. The screens 3 together form a screen arrangement 4, which together form a bypassable polyhedron, for example a cube or as in the case of the embodiment. example, a cuboid. Of the screens 3 of the screen assembly 4, only the two monitors 3 opposite the viewer can be seen in FIG.
Jedem Bildschirm 3 sind auf der jeweils gegenüberliegenden Seite der polyedrischen Bildschirmanordnung 4 Kameras 5 zugeordnet, die die für den Betrachter teilweise verdeckte Umgebung, zum Beispiel die in Figur 1 erkennbare Raumecke 6, aufnehmen. Zusätzlich sind Bewegungsmelder 7 vorgesehen, die die jeweilige Position des Betrachters in Bezug auf die Bildschirmanordnung 1 feststellen (Tracking). Diese Funktion der Bewegungsmelder 7 können gegebenenfalls auch von den Kameras 5 wahrgenommen werden. Each screen 3 is assigned on the respective opposite side of the polyhedral screen arrangement 4 cameras 5, which accommodate the observer partially hidden environment, for example, recognizable in Figure 1 room corner 6. In addition, motion detectors 7 are provided, which determine the respective position of the observer with respect to the screen arrangement 1 (tracking). If necessary, this function of the motion detector 7 can also be perceived by the cameras 5.
Die von den Kameras 5 aufgenommenen Umgebungsdarstellungen werden im Rechner R derart rekonstruiert, dass sie in die jeweilige Perspektive des Betrachters passen. In diese rekonstruierten Umgebungsdarstellungen werden gleichzeitig lagegerecht zweidimensionale perspektivische Abbildungen des zu visualisierenden virtuellen Objektes integriert, und zwar ebenfalls in der Perspektive des jeweiligen Betrachters. Abschließend werden die rekonstruierten Umgebungsbilder zusammen mit den integrierten Abbildungen des virtuellen Objektes auf den Bildschirmen 3 der Bildschirmanordnung 1 dargestellt. The environmental images recorded by the cameras 5 are reconstructed in the computer R in such a way that they fit into the respective perspective of the viewer. At the same time, two-dimensional perspective images of the virtual object to be visualized are integrated into these reconstructed environmental representations, likewise in the perspective of the respective observer. Finally, the reconstructed environmental images are displayed on the screens 3 of the screen assembly 1 together with the integrated images of the virtual object.
Im Ergebnis erscheint das dreidimensionale virtuelle Objekt 1 gewissermaßen schwebend in dem Visualisierungsraum 2 und kann von dem Betrachter durch Umschreiten der polyedrischen Bildschirmanordnung 4 von allen Seiten betrachtet werden. Ein besonders realitätsnaher Eindruck ergibt sich, wenn zumindest auf den glänzenden Oberflächen des virtuellen Objektes 1 virtuelle Spiegelungen von Lichtern oder Gegenständen aus der von den Kameras 5 aufgenommenen Umgebung sichtbar gemacht und Teile des dargestellten virtuellen Objektes durch Gestensteuerung bewegt werden können. As a result, the three-dimensional virtual object 1 appears as if floating in the visualization space 2 and can be viewed by the viewer by wandering around the polyhedral screen assembly 4 from all sides. A particularly close-to-reality impression is obtained if, at least on the glossy surfaces of the virtual object 1, virtual reflections of lights or objects from the environment recorded by the cameras 5 can be made visible and parts of the represented virtual object can be moved by gesture control.
Das Blockschaltbild gemäß Figur 2 erläutert die einzelnen Bestandteile der Vor- richtung und deren funktionales Zusammenwirken näher. The block diagram of Figure 2 explains the individual components of the device and their functional interaction closer.
- Patentansprüche - - Claims -

Claims

Patentansprüche claims
1 . Verfahren zur räumlichen Visualisierung von virtuellen dreidimensionalen Objekten in einer realen Umgebung, g e k e n n z e i c h n e t d u r c h eine Bildschirmanordnung (4) aus mehreren Bildschirmen (3), deren Bildflächen einen Visualisierungsraum (2) für das virtuelle Objekt (1 ) ganz oder teilweise umschließen, der Bildschirmanordnung (4) zugeordnete Kameras (5), die die für den Betrachter von der Bildschirmanordnung ganz oder teilweise verdeckte Umgebung (6) aufnehmen, eine rechnergesteuerte Rekonstruktion der von den Kameras (5) erzeugten Umgebungsdarstellungen aus der Perspektive des Betrachters, einen rechnergesteuerten Bildgenerator (B), der zweidimensionale perspektivische Abbildungen des zu visualisierenden virtuellen Objektes (1 ) erzeugt und lagegerecht in die rekonstruierten Umgebungsdarstellungen integriert und eine Darstellung der rekonstruierten Umgebungsdarstellungen mit den integrierten Abbildungen des virtuellen Objektes auf den Bildflächen der Bildschirmanordnung (4). 1 . Method for spatially visualizing virtual three-dimensional objects in a real environment, characterized by a screen arrangement (4) comprising a plurality of screens (3) whose image areas completely or partially surround a visualization space (2) for the virtual object (1), the screen arrangement (4) associated cameras (5), which record the observer of the screen assembly completely or partially hidden environment (6), a computer-controlled reconstruction of the cameras (5) generated environmental images from the perspective of the viewer, a computer-controlled image generator (B), the two-dimensional perspective images of the virtual object to be visualized (1) generated and integrated in line with the reconstructed environmental representations and a representation of the reconstructed environmental representations with the integrated images of the virtual object on the image surfaces of Bildschirmanord (4).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die jeweils aktuelle Position des Betrachters relativ zu der Bildschirmanordnung (4) durch ein Trackingsystem (7) erfasst wird. 2. The method according to claim 1, characterized in that the respective current position of the viewer relative to the screen assembly (4) by a tracking system (7) is detected.
3. Verfahren nach den Ansprüchen 1 oder 2, dadurch gekennzeichnet, dass rechnergesteuert zumindest auf den glänzenden Oberflächen des virtuellen Objektes (1 ) virtuelle Spiegelungen von Lichtern oder Gegenständen aus der von den Kameras (5) aufgenommenen Umgebung (6) sichtbar gemacht werden. 3. The method according to claims 1 or 2, characterized in that computer controlled at least on the shiny surfaces of the virtual object (1) virtual reflections of lights or objects from the cameras (5) recorded environment (6) are made visible.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass rechnergesteuert Teile des dargestellten virtuellen Objektes (1 ) bewegt werden, insbesondere durch eine Gestensteuerung. 4. The method according to any one of claims 1 to 3, characterized in that computer-controlled parts of the illustrated virtual object (1) are moved, in particular by a gesture control.
5. Verfahren nach Anspruch 1 oder einem der folgenden Ansprüche, dadurch gekennzeichnet, dass die Bildschirme (3) der Bildschirmanordnung (4) unmittelbar aneinander angrenzend angeordnet werden. 5. The method according to claim 1 or one of the following claims, characterized in that the screens (3) of the screen assembly (4) are arranged directly adjacent to each other.
6. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass der Visualisierungsraum polyedrisch nach allen Seiten hin sowie nach oben und/oder unten von den Bildflächen der Bildschirmanordnung (4) umgeben ist. 6. The method according to claim 1, characterized in that the visualization space is surrounded polyhedrally to all sides and up and / or down from the image areas of the screen assembly (4).
7. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass als7. The method according to claim 1, characterized in that as
Bildschirme (3) für die Bildschirmanordnung (4) aktive Flachbildschirme verwendet werden. Screens (3) used for the screen layout (4) active flat screens.
8. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass als Bildschirme (3) der Bildschirmanordnung (4) passive Projektionsflächen verwendet werden, auf welche die Abbildungen mit Hilfe von geeigneten Projektoren projiziert werden. 8. The method according to claim 1, characterized in that as screens (3) of the screen assembly (4) passive projection surfaces are used, on which the images are projected by means of suitable projectors.
9. Verfahren nach den Ansprüchen 1 und 2, dadurch gekennzeichnet, dass für das Tracking-System der Bildschirmanordnung (4) zugeordnete Kameras (5) verwendet werden, die eine stereoskopische Abtastung der Umgebung erlauben. 9. The method according to claims 1 and 2, characterized in that for the tracking system of the screen assembly (4) associated cameras (5) are used, which allow a stereoscopic scanning of the environment.
10. Verfahren nach den Ansprüchen 1 und 2, dadurch gekennzeichnet, dass für das Trackingsystem der Bildschirmanordnung (4) zugeordnete Bewegungsmelder (7) verwendet werden. 10. The method according to claims 1 and 2, characterized in that for the tracking system of the screen assembly (4) associated motion detector (7) can be used.
1 1 . Vorrichtung zur Durchführung des Verfahrens nach Anspruch 1 , g e k e n n z e i c h n e t d u r c h, eine Bildschirmanordnung (4) aus mehreren Bildschirmen (3), deren Bildflächen einen Visualisierungsraum (2) für das virtuelle Objekt ganz oder teilweise umschließen, der Bildschirmanordnung (4) zugeordnete Kameras (5), die die für den Betrachter von der Bildschirmanordnung (4) ganz oder teilweise verdeckte Umgebung (6) aufnehmen und auf den für den Betrachter sichtbaren Bildflächen der Bildschirmanordnung (4) in Echtzeit darstellen, einen Rechner (R), der die von den Kameras (5) erzeugten Umgebungsdarstellungen aus der Perspektive des Betrachters rekonstruiert und einen dem Rechner (R) zugeordneten Bildgenerator (B), der rechnergesteuert zweidimensionale perspektivische Abbildungen des zu visualisierenden Objektes (1 ) erzeugt und lagegerecht in die rekonstruierten Umgebungsdarstellungen integriert. 1 1. Device for carrying out the method according to claim 1, characterized by a screen arrangement (4) comprising a plurality of screens (3) whose image surfaces completely or partially surround a visualization space (2) for the virtual object, cameras (5) associated with the screen arrangement (4), which record for the viewer of the screen assembly (4) completely or partially hidden environment (6) and on the visible to the viewer image surfaces of the screen assembly (4) in real time, a computer (R), the of the cameras (5 ) reconstructed environment representations from the perspective of the viewer and the computer (R) associated image generator (B), the computer-controlled two-dimensional perspective images of the object to be visualized (1) generated and integrated in the correct position in the reconstructed environmental representations.
12. Vorrichtung nach Anspruch 1 1 , dadurch gekennzeichnet, dass der Bildschirmanordnung (4) ein Trackingsystem (7) zur Ermittlung der jeweiligen Position des Betrachters zugeordnet ist. 12. The device according to claim 1 1, characterized in that the screen assembly (4) is associated with a tracking system (7) for determining the respective position of the viewer.
PCT/EP2013/001584 2012-06-01 2013-05-29 Method for spatially visualising virtual objects WO2013178358A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012010799.4A DE102012010799B4 (en) 2012-06-01 2012-06-01 Method for the spatial visualization of virtual objects
DE102012010799.4 2012-06-01

Publications (1)

Publication Number Publication Date
WO2013178358A1 true WO2013178358A1 (en) 2013-12-05

Family

ID=48670482

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2013/001584 WO2013178358A1 (en) 2012-06-01 2013-05-29 Method for spatially visualising virtual objects

Country Status (2)

Country Link
DE (1) DE102012010799B4 (en)
WO (1) WO2013178358A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2940995A1 (en) * 2014-04-29 2015-11-04 Satavision OY Virtual vitrine
CN114663558A (en) * 2022-03-14 2022-06-24 南京青臣创意数字科技有限公司 Construction method and device for realizing double-sided naked eye 3D animation effect, electronic equipment and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030151562A1 (en) * 2002-02-08 2003-08-14 Kulas Charles J. Computer display system using multiple screens
WO2003083822A1 (en) * 2002-01-25 2003-10-09 Silicon Graphics, Inc. Three dimensional volumetric display input and output configurations
DE102009056013A1 (en) 2009-09-09 2011-03-10 Volkswagen Ag Method for generating augmented-reality image, involves receiving actual image of actual environment by camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003083822A1 (en) * 2002-01-25 2003-10-09 Silicon Graphics, Inc. Three dimensional volumetric display input and output configurations
US20030151562A1 (en) * 2002-02-08 2003-08-14 Kulas Charles J. Computer display system using multiple screens
DE102009056013A1 (en) 2009-09-09 2011-03-10 Volkswagen Ag Method for generating augmented-reality image, involves receiving actual image of actual environment by camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2940995A1 (en) * 2014-04-29 2015-11-04 Satavision OY Virtual vitrine
CN114663558A (en) * 2022-03-14 2022-06-24 南京青臣创意数字科技有限公司 Construction method and device for realizing double-sided naked eye 3D animation effect, electronic equipment and storage medium

Also Published As

Publication number Publication date
DE102012010799B4 (en) 2015-03-05
DE102012010799A1 (en) 2013-12-05

Similar Documents

Publication Publication Date Title
EP3328686B1 (en) Method and device for displaying the surrounding field of a tractor and trailer
WO2005096638A1 (en) Device and method for simultaneously representing virtual and real environment information
EP1763845A1 (en) Method and device for determining optical overlaps with ar objects
DE102014006732B4 (en) Image overlay of virtual objects in a camera image
WO2016162245A1 (en) Method for displaying an area surrounding a vehicle
WO2009049973A2 (en) Method for creating and/or updating textures of background object models, video monitoring system for carrying out the method, and computer program
EP3117399B1 (en) Method for assembling single images that have been taken from different positions by a camera system to form a joint image
DE102019111641A1 (en) Configure a danger point monitored by a 3D sensor
WO2013178358A1 (en) Method for spatially visualising virtual objects
DE102011082881A1 (en) Method for representing surroundings of vehicle e.g. motor vehicle e.g. car, involves transforming primary image information into secondary image information corresponding to panoramic view using spatial information
DE102004046144A1 (en) Augmented reality system used for planning a production plant layout has camera system to enter units into a central controller where they are combined and then stored in data base
DE102016217037B4 (en) Method for operating a display device of a motor vehicle with a digital display surface and motor vehicle
DE102018118422A1 (en) METHOD AND SYSTEM FOR PRESENTING DATA FROM A VIDEO CAMERA
EP2831839B1 (en) Method for automatically operating a monitoring system
WO2018133996A1 (en) Method for combining a plurality of camera images
DE102020134814A1 (en) Device for monitoring the surroundings of a vehicle
DE102011119082A1 (en) Device arrangement for providing interactive screen of picture screen, has pointer which scans gestures in close correlation with screen, and control unit is configured to interpret scanned gestures related to data as user input
DE102019201600A1 (en) Method for generating a virtual, three-dimensional model of a real object, system for generating a virtual, three-dimensional model, computer program product and data carrier
DE102015212370A1 (en) A method and apparatus for generating a representation of a vehicle environment of a vehicle
DE102007056835A1 (en) Image processing module for estimating an object position of a surveillance object, method for determining an object position of a surveillance object and computer program
DE102004032586B4 (en) Method for generating a three-dimensional representation
DE102015226749A1 (en) monitoring system
DE102015120927A1 (en) Method for displaying a simulation environment
DE102015014041B3 (en) Virtual reality system and method for operating a virtual reality system
DE102015105797A1 (en) Method and device for viewing angle correct projection of a geometric structure

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13730481

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13730481

Country of ref document: EP

Kind code of ref document: A1