DE102014107211A1 - Device for displaying a virtual reality as well as measuring device - Google Patents

Device for displaying a virtual reality as well as measuring device Download PDF

Info

Publication number
DE102014107211A1
DE102014107211A1 DE102014107211.1A DE102014107211A DE102014107211A1 DE 102014107211 A1 DE102014107211 A1 DE 102014107211A1 DE 102014107211 A DE102014107211 A DE 102014107211A DE 102014107211 A1 DE102014107211 A1 DE 102014107211A1
Authority
DE
Germany
Prior art keywords
virtual
hand
representation
display device
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102014107211.1A
Other languages
German (de)
Inventor
Jeronimo Dzaack
Ronald Meyer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Atlas Elektronik GmbH
Original Assignee
Atlas Elektronik GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Atlas Elektronik GmbH filed Critical Atlas Elektronik GmbH
Priority to DE102014107211.1A priority Critical patent/DE102014107211A1/en
Priority to PCT/DE2015/100153 priority patent/WO2015176708A1/en
Priority to EP15732516.8A priority patent/EP3146411A1/en
Publication of DE102014107211A1 publication Critical patent/DE102014107211A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51—Display arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/56—Display arrangements
    • G01S7/62—Cathode-ray tube displays
    • G01S7/6245—Stereoscopic displays; Three-dimensional displays; Pseudo-three dimensional displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/56—Display arrangements
    • G01S7/62—Cathode-ray tube displays
    • G01S7/6272—Cathode-ray tube displays producing cursor lines and indicia by electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object

Abstract

Die Erfindung betrifft eine Vorrichtung zum Anzeigen einer virtuellen Realität, wobei die Vorrichtung eine Gestenerkennungseinrichtung zum Ermitteln einer Bewegung einer Hand und eine Anzeigeeinrichtung aufweist, wobei die Anzeigeeinrichtung eine Repräsentanz der Hand abbildet und ein virtuelles Bedienelement aufweist, welches durch die Hand mittels der Repräsentanz der Hand betätigbar ist, wobei die Anzeigeeinrichtung insbesondere weitere virtuelle Bedienelemente bereitstellt, welche durch die Hand mittels der Repräsentanz der Hand auswählbar sind.The invention relates to a device for displaying a virtual reality, wherein the device comprises a gesture recognition device for determining a movement of a hand and a display device, wherein the display device displays a representation of the hand and a virtual operating element, which by hand by means of the representation of the hand can be actuated, wherein the display device provides in particular further virtual control elements, which can be selected by the hand by means of the representation of the hand.

Description

Die Erfindung betrifft eine Vorrichtung zum Anzeigen einer virtuellen Realität, wobei die Vorrichtung eine Gestenerkennungseinrichtung zum Ermitteln einer Bewegung einer Hand und eine Anzeigeeinrichtung aufweist sowie ein Messgerät. The invention relates to a device for displaying a virtual reality, wherein the device has a gesture recognition device for determining a movement of a hand and a display device and a measuring device.

Die Handhabung gemessener dreidimensionaler Daten fällt insbesondere im Bereich der Sonardaten sehr schwer. Zum einen sind die Signale sehr schwach und zum anderen sind die Signale sehr verrauscht. Besondere Schwierigkeiten bereiten dreidimensionale Sonardaten, da es insbesondere Schwierigkeiten bereitet in unterschiedlichen Höhen detektierte Objekte einem Benutzer sichtbar zu machen. The handling of measured three-dimensional data is very difficult especially in the area of the sonar data. On the one hand, the signals are very weak and, on the other hand, the signals are very noisy. Three-dimensional sonar data presents particular difficulties, since it is particularly difficult to make objects detected at different heights visible to a user.

Üblicherweise werden in derartige 3D-Daten Schnitte gelegt, welche dann einem Bediener auf einem zweidimensionalen Bildschirm angezeigt werden. Im Allgemeinen erhält der Bediener oder entsprechend der Benutzer die Möglichkeit die Schnitte im Winkel und in der Ausrichtung zu verändern, um sich über eine gegebene Situation ein besseres Bild verschaffen zu können. Usually, cuts are placed in such 3D data, which are then displayed to an operator on a two-dimensional screen. In general, the operator, or according to the user, has the opportunity to change the angle and orientation of the cuts in order to get a better picture of a given situation.

Aufgabe der Erfindung ist es den Stand der Technik zu verbessern. The object of the invention is to improve the prior art.

Gelöst wird die Aufgabe durch eine Vorrichtung zum Anzeigen einer virtuellen Realität, wobei die Vorrichtung eine Gestenerkennungseinrichtung zum Ermitteln einer Bewegung einer Hand und einer Anzeigeeinrichtung aufweist, wobei die Anzeigeeinrichtung eine Repräsentanz der Hand abbildet und ein virtuelles Bedienelement aufweist, welches durch die Hand mittels der Repräsentanz der Hand betätigbar ist, wobei die Anzeigeeinrichtung insbesondere weitere virtuelle Bedienelemente bereitstellt, welche durch die Hand mittels der Repräsentanz der Hand auswählbar sind. The object is achieved by a device for displaying a virtual reality, wherein the device has a gesture recognition device for determining a movement of a hand and a display device, wherein the display device displays a representation of the hand and has a virtual operating element, which by hand by means of representation the hand can be actuated, wherein the display device provides in particular further virtual operating elements, which can be selected by the hand by means of the representation of the hand.

Somit kann ein Eingabemittel und eine Anzeige bereitgestellt werden, welche es einem Bediener ermöglicht mit einer gegebenen Datenmenge virtuell zu arbeiten. Insbesondere durch die Auswahl der einzelnen virtuellen Bedienelemente können die gegebenen Daten manipuliert werden. Beispielsweise können nicht nur horizontale und vertikale Schnitte, sondern auch beispielsweise durch ein Messer dargestellter flächiger schnittbeliebiger Form in die Datenmenge hineingelegt werden, um sich bestimmte Dinge anzeigen zu lassen. Zudem kann die Vorrichtung sowohl für Online- als auch für Offlinedaten eingesetzt werden. Thus, an input means and a display may be provided which allow an operator to virtually work with a given amount of data. In particular, the selection of the individual virtual control elements, the given data can be manipulated. For example, not only horizontal and vertical cuts, but also, for example, represented by a knife flat-shaped arbitrary shape can be put into the data set to display certain things. In addition, the device can be used for both online and offline data.

Dadurch, dass die Repräsentanz der Hand, im Weiteren auch virtuelle Hand genannt, welche virtuelle Bedienelement betätigen kann, ist für einen Bediener ein sehr intuitives Bedienkonzept gegeben, in dem er sich quasi in einer virtuellen Umgebung mittels seiner Hand „bewegt“, um die Daten besser auswerten zu können. By virtue of the fact that the representative office of the hand, also referred to as the virtual hand, can actuate a virtual operating element, a very intuitive operating concept is given for an operator in which he "moves" in a virtual environment by means of his hand to the data to evaluate better.

Folgendes Begriffliche sei erläutert:
Bei der „virtuellen Realität“ handelt es sich insbesondere um eine dreidimensionale optische Darstellung, welche dem Bediener den Eindruck vermittelt, dass dieser in den Daten selbst befindlich ist. The following concept is explained:
The "virtual reality" is, in particular, a three-dimensional visual representation which gives the impression to the operator that this is located in the data itself.

Insbesondere wird dazu eine „Anzeigeeinrichtung“ eingesetzt, welche in der Lage ist dem menschlichen Auge oder den menschlichen Augen einen derartigen Eindruck zu vermitteln, dass ein dreidimensionaler Raum für den Bediener geschaffen ist. Bei der Anzeigeeinrichtung kann es sich sowohl um einen dreidimensionalen Bildschirm als auch um eine dreidimensionale Brille handeln. Zudem können dem Auge auch direkt Lichtsignale aufgeprägt werden oder es können reflektierte Signale erzeugt werden, welche dem Auge ein dreidimensionales Bild vermitteln. Auch eine Kombination aus Bildschirm und Shutter-Brille kann die Anzeigeeinrichtung realisieren. In particular, for this purpose, a "display device" is used, which is able to give the human eye or the human eyes such an impression that a three-dimensional space is created for the operator. The display device may be both a three-dimensional screen and a three-dimensional glasses. In addition, the eye can also be imprinted directly with light signals, or it is possible to generate reflected signals which give the eye a three-dimensional image. A combination of screen and shutter glasses can realize the display device.

Die „Gestenerkennungseinrichtung“ erkennt mittels zugehöriger Sensoren bestimmte gewollte Bewegungen des Bedieners. Insbesondere können diese Bewegungen Handbewegungen sein. Vorteilhafterweise basiert die Gestenerkennungseinrichtung auf optische Eingaben, welche insbesondere durch zwei Kameras aufgenommen und mittels entsprechender Software aufbereitet werden. Auch können beispielsweise an der Hand Sender und/oder Empfänger angeordnet sein, welche entsprechende Signale aussenden und/oder empfangen. So kann durch die Signale eine entsprechende Bewegung im Raum festgestellt werden. Insbesondere sei hier erwähnt, dass es sich bei diesen Sendern um Ultraschallsender oder Infrarotsender und die entsprechenden Empfänger handeln kann. The "gesture recognition device" recognizes by means of associated sensors certain intentional movements of the operator. In particular, these movements can be hand movements. Advantageously, the gesture recognition device based on optical inputs, which are recorded in particular by two cameras and processed by means of appropriate software. Also, for example, sender and / or receiver can be arranged on the hand, which send out and / or receive corresponding signals. Thus, a corresponding movement in space can be detected by the signals. In particular, it should be mentioned here that these transmitters can be ultrasound transmitters or infrared transmitters and the corresponding receivers.

Die „Repräsentanz der Hand“ ist insbesondere eine virtuelle Hand, welche mittels der Anzeigeeinrichtung dargestellt wird. Dadurch, dass reale Bewegungen der Hand mit der virtuellen Hand im virtuellen Raum nachgebildet werden, kann die reale Hand mittels der virtuellen Hand eines der virtuellen Bedienelemente benutzen. Die virtuelle Hand kann zudem abstrahiert oder skizziert dargestellt werden. Insbesondere kann die Hand durch Punkte (teil-)repräsentiert werden, welche ggf. an den Gelenken der Finger oder an den einzelnen Gliedern der Finger angeordnet ist. Zudem können Punkte durch Geraden, Flächen, Striche oder Balken verbunden werden, sodass sich eine skizzierte Hand in dreidimensionalen Raum ergibt. The "representation of the hand" is in particular a virtual hand, which is displayed by means of the display device. By simulating real movements of the hand with the virtual hand in virtual space, the real hand can use one of the virtual controls by means of the virtual hand. The virtual hand can also be abstracted or sketched. In particular, the hand may be represented (partially) by points which may be located at the joints of the fingers or at the individual links of the fingers. In addition, points can be connected by straight lines, surfaces, lines or bars, so that a sketched hand results in three-dimensional space.

Ein „virtuelles Bedienelement“ ist insbesondere ein Bedienelement, welches in der virtuellen Umgebung angezeigt wird, jedoch durch Bewegung der realen Hand über die virtuelle Hand angesteuert wird. A "virtual control element" is in particular a control element which is displayed in the virtual environment but is controlled by movement of the real hand via the virtual hand.

Das virtuelle Bedienelement kann mit einer Bedienanlage oder einem Rechner gekoppelt sein, sodass durch die reale Hand aufprägbare Stellsignale zum Ansteuern der Bedienanlage oder des Rechners verwendet werden. Für den Fall, dass das virtuelle Bedienelement eine Maus ist, kann beispielsweise die reale Hand in der virtuellen Umgebung die Maus mittels der virtuellen Hand umfassen, was in der realen Welt beispielsweise eine Hand ist, welche auf einer Tischplatte einen Hohlraum ausbildet und welche über die Tischplatte bewegt wird. Dabei kann ein Auf und Ab einzelner Finger als Bedienen der einzelnen Maustasten oder das Knicken einzelner Finger als das Bewegen des Rollrads auf einer Maus interpretiert werden, wobei jeweils die Repräsentanz der Hand die einzelnen Aktionen nachbildet. Insbesondere kann somit der Bediener ein Gefühl dafür entwickeln, welche Aktionen in der realen Welt, welche Auswirkungen in der virtuellen Umgebung haben. The virtual control element can be coupled to an operating system or a computer so that control signals that can be impressed by the real hand are used to control the operating system or the computer. For example, in the case where the virtual control is a mouse, the real hand in the virtual environment may include the mouse by means of the virtual hand, which in the real world is, for example, a hand forming a cavity on a tabletop and which one over the Tabletop is moved. In this case, an up and down of individual fingers as operator of the individual mouse buttons or the buckling of individual fingers can be interpreted as moving the rolling wheel on a mouse, with the representation of the hand modeling the individual actions. In particular, thus, the operator can develop a sense of what actions in the real world have, which effects in the virtual environment.

Dadurch, dass weitere Bedienelemente bereitgestellt werden, kann insbesondere somit eine Art Werkzeugleiste oder Werkzeugkiste bereitgestellt werden, aus der sich der Bediener entsprechend seiner Bedürfnisse situationsabhängig bedienen kann. As a result of the fact that further operating elements are provided, it is thus possible in particular to provide a type of tool bar or tool box, from which the operator can operate according to his needs, depending on the situation.

In einer weiteren Ausführungsform wird ein räumlicher Datensatz mittels der Anzeigemittel als räumliches Bild dargestellt und kann das räumliche Bild durch die virtuellen Bedienelemente manipulierbar sein. In a further embodiment, a spatial data record is displayed by means of the display means as a spatial image and the spatial image can be manipulated by the virtual control elements.

Dadurch kann ein Bediener sich sehr schnell einen Überblick über einen räumlichen Datensatz verschaffen. This allows an operator to quickly get an overview of a spatial dataset.

Bei dem „räumlichen Datensatz“ kann es sich insbesondere um 3D-Sonardaten handeln, bei denen aufgrund der geringen Signalstärken und der stark verrauschten Signale automatische Bilderkennungsmechanismen nur eingeschränkt funktionieren und der menschliche Betrachter sich viel schneller einen Überblick über die gegebene Lage machen kann. The "spatial data set" may be, in particular, 3D sonar data in which, due to the low signal strengths and the strongly noisy signals, automatic image recognition mechanisms only function to a limited extent and the human observer can make an overview of the given situation much more quickly.

Zudem kann der räumliche Datensatz online oder offline bereitgestellt werden. Sofern die Daten online bereitgestellt werden, kann zudem auf die eigentliche Sonaranlage oder die Vorrichtung, welche die 3D-Messdaten vorliegend bereitstellt, eingewirkt werden, um bestimmte Details gegebenenfalls besser herauszuarbeiten. In addition, the spatial record can be provided online or offline. If the data is provided online, it is also possible to act on the actual sonar system or the device which provides the 3D measurement data in the present case in order to better elaborate certain details.

Im Allgemeinen kann also der räumliche Datensatz online mittels eines Sensors ermittelt werden. Derartige Sensoren können beispielsweise Kameras oder auch Hydrophone sein. Auch alle sonstigen Sensoren, welche einen räumlichen Eindruck vermitteln können, sind vorliegend einsetzbar. In general, therefore, the spatial data set can be determined online by means of a sensor. Such sensors can be, for example, cameras or even hydrophones. All other sensors, which can convey a spatial impression, are applicable here.

Um einen sehr vorteilhaften Zugang zu den möglichen virtuellen Bedienelementen bereitstellen zu können, können quasi in einer Werkzeugleiste mehrere virtuelle Bedienelemente in einem Menü zusammengefasst werden. In order to be able to provide a very advantageous access to the possible virtual operating elements, a plurality of virtual operating elements can virtually be combined in a menu in a toolbar.

In einer Ausprägungsform ist eines der virtuellen Bedienelemente ein virtueller Joystick, eine virtuelle Maus, ein virtuelles Touch-Pad, eine virtuelle Schere, ein virtuelles Messer, ein virtueller Schieberegler, ein virtueller Drehknopf, ein virtueller Stift, ein virtueller Pinsel, eine virtuelle Feile, ein virtueller Klebestift oder ein virtueller Radiergummi. In one embodiment, one of the virtual controls is a virtual joystick, a virtual mouse, a virtual touch pad, a virtual scissors, a virtual knife, a virtual slider, a virtual knob, a virtual stylus, a virtual brush, a virtual file, a virtual glue stick or a virtual eraser.

Somit können eine Vielzahl von Werkzeugen bereitgestellt werden, mit denen das Aufbereiten und Bearbeiten dreidimensionaler Daten wesentlich schneller und anschaulicher erfolgen kann. Thus, a variety of tools can be provided with which the editing and editing of three-dimensional data can be done much faster and more vividly.

In einer weiteren Ausprägung der Erfindung wird die Aufgabe gelöst durch ein Messgerät, insbesondere Sonar, welches eine zuvor beschriebene Vorrichtung aufweist. In a further embodiment of the invention, the object is achieved by a measuring device, in particular sonar, which has a device described above.

Bei dem Sonar kann es sich um ein aktives oder passives Sonar handeln. Zudem kann das Messgerät beispielsweise auch eine Stereokamera sein, welche ein dreidimensionales Bild von einer bestimmten Situation liefert. Insbesondere kann es sich auch hierbei um eine Infrarotkamera handeln, welche insbesondere bei schlechten Sichtbedingungen einen dreidimensionalen Überblick der beobachteten Szenerie liefern kann. The sonar can be an active or passive sonar. In addition, the measuring device can also be a stereo camera, for example, which delivers a three-dimensional image of a specific situation. In particular, this can also be an infrared camera, which can provide a three-dimensional overview of the observed scenery, especially in poor visibility conditions.

Im Weiteren wird die Erfindung anhand von einem Ausführungsbeispiel näher erläutert. Es zeigt Furthermore, the invention will be explained in more detail with reference to an embodiment. It shows

1 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung mit einem 3D-Bildschirm und einer Stereokamera. 1 a schematic representation of a device according to the invention with a 3D screen and a stereo camera.

An ein aktives Sonar 181 ist eine erfindungsgemäße Vorrichtung 101 angeschlossen. Die Vorrichtung 101 umfasst einen 3D-Bildschirm 103 und eine Stereokamera 105. Die Stereokamera 105 weist zwei zueinander versetzte Kameraobjektive 107 auf. Der 3D-Bildschirm 103 ist in einen Anzeigebereich 109 und in eine Werkzeugleiste 111 aufgeteilt. Zudem sind auf dem 3D-Bildschirm 103 dreidimensionale Sonardaten 113 dargestellt. To an active sonar 181 is a device according to the invention 101 connected. The device 101 includes a 3D screen 103 and a stereo camera 105 , The stereo camera 105 has two mutually offset camera lenses 107 on. The 3D screen 103 is in a display area 109 and in a toolbar 111 divided up. In addition, on the 3D screen 103 three-dimensional sonar data 113 shown.

Im Anzeigebereich 109 sind ein virtueller Joystick 117 und eine virtuelle Hand 115 dargestellt. In der Werkzeugliste 111 sind eine virtuelle Maus 119, eine virtuelle Schere 121, ein virtueller Drehknopf 123, ein virtuelles Messer 125 und ein virtueller Pinsel 127 dargestellt. Mit Hilfe dieser Werkzeuge 119, 121, 123, 125, 127 werden die Sonardaten 113 manipuliert. In the display area 109 are a virtual joystick 117 and a virtual hand 115 shown. In the tool list 111 are a virtual mouse 119 , a virtual pair of scissors 121 , a virtual knob 123 , a virtual knife 125 and a virtual brush 127 shown. With the help of these tools 119 . 121 . 123 . 125 . 127 become the sonar data 113 manipulated.

Setzt sich ein Bediener vor die Vorrichtung 101 wird seine Hand 155 durch die Stereokamera 105 mit den versetzten Kameraobjektiven 107 detektiert. Mittels implementierter Software wird die Hand 155 erkannt und es werden Änderungen der Hand 155 detektiert. Zusätzlich wird eine virtuelle Repräsentanz 115 der Hand in dem 3D-Bildschirm 103 dargestellt. An operator sits down in front of the device 101 becomes his hand 155 through the stereo camera 105 with the offset camera lenses 107 detected. By means of implemented software becomes the hand 155 recognized and it will be changes of the hand 155 detected. In addition, a virtual representative 115 the hand in the 3D screen 103 shown.

Die Repräsentanz 115 der Hand, im Weiteren auch virtuelle Hand genannt, führt sämtliche Bewegungen der realen Hand 155 nach. Führt die reale Hand 155 eine Bewegung nach links durch, wird die virtuelle Hand 115 im Bildschirm ebenfalls nach links bewegt. Werden weiterhin die Finger der realen Hand 155 leicht gebeugt als würden sie etwas umfassen, wird dies durch die virtuelle Hand 115 ebenfalls auf dem 3D-Bildschirm 103 dargestellt. Sofern die virtuelle Hand 115 und der virtuelle Joystick 117 in der virtuellen Umgebung übereinander gebracht werden, so prägt die virtuelle Hand 115 Bewegungen der realen Hand 155 dem virtuellen Joystick 117 auf. The representative office 115 The hand, also called virtual hand in the following, performs all movements of the real hand 155 to. Leads the real hand 155 a move to the left, becomes the virtual hand 115 in the screen also moved to the left. Will continue to be the fingers of the real hand 155 slightly bent as if embracing something, this is done by the virtual hand 115 also on the 3D screen 103 shown. Unless the virtual hand 115 and the virtual joystick 117 in the virtual environment, the virtual hand shapes 115 Movements of the real hand 155 the virtual joystick 117 on.

Durch den Joystick können beispielsweise die 3D-Sonardaten 113 gedreht oder gekippt werden oder es kann in die 3D-Daten 113 eingedrungen werden. For example, the joystick allows 3D sonar data 113 be rotated or tilted or it may be in the 3D data 113 be invaded.

Weiterhin kann die virtuelle Hand beispielsweise das virtuelle Messer 125 „ergreifen“ und die Daten 113 virtuell durchschneiden, um bestimmte Ebenen oder Schnitte durch die Daten 113 zu legen, welche beispielsweise dann zweidimensional dargestellt werden oder auch aufgeklappt werden können. Somit werden Objekte in den 3D-Daten 113 besser für einen Betrachter erkennbar. Furthermore, the virtual hand, for example, the virtual knife 125 "Grab" and the data 113 virtually cut through to specific levels or sections through the data 113 to lay, for example, which are then displayed in two dimensions or can be opened. Thus, objects in the 3D data 113 better recognizable to a viewer.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

101101
Eingabegerät  input device
103103
Bildschirm  screen
105105
Stereokamera  stereo camera
107107
versetzte Kameraobjektive  staggered camera lenses
109109
Anzeigebereich  display area
111111
Werkzeugleiste  toolbar
113113
Sonardaten  Sonar data
115115
virtuelle Hand  virtual hand
117117
Joystick  joystick
119119
Maus  mouse
121121
Schere  scissors
123123
Drehknopf  knob
125125
Messer  knife
127127
Pinsel  brush
155155
Hand  hand
181181
Sonar  sonar

Claims (6)

Vorrichtung (101) zum Anzeigen einer virtuellen Realität, wobei die Vorrichtung eine Gestenerkennungseinrichtung (105) zum Ermitteln einer Bewegung einer Hand (155) und eine Anzeigeeinrichtung (103) aufweist, wobei die Anzeigeeinrichtung eine Repräsentanz (115) der Hand abbildet und ein virtuelles Bedienelement (117) aufweist, welches durch die Hand mittels der Repräsentanz der Hand betätigbar ist, dadurch gekennzeichnet, dass die Anzeigeeinrichtung insbesondere weitere virtuelle Bedienelemente bereitstellt, welche durch die Hand mittels der Repräsentanz der Hand auswählbar sind. Contraption ( 101 ) for displaying a virtual reality, the device comprising a gesture recognition device ( 105 ) for determining a movement of a hand ( 155 ) and a display device ( 103 ), the display device having a representation ( 115 ) of the hand and a virtual control element ( 117 ), which can be actuated by the hand by means of the representation of the hand, characterized in that the display device provides in particular further virtual operating elements, which can be selected by the hand by means of the representation of the hand. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass ein räumlicher Datensatz (113) mittels der Anzeigemittel als räumliches Bild darstellbar ist und dass das räumliche Bild durch die virtuellen Bedienelemente manipulierbar ist. Apparatus according to claim 1, characterized in that a spatial data set ( 113 ) can be displayed by means of the display means as a spatial image and that the spatial image can be manipulated by the virtual controls. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass der räumliche Datensatz online bereitgestellt ist und insbesondere anhand eines Sensors (181) ermittelt wird. Apparatus according to claim 2, characterized in that the spatial data set is provided online and in particular by means of a sensor ( 181 ) is determined. Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass mehrere virtuelle Bedienelemente in einem Menü (111) zusammengefasst sind. Device according to one of the preceding claims, characterized in that a plurality of virtual operating elements in a menu ( 111 ) are summarized. Vorrichtung nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass eines der virtuellen Bedienelemente ein virtueller Joystick (117), eine virtuelle Maus (119), ein virtuelles Touch-Pad, eine virtuelle Schere (121), ein virtuelles Messer (125), ein virtueller Schieberegler, ein virtueller Drehknopf (123), ein virtueller Stift, ein virtueller Pinsel (127), eine virtuelle Feile, ein virtueller Klebestift oder ein virtueller Radiergummi ist. Device according to one of the preceding claims, characterized in that one of the virtual operating elements is a virtual joystick ( 117 ), a virtual mouse ( 119 ), a virtual touch pad, a virtual pair of scissors ( 121 ), a virtual knife ( 125 ), a virtual slider, a virtual knob ( 123 ), a virtual pen, a virtual brush ( 127 ), a virtual file, a virtual glue stick or a virtual eraser. Messgerät (181), insbesondere Sonar, welches eine Vorrichtung nach einem der vorherigen Ansprüche aufweist. Measuring device ( 181 ), in particular sonar, which has a device according to one of the preceding claims.
DE102014107211.1A 2014-05-22 2014-05-22 Device for displaying a virtual reality as well as measuring device Withdrawn DE102014107211A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102014107211.1A DE102014107211A1 (en) 2014-05-22 2014-05-22 Device for displaying a virtual reality as well as measuring device
PCT/DE2015/100153 WO2015176708A1 (en) 2014-05-22 2015-04-10 Device for displaying a virtual reality and measuring apparatus
EP15732516.8A EP3146411A1 (en) 2014-05-22 2015-04-10 Device for displaying a virtual reality and measuring apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014107211.1A DE102014107211A1 (en) 2014-05-22 2014-05-22 Device for displaying a virtual reality as well as measuring device

Publications (1)

Publication Number Publication Date
DE102014107211A1 true DE102014107211A1 (en) 2015-11-26

Family

ID=53496346

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102014107211.1A Withdrawn DE102014107211A1 (en) 2014-05-22 2014-05-22 Device for displaying a virtual reality as well as measuring device

Country Status (3)

Country Link
EP (1) EP3146411A1 (en)
DE (1) DE102014107211A1 (en)
WO (1) WO2015176708A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019007934A1 (en) 2017-07-04 2019-01-10 Atlas Elektronik Gmbh Assembly and method for communicating by means of two visual output devices
DE102017114905A1 (en) * 2017-07-04 2019-01-10 Atlas Elektronik Gmbh Communication device and operating system
DE102017114914A1 (en) * 2017-07-04 2019-01-10 Atlas Elektronik Gmbh Visual output device and operating system
DE102017215074A1 (en) * 2017-08-29 2019-02-28 Siemens Healthcare Gmbh Method and selection unit for selecting a virtual object or a picture parameter value
IT202000019282A1 (en) * 2020-08-05 2022-02-05 Swhard S R L VIRTUAL REALITY SYSTEM AND VIRTUAL REALITY WRITING METHOD

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100144436A1 (en) * 2008-12-05 2010-06-10 Sony Computer Entertainment Inc. Control Device for Communicating Visual Information
US8237654B2 (en) * 2007-12-18 2012-08-07 Samsung Electroncis Co., Ltd. Display apparatus and control method thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8018579B1 (en) * 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
EP2188737A4 (en) * 2007-09-14 2011-05-18 Intellectual Ventures Holding 67 Llc Processing of gesture-based user interactions
US8482859B2 (en) * 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US20130100008A1 (en) * 2011-10-19 2013-04-25 Stefan J. Marti Haptic Response Module
BR112014011172B1 (en) * 2011-11-09 2021-07-27 Abyssal S.A. SYSTEM AND METHOD OF OPERATION FOR REMOTELY OPERATED VEHICLES WITH OVERLAPPED 3D IMAGE
KR101845046B1 (en) * 2012-07-13 2018-04-03 가부시키가이샤 주스 디자인 Element selection device, element selection method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8237654B2 (en) * 2007-12-18 2012-08-07 Samsung Electroncis Co., Ltd. Display apparatus and control method thereof
US20100144436A1 (en) * 2008-12-05 2010-06-10 Sony Computer Entertainment Inc. Control Device for Communicating Visual Information

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CREED, Chris; BEALE, Russell; DOWER, Paula. Digital tools for physically impaired visual artists. In: Proceedings of the 16th international ACM SIGACCESS conference on Computers & accessibility. ACM, 2014. S. 253-254. (nachveröffentlichtes Dokument) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019007934A1 (en) 2017-07-04 2019-01-10 Atlas Elektronik Gmbh Assembly and method for communicating by means of two visual output devices
DE102017114905A1 (en) * 2017-07-04 2019-01-10 Atlas Elektronik Gmbh Communication device and operating system
DE102017114914A1 (en) * 2017-07-04 2019-01-10 Atlas Elektronik Gmbh Visual output device and operating system
WO2019007936A1 (en) 2017-07-04 2019-01-10 Atlas Elektronik Gmbh Visual output device with a camera and presentation method
DE102017215074A1 (en) * 2017-08-29 2019-02-28 Siemens Healthcare Gmbh Method and selection unit for selecting a virtual object or a picture parameter value
IT202000019282A1 (en) * 2020-08-05 2022-02-05 Swhard S R L VIRTUAL REALITY SYSTEM AND VIRTUAL REALITY WRITING METHOD

Also Published As

Publication number Publication date
WO2015176708A1 (en) 2015-11-26
EP3146411A1 (en) 2017-03-29

Similar Documents

Publication Publication Date Title
DE102019002898A1 (en) ROBOTORSIMULATIONSVORRICHTUNG
DE102018109463B3 (en) Method for using a multi-unit actuated kinematics, preferably a robot, particularly preferably an articulated robot, by a user by means of a mobile display device
DE102014107211A1 (en) Device for displaying a virtual reality as well as measuring device
DE102015103735A1 (en) Method and device for testing a device to be operated in an aircraft
EP3458939B1 (en) Interaction system and method
EP1047014A2 (en) Method and input device for controlling the position of a graphically displayed object in a virtual reality space
DE102009023875A1 (en) Gesture recognition interface system with vertical display area
DE102008020772A1 (en) Presentation of results of a measurement of workpieces
DE102014106960A1 (en) Method for displaying a virtual interaction on at least one screen and input device, system and method for a virtual application by means of a computing unit
DE102009034413A1 (en) Recognition of compound gestures
DE112013004801T5 (en) Multimodal touch screen emulator
DE112018006721T5 (en) INSPECTION PROGRAM EDITING ENVIRONMENT WITH AUTOMATIC VISIBILITY OPERATIONS FOR HIDDEN WORKPIECE CHARACTERISTICS
DE102009006082A1 (en) Method for controlling selection object displayed on monitor of personal computer, involves changing presentation of object on display based on position of input object normal to plane formed by pressure-sensitive touchpad or LED field
EP2977961A1 (en) Method and communication device for creating and/or editing virtual objects
WO2010083821A1 (en) Method for controlling a selected object displayed on a screen
DE102021122362A1 (en) SWITCHING BETWEEN STATES IN A HYBRID VIRTUAL REALITY DESKTOP COMPUTING ENVIRONMENT
DE102012020607A1 (en) Method for controlling selection element e.g. cursor, on monitor of e.g. navigation device, of motor vehicle i.e. passenger car, involves activating function of electronic device by control device based on relative position of finger
EP3012712A1 (en) Virtual drawing in real environment
WO2013034133A1 (en) Interaction with a three-dimensional virtual scenario
EP1665023B1 (en) Method and device for controlling a virtual reality graphic system using interactive techniques
EP4016061B1 (en) Method for operating an x-ray system
DE102015012732A1 (en) System and method for controlling, in particular for commissioning, a production plant
EP3534240A1 (en) Method and device for data annotation
EP3274789B1 (en) Motor vehicle simulation system for simulating a virtual environment with a virtual motor vehicle and method for simulating a virtual environment
DE102013211046A1 (en) Method and device for obtaining a control signal from an operating gesture

Legal Events

Date Code Title Description
R163 Identified publications notified
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee