DE102013210746A1 - System and method for monitoring and / or operating a technical system, in particular a vehicle - Google Patents

System and method for monitoring and / or operating a technical system, in particular a vehicle Download PDF

Info

Publication number
DE102013210746A1
DE102013210746A1 DE102013210746.3A DE102013210746A DE102013210746A1 DE 102013210746 A1 DE102013210746 A1 DE 102013210746A1 DE 102013210746 A DE102013210746 A DE 102013210746A DE 102013210746 A1 DE102013210746 A1 DE 102013210746A1
Authority
DE
Germany
Prior art keywords
user
operating
vehicle
virtual
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102013210746.3A
Other languages
German (de)
Inventor
Philippe Dreuw
Holger Modler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102013210746.3A priority Critical patent/DE102013210746A1/en
Priority to PCT/EP2014/061154 priority patent/WO2014198552A1/en
Publication of DE102013210746A1 publication Critical patent/DE102013210746A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

Ein aufwands- und gewichtsreduziertes, übersichtliches und flexibles System (100) zum Überwachen und/oder Bedienen einer technischen Anlage, insbesondere eines Fahrzeugs (101), durch einen Nutzer (117) umfasst Blickerfassungsmittel zum Erfassen eines Blickpunktes und einer Blickrichtung des Nutzers (117) relativ zu der technischen Anlage, Bereitstellungsmittel zum Bereitstellen eines vorgegebenen Musters virtueller Anzeigeelemente zum Überwachen und/oder virtueller Bedienelemente zum Bedienen der technischen Anlage, Bilderzeugungsmittel zum Erzeugen einer Ansicht der virtuellen Anzeige- und/oder Bedienelemente lagerichtig zu wenigstens einem Teil der technischen Anlage auf der Grundlage des vorgegebenen Musters und der von den Blickerfassungsmitteln erfassten Messgrößen Blickpunkt und Blickrichtung des Nutzers (117), Wiedergabemittel zum Darstellen der lagerichtigen Ansicht der virtuellen Anzeigeund/oder Bedienelemente in einem Blickfeld des Nutzers (117), Gestenerkennungsmittel zum Erkennen von Bediengesten des Nutzers (117), insbesondere von sich auf die virtuellen Bedienelemente beziehenden Bediengesten, und Steuermittel zum Erzeugen von Steuerbefehlen für die technische Anlage und/oder die Wiedergabemittel aus von den Gestenerkennungsmitteln erkannten Bediengesten.A clear and flexible system (100), which is reduced in terms of effort and weight, for monitoring and / or operating a technical system, in particular a vehicle (101), by a user (117) comprises gaze detection means for detecting a point of view and a viewing direction of the user (117) relative to the technical system, providing means for providing a predetermined pattern of virtual display elements for monitoring and / or virtual operating elements for operating the technical system, image generating means for generating a view of the virtual display and / or operating elements in the correct position for at least part of the technical system on the Basis of the predefined pattern and the measured variables detected by the gaze detection means Viewpoint and line of sight of the user (117), reproduction means for displaying the correct position view of the virtual display and / or control elements in a field of view of the user (117), gesture recognition means for the user know of operating gestures of the user (117), in particular of operating gestures relating to the virtual operating elements, and control means for generating control commands for the technical system and / or the playback means from operating gestures recognized by the gesture recognition means.

Description

Stand der TechnikState of the art

Aus der DE 10 2005 050 350 A1 sind ein System und Verfahren zur Überwachung einer technischen Anlage bekannt. Eine Kamera erfasst von einem Beobachtungspunkt aus Betriebsmittel sowie zum Anlagenprozess gehörende Produkte optisch und gibt sie als erste Bilddaten aus. Eine Simulationseinheit zur prozesstechnischen Anbindung und Nachbildung der Betriebsmittel, ggf. der Produkte, sowie deren kinematischer Interaktion als graphische Objekte in einem virtuellen 3-D-Modell der Anlage weist Mittel zur Ausgabe von zweiten Bilddaten als graphisches Abbild einer virtuellen Ansicht auf das 3-D-Modell von einem virtuellen Beobachtungspunkt aus auf. Eine Überwachungseinrichtung umfasst die Simulationseinheit mit Mitteln zum simultanen Einstellen des virtuellen Beobachtungspunkts auf den Beobachtungspunkt der Kamera und weist ferner eine Bildvergleichseinheit zum Vergleich der ersten Bilddaten mit den zweiten Bilddaten und zur Ausgabe von Positionsangaben zu Bildbereichen mit einer signifikanten visuellen Abweichung in den entsprechenden Abbildern auf. Eine Auswerteeinheit dient der Zuordnung der Positionsangaben zum entsprechenden Betriebsmittel und/oder Produkt sowie zur Ausgabe dazu entsprechender Meldedaten. Bevorzugt gibt die Simulationseinheit das graphische Abbild in Form von vierten Bilddaten aus, wobei dann nur die graphischen Objekte des 3D-Modells der Anlage abgebildet oder optisch hervorgehoben werden, welchen Meldedaten aufgrund einer signifikanten Abweichung von der Bewertungseinheit zugewiesen worden sind.From the DE 10 2005 050 350 A1 are known a system and method for monitoring a technical facility. A camera records optically from an observation point of equipment as well as products belonging to the plant process and outputs them as the first image data. A simulation unit for process-technical connection and simulation of the resources, possibly the products, and their kinematic interaction as graphical objects in a virtual 3-D model of the system has means for outputting second image data as a graphical image of a virtual view on the 3-D Model from a virtual observation point on. A monitoring device comprises the simulation unit with means for simultaneously setting the virtual observation point to the observation point of the camera and further comprises an image comparison unit for comparing the first image data with the second image data and for outputting position information to image areas with a significant visual deviation in the corresponding images. An evaluation unit is used to assign the position information to the corresponding resource and / or product as well as to output corresponding reporting data. Preferably, the simulation unit outputs the graphic image in the form of fourth image data, in which case only the graphic objects of the 3D model of the system are imaged or visually highlighted, to which reporting data have been assigned due to a significant deviation from the evaluation unit.

Das obige System weist insbesondere eine an die Überwachungseinrichtung anschließbare Datenbrille auf, die auf Basis eines optischen Durchsichtverfahrens arbeitet, die Kamera zur optischen Erfassung der Betriebsmittel und der Produkte der Anlage, eine Anzeigeeinheit zur lagerichtigen Einblendung der zweiten oder vierten Bilddaten in das Sichtfeld eines Benutzers sowie ein Trackingsystem zur fortlaufenden Ermittlung der Position des Benutzers und dessen Blickrichtung auf die Betriebsmittel und Produkte enthält. Das Trackingsystem gibt Parameter eines dazu korrespondierenden Beobachtungspunkts der Kamera an die Simulationseinheit aus. Die Datenbrille kann auch eine Funkschnittstelle aufweisen, z.B. auf Basis eines WLAN-, Bluetooth- oder DECT-Standards, um Daten mit dem System zur Überwachung der technischen Anlage austauschen.The above system has in particular a connectable to the monitoring device data goggles, which operates on the basis of a visual inspection method, the camera for optical detection of the equipment and the products of the system, a display unit for the correct position display of the second or fourth image data in the field of view of a user and contains a tracking system for continuously determining the position of the user and his view of the resources and products. The tracking system outputs parameters of a corresponding observation point of the camera to the simulation unit. The data glasses may also have a radio interface, e.g. based on a WLAN, Bluetooth or DECT standard to exchange data with the system for monitoring the technical equipment.

Aus der DE 10 2007 025 530 A1 sind ein Verfahren zum visuellen Vermitteln von Informationen in einem Kraftfahrzeug und eine Informationsvermittlungsvorrichtung eines Kraftfahrzeugs zum visuellen Vermitteln von Informationen bekannt, mit denen eine verbesserte Informationsdarstellung in einem Kraftfahrzeug, insbesondere von Informationen, die zu einer Bedienung von Kraftfahrzeugfunktionen notwendig sind, ermöglicht werden soll. Hierfür ist vorgesehen, eine Anzeigeeinheit, die mindestens eine frei gestaltbare Anzeigefläche umfasst, mit einer Blickrichtungserfassungseinheit zu koppeln. Die von der Blickrichtungserfassungseinheit erfasste Blickrichtung eines Nutzers wird ausgewertet, um ein Blickverhalten zu ermitteln. Die dargestellten Informationen werden in Abhängigkeit von dem ermittelten Blickverhalten optimiert verändert dargestellt, um eine an die Blickgewohnheiten des Nutzers angepasste Darstellung und damit Wahrnehmung und Erkennung der Informationen zu ermöglichen. Bevorzugt ist dazu eine Veränderung der Darstellungspositionen von Darstellungselementen zueinander oder eine Veränderung der Darstellungsgröße mindestens eines Darstellungselements auf der Anzeigefläche vorgesehen. Eine Ausführungsform sieht z.B. vor, für Darstellungselemente eine Betrachtungshäufigkeit und eine Betrachtungsdauer zu ermitteln und die Darstellungselemente mit einer größeren Betrachtungshäufigkeit und/oder einer längeren Betrachtungsdauer größer und/oder und zentraler oder in bevorzugten Gebieten der Anzeigefläche darzustellen. Auch kann die Blickrichtungserfassungseinheit ermitteln, welche Bereiche der Anzeigefläche der Nutzer nicht oder nur erschwert betrachten kann, und danach die Darstellungsposition bestimmt werden. Die Abhängigkeit der Darstellung der Informationen vom ermittelten Blickverhalten stellt jedoch keine gezielte Auswahl eines Darstellungselements im Sinne einer Markierung dar, wie sie für ein Auslösen einer mit der Information gegebenenfalls verknüpften Funktion notwendig wäre.From the DE 10 2007 025 530 A1 For example, a method for visually conveying information in a motor vehicle and an information switching device of a motor vehicle for visually conveying information are known with which an improved information representation in a motor vehicle, in particular information necessary for operating vehicle functions, should be made possible. For this purpose, it is provided to couple a display unit comprising at least one freely designable display area to a sight line detection unit. The viewing direction of a user detected by the sight line detection unit is evaluated in order to determine a viewing behavior. The displayed information is displayed in an optimized manner as a function of the determined gaze behavior, in order to enable a representation adapted to the viewing habits of the user and thus to enable the perception and recognition of the information. For this purpose, a change in the presentation positions of presentation elements relative to one another or a change in the representation size of at least one presentation element on the display surface is preferably provided for this purpose. An embodiment provides, for example, to determine a viewing frequency and a viewing duration for display elements and to display the display elements with a larger viewing frequency and / or a longer viewing period larger and / or and more centrally or in preferred areas of the display area. The viewing direction detection unit can also determine which areas of the display area the user can not view, or only with difficulty, and then determine the display position. However, the dependency of the representation of the information on the determined gaze behavior does not constitute a targeted selection of a presentation element in the sense of a marking, as would be necessary for triggering a function possibly associated with the information.

In der DE 10 2004 005 816 A1 wird ein Kraftfahrzeug beschrieben, umfassend Symbolflächen mit jeweils einem eine Kfz-seitig ausführbare Funktion darstellenden Symbol im Sichtbereich des Fahrers, z.B. am Armaturenbrett, an der A-Säule oder der Motorhaube, eine Einrichtung zur Erfassung der Blickrichtung des Fahrers bezüglich der Symbolflächen zur Bestimmung einer betrachteten Symbolfläche und zur Auslösung der einer Symbolfläche zugeordneten Funktion in Abhängigkeit des Erfassungsergebnisses sowie eine Bestätigungseinrichtung für die Blickauswahl. Die Symbolflächen sind als Anzeigeflächen, z.B. als Flüssigkristall-Anzeigen, aber auch als Blickfeldanzeige ausgebildet. Ihnen sind die Funktionen teils fest, teils variabel zugeordnet. Die Betätigung erfolgt durch Blick auf die ausgewählte Symbolfläche und Bestätigung durch eine für alle Symbolflächen zentrale Bestätigungseinrichtung, bevorzugt eine Taste am Lenkrad.In the DE 10 2004 005 816 A1 a motor vehicle is described, comprising symbol surfaces, each with a motor-side executable function representing symbol in the field of vision of the driver, eg on the dashboard, on the A-pillar or the hood, a device for detecting the line of sight of the driver with respect to the symbol surfaces for determining a considered symbol surface and to trigger the function associated with a symbol surface function of the detection result and a confirmation device for the gaze selection. The symbol surfaces are designed as display surfaces, eg as liquid crystal displays, but also as visual field displays. The functions are partly fixed and partly variable. The operation takes place by looking at the selected symbol area and confirmation by a central for all symbol areas confirmation device, preferably a button on the steering wheel.

Als DE 102 56 589 A1 sind ein System und ein Verfahren zum Sportfahrertraining mit einem Kraftfahrzeug auf einer Trainingsstrecke veröffentlicht, die einem Fahrer ermöglichen sollen, mit nur geringem Schulungsaufwand ein optimales Fahrverhalten im Zusammenhang von Gelände, Geschwindigkeit und Fahrzeugverhalten in realen Fahrsituationen zu entwickeln. Dies wird mit sogenannter erweiterter Realität realisiert, die es ermöglicht, dass dem Fahrer während einer Übungsfahrt über eine lichtdurchlässige Projektionsfläche zusätzlich zur Wahrnehmung der realen Fahrumgebung virtuelle geländebezogene Streckeninformationen eingeblendet werden, die lagerichtig zur Sicht des Fahrers auf die Trainingsstrecke dargestellt werden. Insbesondere markieren die virtuellen Streckeninformationen Ideallinien und/oder Kurvenscheitelpunkte und/oder Bremspunkte der Trainingsstrecke. Die virtuelle Streckeninformation, die dem Fahrer gezeigt wird, ist somit abhängig vom Ort, an dem sich das Fahrzeug befindet, als ein 3D-Szenario angelegt, in das der Fahrer hineinversetzt werden kann und für dessen Darstellung während der Fahrt die Position und Lage des Fahrzeugs sowie der Betrachtungswinkel des Fahrers auf die Trainingsstrecke ausschlaggebend sind. Dazu wird die Blickrichtung des Fahrers bzw. das Koordinatensystem des Kopfes des Fahrers in Relation zum Koordinatensystem des Fahrzeugs ermittelt, wofür vorteilhaft ein sogenanntes „Marker-Tracking“ eingesetzt wird. Dazu befinden sich am Kopf des Fahrers z.B. eine Video-Kamera und an definierten Punkten im Fahrzeug im Sichtfeld des Fahrers, z.B. im Bereich der Konsole, der Windschutzscheibe und der Seitenfenster, mindestens drei Marker. Die Lage der Marker zueinander ist definiert. Aus der Lage der Marker im fokussierten Bild der Kamera wird während der Übungsfahrt die 3D-Position und Orientierung des Kopfes des Fahrers ermittelt. Vorteilhaft kann ferner das „Marker-Tracking“ durch die Signale eines Inertialsensors, der sich ebenfalls am Kopf des Fahrers befindet, zu einem sogenannten „hybriden Head-Tracking“ ergänzt werden. Vereinfacht kann auch nur der Inertialsensor oder nur das Marker-Tracking eingesetzt werden.When DE 102 56 589 A1 are a system and a procedure for sportsman training with a Motor vehicle published on a training track that should allow a driver to develop with minimal training effort optimal driving behavior in the context of terrain, speed and vehicle behavior in real driving situations. This is realized with so-called augmented reality, which makes it possible for the driver during an exercise trip over a translucent projection surface in addition to the perception of the real driving environment virtual terrain-related route information are displayed, which are displayed in the correct position for the driver's view of the training route. In particular, the virtual route information marks ideal lines and / or curve vertices and / or braking points of the training route. The virtual route information shown to the driver is thus dependent on the location where the vehicle is located, as a 3D scenario in which the driver can be placed in it and for its presentation while driving the position and location of the vehicle as well as the viewing angle of the driver on the training route are crucial. For this purpose, the line of sight of the driver or the coordinate system of the head of the driver is determined in relation to the coordinate system of the vehicle, for which purpose a so-called "marker tracking" is used. For this purpose, the head of the driver, for example, a video camera and at defined points in the vehicle in the field of view of the driver, for example in the console, the windscreen and the side window, at least three markers. The position of the markers is defined. From the position of the markers in the focused image of the camera, the 3D position and orientation of the driver's head is determined during the exercise. Advantageously, furthermore, the "marker tracking" can be supplemented by the signals of an inertial sensor, which is also located at the head of the driver, in a so-called "hybrid head tracking". Simplified, only the inertial sensor or only the marker tracking can be used.

Als vorteilhafte Projektionsflächen für dieses System und Verfahren werden z.B. eine lichtdurchlässige Datenbrille oder eine Blickfeldanzeige genannt, mit der die virtuellen Informationen in die Windschutzscheibe des Fahrzeuges eingespiegelt werden.Advantageous projection surfaces for this system and method include e.g. a translucent data glasses or a field of view display, with the virtual information is reflected in the windshield of the vehicle.

Eine Datenbrille als Bildwiedergabevorrichtung für einen Computer ist auch aus der US 5,281,957 bekannt. Als spezielle Anwendungen dieser Vorrichtung wird dort u.a. eine Anzeige von Betriebsparametern eines Fahrzeugs sowie Kartenund Navigationsinformationen genannt.A data glasses as a picture reproduction device for a computer is also from the US 5,281,957 known. As special applications of this device, among other things, there is a display of operating parameters of a vehicle as well as map and navigation information.

Gemäß der Internet-Enzyklopädie "Wikipedia" – vgl. den Internetauftritt " http://de.wikipedia.org/wiki/Gestenerkennung ", Eintrag gelesen am 12.02.2013 um 14:42 Uhr – ist eine Gestenerkennung die automatische Erkennung von durch Menschen ausgeführten Gesten mittels eines Computers. Zur Gestenerkennung werden bestimmte Algorithmen herangezogen. Die Gestenerkennung wird zur Mensch-Computer-Interaktion genutzt. Jede Haltung und Bewegung des Körpers kann eine Geste darstellen. Die größte Bedeutung hat die Erkennung von Hand- und Kopfgesten. Es wird zwischen Systemen unterschieden, bei denen sich die zur Gestenerkennung notwendigen Sensoren direkt am Körper des Nutzers befinden, bevorzugt Positions- oder Beschleunigungssensoren, und solchen, bei denen der Nutzer durch externe Sensoren beobachtet wird, zumeist durch eine oder mehrere Kameras zum Erstellen von Bildern des Nutzers. Durch 2D- und 3D-Bildanalyse wird die Körperhaltung des Nutzers erkannt.According to the internet encyclopedia "Wikipedia" - cf. the internet appearance " http://de.wikipedia.org/wiki/Gestenerkennung ", Posted on 12.02.2013 at 14:42 - is a gesture recognition feature that automatically recognizes human-made gestures using a computer, uses algorithms to detect gestures, uses gesture recognition for human-computer interaction, and each pose Movement of the body can be a gesture, the recognition of hand and head gestures is of the utmost importance, a distinction is made between systems in which the sensors necessary for gesture recognition are located directly on the user's body, preferably position or acceleration sensors, and such in which the user is observed by external sensors, usually by one or more cameras for creating images of the user.With 2D and 3D image analysis, the posture of the user is detected.

Mit zunehmender Vielfalt und Kompliziertheit technischer Anlagen, insbesondere Fahrzeugen, nimmt auch die Vielfalt und Kompliziertheit von Anzeige- und Bedienelementen zu. Dies verursacht einen hohen Materialaufwand und zunehmendes Gewicht.With increasing diversity and complexity of technical equipment, especially vehicles, the variety and complexity of display and control elements is increasing. This causes a high cost of materials and increasing weight.

Offenbarung der ErfindungDisclosure of the invention

Die Erfindung hat die Aufgabe, Aufwand und Gewicht für Anzeige- und/oder Bedienelemente einer technischen Anlage, insbesondere eines Fahrzeugs, zu verringern und zugleich Anzeige und Bedienung übersichtlicher und flexibler zu gestalten.The invention has the task of reducing effort and weight for display and / or controls of a technical system, in particular a vehicle, while making the display and operation clearer and more flexible.

Erfindungsgemäß wird diese Aufgabe gelöst durch ein System zum Überwachen und/oder Bedienen einer technischen Anlage, insbesondere eines Fahrzeugs, durch einen Nutzer, umfassend Blickerfassungsmittel zum Erfassen eines Blickpunktes und einer Blickrichtung des Nutzers relativ zu der technischen Anlage, Bereitstellungsmittel zum Bereitstellen eines vorgegebenen Musters virtueller Anzeigeelemente zum Überwachen und/oder virtueller Bedienelemente zum Bedienen der technischen Anlage, Bilderzeugungsmittel zum Erzeugen einer Ansicht der virtuellen Anzeige- und/oder Bedienelemente lagerichtig zu wenigstens einem Teil der technischen Anlage auf der Grundlage des vorgegebenen Musters und der von den Blickerfassungsmitteln erfassten Messgrößen Blickpunkt und Blickrichtung des Nutzers, Wiedergabemittel zum Darstellen der lagerichtigen Ansicht der virtuellen Anzeige- und/oder Bedienelemente in einem Blickfeld des Nutzers, Gestenerkennungsmittel zum Erkennen von Bediengesten des Nutzers, insbesondere von sich auf die virtuellen Bedienelemente beziehenden Bediengesten, und Steuermittel zum Erzeugen von Steuerbefehlen für die technische Anlage und/oder die Wiedergabemittel aus von den Gestenerkennungsmitteln erkannten Bediengesten. Mit einem lagerichtigen Erzeugen der Ansicht der virtuellen Anzeige- und/oder Bedienelemente ist hier ein Erzeugen in der Weise bezeichnet, dass die Anzeige- und/oder Bedienelemente so darstellbar sind, als seien sie fester Bestandteil des wenigstens einen Teils der technischen Anlage, betrachtet vom Blickpunkt des Nutzers her und in seiner Blickrichtung gesehen; dies wird auch als kontaktanalog bezeichnet.According to the invention, this object is achieved by a system for monitoring and / or operating a technical installation, in particular a vehicle, by a user, comprising view detection means for detecting a viewpoint and a viewing direction of the user relative to the technical installation, provisioning means for providing a predetermined pattern more virtual Display elements for monitoring and / or virtual operating elements for operating the technical system, image generating means for generating a view of the virtual display and / or operating elements in the correct position to at least a part of the technical system based on the predetermined pattern and the measured variables of the observation point and Viewing direction of the user, display means for displaying the correct position view of the virtual display and / or operating elements in a field of view of the user, gesture recognition means for detecting operator gestures of the user, esp special control gestures relating to the virtual control elements, and control means for generating control commands for the technical installation and / or the reproduction means from control gestures recognized by the gesture recognition means. With a correct generation of the view of the virtual display and / or Operating elements here is a generating designated in such a way that the display and / or controls are displayed as if they are an integral part of at least part of the technical system, seen from the user's point of view and seen in his line of sight; This is also called contact analog.

Kern der Erfindung ist es dabei, eine reale Instrumententafel einer technischen Anlage, insbesondere eine reale Armaturentafel eines Fahrzeugs, mit darauf angeordneten realen und/oder virtuellen Anzeige- und/oder Bedienelementen, wie herkömmlichen Leuchten, Zeigerinstrumenten, Ziffernanzeigen, Schaltern, Tasten, Drehknöpfen, Stellrädern, usw., oder einen ebenfalls eine reale Instrumententafel bildenden Berührbildschirm mit virtuell darauf dargestellten Anzeigeund/oder Bedienelementen durch eine virtuelle Instrumententafel und auf dieser angeordnete virtuelle Anzeige- und/oder Bedienelemente zu ersetzen, die durch Variation des vorgegebenen Musters der virtuellen Anzeige- und/oder Bedienelemente beliebig konfigurierbar und damit in ihrer Gestaltung individuellen Anforderungen und Wünschen des Nutzers frei anpassbar ist.The core of the invention is thereby, a real instrument panel of a technical system, in particular a real instrument panel of a vehicle with thereon arranged real and / or virtual display and / or controls, such as conventional lights, pointer instruments, numerals, switches, buttons, knobs, Setting wheels, etc., or replace also a real instrument panel forming touch screen with virtually displayed display and / or controls by a virtual instrument panel and arranged on this virtual display and / or controls by varying the predetermined pattern of the virtual display and / or / or controls can be configured arbitrarily and thus in their design individual requirements and wishes of the user is freely customizable.

Die Erfindung ermöglicht in vorteilhafter Weise, eine große Vielfalt auch komplizierter Anzeige- und Bedienelemente einer technischen Anlage, insbesondere eines Fahrzeugs, mit deutlich verringertem Konstruktions- und Materialaufwand sowie Gewicht zu bilden und dabei zugleich die Übersichtlichkeit und Flexibilität von Anzeige und Bedienung zu erhöhen. Dadurch werden zum einen die Kosten für die Anzeige- und/oder Bedienelemente selbst gesenkt. Zum anderen ergibt sich durch die Gewichtsverminderung insbesondere für Fahrzeuge eine Verringerung des Energieverbrauchs, wodurch sich deren Reichweite erhöht und Abgase vermieden werden, ohne dass Einbußen im Bedienungskomfort entstehen.The invention advantageously makes it possible to form a large variety of complicated display and control elements of a technical system, in particular a vehicle, with significantly reduced design and material costs and weight while at the same time increasing the clarity and flexibility of display and operation. As a result, on the one hand, the costs for the display and / or controls themselves are lowered. On the other hand, the reduction in weight, in particular for vehicles, results in a reduction in energy consumption, which increases their range and avoids exhaust gases without sacrificing ease of use.

Vorteilhafte Ausgestaltungen des erfindungsgemäßen Systems sind in den auf Anspruch 1 rückbezogenen Unteransprüchen gekennzeichnet.Advantageous embodiments of the system according to the invention are characterized in the dependent claims on claim 1.

Gemäß einer bevorzugten Weiterbildung des erfindungsgemäßen Systems sind die Wiedergabemittel wenigstens weitgehend und wahlweise wenigstens eines der Blickerfassungsmittel, der Bilderzeugungsmittel, der Gestenerkennungsmittel und/oder der Steuermittel wenigstens teilweise von wenigstens einer Datenbrille umfasst. Eine derartige Datenbrille bildet eine leicht handhabbare, kompakte und vielseitig einsetzbare Einrichtung, mit der erfindungsgemäß Anzeige- und/oder Bedienelemente einfach, deutlich, übersichtlich und flexibel darstellbar sind und die darüber hinaus eingerichtet ist, wenigstens teilweise Aufgaben der Blickerfassung, Bilderzeugung, Gestenerkennung und/oder Steuerung auszuführen.According to a preferred embodiment of the system according to the invention, the reproducing means are at least largely and optionally at least one of the view detecting means, the image generating means, the gesture recognition means and / or the control means at least partially comprising at least one data goggles. Such data glasses form an easily manageable, compact and versatile device, with the display and / or controls according to the invention are simple, clear, clear and flexible representable and which is also set up, at least partially tasks of eye tracking, image generation, gesture recognition and / or execute control.

Nach einer anderen Ausführungsform des erfindungsgemäßen Systems sind wenigstens die Bilderzeugungsmittel und/oder die Steuermittel wenigstens teilweise von einer von der technischen Anlage umfassten Rechnereinheit, insbesondere von einem Fahrzeug-Bordrechner, gebildet. Vorteilhaft sind von dieser Rechnereinheit weiterhin wenigstens teilweise die Blickerfassungsmittel, die Bereitstellungsmittel und/oder die Gestenerkennungsmittel umfasst, soweit sie Rechenleistung und/oder Datenspeicherung im größeren Umfang benötigen, wodurch z.B. die Datenbrille von dieser Rechenleistung und/oder Datenspeicherung entlastet wird.According to another embodiment of the system according to the invention, at least the image generating means and / or the control means are at least partially formed by a computer unit comprised by the technical system, in particular by a vehicle on-board computer. Advantageously, this computer unit further comprises, at least in part, the view detection means, the provisioning means and / or the gesture recognition means, as far as they require computing power and / or data storage to a greater extent, whereby e.g. the data glasses are relieved of this computing power and / or data storage.

Eine andere Ausgestaltung des erfindungsgemäßen Systems ist dadurch gekennzeichnet, dass die Bereitstellungsmittel wenigstens weitgehend und wahlweise wenigstens eines der Blickerfassungsmittel, der Gestenerkennungsmittel und/oder der Steuermittel wenigstens teilweise von einem mobilen Datenkommunikationsgerät, insbesondere einem Mobiltelefon, umfasst sind. Durch wenigstens teilweise Speicherung des vorgegebenen Musters virtueller Anzeigeelemente zum Überwachen und/oder virtueller Bedienelemente zum Bedienen der technischen Anlage auf dem mobilen Datenkommunikationsgerät bzw. durch Schaffen einer Datenkommunikationsverbindung zum Bereitstellen dieses Musters aus einer weiteren Datenquelle, z.B. einem beliebigen Speicher, einer Datenbank oder dem Internet, können vom Nutzer gewählte, individuell erzeugte oder variierte Muster beliebig abgerufen und zur wahlweisen Verwendung in mehreren technischen Anlagen herangezogen werden. So kann ein Nutzer z.B. seine für ein Fahrzeug individuell konfigurierte Armaturentafel auch auf andere erfindungsgemäß ausgestattete Fahrzeuge übertragen und dadurch ein von wechselnden Nutzern gefahrenes Fahrzeug schnell und unkompliziert seinen eigenen Anforderungen anpassen.Another embodiment of the system according to the invention is characterized in that the provision means are at least largely and optionally at least one of the view detection means, the gesture recognition means and / or the control means at least partially by a mobile data communication device, in particular a mobile phone, comprises. By at least partially storing the predetermined pattern of virtual display elements for monitoring and / or virtual operating elements for operating the technical installation on the mobile data communication device or by providing a data communication connection for providing this pattern from a further data source, e.g. any memory, a database or the Internet, user-selected, individually generated or varied patterns can be retrieved as desired and used for optional use in several technical systems. So a user can e.g. his individually configured dashboard for a vehicle transferred to other vehicles according to the invention equipped and thereby adapt a driven by changing users vehicle quickly and easily his own requirements.

In einer anderen Fortbildung des erfindungsgemäßen Systems sind die Blickerfassungsmittel mit wenigstens einer Kamera und/oder wenigstens einem Inertialsensor ausgebildet, die von der technischen Anlage, insbesondere dem Fahrzeug, dort insbesondere als wenigstens eine Innenraumkamera, und/oder der wenigstens einen Datenbrille umfasst sind. Das Erfassen des Blickpunktes bzw. Beobachtungspunktes und der Blickrichtung des Nutzers sowie deren Änderungen erfolgt durch die technische Anlage oder durch die Datenbrille oder im Zusammenwirken beider Einrichtungen. Von der wenigstens einen Kamera der technischen Anlage werden Bilder des Kopfes des Nutzers aufgenommen und daraus zum Erfassen des Blickpunkts die aktuelle Lage, d.h. der Ort, des Kopfes bestimmt; aus einer Bestimmung der Ausrichtung des Kopfes des Nutzers wird aus diesen Bildern die Blickrichtung ermittelt. In einer Variation ist an der Datenbrille wenigstens eine Markierung angeordnet, die von der wenigstens einen Kamera der technischen Anlage zur Bestimmung des Blickpunkts und der Blickrichtung aufgenommen wird. Bevorzugt sind für eine dreidimensionale Bestimmung des Blickpunkts und der Blickrichtung wenigstens drei solcher Markierungen an der Datenbrille angeordnet. In einer anderen Variation wird die technische Anlage, insbesondere ein Innenraum des Fahrzeugs oder wenigstens eine dort angebrachte Markierung, bzw. werden bevorzugt wenigstens drei dort angebrachte Markierungen, von wenigstens einer Kamera in der Datenbrille aufgenommen und werden daraus Blickpunkt und Blickrichtung bestimmt. In entsprechender Weise werden in einer weiteren Abwandlung von der wenigstens einen Kamera der technischen Anlage Bilder der Datenbrille aufgenommen und daraus zum Erfassen des Blickpunkts die aktuelle Lage, d.h. der Ort, des Kopfes bestimmt; aus einer Bestimmung der Ausrichtung der Datenbrille wird aus diesen Bildern die Blickrichtung ermittelt. Zu diesem Zweck sind in der technischen Anlage, insbesondere in der von der technischen Anlage umfassten Rechnereinheit, Daten über Form und/oder Modell der Datenbrille gespeichert, und werden mit Hilfe dieser Daten durch Bilderkennungsverfahren aus den aufgenommenen Bildern der Datenbrille deren Lage und Ausrichtung ermittelt. Zusätzlich lässt sich die Blickrichtung der Augen des Nutzers erfassen.In another development of the system according to the invention, the view detection means are formed with at least one camera and / or at least one inertial sensor, which are included in the technical system, in particular the vehicle, there in particular as at least one interior camera, and / or the at least one data goggles. The detection of the viewpoint or observation point and the line of sight of the user as well as their changes takes place through the technical equipment or through the data glasses or in cooperation of both institutions. From the at least one camera of the technical system images of the user's head are taken and used to detect the viewpoint determines the current position, ie the location of the head; From a determination of the orientation of the user's head, the viewing direction is determined from these images. In one variation, at least one marker is attached to the data glasses arranged, which is received by the at least one camera of the technical system for determining the viewpoint and the viewing direction. Preferably, at least three such markings are arranged on the data glasses for a three-dimensional determination of the viewpoint and the viewing direction. In another variation, the technical system, in particular an interior of the vehicle or at least one marking attached thereto, or preferably at least three markings applied there, is recorded by at least one camera in the data goggles and from this viewpoint and viewing direction are determined. In a corresponding manner, in a further modification of the at least one camera of the technical system, images of the data glasses are taken and, for detecting the viewpoint, the current position, ie the location, of the head is determined; From a determination of the alignment of the data glasses, the viewing direction is determined from these images. For this purpose, data on the shape and / or model of the data glasses are stored in the technical system, in particular in the computer unit comprised by the technical system, and their position and orientation are determined with the aid of these data by image recognition methods from the recorded images of the data glasses. In addition, the viewing direction of the user's eyes can be detected.

Vorteilhaft wird der wenigstens eine Inertialsensor, z.B. wenigstens ein Lagesensor und/oder wenigstens ein Beschleunigungssensor, bevorzugt in der Datenbrille, zum Interpolieren von Werten für den Blickpunkt und/oder die Blickrichtung zwischen je zwei Aufnahmen der wenigstens einen Kamera herangezogen, indem Änderungen des Blickpunkts und/oder der Blickrichtung im Intervall zwischen den beiden Aufnahmen durch den wenigstens einen Inertialsensor erfasst werden. Der zeitliche Abstand zweier aufeinanderfolgender Aufnahmen der wenigstens einen Kamera lässt sich dann beträchtlich vergrößern. Dadurch wird der Datenstrom zum Übertragen der Aufnahmen, insbesondere zwischen der technischen Anlage und der Datenbrille, reduziert. Außerdem lassen sich Latenzzeiten für die Reaktion des Systems auf Bewegungen des Nutzers reduzieren, weil ein Inertialsensor von ihm erzeugte Daten insbesondere dann schneller liefert als eine Bildauswertung, wenn die letztere auf rechenintensive Erkennungsverfahren zurückgreifen muss, weil dafür z.B. keine Markierungen wie vorstehend beschrieben verfügbar sind.Advantageously, the at least one inertial sensor, e.g. at least one position sensor and / or at least one acceleration sensor, preferably in the data glasses, for interpolating values for the viewpoint and / or the line of sight between each two shots of the at least one camera used by changes in the viewpoint and / or the viewing direction in the interval between the two recordings are detected by the at least one inertial sensor. The time interval between two successive shots of the at least one camera can then be increased considerably. As a result, the data stream for transmitting the recordings, in particular between the technical system and the data glasses, is reduced. In addition, latency times for the system's response to user movement can be reduced because an inertial sensor provides data generated by it faster than image evaluation, especially if the latter needs to rely on computationally intensive detection methods, e.g. no labels are available as described above.

Gemäß einer weiteren Ausgestaltung sind die Blickerfassungsmittel mit wenigstens einer vom mobilen Datenkommunikationsgerät, insbesondere Mobiltelefon, umfassten Kamera ausgebildet, so dass die Erfassung von Blickpunkt und/oder Blickrichtung des Nutzers auch durch das mobile Datenkommunikationsgerät erfolgen kann. Diese Ausgestaltung ist insbesondere vorteilhaft, wenn zusätzlich wenigstens die Bereitstellungsmittel und die Bilderzeugungsmittel vom mobilen Datenkommunikationsgerät umfasst sind.According to a further embodiment, the view detection means are formed with at least one camera comprised by the mobile data communication device, in particular a mobile telephone, so that the detection of the user's point of view and / or viewing direction can also be effected by the mobile data communication device. This embodiment is particularly advantageous if in addition at least the provisioning means and the image generating means are included in the mobile data communication device.

Gemäß einer anderen Weiterbildung des erfindungsgemäßen Systems sind die Gestenerkennungsmittel mit wenigstens einer Kamera und/oder wenigstens einem Ultraschallsensor ausgebildet, die von der technischen Anlage, insbesondere dem Fahrzeug, und/oder der wenigstens einen Datenbrille umfasst sind. Bevorzugt sind die Gestenerkennungsmittel mit der wenigstens einen bereits für die Blickerfassung benutzten Kamera ausgestaltet, so dass durch die doppelte Nutzung eine Einsparung von Geräteaufwand und somit eine Gewichts- und Kostenverringerung vor allem für die Datenbrille erzielt wird. In einer vorteilhaften Abwandlung sind die Gestenerkennungsmittel mit der wenigstens einen vom mobilen Datenkommunikationsgerät, insbesondere Mobiltelefon, umfassten Kamera ausgebildet.According to another embodiment of the system according to the invention, the gesture recognition means are formed with at least one camera and / or at least one ultrasonic sensor, which are comprised by the technical system, in particular the vehicle, and / or the at least one data goggles. Preferably, the gesture recognition means are designed with the at least one camera already used for the eye detection, so that a saving of equipment expenditure and thus a weight and cost reduction is achieved especially for the data glasses by the double use. In an advantageous modification, the gesture recognition means are formed with the at least one camera comprised by the mobile data communication device, in particular a mobile telephone.

Die oben genannte Aufgabe wird weiterhin gelöst durch ein Verfahren zum Überwachen und/oder Bedienen einer technischen Anlage, insbesondere eines Fahrzeugs, durch einen Nutzer, umfassend die Verfahrensschritte Erfassen eines Blickpunktes und einer Blickrichtung des Nutzers relativ zu der technischen Anlage, Bereitstellen eines vorgegebenen Musters virtueller Anzeigeelemente zum Überwachen und/oder virtueller Bedienelemente zum Bedienen der technischen Anlage, Erzeugen einer Ansicht der virtuellen Anzeige- und/oder Bedienelemente lagerichtig zu wenigstens einem Teil der technischen Anlage auf der Grundlage des vorgegebenen Musters und der erfassten Messgrößen Blickpunkt und Blickrichtung des Nutzers, Darstellen der lagerichtigen Ansicht der virtuellen Anzeige- und/oder Bedienelemente in einem Blickfeld des Nutzers, Erkennen von Bediengesten des Nutzers, insbesondere von sich auf die virtuellen Bedienelemente beziehenden Bediengesten, und Erzeugen von Steuerbefehlen für die technische Anlage und/oder die Darstellung der lagerichtigen Ansicht der virtuellen Anzeige- und/oder Bedienelemente aus erkannten Bediengesten.The above object is further achieved by a method for monitoring and / or operating a technical system, in particular a vehicle, by a user, comprising the method steps detecting a viewpoint and a viewing direction of the user relative to the technical system, providing a predetermined pattern more virtual Display elements for monitoring and / or virtual operating elements for operating the technical system, generating a view of the virtual display and / or operating elements in the correct position to at least a part of the technical system on the basis of the predetermined pattern and the detected measured variables viewpoint and viewing direction of the user, representing the correct view of the virtual display and / or controls in a field of view of the user, detecting operator gestures of the user, in particular relating to the virtual controls operating gestures, and generating control commands for the technis che system and / or the representation of the correct position view of the virtual display and / or controls from recognized operating gestures.

Dabei wird der Blickpunkt, d.h. der Beobachtungspunkt, des Nutzers ermittelt durch die Bestimmung der aktuellen Lage, d.h. des Ortes, und die Blickrichtung durch die Bestimmung der Blickrichtung des Kopfes des Nutzers bzw. einer von ihm getragenen Datenbrille; d.h. Lage und Ausrichtung bezogen auf die technische Anlage, insbesondere das Fahrzeug, bevorzugt auf den Innenraum des Fahrzeugs. Zusätzlich kann die Blickrichtung der Augen des Nutzers ermittelt werden. Das Erfassen von Blickpunkt und Blickrichtung des Nutzers erfolgt (vorzugsweise mittels wenigstens einer Kamera an der technischen Anlage, z.B. Innenraumkamera des Fahrzeugs, an der Datenbrille oder am mobilen Datenkommunikationsgerät, z.B. Mobiltelefon. Durch letzteres wird bevorzugt auch das Muster virtueller Anzeige- und/oder Bedienelemente bereitgestellt. Mit dem lagerichtigen bzw. kontaktanalogen Erzeugen der Ansicht der virtuellen Anzeigeund/oder Bedienelemente ist wieder ein Erzeugen in der Weise bezeichnet, dass die Anzeige- und/oder Bedienelemente perspektivisch korrekt so darstellbar sind, als seien sie fester Bestandteil des wenigstens einen Teils der technischen Anlage, betrachtet vom Blickpunkt des Nutzers her und in seiner Blickrichtung gesehen. Das Erzeugen der genannten Ansicht erfolgt bevorzugt in einer von der technischen Anlage umfassten Rechnereinheit, insbesondere von einem Fahrzeug-Bordrechner, z.B. von einer als Wiedergabemittel eingesetzten Datenbrille oder einem mobilen Datenkommunikationsgerät, insbesondere Mobiltelefon.In this case, the viewpoint, ie the observation point, of the user is determined by the determination of the current position, ie of the location, and the viewing direction by the determination of the viewing direction of the user's head or a data goggle carried by him; ie location and orientation relative to the technical system, in particular the vehicle, preferably on the interior of the vehicle. In addition, the viewing direction of the user's eyes can be determined. The detection of viewpoint and viewing direction of the user takes place (preferably by means of at least one camera on the technical system, eg interior camera of the vehicle, on the data glasses or on the mobile Data communication device, eg mobile phone. The latter also preferably provides the pattern of virtual display and / or operating elements. With the positionally correct or contact-analogous generation of the view of the virtual display and / or operating elements, a generation is again designated in such a way that the display and / or operating elements can be represented correctly in perspective as if they were an integral part of the at least one part of the technical installation , viewed from the point of view of the user and seen in his line of sight. The aforementioned view is preferably generated in a computer unit comprised by the technical system, in particular by a vehicle on-board computer, eg by a data goggles used as a playback device or a mobile data communication device, in particular a mobile telephone.

Erfindungsgemäß dient als Wiedergabemittel eine beliebige Einrichtung zum Darstellen, insbesondere Projizieren, der lagerichtigen Ansicht der virtuellen Anzeige- und/oder Bedienelemente in einem Blickfeld des Nutzers, wobei die Darstellung beliebig im Raum erfolgen kann und nicht an eine Projektionsfläche gebunden ist. Insbesondere wird dabei die Technik der sogenannten erweiterten Realität eingesetzt. Durch Verwendung einer Projektionsfläche wird aber ggf. die Bedienbarkeit für den Nutzer erleichtert. Die Datenbrille als bevorzugte Ausführung der Wiedergabemittel ist insbesondere auf Basis eines optischen Durchsichtverfahrens ausgestaltet.According to the invention, any means for displaying, in particular projecting, the positionally correct view of the virtual display and / or operating elements in a field of view of the user serves as display means, wherein the display can be made arbitrarily in space and is not bound to a projection surface. In particular, the technique of so-called augmented reality is used. By using a projection surface, however, the operability for the user is possibly facilitated. The data glasses as a preferred embodiment of the display means is designed in particular on the basis of an optical viewing method.

Zum Erkennen der Bediengesten des Nutzers, insbesondere der sich auf die virtuellen Bedienelemente beziehenden Bediengesten, werden von diesen bevorzugt ebenfalls Bilder mit wenigstens einer der Kameras aufgenommen, die von der technischen Anlage, insbesondere dem Fahrzeug, dort insbesondere als wenigstens eine Innenraumkamera, und/oder der wenigstens einen Datenbrille und/oder dem mobilen Datenkommunikationsgerät, insbesondere Mobiltelefon, umfasst sind. Wahlweise werden die Bediengesten mit wenigstens einem Ultraschallsensor aufgenommen, der dazu bevorzugt von der technischen Anlage umfasst ist. In weiteren Variationen sind zum selben Zweck wahlweise oder in Kombination zu den vorgenannten Kameras bzw. Sensoren auch Sensoren anderer Bauformen vorgesehen wie z.B. Infrarotsensoren, kapazitive Sensoren, oder dergleichen; die Kameras können als Videokameras ausgestaltet sein. Die Bediengesten werden durch eine Bildauswertung erkannt, die je nach Anordnung der wenigstens einen Kamera vorteilhaft von der technischen Anlage, insbesondere dem Fahrzeug, und/oder der wenigstens einen Datenbrille und/oder dem mobilen Datenkommunikationsgerät, insbesondere Mobiltelefon, ausgeführt wird.For recognizing the operating gestures of the user, in particular the operating gestures relating to the virtual operating elements, they are preferably also images with at least one of the cameras taken from the technical system, in particular the vehicle, there in particular as at least one interior camera, and / or the at least one data glasses and / or the mobile data communication device, in particular mobile phone, are included. Optionally, the operating gestures are recorded with at least one ultrasonic sensor, which is preferably included in the technical system. In further variations, sensors of other types are also provided for the same purpose optionally or in combination with the aforementioned cameras or sensors, such as e.g. Infrared sensors, capacitive sensors, or the like; the cameras can be designed as video cameras. The operating gestures are detected by an image evaluation, which is advantageously carried out depending on the arrangement of the at least one camera of the technical system, in particular the vehicle, and / or the at least one data glasses and / or the mobile data communication device, in particular mobile phone.

Das Erzeugen von Steuerbefehlen erfolgt durch die als Steuermittel bezeichnete Einrichtung einerseits zur Bedienung der technischen Anlage, andererseits zur Weiterleitung an die Wiedergabemittel zur Änderung der Ansicht der Anzeigeelemente und/oder Bedienelemente aus den von den Gestenerkennungsmitteln erkannten Bediengesten bevorzugt in der von der technischen Anlage umfassten Rechnereinheit, in einer anderen Ausgestaltung des erfindungsgemäßen Verfahrens wahlweise wenigstens zum Teil in der Datenbrille und/oder dem mobilen Datenkommunikationsgerät, insbesondere Mobiltelefon.The generation of control commands is effected by means designated as control means, on the one hand, for operating the technical system, and on the other hand for forwarding to the display means for changing the view of the display elements and / or operating elements from the operating gestures recognized by the gesture recognition means, preferably in the computer unit comprised by the technical system , in another embodiment of the inventive method optionally at least partially in the data glasses and / or the mobile data communication device, in particular mobile phone.

In einer Anwendung auf ein Fahrzeug ist die Integration von verschiedenen Fahrzeugfunktionen in das erfindungsgemäße System und Verfahren möglich. So lässt sich zum einem ein Fahrerinformationssystem bedienen, in dem die virtuellen Bedienelemente sowie Straßenkartendarstellungen, Menüs usw. als virtuelle Anzeigeelemente auf einer freien Fläche der Armaturentafel stereoskopisch richtig und kontaktanalog dargestellt werden, zum anderen lässt sich eine kontaktanaloge Blickfeldanzeige realisieren, in der z.B. ein Fahrschlauch und die gefahrene Geschwindigkeit beim Blick aus der Windschutzscheibe angezeigt werden. Wird für jeden Fahrzeuginsassen eine gesonderte Datenbrille vorgesehen, können diese zugleich mit unterschiedlichen Daten gespeist werden; z.B. stellt die beschriebene Rechnereinheit fahrzeugrelevante Daten für den Fahrer und z.B. ein Video für den oder die Beifahrer bereit.In an application to a vehicle, the integration of various vehicle functions in the system and method of the invention is possible. Thus, on the one hand, a driver information system can be used, in which the virtual control elements and road map representations, menus, etc. are represented as virtual display elements on a free surface of the dashboard stereoscopically correct and contact analogue, on the other hand can realize a contact-analogue visual field display, in the example. a driving tube and the speed driven when looking out of the windshield are displayed. If separate data glasses are provided for each vehicle occupant, they can be fed with different data at the same time; e.g. the described computer unit provides vehicle-relevant data for the driver and e.g. a video ready for the passenger or passengers.

Die virtuellen Anzeige- und/oder Bedienelemente können kontextabhängig mehrfach überbelegt werden, indem bestimmte dieser Elemente in unterschiedlichen Eingabemodi unterschiedliche Gestaltung annehmen. Als Beispiel für zwei Eingabemodi seien die Bedienung einer Fahrzeugheizung oder eines Radios genannt. Im Radio-Eingabemodus kann durch Betätigen eines virtuellen Bedienelements z.B. die Lautstärke reguliert werden, während durch Betätigen desselben virtuellen Bedienelements im Heizungs-Eingabemodus z.B. die Temperatur eingestellt wird. Eine personenabhängige mehrfache Überbelegung ist in gleicher Art beim Betrieb mehrerer Datenbrillen für mehrere Nutzer möglich, indem unterschiedlichen Nutzern an derselben Stelle unterschiedliche Anzeige- und/oder Bedienelemente angezeigt werden. Dazu ist die Gestenerkennung bevorzugt derart eingerichtet, dass sie zu unterscheiden vermag, welchem Nutzer die bedienende Hand gehört.The virtual display and / or controls can be contextually over-populated multiple times by certain of these elements assume different design in different input modes. As an example of two input modes are called the operation of a vehicle heating or a radio. In the radio input mode, by actuating a virtual control element, e.g. the volume can be regulated while, for example, by operating the same virtual control in the heater input mode, e.g. the temperature is set. A person-dependent multiple overcrowding is possible in the same way when operating multiple data glasses for multiple users by different users at the same place different display and / or controls are displayed. For this purpose, the gesture recognition is preferably set up such that it is able to distinguish which user owns the serving hand.

Die erfindungsgemäß ausgestalteten Anzeige- und/oder Bedienelemente sind nach Bedarf auch mit realen Anzeige- und/oder Bedienelementen kombinierbar, die dann in der gleichen flexiblen Weise handhabbar und konfigurierbar, z.B. auch mehrfach überbelegbar, sind wie die virtuellen Elemente. Als Beispiel kann die Armaturentafel mit einer berührungsempfindlichen Folie, einer sogenannten Touchfolie, belegt werden, die zusätzliche Anzeige- und/oder Bedienmöglichkeiten bei geringem Material- und Kostenaufwand oder durch ein weiteres Signal zu einer auf ein virtuelles Bedienelement bezogenen Bediengeste eine verbesserte Erkennung dieser Bediengeste bietet. Auch sind die Orte, an denen virtuelle Bedienelemente dargestellt werden, z.B. auf der Armaturentafel, mit funktionslosen mechanischen Bedienelemente-Attrappen ausrüstbar, die z.B. Taster, Schiebeoder Drehregler nachbilden und dem Nutzer einen verbesserten haptischen Eindruck vermitteln.The inventively designed display and / or controls are also combined with real display and / or controls as needed, which can then be handled and configured in the same flexible manner, for example, several times verifiable, as the virtual elements. As an example, the dashboard with a touch-sensitive film, a so-called Touch foil, are occupied, the additional display and / or operating options with low material and cost or by another signal to a related to a virtual control operating gesture provides improved detection of this operating gesture. Also, the places where virtual controls are displayed, for example, on the dashboard, equipped with non-functional mechanical control dummies that emulate, for example, buttons, sliding or dial and give the user an improved haptic impression.

Auf die vorbeschriebene Weise ist es möglich, frei konfigurierbare und personalisierte Anzeige- und Bedienelemente für ein Fahrzeug zu modellieren, welche sich auch auf andere Fahrzeuge z.B. mit Hilfe von Nutzerprofilen übertragen lassen. Die Nutzerprofile lassen sich in einer Datenbank, z.B. auf einem Server, oder lokal auf einem Mobiltelefon oder sonstigen mobilen Datenträgern speichern und in ein anderes erfindungsgemäß eingerichtetes Fahrzeug übertragen. Dazu können auch individuelle Einstellungen für den Fahrer und/oder den bzw. die Beifahrer am Fahrzeug einbezogen werden, wie z.B. eine Einstellung von Sitzen, Rückspiegeln oder dergleichen. Diese Funktion ist für von wechselnden Fahrern betriebene Fahrzeuge vorteilhaft, da unabhängig vom Fahrzeugtyp die Anzeigeund/oder Bedienelemente und persönlichen Vorlieben für den Fahrer an der gleichen Stelle zu finden sind.In the manner described above, it is possible to model freely configurable and personalized display and control elements for a vehicle, which also applies to other vehicles, e.g. with the help of user profiles. The user profiles can be stored in a database, e.g. stored on a server, or locally on a mobile phone or other mobile data carriers and transferred to another inventively equipped vehicle. For this purpose, individual settings for the driver and / or the passenger (s) on the vehicle may also be included, such as e.g. a setting of seats, rear-view mirrors or the like. This function is advantageous for vehicles operated by changing drivers since, regardless of the vehicle type, the display and / or operating elements and personal preferences for the driver can be found in the same location.

Ein weiterer Vorteil ist die Nutzung aller freien Flächen im Fahrzeug. Hierzu zählen insbesondere der Wagenhimmel, die Dachsäulen oder die Fensterscheiben, an die sowohl fahrzeugrelevante Daten als auch Unterhaltung wie Werbung oder Filme projiziert werden können. Der Einsatz von Datenbrillen erlaubt ferner eine Projektion von Objekten, die scheinbar frei im Raum stehen, und die Gestenerkennung ist auch zum Erkennen frei im Raum ausgeführter Bediengesten eingerichtet.Another advantage is the use of all free surfaces in the vehicle. These include, in particular, the car roof, the roof pillars or the window panes, to which both vehicle-relevant data and entertainment such as advertising or films can be projected. The use of data glasses also allows a projection of objects that appear to be free in space, and gesture recognition is also set up to recognize idle gestures executed in the room.

Die Datenbrille kann bevorzugt auch eine Sehschärfekorrektur und einen Sonnenschutz umfassen. Um einem Verlust der Datenbrille vorzubeugen, ist an der technischen Anlage, insbesondere im Fahrzeug, vorteilhaft eine spezielle Halterung vorgesehen, in der bei Nichtnutzung der Datenbrille bzw. der technischen Anlage von der Datenbrille umfasste Akkus zur Stromversorgung der Brille aufladbar sind. Ein mit der Datenbrille verbundener akustischer Signalgeber bzw. eine Einblendung im Gesichtsfeld des Nutzers sind zum Abgeben von Warnsignalen eingerichtet, die ausgelöst werden, wenn der Nutzer die technische Anlage, insbesondere das Fahrzeug, verlässt, ohne dass die Datenbrille in die spezielle Halterung gelegt wurde.The data glasses may preferably also include visual acuity correction and sun protection. In order to prevent the loss of data glasses, a special holder is advantageously provided on the technical system, in particular in the vehicle, in which rechargeable batteries for powering the spectacles can be recharged when the data glasses or the technical system are not in use. An acoustic signal transmitter connected to the data glasses or an overlay in the user's field of view are set up for issuing warning signals that are triggered when the user leaves the technical system, in particular the vehicle, without the data glasses being placed in the special holder.

Als technische Anlage sind außer einem Fahrzeug, d.h. insbesondere einem Straßenfahrzeug, beliebige andere Anlagen möglich, z.B. Computer, Maschinen, Flugzeugcockpits, Eisenbahn- oder Straßenbahnfahrzeuge bzw. deren Führerstände, u.a.As a technical installation, apart from a vehicle, i. in particular a road vehicle, any other equipment possible, e.g. Computers, machines, aircraft cockpits, railway or tram vehicles or their driver's cabs, i.a.

Die oben genannte Aufgabe wird schließlich gelöst durch ein Computerprogrammprodukt, aufweisend Programmteile zum Ausführen eines Verfahrens der vorbeschriebenen Art, durch eine maschinenlesbare, insbesondere computerlesbare, Datenstruktur, erzeugt durch ein derartiges Verfahren und/oder durch mindestens ein derartiges Computerprogrammprodukt, und/oder durch einen maschinenlesbaren, insbesondere computerlesbaren, Datenträger, auf dem mindestens ein derartiges Computerprogrammprodukt aufgezeichnet und/oder gespeichert ist und/oder auf dem mindestens eine derartige Datenstruktur zum Abruf bereit gehalten ist.The above object is finally achieved by a computer program product comprising program parts for carrying out a method of the type described above, by a machine-readable, in particular computer-readable, data structure generated by such a method and / or by at least one such computer program product, and / or by a machine-readable one , in particular computer-readable, data carrier on which at least one such computer program product is recorded and / or stored and / or on which at least one such data structure is kept ready for retrieval.

Ausführungsbeispiele der Erfindung sind in der Zeichnung, in deren Figuren übereinstimmende Elemente mit identischen Bezugszeichen versehen sind, dargestellt und werden im nachfolgenden näher beschrieben. Es zeigenEmbodiments of the invention are in the drawing, in the figures, matching elements are provided with identical reference numerals, and will be described in more detail below. Show it

1 eine blockschematische Darstellung eines Ausführungsbeispiels für ein erfindungsgemäßes System und 1 a block diagram of an embodiment of an inventive system and

2 eine blockschematische Darstellung eines Ausführungsbeispiels für ein erfindungsgemäßes Verfahren. 2 a block schematic representation of an embodiment of a method according to the invention.

Das System 100 nach 1 umfasst eine technische Anlage, die hier als Fahrzeug 101 ausgebildet ist. Von diesem ist schematisch ein Teil des Innenraums mit Armaturentafel 102, Windschutzscheibe 103, A-Säule 104 und Wagenhimmel 105 angedeutet. Im Gegensatz zu einem herkömmlichen Fahrzeug bilden diese Teile des Innenraums lediglich Projektionsflächen für eine Darstellung virtueller Anzeige- und/oder Bedienelemente und enthalten keine realen Anzeigeund/oder Bedienelemente; nur ein Lenkrad 106 ist vorgesehen, das ebenfalls als derartige Projektionsfläche dienen kann. Das Fahrzeug 101 umfasst ferner eine Rechnereinheit 107, bevorzugt einen Fahrzeug-Bordrechner. Die Rechnereinheit 107 ist mit wenigstens einer Innenraumkamera 108, wenigstens einem Ultraschallsensor 109, wenigstens einem Inertialsensor 110, einer Antenne 111 für ein Funkortungssystem, vorzugsweise einer GPS-Antenne, und einer drahtlosen Datenübertragungs-Schnittstelle 112, wie z.B. Bluetooth oder WLAN, kurz als Luftschnittstelle bezeichnet, verbunden. Über einen Datenbus 113 wie z.B. eine sogenannte CAN/MOST-Schnittstelle ist die Rechnereinheit 107 mit elektrischen bzw. elektronischen Geräten 114 des Fahrzeugs 101 verbunden, an die Steuerbefehle von der Rechnereinheit 107 übermittelt oder von denen Signale bzw. Daten zur Anzeige auf wenigstens einem Anzeigeelement rückübermittelt werden. Ein externer Datenspeicher 115, z.B. ein USB-Stick, ist mit der Rechnereinheit 107 zur Abspeicherung von Daten verbindbar.The system 100 to 1 includes a technical facility, here as a vehicle 101 is trained. From this is schematically a part of the interior with dashboard 102 , Windshield 103 , A-pillar 104 and carriage sky 105 indicated. In contrast to a conventional vehicle, these parts of the interior merely constitute projection surfaces for displaying virtual display and / or operating elements and do not contain real display and / or operating elements; only one steering wheel 106 is provided, which can also serve as such projection surface. The vehicle 101 further comprises a computer unit 107 , preferably a vehicle on-board computer. The computer unit 107 is with at least one interior camera 108 , at least one ultrasonic sensor 109 , at least one inertial sensor 110 , an antenna 111 for a radio location system, preferably a GPS antenna, and a wireless communication interface 112 , such as Bluetooth or WLAN, briefly referred to as the air interface, connected. Via a data bus 113 such as a so-called CAN / MOST interface is the computer unit 107 with electrical or electronic devices 114 of the vehicle 101 connected to the control commands of the computer unit 107 transmitted or from which signals or data for display on at least one display element are returned. An external data store 115 , eg a USB stick, is with the computer unit 107 connectable to the storage of data.

Über die Luftschnittstelle 112 ist die Rechnereinheit 107 wie durch einen strichpunktierten Doppelpfeil angedeutet mit einer Datenbrille 116 verbunden, die im Betrieb von einem Nutzer 117 getragen wird, in diesem Fall dem Fahrer des Fahrzeugs 101. Die Datenbrille 116 umfasst wenigstens eine erste Kamera 118, die als Innenraumkamera fungiert, sowie wenigstens eine zweite Kamera 119 zum Aufnehmen der Blickrichtung der Augen des Nutzers 117. Weiterhin umfasst die Datenbrille 116 eine ein Wiedergabemittel bildende Einrichtung zum Projizieren einer Ansicht virtueller Anzeige- und/oder Bedienelemente in ein Blickfeld des Nutzers 117, hier als Projektionseinrichtung 120 bezeichnet. Die Datenbrille 116 umfasst weiterhin einen Inertialsensor 121. Die Luftschnittstelle 112 der Datenbrille 116, die wenigstens eine erste und wenigstens eine zweite Kamera 118, 119, die Projektionseinrichtung 120 und der Inertialsensor 121 sind mit einer Prozessoreinheit 122 verbunden. Die Datenbrille 116 trägt wenigstens eine Markierung 123 für eine Lageerkennung durch Bildaufnahme und -auswertung, bevorzugt für eine dreidimensionale Lageerkennung wenigstens drei Markierungen, die hier der Vereinfachung der Darstellung halber nicht gezeichnet sind, z.B. über die wenigstens eine Innenraumkamera 108 des Fahrzeugs 101 und die Rechnereinheit 107.Over the air interface 112 is the computer unit 107 as indicated by a dot-dashed double arrow with a data glasses 116 connected in operation by a user 117 is worn, in this case the driver of the vehicle 101 , The data glasses 116 includes at least a first camera 118 , which acts as an indoor camera, as well as at least a second camera 119 to record the line of sight of the user's eyes 117 , Furthermore, the data glasses include 116 a display means for projecting a view of virtual display and / or controls in a field of view of the user 117 , here as a projection device 120 designated. The data glasses 116 further comprises an inertial sensor 121 , The air interface 112 the data glasses 116 comprising at least a first and at least one second camera 118 . 119 , the projection device 120 and the inertial sensor 121 are with a processor unit 122 connected. The data glasses 116 carries at least one mark 123 for a position detection by image recording and evaluation, preferably for a three-dimensional position detection at least three marks, which are not shown here for the sake of simplicity of illustration, for example on the at least one interior camera 108 of the vehicle 101 and the computer unit 107 ,

Das System 100 umfasst ferner ein mobiles Datenkommunikationsgerät 124, insbesondere ein Mobiltelefon, das über die Luftschnittstelle 112 wie durch einen strichpunktierten Doppelpfeil angedeutet ebenfalls mit der Rechnereinheit 107 verbunden ist. Das Mobiltelefon ist mit wenigstens einer Kamera 125, die hier ebenfalls als Innenraumkamera fungiert, sowie mit einem bevorzugt drahtlosen Internetzugang 126 ausgestattet, hier ebenfalls durch ein Antennensymbol angedeutet. Auch das Mobiltelefon 124 ist mit einer hier nicht dargestellten Prozessoreinheit ausgestattet.The system 100 further comprises a mobile data communication device 124 , in particular a mobile phone, via the air interface 112 as indicated by a dot-dashed double arrow also with the computer unit 107 connected is. The mobile phone is with at least one camera 125 , which also acts as an indoor camera here, as well as with a preferably wireless Internet access 126 equipped, also indicated here by an antenna symbol. Also the mobile phone 124 is equipped with a processor unit, not shown here.

Im Ausführungsbeispiel nach 1 bilden die wenigstens eine Innenraumkamera 108 des Fahrzeugs 101, die wenigstens eine erste und die wenigstens eine zweite Kamera 118, 119 der Datenbrille 116 und/oder die wenigstens eine Kamera 125 des Mobiltelefon 124 zusammen mit der Rechnereinheit 107, der Prozessoreinheit 122 und/oder der Prozessoreinheit des Mobiltelefons 124 Blickerfassungsmittel zum Erfassen eines Blickpunktes, d.h. eines Beobachtungspunktes, und einer Blickrichtung des Nutzers 117 relativ zum Fahrzeug 101, insbesondere zu Innenraumkoordinaten des Fahrzeugs 101, wobei von den genannten Kameras wahlweise auch nur ein Teil in unterschiedlichen Kombinationen für diese Aufgabe herangezogen wird, z.B. die wenigstens eine Innenraumkamera 108 mit der wenigstens einen zweiten Kamera 119, die wenigstens eine erste mit der wenigstens einen zweiten Kamera 118, 119 oder die wenigstens eine Kamera 125 mit der wenigstens einen zweiten Kamera 119, und wobei die genannten Rechner- bzw. Prozessoreinheiten 107, 122 von den Kameras 108, 118, 119 bzw. 125 gelieferte Bilddaten bearbeiten. Zugleich bilden die wenigstens eine Innenraumkamera 108 des Fahrzeugs 101, die wenigstens eine erste Kamera 118 der Datenbrille 116 und/oder die wenigstens eine Kamera 125 des Mobiltelefon 124 zusammen mit der Rechnereinheit 107, der Prozessoreinheit 122 und/oder der Prozessoreinheit des Mobiltelefons 124 eine als Gestenerkennungsmittel bezeichnete Einrichtung zum Erkennen von Bediengesten des Nutzers 117, insbesondere von sich auf die virtuellen Bedienelemente beziehenden Bediengesten, bevorzugt vom Nutzer 117 mit wenigstens einer seiner Hände 127 ausgeführten Bediengesten; jedoch können auch Gesten anderer Körperteile des Nutzers oder Lage und/oder Bewegung von beliebigen Gegenständen, die vom Nutzer 117 gehandhabt werden, als Bediengesten aufgenommen und erkannt werden. Insbesondere können auch Blickrichtungsgesten auf virtuelle Bedienelemente aufgenommen und erkannt werden. Wahlweise kann anstelle von oder zusätzlich zu den genannten Kameras 108, 118, 125 der Ultraschallsensor 109 zum Erkennen von Bediengesten des Nutzers 117 herangezogen werden.In the embodiment according to 1 form the at least one interior camera 108 of the vehicle 101 , the at least one first and the at least one second camera 118 . 119 the data glasses 116 and / or the at least one camera 125 of the mobile phone 124 together with the computer unit 107 , the processor unit 122 and / or the processor unit of the mobile phone 124 Eye detection means for detecting a viewpoint, ie, an observation point, and a viewing direction of the user 117 relative to the vehicle 101 , in particular to interior coordinates of the vehicle 101 , wherein optionally only one part of the said cameras is used in different combinations for this task, eg the at least one interior camera 108 with the at least one second camera 119 at least a first with the at least one second camera 118 . 119 or the at least one camera 125 with the at least one second camera 119 , and wherein said computer or processor units 107 . 122 from the cameras 108 . 118 . 119 respectively. 125 Edit supplied image data. At the same time they form at least one interior camera 108 of the vehicle 101 that at least a first camera 118 the data glasses 116 and / or the at least one camera 125 of the mobile phone 124 together with the computer unit 107 , the processor unit 122 and / or the processor unit of the mobile phone 124 a means for recognizing operator gestures of the user, referred to as gesture recognition means 117 , in particular by operating gestures relating to the virtual operating elements, preferably by the user 117 with at least one of his hands 127 executed operating gestures; however, it may include gestures of other body parts of the user or location and / or movement of any objects by the user 117 be handled, recorded and recognized as operator gestures. In particular, eye gaze gestures can also be recorded and recognized on virtual control elements. Optionally, instead of or in addition to the mentioned cameras 108 . 118 . 125 the ultrasonic sensor 109 for detecting operator gestures of the user 117 be used.

Von dem beispielhaft in 1 dargestellten System 100 sind verschiedene Abwandlungen oder Grundvarianten vorsehbar. From the example in 1 illustrated system 100 are various modifications or basic variants providable.

In einer ersten derartigen Abwandlung oder Grundvariante des Systems 100 umfasst das Fahrzeug 101 lediglich die Innenraumkamera 108, wohingegen die Datenbrille 116 keine Kameras aufweist. In diesem Fall dient die Innenraumkamera zur Erkennung der Lage der Datenbrille 116 sowie vorteilhaft auch der Lage und Ausrichtung des Kopfes des Nutzers 117 und der Blickrichtung seiner Augen. In a first such modification or basic variant of the system 100 includes the vehicle 101 only the interior camera 108 whereas the data glasses 116 has no cameras. In this case, the interior camera serves to detect the position of the data glasses 116 and advantageously also the position and orientation of the user's head 117 and the direction of his eyes.

In einer zweiten Abwandlung des Systems 100 ist lediglich die Datenbrille 116 mit der ersten Kamera 118 ausgestattet. Mit Hilfe dieser Kamera 118 wird die Lage der Datenbrille 116 gegenüber der Armaturentafel 102 erkannt. Optional ist die zweite Kamera 119 an der Datenbrille 116 vorgesehen zum Erkennen der Blickrichtung der Augen des Nutzers 117.In a second modification of the system 100 is only the data glasses 116 with the first camera 118 fitted. With the help of this camera 118 will the location of the data glasses 116 opposite the dashboard 102 recognized. Optionally, the second camera 119 on the data glasses 116 provided for detecting the viewing direction of the user's eyes 117 ,

In einer dritten Abwandlung des Systems 100 übernimmt die Kamera 125 des Mobiltelefons 124 die Funktion der Innenraumkamera 108.In a third modification of the system 100 takes over the camera 125 of the mobile phone 124 the function of the indoor camera 108 ,

Die in 1 dargestellte Ausführungsform stellt eine Kombination der drei umrissenen Abwandlungen dar. Andere Kombinationen dieser Abwandlungen sind ebenfalls möglich. In the 1 illustrated embodiment represents a combination of the three outlined modifications. Other combinations of these modifications are also possible.

Die Prozessoreinheit des Mobiltelefons 124 oder wahlweise die Rechnereinheit 107 bzw. der Datenspeicher 115 bilden Bereitstellungsmittel zum Bereitstellen eines vorgegebenen Musters virtueller Anzeigeelemente zum Überwachen und/oder virtueller Bedienelemente zum Bedienen des Fahrzeugs 101. Über das Mobiltelefon können auch weitere, nicht dargestellte Speichereinrichtungen wie z.B. Datenbanken über den Internetzugang 126 als Bereitstellungsmittel herangezogen werden. Die Rechnereinheit 107, die Prozessoreinheit des Mobiltelefons 124 oder wahlweise die Prozessoreinheit 122 der Datenbrille 116 bilden ferner in untereinander wahlweise unterschiedlicher Verteilung der notwendigen Datenverarbeitungsprozesse Bilderzeugungsmittel zum Erzeugen einer Ansicht der virtuellen Anzeige- und/oder Bedienelemente lagerichtig zu wenigstens einem Teil des Fahrzeugs 101, vorzugsweise zu dessen Innenraum, wobei lagerichtig eine Darstellbarkeit in der Weise bedeutet, als seien die virtuellen Anzeigeund/oder Bedienelemente fester Bestandteil des Fahrzeugs 101 oder des wenigstens einen Teils davon, gesehen vom Blickpunkt her und in Blickrichtung des Nutzers 117. The processor unit of the mobile phone 124 or optionally the computer unit 107 or the data memory 115 Forming means for providing a predetermined pattern of virtual display elements for monitoring and / or virtual controls for operating the vehicle 101 , Via the mobile phone, other storage devices, not shown, such as databases via the Internet access 126 be used as a means of provision. The computer unit 107 , the processor unit of the mobile phone 124 or optionally the processor unit 122 the data glasses 116 Furthermore, image generating means for generating a view of the virtual display and / or operating elements in the correct position relative to one another to at least one part of the vehicle form in mutually optionally different distribution of the necessary data processing processes 101 , preferably to its interior, wherein correct position means a representation in such a way as if the virtual display and / or controls are an integral part of the vehicle 101 or the at least part of it, seen from the viewpoint and in the direction of the user 117 ,

Bevorzugt die Rechnereinheit 107 sowie wahlweise die Prozessoreinheit 122 und/oder die Prozessoreinheit im Mobiltelefon 124 bilden Steuermittel zum Erzeugen von Steuerbefehlen für das Fahrzeug 101 zu dessen Bedienung und/oder für die Wiedergabemittel zum Ändern bzw. Anpassen der Ansicht bzw. der Darstellung der Anzeigeelemente und/oder Bedienelemente, z.B. in Abhängigkeit vom Betriebszustand des Fahrzeugs, wobei die Steuerbefehle aus von den Gestenerkennungsmitteln erkannten Bediengesten erzeugt werden. Die Steuerbefehle für die Bedienung des Fahrzeugs 101 werden über den Datenbus 113 an die Geräte 114 übermittelt, diejenigen für die Wiedergabemittel resultieren in Signalen an die Projektionseinrichtung 120.Preferably, the computer unit 107 and optionally the processor unit 122 and / or the processor unit in the mobile phone 124 form control means for generating control commands for the vehicle 101 for its operation and / or for the playback means for changing or adapting the view or the display of the display elements and / or operating elements, for example, depending on the operating state of the vehicle, wherein the control commands are generated from detected by the gesture recognition means operating gestures. The control commands for the operation of the vehicle 101 be over the data bus 113 to the devices 114 those for the display means result in signals to the projection device 120 ,

Zum Betrieb wird die zur Darstellung einer sogenannten erweiterten Realität eingerichteten Datenbrille 116 bei der Rechnereinheit 107 des Fahrzeugs 101 registriert, wofür eine genaue dreidimensionale Bestimmung der Lage der Datenbrille 116 bzw. des Kopfes des Nutzers 117 relativ zum Fahrzeug 101, insbesondere zu dessen Innenraum, vorgenommen wird, d.h. eine Bestimmung des Blickpunkts und der Blickrichtung des Nutzers 117. Dies kann auf unterschiedliche Arten erfolgen. Nach einem ersten Beispiel wird von der Innenraumkamera 108 ein Bild der Datenbrille 116 und/oder der wenigstens einen Markierung 123 aufgenommen, in 1 dargestellt durch einen Pfeil 128. In einer Abwandlung wird stattdessen ein Bild des Kopfes des Nutzers 117 aufgenommen, dargestellt durch einen Pfeil 129. Aus diesen von der Innenraumkamera 108 aufgenommenen Bildern ermittelt die Rechnereinheit 107 Position und Orientierung des Kopfes des Nutzers 117 bzgl. des Innenraums des Fahrzeugs 101, insbesondere bezüglich der Armaturentafel 102, bzw. es wird direkt die Position und Orientierung der Datenbrille 116 anhand der wenigstens einen Markierung 123 oder spezieller sonstiger Merkmale der Datenbrille 116 ermittelt. For operation, the data goggles, which are designed to represent a so-called augmented reality, are used 116 at the computer unit 107 of the vehicle 101 registered, for which an accurate three-dimensional determination of the location of the data glasses 116 or the head of the user 117 relative to the vehicle 101 , in particular to its interior, is made, ie a determination of the viewpoint and the line of sight of the user 117 , This can be done in different ways. After a first example is from the interior camera 108 a picture of the data glasses 116 and / or the at least one marker 123 recorded, in 1 represented by an arrow 128 , In a modification, instead, a picture of the user's head 117 recorded, represented by an arrow 129 , From these of the interior camera 108 recorded images determines the computer unit 107 Position and orientation of the user's head 117 regarding the interior of the vehicle 101 , in particular with regard to the dashboard 102 , or it is directly the position and orientation of the data glasses 116 based on the at least one mark 123 or more specifically other features of the data glasses 116 determined.

Alternativ erfolgt die Positionsbestimmung für die Datenbrille 116 durch Aufnahme eines Bildes des Innenraums des Fahrzeugs 101 mit der wenigstens einen ersten Kamera 118, dargestellt durch einen Pfeil 130, und Berechnung von Position und Orientierung anhand gespeicherter dreidimensionaler Modelle des Innenraums des Fahrzeugs 101, und/oder durch Aufnahme 131 wenigstens einer eine dreidimensionale Bestimmung von Position und Orientierung der Datenbrille 116 zum Fahrzeug 101 ermöglichenden Markierung 132 im Innenraum des Fahrzeugs 101, vorzugsweise an der Armaturentafel 102. Nach einer weiteren Alternative wird der wenigstens eine Inertialsensor 121, ausgestaltet als Lageund/oder Beschleunigungssensor, zum Bestimmen von Position und Orientierung der Datenbrille 116 eingesetzt, oder es werden die vorbeschriebenen Arten der Positionsbestimmung miteinander kombiniert. Bei diesen Alternativen werden Bild- bzw. Messsignale von der Prozessoreinheit 122 erfasst, bearbeitet und der Rechnereinheit 107 zugeführt, oder die Positionsbestimmung erfolgt zumindest weitgehend durch die Prozessoreinheit 122. Als Resultat wird eine genaue Lagebeschreibung der Datenbrille 116 relativ zum Innenraum des Fahrzeugs 101, z.B. zur Armaturentafel 102, in allen Freiheitsgraden bzw. Achsen sowohl der Datenbrille 116 als auch des Fahrzeugs 101 erhalten. Alternatively, the position determination for the data glasses takes place 116 by taking a picture of the interior of the vehicle 101 with the at least one first camera 118 represented by an arrow 130 , and calculation of position and orientation based on stored three-dimensional models of the interior of the vehicle 101 , and / or by recording 131 at least one three-dimensional determination of position and orientation of the data glasses 116 to the vehicle 101 enabling marking 132 in the interior of the vehicle 101 , preferably on the dashboard 102 , According to another alternative, the at least one inertial sensor 121 , configured as position and / or acceleration sensor, for determining the position and orientation of the data glasses 116 used, or the above-described types of position determination are combined. In these alternatives, image or measurement signals from the processor unit 122 recorded, processed and the computer unit 107 supplied, or the position determination is at least largely by the processor unit 122 , As a result, a precise location description of the data glasses 116 relative to the interior of the vehicle 101 , eg to the dashboard 102 , in all degrees of freedom or axes of both data glasses 116 as well as the vehicle 101 receive.

Weiter ist die Blickrichtung der Augen des Nutzers 117 durch die wenigstens eine zweite Kamera 119 bestimmbar, angedeutet durch einen Pfeil 134. In einer Abwandlung kann die Blickrichtung der Augen des Nutzers 117 auch durch die Innenraumkamera 108 bestimmbar sein. Zudem lassen sich von dem wenigstens einen Inertialsensor 110 im Fahrzeug 101 sowie von der GPS-Antenne zugeführte Daten nutzen, um die Position und Orientierung der Datenbrille 116 auch gegenüber einer Umgebung des Fahrzeugs 101, z.B. einer Landschaft bzw. einer Straße, zu bestimmen und damit zusätzlich eine kontaktanaloge, d.h. lagerichtige Darstellung virtueller Anzeigeelemente relativ zu dieser Umgebung zu ermöglichen bzw. die Bestimmung von Position und Orientierung der Datenbrille 116 relativ zum Fahrzeug 101 im Zusammenwirken mit dem wenigstens einen Inertialsensor 121 zu bewirken.Next is the line of sight of the user's eyes 117 through the at least one second camera 119 determinable, indicated by an arrow 134 , In a modification, the line of sight of the user's eyes 117 also through the interior camera 108 be determinable. In addition, it is possible to obtain from the at least one inertial sensor 110 in the vehicle 101 as well as data supplied by the GPS antenna to the position and orientation of the data glasses 116 also to an environment of the vehicle 101 To determine, for example, a landscape or a road, and thus additionally a contact analog, ie positionally correct representation of virtual display elements to allow relative to this environment or the determination of position and orientation of the data glasses 116 relative to the vehicle 101 in cooperation with the at least one inertial sensor 121 to effect.

In 1 ist weiterhin durch einen Pfeil 133 symbolisiert, dass mithilfe einer Bildaufzeichnung durch die Kamera 125 wahlweise eine Bestimmung von Position und Orientierung des Mobiltelefons 124 und der Datenbrille 116 zueinander durchführbar ist. Dies wird bevorzugt angewendet, wenn vom Mobiltelefon 124 zusätzlich zum Erfassen von Blickpunkt und Blickrichtung des Nutzers 117 insbesondere auch eine lagerichtige Ansicht der virtuellen Anzeige- und/oder Bedienelemente sowie eine Gestenerkennung ausgeführt werden soll. In 1 is still by an arrow 133 symbolizes that using an image capture by the camera 125 optionally a determination of position and orientation of the mobile phone 124 and the data glasses 116 is feasible to each other. This is preferred when used by the mobile phone 124 in addition to detecting the viewpoint and viewing direction of the user 117 In particular, a correct position view of the virtual display and / or controls as well as a gesture recognition to be executed.

Dadurch, dass die vorstehenden Verfahrensschritte wiederholt ausgeführt werden, ist die genaue Position und Orientierung der Datenbrille 116 gegenüber der Position und Orientierung des Fahrzeugs 101, z.B. der Armaturentafel 102, zu jedem Zeitpunkt bekannt. Damit ist zu jedem Zeitpunkt eine lagerichtige, d.h. perspektivisch korrekte Wiedergabe 135 der virtuellen Anzeige- und/oder Bedienelemente durch die Projektionseinrichtung gewährleistet.By repeating the above process steps, the exact position and orientation of the data glasses is achieved 116 opposite the position and orientation of the vehicle 101 , eg the dashboard 102 , known at any time. This is at any time a correct position, ie perspective correct playback 135 the virtual display and / or controls ensured by the projection device.

Zur Erkennung von Bediengesten des Nutzers 117, z.B. durch die Hand 127, werden diese Bediengesten wahlweise von der wenigstens einen Innenraumkamera 108, dem Ultraschallsensor 109, der wenigstens einen ersten Kamera 118 oder der wenigstens einen Kamera 125 oder einer beliebigen Kombination dieser Einrichtungen aufgenommen, symbolisiert durch Pfeile 136, 137, 138 bzw. 139.For recognition of operating gestures of the user 117 , for example, by hand 127 , These operating gestures are optional from the at least one interior camera 108 , the ultrasonic sensor 109 , the at least one first camera 118 or the at least one camera 125 or any combination of these devices, symbolized by arrows 136 . 137 . 138 respectively. 139 ,

Erfolgt eine Aufnahme durch eine solche Kombination, lässt sich damit die Genauigkeit der Gestenerkennung erhöhen.Recording by such a combination can increase the accuracy of gesture recognition.

1 zeigt weiterhin eine Anbindung eines weiteren Nutzers, in diesem Fall eines Beifahrers 140, mit einer eigenen weiteren Datenbrille 141 an das System 100. Die weitere Datenbrille 141 ist zu der Datenbrille 116 identisch aufgebaut und wird in dazu identischer Weise betrieben. Auch die Erkennung der Bediengesten, die der Beifahrer 140 insbesondere mit seiner Hand 142 ausführt, wird in identischer Weise durchgeführt. Die korrespondierenden Beziehungen zwischen dem Beifahrer 140 und seiner Hand 142, der weiteren Datenbrille 141, dem Fahrzeug 101 und dem Mobiltelefon 124, die denjenigen zwischen dem Nutzer 117 und seiner Hand 127, der Datenbrille 116, dem Fahrzeug 101 und dem Mobiltelefon 124 entsprechen, sind in 1 bis auf einen strichpunktierten Doppelpfeil, der die Luftschnittstelle 112 symbolisiert, mit gestrichelten Linien angedeutet und nicht noch einmal im Einzelnen bezeichnet. In gleicher Weise können auch weitere Beifahrer an das System 100 angebunden werden. 1 also shows a connection of another user, in this case a passenger 140 , with its own additional data glasses 141 to the system 100 , The more data glasses 141 is to the data glasses 116 constructed identically and is operated in identical manner. Also, the detection of operating gestures, the passenger 140 especially with his hand 142 is carried out in an identical manner. The corresponding relations between the passenger 140 and his hand 142 , the other data glasses 141 the vehicle 101 and the mobile phone 124 that between those users 117 and his hand 127 , the data glasses 116 the vehicle 101 and the mobile phone 124 are in 1 except for a dash-dotted double arrow, which is the air interface 112 symbolized, indicated by dashed lines and not referred to again in detail. In the same way, other passengers to the system 100 be connected.

2 stellt ein grobschematisches Diagramm für das Zusammenwirken des Mobiltelefons 124, des Fahrzeugs 101 und der Datenbrille 116 von 1 gemäß einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens dar. Das Mobiltelefon 124 enthält eine Speichereinrichtung 144, in der Dateien und/oder Programme abgelegt sind, durch die das vorgegebene Muster für die virtuellen Anzeige- und/oder Bedienelemente erzeugt wird. Das Mobiltelefon 124 empfängt über den Internetzugang 126 weitere derartige Dateien und/oder Programme, um das vorgegebene Muster für die virtuellen Anzeige- und/oder Bedienelemente nach Wunsch oder Bedarf abzuändern oder anzupassen. Außerdem empfängt das Mobiltelefon 124 über den Internetzugang 126 Navigationsdaten für eine Darstellung von Fahrhinweisen durch die Projektionseinrichtung 120 in der Datenbrille 116. Mittels einer Prozessoreinheit 143 des Mobiltelefons und über die Luftschnittstelle 112 – auch als Funkschnittstelle bezeichnet – werden diese Dateien und/oder Programme der Rechnereinheit 107 des Fahrzeugs 101 übermittelt. 2 provides a rough schematic diagram of the interaction of the mobile phone 124 , of the vehicle 101 and the data glasses 116 from 1 according to an embodiment of the method according to the invention. The mobile phone 124 contains a memory device 144 in which files and / or programs are stored, by which the predetermined pattern for the virtual display and / or controls is generated. The mobile phone 124 receives via internet access 126 other such files and / or programs to modify or adapt the default pattern for the virtual display and / or controls as desired or needed. In addition, the mobile phone receives 124 via internet access 126 Navigation data for a presentation of driving instructions by the projection device 120 in the data glasses 116 , By means of a processor unit 143 of the mobile phone and over the air interface 112 - Also referred to as a radio interface - these files and / or programs of the computer unit 107 of the vehicle 101 transmitted.

In der Rechnereinheit 107 sind die Blickerfassung, die Gestenerkennung und die Bilderzeugung mit allen dafür erforderlichen Rechenoperationen zusammengefasst. Dazu verfügt die Rechnereinheit 107 über eine von ihr umfasste, in 2 jedoch zur Verdeutlichung des Verfahrensablaufs gesondert dargestellte Speichereinrichtung 145, in der bevorzugt Daten abgespeichert sind, die die Armaturentafel 102 einschließlich daran angeordneter Markierungen 132 und ggf. weitere Teile des Fahrzeugs 101 wie etwa die Windschutzscheibe 103, die A-Säule 104, den Wagenhimmel 105 oder auch das Lenkrad 106 beschreiben, die als Projektionsflächen für die Darstellung der virtuellen Anzeige- und/oder Bedienelemente herangezogen werden, z.B. in Form von CAD-Dateien. Eine in gleicher Art von der Rechnereinheit 107 umfasste, in 2 jedoch zur Verdeutlichung des Verfahrensablaufs gesondert dargestellte weitere Speichereinrichtung 146 enthält das vorgegebene Muster virtueller Anzeige-und/oder Bedienelemente, bevorzugt in einer Grundversion sowie deren über das Mobiltelefon 124 zugeleiteten Abwandlungen oder individuellen Ausgestaltungen. Die Daten aus den Speichreinrichtungen 145, 146 sowie von der wenigstens einen Innenraumkamera 108, dem Ultraschallsensor 109, dem wenigstens einen Inertialsensor 110 und der GPS-Antenne 111 werden der Rechnereinheit 107 zugeführt. In the computer unit 107 The eye tracking, the gesture recognition and the image generation are combined with all necessary arithmetic operations. The computer unit has this 107 over one of hers, in 2 however, to illustrate the process sequence separately shown storage device 145 , in which preferred data is stored, the dashboard 102 including markings arranged thereon 132 and possibly other parts of the vehicle 101 like the windshield 103 , the A-pillar 104 , the carriage sky 105 or the steering wheel 106 describe, which are used as projection surfaces for the display of the virtual display and / or controls, eg in the form of CAD files. One in the same way from the computer unit 107 included, in 2 however, to illustrate the process sequence separately shown further memory device 146 contains the given pattern virtual display and / or controls, preferably in a basic version as well as their on the mobile phone 124 associated modifications or individual designs. The data from the storage devices 145 . 146 as well as from the at least one interior camera 108 , the ultrasonic sensor 109 , the at least one inertial sensor 110 and the GPS antenna 111 become the computer unit 107 fed.

Die Datenbrille 116 erfasst mit den Kameras 118, 119 sowie dem Inertialsensor 121 Bilddaten sowie Positions-, Orientierungs- und/oder Beschleunigungsdaten, die in der Prozessoreinheit 12 verarbeitet und über die Luftschnittstelle 112 an die Rechnereinheit 107 geleitet werden. Mit diesen Daten verfügt die Rechnereinheit 107 über alle relevanten Angaben zum lagerichtigen Erzeugen einer aktuellen Ansicht der virtuellen Anzeige- und/oder Bedienelemente. Je nachdem, ob eine Berechnung dieser Ansicht aufgrund der vorhandenen Bilddaten möglich und erwünscht ist oder nicht, was in 2 durch ein Abfragesymbol 147 dargestellt ist, wird die Ansicht auf Grundlage einer Auswertung 148 aktueller Bilddaten oder durch Interpolation 149 zwischen in größeren zeitlichen Abständen erfassten Bilddaten durch von den Inertialsensoren 110, 121 zugeführte Daten erzeugt. Bei der Interpolation kommt vorteilhaft ein sogenanntes Image Warping zur Anwendung, d.h. eine Berechnung einer Ansicht darzustellender Objekte von einem sich ändernden Blickpunkt bzw. aus einer sich ändernden Blickrichtung aus, sowie ein sogenanntes Rendern, d.h. eine Bildsynthese durch Berechnung eines (zweidimensionalen) Bildes aus einer dreidimensionalen Szene. In beiden Fällen wird die erzeugte Ansicht der Datenbrille 116 zur Wiedergabe über die Projektionseinrichtung 120 zugeleitet.The data glasses 116 captured with the cameras 118 . 119 as well as the inertial sensor 121 Image data as well as position, orientation and / or acceleration data stored in the processor unit 12 processed and over the air interface 112 to the computer unit 107 be directed. The computer unit has this data 107 about all relevant information for the correct position generating a current view of the virtual display and / or controls. Depending on whether a calculation of this view due to the existing image data possible and desired or not what is in 2 by a query symbol 147 is shown, the view is based on an evaluation 148 current image data or by interpolation 149 between image data collected at greater time intervals by the inertial sensors 110 . 121 supplied data generated. In the case of interpolation, so-called image warping is advantageously used, ie a calculation of a view of objects to be displayed from a changing viewpoint or from a changing viewing direction, as well as a so-called rendering, ie an image synthesis by calculating a (two-dimensional) image from a three-dimensional scene. In both cases, the generated view of the data glasses 116 for playback via the projection device 120 fed.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102005050350 A1 [0001] DE 102005050350 A1 [0001]
  • DE 102007025530 A1 [0003] DE 102007025530 A1 [0003]
  • DE 102004005816 A1 [0004] DE 102004005816 A1 [0004]
  • DE 10256589 A1 [0005] DE 10256589 A1 [0005]
  • US 5281957 [0007] US 5281957 [0007]

Zitierte Nicht-PatentliteraturCited non-patent literature

  • http://de.wikipedia.org/wiki/Gestenerkennung [0008] http://en.wikipedia.org/wiki/Guest Detection [0008]

Claims (10)

System (100) zum Überwachen und/oder Bedienen einer technischen Anlage, insbesondere eines Fahrzeugs (101), durch einen Nutzer (117), umfassend • Blickerfassungsmittel (107; 108; 110; 118; 119; 121; 122; 125; 143) zum Erfassen eines Blickpunktes und einer Blickrichtung des Nutzers (117) relativ zu der technischen Anlage, • Bereitstellungsmittel (107; 115; 126; 143) zum Bereitstellen eines vorgegebenen Musters virtueller Anzeigeelemente zum Überwachen und/oder virtueller Bedienelemente zum Bedienen der technischen Anlage, • Bilderzeugungsmittel (107; 143; 122) zum Erzeugen einer Ansicht der virtuellen Anzeige- und/oder Bedienelemente lagerichtig zu wenigstens einem Teil der technischen Anlage auf der Grundlage • des vorgegebenen Musters und • der von den Blickerfassungsmitteln erfassten Messgrößen Blickpunkt und Blickrichtung des Nutzers (117), • Wiedergabemittel (120) zum Darstellen der lagerichtigen Ansicht der virtuellen Anzeige- und/oder Bedienelemente in einem Blickfeld des Nutzers (117), • Gestenerkennungsmittel (107; 108; 109; 118; 122; 125; 143) zum Erkennen von Bediengesten des Nutzers (117), insbesondere von sich auf die virtuellen Bedienelemente beziehenden Bediengesten, und • Steuermittel (107; 122; 143) zum Erzeugen von Steuerbefehlen für die technische Anlage und/oder die Wiedergabemittel aus von den Gestenerkennungsmitteln erkannten Bediengesten.System ( 100 ) for monitoring and / or operating a technical installation, in particular a vehicle ( 101 ), by a user ( 117 ), comprising • gaze detection means ( 107 ; 108 ; 110 ; 118 ; 119 ; 121 ; 122 ; 125 ; 143 ) for detecting a viewpoint and a viewing direction of the user ( 117 ) relative to the technical installation, • provision means ( 107 ; 115 ; 126 ; 143 ) for providing a predetermined pattern of virtual display elements for monitoring and / or virtual operating elements for operating the technical system, 107 ; 143 ; 122 ) for generating a view of the virtual display and / or operating elements in the correct position relative to at least part of the technical system on the basis of the predetermined pattern and the measured variables of the user's viewpoint and viewing direction ( 117 ), • playback means ( 120 ) for displaying the correct position view of the virtual display and / or operating elements in a field of view of the user ( 117 ), • gesture recognition means ( 107 ; 108 ; 109 ; 118 ; 122 ; 125 ; 143 ) for recognizing operating gestures of the user ( 117 ), in particular by operator gestures relating to the virtual controls, and • control means ( 107 ; 122 ; 143 ) for generating control commands for the technical system and / or the reproduction means from control gestures recognized by the gesture recognition means. System (100) nach Anspruch 1, dadurch gekennzeichnet, dass die Wiedergabemittel (120) wenigstens weitgehend und wahlweise wenigstens eines der Blickerfassungsmittel (107; 108; 110; 118; 119; 121; 122; 125; 143), der Bilderzeugungsmittel (107; 143; 122), der Gestenerkennungsmittel (107; 108; 109; 118; 122; 125; 143) und/oder der Steuermittel (107; 122; 143) wenigstens teilweise von wenigstens einer Datenbrille (116; 141) umfasst sind. System ( 100 ) according to claim 1, characterized in that the reproducing means ( 120 ) at least substantially and optionally at least one of the eye-tracking means ( 107 ; 108 ; 110 ; 118 ; 119 ; 121 ; 122 ; 125 ; 143 ), the imaging agent ( 107 ; 143 ; 122 ), the gesture recognition means ( 107 ; 108 ; 109 ; 118 ; 122 ; 125 ; 143 ) and / or the control means ( 107 ; 122 ; 143 ) at least partially of at least one smart phone ( 116 ; 141 ) are included. System (100) nach Anspruch 1, dadurch gekennzeichnet, dass wenigstens die Bilderzeugungsmittel (107; 143; 122) und/oder die Steuermittel (107; 122; 143) wenigstens teilweise von einer von der technischen Anlage umfassten Rechnereinheit (107), insbesondere von einem Fahrzeug-Bordrechner, gebildet sind.System ( 100 ) according to claim 1, characterized in that at least the image generating means ( 107 ; 143 ; 122 ) and / or the control means ( 107 ; 122 ; 143 ) at least partially by a computer unit ( 107 ), in particular of a vehicle on-board computer, are formed. System (100) nach Anspruch 1, dadurch gekennzeichnet, dass die Bereitstellungsmittel (107; 115; 126; 143) wenigstens weitgehend und wahlweise wenigstens eines der Blickerfassungsmittel (107; 108; 110; 118; 119; 121; 122; 125; 143), der Gestenerkennungsmittel (107; 108; 109; 118; 122; 125; 143) und/oder der Steuermittel (107; 122; 143) wenigstens teilweise von einem mobilen Datenkommunikationsgerät, insbesondere einem Mobiltelefon (124), umfasst sind.System ( 100 ) according to claim 1, characterized in that the provisioning means ( 107 ; 115 ; 126 ; 143 ) at least substantially and optionally at least one of the eye-tracking means ( 107 ; 108 ; 110 ; 118 ; 119 ; 121 ; 122 ; 125 ; 143 ), the gesture recognition means ( 107 ; 108 ; 109 ; 118 ; 122 ; 125 ; 143 ) and / or the control means ( 107 ; 122 ; 143 ) at least partially from a mobile data communication device, in particular a mobile telephone ( 124 ) are included. System (100) nach Anspruch 2, 3 oder 4, dadurch gekennzeichnet, dass die Blickerfassungsmittel (107; 108; 110; 118; 119; 121; 122; 125; 143) mit wenigstens einer Kamera (108; 118, 119) und/oder wenigstens einem Inertialsensor (110; 121) ausgebildet sind, die von der technischen Anlage, insbesondere dem Fahrzeug (101), und/oder der wenigstens einen Datenbrille (116; 141) umfasst sind.System ( 100 ) according to claim 2, 3 or 4, characterized in that the view detecting means ( 107 ; 108 ; 110 ; 118 ; 119 ; 121 ; 122 ; 125 ; 143 ) with at least one camera ( 108 ; 118 . 119 ) and / or at least one inertial sensor ( 110 ; 121 ) are formed by the technical system, in particular the vehicle ( 101 ), and / or the at least one data glasses ( 116 ; 141 ) are included. System (100) nach Anspruch 1, dadurch gekennzeichnet, dass die Gestenerkennungsmittel (107; 108; 109; 118; 122; 125; 143) mit wenigstens einer Kamera (108; 118, 119) und/oder wenigstens einem Ultraschallsensor (109) ausgebildet sind, die von der technischen Anlage, insbesondere dem Fahrzeug (101), und/oder der wenigstens einen Datenbrille (116, 141) umfasst sind.System ( 100 ) according to claim 1, characterized in that the gesture recognition means ( 107 ; 108 ; 109 ; 118 ; 122 ; 125 ; 143 ) with at least one camera ( 108 ; 118 . 119 ) and / or at least one ultrasonic sensor ( 109 ) are formed by the technical system, in particular the vehicle ( 101 ), and / or the at least one data glasses ( 116 . 141 ) are included. Verfahren zum Überwachen und/oder Bedienen einer technischen Anlage, insbesondere eines Fahrzeugs (101), durch einen Nutzer (117), umfassend die Verfahrensschritte • Erfassen eines Blickpunktes und einer Blickrichtung des Nutzers (117) relativ zu der technischen Anlage, • Bereitstellen eines vorgegebenen Musters virtueller Anzeigeelemente zum Überwachen und/oder virtueller Bedienelemente zum Bedienen der technischen Anlage, • Erzeugen einer Ansicht der virtuellen Anzeige- und/oder Bedienelemente lagerichtig zu wenigstens einem Teil der technischen Anlage auf der Grundlage • des vorgegebenen Musters und • der erfassten Messgrößen Blickpunkt und Blickrichtung des Nutzers (117), • Darstellen der lagerichtigen Ansicht der virtuellen Anzeige- und/oder Bedienelemente in einem Blickfeld des Nutzers (117), • Erkennen von Bediengesten des Nutzers (117), insbesondere von sich auf die virtuellen Bedienelemente beziehenden Bediengesten, und • Erzeugen von Steuerbefehlen für die technische Anlage und/oder die Darstellung der lagerichtigen Ansicht der virtuellen Anzeige- und/oder Bedienelemente aus erkannten Bediengesten.Method for monitoring and / or operating a technical installation, in particular a vehicle ( 101 ), by a user ( 117 ), comprising the method steps • detecting a viewpoint and a viewing direction of the user ( 117 relative to the technical installation, provision of a predetermined pattern of virtual display elements for monitoring and / or virtual operating elements for operating the technical installation, generation of a view of the virtual display and / or operating elements in the correct position relative to at least a part of the technical installation on the basis • the specified pattern and • the acquired measured variables the viewpoint and viewing direction of the user ( 117 ), • representing the correct position view of the virtual display and / or operating elements in a field of view of the user ( 117 ), • recognition of operating gestures of the user ( 117 ), in particular by operating gestures relating to the virtual operating elements, and • generating control commands for the technical system and / or the representation of the correct position view of the virtual display and / or operating elements from recognized operating gestures. Computerprogrammprodukt, aufweisend Programmteile zum Ausführen eines Verfahrens nach Anspruch 7.Computer program product comprising program parts for carrying out a method according to claim 7. Maschinenlesbare, insbesondere computerlesbare, Datenstruktur, erzeugt durch ein Verfahren gemäß Anspruch 7 und/oder durch mindestens ein Computerprogrammprodukt gemäß Anspruch 8.Machine-readable, in particular computer-readable, data structure produced by a method according to claim 7 and / or by at least one computer program product according to claim 8. Maschinenlesbarer, insbesondere computerlesbarer, Datenträger, auf dem mindestens ein Computerprogrammprodukt gemäß Anspruch 8 aufgezeichnet und/oder gespeichert ist und/oder auf dem mindestens eine Datenstruktur gemäß Anspruch 9 zum Abruf bereit gehalten ist.Machine-readable, in particular computer-readable, data carrier on which at least one Computer program product according to claim 8 recorded and / or stored and / or on the at least one data structure according to claim 9 is kept ready for retrieval.
DE102013210746.3A 2013-06-10 2013-06-10 System and method for monitoring and / or operating a technical system, in particular a vehicle Withdrawn DE102013210746A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102013210746.3A DE102013210746A1 (en) 2013-06-10 2013-06-10 System and method for monitoring and / or operating a technical system, in particular a vehicle
PCT/EP2014/061154 WO2014198552A1 (en) 2013-06-10 2014-05-28 System and method for monitoring and/or operating a piece of technical equipment, in particular a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013210746.3A DE102013210746A1 (en) 2013-06-10 2013-06-10 System and method for monitoring and / or operating a technical system, in particular a vehicle

Publications (1)

Publication Number Publication Date
DE102013210746A1 true DE102013210746A1 (en) 2014-12-11

Family

ID=50884385

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013210746.3A Withdrawn DE102013210746A1 (en) 2013-06-10 2013-06-10 System and method for monitoring and / or operating a technical system, in particular a vehicle

Country Status (2)

Country Link
DE (1) DE102013210746A1 (en)
WO (1) WO2014198552A1 (en)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014100965A1 (en) * 2014-01-28 2015-07-30 Deutsches Zentrum für Luft- und Raumfahrt e.V. Driver assistance system
DE102014213285A1 (en) * 2014-07-09 2016-01-14 Bayerische Motoren Werke Aktiengesellschaft Head-direction-dependent display of content on data glasses
WO2016096214A1 (en) * 2014-12-15 2016-06-23 Robert Bosch Gmbh Identification and checking assistance apparatus and method
DE102015207337A1 (en) * 2015-04-22 2016-10-27 Volkswagen Aktiengesellschaft Method and device for maintaining at least one occupant of a motor vehicle
DE102015213769A1 (en) * 2015-07-22 2017-01-26 Robert Bosch Gmbh Method and device for predicting a line of sight of a vehicle occupant
DE102015217338A1 (en) * 2015-09-10 2017-03-16 Siemens Aktiengesellschaft Control of functions of a rail vehicle by means of eye movement
DE102015217595A1 (en) * 2015-09-15 2017-03-16 Robert Bosch Gmbh Safety device for a vehicle, method of operation
EP3114528A4 (en) * 2015-03-04 2017-11-01 Oculus VR, LLC Sparse projection for a virtual reality system
DE102016225268A1 (en) * 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Method and device for operating a display system with data glasses
DE102016225269A1 (en) * 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Method and device for operating a display system with data glasses
DE102017218780A1 (en) * 2017-10-20 2019-04-25 Bayerische Motoren Werke Aktiengesellschaft Method for operating a vehicle assistance system and vehicle assistance system for a motor vehicle
DE102019127244A1 (en) * 2019-10-10 2021-04-15 Bayerische Motoren Werke Aktiengesellschaft System for automotive interiors
DE102019127681A1 (en) * 2019-10-15 2021-04-15 Audi Ag Control system for a vehicle
DE102019132289A1 (en) * 2019-11-28 2021-06-02 Krauss-Maffei Wegmann Gmbh & Co. Kg Calibration of a training system
WO2021170421A1 (en) * 2020-02-27 2021-09-02 Audi Ag Method for operating data glasses in a motor vehicle and system comprising a motor vehicle and data glasses
DE102021100577A1 (en) 2021-01-13 2022-07-14 Bayerische Motoren Werke Aktiengesellschaft Expanded reality
DE102021109082A1 (en) 2021-04-12 2022-10-13 Bayerische Motoren Werke Aktiengesellschaft Method and device for determining a pose in data glasses
DE102021119275A1 (en) 2021-07-26 2023-01-26 Bayerische Motoren Werke Aktiengesellschaft Positioning of content displayed on data glasses in a contact-analogous manner in a vehicle
DE102021124561A1 (en) 2021-09-22 2023-03-23 Audi Aktiengesellschaft Method for interacting a person with a vehicle
DE102021128357A1 (en) 2021-10-29 2023-05-04 Bayerische Motoren Werke Aktiengesellschaft Method and device for determining an installation pose of a vehicle-mounted inertial sensor system in a motor vehicle
DE102021128257A1 (en) 2021-10-29 2023-05-04 Bayerische Motoren Werke Aktiengesellschaft Presentation of information on board a vehicle
DE102022109306A1 (en) 2022-04-14 2023-10-19 Bayerische Motoren Werke Aktiengesellschaft Method and device for operating a display system with data glasses in a vehicle for the latency-free, contact-analog display of vehicle-mounted and world-mounted information objects
EP4269948A1 (en) * 2022-04-11 2023-11-01 Volkswagen Ag User interface, means of locomotion and method for displaying a virtual three-dimensional navigation map

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013224962A1 (en) 2013-12-05 2015-06-11 Robert Bosch Gmbh Arrangement for creating an image of a scene
DE102014213058A1 (en) * 2014-07-04 2016-01-07 Siemens Aktiengesellschaft Method for issuing vehicle information
CN104702919B (en) 2015-03-31 2019-08-06 小米科技有限责任公司 Control method for playing back and device, electronic equipment
DE102016216577A1 (en) 2016-09-01 2018-03-01 Volkswagen Aktiengesellschaft A method of interacting with image content displayed on a display device in a vehicle
DE102017200744A1 (en) 2017-01-18 2018-07-19 Volkswagen Aktiengesellschaft motor vehicle
DE102017205458A1 (en) * 2017-03-30 2018-10-04 Robert Bosch Gmbh System and a method for detecting eyes and hands, in particular for a motor vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5281957A (en) 1984-11-14 1994-01-25 Schoolman Scientific Corp. Portable computer and head mounted display
DE10256589A1 (en) 2002-12-04 2004-08-26 Daimlerchrysler Ag Front page inconsistent with disclosure, abstract based on front page, Patent Office notified, brake disk for a motor vehicle has a polygonal inner shape for attachment to the wheel hub
DE102004005816A1 (en) 2004-02-06 2005-09-08 Audi Ag motor vehicle
DE102005050350A1 (en) 2005-10-20 2007-05-03 Siemens Ag Technical equipment monitoring system, has evaluation unit for assigning line item specification and delivering unit for delivering line item specification to image regions with significant visual deviation in corresponding images
DE102007025530A1 (en) 2007-05-31 2008-12-04 Volkswagen Ag Information exchange apparatus and method for communicating information

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009046376A1 (en) * 2009-11-04 2011-05-05 Robert Bosch Gmbh Driver assistance system for automobile, has input device including manually operated control element that is arranged at steering wheel and/or in area of instrument panel, where area lies in direct vicinity of wheel
US8924150B2 (en) * 2010-12-29 2014-12-30 GM Global Technology Operations LLC Vehicle operation and control system for autonomous vehicles on full windshield display
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
US20130021374A1 (en) * 2011-07-20 2013-01-24 Google Inc. Manipulating And Displaying An Image On A Wearable Computing System
US8712632B2 (en) * 2013-01-30 2014-04-29 Navteq B.V. Method and apparatus for complementing an instrument panel by utilizing augmented reality

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5281957A (en) 1984-11-14 1994-01-25 Schoolman Scientific Corp. Portable computer and head mounted display
DE10256589A1 (en) 2002-12-04 2004-08-26 Daimlerchrysler Ag Front page inconsistent with disclosure, abstract based on front page, Patent Office notified, brake disk for a motor vehicle has a polygonal inner shape for attachment to the wheel hub
DE102004005816A1 (en) 2004-02-06 2005-09-08 Audi Ag motor vehicle
DE102005050350A1 (en) 2005-10-20 2007-05-03 Siemens Ag Technical equipment monitoring system, has evaluation unit for assigning line item specification and delivering unit for delivering line item specification to image regions with significant visual deviation in corresponding images
DE102007025530A1 (en) 2007-05-31 2008-12-04 Volkswagen Ag Information exchange apparatus and method for communicating information

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
http://de.wikipedia.org/wiki/Gestenerkennung

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014100965B4 (en) * 2014-01-28 2016-01-14 Deutsches Zentrum für Luft- und Raumfahrt e.V. Driver assistance system
DE102014100965A1 (en) * 2014-01-28 2015-07-30 Deutsches Zentrum für Luft- und Raumfahrt e.V. Driver assistance system
DE102014213285A1 (en) * 2014-07-09 2016-01-14 Bayerische Motoren Werke Aktiengesellschaft Head-direction-dependent display of content on data glasses
DE102014213285B4 (en) 2014-07-09 2023-12-07 Bayerische Motoren Werke Aktiengesellschaft Head direction-dependent display of content on data glasses
WO2016096214A1 (en) * 2014-12-15 2016-06-23 Robert Bosch Gmbh Identification and checking assistance apparatus and method
EP3114528A4 (en) * 2015-03-04 2017-11-01 Oculus VR, LLC Sparse projection for a virtual reality system
DE102015207337A1 (en) * 2015-04-22 2016-10-27 Volkswagen Aktiengesellschaft Method and device for maintaining at least one occupant of a motor vehicle
US10074023B2 (en) 2015-07-22 2018-09-11 Robert Bosch Gmbh Method and device for predicting a line of vision of a vehicle occupant
DE102015213769A1 (en) * 2015-07-22 2017-01-26 Robert Bosch Gmbh Method and device for predicting a line of sight of a vehicle occupant
DE102015217338A1 (en) * 2015-09-10 2017-03-16 Siemens Aktiengesellschaft Control of functions of a rail vehicle by means of eye movement
DE102015217595A1 (en) * 2015-09-15 2017-03-16 Robert Bosch Gmbh Safety device for a vehicle, method of operation
DE102016225269A1 (en) * 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Method and device for operating a display system with data glasses
DE102016225268A1 (en) * 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Method and device for operating a display system with data glasses
DE102017218780A1 (en) * 2017-10-20 2019-04-25 Bayerische Motoren Werke Aktiengesellschaft Method for operating a vehicle assistance system and vehicle assistance system for a motor vehicle
DE102019127244A1 (en) * 2019-10-10 2021-04-15 Bayerische Motoren Werke Aktiengesellschaft System for automotive interiors
DE102019127681A1 (en) * 2019-10-15 2021-04-15 Audi Ag Control system for a vehicle
DE102019132289A1 (en) * 2019-11-28 2021-06-02 Krauss-Maffei Wegmann Gmbh & Co. Kg Calibration of a training system
WO2021170421A1 (en) * 2020-02-27 2021-09-02 Audi Ag Method for operating data glasses in a motor vehicle and system comprising a motor vehicle and data glasses
DE102021100577A1 (en) 2021-01-13 2022-07-14 Bayerische Motoren Werke Aktiengesellschaft Expanded reality
DE102021109082A1 (en) 2021-04-12 2022-10-13 Bayerische Motoren Werke Aktiengesellschaft Method and device for determining a pose in data glasses
DE102021119275A1 (en) 2021-07-26 2023-01-26 Bayerische Motoren Werke Aktiengesellschaft Positioning of content displayed on data glasses in a contact-analogous manner in a vehicle
DE102021124561A1 (en) 2021-09-22 2023-03-23 Audi Aktiengesellschaft Method for interacting a person with a vehicle
WO2023046772A1 (en) 2021-09-22 2023-03-30 Audi Ag Method for the interaction of a person with a vehicle
DE102021128357A1 (en) 2021-10-29 2023-05-04 Bayerische Motoren Werke Aktiengesellschaft Method and device for determining an installation pose of a vehicle-mounted inertial sensor system in a motor vehicle
DE102021128257A1 (en) 2021-10-29 2023-05-04 Bayerische Motoren Werke Aktiengesellschaft Presentation of information on board a vehicle
EP4269948A1 (en) * 2022-04-11 2023-11-01 Volkswagen Ag User interface, means of locomotion and method for displaying a virtual three-dimensional navigation map
DE102022109306A1 (en) 2022-04-14 2023-10-19 Bayerische Motoren Werke Aktiengesellschaft Method and device for operating a display system with data glasses in a vehicle for the latency-free, contact-analog display of vehicle-mounted and world-mounted information objects

Also Published As

Publication number Publication date
WO2014198552A1 (en) 2014-12-18

Similar Documents

Publication Publication Date Title
DE102013210746A1 (en) System and method for monitoring and / or operating a technical system, in particular a vehicle
EP3055650B1 (en) Method and device for augmented display
DE102017111843A1 (en) Systems to dynamically guide a user to a pickup location of an autonomous vehicle by means of extended reality walking instructions
DE102017110283A1 (en) CONTROLLING FUNCTIONS AND EXPENSES OF AUTONOMOUS VEHICLES BASED ON A POSITION AND ATTENTION FROM OCCUPANTS
DE102015115666A1 (en) Performance driving system and performance driving method
DE102008011876B4 (en) display device
DE102015118489A1 (en) Remote control of an autonomous vehicle in an unexpected environment
WO2015155029A1 (en) Locating a head-mounted display (hmd) in a vehicle
DE112012004769T5 (en) Configurable hardware unit for car systems
DE102012219280A1 (en) Driver assistance system for motor car, has evaluating device selecting and displaying information of objects located outside of vehicle through display device in response to detected eye and pointing gesture of hand and/or finger of person
DE102014204820A1 (en) Three-dimensional fingertip tracking
WO2015090569A1 (en) Device and method for navigating within a menu for controlling a vehicle, and selecting a menu entry from the menu
DE102019118595A1 (en) PASSENGER FRONT INDICATORS FOR VEHICLES
DE102018114285A1 (en) INTRODUCTION OF REMOTE PARKING A VEHICLE OVER A MOBILE DEVICE
DE102013000068A1 (en) Method for synchronizing display devices of a motor vehicle
DE102016114754A1 (en) Focusing system for improving vehicle vision performance
DE102016120995A1 (en) User interface and method for inputting and outputting information in a vehicle
DE102015204281A1 (en) Method for calibrating a camera for a viewing direction detection in a vehicle, device for a motor vehicle with a camera and at least one further element and computer program product
DE102009031809A1 (en) Method for determining environmental data of car, involves generating three dimensional data by application of environmental data and path that are reclined during movement of motor vehicle
DE102011007980A1 (en) A method for setting a map detail level for a content displayed on a mobile navigation device and an associated mobile navigation device
DE112018004519T5 (en) Overlay image display device and computer program
DE102016216577A1 (en) A method of interacting with image content displayed on a display device in a vehicle
DE102016224122A1 (en) Method for operating a VR glasses in an interior of a motor vehicle and control device and motor vehicle
DE102010048273A1 (en) Method for alert-dependent initialization of vehicle action, involves determining vehicle position on digital road map of navigation system, where local vehicle environment is determined as environment sensor data by vehicle-sensor device
EP3695266A1 (en) Method for operating a display device in a motor vehicle

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee