DE102015211521A1 - Method for operating an input device, input device - Google Patents

Method for operating an input device, input device Download PDF

Info

Publication number
DE102015211521A1
DE102015211521A1 DE102015211521.6A DE102015211521A DE102015211521A1 DE 102015211521 A1 DE102015211521 A1 DE 102015211521A1 DE 102015211521 A DE102015211521 A DE 102015211521A DE 102015211521 A1 DE102015211521 A1 DE 102015211521A1
Authority
DE
Germany
Prior art keywords
change
thumb
movement
user
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102015211521.6A
Other languages
German (de)
Inventor
Markus Langenberg
Gerrit De Boer
Claus Marberger
Philippe Dreuw
Holger Modler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102015211521.6A priority Critical patent/DE102015211521A1/en
Publication of DE102015211521A1 publication Critical patent/DE102015211521A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B60K35/10
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B60K2360/146

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Eingabevorrichtung (2), insbesondere eines Kraftfahrzeugs (1), die einen Kamerasensor (3) zum berührungslosen Erfassen der Position und/der Positionsänderung mindestens eines Fingers (10–12) und/oder Daumens (13) einer Hand (6) eines Benutzers aufweist, wobei in Abhängigkeit von der erfassten Position und/oder Positionsänderung des mindestens einen Fingers (10–12) und/oder Daumens (13) eine analoge Größe dann, und zwar nur dann, verändert wird, wenn erfasst wird, dass die Positionsänderung durchgeführt wird während mindestens ein Finger (10–12) und/oder ein Daumen (13) der Hand (6) eine vorgebbare Betätigungsposition zueinander aufweisen. Es ist vorgesehen, dass in Abhängigkeit davon, entlang welcher Bewegungsachse (B1–B4) von mehreren, in einem vorgebbaren Winkel zueinander ausgerichteten Bewegungsachsen (B1–B4) die Positionsänderung erfolgt, eine von mehreren analogen Größen ausgewählt oder verändert wird.The invention relates to a method for operating an input device (2), in particular a motor vehicle (1), comprising a camera sensor (3) for contactless detection of the position and / or position change of at least one finger (10-12) and / or thumb (13). a hand (6) of a user, wherein depending on the detected position and / or position change of the at least one finger (10-12) and / or thumb (13) an analog variable then, and only then, is changed, if is detected that the change in position is carried out while at least one finger (10-12) and / or a thumb (13) of the hand (6) have a predetermined actuation position to each other. It is provided that, depending on which movement axis (B1-B4) of a plurality of movement axes (B1-B4) aligned at a predefinable angle to one another, the position change takes place, one of a plurality of analogous variables is selected or changed.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer Eingabevorrichtung, insbesondere eines Kraftfahrzeugs, die einen Kamerasensor zum berührungsfreien Erfassen der Position und/oder Positionsänderung mindestens eines Fingers und/oder Daumens einer Hand eines Benutzers aufweist, wobei in Abhängigkeit von der erfassten Position und/oder Positionsänderung des Fingers und/oder Daumens eine analoge Größe dann, und zwar nur dann, verändert wird, wenn erfasst wird, dass die Positionsänderung durchgeführt wird während mindestens ein Finger und/oder ein Daumen der Hand eine vorgebbare Betätigungsposition zueinander aufweisen.The invention relates to a method for operating an input device, in particular of a motor vehicle, having a camera sensor for detecting the position and / or position change of at least one finger and / or thumb of a user's hand without contact, depending on the detected position and / or position change the finger and / or thumb an analogous size then, and only then, is changed when it is detected that the position change is performed while at least one finger and / or a thumb of the hand have a predetermined actuation position to each other.

Ferner betrifft die Erfindung eine entsprechende Eingabevorrichtung. Furthermore, the invention relates to a corresponding input device.

Stand der TechnikState of the art

Bei heutigen Kraftfahrzeugen werden Bedienkonzepte eingesetzt, bei denen eine Eingabevorrichtung und eine Anzeigevorrichtung nah beieinander angeordnet sind. Üblicherweise werden hierzu sogenannte berührungsempfindliche Bildschirme und sogenannte Touchscreens vorgesehen, bei denen Bedienung und Anzeige an der gleichen Stelle erfolgen. Häufig werden Anzeigevorrichtungen im oberen Bereich einer Bedienkonsole oder eines Armaturenbretts des Kraftfahrzeugs angebracht, damit der Fahrer zum Ablesen seinen Blick nicht zu stark von dem Verkehrsgeschehen abwenden muss. In anderen Fahrzeugen befinden sich ein Touchpad, also ein berührungsempfindlicher Sensor, im Bereich der Armauflage des Fahrers, und die Anzeigevorrichtung an gewohnter Stelle im Bereich des Armaturenbretts. Eine visuelle Rückmeldung an den Fahrer bei der Bedienung des Sensors kann dabei in Form von einer angedeuteten durchsichtigen Hand, die durch die Anzeigevorrichtung dargestellt wird, erfolgen. Dadurch kann der Fahrer bequem die Eingabevorrichtung betätigen, während ihm die Anzeige weiterhin in einem vorteilhaften Blickwinkel präsentiert wird. In diesem Fall ist es auch denkbar, die Anzeigevorrichtung nicht als Bildschirm, sondern als Head-Up-Display auszubilden. In today's motor vehicles operating concepts are used in which an input device and a display device are arranged close to each other. Usually, so-called touch-sensitive screens and so-called touch screens are provided for this purpose, in which operation and display take place at the same location. Frequently display devices are mounted in the upper part of a control panel or dashboard of the motor vehicle, so that the driver does not have to turn his eyes too far away from the traffic to read. In other vehicles are a touchpad, so a touch-sensitive sensor, in the area of the armrest of the driver, and the display device at the usual place in the area of the dashboard. A visual feedback to the driver in the operation of the sensor can take place in the form of an indicated transparent hand, which is represented by the display device. Thereby, the driver can conveniently operate the input device while the display is still presented to him in an advantageous viewpoint. In this case, it is also conceivable not to design the display device as a screen, but as a head-up display.

Während klassische berührungsempfindliche Sensoren beziehungsweise Touchpads eine Berührung durch den Benutzer zu ihrer Bedienung benötigen, sind auch Eingabevorrichtungen bekannt, die berührungsfrei Eingaben erkennen beziehungsweise registrieren. Dabei werden beispielsweise mithilfe von Tiefensensoren die Positionen von Hand, Fingern und/oder Arm eines Benutzers im Raum erkannt und für eine Gestikbedienung ausgewertet. Für Fingergesten ist eine hohe Auflösung erforderlich, die mit Sensoren, wie beispielsweise Time-of-Flight-Sensoren, mit Stereokameras, strukturiertem Licht oder ähnlichem erreicht werden kann. Für Hand- oder Körpergesten können auch Sensoren mit einer geringeren Auflösung eingesetzt werden, wie beispielsweise Radarsensoren. Durch einen oder mehrere Sensoren wird also die Position oder Positionsänderung der Hand eines Benutzers erfasst, wobei in Abhängigkeit der erfassten Position und/oder Positionsänderung auf eine Eingabe erkannt und diese ausgeführt wird. Der Benutzer zeigt somit mit einer Bewegung seiner Hand beziehungsweise mit zumindest einem Finger und/oder Daumen seiner Hand der Eingabevorrichtung an, welche Eingabe er vornehmen möchte. Die Eingabevorrichtung erkennt anhand der Fingerbewegung die gewünschte Eingabe und führt diese aus, indem sie den durch die Bewegung vorgegebenen Befehl umsetzt und beispielsweise einen Betriebsparameter des Kraftfahrzeugs verändert. So kann beispielsweise in Abhängigkeit von der Position und Positionsänderung eines Fingers des Benutzers auf die Eingabe „Lautstärke erhöhen“ erkannt und von der Eingabevorrichtung ausgeführt werden, indem sie die Lautstärke, beispielsweise eines Unterhaltungssystems des Kraftfahrzeugs, erhöht.While classical touch-sensitive sensors or touchpads require a touch by the user to operate them, input devices are also known which recognize or register inputs without contact. With the aid of depth sensors, for example, the positions of a user's hand, fingers and / or arm are detected in the room and evaluated for gesture operation. Finger gestures require high resolution, which can be achieved with sensors such as time-of-flight sensors, stereo cameras, structured light, or the like. For hand or body gestures, sensors with a lower resolution can also be used, such as radar sensors. By one or more sensors, therefore, the position or position change of the hand of a user is detected, being detected in response to the detected position and / or position change to an input and this is executed. The user thus indicates with a movement of his hand or with at least one finger and / or thumb of his hand to the input device, which input he wants to make. The input device recognizes the desired input by means of the movement of the finger and executes it by converting the command given by the movement and, for example, changing an operating parameter of the motor vehicle. For example, depending on the position and position change of a user's finger, the "increase volume" input can be detected and executed by the input device by increasing the volume of, for example, an entertainment system of the motor vehicle.

Aus der Offenlegungsschrift US 2012 010 5613 A1 ist es bereits bekannt, Hand- oder Fingergesten mittels einer Kamera aufzunehmen und Funktionen eines Kraftfahrzeugs in Abhängigkeit der erkannten Gesten zu steuern. Ein ähnliches System ist auch aus der Offenlegungsschrift EP 2 441 635 A1 bereits bekannt. Diese offenbart darüber hinaus eine Detektion des Zeitverlaufs von Positionsänderungen von Fingerspitzen im freien Raum. Auch ist es bereits bekannt, dass die analoge Größe nur dann verändert wird, wenn erfasst wird, dass die Positionsänderung durchgeführt wird, während mindestens ein Finger und ein Daumen der Hand eine vorgebbare Betätigungsposition zueinander aufweisen. Durch das Einnehmen der Betätigungsposition wird der Eingabevorrichtung mitgeteilt, wann eine Positionsänderung zur Veränderung der analogen Größe nachverfolgt werden soll. So kann beispielsweise durch das Einnehmen einer Betätigungsposition das Greifen eines virtuellen Reglers simuliert werden, was für den Benutzer eine intuitive Bedienung der Eingabevorrichtung ermöglicht.From the publication US 2012 010 5613 A1 It is already known to record hand or finger gestures by means of a camera and to control functions of a motor vehicle as a function of the recognized gestures. A similar system is also from the published patent application EP 2 441 635 A1 already known. This also discloses a detection of the time course of changes in position of fingertips in free space. It is also already known that the analogous variable is changed only when it is detected that the change in position is carried out while at least one finger and a thumb of the hand have a predeterminable actuation position relative to one another. By taking the actuation position, the input device is informed when a position change to change the analog size to be tracked. Thus, for example, by taking an actuation position, the gripping of a virtual regulator can be simulated, which allows the user to intuitively operate the input device.

Offenbarung der ErfindungDisclosure of the invention

Das erfindungsgemäße Verfahren mit den Merkmalen des Anspruchs 1 hat den Vorteil, dass dem Benutzer die Möglichkeit gegeben wird, auf einfache Art und Weise eine von mehreren analogen Größen auszuwählen und/oder zu verändern. Dazu ist erfindungsgemäß vorgesehen, dass in Abhängigkeit davon, entlang welcher Bewegungsachse von mehreren in einem vorgegebenen Winkel zueinander ausgerichteten Bewegungsachsen die Positionsänderung erfolgt, eine von mehreren analogen Größen ausgewählt oder verändert wird. Durch den berührungsfrei arbeitenden Sensor, der insbesondere als Kamerasensor oder Videosensor ausgebildet ist, lässt sich die Betätigungsposition leicht durch eine entsprechende Bildauswertung erfassen. Die Betätigungsposition dient insofern als Startzeichen für eine folgende Positionsänderung, die als Eingabe berücksichtigt beziehungsweise gewertet werden soll. Erfasst die Eingabevorrichtung also diese Betätigungsposition und die darauf folgende Positionsänderung, so wird eine von mehreren analogen Größen zur Veränderung ausgewählt. Gemäß einer ersten Ausführungsform wird die darauf folgende Positionsänderung als Eingabe zum Verändern der analogen Größe verstanden und entsprechend durch die Eingabevorrichtung ausgeführt, sodass der Wert der analogen Größe gemäß der Positionsänderung verändert, insbesondere vergrößert oder verkleinert wird. Die durch Finger und/oder Daumen eingenommene Betätigungsposition entspricht insbesondere einer natürlichen Greifgeste, sodass der Benutzer die Eingabevorrichtung intuitiv zum Verändern der gewünschten analogen Größe bedient. Insbesondere ist vorgesehen, dass als analoge Größe durch die Eingabevorrichtung beispielsweise die Lautstärke eines Unterhaltungssystems, insbesondere einer Musikanlage des Kraftfahrzeugs, eine Beleuchtungsintensität oder beispielsweise die Geschwindigkeit eines Scheibenwischers oder die Leistung einer Klimaanlage des Kraftfahrzeugs eingestellt beziehungsweise verändert wird. Gemäß einer zweiten Ausführungsform ist vorgesehen, dass in Abhängigkeit davon, entlang welcher der Bewegungsachsen die Positionsänderung erfolgt, eine von mehreren analogen Größen ausgewählt, jedoch noch nicht verändert wird. Der Benutzer kann somit durch eine Bewegung seiner Hand unter Einnahme der Betätigungsposition eine analoge Größe zunächst auswählen, die er anschließend durch eine weitere Positionsänderung, gegebenenfalls auch entlang einer von der vorherigen Positionsänderung abweichenden Bewegungsachse, die analoge Größe verändert. Dadurch, dass mehrere Bewegungsachsen vorgegeben werden, zwischen denen jeweils ein vorgegebener Winkel eingeschlossen wird, wählt der Benutzer durch die Richtung der Positionsänderung eine der Bewegungsachsen und damit eine der zu verändernden analogen Größen aus. Dadurch wird es dem Benutzer ermöglicht, auf einfache Art und Weise eine von mehreren analogen Größen auszuwählen und zu verändern, ohne dass er dafür eine vorbestimmte absolute Ausgangsposition beim Einnehmen der Betätigungsposition im Erfassungsbereich des Kamerasensors einnehmen muss. Vielmehr ermöglicht es die Erfindung, dass unabhängig davon, wo der Benutzer die Betätigungsposition mit seiner Hand im Erfassungsbereich des Kamerasensors einnimmt, allein durch die gewählte Bewegungsrichtung gemäß einer der Bewegungsachsen eine der analogen Größen ausgewählt wird. Unter einer Bewegungsachse ist insbesondere eine Bewegungsgerade zu verstehen, entlang welcher der Benutzer die Positionsänderung durchführt. Gemäß einer bevorzugten Weiterbildung wird jeder Bewegungsachse ein Toleranzbereich zugeordnet, innerhalb dessen eine Positionsänderung noch der Bewegungsachse zugeordnet wird, auch wenn die Positionsänderung nicht exakt entlang der Bewegungsachse oder -geraden erfolgt. Dabei wird der Toleranzbereich in Abhängigkeit von der Anzahl der vorgegebenen Bewegungsachsen größer oder kleiner gewählt. Dabei ist insbesondere vorgesehen, dass mit zunehmender Anzahl von Bewegungsachsen der Toleranzbereich kleiner gewählt wird, um eine Fehlbedienung zu vermeiden.The method according to the invention with the features of claim 1 has the advantage that the user is given the opportunity to easily select and / or modify one of several analog variables. For this purpose, it is provided according to the invention that one of a plurality of analogous variables is selected or changed as a function of which movement axis of a plurality of movement axes aligned at a predetermined angle to one another is used to change the position. By the non-contact sensor, which is designed in particular as a camera sensor or video sensor, the operating position can be easily detected by a corresponding image analysis. The actuation position serves insofar as a start character for a following position change, which is to be considered or evaluated as input. If the input device thus detects this actuation position and the subsequent position change, one of a plurality of analog variables is selected for modification. According to a first embodiment, the subsequent change in position is understood as an input for changing the analog quantity and executed accordingly by the input device, so that the value of the analog variable changes in accordance with the position change, in particular increased or decreased. In particular, the operating position assumed by fingers and / or thumbs corresponds to a natural gripping gesture, so that the user intuitively operates the input device to change the desired analogue size. In particular, it is provided that the volume of an entertainment system, in particular a music system of the motor vehicle, an illumination intensity or, for example, the speed of a windscreen wiper or the power of an air conditioning system of the motor vehicle is set or changed as an analog variable by the input device. According to a second embodiment, it is provided that, depending on which of the axes of motion the change in position takes place, one of a plurality of analogous variables is selected but not yet changed. The user can thus initially select an analogous size by a movement of his hand taking the actuation position, which he subsequently changes by a further change in position, possibly also along a deviating from the previous change in position movement axis, the analog size. Characterized in that a plurality of axes of motion are given, between each of which a predetermined angle is included, the user selects by the direction of the position change one of the axes of motion and thus one of the analog variables to be changed. This allows the user to easily select and change one of several analogue magnitudes without having to assume a predetermined absolute home position in taking the actuation position within the detection range of the camera sensor. Rather, the invention makes it possible that regardless of where the user occupies the operating position with his hand in the detection range of the camera sensor, one of the analogous sizes is selected solely by the selected direction of movement according to one of the axes of motion. A movement axis is to be understood in particular as a movement straight line along which the user makes the change in position. According to a preferred development, each movement axis is assigned a tolerance range within which a change in position is still assigned to the movement axis, even if the change in position does not take place exactly along the movement axis or straight line. In this case, the tolerance range is selected to be larger or smaller as a function of the number of predetermined axes of motion. It is provided in particular that with increasing number of axes of motion, the tolerance range is chosen to be smaller in order to avoid incorrect operation.

Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass auf die Bewegungsposition erkannt wird, wenn der mindestens eine Finger und/oder der Daumen der Hand einen geschlossenen Ring, eine geschlossene Faust oder eine Pistolengeste bilden. Diese vorgeschlagenen Betätigungspositionen können von dem Kamerasensor durch Bildauswertung schnell und mit überschaubarem Rechenaufwand erkannt werden und sind für den Benutzer intuitiv begreifbar.According to a preferred embodiment of the invention, it is provided that the movement position is recognized when the at least one finger and / or the thumb of the hand form a closed ring, a closed fist or a pistol gesture. These proposed actuation positions can be recognized by the camera sensor by image analysis quickly and with a manageable amount of computation and are intuitively comprehensible for the user.

Vorzugsweise wird dann auf den geschlossenen Ring erkannt, wenn die Fingerspitzen von dem Daumen und dem Finger aneinander anliegen. Alternativ ist es auch denkbar, auf den geschlossenen Ring auch dann zu erkennen, wenn der Finger mit seiner Fingerspitze an einer Seite des Daumens liegt, oder andersherum, und dadurch einen geschlossenen Ring bildet.Preferably, it is then detected on the closed ring when the fingertips of the thumb and the finger abut each other. Alternatively, it is also conceivable to recognize the closed ring even if the finger lies with its fingertip on one side of the thumb, or vice versa, and thereby forms a closed ring.

Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass in Abhängigkeit davon, in welcher Richtung die Positionsänderung entlang der jeweiligen Bewegungsachse erfolgt, die analoge Größe vergrößert oder verkleinert wird. Bewegt der Benutzer beispielsweise den geschlossenen Ring im Erfassungsbereich des Sensors entlang einer Bewegungsachse nach links, so wird die analoge Größe verringert, und bewegt er den geschlossenen Ring entlang derselben Bewegungsachse nach rechts, so wird die analoge Größe vergrößert. Dadurch wird dem Benutzer ein virtueller Schieberegler zur Verfügung gestellt, den er durch Bilden des geschlossenen Rings greifen und durch Verändern der Position verschieben kann.According to a preferred embodiment of the invention, it is provided that, depending on the direction in which the change in position takes place along the respective axis of motion, the analog size is increased or decreased. For example, if the user moves the closed ring in the sensing area of the sensor along an axis of movement to the left, the analog size is reduced, and if it moves the closed ring to the right along the same axis of motion, the analog size is increased. This provides the user with a virtual slider that he can grab by forming the closed ring and moving it by changing the position.

Weiterhin ist bevorzugt vorgesehen, dass dem Benutzer für jeweils eine veränderbare analoge Größe ein Schieberegler angezeigt wird, wobei jedem Schieberegler eine der Bewegungsachsen mit einer dem Schieberregler entsprechenden Ausrichtung zugeordnet wird, entlang welcher oder parallel zu welcher eine Positionsänderung zu einer Veränderung der durch den Schieberegler veränderbaren analogen Größe führt. Dem Benutzer wird also beispielsweise auf einem Display für jede veränderbare analoge Größe jeweils ein Schieberegler angezeigt. Dabei können die veränderbaren analogen Größen beispielsweise von einem ebenfalls angezeigten Kontextmenü abhängen. Unter einer Ausrichtung des Schiebereglers ist dabei die Ausrichtung der Achse des Schiebereglers zu verstehen, entlang welcher der Schieberegler verschoben werden kann. Jedem dargestellten Schieberegler ist eine Bewegungsachse insbesondere in dem Erfassungsbereich des Kamerasensors beziehungsweise in dem durch den Sensor erfassten Bild zugeordnet, die in ihrer Ausrichtung der Ausrichtung des Schiebereglers derart entspricht, dass der Benutzer intuitiv, wenn er seine Hand in der Ausrichtung des Schiebereglers bewegt, eine Positionsänderung entlang oder parallel zu der Bewegungsachse in dem Bild des Sensors durchführt. Durch das Anzeigen des oder der Schieberegler wird somit dem Benutzer eine Bedienung der Eingabevorrichtung beziehungsweise eine Veränderung der analogen Größe besonders einfach gemacht.Furthermore, it is preferably provided that a slider is displayed to the user for each variable analogous size, each slider being assigned one of the axes of motion with an orientation corresponding to the slider controller, along which or parallel to which a position change to a change of the variable by the slider analog size leads. For example, the user will be shown on a display for each changeable analogous size each showing a slider. In this case, the changeable analog variables may depend, for example, on a context menu also displayed. An orientation of the slider is to be understood as the orientation of the axis of the slider along which the slider can be moved. Each slider shown is associated with a movement axis, in particular in the detection range of the camera sensor or in the image detected by the sensor, which corresponds in orientation to the orientation of the slider so that the user intuitively, if he moves his hand in the orientation of the slider, a Position change along or parallel to the axis of movement in the image of the sensor performs. By displaying the slider or sliders, the user is thus made particularly easy to operate the input device or to change the analog size.

Gemäß einer bevorzugten Weiterbildung der Einfindung ist vorgesehen, dass in Abhängigkeit davon, an welcher Position der Benutzer die Betätigungsposition einnimmt, beispielsweise den geschlossenen Ring mit Daumen und Finger, zumindest eine Bewegungsachse oder eine virtuelle Gerade, insbesondere ein Schnittpunkt mehrerer Bewegungsachsen vorgesehen beziehungsweise angeordnet wird. Dadurch wird erreicht, dass sobald der Benutzer ausgehend von der Position, in welcher er die Betätigungsposition, insbesondere den geschlossenen Ring gebildet hat, eine Positionsänderung gemäß der Ausrichtung des Schiebreglers durchführt, diese Positionsänderung entlang der Bewegungsachse erfolgt. Die eine oder mehreren Bewegungsachsen werden somit in Abhängigkeit von der Position der Hand im Erfassungsbereich des Sensors zu dem Zeitpunkt angeordnet, zu welchem die Betätigungsposition gebildet beziehungsweise eingenommen wird. Dadurch ist ein Nachvollziehen der Positionsänderung entlang der jeweiligen Bewegungsachse einfach möglich. Alternativ kann vorgesehen sein, dass die Bewegungsachse fest in dem Erfassungsbereich vorgesehen werden, und Parallelbewegungen zu den Geraden, wie bereits zuvor erwähnt, als Eingabe berücksichtigt werden, wenn die Betätigungsposition erfasst wird.According to a preferred embodiment of the invention, it is provided that, depending on the position in which the user assumes the actuating position, for example the closed ring with thumb and finger, at least one movement axis or a virtual straight line, in particular an intersection of a plurality of movement axes is provided or arranged. This ensures that as soon as the user, starting from the position in which he has formed the actuation position, in particular the closed ring, performs a change in position according to the orientation of the slide controller, this change in position takes place along the axis of movement. The one or more axes of motion are thus arranged depending on the position of the hand in the detection range of the sensor at the time at which the actuating position is formed or occupied. This makes it easy to follow the change in position along the respective axis of movement. Alternatively, it can be provided that the movement axis are provided fixedly in the detection area, and parallel movements to the straight lines, as already mentioned above, are taken into account as input when the actuation position is detected.

Weiterhin ist bevorzugt vorgesehen, dass wenn Finger und/oder Daumen die Betätigungspositionen einnehmen, und eine erste Positionsänderung entlang oder parallel zu einer der Bewegungsachsen erfolgt, Positionsänderungen nur entlang oder parallel zu dieser Bewegungsachse als Eingabe erfasst werden. Solange der geschlossene Ring also bestehen bleibt, werden Positionsänderungen, die von der Bewegungsachse oder einer Parallelen dazu abweichen, insbesondere über den vorgebbaren Toleranzbereich hinaus, nicht bei der Erkennung der Eingabe zum Verändern einer analogen Größe berücksichtig. Erst wenn der Benutzer den geschlossenen Ring wieder öffnet, den Finger also von dem Daumen entfernt und danach erneut den Ring schließt, beziehungsweise die Betätigungsposition auflöst und wieder einnimmt, wird eine Positionsänderung in eine andere Richtung, insbesondere entlang einer anderen virtuellen Geraden/Ausrichtung erfasst und für die Eingabe berücksichtigt. Dadurch werden Fehlbedienungen und das unbeabsichtigte Verändern analoger Größen auf einfache Art und Weise vermieden.Furthermore, it is preferably provided that when fingers and / or thumbs assume the actuation positions, and a first change of position takes place along or parallel to one of the movement axes, positional changes are only detected as input along or parallel to this movement axis. As long as the closed ring thus remains, changes in position which deviate from the movement axis or a parallel thereto, in particular beyond the predefinable tolerance range, are not taken into account in the recognition of the input for changing an analog variable. Only when the user opens the closed ring again, the finger thus removed from the thumb and then again closes the ring, or the actuation position dissolves and resumes, a change in position in another direction, in particular along another virtual line / orientation is detected and considered for input. As a result, operating errors and unintentional changing analogous sizes are easily avoided.

Gemäß einer vorteilhaften Weiterbildung der Erfindung ist außerdem vorgesehen, dass als Position/Positionsänderungen eine Position/Positionsänderung eines der Finger, insbesondere einer Fingerspitze von Daumen oder Finger, eines Handschwerpunkts oder eines Mittelpunkts des geschlossenen Rings erfasst werden. Besonders bevorzugt wird die Position/Positionsänderung der Fingerspitze des Daumens oder des Fingers, die den geschlossenen Ring bilden, oder die Fingerspitzen von beiden erfasst und verfolgt, um die analoge Größe zu verändern. Dadurch wird eine besonders intuitive Einstellung der jeweiligen analogen Größe für den Benutzer ermöglicht.According to an advantageous development of the invention, it is also provided that a position / position change of one of the fingers, in particular a fingertip of a thumb or finger, a center of gravity or a center of the closed ring is detected as position / position changes. More preferably, the position / position change of the fingertip of the thumb or the finger forming the closed ring or the fingertips of both are detected and tracked to change the analogous size. This allows a particularly intuitive setting of the respective analog size for the user.

Gemäß einer bevorzugten Weiterbildung der Einfindung ist weiterhin vorgesehen, dass in Abhängigkeit davon, welcher der Finger der Hand mit dem Daumen den geschlossenen Ring bildet, eine der veränderbaren analogen Größen verändert wird. Der Benutzer kann in diesem Fall also nicht nur durch eine Positionsänderung in eine bestimmte Richtung auswählen, welche der analogen Größen verändert werden soll, sondern auch durch die Wahl des Fingers, mit welchem der geschlossene Ring zusammen mit dem Daumen gebildet wird. Durch eine Auswertung des von dem Sensor erfassten Bildes lässt sich feststellen, insbesondere durch Konturenvergleiche mit hinterlegten Handmodellen, mit welchem Finger der Benutzer den geschlossenen Ring bildet. Dadurch können (virtuell) mehrere Bedienebenen eingerichtet werden, in denen in Abhängigkeit von der Richtung der Positionsänderung unterschiedliche analoge Größen verändert werden können. Dadurch wird die Variabilität des Verfahrens und der Eingabevorrichtung derart weit erhöht, dass auch Eingaben unabhängig von einem dargestellten Kontextmenü durch den Benutzer durchgeführt werden können, sofern dem Benutzer die einzelnen Gesten bekannt sind.According to a preferred development of the invention, it is further provided that, depending on which of the fingers of the hand forms the closed ring with the thumb, one of the variable analogous variables is changed. In this case, the user can thus select not only by a change of position in a certain direction, which one of the analogous quantities is to be changed, but also by the choice of the finger, with which the closed ring is formed together with the thumb. By evaluating the image captured by the sensor, it can be determined, in particular by contour comparisons with stored hand models, with which finger the user forms the closed ring. As a result, (virtually) several operating levels can be set up, in which different analogous quantities can be changed depending on the direction of the position change. As a result, the variability of the method and the input device is increased to such an extent that inputs can also be performed independently of a displayed context menu by the user, provided the user knows the individual gestures.

Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass in Abhängigkeit von einem durch die erfassten Positionsänderungen entlang einer oder mehrerer der Bewegungsachsen durchgeführten Bewegungsmuster eine der analogen Größen ausgewählt wird. Hierdurch ergibt sich der Vorteil, dass der Benutzer durch das Anzeigen beziehungsweise Durchführen eines Bewegungsmusters gezielt eine bestimmte analoge Größe zunächst auswählen kann, die nach Erkennung des Bewegungsmusters durch eine weitere Positionsänderung, also insbesondere ohne, dass die Betätigungsposition aufgelöst wird, verändert wird. Dabei kann das Bewegungsmuster aus Positionsänderungen in unterschiedlichen Richtungen entlang einer Bewegungsachse, oder auch entlang unterschiedlicher Bewegungsachsen erfolgen. Weiterhin ist es auch denkbar, in Abhängigkeit eines durch die erfassten Positionsänderungen erkannten Bewegungsmusters eine Schriftzeichenerkennung durchzuführen.According to a preferred development of the invention, it is provided that one of the analogous variables is selected as a function of a movement pattern carried out along one or more of the axes of motion by the detected position changes. This results in the Advantage that the user by selecting or performing a movement pattern specifically select a specific analog size initially, which is changed after detection of the movement pattern by a further change in position, ie in particular without that the actuation position is resolved. In this case, the movement pattern can be made of changes in position in different directions along a movement axis, or along different axes of movement. Furthermore, it is also conceivable to perform a character recognition as a function of a movement pattern recognized by the detected position changes.

Die erfindungsgemäße Eingabevorrichtung mit den Merkmalen des Anspruchs 10 zeichnet sich dadurch aus, dass sie bei bestimmungsgemäßem Gebrauch das erfindungsgemäße Verfahren durchführt. Es ergeben sich hierdurch die bereits genannten Vorteile. Weitere Merkmale und Vorteile ergeben sich aus dem zuvor Beschrieben sowie aus den Ansprüchen.The input device according to the invention with the features of claim 10 is characterized in that it performs the inventive method when used as intended. This results in the already mentioned advantages. Other features and advantages will be apparent from the foregoing and from the claims.

Im Folgenden soll die Erfindung anhand der Zeichnung näher erläutert werden. Dazu zeigenIn the following, the invention will be explained in more detail with reference to the drawing. Show this

1 den Innenraum eine Kraftfahrzeugs mit einer Eingabevorrichtung, 1 the interior of a motor vehicle with an input device,

2A bis 2C eine erste Handgeste zum Verändern einer analogen Größe mittels der Eingabevorrichtung, 2A to 2C a first hand gesture for changing an analogue size by means of the input device,

3A bis 3C weitere Gesten zum Verändern der analogen Größe, 3A to 3C more gestures to change the analogue size,

4 ein weiteres Ausführungsbeispiel, 4 another embodiment,

5A bis 5D unterschiedliche Definitionen von Bewegungsachsen, 5A to 5D different definitions of axes of motion,

6A bis 6C ein weiteres Ausführungsbeispiel, 6A to 6C another embodiment,

7A und 7B ein weiteres Ausführungsbeispiel und 7A and 7B another embodiment and

8A bis 8H unterschiedliche Bewegungsmuster. 8A to 8H different movement patterns.

1 zeigt eine schematische Darstellung des Innenraums eines hier nicht näher dargestellten Kraftfahrzeugs 1, welches eine Eingabevorrichtung 2 zum berührungslosen Eingeben von Steuerbefehlen aufweist. Die Eingabevorrichtung weist hierzu einen Kamerasensor 3 sowie eine Anzeigeeinheit 4 auf. Die Anzeigeeinheit 4 ist in das Armaturenbrett beziehungsweise in die Bedienkonsole des Kraftfahrzeugs 1 eingebracht angeordnet. Die Anzeigeeinheit 4 ist als Bildschirm, insbesondere Display, ausgebildet und kann beispielsweise Bestandteil eines Navigationssystems oder eines Unterhaltungssystems des Kraftfahrzeugs 1 sein. Auch ist es denkbar, die Anzeigeeinheit 4 alternativ oder zusätzlich als Head-Up-Display (HUD) auszubilden. Der berührungsfrei arbeitende Sensor 3 ist bevorzugt als zweidimensional arbeitende Videokamera beziehungsweise Kameraeinrichtung ausgebildet, die den mit gestrichelten Linien 7 dargestellten Erfassungsbereich aufweist. Die Videokamera ist dabei bevorzugt derart ausgerichtet, dass sie auf das frontseitige Ende einer mittleren Armauflage 5 des Kraftfahrzeugs 1 weist. Die Armauflage 5 weist selbst keine reale Eingabeoberfläche auf, auf welcher ein Fahrer mittels einer hier nur schematisch dargestellten Hand 6 durch Berührung der Eingabeoberfläche einen Befehl eingeben könnte. 1 shows a schematic representation of the interior of a motor vehicle not shown here 1 which is an input device 2 for non-contact input of control commands. The input device has a camera sensor for this purpose 3 and a display unit 4 on. The display unit 4 is in the dashboard or in the control console of the motor vehicle 1 arranged arranged. The display unit 4 is designed as a screen, in particular display, and may for example be part of a navigation system or an entertainment system of the motor vehicle 1 be. It is also conceivable, the display unit 4 alternatively or additionally as a Head-Up Display (HUD) form. The non-contact sensor 3 is preferably designed as a two-dimensionally working video camera or camera device, the with dashed lines 7 has shown detection range. The video camera is preferably oriented such that it faces the front end of a central armrest 5 of the motor vehicle 1 has. The armrest 5 itself has no real input surface on which a driver by means of a hand only schematically shown here 6 could enter a command by touching the input interface.

Die Eingabevorrichtung 2 ist stattdessen dazu ausgebildet, eine Position und/oder Positionsänderung zumindest eines Fingers der Hand 6 im freien Raum zu erfassen und in Abhängigkeit davon auf eine Eingabe zu erkennen und diese auszuführen. Dabei prüft die Eingabevorrichtung 2, ob der Benutzer eine Greifgeste durchführt und virtuell einen Schieberegler verstellt, um eine analoge Größe, wie beispielsweise eine Lautstärke einer Musikanlage, oder die Lichtintensität einer Anzeige des Kraftfahrzeugs 1, zu verändern. Vorliegend zeigt die Eingabevorrichtung 2 dem Benutzer an der Anzeigeeinheit 4 zwei Schieberegler 8 und 9 an, die senkrecht zueinander ausgerichtet sind, sodass der eine Schieberegler 8 horizontal und der andere Schieberegler 9 vertikal verstellbar ist, um eine mit dem jeweiligen Schieberegler 8, 9 verknüpfte analoge Größe zu verändern.The input device 2 is instead adapted to a position and / or position change of at least one finger of the hand 6 to detect in free space and depending on an input to recognize and execute. The input device checks 2 Whether the user performs a gripping gesture and virtually adjusts a slider to an analog size, such as a volume of a music system, or the light intensity of a display of the motor vehicle 1 , to change. In the present case shows the input device 2 the user on the display unit 4 two sliders 8th and 9 which are aligned perpendicular to each other, so that one slider 8th horizontal and the other slider 9 vertically adjustable to one with the respective slider 8th . 9 linked analog size to change.

Wäre die Anzeigeeinheit 4 als berührungsempfindlicher Bildschirm ausgebildet, könnte der Benutzer einfach durch Berühren eines der Schieberegler 8, 9 und durch ein anschließendes Verschieben dieses Schiebereglers die analoge Größe verändern. Im Folgenden wird beschrieben, wie eine Einstellung der analogen Größe beziehungsweise eine Betätigung der Schieberegler 8, 9 auch durch eine im freien Raum durchgeführte Geste des Benutzers eingestellt beziehungsweise verändert werden kann.Would the display unit be 4 Trained as a touch-sensitive screen, the user could simply by touching one of the sliders 8th . 9 and then change the analog size by moving this slider. The following describes how to set the analog size or operate the sliders 8th . 9 can also be adjusted or changed by a user performed in free space gesture.

Der Benutzer führt dazu zunächst seine Hand 6 in den Erfassungsbereich 7 des Kamerasensors 3. 2A bis 2C zeigen dazu die von dem Kamerasensor 3 erfasste Hand 6 des Benutzers. 2A zeigt dabei das von dem Kamerasensor 3 erfasste Bild. 2B zeigt eine Markierung von in dem Bild erfassten Fingerspitzen von Fingern 10, 11, 12 und Daumen 13, und 2C zeigt eine ringförmige Markierung.The user leads first his hand 6 in the coverage area 7 of the camera sensor 3 , 2A to 2C show that of the camera sensor 3 grasped hand 6 the user. 2A shows that of the camera sensor 3 captured picture. 2 B shows a mark of fingertips of fingers detected in the image 10 . 11 . 12 and thumbs 13 , and 2C shows an annular mark.

Bewegt der Benutzer seine Hand 6 in den Erfassungsbereich 7 des Kamerasensors 3, so wird das erfasste Bild von einer hier nicht dargestellten Recheneinheit ausgewertet. Insbesondere werden dazu mittels entsprechender Algorithmen, die weiter unten näher erörtert werden sollen, die Fingerspitzen der Finger 10 bis 12 sowie des Daumens 13 der Hand 6 erfasst und verfolgt. Die in 2B gezeigten Markierungen dienen dabei lediglich zur Veranschaulichung, eine tatsächliche Markierung der Fingerspitzen in einem Bild ist nicht notwendig. Die Eingabevorrichtung 2 überwacht die im Kamerabild erfasste Hand 6 darauf, ob einer der Finger 10 bis 12 zusammen mit dem Daumen 13 einen geschlossenen Ring bildet. Dieser entsteht dann, wenn beispielsweise, wie dargestellt, die Fingerspitze des Fingers 10 auf den Daumen 13, insbesondere auf die Fingerspitze des Daumens 13 trifft, wie wenn der Benutzer mit seiner Hand zwischen dem entsprechenden Finger 10 und dem Daumen 13 einen Gegenstand, insbesondere den Schieberegler 8, 9 greifen wollte. Die Eingabevorrichtung 2 erkennt die Betätigungsposition einfach dadurch, dass Daumen und Finger aneinander anliegen, wie in 2B gezeigt. Berühren sich Daumen 13 und Finger 10, so liegt eine Greifgeste vor, die hier als Betätigungsposition von Daumen 13 und 10 zueinander verstanden wird. Alternativ zur Suche nach sich berührenden Fingern kann der geschlossene Ring als Loch innerhalb der im Bild erfassten Kontur der Hand 6 ermittelt werden, wie in 2C gezeigt. Auch ein anders gebildetes Loch in der Kontur kann ausreichend zur Erkennung der Greifgeste oder Betätigungsposition sein.The user moves his hand 6 in the coverage area 7 of the camera sensor 3 , so the captured image of a not shown here Arithmetic unit evaluated. In particular, by means of appropriate algorithms, which will be discussed in more detail below, the fingertips of the fingers 10 to 12 as well as the thumb 13 the hand 6 recorded and tracked. In the 2 B The markings shown are merely illustrative, an actual marking of the fingertips in an image is not necessary. The input device 2 monitors the hand captured in the camera image 6 on whether one of the fingers 10 to 12 together with the thumb 13 forms a closed ring. This arises when, for example, as shown, the fingertip of the finger 10 on the thumb 13 , especially on the fingertip of the thumb 13 as if the user with his hand between the corresponding finger 10 and the thumb 13 an object, in particular the slider 8th . 9 wanted to grab. The input device 2 recognizes the operating position simply by the fact that thumb and fingers abut each other, as in 2 B shown. Touch your thumb 13 and fingers 10 , so there is a gripping gesture here as the operating position of the thumb 13 and 10 understood to each other. As an alternative to searching for touching fingers, the closed ring can be used as a hole within the contour of the hand captured in the image 6 be determined as in 2C shown. Also, a differently formed hole in the contour may be sufficient for detecting the gripping gesture or operating position.

Sobald die Eingabevorrichtung 2 den geschlossenen Ring auf die eine oder andere Art und Weise ermittelt hat, verfolgt sie Positionsänderungen der Hand 6 nach. Insbesondere wählt sie dabei einen der Finger 10 bis 12 aus, um dessen Position nachzuverfolgen. Alternativ wird der Schwerpunkt des Lochs beziehungsweise des geschlossenen Rings als Verfolgungspunkt zum Erfassen einer Positionsänderung bestimmt. Once the input device 2 has determined the closed ring in one way or another, it is tracking changes in position of the hand 6 to. In particular, she chooses one of the fingers 10 to 12 to track its position. Alternatively, the center of gravity of the hole or the closed ring is determined as a tracking point for detecting a change in position.

Zur Erkennung der Greifgeste, wie sie in 2A dargestellt ist, beziehungsweise zur Erkennung des geschlossenen Rings und auch zur Nachverfolgung der Positionsänderung, wird insbesondere wie im Folgenden beschrieben vorgegangen:
Zunächst erfolgt eine Hintergrundmodellierung nach Zivkovic, Zoran ( Zivkovic, Zoran; „Improved Adaptive Gaussian Mixture Model for Background Substration“, ICPR, 2004 ) des durch den Sensor 3 erfassten Bildes. Dadurch werden der Hintergrund und der Vordergrund voneinander getrennt. Als Hintergrund wird dabei das statische beziehungsweise sich nicht verändernde von dem Sensor 3 erfasste Bild in dem Kraftfahrzeug verstanden. Das statische Bild dient als Referenzbild, dass zu jedem Zeitpunkt einer Bildfolge von einem aktuell erfassten Bild abgezogen wird, so dass nur Bildelemente beziehungsweise Pixel im resultierenden Differenzbild markiert sind, die sich vom vorher definierten/ erfassten statischen Hintergrundbild unterscheiden. Der Vordergrund ist die im Erfassungsbereich des Kamerasensors 3 bewegte Hand 6 eines Benutzers, wie sie in 1 beispielhaft dargestellt ist.
To detect the gripping gesture, as in 2A is shown, or to detect the closed ring and also to track the change in position, is in particular as described below:
First, a background modeling according to Zivkovic, Zoran ( Zivkovic, Zoran; "Improved Adaptive Gaussian Mixture Model for Background Subtraction", ICPR, 2004 ) of the sensor 3 captured image. This will separate the background and the foreground. The background is the static or non-changing of the sensor 3 captured image in the motor vehicle understood. The static image serves as a reference image that is subtracted from a currently acquired image at any time of an image sequence, so that only pixels or pixels are marked in the resulting difference image, which differ from the previously defined / detected static background image. The foreground is the one in the detection range of the camera sensor 3 moving hand 6 of a user, as in 1 is shown by way of example.

Alternativ oder zusätzlich zu der Hintergrundmodellierung ist vorgesehen, dass eine Vordergrundmodellierung nach Dadgostar und Sarrafzadeh ( Dadgostar, Farhad und Sarrafzadeh, Abdolhossein: „An adaptive real-time skin detector based on Hue thresholding: A comparison on two motion tracking methods“ Pattern Recognition Letters, 2006, 1342–1352 ) durchgeführt wird, bei welcher relevante Vordergrundregionen für die Handerkennung durch spezielle Hautfarbmodelle erfasst werden, wobei aufgrund des Farbunterschieds zwischen der Hand und dem Hintergrund die Hand erkannt wird. As an alternative or in addition to the background modeling, it is provided that a foreground modeling according to Dadgostar and Sarrafzadeh (US Pat. Dadgostar, Farhad and Sarrafzadeh, Abdolhossein: "Adaptive real-time skin detector based on Hue thresholding: A Comparison of two motion tracking methods", Pattern Recognition Letters, 2006, 1342-1352 ), in which relevant foreground regions for hand recognition are detected by special skin color models, whereby the hand is recognized due to the color difference between the hand and the background.

Auf Basis der der durch die Vordergrund- und/oder Hintergrundmodellierung gewonnenen Daten wird eine Handkontur der Hand 6 ermittelt und insbesondere auch der Handkonturschwerpunkt berechnet. Vorteilhafterweise wird dazu eine Handkontursegmentierung nach Suzuki und Abe ( Suzuki, S. und Abe, K.: Topological Structural Analysis of Digitized Binary Images by Border Following.“ CVGIP, 1985, 32–46 ) durchgeführt. Anschließend werden Fingerspitzen der Hand 6 und damit einzelne Finger erkannt. Dies erfolgt vorzugsweise in Abhängigkeit von den erfassten Krümmungen der Handkontur, wie beispielsweise bei Malik ( Malik, Shahzad: „Real-time Hand Tracking and Finger Tracking for Interaction“, Toronto: CSC2503F Project Report, University of Toronto, 2003 ) beschrieben wurde. Alternativ kann auch eine Handmodellierung, wie sie von Liu und Lovell ( Liu, Nianjun and Lovell, Brian C. „Hand Gesture Extraction by Active Shape Models“, Proceedings of the Digital Image Computing on Techniques and Applications, 2005 ) beschrieben wurde durchgeführt werden, um sowohl die Hand als auch ihre Finger- und Fingerspitzen zu detektieren ( Lee, J. und Kunii, T. L.: „Model-Based Analysis of Hand Posture“, IEEE Computer Graphics and Applications, 1995, 77–86 ). Auf Basis der so bestimmten Fingerspitzen werden erneut geschlossene Konturen, berechnet, wobei deren Schwerpunktzentren die Position der finalen Fingerspitze repräsentieren. Falls mehrere falsche Fingerspitzen durch eine Übersegmentierung detektiert wurden, werden diese anhand von geometrischen Heuristiken und des Abstands zum Handkonturschwerpunkt verworfen. Hierdurch lassen sich auf einfache Art und Weise einzelne Fingerspitzen der Hand 6 ermitteln.On the basis of the data obtained by the foreground and / or background modeling, a hand contour of the hand becomes 6 determined and in particular also calculated the hand contour center of gravity. Advantageously, a hand contour segmentation according to Suzuki and Abe ( Suzuki, S. and Abe, K .: Topological Structural Analysis of Digitized Binary Images by Border Following. "CVGIP, 1985, 32-46 ) carried out. Subsequently, fingertips become the hand 6 and thus recognize individual fingers. This is preferably done as a function of the detected curvatures of the hand contour, as for example in Malik ( Malik, Shahzad: "Real-time Hand Tracking and Finger Tracking for Interaction", Toronto: CSC2503F Project Report, University of Toronto, 2003 ) has been described. Alternatively, a hand modeling, as described by Liu and Lovell ( Liu, Nianjun and Lovell, Brian C. "Hand Gesture Extraction by Active Shape Models", Proceedings of Digital Image Computing on Techniques and Applications, 2005 ) to detect both the hand and its fingertips and fingertips ( Lee, J. and Kunii, TL: Model-Based Analysis of Hand Posture, IEEE Computer Graphics and Applications, 1995, 77-86 ). Based on the fingertips thus determined, again closed contours are calculated, with their centers of gravity representing the position of the final fingertip. If several false fingertips were detected by over-segmentation, they are discarded based on geometric heuristics and the distance to the hand contour center of gravity. As a result, individual fingertips of the hand can be easily achieved 6 determine.

Sowohl die gesamte Hand 6 als auch deren Fingerspitzen können mit bekannten Trackingverfahren, wie sie beispielsweise von Do, Asfour und Dillmann ( Do, Martin; Asfour, Tamim; and Dillmann, Rüdiger: „Particle Filter-Based Fingertip Tracking with Circular Hough Transform Features“ MVA, 2011 ) beschrieben wurden, verfolgt werden. Die Erkennung statischer Zeigegesten kann durch standartisierte Klassifikationsverfahren und unabhängig zu jedem Bild einer Sequenz erfolgen, wie von Lockton und Fitzgibbon ( Lockton, R. und Fitzgibbon, A. W.: „Real-time gesture recognition using deterministic boosting“, BMVC, 2002 ) oder Nagi ( Nagi, Jawad et al. „Max-Pooling Convolutional Neural Networks for Vision-based Hand Gesture Recognition“ ICSIPA, 2011, 342–347 ) beschrieben. Probabilistische Sequenzmodellierungsverfahren erlauben sowohl die Erkennung einfacher statischer ( Dreuw, Philippe; Keysers, Daniel; Deselaers, Thomas und Ney, Hermann: „Gesture Recognition Using Image Comparision Methods“, International Workshop on Gesture in Human-Computer Interaction and Simulation, 2005, 124–128 ) als auch komplexer dynamischer Handgesten ( Dreuw, Philippe; Rybach, David; Deselaers, Thomas; Zahedi, Morteza und Ney, Hermann. „Speech Recognition Techniques for a Sign Language Recogntion System“, Interspeech, Antwerp, Belgium, 2007, 2513–2516 ), die nicht notwendigerweise eine bereits segmentierte Handkontur als Eingabe erwarten, sondern mittels erscheinungsbasierter Merkmale auf dem gesamten Bild arbeiten. Ähnliche Verfahren, die auch angewendet können, basieren auf einer Analyse des optischen Flusses ( Cutler, R. und Turk, M.: „View-Based Interpretation on Real-Time Optical Flow for Gesture Recognition“, IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998 ).Both the entire hand 6 and their fingertips can with known tracking methods, as for example by Do, Asfour and Dillmann ( Do, Martin; Asfour, Tamim; and Dillmann, Rüdiger: "Particle Filter-Based Fingertip Tracking with Circular Hough Transform Features" MVA, 2011 ) be traced. The detection of static pointers can be done by standardized classification methods and independently to each image of a sequence, as described by Lockton and Fitzgibbon ( Lockton, R. and Fitzgibbon, AW: "Real-time gesture recognition using deterministic boosting", BMVC, 2002 ) or Nagi ( Nagi, Jawad et al. "Max-Pooling Convolutional Neural Networks for Vision-based Hand Gesture Recognition" ICSIPA, 2011, 342-347 ). Probabilistic sequence modeling techniques allow both the detection of simple static ( Dreuw, Philippe; Keyser, Daniel; Deselaers, Thomas and Ney, Hermann: "Gesture Recognition Using Image Comparision Methods", International Workshop on Gesture in Human-Computer Interaction and Simulation, 2005, 124-128 ) as well as complex dynamic hand gestures ( Dreuw, Philippe; Rybach, David; Deselaer, Thomas; Zahedi, Morteza and Ney, Hermann. Speech Recognition Techniques for a Sign Language Recognition System, Interspeech, Antwerp, Belgium, 2007, 2513-2516 ), which do not necessarily expect an already segmented hand contour as an input, but work on the entire image using appearance-based features. Similar methods that can be used are based on an analysis of the optical flow ( Cutler, R. and Turk, M .: "View-Based Interpretation on Real-Time Optical Flow for Gesture Recognition", IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998 ).

Im einfachsten Fall, wenn dem Benutzer nur eine analoge Größe zum Verändern zur Verfügung steht, die dann beispielsweise durch einen Schieberegler 8 auf der Anzeigeeinheit 4 dargestellt wird, kann jede Bewegung der Hand des Benutzers genau diesem Schieberegler zugeordnet werden. Wird erfasst, dass der Benutzer die Greifgeste anzeigt, wie sie in 2A bis 2C gezeigt ist, so wird die darauf folgende Positionsänderung auf eine Verschiebung des Schiebereglers übertragen, so als ob der Benutzer den Schieberegler greifen und verschieben würde. Dabei wird die veränderbare analoge Größe entsprechend um die Bewegung des Schiebereglers vergrößert oder verringert.In the simplest case, if the user has only one analogous variable to modify, which is then, for example, by a slider 8th on the display unit 4 is shown, any movement of the user's hand can be assigned to exactly this slider. It is detected that the user displays the gripping gesture as shown in 2A to 2C is shown, the subsequent position change is transferred to a shift of the slider, as if the user would grab and move the slider. In this case, the variable analog size is increased or decreased corresponding to the movement of the slider.

Sind mehrere Schieberegler 8, 9 dargestellt, muss eine Auswahl stattfinden, welcher der Schieberegler 8, 9 beziehungsweise welche analoge Größe verändert werden soll. Im vorliegenden Ausführungsbeispiel sind die Schieberegler 8, 9 senkrecht zueinander ausgerichtet. Führt der Benutzer die Greifgeste aus, und bildet den geschlossenen Ring gemäß Ring 14, so können zunächst noch beide Schieberegler betroffen sein. Sobald der Benutzer die Hand 6 bewegt, sodass auch eine Positionsänderung erfasst wird, so wird in Abhängigkeit davon, entlang welcher Bewegungsachse der Benutzer seine Hand bewegt, einer der beiden Schieberegler 8, 9 ausgewählt. Are multiple sliders 8th . 9 shown, a selection must take place, which is the slider 8th . 9 or which analog variable should be changed. In the present embodiment, the sliders 8th . 9 aligned perpendicular to each other. The user executes the gripping gesture and forms the closed ring according to the ring 14 , so initially both sliders may be affected. Once the user's hand 6 moved, so that a change in position is detected, then, depending on which movement axis the user moves his hand, one of the two sliders 8th . 9 selected.

3A bis 3C zeigen hierzu in einer vereinfachten Darstellung das Verfahren zur Reglerauswahl. 3A zeigt die beiden Schieberegler 8 und 9, die wie zuvor beschrieben senkrecht zueinander, durch die Anzeigeeinheit 4 dargestellt, ausgerichtet sind. Des Weiteren zeigt 3A dazu überlagert die von dem Kamerasensor 3 erfasste Hand 6 des Benutzers, die die Greifgeste mit dem geschlossenen Ring vollführt. Die Doppelpfeile deuten an, dass noch keine Positionsänderung nach Erkennen der Greifgeste erfolgt ist. Für eine bessere Orientierung des Benutzers wird bevorzugt die durch den Kamerasensor 3 erfasste Hand durch die Anzeigeeinheit 4 insbesondere schematisch dargestellt. 3A to 3C show in a simplified representation of the method for selecting the controller. 3A shows the two sliders 8th and 9 which are perpendicular to each other as described above, by the display unit 4 are shown aligned. Further shows 3A this is superimposed by the camera sensor 3 grasped hand 6 of the user making the gripping gesture with the closed ring. The double arrows indicate that no change in position has yet taken place after recognition of the gripping gesture. For a better orientation of the user is preferred by the camera sensor 3 detected hand through the display unit 4 in particular shown schematically.

Gemäß 3B wird gezeigt, dass der Benutzer seine Hand 6 horizontal beziehungsweise parallel zu der Ausrichtung des Schiebereglers 8 entlang einer Bewegungsachse B1 bewegt, wie durch einen Pfeil 15 angedeutet. In dem Erfassungsbereich 7 des Kamerasensors 3 wird dabei ausgehend von der Ausgangsstellung gemäß 3A in dem Punkt, welcher zur Positionsnachverfolgung an der Hand 6 festgelegt wurde, virtuelle Geraden gelegt, die jeweils parallel zu einem der Schieberegler 8, 9 ausgerichtet beziehungsweise senkrecht zueinander in der Bewegungsebene der Hand 6 liegen. Bewegt der Benutzer seine Hand horizontal, wie in 3B gezeigt, so bewegt er sie parallel beziehungsweise entlang einer der gedachten Geraden, deren Ausrichtung mit der Ausrichtung des Schiebereglers 8 übereinstimmt.According to 3B is shown to the user his hand 6 horizontal or parallel to the orientation of the slider 8th moved along a movement axis B1, as by an arrow 15 indicated. In the detection area 7 of the camera sensor 3 is doing starting from the starting position according to 3A in the point, which for position tracking on the hand 6 was set, laid out virtual straight lines, each parallel to one of the sliders 8th . 9 aligned or perpendicular to each other in the plane of movement of the hand 6 lie. The user moves his hand horizontally, as in 3B shown, it moves it parallel or along one of the imaginary lines, their alignment with the orientation of the slider 8th matches.

3C zeigt die Darstellung für den Fall, dass der Benutzer die Hand 6 vertikal beziehungsweise parallel oder entlang einer Bewegungsachse B2, deren Ausrichtung mit der Ausrichtung des Schiebereglers 9 übereinstimmt und insofern senkrecht zur Bewegungsachse B1 liegt, bewegt, wie durch einen Pfeil 16 angedeutet. 3C shows the illustration in case the user's hand 6 vertically or parallel or along a movement axis B2, their alignment with the orientation of the slider 9 coincides and thus is perpendicular to the movement axis B1, moves, as indicated by an arrow 16 indicated.

Sobald der Benutzer also nach dem Erreichen der Greifgeste seine Hand in eine Richtung gemäß einer Ausrichtung eines der Schieberegler 8, 9 bewegt, wird die Positionsänderung in diese Richtung verfolgt und der Schieberegler 8 beziehungsweise 9 entsprechend verstellt, beziehungsweise die analoge Größe entsprechend verändert. Der Schieberegler 8 oder 9 wird dabei entsprechend der zurückgelegten Distanz der Hand 6 bewegt, wie in 3B und 3C dargestellt. Sobald einer der Schieberegler 8, 9 ausgewählt wurde, wirkt sich die Bewegung der Hand beziehungsweise die weiteren erfassten Positionsänderungen ausschließlich auf diesen Schieberegler 8 oder 9 aus. Um den anderen Schieberegler 9 oder 8 zu beeinflussen, muss die Greifgeste zunächst gelöst, der Ring 14 also unterbrochen und neu gefasst werden. Das Konzept lässt sich selbstverständlich auch auf mehr als nur zwei Schieberegler 8, 9 übertragen.Thus, once the user has reached the gripping gesture, his hand moves in one direction according to an orientation of one of the sliders 8th . 9 moves, the position change is tracked in that direction and the slider 8th respectively 9 adjusted accordingly, or changed the analog size accordingly. The slider 8th or 9 is doing according to the distance covered the hand 6 moves, as in 3B and 3C shown. Once one of the sliders 8th . 9 has been selected, the movement of the hand or the other detected position changes affects only this slider 8th or 9 out. To the other slider 9 or 8th to influence, the gripping gesture must first be solved, the ring 14 so be interrupted and recast. Of course, the concept can also be applied to more than just two sliders 8th . 9 transfer.

Insbesondere ist vorgesehen, dass in Abhängigkeit davon, welcher der Finger 10, 11, 12 mit dem Daumen 13 zusammen den geschlossenen Ring bildet, unterschiedliche Schieberegler, die durch die Anzeigeeinheit 4 beispielsweis unterschiedliche farblich markiert und zum Teil dennoch gleich ausgerichtet sind, verändert und entsprechende analoge Größen eingestellt werden. Alternativ oder zusätzlich ist vorgesehen, dass unterschiedliche analoge Größen in Abhängigkeit von einem durch die Anzeigeeinheit 4 dargestellten Kontextmenü durch eine entsprechende Bewegung des jeweiligen Schiebereglers 8, 9 verändert werden. In particular, it is provided that, depending on which of the fingers 10 . 11 . 12 with the thumb 13 Together, the closed ring forms different sliders through the display unit 4 For example, different color-coded and partly still the same direction, changed and adjusted analogous sizes. Alternatively or additionally, it is provided that different analogous variables as a function of a through the display unit 4 displayed context menu by a corresponding movement of the respective slider 8th . 9 to be changed.

4 zeigt ein weiteres Ausführungsbeispiel, welches vier Bewegungsachsen B1, B2, B3 und B4 vorsieht, die jeweils in einem Winkel von 45° zueinander ausgerichtet sind und sich in einem gemeinsamen Mittelpunkt schneiden. Gemäß diesem Ausführungsbeispiel können dem Benutzer dann beispielsweise auch vier entsprechende Schieberegler 8, 9, 17 und 18 angezeigt werden, wobei jeder der Bewegungsachsen B1 bis B4 dann eine analoge Größe zugeordnet ist. 4 shows a further embodiment, which provides four axes of movement B1, B2, B3 and B4, which are each aligned at an angle of 45 ° to each other and intersect at a common center. According to this embodiment, the user can then also, for example, four corresponding sliders 8th . 9 . 17 and 18 are displayed, each of the movement axes B1 to B4 is then assigned an analog size.

Selbstverständlich können auch noch weitere oder auch weniger Bewegungsachsen dem Benutzer zur Verfügung gestellt werden.Of course, even more or less movement axes can be made available to the user.

Für die Auswahl einer analogen Größe beziehungsweise eines der Schieberegler 8, 9, 17 oder 18 ist somit ausschließlich die Bewegungsrichtung entlang einer der vorgebebenen Bewegungsachsen B1 bis B4 ausschlaggebend. Da eine Bewegung der Hand 6 des Benutzers in beliebe Richtungen möglich ist, ist es von Vorteil, wenn den Bewegungsachsen Toleranzbereiche zugeordnet werden, innerhalb derer eine Positionsänderung noch der jeweiligen Bewegungsachse B1–B4 zugeordnet wird. Abhängig von Geometrie, Ergonomie und Priorisierung können unterschiedliche Darstellungen oder Definitionen der Toleranzbereiche gewählt werden.For selecting an analogue size or one of the sliders 8th . 9 . 17 or 18 Thus, only the direction of movement along one of the vorgebebenen axes of motion B1 to B4 is decisive. As a movement of the hand 6 the user in arbitrary directions is possible, it is advantageous if the movement axes tolerance ranges are assigned, within which a position change is still associated with the respective movement axis B1-B4. Depending on geometry, ergonomics and prioritization, different representations or definitions of the tolerance ranges can be selected.

5 zeigt dazu anhand eines Ausführungsbeispiels mit zwei Bewegungsachsen B1 und B2 unterschiedliche Toleranzbereiche. Gemäß 5A sind den beiden Bewegungsachsen B1 und B2, die senkrecht zueinander liegen, symmetrische Toleranzbereiche zugeordnet, die ausgehend vom Ausgangspunkt der Positionsänderung, also dem Mittelpunkt der Bewegungsachsen B1 und B2, gleichmäßig zunehmen, sodass sich wie in 5A gezeigt, gleich groß ausgebildete Kreissegmente ergeben. Gemäß 5B ist vorgesehen, dass der Toleranzbereich der Bewegungsachse 2 deutlich schmaler ausgebildet ist, als der Toleranzbereich der Bewegungsachse B1. Gemäß 5C ist vorgesehen, dass der Toleranzbereich der Bewegungsachse B1 kleiner ist als der der Bewegungsachse B2. 5 shows on the basis of an embodiment with two axes of movement B1 and B2 different tolerance ranges. According to 5A are the two axes of movement B1 and B2, which are perpendicular to each other, assigned symmetrical tolerance ranges, starting from the starting point of the change in position, ie the center of the axes of movement B1 and B2, uniformly increase, so that as in 5A shown equal sized circle segments result. According to 5B is provided that the tolerance range of the movement axis 2 is formed significantly narrower than the tolerance range of the movement axis B1. According to 5C it is provided that the tolerance range of the movement axis B1 is smaller than that of the movement axis B2.

5D zeigt ein Ausführungsbeispiel, bei welchem vorgesehen ist, dass die Toleranzbereiche zwar gleich groß sind, jedoch ungleichmäßig ausgerichtet beziehungsweise asymmetrisch angeordnet sind. 5D shows an embodiment in which it is provided that the tolerance ranges are indeed the same size, but unevenly aligned or arranged asymmetrically.

6A bis 6C zeigen ein weiteres Ausführungsbeispiel, bei welchem erneut zwei Bewegungsachsen B1, B2, die senkrecht zueinander stehen, vorgesehen sind. Eine weitere Möglichkeit, um unter mehreren Schiebereglern beziehungsweise analogen Größen eine auswählen, ist nicht nur die Betrachtung der Bewegungsachse, sondern auch die der Bewegungsrichtung entlang einer der Bewegungsachsen. Damit lassen sich jeder Bewegungsachse zwei unabhängige Regler 8, 18 beziehungsweise 9, 17 zuweisen. Hier ist es beispielsweise vorgesehen, dass der Benutzer nach Einnahme der Betätigungsgeste durch Daumen und Zeigefinger, durch die erste Positionsänderung einen der Schieberegler 8, 9, 17, 18 auswählt, die dem Schieberegler zugeordnete analoge Größe jedoch nicht verändert. Zunächst muss der Benutzer zur Auswahl einer analogen Größe zunächst die Betätigungsposition einnehmen und eine Positionsänderung entlang einer ersten Bewegungsachse in eine erste Richtung durchführen, um eine analoge Größe auszuwählen. Erst anschließend, wenn also die gewünschte analoge Größe erkannt und dem Benutzer beispielsweise bestätigt wurde, wird die darauf folgende Positionsänderung zum Verändern der analogen Größe genutzt. Dies erfordert vom Benutzer, dass er zunächst eine Positionsänderung in eine Ausfallrichtung durchführen muss, auch wenn die Korrektur des Reglers beziehungsweise der analogen Größe eigentlich in die andere Richtung erfolgen soll. Dieses Verfahren ist daher weitaus weniger intuitiv, erlaubt jedoch die Reduzierung der Anzahl der Bewegungsachsen zu Gunsten einer besseren Übersicht. Zur Bedienung von zwei analogen Größen ist somit bereits das Vorsehen von nur einer Bewegungsachse ausreichend. Lediglich die Startrichtung ist dann ausschlaggebend. In 6A bis 6C sind zwei Bewegungsachsen vorgesehen, sodass der Benutzer gemäß dem zuvor beschriebenen Verfahren vier unterschiedliche analoge Größen auswählen und verändern kann. 6A to 6C show a further embodiment in which again two axes of movement B1, B2, which are perpendicular to each other, are provided. Another way to select one among several sliders or analogous variables is not only to look at the axis of motion, but also the direction of movement along one of the axes of motion. This allows each axis of motion to be controlled by two independent controllers 8th . 18 respectively 9 . 17 to assign. Here it is for example provided that the user after taking the actuation gesture by the thumb and forefinger, by the first position change one of the sliders 8th . 9 . 17 . 18 but does not change the analog size assigned to the slider. First, to select an analog variable, the user must first assume the actuation position and make a position change along a first axis of motion in a first direction to select an analog magnitude. Only then, that is, when the desired analog size detected and the user was confirmed, for example, the subsequent position change is used to change the analog size. This requires the user to first make a position change in a failure direction, even if the correction of the controller or the analogue size should actually be in the other direction. This method is therefore far less intuitive, but allows the reduction of the number of axes of motion in favor of a better overview. Thus, the provision of only one movement axis is sufficient for the operation of two analogous sizes. Only the starting direction is decisive. In 6A to 6C two axes of motion are provided, so that the user can select and change four different analog sizes according to the method described above.

7A und 7B zeigen ein weiteres Ausführungsbeispiel, bei welcher die erste Positionsänderung des Benutzers nicht mehr in der Richtung der Bewegungsachse erfolgen muss, deren analoge Größe verändert werden soll. Als weitere Interaktion ist gemäß dem Ausführungsbeispiel von 7A und 7B vorgesehen, dass der Benutzer zunächst mit der Betätigungsposition durch Positionsänderungen ein Bewegungsmuster beziehungsweise Auswahlmuster durchführen muss, um eine analoge Größe auszuwählen. Dazu nimmt der Benutzer zunächst die Betätigungsgeste ein und führt das Bewegungsmuster, das insbesondere entlang einer oder mehrerer vorgegebener Bewegungsachsen zu erfolgen hat, durch. Nach erfolgter Auswahl der analogen Größe wird dies dem Benutzer mitgeteilt, sodass dieser ohne die Betätigungsposition aufzulösen darauf folgend die analoge Größe durch eine weitere Positionsänderung entlang einer virtuellen Geraden oder entlang einer der Bewegungsachsen verändern kann. Dazu wird jeder analogen Größe zunächst ein zu erkennendes Bewegungsmuster zugeordnet. Bei zunehmender Anzahl von analogen Größen können die Muster auch komplexer ausgebildet werden. 7A and 7B show a further embodiment in which the first change in position of the user no longer has to be in the direction of the axis of motion, the analog size to be changed. As further interaction is according to the embodiment of 7A and 7B provided that the user must first perform a movement pattern or selection pattern with the actuation position by changing the position to select an analogous size. For this, the user first takes the actuation gesture and performs that Movement pattern that has to be done in particular along one or more predetermined axes of motion, through. After the analog size has been selected, this is communicated to the user so that, without dissolving the actuation position, the latter can subsequently change the analog variable by a further change in position along a virtual straight line or along one of the axes of motion. For this, each analogous quantity is first assigned a movement pattern to be recognized. As the number of analogue sizes increases, the patterns can be made more complex.

8A bis 8H zeigen dazu unterschiedliche Bewegungsmuster, die zur Auswahl unterschiedlicher analogen Größen vorgegeben und von dem Benutzer durchgeführt werden können. Die Pfeile deuten dabei jeweils die Richtung der Positionsänderungen entlang der Bewegungsachse B1 (horizontal) und entlang der Bewegungsachse B2 (vertikal) an. 8A to 8H show different movement patterns that can be specified for the selection of different analog sizes and performed by the user. The arrows each indicate the direction of the position changes along the movement axis B1 (horizontal) and along the movement axis B2 (vertical).

Die Verwendung der Betätigungsgeste zum Zeichnen der Bewegungsmuster kann auch noch weiter verallgemeinert werden. So ist es auch denkbar, einem Bewegungsmuster eine direkt erfolgende Aktion zuzuordnen, sodass nach Erkennung eines Bewegungsmusters eine Aktion von der Eingabevorrichtung 2 automatisch durchgeführt wird, beispielsweise das Ein- oder Abschalten eines Systems oder einer Einheit oder das Ein- oder Ausblenden weiterer Auswahloptionen. Weiterhin ist es auch denkbar, auf diese Art und Weise eine Schriftzeichenerkennung durchzuführen.The use of the actuation gesture to draw the motion patterns may also be further generalized. Thus, it is also conceivable to associate a movement pattern with a directly occurring action, so that after recognition of a movement pattern, an action is taken by the input device 2 is performed automatically, such as turning on or off a system or unit, or hiding or showing other selection options. Furthermore, it is also conceivable to perform character recognition in this manner.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 20120105613 A1 [0005] US 20120105613 A1 [0005]
  • EP 2441635 A1 [0005] EP 2441635 A1 [0005]

Zitierte Nicht-PatentliteraturCited non-patent literature

  • Zivkovic, Zoran; „Improved Adaptive Gaussian Mixture Model for Background Substration“, ICPR, 2004 [0032] Zivkovic, Zoran; "Improved Adaptive Gaussian Mixture Model for Background Substrate", ICPR, 2004 [0032]
  • Dadgostar, Farhad und Sarrafzadeh, Abdolhossein: „An adaptive real-time skin detector based on Hue thresholding: A comparison on two motion tracking methods“ Pattern Recognition Letters, 2006, 1342–1352 [0033] Dadgostar, Farhad and Sarrafzadeh, Abdolhossein: "Adaptive real-time skin detector based on Hue thresholding: A comparison of two motion tracking methods" Pattern Recognition Letters, 2006, 1342-1352 [0033]
  • Suzuki, S. und Abe, K.: Topological Structural Analysis of Digitized Binary Images by Border Following.“ CVGIP, 1985, 32–46 [0034] Suzuki, S. and Abe, K .: Topological Structural Analysis of Digitized Binary Images by Border Following. "CVGIP, 1985, 32-46 [0034]
  • Malik, Shahzad: „Real-time Hand Tracking and Finger Tracking for Interaction“, Toronto: CSC2503F Project Report, University of Toronto, 2003 [0034] Malik, Shahzad: "Real-time Hand Tracking and Finger Tracking for Interaction", Toronto: CSC2503F Project Report, University of Toronto, 2003 [0034]
  • Liu, Nianjun and Lovell, Brian C. „Hand Gesture Extraction by Active Shape Models“, Proceedings of the Digital Image Computing on Techniques and Applications, 2005 [0034] Liu, Nianjun and Lovell, Brian C. "Hand Gesture Extraction by Active Shape Models", Proceedings of Digital Image Computing on Techniques and Applications, 2005. [0034]
  • Lee, J. und Kunii, T. L.: „Model-Based Analysis of Hand Posture“, IEEE Computer Graphics and Applications, 1995, 77–86 [0034] Lee, J. and Kunii, TL: "Model-Based Analysis of Hand Posture", IEEE Computer Graphics and Applications, 1995, 77-86 [0034]
  • Do, Martin; Asfour, Tamim; and Dillmann, Rüdiger: „Particle Filter-Based Fingertip Tracking with Circular Hough Transform Features“ MVA, 2011 [0035] Do, Martin; Asfour, Tamim; and Dillmann, Rüdiger: "Particle Filter-Based Fingertip Tracking with Circular Hough Transform Features" MVA, 2011 [0035]
  • Lockton, R. und Fitzgibbon, A. W.: „Real-time gesture recognition using deterministic boosting“, BMVC, 2002 [0035] Lockton, R. and Fitzgibbon, AW: "Real-time gesture recognition using deterministic boosting", BMVC, 2002 [0035]
  • Nagi, Jawad et al. „Max-Pooling Convolutional Neural Networks for Vision-based Hand Gesture Recognition“ ICSIPA, 2011, 342–347 [0035] Nagi, Jawad et al. "Max Pooling Convolutional Neural Networks for Vision-based Hand Gesture Recognition" ICSIPA, 2011, 342-347 [0035]
  • Dreuw, Philippe; Keysers, Daniel; Deselaers, Thomas und Ney, Hermann: „Gesture Recognition Using Image Comparision Methods“, International Workshop on Gesture in Human-Computer Interaction and Simulation, 2005, 124–128 [0035] Dreuw, Philippe; Keyser, Daniel; Deselaers, Thomas and Ney, Hermann: "Gesture Recognition Using Image Comparision Methods", International Workshop on Gesture in Human-Computer Interaction and Simulation, 2005, 124-128 [0035]
  • Dreuw, Philippe; Rybach, David; Deselaers, Thomas; Zahedi, Morteza und Ney, Hermann. „Speech Recognition Techniques for a Sign Language Recogntion System“, Interspeech, Antwerp, Belgium, 2007, 2513–2516 [0035] Dreuw, Philippe; Rybach, David; Deselaer, Thomas; Zahedi, Morteza and Ney, Hermann. "Speech Recognition Techniques for a Sign Language Recognition System", Interspeech, Antwerp, Belgium, 2007, 2513-2516 [0035]
  • Cutler, R. und Turk, M.: „View-Based Interpretation on Real-Time Optical Flow for Gesture Recognition“, IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998 [0035] Cutler, R. and Turk, M .: "View-Based Interpretation on Real-Time Optical Flow for Gestural Recognition", IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998. [0035]

Claims (10)

Verfahren zum Betreiben einer Eingabevorrichtung (2), insbesondere eines Kraftfahrzeugs (1), die einen Kamerasensor (3) zum berührungslosen Erfassen der Position und/der Positionsänderung mindestens eines Fingers (1012) und/oder Daumens (13) einer Hand (6) eines Benutzers aufweist, wobei in Abhängigkeit von der erfassten Position und/oder Positionsänderung des mindestens einen Fingers (1012) und/oder Daumens (13) eine analoge Größe dann, und zwar nur dann, verändert wird, wenn erfasst wird, dass die Positionsänderung durchgeführt wird während mindestens ein Finger (1012) und/oder ein Daumen (13) der Hand (6) eine vorgebbare Betätigungsposition zueinander aufweisen, dadurch gekennzeichnet, dass in Abhängigkeit davon, entlang welcher Bewegungsachse (B1–B4) von mehreren, in einem vorgebbaren Winkel zueinander ausgerichteten Bewegungsachsen (B1–B4) die Positionsänderung erfolgt, eine von mehreren analogen Größen ausgewählt oder verändert wird.Method for operating an input device ( 2 ), in particular a motor vehicle ( 1 ), which has a camera sensor ( 3 ) for the contactless detection of the position and / or the position change of at least one finger ( 10 - 12 ) and / or thumb ( 13 ) of a hand ( 6 ) of a user, wherein in dependence on the detected position and / or position change of the at least one finger ( 10 - 12 ) and / or thumb ( 13 ) an analogous quantity is then changed, and only if it is detected that the change in position is carried out while at least one finger ( 10 - 12 ) and / or a thumb ( 13 ) of the hand ( 6 ) have a predetermined actuation position to each other, characterized in that depending on which movement axis (B1-B4) of a plurality, in a predetermined angle aligned axes of movement (B1-B4), the position change takes place, one of a plurality of analogous variables selected or changed becomes. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass auf die Betätigungsposition erkannt wird, wenn der mindestens eine Finger (1012) und/oder der Daumen (13) einen geschlossenen Ring (14C), eine geschlossene Faust oder eine Pistolengeste bilden.A method according to claim 1, characterized in that the operating position is detected when the at least one finger ( 10 - 12 ) and / or the thumb ( 13 ) a closed ring ( 14C ), make a closed fist or a pistol gesture. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in Abhängigkeit davon, in welche Richtung entlang der jeweiligen Bewegungsachse (B1–B4) die Positionsänderung erfolgt, die analoge Größe vergrößert oder verkleinert wird.A method according to claim 1 or 2, characterized in that depending on in which direction along the respective axis of movement (B1-B4), the position change, the analog size is increased or decreased. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass dem Benutzer für jeweils eine veränderbare analoge Größe ein Schieberegler (8, 9) angezeigt wird, wobei jedem Schieberegler eine der Bewegungsachse (B1–B4) mit einer dem Schieberegler entsprechenden Ausrichtung in einem Erfassungsbereich des Kamerasensors (3) zugeordnet wird.Method according to one of the preceding claims, characterized in that the user for each variable analogous size a slider ( 8th . 9 ) is displayed, wherein each slider one of the movement axis (B1-B4) with a slider corresponding to the alignment in a detection range of the camera sensor ( 3 ). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit davon, an welcher Position der Benutzer die Betätigungsposition einnimmt, die mindesten eine Bewegungsachse (B1–B4) vorgesehen wird.Method according to one of the preceding claims, characterized in that the at least one movement axis (B1-B4) is provided depending on at which position the user assumes the actuation position. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass, wenn Finger (1012) und/oder Daumen (13) die Betätigungsposition einnehmen und eine erste Positionsänderung entlang einer der Bewegungsachse (B1–B4) erfolgt, Positionsänderungen nur entlang dieser Bewegungsachse als Eingabe erkannt werden.Method according to one of the preceding claims, characterized in that when fingers ( 10 - 12 ) and / or thumb ( 13 ) assume the actuation position and a first change of position takes place along one of the movement axis (B1-B4), position changes can only be recognized as input along this movement axis. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Position/Positionsänderung eine Position/Positionsänderung eines der Finger (1012) und/oder Daumen (13), insbesondere einer Fingerspitze von Daumen (13) und/oder Finger (1012), eines Handschwerpunkts oder eines Schwerpunkts des geschlossenen Rings (14) ermittelt werden.Method according to one of the preceding claims, characterized in that as position / position change a position / position change of one of the fingers ( 10 - 12 ) and / or thumb ( 13 ), in particular a fingertip of thumb ( 13 ) and / or fingers ( 10 - 12 ), a center of gravity or a center of gravity of the closed ring ( 14 ) be determined. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit davon, welcher der Finger (1012) mit dem Daumen (13) die Betätigungsposition einnimmt, eine von mehreren einer Bewegungsachse (B1–B4) zugeordneten analogen Größen verändert wird.Method according to one of the preceding claims, characterized in that, depending on which of the fingers ( 10 - 12 ) with the thumb ( 13 ) assumes the actuation position, one of a plurality of analog axes associated with a movement axis (B1-B4) is changed. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Abhängigkeit von einem durch die erfasste Positionsänderung entlang einer oder mehrerer der Bewegungsachsen (B1–B4) durchgeführten Bewegungsmuster eine der analogen Größen ausgewählt wird.Method according to one of the preceding claims, characterized in that one of the analogous quantities is selected as a function of a movement pattern carried out by the detected change in position along one or more of the axes of movement (B1-B4). Eingabevorrichtung (2), insbesondere für ein Kraftfahrzeug (1), mit einem berührungsfrei arbeitenden Sensor (3) zum Erfassen einer Position und/oder Positionsänderung von mindesten einem Finger (1012) einer Hand (6) eines Benutzers, wobei die Eingabevorrichtung (2) dazu ausgebildet ist, in Abhängigkeit von der Position und/oder Positionsänderung des mindestens einen Fingers (1012) eine Eingabe zu erkennen und auszuführen, dadurch gekennzeichnet, dass die Eingabevorrichtung (2) bei bestimmungsgemäßem Gebrauch das Verfahren nach einem oder mehreren der Ansprüche 1 bis 9 durchführt.Input device ( 2 ), in particular for a motor vehicle ( 1 ), with a non-contact sensor ( 3 ) for detecting a position and / or position change of at least one finger ( 10 - 12 ) of a hand ( 6 ) of a user, wherein the input device ( 2 ) is adapted, depending on the position and / or position change of the at least one finger ( 10 - 12 ) to recognize and execute an input, characterized in that the input device ( 2 ) performs the method according to one or more of claims 1 to 9 when used as intended.
DE102015211521.6A 2015-06-23 2015-06-23 Method for operating an input device, input device Pending DE102015211521A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102015211521.6A DE102015211521A1 (en) 2015-06-23 2015-06-23 Method for operating an input device, input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015211521.6A DE102015211521A1 (en) 2015-06-23 2015-06-23 Method for operating an input device, input device

Publications (1)

Publication Number Publication Date
DE102015211521A1 true DE102015211521A1 (en) 2016-12-29

Family

ID=57536841

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015211521.6A Pending DE102015211521A1 (en) 2015-06-23 2015-06-23 Method for operating an input device, input device

Country Status (1)

Country Link
DE (1) DE102015211521A1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
DE102006039767A1 (en) * 2005-09-05 2007-03-15 Denso Corp., Kariya input device
EP2441635A1 (en) 2010-10-06 2012-04-18 Harman Becker Automotive Systems GmbH Vehicle User Interface System
US20120105613A1 (en) 2010-11-01 2012-05-03 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications
US20130321271A1 (en) * 2011-02-09 2013-12-05 Primesense Ltd Pointing-based display interaction
DE102013000066A1 (en) * 2013-01-08 2014-07-10 Audi Ag Zooming and moving an image content of a display device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
DE102006039767A1 (en) * 2005-09-05 2007-03-15 Denso Corp., Kariya input device
EP2441635A1 (en) 2010-10-06 2012-04-18 Harman Becker Automotive Systems GmbH Vehicle User Interface System
US20120105613A1 (en) 2010-11-01 2012-05-03 Robert Bosch Gmbh Robust video-based handwriting and gesture recognition for in-car applications
US20130321271A1 (en) * 2011-02-09 2013-12-05 Primesense Ltd Pointing-based display interaction
DE102013000066A1 (en) * 2013-01-08 2014-07-10 Audi Ag Zooming and moving an image content of a display device

Non-Patent Citations (11)

* Cited by examiner, † Cited by third party
Title
Cutler, R. und Turk, M.: „View-Based Interpretation on Real-Time Optical Flow for Gesture Recognition", IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998
Dadgostar, Farhad und Sarrafzadeh, Abdolhossein: „An adaptive real-time skin detector based on Hue thresholding: A comparison on two motion tracking methods" Pattern Recognition Letters, 2006, 1342–1352
Do, Martin; Asfour, Tamim; and Dillmann, Rüdiger: „Particle Filter-Based Fingertip Tracking with Circular Hough Transform Features" MVA, 2011
Dreuw, Philippe; Keysers, Daniel; Deselaers, Thomas und Ney, Hermann: „Gesture Recognition Using Image Comparision Methods", International Workshop on Gesture in Human-Computer Interaction and Simulation, 2005, 124–128
Dreuw, Philippe; Rybach, David; Deselaers, Thomas; Zahedi, Morteza und Ney, Hermann. „Speech Recognition Techniques for a Sign Language Recogntion System", Interspeech, Antwerp, Belgium, 2007, 2513–2516
Lee, J. und Kunii, T. L.: „Model-Based Analysis of Hand Posture", IEEE Computer Graphics and Applications, 1995, 77–86
Liu, Nianjun and Lovell, Brian C. „Hand Gesture Extraction by Active Shape Models", Proceedings of the Digital Image Computing on Techniques and Applications, 2005
Lockton, R. und Fitzgibbon, A. W.: „Real-time gesture recognition using deterministic boosting", BMVC, 2002
Malik, Shahzad: „Real-time Hand Tracking and Finger Tracking for Interaction", Toronto: CSC2503F Project Report, University of Toronto, 2003
Nagi, Jawad et al. „Max-Pooling Convolutional Neural Networks for Vision-based Hand Gesture Recognition" ICSIPA, 2011, 342–347
Suzuki, S. und Abe, K.: Topological Structural Analysis of Digitized Binary Images by Border Following." CVGIP, 1985, 32–46

Similar Documents

Publication Publication Date Title
WO2015121056A1 (en) Device and method for signalling a successful gesture input
DE112014003563T5 (en) Device and method for gesture determination, gesture operation device, program and recording medium
DE102010048745A1 (en) Method of operating user interface in motor vehicle, involves representing predetermined object-specific target areas, graphically on display unit, upon detection of beginning of shift operation of first two selected objects
DE102017218120A1 (en) A method of providing haptic feedback to an operator of a touch-sensitive display
DE102012020607A1 (en) Method for controlling selection element e.g. cursor, on monitor of e.g. navigation device, of motor vehicle i.e. passenger car, involves activating function of electronic device by control device based on relative position of finger
WO2016120251A1 (en) Method for operating an input device, input device
DE102014226553A1 (en) Method for operating an input device, input device, motor vehicle
DE102013000066A1 (en) Zooming and moving an image content of a display device
EP3234736B1 (en) Method for operating an input device, input device, motor vehicle
DE102011084345A1 (en) Operating system and method for displaying a control surface
DE102014224599A1 (en) Method for operating an input device, input device
DE202015100273U1 (en) input device
DE102019206606B4 (en) Method for contactless interaction with a module, computer program product, module and motor vehicle
EP3114545B1 (en) User interface and method for operating a user interface using gestures performed freely in a space
EP3025214B1 (en) Method for operating an input device, and input device
DE102015211521A1 (en) Method for operating an input device, input device
DE102014224632A1 (en) Method for operating an input device, input device
DE102015201722A1 (en) Method for operating an input device, input device
DE102019200284A1 (en) Method and program for specifying a position
DE102013211046A1 (en) Method and device for obtaining a control signal from an operating gesture
WO2015110331A1 (en) Method for detecting a movement path of at least one moving object within a detection region, method for detecting gestures while using such a detection method, and device for carrying out such a detection method
DE102014224641A1 (en) Method for operating an input device, input device
DE102014224598A1 (en) Method and device for operating an input device
DE102023129876A1 (en) Control device and control method
DE102014224618A1 (en) Method and device for operating an input device

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed