DE102015211521A1 - Method for operating an input device, input device - Google Patents
Method for operating an input device, input device Download PDFInfo
- Publication number
- DE102015211521A1 DE102015211521A1 DE102015211521.6A DE102015211521A DE102015211521A1 DE 102015211521 A1 DE102015211521 A1 DE 102015211521A1 DE 102015211521 A DE102015211521 A DE 102015211521A DE 102015211521 A1 DE102015211521 A1 DE 102015211521A1
- Authority
- DE
- Germany
- Prior art keywords
- change
- thumb
- movement
- user
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000033001 locomotion Effects 0.000 claims abstract description 104
- 230000008859 change Effects 0.000 claims abstract description 77
- 210000003811 finger Anatomy 0.000 claims abstract description 49
- 210000003813 thumb Anatomy 0.000 claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 230000005484 gravity Effects 0.000 claims description 7
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 8
- 230000003068 static effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- FKOQWAUFKGFWLH-UHFFFAOYSA-M 3,6-bis[2-(1-methylpyridin-1-ium-4-yl)ethenyl]-9h-carbazole;diiodide Chemical compound [I-].[I-].C1=C[N+](C)=CC=C1C=CC1=CC=C(NC=2C3=CC(C=CC=4C=C[N+](C)=CC=4)=CC=2)C3=C1 FKOQWAUFKGFWLH-UHFFFAOYSA-M 0.000 description 1
- 235000008375 Decussocarpus nagi Nutrition 0.000 description 1
- 244000309456 Decussocarpus nagi Species 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000005224 forefinger Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B60K35/10—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Arrangement of adaptations of instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- B60K2360/146—
Abstract
Die Erfindung betrifft ein Verfahren zum Betreiben einer Eingabevorrichtung (2), insbesondere eines Kraftfahrzeugs (1), die einen Kamerasensor (3) zum berührungslosen Erfassen der Position und/der Positionsänderung mindestens eines Fingers (10–12) und/oder Daumens (13) einer Hand (6) eines Benutzers aufweist, wobei in Abhängigkeit von der erfassten Position und/oder Positionsänderung des mindestens einen Fingers (10–12) und/oder Daumens (13) eine analoge Größe dann, und zwar nur dann, verändert wird, wenn erfasst wird, dass die Positionsänderung durchgeführt wird während mindestens ein Finger (10–12) und/oder ein Daumen (13) der Hand (6) eine vorgebbare Betätigungsposition zueinander aufweisen. Es ist vorgesehen, dass in Abhängigkeit davon, entlang welcher Bewegungsachse (B1–B4) von mehreren, in einem vorgebbaren Winkel zueinander ausgerichteten Bewegungsachsen (B1–B4) die Positionsänderung erfolgt, eine von mehreren analogen Größen ausgewählt oder verändert wird.The invention relates to a method for operating an input device (2), in particular a motor vehicle (1), comprising a camera sensor (3) for contactless detection of the position and / or position change of at least one finger (10-12) and / or thumb (13). a hand (6) of a user, wherein depending on the detected position and / or position change of the at least one finger (10-12) and / or thumb (13) an analog variable then, and only then, is changed, if is detected that the change in position is carried out while at least one finger (10-12) and / or a thumb (13) of the hand (6) have a predetermined actuation position to each other. It is provided that, depending on which movement axis (B1-B4) of a plurality of movement axes (B1-B4) aligned at a predefinable angle to one another, the position change takes place, one of a plurality of analogous variables is selected or changed.
Description
Die Erfindung betrifft ein Verfahren zum Betreiben einer Eingabevorrichtung, insbesondere eines Kraftfahrzeugs, die einen Kamerasensor zum berührungsfreien Erfassen der Position und/oder Positionsänderung mindestens eines Fingers und/oder Daumens einer Hand eines Benutzers aufweist, wobei in Abhängigkeit von der erfassten Position und/oder Positionsänderung des Fingers und/oder Daumens eine analoge Größe dann, und zwar nur dann, verändert wird, wenn erfasst wird, dass die Positionsänderung durchgeführt wird während mindestens ein Finger und/oder ein Daumen der Hand eine vorgebbare Betätigungsposition zueinander aufweisen.The invention relates to a method for operating an input device, in particular of a motor vehicle, having a camera sensor for detecting the position and / or position change of at least one finger and / or thumb of a user's hand without contact, depending on the detected position and / or position change the finger and / or thumb an analogous size then, and only then, is changed when it is detected that the position change is performed while at least one finger and / or a thumb of the hand have a predetermined actuation position to each other.
Ferner betrifft die Erfindung eine entsprechende Eingabevorrichtung. Furthermore, the invention relates to a corresponding input device.
Stand der TechnikState of the art
Bei heutigen Kraftfahrzeugen werden Bedienkonzepte eingesetzt, bei denen eine Eingabevorrichtung und eine Anzeigevorrichtung nah beieinander angeordnet sind. Üblicherweise werden hierzu sogenannte berührungsempfindliche Bildschirme und sogenannte Touchscreens vorgesehen, bei denen Bedienung und Anzeige an der gleichen Stelle erfolgen. Häufig werden Anzeigevorrichtungen im oberen Bereich einer Bedienkonsole oder eines Armaturenbretts des Kraftfahrzeugs angebracht, damit der Fahrer zum Ablesen seinen Blick nicht zu stark von dem Verkehrsgeschehen abwenden muss. In anderen Fahrzeugen befinden sich ein Touchpad, also ein berührungsempfindlicher Sensor, im Bereich der Armauflage des Fahrers, und die Anzeigevorrichtung an gewohnter Stelle im Bereich des Armaturenbretts. Eine visuelle Rückmeldung an den Fahrer bei der Bedienung des Sensors kann dabei in Form von einer angedeuteten durchsichtigen Hand, die durch die Anzeigevorrichtung dargestellt wird, erfolgen. Dadurch kann der Fahrer bequem die Eingabevorrichtung betätigen, während ihm die Anzeige weiterhin in einem vorteilhaften Blickwinkel präsentiert wird. In diesem Fall ist es auch denkbar, die Anzeigevorrichtung nicht als Bildschirm, sondern als Head-Up-Display auszubilden. In today's motor vehicles operating concepts are used in which an input device and a display device are arranged close to each other. Usually, so-called touch-sensitive screens and so-called touch screens are provided for this purpose, in which operation and display take place at the same location. Frequently display devices are mounted in the upper part of a control panel or dashboard of the motor vehicle, so that the driver does not have to turn his eyes too far away from the traffic to read. In other vehicles are a touchpad, so a touch-sensitive sensor, in the area of the armrest of the driver, and the display device at the usual place in the area of the dashboard. A visual feedback to the driver in the operation of the sensor can take place in the form of an indicated transparent hand, which is represented by the display device. Thereby, the driver can conveniently operate the input device while the display is still presented to him in an advantageous viewpoint. In this case, it is also conceivable not to design the display device as a screen, but as a head-up display.
Während klassische berührungsempfindliche Sensoren beziehungsweise Touchpads eine Berührung durch den Benutzer zu ihrer Bedienung benötigen, sind auch Eingabevorrichtungen bekannt, die berührungsfrei Eingaben erkennen beziehungsweise registrieren. Dabei werden beispielsweise mithilfe von Tiefensensoren die Positionen von Hand, Fingern und/oder Arm eines Benutzers im Raum erkannt und für eine Gestikbedienung ausgewertet. Für Fingergesten ist eine hohe Auflösung erforderlich, die mit Sensoren, wie beispielsweise Time-of-Flight-Sensoren, mit Stereokameras, strukturiertem Licht oder ähnlichem erreicht werden kann. Für Hand- oder Körpergesten können auch Sensoren mit einer geringeren Auflösung eingesetzt werden, wie beispielsweise Radarsensoren. Durch einen oder mehrere Sensoren wird also die Position oder Positionsänderung der Hand eines Benutzers erfasst, wobei in Abhängigkeit der erfassten Position und/oder Positionsänderung auf eine Eingabe erkannt und diese ausgeführt wird. Der Benutzer zeigt somit mit einer Bewegung seiner Hand beziehungsweise mit zumindest einem Finger und/oder Daumen seiner Hand der Eingabevorrichtung an, welche Eingabe er vornehmen möchte. Die Eingabevorrichtung erkennt anhand der Fingerbewegung die gewünschte Eingabe und führt diese aus, indem sie den durch die Bewegung vorgegebenen Befehl umsetzt und beispielsweise einen Betriebsparameter des Kraftfahrzeugs verändert. So kann beispielsweise in Abhängigkeit von der Position und Positionsänderung eines Fingers des Benutzers auf die Eingabe „Lautstärke erhöhen“ erkannt und von der Eingabevorrichtung ausgeführt werden, indem sie die Lautstärke, beispielsweise eines Unterhaltungssystems des Kraftfahrzeugs, erhöht.While classical touch-sensitive sensors or touchpads require a touch by the user to operate them, input devices are also known which recognize or register inputs without contact. With the aid of depth sensors, for example, the positions of a user's hand, fingers and / or arm are detected in the room and evaluated for gesture operation. Finger gestures require high resolution, which can be achieved with sensors such as time-of-flight sensors, stereo cameras, structured light, or the like. For hand or body gestures, sensors with a lower resolution can also be used, such as radar sensors. By one or more sensors, therefore, the position or position change of the hand of a user is detected, being detected in response to the detected position and / or position change to an input and this is executed. The user thus indicates with a movement of his hand or with at least one finger and / or thumb of his hand to the input device, which input he wants to make. The input device recognizes the desired input by means of the movement of the finger and executes it by converting the command given by the movement and, for example, changing an operating parameter of the motor vehicle. For example, depending on the position and position change of a user's finger, the "increase volume" input can be detected and executed by the input device by increasing the volume of, for example, an entertainment system of the motor vehicle.
Aus der Offenlegungsschrift
Offenbarung der ErfindungDisclosure of the invention
Das erfindungsgemäße Verfahren mit den Merkmalen des Anspruchs 1 hat den Vorteil, dass dem Benutzer die Möglichkeit gegeben wird, auf einfache Art und Weise eine von mehreren analogen Größen auszuwählen und/oder zu verändern. Dazu ist erfindungsgemäß vorgesehen, dass in Abhängigkeit davon, entlang welcher Bewegungsachse von mehreren in einem vorgegebenen Winkel zueinander ausgerichteten Bewegungsachsen die Positionsänderung erfolgt, eine von mehreren analogen Größen ausgewählt oder verändert wird. Durch den berührungsfrei arbeitenden Sensor, der insbesondere als Kamerasensor oder Videosensor ausgebildet ist, lässt sich die Betätigungsposition leicht durch eine entsprechende Bildauswertung erfassen. Die Betätigungsposition dient insofern als Startzeichen für eine folgende Positionsänderung, die als Eingabe berücksichtigt beziehungsweise gewertet werden soll. Erfasst die Eingabevorrichtung also diese Betätigungsposition und die darauf folgende Positionsänderung, so wird eine von mehreren analogen Größen zur Veränderung ausgewählt. Gemäß einer ersten Ausführungsform wird die darauf folgende Positionsänderung als Eingabe zum Verändern der analogen Größe verstanden und entsprechend durch die Eingabevorrichtung ausgeführt, sodass der Wert der analogen Größe gemäß der Positionsänderung verändert, insbesondere vergrößert oder verkleinert wird. Die durch Finger und/oder Daumen eingenommene Betätigungsposition entspricht insbesondere einer natürlichen Greifgeste, sodass der Benutzer die Eingabevorrichtung intuitiv zum Verändern der gewünschten analogen Größe bedient. Insbesondere ist vorgesehen, dass als analoge Größe durch die Eingabevorrichtung beispielsweise die Lautstärke eines Unterhaltungssystems, insbesondere einer Musikanlage des Kraftfahrzeugs, eine Beleuchtungsintensität oder beispielsweise die Geschwindigkeit eines Scheibenwischers oder die Leistung einer Klimaanlage des Kraftfahrzeugs eingestellt beziehungsweise verändert wird. Gemäß einer zweiten Ausführungsform ist vorgesehen, dass in Abhängigkeit davon, entlang welcher der Bewegungsachsen die Positionsänderung erfolgt, eine von mehreren analogen Größen ausgewählt, jedoch noch nicht verändert wird. Der Benutzer kann somit durch eine Bewegung seiner Hand unter Einnahme der Betätigungsposition eine analoge Größe zunächst auswählen, die er anschließend durch eine weitere Positionsänderung, gegebenenfalls auch entlang einer von der vorherigen Positionsänderung abweichenden Bewegungsachse, die analoge Größe verändert. Dadurch, dass mehrere Bewegungsachsen vorgegeben werden, zwischen denen jeweils ein vorgegebener Winkel eingeschlossen wird, wählt der Benutzer durch die Richtung der Positionsänderung eine der Bewegungsachsen und damit eine der zu verändernden analogen Größen aus. Dadurch wird es dem Benutzer ermöglicht, auf einfache Art und Weise eine von mehreren analogen Größen auszuwählen und zu verändern, ohne dass er dafür eine vorbestimmte absolute Ausgangsposition beim Einnehmen der Betätigungsposition im Erfassungsbereich des Kamerasensors einnehmen muss. Vielmehr ermöglicht es die Erfindung, dass unabhängig davon, wo der Benutzer die Betätigungsposition mit seiner Hand im Erfassungsbereich des Kamerasensors einnimmt, allein durch die gewählte Bewegungsrichtung gemäß einer der Bewegungsachsen eine der analogen Größen ausgewählt wird. Unter einer Bewegungsachse ist insbesondere eine Bewegungsgerade zu verstehen, entlang welcher der Benutzer die Positionsänderung durchführt. Gemäß einer bevorzugten Weiterbildung wird jeder Bewegungsachse ein Toleranzbereich zugeordnet, innerhalb dessen eine Positionsänderung noch der Bewegungsachse zugeordnet wird, auch wenn die Positionsänderung nicht exakt entlang der Bewegungsachse oder -geraden erfolgt. Dabei wird der Toleranzbereich in Abhängigkeit von der Anzahl der vorgegebenen Bewegungsachsen größer oder kleiner gewählt. Dabei ist insbesondere vorgesehen, dass mit zunehmender Anzahl von Bewegungsachsen der Toleranzbereich kleiner gewählt wird, um eine Fehlbedienung zu vermeiden.The method according to the invention with the features of claim 1 has the advantage that the user is given the opportunity to easily select and / or modify one of several analog variables. For this purpose, it is provided according to the invention that one of a plurality of analogous variables is selected or changed as a function of which movement axis of a plurality of movement axes aligned at a predetermined angle to one another is used to change the position. By the non-contact sensor, which is designed in particular as a camera sensor or video sensor, the operating position can be easily detected by a corresponding image analysis. The actuation position serves insofar as a start character for a following position change, which is to be considered or evaluated as input. If the input device thus detects this actuation position and the subsequent position change, one of a plurality of analog variables is selected for modification. According to a first embodiment, the subsequent change in position is understood as an input for changing the analog quantity and executed accordingly by the input device, so that the value of the analog variable changes in accordance with the position change, in particular increased or decreased. In particular, the operating position assumed by fingers and / or thumbs corresponds to a natural gripping gesture, so that the user intuitively operates the input device to change the desired analogue size. In particular, it is provided that the volume of an entertainment system, in particular a music system of the motor vehicle, an illumination intensity or, for example, the speed of a windscreen wiper or the power of an air conditioning system of the motor vehicle is set or changed as an analog variable by the input device. According to a second embodiment, it is provided that, depending on which of the axes of motion the change in position takes place, one of a plurality of analogous variables is selected but not yet changed. The user can thus initially select an analogous size by a movement of his hand taking the actuation position, which he subsequently changes by a further change in position, possibly also along a deviating from the previous change in position movement axis, the analog size. Characterized in that a plurality of axes of motion are given, between each of which a predetermined angle is included, the user selects by the direction of the position change one of the axes of motion and thus one of the analog variables to be changed. This allows the user to easily select and change one of several analogue magnitudes without having to assume a predetermined absolute home position in taking the actuation position within the detection range of the camera sensor. Rather, the invention makes it possible that regardless of where the user occupies the operating position with his hand in the detection range of the camera sensor, one of the analogous sizes is selected solely by the selected direction of movement according to one of the axes of motion. A movement axis is to be understood in particular as a movement straight line along which the user makes the change in position. According to a preferred development, each movement axis is assigned a tolerance range within which a change in position is still assigned to the movement axis, even if the change in position does not take place exactly along the movement axis or straight line. In this case, the tolerance range is selected to be larger or smaller as a function of the number of predetermined axes of motion. It is provided in particular that with increasing number of axes of motion, the tolerance range is chosen to be smaller in order to avoid incorrect operation.
Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass auf die Bewegungsposition erkannt wird, wenn der mindestens eine Finger und/oder der Daumen der Hand einen geschlossenen Ring, eine geschlossene Faust oder eine Pistolengeste bilden. Diese vorgeschlagenen Betätigungspositionen können von dem Kamerasensor durch Bildauswertung schnell und mit überschaubarem Rechenaufwand erkannt werden und sind für den Benutzer intuitiv begreifbar.According to a preferred embodiment of the invention, it is provided that the movement position is recognized when the at least one finger and / or the thumb of the hand form a closed ring, a closed fist or a pistol gesture. These proposed actuation positions can be recognized by the camera sensor by image analysis quickly and with a manageable amount of computation and are intuitively comprehensible for the user.
Vorzugsweise wird dann auf den geschlossenen Ring erkannt, wenn die Fingerspitzen von dem Daumen und dem Finger aneinander anliegen. Alternativ ist es auch denkbar, auf den geschlossenen Ring auch dann zu erkennen, wenn der Finger mit seiner Fingerspitze an einer Seite des Daumens liegt, oder andersherum, und dadurch einen geschlossenen Ring bildet.Preferably, it is then detected on the closed ring when the fingertips of the thumb and the finger abut each other. Alternatively, it is also conceivable to recognize the closed ring even if the finger lies with its fingertip on one side of the thumb, or vice versa, and thereby forms a closed ring.
Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass in Abhängigkeit davon, in welcher Richtung die Positionsänderung entlang der jeweiligen Bewegungsachse erfolgt, die analoge Größe vergrößert oder verkleinert wird. Bewegt der Benutzer beispielsweise den geschlossenen Ring im Erfassungsbereich des Sensors entlang einer Bewegungsachse nach links, so wird die analoge Größe verringert, und bewegt er den geschlossenen Ring entlang derselben Bewegungsachse nach rechts, so wird die analoge Größe vergrößert. Dadurch wird dem Benutzer ein virtueller Schieberegler zur Verfügung gestellt, den er durch Bilden des geschlossenen Rings greifen und durch Verändern der Position verschieben kann.According to a preferred embodiment of the invention, it is provided that, depending on the direction in which the change in position takes place along the respective axis of motion, the analog size is increased or decreased. For example, if the user moves the closed ring in the sensing area of the sensor along an axis of movement to the left, the analog size is reduced, and if it moves the closed ring to the right along the same axis of motion, the analog size is increased. This provides the user with a virtual slider that he can grab by forming the closed ring and moving it by changing the position.
Weiterhin ist bevorzugt vorgesehen, dass dem Benutzer für jeweils eine veränderbare analoge Größe ein Schieberegler angezeigt wird, wobei jedem Schieberegler eine der Bewegungsachsen mit einer dem Schieberregler entsprechenden Ausrichtung zugeordnet wird, entlang welcher oder parallel zu welcher eine Positionsänderung zu einer Veränderung der durch den Schieberegler veränderbaren analogen Größe führt. Dem Benutzer wird also beispielsweise auf einem Display für jede veränderbare analoge Größe jeweils ein Schieberegler angezeigt. Dabei können die veränderbaren analogen Größen beispielsweise von einem ebenfalls angezeigten Kontextmenü abhängen. Unter einer Ausrichtung des Schiebereglers ist dabei die Ausrichtung der Achse des Schiebereglers zu verstehen, entlang welcher der Schieberegler verschoben werden kann. Jedem dargestellten Schieberegler ist eine Bewegungsachse insbesondere in dem Erfassungsbereich des Kamerasensors beziehungsweise in dem durch den Sensor erfassten Bild zugeordnet, die in ihrer Ausrichtung der Ausrichtung des Schiebereglers derart entspricht, dass der Benutzer intuitiv, wenn er seine Hand in der Ausrichtung des Schiebereglers bewegt, eine Positionsänderung entlang oder parallel zu der Bewegungsachse in dem Bild des Sensors durchführt. Durch das Anzeigen des oder der Schieberegler wird somit dem Benutzer eine Bedienung der Eingabevorrichtung beziehungsweise eine Veränderung der analogen Größe besonders einfach gemacht.Furthermore, it is preferably provided that a slider is displayed to the user for each variable analogous size, each slider being assigned one of the axes of motion with an orientation corresponding to the slider controller, along which or parallel to which a position change to a change of the variable by the slider analog size leads. For example, the user will be shown on a display for each changeable analogous size each showing a slider. In this case, the changeable analog variables may depend, for example, on a context menu also displayed. An orientation of the slider is to be understood as the orientation of the axis of the slider along which the slider can be moved. Each slider shown is associated with a movement axis, in particular in the detection range of the camera sensor or in the image detected by the sensor, which corresponds in orientation to the orientation of the slider so that the user intuitively, if he moves his hand in the orientation of the slider, a Position change along or parallel to the axis of movement in the image of the sensor performs. By displaying the slider or sliders, the user is thus made particularly easy to operate the input device or to change the analog size.
Gemäß einer bevorzugten Weiterbildung der Einfindung ist vorgesehen, dass in Abhängigkeit davon, an welcher Position der Benutzer die Betätigungsposition einnimmt, beispielsweise den geschlossenen Ring mit Daumen und Finger, zumindest eine Bewegungsachse oder eine virtuelle Gerade, insbesondere ein Schnittpunkt mehrerer Bewegungsachsen vorgesehen beziehungsweise angeordnet wird. Dadurch wird erreicht, dass sobald der Benutzer ausgehend von der Position, in welcher er die Betätigungsposition, insbesondere den geschlossenen Ring gebildet hat, eine Positionsänderung gemäß der Ausrichtung des Schiebreglers durchführt, diese Positionsänderung entlang der Bewegungsachse erfolgt. Die eine oder mehreren Bewegungsachsen werden somit in Abhängigkeit von der Position der Hand im Erfassungsbereich des Sensors zu dem Zeitpunkt angeordnet, zu welchem die Betätigungsposition gebildet beziehungsweise eingenommen wird. Dadurch ist ein Nachvollziehen der Positionsänderung entlang der jeweiligen Bewegungsachse einfach möglich. Alternativ kann vorgesehen sein, dass die Bewegungsachse fest in dem Erfassungsbereich vorgesehen werden, und Parallelbewegungen zu den Geraden, wie bereits zuvor erwähnt, als Eingabe berücksichtigt werden, wenn die Betätigungsposition erfasst wird.According to a preferred embodiment of the invention, it is provided that, depending on the position in which the user assumes the actuating position, for example the closed ring with thumb and finger, at least one movement axis or a virtual straight line, in particular an intersection of a plurality of movement axes is provided or arranged. This ensures that as soon as the user, starting from the position in which he has formed the actuation position, in particular the closed ring, performs a change in position according to the orientation of the slide controller, this change in position takes place along the axis of movement. The one or more axes of motion are thus arranged depending on the position of the hand in the detection range of the sensor at the time at which the actuating position is formed or occupied. This makes it easy to follow the change in position along the respective axis of movement. Alternatively, it can be provided that the movement axis are provided fixedly in the detection area, and parallel movements to the straight lines, as already mentioned above, are taken into account as input when the actuation position is detected.
Weiterhin ist bevorzugt vorgesehen, dass wenn Finger und/oder Daumen die Betätigungspositionen einnehmen, und eine erste Positionsänderung entlang oder parallel zu einer der Bewegungsachsen erfolgt, Positionsänderungen nur entlang oder parallel zu dieser Bewegungsachse als Eingabe erfasst werden. Solange der geschlossene Ring also bestehen bleibt, werden Positionsänderungen, die von der Bewegungsachse oder einer Parallelen dazu abweichen, insbesondere über den vorgebbaren Toleranzbereich hinaus, nicht bei der Erkennung der Eingabe zum Verändern einer analogen Größe berücksichtig. Erst wenn der Benutzer den geschlossenen Ring wieder öffnet, den Finger also von dem Daumen entfernt und danach erneut den Ring schließt, beziehungsweise die Betätigungsposition auflöst und wieder einnimmt, wird eine Positionsänderung in eine andere Richtung, insbesondere entlang einer anderen virtuellen Geraden/Ausrichtung erfasst und für die Eingabe berücksichtigt. Dadurch werden Fehlbedienungen und das unbeabsichtigte Verändern analoger Größen auf einfache Art und Weise vermieden.Furthermore, it is preferably provided that when fingers and / or thumbs assume the actuation positions, and a first change of position takes place along or parallel to one of the movement axes, positional changes are only detected as input along or parallel to this movement axis. As long as the closed ring thus remains, changes in position which deviate from the movement axis or a parallel thereto, in particular beyond the predefinable tolerance range, are not taken into account in the recognition of the input for changing an analog variable. Only when the user opens the closed ring again, the finger thus removed from the thumb and then again closes the ring, or the actuation position dissolves and resumes, a change in position in another direction, in particular along another virtual line / orientation is detected and considered for input. As a result, operating errors and unintentional changing analogous sizes are easily avoided.
Gemäß einer vorteilhaften Weiterbildung der Erfindung ist außerdem vorgesehen, dass als Position/Positionsänderungen eine Position/Positionsänderung eines der Finger, insbesondere einer Fingerspitze von Daumen oder Finger, eines Handschwerpunkts oder eines Mittelpunkts des geschlossenen Rings erfasst werden. Besonders bevorzugt wird die Position/Positionsänderung der Fingerspitze des Daumens oder des Fingers, die den geschlossenen Ring bilden, oder die Fingerspitzen von beiden erfasst und verfolgt, um die analoge Größe zu verändern. Dadurch wird eine besonders intuitive Einstellung der jeweiligen analogen Größe für den Benutzer ermöglicht.According to an advantageous development of the invention, it is also provided that a position / position change of one of the fingers, in particular a fingertip of a thumb or finger, a center of gravity or a center of the closed ring is detected as position / position changes. More preferably, the position / position change of the fingertip of the thumb or the finger forming the closed ring or the fingertips of both are detected and tracked to change the analogous size. This allows a particularly intuitive setting of the respective analog size for the user.
Gemäß einer bevorzugten Weiterbildung der Einfindung ist weiterhin vorgesehen, dass in Abhängigkeit davon, welcher der Finger der Hand mit dem Daumen den geschlossenen Ring bildet, eine der veränderbaren analogen Größen verändert wird. Der Benutzer kann in diesem Fall also nicht nur durch eine Positionsänderung in eine bestimmte Richtung auswählen, welche der analogen Größen verändert werden soll, sondern auch durch die Wahl des Fingers, mit welchem der geschlossene Ring zusammen mit dem Daumen gebildet wird. Durch eine Auswertung des von dem Sensor erfassten Bildes lässt sich feststellen, insbesondere durch Konturenvergleiche mit hinterlegten Handmodellen, mit welchem Finger der Benutzer den geschlossenen Ring bildet. Dadurch können (virtuell) mehrere Bedienebenen eingerichtet werden, in denen in Abhängigkeit von der Richtung der Positionsänderung unterschiedliche analoge Größen verändert werden können. Dadurch wird die Variabilität des Verfahrens und der Eingabevorrichtung derart weit erhöht, dass auch Eingaben unabhängig von einem dargestellten Kontextmenü durch den Benutzer durchgeführt werden können, sofern dem Benutzer die einzelnen Gesten bekannt sind.According to a preferred development of the invention, it is further provided that, depending on which of the fingers of the hand forms the closed ring with the thumb, one of the variable analogous variables is changed. In this case, the user can thus select not only by a change of position in a certain direction, which one of the analogous quantities is to be changed, but also by the choice of the finger, with which the closed ring is formed together with the thumb. By evaluating the image captured by the sensor, it can be determined, in particular by contour comparisons with stored hand models, with which finger the user forms the closed ring. As a result, (virtually) several operating levels can be set up, in which different analogous quantities can be changed depending on the direction of the position change. As a result, the variability of the method and the input device is increased to such an extent that inputs can also be performed independently of a displayed context menu by the user, provided the user knows the individual gestures.
Gemäß einer bevorzugten Weiterbildung der Erfindung ist vorgesehen, dass in Abhängigkeit von einem durch die erfassten Positionsänderungen entlang einer oder mehrerer der Bewegungsachsen durchgeführten Bewegungsmuster eine der analogen Größen ausgewählt wird. Hierdurch ergibt sich der Vorteil, dass der Benutzer durch das Anzeigen beziehungsweise Durchführen eines Bewegungsmusters gezielt eine bestimmte analoge Größe zunächst auswählen kann, die nach Erkennung des Bewegungsmusters durch eine weitere Positionsänderung, also insbesondere ohne, dass die Betätigungsposition aufgelöst wird, verändert wird. Dabei kann das Bewegungsmuster aus Positionsänderungen in unterschiedlichen Richtungen entlang einer Bewegungsachse, oder auch entlang unterschiedlicher Bewegungsachsen erfolgen. Weiterhin ist es auch denkbar, in Abhängigkeit eines durch die erfassten Positionsänderungen erkannten Bewegungsmusters eine Schriftzeichenerkennung durchzuführen.According to a preferred development of the invention, it is provided that one of the analogous variables is selected as a function of a movement pattern carried out along one or more of the axes of motion by the detected position changes. This results in the Advantage that the user by selecting or performing a movement pattern specifically select a specific analog size initially, which is changed after detection of the movement pattern by a further change in position, ie in particular without that the actuation position is resolved. In this case, the movement pattern can be made of changes in position in different directions along a movement axis, or along different axes of movement. Furthermore, it is also conceivable to perform a character recognition as a function of a movement pattern recognized by the detected position changes.
Die erfindungsgemäße Eingabevorrichtung mit den Merkmalen des Anspruchs 10 zeichnet sich dadurch aus, dass sie bei bestimmungsgemäßem Gebrauch das erfindungsgemäße Verfahren durchführt. Es ergeben sich hierdurch die bereits genannten Vorteile. Weitere Merkmale und Vorteile ergeben sich aus dem zuvor Beschrieben sowie aus den Ansprüchen.The input device according to the invention with the features of
Im Folgenden soll die Erfindung anhand der Zeichnung näher erläutert werden. Dazu zeigenIn the following, the invention will be explained in more detail with reference to the drawing. Show this
Die Eingabevorrichtung
Wäre die Anzeigeeinheit
Der Benutzer führt dazu zunächst seine Hand
Bewegt der Benutzer seine Hand
Sobald die Eingabevorrichtung
Zur Erkennung der Greifgeste, wie sie in
Zunächst erfolgt eine Hintergrundmodellierung nach Zivkovic, Zoran (
First, a background modeling according to Zivkovic, Zoran (
Alternativ oder zusätzlich zu der Hintergrundmodellierung ist vorgesehen, dass eine Vordergrundmodellierung nach Dadgostar und Sarrafzadeh (
Auf Basis der der durch die Vordergrund- und/oder Hintergrundmodellierung gewonnenen Daten wird eine Handkontur der Hand
Sowohl die gesamte Hand
Im einfachsten Fall, wenn dem Benutzer nur eine analoge Größe zum Verändern zur Verfügung steht, die dann beispielsweise durch einen Schieberegler
Sind mehrere Schieberegler
Gemäß
Sobald der Benutzer also nach dem Erreichen der Greifgeste seine Hand in eine Richtung gemäß einer Ausrichtung eines der Schieberegler
Insbesondere ist vorgesehen, dass in Abhängigkeit davon, welcher der Finger
Selbstverständlich können auch noch weitere oder auch weniger Bewegungsachsen dem Benutzer zur Verfügung gestellt werden.Of course, even more or less movement axes can be made available to the user.
Für die Auswahl einer analogen Größe beziehungsweise eines der Schieberegler
Die Verwendung der Betätigungsgeste zum Zeichnen der Bewegungsmuster kann auch noch weiter verallgemeinert werden. So ist es auch denkbar, einem Bewegungsmuster eine direkt erfolgende Aktion zuzuordnen, sodass nach Erkennung eines Bewegungsmusters eine Aktion von der Eingabevorrichtung
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- US 20120105613 A1 [0005] US 20120105613 A1 [0005]
- EP 2441635 A1 [0005] EP 2441635 A1 [0005]
Zitierte Nicht-PatentliteraturCited non-patent literature
- Zivkovic, Zoran; „Improved Adaptive Gaussian Mixture Model for Background Substration“, ICPR, 2004 [0032] Zivkovic, Zoran; "Improved Adaptive Gaussian Mixture Model for Background Substrate", ICPR, 2004 [0032]
- Dadgostar, Farhad und Sarrafzadeh, Abdolhossein: „An adaptive real-time skin detector based on Hue thresholding: A comparison on two motion tracking methods“ Pattern Recognition Letters, 2006, 1342–1352 [0033] Dadgostar, Farhad and Sarrafzadeh, Abdolhossein: "Adaptive real-time skin detector based on Hue thresholding: A comparison of two motion tracking methods" Pattern Recognition Letters, 2006, 1342-1352 [0033]
- Suzuki, S. und Abe, K.: Topological Structural Analysis of Digitized Binary Images by Border Following.“ CVGIP, 1985, 32–46 [0034] Suzuki, S. and Abe, K .: Topological Structural Analysis of Digitized Binary Images by Border Following. "CVGIP, 1985, 32-46 [0034]
- Malik, Shahzad: „Real-time Hand Tracking and Finger Tracking for Interaction“, Toronto: CSC2503F Project Report, University of Toronto, 2003 [0034] Malik, Shahzad: "Real-time Hand Tracking and Finger Tracking for Interaction", Toronto: CSC2503F Project Report, University of Toronto, 2003 [0034]
- Liu, Nianjun and Lovell, Brian C. „Hand Gesture Extraction by Active Shape Models“, Proceedings of the Digital Image Computing on Techniques and Applications, 2005 [0034] Liu, Nianjun and Lovell, Brian C. "Hand Gesture Extraction by Active Shape Models", Proceedings of Digital Image Computing on Techniques and Applications, 2005. [0034]
- Lee, J. und Kunii, T. L.: „Model-Based Analysis of Hand Posture“, IEEE Computer Graphics and Applications, 1995, 77–86 [0034] Lee, J. and Kunii, TL: "Model-Based Analysis of Hand Posture", IEEE Computer Graphics and Applications, 1995, 77-86 [0034]
- Do, Martin; Asfour, Tamim; and Dillmann, Rüdiger: „Particle Filter-Based Fingertip Tracking with Circular Hough Transform Features“ MVA, 2011 [0035] Do, Martin; Asfour, Tamim; and Dillmann, Rüdiger: "Particle Filter-Based Fingertip Tracking with Circular Hough Transform Features" MVA, 2011 [0035]
- Lockton, R. und Fitzgibbon, A. W.: „Real-time gesture recognition using deterministic boosting“, BMVC, 2002 [0035] Lockton, R. and Fitzgibbon, AW: "Real-time gesture recognition using deterministic boosting", BMVC, 2002 [0035]
- Nagi, Jawad et al. „Max-Pooling Convolutional Neural Networks for Vision-based Hand Gesture Recognition“ ICSIPA, 2011, 342–347 [0035] Nagi, Jawad et al. "Max Pooling Convolutional Neural Networks for Vision-based Hand Gesture Recognition" ICSIPA, 2011, 342-347 [0035]
- Dreuw, Philippe; Keysers, Daniel; Deselaers, Thomas und Ney, Hermann: „Gesture Recognition Using Image Comparision Methods“, International Workshop on Gesture in Human-Computer Interaction and Simulation, 2005, 124–128 [0035] Dreuw, Philippe; Keyser, Daniel; Deselaers, Thomas and Ney, Hermann: "Gesture Recognition Using Image Comparision Methods", International Workshop on Gesture in Human-Computer Interaction and Simulation, 2005, 124-128 [0035]
- Dreuw, Philippe; Rybach, David; Deselaers, Thomas; Zahedi, Morteza und Ney, Hermann. „Speech Recognition Techniques for a Sign Language Recogntion System“, Interspeech, Antwerp, Belgium, 2007, 2513–2516 [0035] Dreuw, Philippe; Rybach, David; Deselaer, Thomas; Zahedi, Morteza and Ney, Hermann. "Speech Recognition Techniques for a Sign Language Recognition System", Interspeech, Antwerp, Belgium, 2007, 2513-2516 [0035]
- Cutler, R. und Turk, M.: „View-Based Interpretation on Real-Time Optical Flow for Gesture Recognition“, IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998 [0035] Cutler, R. and Turk, M .: "View-Based Interpretation on Real-Time Optical Flow for Gestural Recognition", IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998. [0035]
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015211521.6A DE102015211521A1 (en) | 2015-06-23 | 2015-06-23 | Method for operating an input device, input device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102015211521.6A DE102015211521A1 (en) | 2015-06-23 | 2015-06-23 | Method for operating an input device, input device |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102015211521A1 true DE102015211521A1 (en) | 2016-12-29 |
Family
ID=57536841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102015211521.6A Pending DE102015211521A1 (en) | 2015-06-23 | 2015-06-23 | Method for operating an input device, input device |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102015211521A1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5594469A (en) * | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
DE102006039767A1 (en) * | 2005-09-05 | 2007-03-15 | Denso Corp., Kariya | input device |
EP2441635A1 (en) | 2010-10-06 | 2012-04-18 | Harman Becker Automotive Systems GmbH | Vehicle User Interface System |
US20120105613A1 (en) | 2010-11-01 | 2012-05-03 | Robert Bosch Gmbh | Robust video-based handwriting and gesture recognition for in-car applications |
US20130321271A1 (en) * | 2011-02-09 | 2013-12-05 | Primesense Ltd | Pointing-based display interaction |
DE102013000066A1 (en) * | 2013-01-08 | 2014-07-10 | Audi Ag | Zooming and moving an image content of a display device |
-
2015
- 2015-06-23 DE DE102015211521.6A patent/DE102015211521A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5594469A (en) * | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
DE102006039767A1 (en) * | 2005-09-05 | 2007-03-15 | Denso Corp., Kariya | input device |
EP2441635A1 (en) | 2010-10-06 | 2012-04-18 | Harman Becker Automotive Systems GmbH | Vehicle User Interface System |
US20120105613A1 (en) | 2010-11-01 | 2012-05-03 | Robert Bosch Gmbh | Robust video-based handwriting and gesture recognition for in-car applications |
US20130321271A1 (en) * | 2011-02-09 | 2013-12-05 | Primesense Ltd | Pointing-based display interaction |
DE102013000066A1 (en) * | 2013-01-08 | 2014-07-10 | Audi Ag | Zooming and moving an image content of a display device |
Non-Patent Citations (11)
Title |
---|
Cutler, R. und Turk, M.: „View-Based Interpretation on Real-Time Optical Flow for Gesture Recognition", IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998 |
Dadgostar, Farhad und Sarrafzadeh, Abdolhossein: „An adaptive real-time skin detector based on Hue thresholding: A comparison on two motion tracking methods" Pattern Recognition Letters, 2006, 1342–1352 |
Do, Martin; Asfour, Tamim; and Dillmann, Rüdiger: „Particle Filter-Based Fingertip Tracking with Circular Hough Transform Features" MVA, 2011 |
Dreuw, Philippe; Keysers, Daniel; Deselaers, Thomas und Ney, Hermann: „Gesture Recognition Using Image Comparision Methods", International Workshop on Gesture in Human-Computer Interaction and Simulation, 2005, 124–128 |
Dreuw, Philippe; Rybach, David; Deselaers, Thomas; Zahedi, Morteza und Ney, Hermann. „Speech Recognition Techniques for a Sign Language Recogntion System", Interspeech, Antwerp, Belgium, 2007, 2513–2516 |
Lee, J. und Kunii, T. L.: „Model-Based Analysis of Hand Posture", IEEE Computer Graphics and Applications, 1995, 77–86 |
Liu, Nianjun and Lovell, Brian C. „Hand Gesture Extraction by Active Shape Models", Proceedings of the Digital Image Computing on Techniques and Applications, 2005 |
Lockton, R. und Fitzgibbon, A. W.: „Real-time gesture recognition using deterministic boosting", BMVC, 2002 |
Malik, Shahzad: „Real-time Hand Tracking and Finger Tracking for Interaction", Toronto: CSC2503F Project Report, University of Toronto, 2003 |
Nagi, Jawad et al. „Max-Pooling Convolutional Neural Networks for Vision-based Hand Gesture Recognition" ICSIPA, 2011, 342–347 |
Suzuki, S. und Abe, K.: Topological Structural Analysis of Digitized Binary Images by Border Following." CVGIP, 1985, 32–46 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2015121056A1 (en) | Device and method for signalling a successful gesture input | |
DE112014003563T5 (en) | Device and method for gesture determination, gesture operation device, program and recording medium | |
DE102010048745A1 (en) | Method of operating user interface in motor vehicle, involves representing predetermined object-specific target areas, graphically on display unit, upon detection of beginning of shift operation of first two selected objects | |
DE102017218120A1 (en) | A method of providing haptic feedback to an operator of a touch-sensitive display | |
DE102012020607A1 (en) | Method for controlling selection element e.g. cursor, on monitor of e.g. navigation device, of motor vehicle i.e. passenger car, involves activating function of electronic device by control device based on relative position of finger | |
WO2016120251A1 (en) | Method for operating an input device, input device | |
DE102014226553A1 (en) | Method for operating an input device, input device, motor vehicle | |
DE102013000066A1 (en) | Zooming and moving an image content of a display device | |
EP3234736B1 (en) | Method for operating an input device, input device, motor vehicle | |
DE102011084345A1 (en) | Operating system and method for displaying a control surface | |
DE102014224599A1 (en) | Method for operating an input device, input device | |
DE202015100273U1 (en) | input device | |
DE102019206606B4 (en) | Method for contactless interaction with a module, computer program product, module and motor vehicle | |
EP3114545B1 (en) | User interface and method for operating a user interface using gestures performed freely in a space | |
EP3025214B1 (en) | Method for operating an input device, and input device | |
DE102015211521A1 (en) | Method for operating an input device, input device | |
DE102014224632A1 (en) | Method for operating an input device, input device | |
DE102015201722A1 (en) | Method for operating an input device, input device | |
DE102019200284A1 (en) | Method and program for specifying a position | |
DE102013211046A1 (en) | Method and device for obtaining a control signal from an operating gesture | |
WO2015110331A1 (en) | Method for detecting a movement path of at least one moving object within a detection region, method for detecting gestures while using such a detection method, and device for carrying out such a detection method | |
DE102014224641A1 (en) | Method for operating an input device, input device | |
DE102014224598A1 (en) | Method and device for operating an input device | |
DE102023129876A1 (en) | Control device and control method | |
DE102014224618A1 (en) | Method and device for operating an input device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R012 | Request for examination validly filed |