DE102009043798A1 - Verfahren zur Erkennung von Handgesten - Google Patents
Verfahren zur Erkennung von Handgesten Download PDFInfo
- Publication number
- DE102009043798A1 DE102009043798A1 DE102009043798A DE102009043798A DE102009043798A1 DE 102009043798 A1 DE102009043798 A1 DE 102009043798A1 DE 102009043798 A DE102009043798 A DE 102009043798A DE 102009043798 A DE102009043798 A DE 102009043798A DE 102009043798 A1 DE102009043798 A1 DE 102009043798A1
- Authority
- DE
- Germany
- Prior art keywords
- hand
- gesture
- determining
- visual content
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
Abstract
Eine Ausführungsform der Erfindung beinhaltet ein Verfahren zum Erzeugen von Geräteeingaben. Das Verfahren umfasst das Beleuchten von Handgesten, die von einem Benutzer mit der nackten Hand im Vordergrund vor einer Hintergrundfläche ausgeführt werden, mit einer Infrarot (IR) Lichtquelle. Das Verfahren umfasst ferner das Erzeugen einer ersten Vielzan auf der Grundlage des IR Lichtkontrastes zwischen der nackten Hand und der Hintergrundfläche und das Erzeugen einer zweiten Vielzahl von der nackten Hand zugehörigen Schattenbildern auf der Grundlage des IR Lichtkontrastes zwischen der nackten Hand und der Hintergrundfläche. Ferner umfasst das Verfahren das Bestimmen einer Vielzahl dreidimensionaler Merkmale der nackten Hand relativ zur Hintergrundfläche auf der Grundlage der Parallaxenverschiebung der nackten Hand in der ersten Vielzahl von Schattenbildern. Das Verfahren umfasst weiterhin das Bestimmen einer erzeugten Gesteneingabe aufgrund der Vielzahl von dreidimensionalen Merkmalen der nackten Hand und das Vergleichen der erzeugten Gesteneingabe mit einer Vielzahl von in einer Gestenbibliothek gespeicherten vordefinierten Gesteneingaben. Schließlich umfasst das Verfahren das Erzeugen wenigstens einer Geräteeingabe, die einem interaktiven Zusammenwirken mit angezeigtem visuellem Inhalt entspricht, aufgrund der erzeugten Gesteneingabe, die einer der gespeicherten vordefinierten Gesteneingaben entspricht.
Description
- Technisches Gebier
- Die Erfindung bezieht sich allgemein auf Schnittstellensysteme und insbesondere auf ein Verfahren zur Erkennung von Handgesten.
- Beschreibung des Standes der Technik
- Mit zunehmend mit Hilfe eines Computers ausgeführten Tätigkeiten werden verstärkt neue und innovative Wege zur Schaffung einer Schnittstelle mit einem Computer entwickelt, um die Veränderungen in der Computerfunktionalität und Ausrüstung zu ergänzen. So können zum Beispiel berührungsempfindliche Bildschirme es einem Benutzer erlauben, in den Computer Eingaben ohne eine Maus und/oder eine Tastatur zu machen, so dass zur Eingabe kein Platz auf dem den Computer aufnehmenden Arbeitsplatz erforderlich ist. Beispiele solcher berührungsempfindlicher Bildschirme umfassen berührungsempfindliche Membranen, Techniken zur Strahlunterbrechung mit längs des Umfangs vorgesehenen Lichtquellen und Sensoren und akustisch abtastende Techniken. Diese Arten von Computerschnittstellen können jedoch nur Informationen an den Computer hinsichtlich eines Berührungsereignisses selbst geben und sind folglich in ihrer Anwendbarkeit beschränkt. Hinzu kommt, dass diese Arten von Schnittstellen bezüglich der Anzahl von Berührungsvorgängen, die in einer vorgegebenen Zeitspanne verarbeitet werden können, beschränkt sind, und dass sie der Gefahr der Verarbeitung unbeabsichtigter Berührungen ausgesetzt sind, wenn sie beispielsweise Berührungen, die von der Manschette eines Hemdes oder der Handfläche stammen, als Berührungsereignisse werten. Es kommt hinzu, dass berührungsempfindliche Bildschirme prohibitiv teuer sein können und dass sehr große Bildschirmgrößen, wie sie beispielsweise bei Präsentationen verwendet werden, nicht praktisch sind.
- Zusammenfassung der Erfindung
- Eine Ausführungsform der der Erfindung beinhaltet ein Verfahren zum Erzeugen von Geräteeingaben. Das Verfahren umfasst das Beleuchten von Handges ten, die von einem Benutzer mit der nackten Hand im Vordergrund vor einer Hintergrundfläche ausgeführt werden, mit einer Infrarot (IR) Lichtquelle. Das Verfahren weist ferner das Erzeugen einer ersten Vielzahl von der nackten Hand zugehörigen Schattenbildern auf der Grundlage des IR Lichtkontrastes zwischen der nackten Hand und der Hintergrundfläche und das Erzeugen einer zweiten Vielzahl von der nackten Hand zugehörigen Schattenbildern auf der Grundlage des IR Lichtkontrastes zwischen der nackten Hand und der Hintergrundfläche auf. Ferner umfasst das Verfahren das Bestimmen einer Vielzahl drei-dimensionaler Merkmale der nackten Hand relativ zur Hintergrundfläche auf der Grundlage der Parallaxenverschiebung der nackten Hand in der ersten Vielzahl von Schattenbildern gegenüber der zweiten Vielzahl von Schattenbildern. Das Verfahren umfasst weiterhin das Bestimmen einer erzeugten Gesteneingabe aufgrund der Vielzahl von drei-dimensionalen Merkmalen der nackten Hand und das Vergleichen der erzeugten Gesteneingabe mit einer Vielzahl von in einer Gestenbibliothek gespeicherten vordefinierten Gesteneingaben. Schließlich umfasst das Verfahren das Erzeugen wenigstens einer Geräteeingabe, die einem interaktiven Zusammenwirken mit angezeigtem visuellem Inhalt entspricht, aufgrund der erzeugten Gesteneingabe, die einer der gespeicherten vordefinierten Gesteneingaben entspricht.
- Kurze Beschreibung der Zeichnungen
-
1 stellt ein Beispiel eines Schnittstellensystems zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. -
2 stellt ein Beispiel eines Schnittstellenkontrollers zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. -
3 stellt ein anderes Beispiel eines Schnittstellensystems zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. -
4 stellt ein Beispiel eines Simulationssystems zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. -
5 stellt ein Beispiel von Handgesten zum Einsatz in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. -
6 stellt ein anderes Beispiel von Handgesten zum Einsatz in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. -
7 stellt ein weiteres Beispiel von Handgesten zum Einsatz in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. -
8 stellt nochmals ein weiteres Beispiel von Handgesten zum Einsatz in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. -
5 stellt ein Beispiel eines Verfahrens zur Erzeugung von Geräteeingaben gemäß einem Aspekt der Erfindung dar. - Ausführliche Beschreibung
- Die Erfindung bezieht sich allgemein auf Schnittstellensysteme und insbesondere auf ein Verfahren zur Erkennung von Handgesten. Ein Benutzer beziehungsweise Anwender benutzt einen oder mehrer ”Finger” seiner oder ihrer nackten Hand zur Erzeugung von Eingaben in einen Computer oder ein anderes elektronisches Gerät. Die nackte Hand kann die Hand eines Benutzers sein, die durch keinen speziellen Handschuh bedeckt ist und keine Sensoren hat, die eine Gestenerkennung erlauben. Es sei verstanden, dass – wie hier beschrieben – ein ”Finger” einer der normalen Finger oder der Daumen sein kann. Es sei weiterhin verstanden, dass die simulierten Eingaben durch einfache Gesten und/oder zusammengesetzte Gesten unter Verwendung der einen Hand oder beider Hände erzeugt werden können. So kann der Benutzer zum Beispiel Gesten erzeugen, die vordefinierte Bewegungen einschließen, die die nackten Hand in einem Gestenerkennungssystem verwenden, wie es zum Beispiel durch den Vordergrund eines Anzeigebildschirms definiert ist, der visuellen Inhalt anzeigt. Die simulierten Eingaben können zum Beispiel eine aus einer Vielzahl von Eingaben sein, die durch ein interaktives Zusammenwirken mit Teilen des visuellen Inhalts entstehen.
- Jedes einer Vielfalt von Schnittstellensystem zur Gestenerkennung kann zur Erkennung der zusammengesetzten Gesten eingesetzt werden. So können zum Beispiel eine oder mehrere Infrarot (IR) Lichtquellen eine Gestenerkennungsumgebung beleuchten, die durch einen Bereich in einem physikalischen Raum im Vorder grund bzw. vor oder über einer vertikalen bzw. horizontalen Anzeigefläche definiert ist. Die IR Lichtquellen können die Gestenerkennungsumgebung von oben her beleuchten oder können unterhalb eines IR-diffusen Bildschirms zur Beleuchtung der Gestenerkennungsumgebung von unten, die sich oberhalb der Anzeigefläche befindet, vorgesehen sein. Von einem Satz von Stereokameras kann jede eine Vielzahl von Bildern der nackten Hand erzeugen. Die Vielzahl der Bilder kann zum Beispiel auf dem Kontrast des von dem Infrarotlicht reflektierten Lichts beruhen, das von der nackten Hand relativ zu im wesentlichen nicht reflektierten Licht aufgrund von stärker reflektiertem Licht von einer rück-reflektierenden Hintergrundfläche reflektiert wird, oder von dem Licht, das von unterhalb einer IR diffusen der Anzeigefläche abgegeben wird. Die Vielzahl der Bilder der nackten Hand von jeder Kamera kann zum Beispiel eine Vielzahl zusammengehöriger Sätze von Bildern der nackten Hand bilden, derart, dass jedes Bild in dem zusammengehörigen Satz von Bildern der nackten Hand aus einer unterschiedlichen Perspektive zu im wesentlichen der gleichen Zeit entspricht. Ein gegebener zusammengehöriger Satz von Bildern kann zur Bestimmung des Ortes der nackten Hand eingesetzt werden und die Vielzahl der zusammengehörigen Sätze von Bildern kann zur Bestimmung der physischen Bewegung der nackten Hand eingesetzt werden.
- Ein Kontroller kann zum Empfang der Vielzahl der Bilder für die Bestimmung von drei-dimensionalen Lageinformationen von der nackten Hand gegenüber der Hintergrundfläche eingesetzt werden. Zum Beispiel kann der Kontroller einen Algorithmus zur Bestimmung von Merkmalen der nackten Hand einsetzen, zum Beispiel, der Erstreckung, der Beugung und der Orientierung der Finger im dreidimensionalen Raum. Der Kontroller kann dann die simulierten Eingaben in Geräteeingaben auf der Grundlage der Lageinformation in den drei Dimensionen umsetzen. Zum Beispiel kann der Kontroller Gesteneingaben auf der Grundlage von Bewegungen übertragen, die zu der nackten Hand gehörig sind und die Gesteneingaben in Eingaben in einen Computer oder ein anderes Gerät übertragen. Der Kontroller kann auch die mit dem einen oder den mehreren Endpunkten der Finger oder des Daumens der nackten Hand verknüpfte Bewegung mit einer Vielzahl vordefinierter, in einem Gestenspeicher (Speicher mit gespeicherten Gesten) vergleichen, so dass eine Übereinstimmung mit einer gegebenen vordefinierten Geste einer bestimmten Geräteeingabe entspricht.
-
1 zeigt ein Ausführungsbeispiel eines Schnittstellensystems10 zur Gestenerkennung gemäß einem Aspekt der Erfindung. Das Schnittstellensystem10 zur Gestenerkennung umfasst eine erste Kamera12 , eine zweite Kamera14 , eine erste Infrarotlichtquelle16 und eine zweite Infrarotlichtquelle18 , die alle über einer vertikalen Anzeigefläche20 angebracht sind. Die vertikale Anzeigefläche20 kann beispielsweise eine Projektions(lein)wand sein. Die erste Kamera12 und die zweite Kamera14 können jeweils Infrarotfilter aufweisen, so dass die jeweilige Kamera nur Infrarotlicht zu empfangen in der Lage ist. Die erste Infrarotlichtquelle16 und die zweite Infrarotlichtquelle18 beleuchten jede eine Gestenerkennungsumgebung22 , die als der drei-dimensionale physische Raum im Vordergrund der vertikalen Anzeigefläche20 definiert ist, die von der ersten Kamera12 und der zweiten Kamera14 erfassbar sind. - Eine Hand
24 eines Benutzers kann simulierte Eingaben über der vertikalen Anzeigefläche20 erzeugen. Die erste Kamera12 und die zweite Kamera14 empfangen getrennte Bilder des Eingabeobjekts24 , von denen jedes der von der ersten Kamera12 bzw. der zweiten Kamera14 aufgenommenen Bilder einen zusammengehörigen Satz (z. B. ein zusammengehöriges Paar) bilden. So kann zum Beispiel sowohl die erste Kamera als auch die zweite Kamera fotografische Standbilder schnell mit zum Beispiel 60 Bildern je Sekunde aufnehmen, so das jedes Standfoto, das mit der ersten Kamera12 aufgenommen wurde, zu einem Standfoto, das mit der zweiten Kamera14 zu praktisch der gleichen Zeit aufgenommen wurde, zugehörig ist. Die Hand24 des Benutzers kann in jedem Bild des zusammengehörigen Satzes, der jeweils durch die erste Kamera12 und die zweite Kamera14 aufgenommen wurde, aufgrund der Parallaxe, die durch die unterschiedlichen Befestigungsorte für sowohl die erste Kamera12 als auch die zweite Kamera14 verursacht sind, an einem anderen Ort zu sein erscheinen. In dem Beispiel nach1 kann die erste Kamera12 und die zweite Kamera14 jeweils unter einem Winkel auf das Zentrum der vertikalen Anzeigefläche20 ausgerichtet sein, so dass eine genauere Bestimmung der Position des Eingabeobjekts24 ermöglicht ist. - Bei dem Ausführungsbeispiel nach
1 können die sowohl von der erste Kamera12 als auch der zweite Kamera14 empfangenen Bilder der nackten Hand24 auf Infrarotlicht beruhen, das von dem Eingabeobjekt relativ zum im wesentlichen nicht-reflektierten Licht in der Gestenerkennungsumgebung22 reflektiert wird. Insbesondere ist ein Objekt mit einer relativen Helligkeitsintensität beleuchtet, die 1/D2 ist, mit D dem Abstand von der Lichtquelle. Folglich erscheint ein Objekt, das zweimal so weit entfernt wie ein anderes ist, vier mal schwächer. Das hat zur Folge, dass, obwohl einiges Infrarotlicht, das von der ersten und zweiten der Infrarotlichtquellen16 und18 ausgestrahlt wird, vom Boden28 unterhalb der vertikalen Anzeigefläche20 reflektiert wird, die Intensität des so reflektierten Lichtes deutlich geringer als die des von der nackten Hand24 des Benutzers reflektierten Lichts ist. - Die erste Kamera
12 und die zweite Kamera14 können jede ihre entsprechenden getrennten Bilder des Eingabeobjekts an einen Kontroller26 übergeben. Der Kontroller könnte in einem nicht dargestellten Computer vorgesehen sein, für das das Schnittstellensystem10 zur Gestenerkennung für die Bildung einer Gestenerkennungsschnittstelle ausgebildet ist. Dabei versteht es sich jedoch, dass das Unterbringen eines Kontrollers nicht auf einen alleinstehenden Computer beschränkt ist und dass dieser zum Beispiel in einem Prozessor eingebettet sein kann. Der Kontroller26 kann die entsprechenden, mit der nackten Hand24 des Benutzers verknüpften Bilder verarbeiten, um drei-dimensionale, mit der nackten Hand24 des Benutzers verknüpfte Merkmalsdaten zu erzeugen. - Es können zum Beispiel die erste Kamera
12 und die zweite Kamera14 jeweils unter vorgegebenen Winkeln relativ zum Boden28 unterhalb der vertikalen Anzeigefläche20 montiert sein. Für ein gegebenes zusammengehöriges Paar von Bildern der nackten Hand24 des Benutzers hat dann, wenn der vorbestimmte Winkel jeder der Kameras12 und14 der gleiche ist, jeder Punkt der nackten Hand24 des Benutzers in einem zwei-dimensionalen Raum in einem gegebenen Bild von der Kamera12 den gleichen Abstand von einem entsprechenden Punkt des Eingabeobjekts24 in dem entsprechenden zugehörigen Bild von der Kamera14 . Der Kontroller26 könnte den physikalischen Ort der nackten Hand24 des Benutzers aufgrund einer relativen Parallaxenverschiebung des zusammengehörigen Satzes von Bildern der nackten Hand24 des Benutzers zu einer gegebenen Zeit drei-dimensional bestimmen. Zusätzlich könnte der Kontroller26 unter Verwendung eines Computerprogramms den physischen Ort von Merkmalen, die mit den Merkmalen der nackten Hand24 des Benutzers verknüpft sind, zum Beispiel Finger oder Fingerspitzen, auch drei-dimensional bestimmen. Als Beispiel sei genannt, dass der Kontroller26 zur Bestimmung und Übertragung der Gesten ausgebildet sein kann, die in der Gestenerkennungsumgebung auf eine von vielen verschiedenen Weisen erzeugt wurden, wie beispielsweise jenen, die sowohl in der US-Patentanmeldung mit dem Titel ”Gesture Recognition Interface System”, Seriennummer 11/485,788, angemeldet am 13. Juli 2006, als auch der US-Patentanmeldung ”Gesture Recognition Interface System With Vertical Display”, Seriennummer 12/133,836, angemeldet am 5. Juni 2008, die beide auf den gleichen Rechtsinhaber wie dem der vorliegenden Anmeldung übertragen wurden, beschrieben sind und die hierher durch Bezugnahme auf sie in ihrer Gesamtheit einbezogen werden. - Das Schnittstellensystem
10 zur Gestenerkennung kann auch einen Projektor30 umfassen. Der Projektor30 kann visuellen Inhalt, mit dem der Benutzer wechselseitig zusammenwirken und Eingaben erzeugen kann, zur Verfügung stellen. In dem Ausführungsbeispiel der1 kann der Projektor30 visuellen Inhalt auf die vertikale Anzeigefläche20 projizieren. Da die Infrarotlichtquellen16 und18 kein sichtbares Licht abgeben, kann die Infrarotbeleuchtung den sichtbaren Inhalt, den der Projektor30 projiziert, nicht stören. Der Benutzer kann folglich die nackte Hand24 des Benutzers in der Gestenerkennungsumgebung22 zum Simulieren von Eingaben in interaktiver Weise mit dem visuellen Inhalt einsetzen. - Gemäß einem Beispiel kann der Kontroller
26 zusammengesetzte Gesten bestimmen, die von einem Benutzer unter Verwendung der Hand24 des Benutzers gemacht werden, und kann die Gesteneingaben in eine aus einer Vielzahl von vielen Geräteeingaben übertragen. So kann der Kontroller26 zum Beispiel das Deuten auf die vertikale Anzeigefläche24 mit der nackten Hand24 des Benutzers derart übertragen bzw. übersetzen, wie zum Beispiel mit einem gestreckten Zeigefinger oder einer flachen, offenen Hand, dass ein Bezug auf den visuellen Inhalt erzeugt wird, der auf der vertikalen Anzeigefläche20 gezeigt ist. Gemäß einem anderen Beispiel können ausgewählte Daten auf Gesteneingaben hin wie das Auswählen von Objekten, das Bewegen von Objekten, das Scrollen von visuellen Daten, das Wenden von Seiten eines Dokuments und jede beliebige andere Geräteeingabe, manipuliert werden. Zusätzliche Eingabegesten lassen sich nacheinander unter Einsatz der Hand24 des Benutzers implementieren oder es können aufeinanderfolgende Geräteeingaben unter Einsatz der anderen, nicht dargestellten Hand des Benutzers implementiert werden. Folglich könnte der Benutzer des Schnittstellensystems10 zur Gestenerkennung durch eine Anzahl von Computermenüs, grafischen Benutzerschnittstellenikons (GUI) navigieren und/oder mit einem Computer verknüpfte Programme ausführen, und dies nur durch Bewegung seiner oder ihrer nackten Hand durch die Luft in der Gestenerkennungsumgebung22 und durch Ausführen einer oder mehrerer komplementärer Gesten ohne Berührung einer Maus, einer Tastatur oder eines anderen Eingabegeräts für Computer. - Bei dem Beispiel der
1 umfasst der Kontroller26 einen Bildpuffer32 , der zur Speicherung nacheinander aufgenommener Bilder von sowohl der ersten Kamera12 als auch der zweiten Kamera14 vorgesehen ist. Der Bildpuffer32 kann zum Beispiel ein Speicher sein, der derart als eine Folge konfiguriert ist, dass neue Bilder die von der ersten und zweiten Kamera12 und14 aufgenommen wurden, an den Bildpuffer32 zum Überschreiben der darin gespeicherten ältesten Bilder übergeben werden. Die aufeinanderfolgenden Bilder, die in dem Bildpuffer32 gespeichert sind, können vom Kontroller26 zur Übersetzung der Gesten, die in der Gestenerkennungsumgebung22 ausgeführt wurden, in Geräteeingaben verwendet werden. Der Kontroller26 kann zum Beispiel so ausgebildet sein, dass er die aufeinanderfolgenden Bilder, die in dem Bildspeicher32 gespeichert sind, analysiert, um die dreidimensionale Bewegung von der Hand24 des Benutzers zugeordneten Merkmalen zu bestimmen. Der Kontroller26 kann somit die drei-dimensionale Bewegung mit der vordefinierten Geste, die in der Bibliothek34 für vordefinierte Gesten gespeichert sind, vergleichen und die korrespondierende Geräteeingabe auf die Feststellung einer Übereinstimmung hin erzeugen. Folglich kann der Kontroller die zutreffende Geräteeingabe aufgrund der Ausführung der korrespondierenden Gesten bestimmen. - Es versteht sich, dass das Schnittstellensystem
10 zur Gestenerkennung nicht auf das Beispiel nach1 beschränkt sein soll. So sind die Gesteneingaben, die in das Schnittstellensystem10 zur Gestenerkennung implementiert sind, nicht auf drei-dimensionale Gesten beschränkt, sondern es können zwei-dimensionale Gesten anstelle von oder zusätzlich zu drei-dimensionalen Gesten vorgesehen sein. Ferner muss das Schnittstellensystem10 zur Gestenerkennung auch keine Anzeigefläche aufweisen. Vielmehr können auch andere Arten von Anzeigebildschirmen wie zum Beispiel holographische und oder nicht-planare Anzeigebildschirme eingesetzt werden. Das Schnittstellensystem10 zur Gestenerkennung kann somit auf eine von vielen Arten ausgestaltet werden. -
2 zeigt ein anderes Ausführungsbeispiel eines Schnittstellenkontrollers50 zur Gestenerkennung gemäß einem Aspekt der Erfindung. Der Schnittstellenkontroller50 zur Gestenerkennung kann ein Teil eines Schnittstellensystems10 zur Gestenerkennung gemäß dem Ausführungsbeispiel nach1 sein. So kann Schnittstellenkontroller50 zur Gestenerkennung zum Beispiel wie der Kontroller26 des Ausführungsbeispiels nach1 ausgebildet sein. Insoweit ist in der nachfolgenden Beschreibung des Ausführungsbeispiels nach2 auf das Ausführungsbeispiel von1 bezug zu nehmen. - Der Schnittstellenkontroller
50 zur Gestenerkennung10 empfängt von der ersten Kamera12 und der zweiten Kamera14 eine Vielzahl von Bildern. Die erste und zweite der Kameras12 und14 empfangen jede eine Vielzahl von Bildern der Hand24 des Benutzers. Die entsprechenden Bilder der Hand24 des Benutzers können Schattenbilder sein, die auf dem Helligkeitskontrast zwischen der Hand24 des Benutzers und der im wesentlichen dunklen Hintergrundfläche beruhen. So kann der Helligkeitskontrast zum Beispiel darauf gegründet sein, dass die Hand24 des Benutzers im wesentlichen hell aufgrund der Reflektion der IR-Beleuchtung im Vordergrund einer sehr dunklen Hintergrundfläche, wie beispielsweise dem Boden28 , erscheint. Wie jedoch noch nachfolgend mit weiteren Einzelheiten unter Bezugnahme auf3 beschrieben werden wird, kann der Helligkeitsunterschied auch darauf gegründet sein, dass die Hand24 des Benutzers im Vordergrund einer hellen IR Beleuchtung im wesentlichen dunkel ist, die von einer horizontalen Hintergrundfläche reflektiert wird, oder im Vordergrund einer hellen IR Beleuchtung, die durch die Hintergrundfläche hindurch diffus abgestrahlt wird. - Die erste Kamera
12 und die zweite Kamera14 speisen ihre entsprechenden Bilder von zusammengehörigen Paaren von Bildern in einen Digitalisierer52 ein. Der Digitalisierer52 erzeugt digitalisierte Versionen der Bilder der Hand24 des Benutzers. Die digitalisierten Bilder der Hand24 des Benutzers werden in einem Bildkomparator54 eingespeist. Der Bildkomparator54 vergleicht jedes der digitalisierten Bilder des Eingabeobjekts mit einem zuvor eingespeicherten digitalisierten Bild der Hand24 des Benutzers zur Erzeugung eines binär codierten Bildes der Hand24 des Benutzers. Obwohl der lichtstreuende Bildschirm20 die IR Beleuchtung in im wesentlichen gleichförmiger Weise abstrahlt, können beispielsweise immer noch Beleuchtungsintensitätsgradienten auf der vertikalen Anzeigefläche20 vorliegen. Daher ermöglicht der Vergleich durch den Bildvergleicher54 eine erhöhte Qualität der digitalisierten Bilder trotz Schwankungen in der Beleuchtungsintensität auf der vertikalen Anzeigefläche20 . Das zuvor gespeicherte digitalisierte Bild könnte z. B. während eines Abgleichvorgangs aufgenommen worden sein und/oder einer wiederholten Speicherung des digitalisierten Bilds in Speicherpuffern unterworfen worden sein. - Es kann beispielsweise ein Hintergrundmodell für jede der beiden Kameras
12 und14 , ohne dass die Hand24 des Benutzers vorhanden ist, beibehalten werden. Die Hintergrundmodellbilder können an jedem Bildpunkt zur Entscheidung verwendet werden, ob das Bild der Hand24 des Benutzers einer Binärzahl 1 oder 0 entspricht. So kann beispielsweise an jedem Bildpunktort, wenn das Bild die Hand24 des Benut zers einen Wert hat, der angenähert größer als das korrespondierende Hintergrundmodellbild multipliziert mit einem Grenzskalierwert zwischen 0 und 1 ist, der Ausgangswert den Binärwert1 haben und so das Vorhandensein der Hand24 des Benutzers angeben. Auf diese Weise kann der Skalierwert so gewählt werden, dass er ein optimales Gleichgewicht zwischen wünschenswertem Erkennen der Hand24 des Benutzers und weitgehender Unempfindlichkeit gegen Restschwankungen der Beleuchtungsintensität auf der Oberseite des lichtstreuenden Bildschirms20 hält. Als Ergebnis hiervon können Kanten, die der Hand24 des Benutzers eigen sind, in jedem der Bilder festgestellt werden. - Die hinsichtlich des Kontrasts verbesserten, in binär codierte Bilder umgewandelten Schattenbilder der Hand
24 des Benutzers werden dann jeweils in eine Vorrichtung56 mit einem Objektfeststellungsalgorithmus eingespeist. Die Vorrichtung56 mit dem Objektfeststellungsalgorithmus kann ein integrierter Schaltkreis (IC) oder ein Satz von ICs innerhalb des Schnittstellenkontrollers50 zur Gestenerkennung10 sein, oder könnte ein Softwareprogramm sein, das in dem Schnittstellenkontroller50 zur Gestenerkennung10 vorgesehen ist. Die Vorrichtung56 mit dem Objektfeststellungsalgorithmus kann einen von vielen Feststellungsalgorithmen zur Bestimmung einer zwei-dimensionalen Lage der Hand24 des Benutzers gegenüber der vertikalen Anzeigefläche20 umfassen. Beispielsweise kann die Vorrichtung56 mit dem Objektfeststellungsalgorithmus ein zwei-dimensionales Faltungsfilter wie beispielsweise ein Laplace-Filter eines Gaussschen Faltungsfilters umfassen, das einen mathematischen Algorithmus auf jedes der digitalisierten Bilder der Hand24 des Benutzers zur Bestimmung der Lage eines oder mehrerer Merkmale der Hand24 des Benutzers, wie z. B. der Fingerspitzen, in einem zwei-dimensionalen Raum anwendet, wie es in der US Patentanmeldung mit dem Aktenzeichen 11/485,788, beschrieben ist. Nach einem anderen Beispiel kann die Vorrichtung56 mit dem Objektfeststellungsalgorithmus eine Folge von Mittelpunkten erzeugen, die sich symmetrisch zwischen den Kanten längs länglicher Abschnitte des Eingabeobjekts22 befinden, um eine skelettartige Wiedergabe des Eingabeobjekts22 zu bilden, wie dies in der US Patentanmeldung mit dem Aktenzeichen 12/133,836, beschrieben ist. Auf diese Weise können Merkmale, die mit der Hand24 des Benutzers verknüpft sind und die bestimmend für die Gesteneingaben sein können, in jedem der Schattenbilder der Hand24 des Benutzers festgestellt werden. - Die Ausgabedaten der Vorrichtung
56 mit dem Objektfeststellungsalgorithmus, wie beispielsweise einem mit einem Faltungsfilter gefilterten Bild oder einem skelettartigen Bild werden zu einem Auswertungsgerät58 für Kalibrierungsdaten und die Lage geleitet. Das Auswertungsgerät58 für Kalibrierungsdaten und die Lage bestimmen die drei-dimensionale Lage bzw. Lage im Raum der mit der Hand24 des Benutzers verknüpften Merkmale zu einer gegebenen Zeit. Das Lageauswertungsgerät58 für die Kalibrierdaten und die Lage kann nach einem Beispiel so konfiguriert sein, dass ein Parallaxenabstand zwischen Endpunkten bestimmt, die z. B. von einem Spitzenwertdetektor aus mit einem Faltungsfilter gefilterten Bildern, die von den beiden Kameras12 und14 geliefert werden, ermittelt wurden. Nach einem anderen Beispiel kann das Auswertungsgerät58 für Kalibrierungsdaten und die Lage so konfiguriert sein, dass es die zwei-dimensionalen Lagen der korrespondierenden Punkte relativ zueinander in jeder der beiden skelettartigen Bilder der Hand24 des Benutzers vergleicht und die drei-dimensionale Lage der Punkte aufgrund des Parallaxenabstands der korrespondierenden Punkte interpoliert. Folglich kann das Auswertungsgerät58 für die Kalibrierdaten und die Lage die Lage im Raum eines oder mehrerer Merkmale der Hand24 des Benutzers gegenüber der vertikalen Anzeigefläche20 für jedes zusammengehörige Paar von durch die Kameras12 und14 gelieferten Bildern ermitteln. - Die Datenausgabe des Auswertungsgeräts
58 für Kalibrierungsdaten und die Lage werden einem Gestenerkennungsgerät60 zugeleitet. Das Gestenerkennungsgerät60 interpretiert die mit der Hand24 des Benutzers verknüpften Merkmalsdaten und übersetzt Änderungen in den Lagedaten in eine Gesteneingabe. Bei dem Ausführungsbeispiel der2 weist das Gestenerkennungsgerät60 einen Bild(puffer)speicher62 auf. Der Bild(puffer)speicher kann derart ausgebildet sein, dass aufeinanderfolgende Sätze von drei-dimensionalen Lagedaten speichert, die jede einem zusammengehörigen Paar von Bildern entspricht, die durch die erste Kamera12 und die zweite Kamera14 erzeugt worden sind. Somit kann das Gestenerkennungsgerät60 so ausgestaltet sein, dass es Muster und oder Änderungen in den aufeinanderfolgenden Sätzen der drei-dimensionalen Merkmalsdaten zur Bestimmung einer von der Hand24 des Benutzers erzeugten Gesteneingabe analysiert. - Der Schnittstellenkontroller
50 zur Gestenerkennung umfasst auch eine Gestenbibliothek64 , die mit dem Gestenerkennungsgerät60 verbunden ist. Die Gestenbibliothek64 kann eine Vielzahl von vordefinierten Gesten enthalten, von denen jede der vordefinierten Gesten einer besonderen Geräteeingabe entspricht. So könnte die Gestenbibliothek64 eine Datenbank spezieller Anordnungen und Kombinationen von Stellungen und aufeinanderfolgender Bewegungen der Fingerspitze aufweisen, die jede einer anderen Computereingabe entsprechen. Beispiele der vordefinierten Gesteneingaben sind mit weiteren Einzelheiten nachfolgend anhand der Beispiele in der5 bis8 beschrieben. - Das Gestenerkennungsgerät
60 kann nach der Analyse der aufeinanderfolgenden Sätze der drei-dimensionalen Merkmalsdaten in dem Bildpufferspeicher62 die Gestenbibliothek64 durchsuchen, um zu bestimmen, ob die Eingabegeste einer vordefinierten Geste entspricht. Nach Bestimmung einer solchen Übereinstimmung könnte das Gestenerkennungsgerät60 die Eingabegeste in eine Geräteeingabe übertragen, die der vordefinierten Geste entspricht. Die Gestenbibliothek64 könnte mit den geeigneten vorbestimmten Eingabegesten vor-programmiert sein oder sie könnte dynamisch programmiert werden, so dass neue Gesten zusammen mit der entsprechenden Geräteeingabe hinzugefügt werden können. So könnte ein Benutzer zum Beispiel einen Vorgang ”beginne Gestenprobe” aktivieren, eine neue Geste ausführen, die geeigneten Bilder der neuen Geste unter Einsatz der ersten Kamera12 und der zweiten Kamera14 aufnehmen und die geeignete Geräteeingabe, die zu der neuen Geste korrespondiert, eingeben. - Es versteht sich, dass das hier gegebene Schnittstellensystem zur Gestenerkennung nicht auf das Beispiel der
2 beschränkt sein soll. Andere Ausbildungsformen zur Erzeugung von Eingaben gemäß einem Aspekt der Erfindung sind möglich. Zum Beispiel können eine oder mehrere Geräte des Schnittstellenkontrollers50 zur Gestenerkennung in andere Geräte integriert sein oder könnten von dem Schnittstellenkontroller50 zur Gestenerkennung gesondert ausgebildet sein. So können z. B. die Kameras12 und14 jeweils die Eingabe ihrer entsprechenden Bilder an einen gemeinsamen Digitalisierer52 vornehmen. Somit kann der Schnittstellenkontroller50 zur Gestenerkennung auf eine von vielen Arten ausgestaltet sein. -
3 stellt ein anderes Beispiel eines Schnittstellensystems100 zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. Das Schnittstellensystem100 zur Gestenerkennung kann ein anderes Ausführungsbeispiel eines Schnittstellensystems zur Gestenerkennung sein, in dem Handgesteneingaben bestimmt und in Geräteeingaben übersetzt werden können, ähnlich wie dies zuvor anhand des Beispiels der1 beschrieben wurde. - Das Schnittstellensystem
100 zur Gestenerkennung umfasst eine erste Kamera102 und eine zweite Kamera104 . Mit der ersten Kamera102 und mit der zweiten Kamera104 sind eine erste Infrarotlichtquelle106 bzw. eine Infrarotlichtquelle108 verbunden. Die erste Kamera102 und die zweite Kamera104 weisen jeweils ein Infrarotfilter auf, so dass die jeweilige Kamera Infrarotlicht durchlassen kann und das übrige Lichtspektrum im wesentlichen ausfiltert. Die erste Infrarotlichtquelle106 und die zweite Infrarotlichtquelle108 beleuchten jeweils eine horizontale Hintergrundfläche110 , die selbst rück-reflektierend sein kann. Als solches kann das Infrarotlicht der ersten Infrarotlichtquelle106 im wesentlichen unmittelbar auf die erste Kamera102 zurück reflektiert werden und kann das Infrarotlicht der zweiten Infrarotlichtquelle108 im Wesentlichen unmittelbar zurück auf die zweite Kamera104 reflektiert werden. Folglich könnte ein Objekt, das oberhalb der Hintergrundfläche110 angeordnet ist, eine deutlich geringere Menge an Infrarotlicht auf sowohl die erste Kamera102 als auch die zweite Kamera104 zurück reflektieren. Daher kann ein Objekt sowohl der ersten Kamera102 als auch der zweiten Kamera104 als ein Schattenbild erscheinen, so dass es als ein wesentlich dunkleres Objekt im Vordergrund vor einer stark beleuchteten Hintergrundfläche110 erscheinen kann. Es versteht sich, dass die Hintergrundfläche110 nicht vollständig rück-reflektierend sein muss, sondern einen Lambert-Faktor zur Erleichterung der Betrachtung durch Benutzer aus verschiedenen Winkeln relativ zu der Hintergrundfläche110 aufweisen kann. - Die Hand
112 eines Benutzers kann simulierte Eingaben über die Hintergrundfläche110 erzeugen. Bei dem Beispiel nach3 empfangen sowohl die erste Kamera102 als auch die zweite Kamera104 getrennte Schattenbilder der Hand112 des Benutzers, wobei jedes der voneinander getrennten, von der ersten Kamera101 und der zweiten Kamera104 empfangenen Schattenbilder ein zusammengehöriges Paar bilden, ähnlich, wie es zuvor anhand des Beispiels der1 beschrieben wurde. Die Hand112 des Benutzers kann an einem unterschiedlichen Ort gegenüber dem rück-reflektierenden Schirm in jedem der Schattenbilder des zusammengehörigen Paars erscheinen, das jeweils von der ersten Kamera102 und der zweiten Kamera104 empfangen wurde, und zwar aufgrund der durch die unterschiedlichen Befestigungsstellen der ersten Kamera102 und der zweiten Kamera104 bewirkten Parallaxe. - Die erste Kamera
102 und die zweite Kamera104 können jeweils ihre jeweiligen getrennten Schattenbilder der Hand112 des Benutzers an einen nicht dargestellten Kontroller weiterleiten, ähnlich wie dies zuvor anhand des Beispiels der1 beschrieben wurde. Der Kontroller kann die entsprechenden, zur Hand112 des Benutzers gehörigen Schattenbilder verarbeiten, um drei-dimensionale Merkmalsda ten für die Hand112 des Benutzers zu erzeugen. So kann sowohl die erste Kamera102 als auch die zweite Kamera104 unter einem vorgegebenen Winkel gegenüber der Hintergrundfläche110 montiert sein. Für ein vorgegebenes zusammengehöriges Paar von Bildern der Hand112 des Benutzers ist jeder Punkt der Hand112 des Benutzers, wenn die vorgegebenen Winkel der beiden Kameras102 und104 gleich sind, in einem zwei-dimensionalen Raum in einem gegebenen Bild der Kamera112 von einem entsprechenden Punkt der Hand12 des Benutzers in dem entsprechenden zugehörigen Bild der Kamera104 gleich beabstandet. Unter Verwendung eines Computeralgorithmusses könnte der Kontroller als solches den drei-dimensionalen physikalischen Ort wenigstens eines mit der Hand112 des Benutzers verknüpften Merkmals bestimmen. - Das Schnittstellensystem
100 zur Gestenerkennung kann auch einen Projektor114 aufweisen, der zur Projektion von Bilddaten ausgelegt ist. Der Projektor114 kann eine Ausgabeschnittstelle bilden, wie zum Beispiel für Computermonitordaten, für die der Benutzer unter Verwendung der Hand112 des Benutzers in Wechselwirkung treten und Eingaben erzeugen kann. Bei dem Beispiel der3 kann der Projektor114 Bilddaten auf die Hintergrundfläche110 projizieren. Da die IR Lichtquellen106 und108 kein sichtbares Licht abstrahlen, stört die Beleuchtung nicht die vom Projektor114 projizierten Bilddaten. Der Benutzer kann somit die Hand112 des Benutzers unmittelbar auf die Bilddaten zum Simulieren von Eingaben, wie zum Beispiel Mauseingaben, verwenden. - Es sei darauf hingewiesen, dass das Schnittstellensystem
100 zur Gestenerkennung nicht dazu dienen soll, auf das Beispiel nach3 beschränkt zu sein. Vielmehr kann der Projektor114 anstelle der IR Lichtquellen106 und108 ein IR Filter als eine der Farben von einem zugeordneten Farbrad aufweisen, wie zum Beispiel bei einem Projektor vom Typ digitaler Lichtprojektor (DLP). Anstelle einer Hintergrundfläche110 , die rückreflektierend ist, kann zum Beispiel die Hintergrundfläche110 Licht diffus abstrahlend ausgebildet sein, so dass die IR Lichtquellen106 und108 unterhalb der Hintergrundfläche110 vorgesehen sind. Als Ergebnis hiervon erkennen die erste und die zweite Kamera102 und104 den IR Helligkeitskontrast als Schatten der Hand112 des Benutzers relativ zur Infrarotlicht diffus abstrahlenden Hintergrundfläche110 . Folglich kann das Schnittstellensystem100 zur Gestenerkennung auf eine von vielen Weisen ausgestaltet sein. -
4 zeigt ein anderes Beispiel eines Simulationssystems150 zur Gestenerkennung gemäß einem Aspekt der Erfindung. Das Simulationssystem150 zur Gestenerkennung umfasst vier Kameras152 , von denen jede eine entsprechende IR Lichtquelle154 aufweist. Die Kameras152 können jeweils ein IR Filter aufweisen, so dass jede der entsprechenden Kameras152 nur IR Licht zu empfangen in der Lage ist. Die IR Lichtquellen154 beleuchten jeweils eine rück-reflektierende Oberfläche156 , so dass IR Licht von den IR Lichtquellen154 im wesentlichen unmittelbar zurück auf die entsprechende eine der Kameras152 reflektiert wird. - Das Schnittstellensystem
150 zur Gestenerkennung umfasst ein dreidimensionales Anzeigesystem158 , das im Beispiel der4 als ein holographischer Projektor dargestellt ist. In dem Beispiel der4 projiziert das drei-dimensionale Anzeigesystem158 ein holographisches Bild eines simulierten Objekts160 . Das dreidimensionale Anzeigesystem158 ist in dem Beispiel der4 als unmittelbar oberhalb der rück-reflektierenden Fläche156 angebracht dargestellt. Dementsprechend kann ein Benutzer Gesteneingaben erzeugen, wie dies anhand der Beispiele der5 bis8 beschrieben wird, um unmittelbar mit dem holographischen Bild des simulierten Objekts160 wechselwirkend zusammenzuarbeiten. Hinzu kommt, dass das holographische Bild des simulierten Objekts160 eine Vielzahl von funktionellen Komponenten162 umfassen kann, die in dem Beispiel der4 als an einem Ende des simulierten Objekts160 angebrachte Schrauben dargestellt sind. - Die Hand
164 des Benutzers kann zur Erzeugung von Handgesteneingaben über der rück-reflektierenden Fläche156 verwendet werden. Um eine Interaktion zwischen der Hand164 des Benutzers und der gegebenen funktionalen Komponente162 zu schaffen, kann ein nicht dargestellter zugehöriger Kontroller den physischen Ort im drei-dimensionalen Raum von einem oder mehreren Merkmalen der Hand164 des Benutzers erkennen, wie es zuvor zum Beispiel für das Beispiel der2 beschrieben worden ist. Nach der Bestimmung einer Korrelation der physischen Orte der Hand164 des Benutzers und einer gegebenen funktionellen Komponente162 kann der Kontroller eine Gestenbewegung bestimmen, die der Hand164 des Benutzers zugehörig ist, um zu bestimmen, ob sie einer vordefinierten Aktion, die mit der funktionellen Komponente verknüpft ist, entspricht. Nach der Bestimmung, dass die Eingabegeste der vordefinierten Aktion entspricht, kann der Kontroller für die Simulationsanwendung das drei-dimensionale Anzeigesystem158 anweisen, die geeignete simulierte Aktion auszugeben. - Ein Benutzer des Simulationssystems
150 zur Gestenerkennung könnte zum Beispiel eine Bezugsgeste mit der Hand164 des Benutzers ausführen, um auf eine der funktionellen Komponenten162 , die in dem Beispiel der4 jeweils als eine Schraube166 dargestellt sind, zu weisen. Der Kontroller kann die Bezugs-Untergeste in einen Bezug übertragen, der auf die Schraube166 derart verweist, dass die vom drei-dimensionalen Anzeigesystem158 angezeigte Farbe gewechselt wird. Der Benutzer kann eine Ausführungs-Untergeste zur Ausführung eines mit einem Herausdrehen der Schraube166 verknüpften Befehls ausführen. Während der Benutzer eine geeignete Ausführungs-Untergeste vollführt, weist der Kontroller das drei-dimensionale Anzeigesystem458 zur Ausgabe der geeigneten simulierten Aktion an, die in dem Beispiel der4 die Schraube166 ist, die herausgedreht und aus dem simulierten Objekt160 entfernt wird. - Das Schnittstellensystem
150 zur Gestenerkennung ist als ein weiteres Beispiel der Verwendung der Hand164 des Benutzers zur Erzeugung von Geräteeingaben in einen Computer dargestellt. Es soll verstanden werden, dass das Schnittstellensystem150 zur Gestenerkennung nicht zur Beschränkung auf das Beispiel der4 bestimmt ist. Das drei-dimensionale Anzeigesystem158 kann zum Beispiel auf eine von vielen unterschiedlichen Weisen konfiguriert sein, so zum Beispiel als ein drei-dimensionaler Anzeigebildschirm. Bei einem anderen Beispiel können die Kameras152 und die IR Lichtquellen154 auf eine von vielen Arten und Weisen ausgestaltet sein, um dem Kontroller die Bestimmung der Handgesteneingaben zu erlauben, die durch einen Benutzer ausgeführt werden. Folglich kann das Schnittstellensystem150 zur Gestenerkennung auf eine von vielen Weisen konfiguriert werden. - Die Beispiele der
5 bis8 stellen Beispiele von Handgesten dar, die durch einen Benutzer zur Erzeugung von Handgesteneingaben ausgeführt werden können und so entsprechende Geräteeingaben in ein Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung. Die Handgesten in den Beispielen der5 bis8 können beispielsweise in die Schnittstellensysteme10 und100 zur Gestenerkennung in den Beispielen der1 und3 implementiert sein oder in das Simulationssystem150 zur Gestenerkennung nach dem Beispiel der4 . Bei der nachfolgenden Erläuterung der Beispiele der5 bis8 wird auf das Beispiel der1 Bezug genommen. Als solches weist jede der Handgesten in den Beispielen der5 bis8 die Hand24 des Benutzers auf und zeigt diese in den Beispielen der5 bis8 als die rechte Hand des Benutzers. Es versteht sich jedoch, dass jede der beiden Hände des Benutzers zur Ausführung von Einhandgesten der Bei spiele der5 bis8 verwendet werden kann. Hinzu kommt, dass einige der Handgesten der Beispiele der5 bis8 als sowohl mit der Hand24 des Benutzers als auch mit der Hand25 des Benutzers (d. h. der linken Hand) ausgeführt dargestellt sind. -
5 stellt ein Beispiel einer Handgeste200 zum Einsatz in dem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. Die Handgeste200 umfasst eine Geste202 , in der die Hand24 des Benutzers mit einem gestreckten Finger zeigt, wie es im Beispiel der5 als mit dem gestreckten Zeigefinger dargestellt ist. Beispielsweise kann die Geste202 zum Zeigen auf einen Teil eines angezeigten visuellen Inhalts ausgeführt sein, der auf der vertikalen Anzeigefläche20 gezeigt wird, oder könnte zum Zeigen auf einen Teil einer Hintergrundfläche ausgeführt sein, die den visuellen Inhalt nicht anzeigt, aber ihr hinsichtlich des Ortes entspricht. Auf die Geste202 hin kann der Kontroller26 so arbeiten, dass er einen visuellen Bezug auf den korrespondierenden Teil des angezeigten visuellen Inhalts herstellt. Der Kontroller26 könnte spezielle und/oder kurze Bezüge auf den visuellen Inhalt auf die Geste202 hin erzeugen, wie einem Mauszeiger oder einem simulierten Laserzeiger. - Zu den Handgesten
200 zählen auch die Gesten204 und206 , bei denen die Hand24 des Benutzers als eine flache, offene Hand gezeigt ist. Die Geste204 stellt hier die flache, offene Hand mit allen Fingern gestreckt und aneinandergelegt und den Daumen längs der Hand24 eingezogen dar, während die Geste206 die flache, offene Hand mit allen Fingern und dem Daumen gestreckt und gespreizt zeigt. Jede der Gesten202 und206 kann z. B. zum Zeigen auf Teile eines angezeigten visuellen Inhalts oder Teile des Hintergrunds entsprechend dem angezeigten visuellen Inhalt implementiert sein. Ähnlich der Geste202 kann der Kontroller so arbeiten sein, dass er einen visuellen Bezug auf den korrespondierenden Teil des angezeigten visuellen Inhalts auf die Gesten204 und206 hin erzeugt. Der Kontroller126 könnte z. B. auch weniger Bezug auf den visuellen Inhalt erzeugen, so wie das Umschalten eines Fokus zwischen zwei offenen Fenstern auf dem angezeigten visuellen Inhalt oder zur Anzeige eines durchscheinenden ”Spot-Light” Bilds auf dem angezeigten visuellen Inhalt auf entweder die Geste204 oder die Geste206 hin. - Die Handgesten
200 umfassen auch die Gesten208 ,210 ,212 und214 , die eine Berührung der Hand24 des Benutzers mit der Hintergrundfläche oder der Anzeigefläche umfassen. Jede der Gesten208 ,210 ,212 und214 zeigt einen Kontakt mit der Hintergrundfläche oder der Anzeigefläche mit entweder einem einzelnen Finger während andere, nicht berührende Finger gestreckt sind, oder mit mehreren Fingern. Die Geste208 zeigt speziell den Kontakt mit dem gestreckten Zeigefinger mit dem nicht-berührenden ebenfalls gestreckten Daumen und die Geste210 zeigt den Kontakt mit dem Zeigefinger mit allen anderen, nicht-berührenden Fingern und dem Daumen ebenfalls gestreckt. Zusätzlich zeigt die Geste212 den Kontakt mit dem Daumen bei allen nicht-berührenden Fingern, die auch gestreckt sind, und die Geste214 zeigt den Kontakt mit dem gestreckten Zeige- und Mittelfinger, wobei die übrigen Finger und der Daumen eingezogen sind. Der Kontroller26 kann eine Eingabe in Form eines linken Mausklicks auf die Berührung eines einzelnen gestreckten Fingers mit der Hintergrundfläche oder der Anzeigefläche erzeugen, wie er von der Berührung mit dem visuellen Inhalt herrührt, während die Geste202 beibehalten wird. Der Kontroller26 kann jedoch andere interaktive Geräteeingaben oder andere Mausklickeingaben auf eine oder mehrere der Gesten208 ,210 ,212 und214 hin erzeugen. Die Geste208 kann zum Beispiel eine Eingabe wie mit der rechten Maustaste oder dem selektiven Löschen (Ausradieren) von visuellen Daten auf einem virtuellen trocken löschbaren Brett. Gemäß einem anderen Beispiel können die Gesten210 ,212 und/oder214 jede andere assoziierte Geräteeingabe haben, die dem Teil des visuellen Inhalts entsprechen, der mit der Hand24 des Benutzers berührt wird, wie einem Klick mit der mittleren Maustaste, oder andere unterscheidbare Aktionen oder Bedeutungen zuweisen. - Die Handgesten
200 können auch eine Geste216 umfassen, in der die Hand24 des Benutzers als eine flache, offene Hand dargestellt ist. In dem Beispiel der5 wird die Hand24 des Benutzers mit den Fingern aneinanderliegend gezeigt, könnte aber an deren Stelle mit den gespreizten Fingern ausgeführt werden. Als ein Beispiel kann die Geste216 als eine Ausführungs-Untergeste einer zusammengesetzten Geste implementiert sein, wie es in der US-Patentanmeldung Seriennummer 12/196,767 beschrieben ist. So kann z. B. ein Teil des visuellen Inhalts für eine Interaktion ausgewählt werden, derart, wie durch eine vorhergehende Geräteeingabe oder eine vorhergehende Gesteneingabe. Die Geste216 kann somit eine Bewegung in sechs Freiheitsgraden umfassen, während der die Hand flach und offen beibehalten wird, derart, dass die Hand24 des Benutzers in der X-, Y- und Z-Richtung bewegt werden kann und ebenfalls um die Hochachse, die Querachse und die Längsachse geschwenkt werden kann. Somit kann der Kontroller eine Geräteeingabe für die Bewegung in sechs Freiheitsgraden eines ausgewählten Teils des visuellen Inhalts entsprechend der Bewegung der Geste der flachen, offenen Hand erzeugen. Zusätzlich kann der Benutzer die Hand24 auch nach oben oder nach unten bewegen, während er die flache, offene Handstellung der Hand beibehält, so, dass eine Aufstellung, eine Blickrichtung und/oder die Höhe der Kamera oberhalb des drei-dimensionalen Terrains in dem angezeigten visuellen Inhalt gewechselt wird. - Zu den Handgesten
200 gehört ferner eine Geste218 , für die die Hand24 des Benutzers mit einem gestreckten Zeigefinger und einem gestreckten Daumen dargestellt ist. Beispielsweise kann, ebenso wie die Geste202 , der gestreckte Zeigefinger der Geste218 auf einen Teil eines angezeigten visuellen Inhalts oder der Hintergrundfläche zeigen. Die Geste218 kann ferner beinhalten, dass der Benutzer den Daumen in eine gestreckte oder weit zurückgezogene Stellung bewegt, derart, dass der Benutzer den Winkel θ zwischen dem gestreckten Zeigefinger und dem Daumen verändert. Die Änderung des Winkels θ kann einem Befehl zum Zoomen entsprechen, so dass der Kontroller26 auf diese Weise angewiesen wird, den Zoom, der mit dem gewählten Teil des visuellen Inhalts verknüpft ist, zu ändern. Zum Beispiel könnte der Benutzer den Winkel θ für ein Herauszoomen vergrößern, um den gewählten Teil des visuellen Inhalts kleiner zu machen, und könnte den Winkel θ zum Heranzoomen verkleinern, um den ausgewählten Bereich des visuellen Inhalts größer zu machen, oder umgekehrt. -
6 stellt ein anderes Beispiel von Handgesten250 zur Verwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. Die Handgesten250 umfassen eine Geste252 , bei der die Hand24 des Benutzers zwischen einer ersten Gestenposition254 und einer zweiten Gestenposition256 hin- und herwechselt. Die erste Gestenposition254 ist als eine flache, offene Hand mit allen Fingern ausgestreckt und aneinanderliegend und den Daumen längs der Hand24 eingezogen dargestellt. Die zweite Gestenposition256 ist als eine geschlossene Faust gezeigt. Der Benutzer kann somit aus der ersten Gestenposition254 in die zweite Gestenposition256 zurück in die erste Gestenposition254 wenigstens einmal wechseln. Daraufhin kann der Kontroller26 angewiesen werden, in einer Liste von Menüpunkten bei einer Anwendung in dem visuellen Inhalt für jeden Wechsel zwischen der ersten und der zweiten Gestenposition254 und256 hin- und herzuwechseln. So kann der Kontroller26 zum Beispiel zum Wechseln zwischen Schreibstiftfarben in einer virtuellen Anwendung eines Trockenlöschbretts hin- und herzuwechseln. Daher kann der Kontroller26 eine unterschiedliche Farbe jedes Mal dann wählen, wenn die Hand24 des Benutzers in die zweite Gestenposition256 gebracht wird. Es versteht sich, dass die Geste252 nicht auf die in dem Beispiel der6 dargestellte Weise beschränkt ist, sondern dass die erste und zweite Gestenposition254 und256 gegeneinander vertauscht werden können, so dass die Geste252 mit der zweiten Gestenposition256 beginnt. - Die Handgeste
250 umfasst auch Gesten258 und260 , in denen die Hand24 in einer Stellung mit einer flachen, offenen Hand mit allen Fingern gestreckt und aneinanderliegend beziehungsweise geschlossen und dem Daumen längs der Hand24 eingezogen beginnt. Während die Hand24 des Benutzers in der flachen, offenen Handstellung verbleibt, dreht der Benutzer das Handgelenk um etwa 180 Grad. Die Geste258 könnte auch eine leichte seitwärts gerichtete Bewegung der Hand24 des Benutzers während der Drehung umfassen, so, um ein stationäres Gelenk auf der einen Seite der Hand24 des Benutzers zu simulieren. Auf die Geste258 hin kann der Kontroller so ausgeprägt werden, dass er in dem visuellen Inhalt in einem ausgewählten Dokument eine Seite nach oben oder eine Seite nach unten derart blättert, dass die Geste258 intuitiv das Umblättern einer Seite in einem Buch simuliert. Die Orientierung der Handfläche der Hand24 des Benutzers ebenso wie die Richtung der Drehung können darauf hinweisen, dass die Hand eine Seite weiterblättert oder eine Seite zurückblättert. Die Geste260 ist als im wesentlichen die gleiche wie die Geste258 dargestellt, außer dass die Geste260 eine nach vorne gerichtete Bewegung der Hand24 des Benutzers derart umfasst, dass die Geste260 eine Alternative zu der Geste258 sein kann oder zu einer ähnlichen Funktion führt. Die Geste260 kann zum Beispiel dem Weiterblättern oder Zurückblättern von mehreren Seiten anstelle nur einer Seite in dem Dokument entsprechen. - Die Gesten
258 und260 können auch aufeinanderfolgende Gesten umfassen, die über den Kontroller26 unterschiedliche Geräteeingaben bewirken. Auf die Implementierung einer der Gesten258 oder260 könnte die Hand24 des Benutzers zum Beispiel in der flachen offenen Handstellung bleiben und nach oben oder nach unten entsprechend einem langsamen Scrollen des Dokuments auf dem visuellen Inhalt entsprechen. Gemäß einem anderen Beispiel kann der Benutzer während er die flache, offene Handstellung der Hand24 des Benutzers im wesentlichen beibehält, eine andere Geste mit der Hand24 des Benutzers oder mit der anderen Hand25 ausführen, die bei den Gesten258 und260 nicht dargestellt ist, um in dem Dokument wieder nach oben oder nach unten zu gehen. Zum Ausführen der Gesten258 oder260 könnte der Benutzer z. B. den Zeigefinger leicht aufschlagen, strecken und den Daumen einziehen oder eine Geste mit seiner oder ihrer anderen Hand ausführen, um die Geräteeingabe des Auf- oder Abbewegens der Geste258 oder der Geste260 zu wiederholen. Gemäß einem weiteren Beispiel könnte der Benutzer zwei oder drei Finger der gegenüberliegenden Hand25 während der Zeitspanne strecken, während die flache, offene Handstellung der Hand24 des Benutzers im Wesentlichen beibehalten wird. Der Kontroller26 kann als solches so konfiguriert sein, dass er ein Auto-Wenden der Seiten des Dokuments einleitet, während die flache, offene Handstellung der Hand24 des Benutzers im Wesentlichen beibehalten wird, derart, dass eine Beschleunigung oder Verlangsamung des Auto-Wendens proportional zur Zeitdauer des Streckens der zwei oder drei Finger der gegenüberliegenden Hand25 gesteuert werden kann. - Die Handgesten
250 beinhalten auch eine Geste262 , die beide Hände24 und25 des Benutzers umfasst. In der Geste262 sind beide Hände24 und25 des Benutzers mit dem Zeigefinger gestreckt angeordnet und zeigen auf die Hintergrundfläche und/oder den visuellen Inhalt. Die Zeigefinger können in Berührung mit der Hintergrundfläche und/oder dem visuellen Inhalt sein oder können sich im freien Raum im Vordergrund der Hintergrundfläche und/oder des visuellen Inhalts befinden. Die Enden der Zeigefinger sind in einem Abstand ”X” voneinander beabstandet zu Beginn der Geste262 dargestellt. Der Benutzer könnte dann die Hände24 und25 quer zueinander zur Änderung des Abstandes von ”X” auf ”Y” bewegen. In dem Beispiel der6 demonstriert die Geste262 die Bewegung der Zeigefinger weiter voneinander weg. Aber es versteht sich, dass die Bewegung auch näher aufeinander zu erfolgen kann. Der Kontroller26 kann hierauf zum Zoomen des visuellen Inhalts ausgebildet sein, derart, dass ein ausgewählter Teil des visuellen Inhalts oder der ganze visuelle Inhalt gezoomt wird. Beispielsweise können die Endpunkte der Zeigefinger Bezugspunkten auf dem visuellen Inhalt entsprechen, derart, dass die Bewegung der Endpunkte relativ zueinander die Bezugspunkte auf dem visuellen Inhalt ebenfalls proportional relativ zueinander zum Zoomen des visuellen Inhalts um einen proportionalen Betrag (d. h. um das Verhältnis X/Y oder Y/X) bewegen. -
7 stellt ein weiteres Beispiel der Handgesten300 zur Verwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. Die Handgesten300 umfassen Gesten302 ,304 und308 , in denen die Hand24 des Benutzers von einer im wesentlichen flachen, offenen Handgeste zu einer geschlossenen Handgeste wechselt. Insbesondere in der Geste302 wechselt die Hand24 des Benutzers aus der flachen offenen Handgeste zu einer geschlossenen Faust. In der Geste304 wechselt die Hand24 des Benutzers aus der flachen, offenen Handgeste zu einem Greifen, bei dem der Daumen in Berührung mit dem äußeren Ende eines oder mehrerer der Finger kommt, wie dies im Beispiel der7 bezüglich aller Finger dargestellt ist. Bei der Geste306 wechselt die Hand24 des Benutzers aus der flachen, offenen Handgeste zu einem klauenartigen Griff, bei dem alle Finger und der Daumen der Hand24 des Benutzers an einem Fingergelenk abgeknickt sind, das nicht das äußerste der Hand24 selbst ist. Jede der Gesten302 ,304 und306 kann einem ”Ergreifen” eines Teils des visuellen Inhalts entsprechen. Gemäß einem Beispiel kann die Hand24 des Benutzers die Hintergrundfläche und/oder den visuellen Inhalt entsprechend dem Teil des visuellen Inhalts, der zu ergreifen ist, entsprechen, derart, dass die Gesten302 ,304 und306 der Auswahl des Teils des visuellen Inhalts zur weiteren Interaktion entsprechen. - Gemäß einem Beispiel kann in der Geste
302 die Hand24 des Benutzers in der X-, Y- und/oder Z-Richtung bewegt werden, während die geschlossene Faust beibehalten wird. Als Folge hiervon kann der Kontroller26 so eingestellt werden, dass der korrespondierende Teil des visuellen Inhalts in der korrespondierenden X-, Y- und/oder Z-Richtung bewegt wird. Nach einem anderen Beispiel kann in den Gesten304 und306 die Hand24 des Benutzers aufgrund einer Drehung im Handgelenk gedreht werden, während der Daumen- und Fingerkontakt der Geste304 oder der klauenartige Griff der Geste306 beibehalten wird. Als Folge hiervon kann der Kontroller26 so konfiguriert werden, dass er den korrespondierenden Teil des visuellen Inhalts in der Richtung der Drehung der Hand24 des Benutzers dreht. Zusätzlich könnten bei den Gesten302 ,304 und306 die Hand24 des Benutzers sowohl bewegt als auch gedreht werden, derart, dass der Kontroller den korrespondierenden Teil des visuellen Inhalts ebenfalls sowohl bewegt als auch dreht. - Die Handgesten
300 weisen auch eine Geste308 auf, in der die Hand24 des Benutzers mit sowohl dem gestreckten Zeigefinger als auch dem gestreckten Daumen positioniert sind und eine Geste310 , in der die Hand24 des Benutzers mit einem gestreckten Zeigefinger, einem gestreckten Mittelfinger und einem gestreckten Daumen vorgesehen ist. Gemäß einem Beispiel könnten die Gesten308 und310 so implementiert sein, um den gestreckten Zeigefinger der Geste308 oder beide gestreckten Finger in der Geste310 auf einen Teil der Hintergrundfläche und/oder des visuellen Inhalts zeigen zu lassen. Der Benutzer kann dann den Daumen zurückziehen, um einen Befehl zum Neigen und/oder Schwenken des korrespondierenden Teils des visuellen Inhalts, auf den der oder die gestreckten Finger weisen, zu erzeugen. Somit kann der Teil des visuellen Inhalts aufgrund einer Drehung des Handgelenks und/oder der Orientierung des Zeigefingers solange wie der Daumen eingezogen bleibt geneigt und/oder geschwenkt werden. Entsprechend können die Gesten308 und310 zusammengesetzte Gesten derart sein, dass sie eine Bezugs-Untergeste (d. h. das Zeigen des oder der Finger, um sich auf den Teil des visuellen Inhalts zu beziehen) und einer Ausführungs-Untergeste (d. h. das Einziehen des Daumens zum Einleiten der Schwenkung und/oder des Neigens) umfassen. - Die Handgesten
300 enthalten auch eine Geste312 , bei der die Hand24 des Benutzers einen gestreckten Zeigefinger, einen gestreckten kleinen Finger und einen gestreckten Daumen aufweist. Die gestreckten Finger können z. B. auf einen Teil bzw. Abschnitt des visuellen Inhalts deuten, wie beispielsweise einem Menü oder einem Dokument. Der Benutzer kann dann den Daumen einziehen, um einen Befehl zum schnellen Scrollen des entsprechenden Teils des visuellen Inhalts auszulösen, ebenso wie durch das Niederdrücken des Scrollrads einer Maus. Das schnelle Scrollen kann in eine spezielle Richtung (z. B. vorwärts) ohne zusätzliche Bewegung der Hand24 des Benutzers ausgelöst werden, oder kann direkt auf einer Bewegung der Hand24 nach oben oder nach unten beruhen. Das schnelle Scrollen kann z. B. andauern, bis der Benutzer den Daumen wieder streckt. Daher kann ähnlich wie oben mit Bezug auf die Geste310 beschrieben, die Geste312 auch eine zusammengesetzte Geste sein. -
8 stellt noch ein weiteres Beispiel von Handgesten350 zum Einsatz in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. In dem Beispiel der8 sind die Handgesten350 alle zusammengesetzte Gesten, die sowohl eine Bezugs-Untergeste als auch eine Ausführungs-Untergeste umfassen. Die Handgesten350 weisen eine Geste352 auf, in der die Hand24 des Benutzers so gehalten ist, dass ein gestreckter Zeigefinger auf einen Teil des visuellen Inhalts als einer Bezugs-Untergeste weisen kann. Die Geste352 weist ferner eine Ausführungs-Untergeste auf, in der die Hand24 des Benutzers nach vorne zu einem Teil des visuellen Inhalts hin bewegt wird. Der Teil des visuellen Inhalts kann zum Beispiel ein Menüreiter oder eine Liste von Optionen sein. Somit kann der Kontroller26 auf die Bewegung der Hand24 zu dem Teil des visuellen Inhalts hin so konfiguriert sein, dass er ein Menü (d. h. ein ”pull down”-Menü) öffnet oder eine Optionsliste expandiert, um so weitere Optionen in dem Menü oder auf der Optionsliste sichtbar zu machen. - Die Handgesten
350 weisen eine Geste354 auf, bei der die Hand24 des Benutzers so gehalten ist, dass ein gestreckter Zeigefinger auf einen Teil des visuel len Inhalts als eine Bezugs-Untergeste weisen kann. Die Geste354 zeigt ebenso, dass der Daumen in gleicher Weise gestreckt ist, obwohl er auch eingezogen sein kann. Der Teil des visuellen Inhalts kann zum Beispiel das Fenster eines Internetbrowsers sein. Die Geste354 weist auch eine Ausführungs-Untergeste auf, in der der Zeigefinger der Hand24 des Benutzers ”getriggert” ist, so dass er schnell am distalen Fingergelenk abgeknickt und wieder gestreckt werden kann. Als Folge des Triggerns des Zeigefingers kann der Kontroller26 so konfiguriert werden, dass der Internetbrowser zu einer unmittelbar vorhergehenden Webseite zurückkehrt, was dem Klicken auf eine ”Zurück”-Schaltfläche eines gegebenen Internetbrowsers gleicht. Die Geste354 kann auch andere Komponenten enthalten, wie zum Beispiel ein Triggern (d. h. ein schnelles Zurückziehen und wieder Ausstrecken) des Daumens, was einer ”Vorwärts”-Schaltfläche äquivalent ist, oder eine von vielen anderen Gestenoptionen. - Zu den Handgesten
350 gehören die Gesten356 und358 . Die Geste356 ist mit der Hand24 des Benutzers gezeigt, während die Geste358 als sowohl die Hand24 als auch die Hand25 des Benutzers einsetzend dargestellt ist. Die Gesten356 und358 weisen jeweils eine Bezugs-Untergeste auf, die mit der Geste356 als ein Zeigen des Zeigefingers auf einen Teil des visuellen Inhalts dargestellt ist und mit der Geste358 als den Zeigefinger jeder Hand24 und25 des Benutzers der Länge nach aneinander anliegend und auf einen Teil des visuellen Inhalts weisend dargestellt ist. Die Hände24 und25 des Benutzers können zum Beispiel aneinander gelegt werden, so wie Handfläche an Handfläche, und könnten ein Verschränken der verbleibenden Finger einschließen. - Die Gesten
356 und358 können auch eine Ausführungs-Untergeste beinhalten. Die Ausführungs-Untergeste der Geste356 ist als ein plötzliches Senken der Hand24 des Benutzers in nach unten gerichteter Richtung dargestellt, gefolgt von einer leichten Aufwärtsbewegung, alle während die Streckung des Zeigefingers beibehalten wird. Die Ausführungs-Untergeste der Geste358 ist als eine schnelle Stoßbewegung mit beiden Händen24 des Benutzers gezeigt, während das Aneinanderlegen und Zeigen der Zeigefinger beibehalten wird, so dass die Hände24 und25 schneller nach vorne als nach hinten bewegt werden. Die Ausführungs-Untergesten der beiden Gesten356 und358 können z. B. mit der Auswahl des Teils des visuellen Inhalts für ein weiteres wechselseitiges Zusammenwirken korrespondieren. Die Ausführungs-Untergeste der Geste356 kann z. B. der Bewegung einer Entität in einer computergestützten Konstruktion (CAD) entsprechen, so wie in der Richtung der Bezugs-Untergeste, oder kann dem Senden eines ausgewählten Videofeeds an eine andere Anzeige, auf die der Zeigefinger weist, gleichen. - Die Handgesten
200 ,250 ,300 und350 sollen nicht auf die Beispiele der5 bis8 beschränkt sein. So sollen die Handgesten200 ,250 ,300 und350 nur Beispiele von Gesten sein, die in dem Schnittstellensystem10 zur Gestenerkennung implementiert werden können und sollen keine abschließende Liste darstellen. Die Handgesten200 ,250 ,300 und350 sollen nicht auf die beschriebenen entsprechenden Geräteeingaben beschränkt sein. Folglich kann jede der verschiedenen zusätzlichen Gesten, Abwandlungen der Handgesten200 ,250 ,300 und350 und die korrespondierenden Geräteeingaben in dem Schnittstellensystem10 zur Gestenerkennung eingesetzt werden. - Angesichts der vorangegangenen strukturellen und funktionellen Merkmale, die zuvor beschrieben wurden, wird eine Methodik gemäß den verschiedenen Aspekten der vorliegenden Erfindung besser unter Bezugnahme auf
9 verstanden. Während zum Zwecke der Einfachheit der Erläuterung die Methodiken (Verfahrensschritte) der9 gezeigt und als nacheinander ausgeführt beschrieben werden, versteht es sich und ist augenscheinlich, dass die vorliegende Erfindung nicht auf die dargestellte Reihenfolge beschränkt ist, da einige Aspekte in Übereinstimmung mit der vorliegenden Erfindung in einer anderen Reihenfolge auftreten können und/oder gleichzeitig mit anderen Aspekten der dargestellten und hier beschriebenen Aspekte ausgeführt werden können. Darüber hinaus mögen nicht alle dargestellten Merkmale zur Verwirklichung einer Methodik gemäß einem Aspekt der vorliegenden Erfindung erforderlich sein. -
9 zeigt ein Beispiel eines Verfahrens400 zum Erzeugen von Geräteeingaben gemäß einem Aspekt der Erfindung. Bei402 werden mit einer nackten Hand eines Benutzers im Vordergrund einer Hintergrundfläche ausgeführte Gesten mit wenigstens einer Infrarot (IR) Lichtquelle beleuchtet. Die nackte Hand kann die Hand eines Benutzers sein, die keine Sensoren aufweist oder Handschuhe trägt, die speziell für eine Gestenerkennung geeignet sind. Die nackte Hand könnte beide Hände des Benutzers umfassen. Die Handgesten können eine von vielen Gesten sein, die zur Erzeugung einer Geräteeingabe in ein Schnittstellensystem zur Gestenerkennung bestimmt sind. Die Hintergrundfläche kann ein rück-reflektierender Schirm sein, der Boden unterhalb eines vertikalen Anzeigeschirms oder ein Infrarotlicht diffus abstrahlender Bildschirm. Bei404 wird eine erste Vielzahl von Schattenbildern, die zur nack ten Hand gehörig sind, auf der Grundlage eines Infrarot-lichtkontrastes zwischen der nackten Hand und der Hintergrundfläche erzeugt. Bei406 wird eine zweite Vielzahl von der nackten Hand zugehörigen Schattenbildern auf der Grundlage eines Infrarot-lichtkontrastes zwischen der nackten Hand und der Hintergrundfläche erzeugt. Die Schattenbilder können auf hellem Infrarotlicht basieren, das von der Hintergrundfläche reflektiert oder abgestrahlt wird, oder können auf von der Hand reflektiertem Infrarotlicht im Kontrast zu einem dunklen Hintergrund beruhen. Die Bilder können von wenigstens einer Kamera aufgenommen werden, ebenso wie z. B. von zwei Stereokameras, die die erste und die zweite Vielzahl von Bildern aufnehmen. Die zeitlich unterteilten Bilder könnten von einer einzigen Kamera aufgenommen werden, so dass die ersten und zweiten Schattenbilder auf abwechselnden Lichtblitzen einer ersten und einer zweiten Infrarotlichtquelle beruhen. - Bei
408 wird eine Vielzahl von drei-dimensionalen Merkmalen der nackten Hand relativ zur Hintergrundfläche auf der Grundlage der Parallaxenverschiebung der nackten Hand in der ersten Vielzahl von Schattenbildern gegenüber der zweiten Vielzahl von Schattenbildern bestimmt. Die erste und zweite Vielzahl von Bildern können zusammengehörige Sätze von Bildern darstellen, die die nackte Hand mit einer relativen Parallaxenverschiebung zeigen, die für die drei-dimensionalen Merkmale bestimmend sind. Die drei-dimensionalen Merkmale können den Ort, die Neigung und/oder Orientierung der Hand, der Finger und der Fingerspitzenumfassen. Bei410 wird eine gegebene Eingabegeste auf der Basis der Vielzahl dreidimensionaler Merkmale der nackten Hand bestimmt. Die zusammengehörigen Sätze der Bilder können (zwischen)gespeichert werden, derart, dass aufeinander folgende Bilder für die Bewegung der Hand bestimmend sein können. - Bei
412 werden die erzeugten Gesteneingaben mit einer Vielzahl von vordefinierten Gesteneingaben aus einer Gestenbibliothek verglichen. Die Gestenbibliothek kann ein Speicher mit den vordefinierten Gesten sein. Die vordefinierten Gesten können jeweils einer speziellen Geräteeingabe entsprechen. Die vordefinierten Gesten können jeweils zu einer der Handgesten200 ,250 ,300 und350 in den Beispielen der5 bis8 gleichen. Bei414 wird wenigstens eine Geräteeingabe, die dem wechselseitigen Zusammenwirken mit dem angezeigten visuellen Inhalt entspricht, auf der Basis der erzeugten Eingabegesten, die einer der Vielzahl vordefinierten Eingabegesten entspricht, erzeugt. Die Geräteeingabe kann eine Computereingabe sein, die mit dem visuellen Inhalt wechselseitig zusammenwirkt. Die Gesteneingabe kann eine zusammengesetzte Geste sein, derart, dass eine Untergeste auf einen Teil des visuellen Inhalts Bezug nimmt und eine Ausführungs-Untergeste führt eine Funktion auf einem Teil des visuellen Inhalts aus, auf den Bezug genommen ist. - Was hier zuvor beschrieben wurde, sind Beispiele der vorliegenden Erfindung. Es ist jedoch nicht möglich, alle denkbaren Kombinationen der Komponenten oder Methoden zum Zwecke der Erläuterung der vorliegenden Erfindung zu beschreiben, aber ein durchschnittlicher Fachmann auf dem vorliegenden Gebiet wird erkennen, dass viele weitere Kombinationen und Permutationen der vorliegenden Erfindung möglich sind. Folglich ist es beabsichtigt, dass die vorliegende Erfindung alle solchen Abänderungen, Modifikationen und Variationen unter den Gedanken und Umfang der beigefügten Patentansprüche fallen.
Claims (40)
- Ein Verfahren zum Erzeugen von Geräteeingaben, bei dem das Verfahren umfasst: Beleuchten von Handgesten, die von einem Benutzer mit der nackten Hand im Vordergrund vor einer Hintergrundfläche ausgeführt werden, mit einer Infrarot (IR) Lichtquelle; Erzeugen einer ersten Vielzahl von der nackten Hand zugehörigen Schattenbildern auf der Grundlage des IR Lichtkontrastes zwischen der nackten Hand und der Hintergrundfläche; Erzeugen einer zweiten Vielzahl von der nackten Hand zugehörigen Schattenbildern auf der Grundlage des IR Lichtkontrastes zwischen der nackten Hand und der Hintergrundfläche; Bestimmen einer Vielzahl drei-dimensionaler Merkmale der nackten Hand relativ zur Hintergrundfläche auf der Grundlage der Parallaxenverschiebung der nackten Hand in der ersten Vielzahl von Schattenbildern gegenüber der zweiten Vielzahl von Schattenbildern; Bestimmen einer erzeugten Gesteneingabe aufgrund der Vielzahl von dreidimensionalen Merkmalen der nackten Hand; Vergleichen der erzeugten Gesteneingabe mit einer Vielzahl von in einer Gestenbibliothek gespeicherten vordefinierten Gesteneingaben; und Erzeugen wenigstens einer Geräteeingabe, die einem interaktiven Zusammenwirken mit angezeigtem visuellem Inhalt entspricht, aufgrund der erzeugten Gesteneingabe, die einer der gespeicherten vordefinierten Gesteneingaben entspricht.
- Das Verfahren nach Anspruch 1, bei dem das Bestimmen der erzeugten Gesteneingabe das Bestimmen, dass die nackte Hand auf die Hintergrundfläche mit wenigstens einem gestreckten Finger weist, umfasst.
- Das Verfahren nach Anspruch 2, bei dem das Erzeugen der wenigsten einen Geräteeingabe das Erzeugen eines visuellen Bezugspunktes auf einem Teil des angezeigten visuellen Inhalts umfasst.
- Das Verfahren nach Anspruch 1, bei dem das Bestimmen der erzeugten Gesteneingabe das Bestimmen, dass die nackte Hand eine ist, die einen Teil des visuellen Inhalts mit einem ersten Finger berührt während wenigstens ein zusätzlicher Finger der nackten Hand ausgestreckt wird und die Hintergrundfläche mit wenigstens zwei Fingern der nackten Hand berührt wird, umfasst.
- Das Verfahren nach Anspruch 4, bei dem das Erzeugen der wenigstens einen Geräteeingabe das Erzeugen einer simulierten Eingabe mit einer Maustaste umfasst, die mit dem berührten Inhalt des angezeigten visuellen Inhalts verknüpft ist.
- Das Verfahren nach Anspruch 1, bei dem das Bestimmen der erzeugten Gesteneingabe das Bestimmen, dass sich die nackte Hand in der Stellung einer flachen offenen Hand mit den Fingern und dem Daumen entweder beieinanderliegend oder gespreizt befindet und dass sich die nackte Hand wenigstens entweder in einem von sechs Freiheitsgraden oder nach oben oder nach unten bewegt, umfasst.
- Das Verfahren nach Anspruch 6, bei dem das Erzeugen der wenigsten einen Geräteeingabe wenigstens entweder das Bewegen eines ausgewählten Teils des angezeigten visuellen Inhalts in einem der sechs Freiheitsgrade oder den Wechsel des Blickpunkts des angezeigten visuellen Inhalts wenigstens entweder in einem der sechs Freiheitsgrade beziehungsweise nach oben oder unten umfasst.
- Das Verfahren nach Anspruch 1, bei dem das Bestimmen der erzeugten Gesteneingabe dass Bestimmen, dass die nackte Hand auf einen Teil des visuellen Inhalts mit einem gestreckten Zeigefinger weist und den Winkel zwischen dem gestreckten Daumen und dem gestreckten Zeigefinger ändert, umfasst.
- Das Verfahren nach Anspruch 8, bei dem das Erzeugen der wenigsten einen Geräteeingabe das Steuern des Zooms, der mit dem Teil des visuellen Inhalts auf der Grundlage der Veränderung des Winkels zwischen dem gestreckten Daumen und dem gestreckten Zeigefinger verknüpft ist, umfasst.
- Das Verfahren nach Anspruch 1, bei dem das Bestimmen der erzeugten Gesteneingabe das Bestimmen, dass sich die nackte Hand aus einer vordefinierten Handstellung zu einer greifenden Handgeste bewegt, die entweder eine geschlossene Faust, ein Kontakt zwischen dem Daumen und dem äußeren Ende wenigstens eines Fingers oder ein Beugen jedes Fingers und des Daumens an einem äußeren Fingergelenk gegenüber der Hand ist, umfasst.
- Das Verfahren nach Anspruch 10, bei dem das Bestimmen der erzeugten Gesteneingabe das Bestimmen, dass die nackte Hand einen Teil des angezeigten visuel len Inhalts zum weiteren interaktiven Zusammenwirken auf zusätzliche Handgesten hin auswählt, umfasst.
- Das Verfahren nach Anspruch 11, bei dem das Bestimmen der erzeugten Gesteneingabe das Bestimmen, dass die nackte Hand die greifende Handgeste beibehält und entweder im Handgelenk gedreht oder in wenigstens einer der X-, Y- oder Z-Richtung bewegt wird, umfasst.
- Das Verfahren nach Anspruch 12, bei dem das Erzeugen der wenigsten einen Geräteeingabe ferner entweder das Drehen des ausgewählten Teils des visuellen Inhalts oder das Bewegen des ausgewählten Teils des visuellen Inhalts in einer der X-, Y- oder Z-Richtung gegenüber dem verbleibenden Teil des visuellen Inhalts umfasst.
- Das Verfahren nach Anspruch 1, bei dem das Bestimmen der erzeugten Gesteneingabe das Bestimmen, dass die nackte Hand die Geste eine flache, offene Hand einnimmt und im Handgelenk um etwa 180 Grad gedreht wird, umfasst.
- Das Verfahren nach Anspruch 14, bei dem das Bestimmen der erzeugten Gesteneingabe ferner das Bestimmen, dass sich die nackte Hand gleichzeitig mit dem Drehen der flachen, offenen Handgeste auch nach vorne bewegt, umfasst.
- Das Verfahren nach Anspruch 14, bei dem das Bestimmen der wenigsten einen Geräteingabe das Erzeugen einer mit einem Dokument verknüpften Eingabe ”Seite nach oben” oder ”Seite nach unten” umfasst.
- Das Verfahren nach Anspruch 16, bei dem das Bestimmen der erzeugten Gesteneingabe ferner das Bestimmen, dass die nackte Hand die Geste der flachen, offenen Hand beibehält und sich entweder nach oben oder nach unten bewegt, umfasst und bei dem das Erzeugen der wenigsten einen Geräteeingabe ferner das Scrollen einer Seite des Dokuments nach oben oder nach unten aufgrund der Bewegung der nackten Hand umfasst.
- Das Verfahren nach Anspruch 16, bei dem das Bestimmen der erzeugten Gesteneingabe ferner umfasst: Bestimmen, dass die nackte Hand die Geste einer flachen, offenen Hand beibehält und Bestimmen wenigstens einer zusätzlichen Gesteneingabe durch entweder die eine nackten Hand oder auch die andere nackte Hand des Benutzers; bei dem das Erzeugen der wenigstens einen Geräteeingabe ferner entweder das Wiederholen der mit dem Dokument verknüpften Eingabe ”Seite nach oben” oder ”Seite nach unten” auf die wenigstens eine zusätzliche Gesteneingabe hin oder das automatische Umblättern der Seite bei entweder einem Beschleunigen oder einem Verzögern aufgrund der Dauer, die die wenigstens eine zusätzliche Gesteneingabe beibehalten wird, umfasst.
- Das Verfahren nach Anspruch 1, bei dem das Bestimmen der erzeugten Gesteneingabe umfasst: Bestimmen, das jede nackte Hand des Benutzers einen Zeigefinger streckt, um auf zwei entsprechende Teile des angezeigten visuellen Inhalts hinzuweisen, und Bestimmen, dass beide nackten Hände das Strecken des Zeigefingers beibehalten und sich entweder näher aufeinander zu oder weiter voneinander weg bewegen.
- Das Verfahren nach Anspruch 19, bei dem das Erzeugen der wenigsten einen Geräteeingabe entweder das Heranzoomen oder das Herauszoomen des angezeigten visuellen Inhalts auf das Bewegen der nackten Hände aufeinander zu beziehungsweise voneinander weg hin umfasst.
- Das Verfahren nach Anspruch 1, bei dem das Bestimmen der erzeugten Gesteneingabe das Bestimmen, dass die nackte Hand wenigstens einmal zwischen der Geste einer flachen, offenen Hand und einer geschlossenen Faust wechselt, umfasst.
- Das Verfahren nach Anspruch 21, bei dem das Erzeugen der wenigsten einen Geräteeingabe das Wechseln in einer Liste von Menüpunkten einer Anwendung in dem angezeigten visuellen Inhalt umfasst.
- Das Verfahren nach Anspruch 1, bei dem das Bestimmen der erzeugten Gesteneingabe das Bestimmen, dass die sich nackte Hand in einer ersten Geste mit einem gestreckten Daumen, einem gestreckten Zeigefinger und einem gestreckten kleinen Finger befindet und nach oben und nach unter bewegt wird, umfasst.
- Das Verfahren nach Anspruch 23, bei dem das Erzeugen der wenigsten einen Geräteeingabe das Scrollen ausgewählter visueller Daten entweder nach oben oder nach unten mit einer ersten Geschwindigkeit in Abhängigkeit von der Bewegung der nackten Hand entweder nach oben beziehungsweise nach unten umfasst.
- Das Verfahren nach Anspruch 24, bei dem das Bestimmen der erzeugten Gesteneingabe das Bestimmen, dass die nackte Hand von der ersten Geste zu einer zweiten Geste mit einem eingezogenen Daumen, dem gestreckten Zeigefinger und dem gestreckten kleinen Finger wechselt und entweder nach oben oder nach unten bewegt wird, umfasst.
- Das Verfahren nach Anspruch 25, bei dem das Erzeugen der wenigsten einen Geräteeingabe das Scrollen ausgewählter visueller Daten entweder nach oben oder nach unten mit einer zweiten Geschwindigkeit in Abhängigkeit von der Bewegung der nackten Hand entweder nach oben beziehungsweise nach unten umfasst, wobei die zweite Geschwindigkeit höher als die erste Geschwindigkeit ist.
- Das Verfahren nach Anspruch 1, bei dem das Bestimmen der erzeugten Gesteneingabe das Bestimmen, dass die nackte Hand von einer ersten Geste mit einem gestreckten Daumen, einem gestreckten Zeigefinger und einem gestreckten Mittelfinger zu einer zweiten Geste mit einem eingezogenen Daumen, einem gestreckten Zeigefinger und einem gestreckten Mittelfinger wechselt und entweder nach oben, während des Beibehaltens der zweiten Geste nach unten, nach links oder nach rechts bewegt wird, umfasst.
- Das Verfahren nach Anspruch 27 bei dem das Erzeugen der wenigsten einen Geräteeingabe umfasst: Neigen einer Ansicht entweder nach oben oder nach unten auf die Bewegung der beibehaltenen zweiten Geste nach oben beziehungsweise nach unten hin, und Schwenken der Ansicht entweder nach links oder nach rechts auf die Bewegung der beibehaltenen zweiten Geste nach links beziehungsweise nach rechts hin.
- Das Verfahren nach Anspruch 1, bei dem das Bestimmen der erzeugten Gesteneingabe das Bestimmen, dass die nackte Hand mit einem gestreckten Zeigefinger auf einen Teil des angezeigten visuellen Inhalts weist und auf einen Teil des visuellen Inhalts hin bewegt wird, umfasst.
- Das Verfahren nach Anspruch 29, bei dem das Erzeugen der wenigsten einen Geräteeingabe entweder das Öffnen einer Menüliste oder das Expandieren der mit dem Menü verknüpften Menüoptionen des Teils des angezeigten visuellen Inhalts umfasst.
- Das Verfahren nach Anspruch 1, bei dem das Bestimmen der erzeugten Gesteneingabe das Bestimmen, dass die nackte Hand mit einer ersten Geste mit einem gestreckten Zeigefinger, der auf einen Teil des angezeigten visuellen Inhalts weist, beginnt, eine Auslösebewegung mit dem gestreckten Finger einleitet und die erste Geste wieder einnimmt, umfasst.
- Das Verfahren nach einem der vorhergehenden Ansprüche, bei dem das Erzeugen der wenigsten einen Geräteeingabe das Zurückgehen zu einer unmittelbar vorhergehenden Webseite in einem gewählten Interbrowser, der mit dem Teil des angezeigten visuellen Inhalts verknüpft ist, umfasst.
- Das Verfahren nach Anspruch 1, bei dem das Bestimmen der erzeugten Gesteneingabe das Bestimmen, dass die nackte Hand, während sie den gestreckten Zeigefinger, der auf einen Teil des angezeigten visuellen Inhalts weist, schnell in einer nach unten gerichteten Richtung bewegt und dann die nackte Hand schnell nach oben bewegt, umfasst.
- Das Verfahren nach Anspruch 32, bei dem das Erzeugen der wenigsten einen Geräteeingabe das Erzeugen einer simulierten Eingabe mit einer Maustaste umfasst, die mit dem Teil des angezeigten visuellen Inhalts verknüpft ist.
- Das Verfahren nach Anspruch 1, bei dem das Bestimmen der erzeugten Gesteneingabe das Bestimmen, dass die nackte Hand des Benutzers während eine Geste beibehalten wird, die das Behalten von gestreckten, zeigenden Fingern in Längskontakt miteinander und beide auf einen Teil des angezeigten visuellen Inhalts weisend umfasst, sich schnell in eine nach vorne gerichtete Richtung bewegt und sich dann schnell in eine nach hinten gerichtete Richtung bewegt, umfasst.
- Das Verfahren nach Anspruch 35, bei dem das Erzeugen der wenigsten einen Geräteeingabe das Erzeugen einer simulierten Eingabe mit einer Maustaste umfasst, die mit dem Teil des angezeigten visuellen Inhalts verknüpft ist.
- Das Verfahren nach Anspruch 1, bei dem das Bestimmen der erzeugten Gesteneingabe das Bestimmen, dass die nackte Hand des Benutzers von einer ersten Geste mit einem gestreckten Daumen und einem gestreckten Zeigefinger, der auf einen Teil des angezeigten visuellen Inhalts weist, zu einer zweiten Geste mit einem eingezogenen Daumen und einem gestreckten Zeigefinger wechselt, der weiterhin auf den Teil des angezeigten visuellen Inhalts weist, umfasst.
- Das Verfahren nach Anspruch 37, bei dem das Erzeugen der wenigsten einen Geräteeingabe das Scrollen mit dem Teil des angezeigten visuellen Inhalts verknüpfter visueller Daten solange der Daumen eingezogen ist, umfasst.
- Das Verfahren nach Anspruch 1, bei dem das Bestimmen der erzeugten Gesteneingabe das Bestimmen, dass die nackte Hand des Benutzers auf einen Teil des angezeigten visuellen Inhalts mit einem gestreckten Zeigefinger weist und einen gestreckten Daumen umfasst, der anschließend gefolgt von einer Drehung des Handgelenks zurückgezogen wird, umfasst
- Das Verfahren nach Anspruch 39, bei dem das Erzeugen der wenigsten einen Geräteeingabe das Neigen einer mit dem angezeigten visuellen Inhalt verknüpften Ansicht auf das Zurückziehen des Daumens hin umfasst, wobei das Neigen auf der Drehung des Handgelenks beruht.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/337,225 US9696808B2 (en) | 2006-07-13 | 2008-12-17 | Hand-gesture recognition method |
US12/337,225 | 2008-12-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102009043798A1 true DE102009043798A1 (de) | 2010-06-24 |
DE102009043798B4 DE102009043798B4 (de) | 2014-07-24 |
Family
ID=41402859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102009043798.3A Expired - Fee Related DE102009043798B4 (de) | 2008-12-17 | 2009-09-30 | Verfahren zur Erkennung von Handgesten |
Country Status (3)
Country | Link |
---|---|
US (1) | US9696808B2 (de) |
DE (1) | DE102009043798B4 (de) |
GB (1) | GB2466332B (de) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011119082A1 (de) * | 2011-11-21 | 2013-05-23 | Übi UG (haftungsbeschränkt) | Vorrichtungsanordnung zur Schaffung eines interaktiven Bildschirms aus einem Bildschirm |
DE102013000066A1 (de) * | 2013-01-08 | 2014-07-10 | Audi Ag | Zoomen und Verschieben eines Bildinhalts einer Anzeigeeinrichtung |
WO2016120251A1 (de) * | 2015-01-30 | 2016-08-04 | Robert Bosch Gmbh | Verfahren zum betreiben einer eingabevorrichtung, eingabevorrichtung |
DE102012025320B4 (de) | 2012-12-22 | 2019-04-04 | Audi Ag | Verfahren zum Steuern einer elektrischen Einrichtung durch Erfassen und Auswerten einer berührungslosen manuellen Bedieneingabe einer Hand einer Bedienperson sowie dafür geeignete Steuervorrichtung und Fahrzeug |
Families Citing this family (259)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7509588B2 (en) | 2005-12-30 | 2009-03-24 | Apple Inc. | Portable electronic device with interface reconfiguration mode |
US9910497B2 (en) * | 2006-02-08 | 2018-03-06 | Oblong Industries, Inc. | Gestural control of autonomous and semi-autonomous systems |
US8972902B2 (en) * | 2008-08-22 | 2015-03-03 | Northrop Grumman Systems Corporation | Compound gesture recognition |
US8589824B2 (en) * | 2006-07-13 | 2013-11-19 | Northrop Grumman Systems Corporation | Gesture recognition interface system |
US8180114B2 (en) * | 2006-07-13 | 2012-05-15 | Northrop Grumman Systems Corporation | Gesture recognition interface system with vertical display |
US7701439B2 (en) * | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
US8234578B2 (en) * | 2006-07-25 | 2012-07-31 | Northrop Grumman Systems Corporatiom | Networked gesture collaboration system |
US8432448B2 (en) * | 2006-08-10 | 2013-04-30 | Northrop Grumman Systems Corporation | Stereo camera intrusion detection system |
US10313505B2 (en) | 2006-09-06 | 2019-06-04 | Apple Inc. | Portable multifunction device, method, and graphical user interface for configuring and displaying widgets |
US8519964B2 (en) | 2007-01-07 | 2013-08-27 | Apple Inc. | Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display |
US8619038B2 (en) | 2007-09-04 | 2013-12-31 | Apple Inc. | Editing interface |
US8139110B2 (en) * | 2007-11-01 | 2012-03-20 | Northrop Grumman Systems Corporation | Calibration of a gesture recognition interface system |
US9377874B2 (en) * | 2007-11-02 | 2016-06-28 | Northrop Grumman Systems Corporation | Gesture recognition light and video image projector |
US9241143B2 (en) | 2008-01-29 | 2016-01-19 | At&T Intellectual Property I, L.P. | Output correction for visual projection devices |
JP4384240B2 (ja) * | 2008-05-28 | 2009-12-16 | 株式会社東芝 | 画像処理装置、画像処理方法、画像処理プログラム |
US8345920B2 (en) * | 2008-06-20 | 2013-01-01 | Northrop Grumman Systems Corporation | Gesture recognition interface system with a light-diffusive screen |
US8660300B2 (en) * | 2008-12-12 | 2014-02-25 | Silicon Laboratories Inc. | Apparatus and method for optical gesture recognition |
US20140160030A1 (en) * | 2009-02-09 | 2014-06-12 | Cypress Semiconductor Corporation | Sensor system and method for mapping and creating gestures |
US8121640B2 (en) | 2009-03-19 | 2012-02-21 | Microsoft Corporation | Dual module portable devices |
US8849570B2 (en) * | 2009-03-19 | 2014-09-30 | Microsoft Corporation | Projected way-finding |
US20100241999A1 (en) * | 2009-03-19 | 2010-09-23 | Microsoft Corporation | Canvas Manipulation Using 3D Spatial Gestures |
US20100241987A1 (en) * | 2009-03-19 | 2010-09-23 | Microsoft Corporation | Tear-Drop Way-Finding User Interfaces |
US20120016960A1 (en) * | 2009-04-16 | 2012-01-19 | Gelb Daniel G | Managing shared content in virtual collaboration systems |
US9417700B2 (en) | 2009-05-21 | 2016-08-16 | Edge3 Technologies | Gesture recognition systems and related methods |
US9400559B2 (en) * | 2009-05-29 | 2016-07-26 | Microsoft Technology Licensing, Llc | Gesture shortcuts |
US20100306716A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Extending standard gestures |
US8693724B2 (en) * | 2009-05-29 | 2014-04-08 | Microsoft Corporation | Method and system implementing user-centric gesture control |
TW201101198A (en) * | 2009-06-17 | 2011-01-01 | Sonix Technology Co Ltd | Command input method |
KR20100136649A (ko) * | 2009-06-19 | 2010-12-29 | 삼성전자주식회사 | 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치 |
JP4548542B1 (ja) * | 2009-06-30 | 2010-09-22 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US9176628B2 (en) * | 2009-07-23 | 2015-11-03 | Hewlett-Packard Development Company, L.P. | Display with an optical sensor |
US20120120029A1 (en) * | 2009-07-23 | 2012-05-17 | Mccarthy John P | Display to determine gestures |
US9141193B2 (en) * | 2009-08-31 | 2015-09-22 | Microsoft Technology Licensing, Llc | Techniques for using human gestures to control gesture unaware programs |
US8547327B2 (en) | 2009-10-07 | 2013-10-01 | Qualcomm Incorporated | Proximity object tracker |
US8543240B2 (en) * | 2009-11-13 | 2013-09-24 | Intuitive Surgical Operations, Inc. | Master finger tracking device and method of use in a minimally invasive surgical system |
CN102713798B (zh) * | 2010-01-15 | 2016-01-13 | 韩国电子通信研究院 | 情景处理装置及方法 |
US10007393B2 (en) * | 2010-01-19 | 2018-06-26 | Apple Inc. | 3D view of file structure |
US8633890B2 (en) | 2010-02-16 | 2014-01-21 | Microsoft Corporation | Gesture detection based on joint skipping |
US9218119B2 (en) * | 2010-03-25 | 2015-12-22 | Blackberry Limited | System and method for gesture detection and feedback |
JP5087101B2 (ja) * | 2010-03-31 | 2012-11-28 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体及び画像生成システム |
US8818027B2 (en) * | 2010-04-01 | 2014-08-26 | Qualcomm Incorporated | Computing device interface |
US8423911B2 (en) | 2010-04-07 | 2013-04-16 | Apple Inc. | Device, method, and graphical user interface for managing folders |
US10788976B2 (en) | 2010-04-07 | 2020-09-29 | Apple Inc. | Device, method, and graphical user interface for managing folders with multiple pages |
US8373654B2 (en) * | 2010-04-29 | 2013-02-12 | Acer Incorporated | Image based motion gesture recognition method and system thereof |
US20110268365A1 (en) * | 2010-04-30 | 2011-11-03 | Acer Incorporated | 3d hand posture recognition system and vision based hand posture recognition method thereof |
US20110267262A1 (en) * | 2010-04-30 | 2011-11-03 | Jacques Gollier | Laser Scanning Projector Device for Interactive Screen Applications |
WO2011134112A1 (en) * | 2010-04-30 | 2011-11-03 | Thomson Licensing | Method and apparatus of push & pull gesture recognition in 3d system |
TW201142465A (en) * | 2010-05-17 | 2011-12-01 | Hon Hai Prec Ind Co Ltd | Front projection device and front projection controlling method |
US8457353B2 (en) * | 2010-05-18 | 2013-06-04 | Microsoft Corporation | Gestures and gesture modifiers for manipulating a user-interface |
US8396252B2 (en) | 2010-05-20 | 2013-03-12 | Edge 3 Technologies | Systems and related methods for three dimensional gesture recognition in vehicles |
EP2395759B1 (de) * | 2010-06-11 | 2015-03-04 | Sony Ericsson Mobile Communications AB | Autostereoskopische Anzeigevorrichtung und Verfahren zum Betrieb einer autostereoskopischen Anzeigevorrichtung |
US8639020B1 (en) | 2010-06-16 | 2014-01-28 | Intel Corporation | Method and system for modeling subjects from a depth map |
US8381108B2 (en) * | 2010-06-21 | 2013-02-19 | Microsoft Corporation | Natural user input for driving interactive stories |
CN102314259B (zh) | 2010-07-06 | 2015-01-28 | 株式会社理光 | 一种在显示区域内检测物体的方法和设备 |
US20120050007A1 (en) * | 2010-08-24 | 2012-03-01 | Babak Forutanpour | Methods and apparatus for interacting with an electronic device application by moving an object in the air over an electronic device display |
US8467599B2 (en) | 2010-09-02 | 2013-06-18 | Edge 3 Technologies, Inc. | Method and apparatus for confusion learning |
US8655093B2 (en) | 2010-09-02 | 2014-02-18 | Edge 3 Technologies, Inc. | Method and apparatus for performing segmentation of an image |
US8582866B2 (en) | 2011-02-10 | 2013-11-12 | Edge 3 Technologies, Inc. | Method and apparatus for disparity computation in stereo images |
US8666144B2 (en) | 2010-09-02 | 2014-03-04 | Edge 3 Technologies, Inc. | Method and apparatus for determining disparity of texture |
US9213890B2 (en) * | 2010-09-17 | 2015-12-15 | Sony Corporation | Gesture recognition system for TV control |
US8682030B2 (en) | 2010-09-24 | 2014-03-25 | Microsoft Corporation | Interactive display |
KR101727040B1 (ko) * | 2010-10-14 | 2017-04-14 | 엘지전자 주식회사 | 전자 장치 및 메뉴 제공 방법 |
US9529424B2 (en) | 2010-11-05 | 2016-12-27 | Microsoft Technology Licensing, Llc | Augmented reality with direct user interaction |
US9304592B2 (en) | 2010-11-12 | 2016-04-05 | At&T Intellectual Property I, L.P. | Electronic device control based on gestures |
CN102012740B (zh) * | 2010-11-15 | 2015-10-21 | 中国科学院深圳先进技术研究院 | 人机交互方法及系统 |
US20120139827A1 (en) * | 2010-12-02 | 2012-06-07 | Li Kevin A | Method and apparatus for interacting with projected displays using shadows |
US8782513B2 (en) | 2011-01-24 | 2014-07-15 | Apple Inc. | Device, method, and graphical user interface for navigating through an electronic document |
EP3527121B1 (de) * | 2011-02-09 | 2023-08-23 | Apple Inc. | Gestenerfassung in einer umgebung zur 3d-bildgebung |
US8970589B2 (en) | 2011-02-10 | 2015-03-03 | Edge 3 Technologies, Inc. | Near-touch interaction with a stereo camera grid structured tessellations |
US8723789B1 (en) | 2011-02-11 | 2014-05-13 | Imimtek, Inc. | Two-dimensional method and system enabling three-dimensional user interaction with a device |
US8761437B2 (en) * | 2011-02-18 | 2014-06-24 | Microsoft Corporation | Motion recognition |
WO2012120521A1 (en) * | 2011-03-04 | 2012-09-13 | Hewlett-Packard Development Company, L.P. | Gestural interaction identification |
KR20120105818A (ko) * | 2011-03-16 | 2012-09-26 | 한국전자통신연구원 | 이벤트 기반의 정보입력 장치 및 방법 |
US9857868B2 (en) | 2011-03-19 | 2018-01-02 | The Board Of Trustees Of The Leland Stanford Junior University | Method and system for ergonomic touch-free interface |
JP5864043B2 (ja) * | 2011-04-12 | 2016-02-17 | シャープ株式会社 | 表示装置、操作入力方法、操作入力プログラム、及び記録媒体 |
US8873841B2 (en) * | 2011-04-21 | 2014-10-28 | Nokia Corporation | Methods and apparatuses for facilitating gesture recognition |
US8840466B2 (en) | 2011-04-25 | 2014-09-23 | Aquifi, Inc. | Method and system to create three-dimensional mapping in a two-dimensional game |
US8686943B1 (en) | 2011-05-13 | 2014-04-01 | Imimtek, Inc. | Two-dimensional method and system enabling three-dimensional user interaction with a device |
US8929612B2 (en) | 2011-06-06 | 2015-01-06 | Microsoft Corporation | System for recognizing an open or closed hand |
JP6074170B2 (ja) | 2011-06-23 | 2017-02-01 | インテル・コーポレーション | 近距離動作のトラッキングのシステムおよび方法 |
US11048333B2 (en) | 2011-06-23 | 2021-06-29 | Intel Corporation | System and method for close-range movement tracking |
US8693726B2 (en) * | 2011-06-29 | 2014-04-08 | Amazon Technologies, Inc. | User identification by gesture recognition |
US8773512B1 (en) | 2011-06-30 | 2014-07-08 | Aquifi, Inc. | Portable remote control device enabling three-dimensional user interaction with at least one appliance |
US10088924B1 (en) * | 2011-08-04 | 2018-10-02 | Amazon Technologies, Inc. | Overcoming motion effects in gesture recognition |
US8891868B1 (en) | 2011-08-04 | 2014-11-18 | Amazon Technologies, Inc. | Recognizing gestures captured by video |
KR101262700B1 (ko) * | 2011-08-05 | 2013-05-08 | 삼성전자주식회사 | 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치 |
EP3754997B1 (de) | 2011-08-05 | 2023-08-30 | Samsung Electronics Co., Ltd. | Verfahren zur steuerung einer elektronischen vorrichtung auf grundlage von spracherkennung und bewegungserkennung und elektronische vorrichtung damit |
JP5834690B2 (ja) | 2011-09-22 | 2015-12-24 | カシオ計算機株式会社 | 投影装置、投影制御方法及びプログラム |
CN103890782B (zh) * | 2011-10-18 | 2018-03-09 | 诺基亚技术有限公司 | 用于手势识别的方法和设备 |
US9672609B1 (en) | 2011-11-11 | 2017-06-06 | Edge 3 Technologies, Inc. | Method and apparatus for improved depth-map estimation |
US8847881B2 (en) * | 2011-11-18 | 2014-09-30 | Sony Corporation | Gesture and voice recognition for control of a device |
TWI540461B (zh) * | 2011-12-05 | 2016-07-01 | 緯創資通股份有限公司 | 手勢輸入的方法及系統 |
FR2984001B1 (fr) * | 2011-12-09 | 2013-11-22 | Thales Sa | Systeme infrarouge d'interface tactile de cockpit d'aeronef |
US9582083B2 (en) * | 2011-12-22 | 2017-02-28 | Apple Inc. | Directional light sensors |
US10345911B2 (en) * | 2011-12-23 | 2019-07-09 | Intel Corporation | Mechanism to provide visual feedback regarding computing system command gestures |
US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US9223415B1 (en) | 2012-01-17 | 2015-12-29 | Amazon Technologies, Inc. | Managing resource usage for task performance |
US11493998B2 (en) * | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
CN107066962B (zh) * | 2012-01-17 | 2020-08-07 | 超级触觉资讯处理有限公司 | 用于通过光学成像进行的对象检测和表征的增强对比度 |
US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
JP5509227B2 (ja) * | 2012-01-31 | 2014-06-04 | 株式会社コナミデジタルエンタテインメント | 移動制御装置、移動制御装置の制御方法、及びプログラム |
US8854433B1 (en) | 2012-02-03 | 2014-10-07 | Aquifi, Inc. | Method and system enabling natural user interface gestures with an electronic system |
KR101953165B1 (ko) * | 2012-02-24 | 2019-05-22 | 토마스 제이. 모스카릴로 | 제스처 인식 디바이스들 및 방법들 |
US9791932B2 (en) | 2012-02-27 | 2017-10-17 | Microsoft Technology Licensing, Llc | Semaphore gesture for human-machine interface |
US9304646B2 (en) | 2012-03-20 | 2016-04-05 | A9.Com, Inc. | Multi-user content interactions |
US9373025B2 (en) | 2012-03-20 | 2016-06-21 | A9.Com, Inc. | Structured lighting-based content interactions in multiple environments |
US9367124B2 (en) | 2012-03-20 | 2016-06-14 | A9.Com, Inc. | Multi-application content interactions |
US9213420B2 (en) * | 2012-03-20 | 2015-12-15 | A9.Com, Inc. | Structured lighting based content interactions |
JP2013196482A (ja) | 2012-03-21 | 2013-09-30 | Casio Comput Co Ltd | 入力ユーザーインターフェイス装置、投影装置、プログラム及びコマンド決定方法 |
US9377863B2 (en) | 2012-03-26 | 2016-06-28 | Apple Inc. | Gaze-enhanced virtual touchscreen |
US9477303B2 (en) | 2012-04-09 | 2016-10-25 | Intel Corporation | System and method for combining three-dimensional tracking with a three-dimensional display for a user interface |
US9587804B2 (en) | 2012-05-07 | 2017-03-07 | Chia Ming Chen | Light control systems and methods |
TWI497347B (zh) * | 2012-05-09 | 2015-08-21 | Hung Ta Liu | 以手勢為輸入之控制系統 |
US9619036B2 (en) | 2012-05-11 | 2017-04-11 | Comcast Cable Communications, Llc | System and methods for controlling a user experience |
CN103425239B (zh) * | 2012-05-21 | 2016-08-17 | 昆山超绿光电有限公司 | 以脸部表情为输入的控制系统 |
WO2012126426A2 (zh) * | 2012-05-21 | 2012-09-27 | 华为技术有限公司 | 一种非接触式手势控制方法及装置 |
CN103425238A (zh) * | 2012-05-21 | 2013-12-04 | 刘鸿达 | 以手势为输入的控制系统云端系统 |
US9747306B2 (en) * | 2012-05-25 | 2017-08-29 | Atheer, Inc. | Method and apparatus for identifying input features for later recognition |
US9111135B2 (en) | 2012-06-25 | 2015-08-18 | Aquifi, Inc. | Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera |
US9098739B2 (en) | 2012-06-25 | 2015-08-04 | Aquifi, Inc. | Systems and methods for tracking human hands using parts based template matching |
US9098516B2 (en) * | 2012-07-18 | 2015-08-04 | DS Zodiac, Inc. | Multi-dimensional file system |
US20140028861A1 (en) * | 2012-07-26 | 2014-01-30 | David Holz | Object detection and tracking |
EP2698686B1 (de) * | 2012-07-27 | 2018-10-10 | LG Electronics Inc. | Am Handgelenk tragbares Endgerät und zugehöriges Steuerungsverfahren |
US8836768B1 (en) | 2012-09-04 | 2014-09-16 | Aquifi, Inc. | Method and system enabling natural user interface gestures with user wearable glasses |
US9201585B1 (en) * | 2012-09-17 | 2015-12-01 | Amazon Technologies, Inc. | User interface navigation gestures |
CN103809734B (zh) * | 2012-11-07 | 2017-05-24 | 联想(北京)有限公司 | 一种电子设备的控制方法、控制器及电子设备 |
US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
CN102981623B (zh) * | 2012-11-30 | 2016-05-18 | 深圳先进技术研究院 | 触发输入指令的方法及系统 |
US20140157209A1 (en) * | 2012-12-03 | 2014-06-05 | Google Inc. | System and method for detecting gestures |
JP6051828B2 (ja) * | 2012-12-10 | 2016-12-27 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
TW201423480A (zh) * | 2012-12-10 | 2014-06-16 | Pixart Imaging Inc | 開關裝置 |
US9904414B2 (en) | 2012-12-10 | 2018-02-27 | Seiko Epson Corporation | Display device, and method of controlling display device |
US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
US9626015B2 (en) | 2013-01-08 | 2017-04-18 | Leap Motion, Inc. | Power consumption in motion-capture systems with audio and optical signals |
US10241639B2 (en) | 2013-01-15 | 2019-03-26 | Leap Motion, Inc. | Dynamic user interactions for display control and manipulation of display objects |
US9459697B2 (en) * | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
US9105103B2 (en) | 2013-01-23 | 2015-08-11 | Leap Motion, Inc. | Systems and methods of tracking object movements in three-dimensional space |
US9092665B2 (en) | 2013-01-30 | 2015-07-28 | Aquifi, Inc | Systems and methods for initializing motion tracking of human hands |
US9129155B2 (en) | 2013-01-30 | 2015-09-08 | Aquifi, Inc. | Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map |
CN103970260B (zh) * | 2013-01-31 | 2017-06-06 | 华为技术有限公司 | 一种非接触式手势控制方法及电子终端设备 |
US8994652B2 (en) * | 2013-02-15 | 2015-03-31 | Intel Corporation | Model-based multi-hypothesis target tracker |
JP2014186715A (ja) * | 2013-02-21 | 2014-10-02 | Canon Inc | 情報処理装置、情報処理方法 |
CN104036752B (zh) * | 2013-03-08 | 2018-04-27 | 联想(北京)有限公司 | 一种信息处理的方法及电子设备 |
US9342230B2 (en) * | 2013-03-13 | 2016-05-17 | Microsoft Technology Licensing, Llc | Natural user interface scrolling and targeting |
US10721448B2 (en) | 2013-03-15 | 2020-07-21 | Edge 3 Technologies, Inc. | Method and apparatus for adaptive exposure bracketing, segmentation and scene organization |
US9702977B2 (en) | 2013-03-15 | 2017-07-11 | Leap Motion, Inc. | Determining positional information of an object in space |
US8818716B1 (en) | 2013-03-15 | 2014-08-26 | Honda Motor Co., Ltd. | System and method for gesture-based point of interest search |
US8886399B2 (en) | 2013-03-15 | 2014-11-11 | Honda Motor Co., Ltd. | System and method for controlling a vehicle user interface based on gesture angle |
US9298266B2 (en) | 2013-04-02 | 2016-03-29 | Aquifi, Inc. | Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects |
US10620709B2 (en) | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
CN103208002B (zh) * | 2013-04-10 | 2016-04-27 | 桂林电子科技大学 | 基于手轮廓特征的手势识别控制方法和系统 |
TWI637348B (zh) * | 2013-04-11 | 2018-10-01 | 緯創資通股份有限公司 | 影像顯示裝置和影像顯示方法 |
US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
US9747696B2 (en) | 2013-05-17 | 2017-08-29 | Leap Motion, Inc. | Systems and methods for providing normalized parameters of motions of objects in three-dimensional space |
US9829984B2 (en) * | 2013-05-23 | 2017-11-28 | Fastvdo Llc | Motion-assisted visual language for human computer interfaces |
US20140368434A1 (en) * | 2013-06-13 | 2014-12-18 | Microsoft Corporation | Generation of text by way of a touchless interface |
EP3014407A4 (de) * | 2013-06-28 | 2017-08-02 | Chia Ming Chen | Steuerungsvorrichtungsbedienung anhand von gesten |
EP3018568A4 (de) * | 2013-07-05 | 2017-04-19 | Clarion Co., Ltd. | Informationsverarbeitungsvorrichtung |
US10228242B2 (en) | 2013-07-12 | 2019-03-12 | Magic Leap, Inc. | Method and system for determining user input based on gesture |
CN104298340B (zh) * | 2013-07-15 | 2017-12-26 | 联想(北京)有限公司 | 控制方法和电子设备 |
US9717118B2 (en) | 2013-07-16 | 2017-07-25 | Chia Ming Chen | Light control systems and methods |
US9798388B1 (en) | 2013-07-31 | 2017-10-24 | Aquifi, Inc. | Vibrotactile system to augment 3D input systems |
US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
CN103440035A (zh) * | 2013-08-20 | 2013-12-11 | 华南理工大学 | 一种三维空间中的手势识别系统及其识别方法 |
US10846942B1 (en) | 2013-08-29 | 2020-11-24 | Ultrahaptics IP Two Limited | Predictive information for free space gesture control and communication |
US10545657B2 (en) | 2013-09-03 | 2020-01-28 | Apple Inc. | User interface for manipulating user interface objects |
WO2015033575A1 (ja) * | 2013-09-06 | 2015-03-12 | 日本電気株式会社 | 販売促進システム、販売促進方法、非一時的なコンピュータ可読媒体及び棚システム |
US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
US10152136B2 (en) * | 2013-10-16 | 2018-12-11 | Leap Motion, Inc. | Velocity field interaction for free space gesture interface and control |
KR102405189B1 (ko) | 2013-10-30 | 2022-06-07 | 애플 인크. | 관련 사용자 인터페이스 객체를 표시 |
US9891712B2 (en) | 2013-12-16 | 2018-02-13 | Leap Motion, Inc. | User-defined virtual interaction space and manipulation of virtual cameras with vectors |
US9659403B1 (en) | 2014-01-06 | 2017-05-23 | Leap Motion, Inc. | Initializing orientation in space for predictive information for free space gesture control and communication |
US9507417B2 (en) | 2014-01-07 | 2016-11-29 | Aquifi, Inc. | Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects |
US9971491B2 (en) | 2014-01-09 | 2018-05-15 | Microsoft Technology Licensing, Llc | Gesture library for natural user input |
KR20150084524A (ko) * | 2014-01-14 | 2015-07-22 | 삼성전자주식회사 | 디스플레이 장치 및 이의 제어 방법 |
US9720506B2 (en) * | 2014-01-14 | 2017-08-01 | Microsoft Technology Licensing, Llc | 3D silhouette sensing system |
US9740923B2 (en) * | 2014-01-15 | 2017-08-22 | Lenovo (Singapore) Pte. Ltd. | Image gestures for edge input |
US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
US9600993B2 (en) * | 2014-01-27 | 2017-03-21 | Atlas5D, Inc. | Method and system for behavior detection |
US9619105B1 (en) | 2014-01-30 | 2017-04-11 | Aquifi, Inc. | Systems and methods for gesture based interaction with viewpoint dependent user interfaces |
KR102041191B1 (ko) * | 2014-03-03 | 2019-11-06 | 한국전자통신연구원 | 손 동작 인식 방법 및 장치 |
TWI514248B (zh) * | 2014-03-18 | 2015-12-21 | Pixart Imaging Inc | 防止誤觸發邊緣滑動手勢之方法及手勢觸發方法 |
US9304599B2 (en) * | 2014-03-21 | 2016-04-05 | Dell Products L.P. | Gesture controlled adaptive projected information handling system input and output devices |
US10083288B2 (en) * | 2014-03-25 | 2018-09-25 | Sony Corporation and Sony Mobile Communications, Inc. | Electronic device with parallaxing unlock screen and method |
WO2015160849A1 (en) * | 2014-04-14 | 2015-10-22 | Motionsavvy, Inc. | Systems and methods for recognition and translation of gestures |
US20150309681A1 (en) * | 2014-04-23 | 2015-10-29 | Google Inc. | Depth-based mode switching for touchless gestural interfaces |
EP3146262A4 (de) | 2014-04-29 | 2018-03-14 | Chia Ming Chen | Lichtsteuerungssysteme und -verfahren |
JP6417702B2 (ja) * | 2014-05-01 | 2018-11-07 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
CN103984928B (zh) * | 2014-05-20 | 2017-08-11 | 桂林电子科技大学 | 基于景深图像的手指手势识别方法 |
US9740338B2 (en) * | 2014-05-22 | 2017-08-22 | Ubi interactive inc. | System and methods for providing a three-dimensional touch screen |
KR101929372B1 (ko) | 2014-05-30 | 2018-12-17 | 애플 인크. | 하나의 디바이스의 사용으로부터 다른 디바이스의 사용으로의 전환 |
US9639167B2 (en) * | 2014-05-30 | 2017-05-02 | Eminent Electronic Technology Corp. Ltd. | Control method of electronic apparatus having non-contact gesture sensitive region |
US9646201B1 (en) * | 2014-06-05 | 2017-05-09 | Leap Motion, Inc. | Three dimensional (3D) modeling of a complex control object |
US10936050B2 (en) | 2014-06-16 | 2021-03-02 | Honda Motor Co., Ltd. | Systems and methods for user indication recognition |
US9857869B1 (en) | 2014-06-17 | 2018-01-02 | Amazon Technologies, Inc. | Data optimization |
JP2016009266A (ja) * | 2014-06-23 | 2016-01-18 | コニカミノルタ株式会社 | 撮影システム、撮影の方法、およびコンピュータープログラム |
US20150378440A1 (en) * | 2014-06-27 | 2015-12-31 | Microsoft Technology Licensing, Llc | Dynamically Directing Interpretation of Input Data Based on Contextual Information |
JP6282188B2 (ja) * | 2014-07-04 | 2018-02-21 | クラリオン株式会社 | 情報処理装置 |
JP6335695B2 (ja) * | 2014-07-09 | 2018-05-30 | キヤノン株式会社 | 情報処理装置、その制御方法、プログラム、及び記憶媒体 |
JPWO2016021022A1 (ja) * | 2014-08-07 | 2017-06-15 | 日立マクセル株式会社 | 投写型映像表示装置及びその制御方法 |
JP2016038889A (ja) | 2014-08-08 | 2016-03-22 | リープ モーション, インコーポレーテッドLeap Motion, Inc. | モーション感知を伴う拡張現実 |
CN104182049B (zh) * | 2014-08-28 | 2017-02-15 | 华南理工大学广州学院 | 非接触式红外线二维手势动作检测与识别装置及方法 |
US10114521B2 (en) | 2014-09-02 | 2018-10-30 | Apple Inc. | Multi-dimensional object rearrangement |
US10073590B2 (en) | 2014-09-02 | 2018-09-11 | Apple Inc. | Reduced size user interface |
FR3026502A1 (fr) * | 2014-09-30 | 2016-04-01 | Valeo Comfort & Driving Assistance | Systeme et procede de commande d'un equipement d'un vehicule automobile |
US9575566B2 (en) | 2014-12-15 | 2017-02-21 | Intel Corporation | Technologies for robust two-dimensional gesture recognition |
US20170315615A1 (en) * | 2014-12-19 | 2017-11-02 | Hewlett-Packard Development Company, L.P. | Gesture library |
KR102339839B1 (ko) | 2014-12-26 | 2021-12-15 | 삼성전자주식회사 | 제스처 입력 처리 방법 및 장치 |
US9672418B2 (en) | 2015-02-06 | 2017-06-06 | King Fahd University Of Petroleum And Minerals | Arabic sign language recognition using multi-sensor data fusion |
US9840407B2 (en) * | 2015-02-10 | 2017-12-12 | Cornelius, Inc. | Gesture interface for beverage dispenser |
JP6477130B2 (ja) * | 2015-03-27 | 2019-03-06 | セイコーエプソン株式会社 | インタラクティブプロジェクター及びインタラクティブプロジェクションシステム |
US11054981B2 (en) | 2015-06-10 | 2021-07-06 | Yaakov Stein | Pan-zoom entry of text |
CN105094325B (zh) * | 2015-07-17 | 2018-12-04 | 百度在线网络技术(北京)有限公司 | 一种用于确定应用背景信息的方法与设备 |
WO2017018388A1 (ja) | 2015-07-29 | 2017-02-02 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
WO2017018428A1 (ja) * | 2015-07-29 | 2017-02-02 | 京セラ株式会社 | ウェアラブル装置、制御方法及び制御プログラム |
US9549101B1 (en) * | 2015-09-01 | 2017-01-17 | International Business Machines Corporation | Image capture enhancement using dynamic control image |
US9928605B2 (en) * | 2015-09-25 | 2018-03-27 | Intel Corporation | Real-time cascaded object recognition |
US10048769B2 (en) * | 2015-11-18 | 2018-08-14 | Ted Selker | Three-dimensional computer-aided-design system user interface |
US11841920B1 (en) | 2016-02-17 | 2023-12-12 | Ultrahaptics IP Two Limited | Machine learning based gesture recognition |
US11714880B1 (en) | 2016-02-17 | 2023-08-01 | Ultrahaptics IP Two Limited | Hand pose estimation for machine learning based gesture recognition |
US11854308B1 (en) | 2016-02-17 | 2023-12-26 | Ultrahaptics IP Two Limited | Hand initialization for machine learning based gesture recognition |
KR101745651B1 (ko) * | 2016-03-29 | 2017-06-09 | 전자부품연구원 | 손 제스처 인식 시스템 및 방법 |
TWI653563B (zh) * | 2016-05-24 | 2019-03-11 | 仁寶電腦工業股份有限公司 | 投影觸控的圖像選取方法 |
US10637986B2 (en) | 2016-06-10 | 2020-04-28 | Apple Inc. | Displaying and updating a set of application views |
DK201670595A1 (en) | 2016-06-11 | 2018-01-22 | Apple Inc | Configuring context-specific user interfaces |
US11816325B2 (en) | 2016-06-12 | 2023-11-14 | Apple Inc. | Application shortcuts for carplay |
EP3494428A4 (de) | 2016-08-02 | 2020-04-08 | Atlas5D, Inc. | Systeme und verfahren zur identifizierung von personen und/oder identifizierung und quantifizierung von schmerzen, müdigkeit, stimmung und absicht mit schutz der privatsphäre |
EP3563216B1 (de) * | 2016-11-21 | 2024-02-28 | Volkswagen Aktiengesellschaft | Verfahren und vorrichtung zur steuerung eines mobilen endgeräts |
JP6822234B2 (ja) * | 2017-03-15 | 2021-01-27 | セイコーエプソン株式会社 | プロジェクターシステム |
CN106873789B (zh) * | 2017-04-20 | 2020-07-07 | 歌尔科技有限公司 | 一种投影系统 |
WO2018195827A1 (zh) * | 2017-04-26 | 2018-11-01 | 神画科技(深圳)有限公司 | 一种互动遥控器、互动显示系统及互动触控方法 |
US10140442B1 (en) * | 2017-05-19 | 2018-11-27 | International Business Machines Corporation | Impression authentication |
CN107315355B (zh) * | 2017-06-30 | 2021-05-18 | 京东方科技集团股份有限公司 | 一种电器控制设备及方法 |
KR102330655B1 (ko) | 2017-09-29 | 2021-11-23 | 애플 인크. | 자동 제스처 및 손가락 인식을 위한 정맥 스캐닝 디바이스 |
CN108052202B (zh) * | 2017-12-11 | 2021-06-11 | 深圳市星野信息技术有限公司 | 一种3d交互方法、装置、计算机设备及存储介质 |
US10585525B2 (en) | 2018-02-12 | 2020-03-10 | International Business Machines Corporation | Adaptive notification modifications for touchscreen interfaces |
US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
WO2020033110A1 (en) * | 2018-08-05 | 2020-02-13 | Pison Technology, Inc. | User interface control of responsive devices |
US11099647B2 (en) * | 2018-08-05 | 2021-08-24 | Pison Technology, Inc. | User interface control of responsive devices |
US11675476B2 (en) | 2019-05-05 | 2023-06-13 | Apple Inc. | User interfaces for widgets |
JP2021026609A (ja) * | 2019-08-07 | 2021-02-22 | セイコーエプソン株式会社 | プロジェクションシステム、位置検出システム、及び位置検出システムの制御方法 |
US11698457B2 (en) * | 2019-09-04 | 2023-07-11 | Pixart Imaging Inc. | Object detecting system and object detecting method |
US10948997B1 (en) * | 2019-12-20 | 2021-03-16 | Facebook Technologies, Llc | Artificial reality notification triggers |
CN111273778B (zh) * | 2020-02-14 | 2023-11-07 | 北京百度网讯科技有限公司 | 基于手势控制电子设备的方法和装置 |
JP2021128661A (ja) * | 2020-02-17 | 2021-09-02 | セイコーエプソン株式会社 | 操作検出方法、操作検出装置及び表示システム |
JP2021128657A (ja) * | 2020-02-17 | 2021-09-02 | セイコーエプソン株式会社 | 位置検出方法、位置検出装置及び位置検出システム |
CN111601129B (zh) * | 2020-06-05 | 2022-04-01 | 北京字节跳动网络技术有限公司 | 控制方法、装置、终端及存储介质 |
US11606697B2 (en) | 2020-08-03 | 2023-03-14 | Bank Of America Corporation | Electronic system for construction and detection of spatial movements in a VR space for performance of electronic activities |
US20220368548A1 (en) | 2021-05-15 | 2022-11-17 | Apple Inc. | Shared-content session user interfaces |
US11907605B2 (en) | 2021-05-15 | 2024-02-20 | Apple Inc. | Shared-content session user interfaces |
US11829529B2 (en) | 2021-07-13 | 2023-11-28 | Meta Platforms Technologies, Llc | Look to pin on an artificial reality device |
CN114017818B (zh) * | 2021-11-04 | 2024-01-23 | 杭州老板电器股份有限公司 | 烟机手势控制方法、装置、控制器和烟机 |
US11836205B2 (en) | 2022-04-20 | 2023-12-05 | Meta Platforms Technologies, Llc | Artificial reality browser configured to trigger an immersive experience |
US11755180B1 (en) | 2022-06-22 | 2023-09-12 | Meta Platforms Technologies, Llc | Browser enabled switching between virtual worlds in artificial reality |
CN117373135B (zh) * | 2023-12-07 | 2024-03-15 | 湖北星纪魅族集团有限公司 | 基于视觉的滑动手势识别方法、系统及相关设备 |
Family Cites Families (116)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US200600A (en) * | 1878-02-26 | Improvement in fire-escapes | ||
US4468694A (en) * | 1980-12-30 | 1984-08-28 | International Business Machines Corporation | Apparatus and method for remote displaying and sensing of information using shadow parallax |
US4843568A (en) * | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
JPS62264390A (ja) | 1986-05-12 | 1987-11-17 | Omron Tateisi Electronics Co | 監視ロボツト用視覚認識装置 |
US4924506A (en) * | 1986-07-22 | 1990-05-08 | Schlumberger Systems & Services, Inc. | Method for directly measuring area and volume using binocular stereo vision |
JPH0431996A (ja) | 1990-05-28 | 1992-02-04 | Matsushita Electric Works Ltd | 画像認識型の防犯センサー |
US5220441A (en) * | 1990-09-28 | 1993-06-15 | Eastman Kodak Company | Mechanism for determining parallax between digital images |
US5239373A (en) * | 1990-12-26 | 1993-08-24 | Xerox Corporation | Video computational shared drawing space |
JP3114813B2 (ja) | 1991-02-27 | 2000-12-04 | 日本電信電話株式会社 | 情報入力方法 |
US5483261A (en) * | 1992-02-14 | 1996-01-09 | Itu Research, Inc. | Graphical input controller and method with rear screen image detection |
US5999185A (en) * | 1992-03-30 | 1999-12-07 | Kabushiki Kaisha Toshiba | Virtual reality control using image, model and control data to manipulate interactions |
DE571702T1 (de) | 1992-05-26 | 1994-04-28 | Takenaka Corp | Handzeige-Eingabegerät und Wandcomputereinheit. |
EP0631250B1 (de) * | 1993-06-21 | 2002-03-20 | Nippon Telegraph And Telephone Corporation | Verfahren und Vorrichtung zur dreidimensionalen Bilderzeugung von Objekten |
US5528263A (en) * | 1994-06-15 | 1996-06-18 | Daniel M. Platzker | Interactive projected video image display system |
US20020126161A1 (en) * | 1994-07-05 | 2002-09-12 | Hitachi, Ltd. | Information processing system |
US5563988A (en) * | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
WO1996009579A1 (en) * | 1994-09-22 | 1996-03-28 | Izak Van Cruyningen | Popup menus with directional gestures |
US6327381B1 (en) * | 1994-12-29 | 2001-12-04 | Worldscape, Llc | Image transformation and synthesis methods |
US5913727A (en) * | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
US20010006426A1 (en) * | 1996-07-18 | 2001-07-05 | Korea Institute Of Science And Technology | Holographic projection screen for displaying a three-dimensional color images and optical display system using the holographic screen |
US6002808A (en) * | 1996-07-26 | 1999-12-14 | Mitsubishi Electric Information Technology Center America, Inc. | Hand gesture control system |
US6208329B1 (en) * | 1996-08-13 | 2001-03-27 | Lsi Logic Corporation | Supplemental mouse button emulation system, method and apparatus for a coordinate based data input device |
RU2123718C1 (ru) | 1996-09-27 | 1998-12-20 | Кузин Виктор Алексеевич | Способ ввода информации в компьютер |
US6956573B1 (en) * | 1996-11-15 | 2005-10-18 | Sarnoff Corporation | Method and apparatus for efficiently representing storing and accessing video information |
DE69626208T2 (de) * | 1996-12-20 | 2003-11-13 | Hitachi Europ Ltd | Verfahren und System zur Erkennung von Handgesten |
DE19708240C2 (de) * | 1997-02-28 | 1999-10-14 | Siemens Ag | Anordnung und Verfahren zur Detektion eines Objekts in einem von Wellen im nichtsichtbaren Spektralbereich angestrahlten Bereich |
JP3749369B2 (ja) * | 1997-03-21 | 2006-02-22 | 株式会社竹中工務店 | ハンドポインティング装置 |
US7532372B2 (en) * | 1997-07-08 | 2009-05-12 | Kremen Stanley H | Method for creating a holographic screen that reconstructs uniformly magnified three-dimensional images from projected integral photographs |
US6720949B1 (en) * | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
DE19739285C1 (de) | 1997-09-08 | 1998-11-19 | Siemens Nixdorf Inf Syst | Vorrichtung zur Darstellung und virtuellen Eingabe von Daten |
US6222852B1 (en) * | 1997-10-10 | 2001-04-24 | Nortel Networks Limited | Method and apparatus for transmitting dual speed ethernet information (10BASE-T and 100BASE-TX) across a physical layer device service interface |
JP3795647B2 (ja) * | 1997-10-29 | 2006-07-12 | 株式会社竹中工務店 | ハンドポインティング装置 |
FR2771202B1 (fr) * | 1997-11-19 | 2000-01-21 | Inst Nat Rech Inf Automat | Dispositif electronique de traitement de donnees-image, pour la simulation du comportement deformable d'un objet |
US6195104B1 (en) * | 1997-12-23 | 2001-02-27 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
US8479122B2 (en) * | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
US6512507B1 (en) * | 1998-03-31 | 2003-01-28 | Seiko Epson Corporation | Pointing position detection device, presentation system, and method, and computer-readable medium |
US6313853B1 (en) * | 1998-04-16 | 2001-11-06 | Nortel Networks Limited | Multi-service user interface |
US6377229B1 (en) * | 1998-04-20 | 2002-04-23 | Dimensional Media Associates, Inc. | Multi-planar volumetric display system and method of operation using three-dimensional anti-aliasing |
US6064354A (en) | 1998-07-01 | 2000-05-16 | Deluca; Michael Joseph | Stereoscopic user interface method and apparatus |
US6950534B2 (en) * | 1998-08-10 | 2005-09-27 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US6681031B2 (en) * | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
DE19845030A1 (de) * | 1998-09-30 | 2000-04-20 | Siemens Ag | Bildsystem |
US6690357B1 (en) | 1998-10-07 | 2004-02-10 | Intel Corporation | Input device using scanning sensors |
US6222465B1 (en) * | 1998-12-09 | 2001-04-24 | Lucent Technologies Inc. | Gesture-based computer interface |
US6204852B1 (en) * | 1998-12-09 | 2001-03-20 | Lucent Technologies Inc. | Video hand image three-dimensional computer interface |
US6147678A (en) * | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
WO2000055802A1 (de) | 1999-03-17 | 2000-09-21 | Siemens Aktiengesellschaft | Anordnung zur interaktion |
EP1173257A1 (de) * | 1999-04-01 | 2002-01-23 | Dominic Choy | Menschsimulierendes interaktives system |
US7015954B1 (en) * | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
US7006236B2 (en) * | 2002-05-22 | 2006-02-28 | Canesta, Inc. | Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices |
SE0000850D0 (sv) * | 2000-03-13 | 2000-03-13 | Pink Solution Ab | Recognition arrangement |
US6624833B1 (en) * | 2000-04-17 | 2003-09-23 | Lucent Technologies Inc. | Gesture-based input interface system with shadow detection |
US6803928B2 (en) * | 2000-06-06 | 2004-10-12 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Extended virtual table: an optical extension for table-like projection systems |
US6788809B1 (en) * | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
EP1323019A2 (de) * | 2000-09-26 | 2003-07-02 | Eugenio Bustamante | Erzeugung von eingangssignalen |
KR20030072591A (ko) * | 2001-01-08 | 2003-09-15 | 브이케이비 인코포레이티드 | 데이터 입력 디바이스 |
DE10100617A1 (de) | 2001-01-09 | 2002-07-18 | Siemens Ag | Steuerbare Anordnung mit Benutzerauthentisierung |
DE10100615A1 (de) * | 2001-01-09 | 2002-07-18 | Siemens Ag | Handerkennung mit Positionsbestimmung |
US6775014B2 (en) * | 2001-01-17 | 2004-08-10 | Fujixerox Co., Ltd. | System and method for determining the location of a target in a room or small area |
US7215322B2 (en) * | 2001-05-31 | 2007-05-08 | Siemens Corporate Research, Inc. | Input devices for augmented reality applications |
US8035612B2 (en) * | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
EP1689172B1 (de) | 2001-06-05 | 2016-03-09 | Microsoft Technology Licensing, LLC | Interaktives Video-Anzeigesystem |
US7259747B2 (en) * | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
US20020186251A1 (en) * | 2001-06-07 | 2002-12-12 | International Business Machines Corporation | Method, apparatus and computer program product for context-sensitive scrolling |
US7007236B2 (en) | 2001-09-14 | 2006-02-28 | Accenture Global Services Gmbh | Lab window collaboration |
US7110569B2 (en) * | 2001-09-27 | 2006-09-19 | Koninklijke Philips Electronics N.V. | Video based detection of fall-down and other events |
US20030067537A1 (en) * | 2001-10-04 | 2003-04-10 | Myers Kenneth J. | System and method for three-dimensional data acquisition |
US6983065B1 (en) * | 2001-12-28 | 2006-01-03 | Cognex Technology And Investment Corporation | Method for extracting features from an image using oriented filters |
US7138997B2 (en) | 2002-06-28 | 2006-11-21 | Autodesk, Inc. | System for physical rotation of volumetric display enclosures to facilitate viewing |
US7340077B2 (en) * | 2002-02-15 | 2008-03-04 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
US7821541B2 (en) * | 2002-04-05 | 2010-10-26 | Bruno Delean | Remote control apparatus using gesture recognition |
AU2003235142A1 (en) * | 2002-04-26 | 2003-11-10 | Gp Daikyo Corporation | Sound absorbing body, sound absorbing structural body, and method of manufacturing these bodies |
US7348963B2 (en) * | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
US7710391B2 (en) * | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US6857746B2 (en) * | 2002-07-01 | 2005-02-22 | Io2 Technology, Llc | Method and system for free-space imaging display and interface |
US7190461B2 (en) * | 2002-07-17 | 2007-03-13 | New York University | Method and apparatus for determining a bidirectional reflectance distribution function, subsurface scattering or a bidirectional texture function of a subject |
US7321386B2 (en) * | 2002-08-01 | 2008-01-22 | Siemens Corporate Research, Inc. | Robust stereo-driven video-based surveillance |
JP4271423B2 (ja) | 2002-10-29 | 2009-06-03 | 株式会社カネカ | ジメチルアミド化合物とカルボン酸を蒸留分離する方法及びその装置 |
US7576727B2 (en) * | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
ES2212739B1 (es) * | 2003-01-02 | 2005-04-01 | Sociedad Española De Carburos Metalicos, S.A. | Sistema analizador para la deteccion de gases reductores y oxidantes en un gas portador y sensor de gases basado en oxidos metalicos de tipo semiconductor. |
US8745541B2 (en) * | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US7088243B2 (en) | 2003-05-26 | 2006-08-08 | S1 Corporation | Method of intruder detection and device thereof |
US6796656B1 (en) * | 2003-06-14 | 2004-09-28 | Imatte, Inc. | Generating a matte signal from a retro reflective component of a front projection screen |
CA2530987C (en) * | 2003-07-03 | 2012-04-17 | Holotouch, Inc. | Holographic human-machine interfaces |
US20050012817A1 (en) * | 2003-07-15 | 2005-01-20 | International Business Machines Corporation | Selective surveillance system with active sensor management policies |
WO2005010623A2 (en) * | 2003-07-24 | 2005-02-03 | Zebra Imaging, Inc. | Enhanced environment visualization using holographic stereograms |
FR2858692B1 (fr) * | 2003-08-08 | 2006-01-06 | Rosenthal Patrick Olivier Levy | Systeme permettant la visualisation d'images en trois dimensions avec un rendu en relief sur 36o degres |
US7411575B2 (en) * | 2003-09-16 | 2008-08-12 | Smart Technologies Ulc | Gesture recognition method and touch system incorporating the same |
KR100588042B1 (ko) * | 2004-01-14 | 2006-06-09 | 한국과학기술연구원 | 인터액티브 프레젠테이션 시스템 |
US7755608B2 (en) * | 2004-01-23 | 2010-07-13 | Hewlett-Packard Development Company, L.P. | Systems and methods of interfacing with a machine |
US7969409B2 (en) * | 2004-02-18 | 2011-06-28 | Rafal Jan Krepec | Camera assisted pen tablet |
WO2005099386A2 (en) | 2004-04-13 | 2005-10-27 | Board Of Regents, The University Of Texas System | Holographic projector |
JP4424088B2 (ja) | 2004-06-25 | 2010-03-03 | 株式会社日立製作所 | 撮像装置 |
US7519223B2 (en) | 2004-06-28 | 2009-04-14 | Microsoft Corporation | Recognizing gestures and using gestures for interacting with software applications |
US7724242B2 (en) * | 2004-08-06 | 2010-05-25 | Touchtable, Inc. | Touch driven method and apparatus to integrate and display multiple image layers forming alternate depictions of same subject matter |
US8560972B2 (en) * | 2004-08-10 | 2013-10-15 | Microsoft Corporation | Surface UI for gesture-based interaction |
US20060092178A1 (en) | 2004-10-29 | 2006-05-04 | Tanguay Donald O Jr | Method and system for communicating through shared media |
JP5631535B2 (ja) * | 2005-02-08 | 2014-11-26 | オブロング・インダストリーズ・インコーポレーテッド | ジェスチャベースの制御システムのためのシステムおよび方法 |
KR100687737B1 (ko) * | 2005-03-19 | 2007-02-27 | 한국전자통신연구원 | 양손 제스쳐에 기반한 가상 마우스 장치 및 방법 |
US7643051B2 (en) * | 2005-09-09 | 2010-01-05 | Roy Benjamin Sandberg | Mobile video teleconferencing system and control method |
US20070257891A1 (en) * | 2006-05-03 | 2007-11-08 | Esenther Alan W | Method and system for emulating a mouse on a multi-touch sensitive surface |
US8086971B2 (en) | 2006-06-28 | 2011-12-27 | Nokia Corporation | Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications |
US8180114B2 (en) * | 2006-07-13 | 2012-05-15 | Northrop Grumman Systems Corporation | Gesture recognition interface system with vertical display |
US8972902B2 (en) * | 2008-08-22 | 2015-03-03 | Northrop Grumman Systems Corporation | Compound gesture recognition |
US8589824B2 (en) | 2006-07-13 | 2013-11-19 | Northrop Grumman Systems Corporation | Gesture recognition interface system |
US7701439B2 (en) | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
US8234578B2 (en) * | 2006-07-25 | 2012-07-31 | Northrop Grumman Systems Corporatiom | Networked gesture collaboration system |
US8432448B2 (en) * | 2006-08-10 | 2013-04-30 | Northrop Grumman Systems Corporation | Stereo camera intrusion detection system |
US7961173B2 (en) * | 2006-09-05 | 2011-06-14 | Navisense | Method and apparatus for touchless calibration |
US7956847B2 (en) * | 2007-01-05 | 2011-06-07 | Apple Inc. | Gestures for controlling, manipulating, and editing of media files using touch sensitive devices |
US9052575B2 (en) * | 2007-07-12 | 2015-06-09 | Hewlett-Packard Development Company, L.P. | Determining correspondence mappings from infrared patterns projected during the projection of visual content |
US8139110B2 (en) | 2007-11-01 | 2012-03-20 | Northrop Grumman Systems Corporation | Calibration of a gesture recognition interface system |
US9377874B2 (en) * | 2007-11-02 | 2016-06-28 | Northrop Grumman Systems Corporation | Gesture recognition light and video image projector |
JP2011503709A (ja) * | 2007-11-07 | 2011-01-27 | エヌ−トリグ リミテッド | デジタイザのためのジェスチャ検出 |
US8345920B2 (en) | 2008-06-20 | 2013-01-01 | Northrop Grumman Systems Corporation | Gesture recognition interface system with a light-diffusive screen |
US8514251B2 (en) * | 2008-06-23 | 2013-08-20 | Qualcomm Incorporated | Enhanced character input using recognized gestures |
-
2008
- 2008-12-17 US US12/337,225 patent/US9696808B2/en active Active
-
2009
- 2009-09-30 DE DE102009043798.3A patent/DE102009043798B4/de not_active Expired - Fee Related
- 2009-10-12 GB GB0917797A patent/GB2466332B/en not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011119082A1 (de) * | 2011-11-21 | 2013-05-23 | Übi UG (haftungsbeschränkt) | Vorrichtungsanordnung zur Schaffung eines interaktiven Bildschirms aus einem Bildschirm |
DE102012025320B4 (de) | 2012-12-22 | 2019-04-04 | Audi Ag | Verfahren zum Steuern einer elektrischen Einrichtung durch Erfassen und Auswerten einer berührungslosen manuellen Bedieneingabe einer Hand einer Bedienperson sowie dafür geeignete Steuervorrichtung und Fahrzeug |
DE102013000066A1 (de) * | 2013-01-08 | 2014-07-10 | Audi Ag | Zoomen und Verschieben eines Bildinhalts einer Anzeigeeinrichtung |
WO2016120251A1 (de) * | 2015-01-30 | 2016-08-04 | Robert Bosch Gmbh | Verfahren zum betreiben einer eingabevorrichtung, eingabevorrichtung |
Also Published As
Publication number | Publication date |
---|---|
GB0917797D0 (en) | 2009-11-25 |
GB2466332A (en) | 2010-06-23 |
GB2466332B (en) | 2011-06-15 |
US20090103780A1 (en) | 2009-04-23 |
DE102009043798B4 (de) | 2014-07-24 |
US9696808B2 (en) | 2017-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102009043798B4 (de) | Verfahren zur Erkennung von Handgesten | |
DE102009034413B4 (de) | Erkennung zusammengesetzter Gesten | |
DE102009025236B4 (de) | Schnittstellensystem zur Gestenerkennung mit einem lichtstreuenden Bildschirm | |
DE102009023875A1 (de) | Gestenerkennungsschittstellensystem mit vertikaler Anzeigefläche | |
DE69530395T2 (de) | Interaktives projektiertes videobildanzeigesystem | |
DE102009032637B4 (de) | Bildvergrößerungssystem für eine Computerschnittstelle | |
DE69724416T2 (de) | Zeigersteuerung mit benutzerrückführungsmechanismus | |
DE60133386T2 (de) | Vorrichtung und verfahren zur anzeige eines ziels mittels bildverarbeitung ohne drei dimensionales modellieren | |
DE19708240C2 (de) | Anordnung und Verfahren zur Detektion eines Objekts in einem von Wellen im nichtsichtbaren Spektralbereich angestrahlten Bereich | |
DE10221415B4 (de) | Optische Druckknopfbildschirm-Zeigevorrichtung | |
DE60028894T2 (de) | Präsentationssystem mit einer interaktiven Darstellung | |
DE112014000441T5 (de) | Dynamische Benutzerinteraktionen für Displaysteuerung und Angepaßte Gesten Interpretation | |
DE10211340A1 (de) | Optisches Bildschirmzeigegerät mit Trägheitseigenschaften | |
DE20221921U1 (de) | Tragbare elektronische Vorrichtung mit mausähnlichen Fähigkeiten | |
CN101040242A (zh) | 用于使用手的3d呈现应用的系统 | |
Maguire | A review of human factors guidelines and techniques for the design of graphical human-computer interfaces | |
DE102015201613A1 (de) | Verfahren und Vorrichtung zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung | |
DE102016115479A1 (de) | Nutzerschnittstelle für Elektronikgerät, Eingabeverarbeitungsverfahren und Elektronikgerät | |
DE112019002798T5 (de) | Informationsverarbeitungsvorrichtung, informationsverabeitungsverfahren und programm | |
DE112020003221T5 (de) | Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Programm | |
DE102014224599A1 (de) | Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung | |
DE102011119082A1 (de) | Vorrichtungsanordnung zur Schaffung eines interaktiven Bildschirms aus einem Bildschirm | |
DE112004002016T5 (de) | In der Hand gehaltenes Gerät zur Navigation durch Daten und zur Datenanzeige | |
DE112010005854T5 (de) | Eingeben eines Befehls | |
DE10124834C2 (de) | Verfahren zur Informationseingabe für eine Mensch-Maschine-Schnittstelle, Stift zur Durchführung des Verfahrens und Vorrichtung zur Eingabe von Informationen mittels des Verfahrens |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |