DE102009034413A1

DE102009034413A1 - Erkennung zusammengesetzter Gesten

Info

Publication number: DE102009034413A1
Application number: DE102009034413A
Authority: DE
Inventors: Keith H. Los Altos Nishihara; Shi-Ping Pasadena Hsu; Adrian Boulder Creek Kaehler; Bran Glendale Ferren; Lars Glendale Jangaard
Original assignee: Northrop Grumman Space and Mission Systems Corp
Current assignee: Northrop Grumman Systems Corp
Priority date: 2008-08-22
Filing date: 2009-07-23
Publication date: 2010-02-25
Anticipated expiration: 2029-07-24
Also published as: US20100050133A1; US8972902B2; GB0913330D0; GB2462709B; GB2462709A; DE102009034413B4

Abstract

Eine Ausführungsform der Erfindung umfasst ein Verfahren zur Ausführung und Auswertung von Gesteneingaben in ein Schnittstellensystem für die Gestenerkennung. Das Verfahren weist das Erfassen und Übertragen einer ersten Untergeste in eine erste Geräteeingabe auf, die einen vorgegebenen Bezug definiert, der mit einem Ausschnitt eines angezeigten visuellen Inhalts bzw. Contents verknüpft ist. Das Verfahren umfasst auch das Erfassen und Übertragen einer zweiten Untergeste in eine zweite Geräteeingabe, die einen Ausführungsbefehl für den Teil des angezeigten visuellen Inhalts definiert, auf den sich der vorgegebene Bezug bezieht.

Description

Technisches Gebier
Die Erfindung bezieht sich allgemein auf Schnittstellensysteme und insbesondere auf die Erkennung zusammengesetzter Gesten.
Technischer Hintergrund
Mit der Zunahme der mit einem Computer ausgeführten Tätigkeiten werden vielfach neue und innovative Wege zur Schaffung einer Schnittstelle mit einem Computer entwickelt, um die Veränderungen in der Computerfunktionalität und Aufmachung zu ergänzen. So können es berührungsempfindliche Bildschirme einem Benutzer zum Beispiel erlauben, Eingabe in den Computer ohne eine Maus und/oder eine Tastatur zu machen, so dass zur Eingabe kein Platz auf dem Schreibtisch mit dem Computer erforderlich ist. Beispiele solcher berührungsempfindlicher Bildschirme umfassen berührungsempfindliche Membranen, Strahlunterbrechungstechniken mit längs des Umfangs vorgesehenen Lichtquellen und Sensoren und akustisch abtastende Techniken. Diese Arten von Computerschnittstellen können jedoch nur Informationen an den Computer bezüglich eines Berührungsereignisses selbst geben und sind folglich in ihrer Anwendbarkeit beschränkt. Hinzu kommt, dass diese Arten von Schnittstellen hinsichtlich der Anzahl von Berührungsvorgängen, die in einer vorgegebenen Zeitspanne verarbeitet werden können, beschränkt sind, und dass sie der Gefahr der Verarbeitung unbeabsichtigter Berührungen ausgesetzt sind, wenn sie beispielsweise Berührungen, die von der Manschette eines Hemdes oder der Handfläche stammen, als Berührungsereignisse werten. Hinzu kommt, dass berührungsempfindliche Bildschirme prohibitiv teuer sein können und dass sehr großen Bildschirmgrößen, wie sie beispielsweise bei Präsentationen verwendet werden, unpraktisch sind.
Zusammenfassung
Eine Ausführungsform der Erfindung umfasst ein Verfahren zur Ausführung und Auswertung von Gesteneingaben in ein Schnittstellensystem für die Gestenerkennung. Das Verfahren weist das Erfassen und Übertragen einer ersten Untergeste in eine erste Geräteeingabe auf, die einen vorgegebenen Bezug definiert, der mit einem Ausschnitt eines angezeigten visuellen Inhalts bzw. Contents verknüpft ist. Das Verfahren umfasst auch das Erfassen und Übertragen einer zweiten Untergeste in eine zweite Geräteeingabe, die einen Ausführungsbefehl für den Teil des angezeigten visuellen Inhalts definiert, auf den sich der vorgegebene Bezug bezieht.
Eine andere Ausführungsform der Erfindung weist ein Verfahren zur Ausführung und Auswertung von Gesteneingaben in ein Schnittstellensystem für die Gestenerkennung auf. Das Verfahren umfasst das Aufnehmen einer Vielzahl sequenzieller Bilder einer Gesteneingabeumgebung, das Erkennen einer ersten Untergeste aufgrund eines Ortes im dreidimensionalen Raum von wenigstens einem Merkmal eines ersten Eingabeobjekts relativ zum angezeigten visuellen Inhalt in jedem der Vielzahl sequenzieller Bilder der Gesteneingabeumgebung. Das Verfahren umfass ferner das Übertragen bzw. Übersetzen der ersten Untergeste in eine erste Geräteeingabe, die einen vorgegebenen Bezugspunkt definiert, der mit einem Ausschnitt des angezeigten visuellen Inhalts verknüpft ist. Das Verfahren umfasst weiterhin das Erfassen einer zweiten Untergeste aufgrund von Änderungen des Orts im dreidimensionalen Raum von wenigstens einem Merkmal von wenigstens dem ersten Eingabeobjekt und einem zweiten Eingabeobjekt in jedem der Vielzahl aufeinanderfolgender Bilder der Gesteneingabeumgebung. Darüber hinaus weist das Verfahren das Übertragen der zweiten Untergeste in eine zweite Geräteeingabe auf, die einen auszuführenden Befehl für einen Ausschnitt des angezeigten visuellen Inhalts definiert, auf den sich der vorgegebene Bezugspunkt bezieht.
Eine andere Ausführungsform der Erfindung ist ein Gestenerkennungssystem. Das System umfasst Mittel zum Anzeigen visuellen Inhalts und Mittel zum Aufnehmen einer Vielzahl von sequenziellen Bildern einer Gesteneingabeumgebung, die dem visuellen Inhalt zugeordnet ist. Das System weist ferner Mittel zur Bestimmung einer zusammengesetzten Gesteneingabe auf, die wenigstens einem Eingabeobjekt zugeordnet ist, auf der Grundlage dreidimensionaler Orte wenigstens eines Merkmals wenigstens eines Eingabeobjekts in jedem der Vielzahl von sequenziellen Bildern der Gesteneingabeumgebung. Das System weist weiterhin Mittel zum Übertragen der zusammengesetzten Gesteneingaben in eine erste Geräteeingabe und eine zweite Geräteeingabe auf. Die erste Geräteeingabe kann zum Hinweisen auf einen Ausschnitt aus dem visuellen Inhalt ausgebildet sein, und die zweite Geräteeingabe kann zur Ausführung eines Befehls ausgestaltet sein, der mit dem Ausschnitt des visuellen Inhalts verknüpft ist, auf den die erste Geräteeingabe sich in wenigstens einer der Vielzahl der sequenziellen Bilder bezieht.
Kurze Beschreibung der Zeichnungen
1 stellt ein Beispiel eines Schnittstellensystems zur Gestenerkennung gemäß einem Aspekt der Erfindung dar.
2 stellt ein Beispiel einer Darstellung von Geräteeingaben dar, die gemäß einem Aspekt der Erfindung über eine zusammengesetzte Handgeste verwirklicht sind.
3 stellt ein Beispiel einer Darstellung dar, die Geräteeingaben, die über eine zusammengesetzte Handgeste gemäß einem Aspekt der Erfindung erfolgen, zeigt.
4 zeigt ein Beispiel einer Darstellung von zusammengesetzten Gesten zur Verwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung.
5 stellt ein anderes Beispiel einer Darstellung von zusammengesetzten Handbewegungen für die Verwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar.
6 zeigt ein Beispiel einer zusammengesetzten Geste von zwei Händen zur Verwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung.
7 stellt ein Beispiel einer Abbildung eines Satzes zusammengesetzter Gesten von zwei Händen zur Verwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar.
8 stellt ein anderes Beispiel eines Schnittstellensystems zur Gestenerkennung gemäß einem Aspekt der Erfindung dar.
9 stellt ein weiteres Beispiel eines Schnittstellensystems zur Gestenerkennung gemäß einem Aspekt der Erfindung dar.
10 stellt ein Beispiel eines Verfahrens zur Erzeugung von Gesteneingaben in einen Computer gemäß einem Aspekt der Erfindung dar.
Ausführliche Beschreibung
Die Erfindung betrifft allgemein Schnittstellensysteme und insbesondere die Erkennung zusammengesetzter Gesten. Ein Benutzer verwendet ein Eingabeobjekt zur Erzeugung simulierter Eingaben in einen Computer oder einem anderen elektronischen Gerät. Dabei versteht sich, dass die simulierten Eingaben durch zusammengesetzte Gesten unter Verwendung des Eingabeobjekts erzeugt werden können. Der Benutzer kann zum Beispiel Gesten erzeugen, die unter Verwendung des Eingabeobjekts vordefinierte Bewegungen in einer Umgebung zur Gestenerkennung, wie sie durch den Vordergrund eines Anzeigebildschirms, der visuellen Inhalt anzeigt, definiert sind, beinhalten. Das Eingabeobjekt könnte zum Beispiel eine oder beide Hände des Benutzers umfassen, oder kann ein Stab, ein Schreibstift, ein Zeigestock oder eine Vielfalt anderer Geräte sein, mit denen der Benutzer gestikulieren kann. Die simulierten Eingaben können beispielsweise simulierte Mauseingaben sein, mit denen z. B. ein Bezug auf angezeigten visuellen Inhalt hergestellt wird und mit denen ein Befehl auf Ausschnitten des visuellen Inhalts, auf die sich der Bezug bezieht, ausgeführt werden kann. Folglich kann eine zusammengesetzte Geste eine Geste sein, mit der vielfache Untergesten zur Erzeugung vielfach verknüpfte Geräteeingaben eingesetzt werden können. So kann zum Beispiel eine erste Untergeste eine Bezugsgeste zur Verknüpfung mit einem Ausschnitt des visuellen Inhalts sein und eine zweite Untergeste kann eine Ausführungsgeste sein, die gleichzeitig mit oder unmittelbar im Anschluss an die erste Untergeste ausgeführt wird, um z. B. einen Befehl auf dem Ausschnitt des visuellen Inhalts auszuführen, auf den sich die erste Untergeste bezieht.
Jedes einer Vielfalt von Schnittstellensystem zur Gestenerkennung kann zur Erkennung der zusammengesetzten Gesten eingesetzt werden. So können zum Beispiel eine oder mehrere Infrarot (IR) Lichtquellen eine Gestenerkennungsumgebung beleuchten, die durch einen Bereich in einem physikalischen Raum im Vordergrund bzw. vor oder über einer vertikalen bzw. horizontalen Anzeigefläche definiert ist. Ein Satz von Stereokameras kann jeweils eine Vielzahl von Bildern des Eingabeobjekts erzeugen. Die Vielzahl der Bilder kann zum Beispiel auf dem Kontrast reflektierten Lichts von dem Infrarotlicht beruhen, das von dem Eingabeobjekt relativ zum im wesentlichen nicht reflektierten Licht oder stärker reflektierten Licht von einer rück-reflektierenden Hintergrundfläche reflektiert wird. Die Vielzahl der Bilder des Eingabeobjekts von jeder Kamera kann zum Beispiel eine Vielzahl zusammengehöri ger Sätze von Bildern des Eingabeobjekts bilden, derart, dass jedes Bild in dem zusammengehörigen Satz von Bildern dem Eingabeobjekt aus einer unterschiedlichen Perspektive zu im wesentlichen der gleichen Zeit entspricht. Ein gegebener zusammengehöriger Satz von Bildern kann zur Bestimmung des Ortes des Eingabeobjekts eingesetzt werden und die Vielzahl der zusammengehörigen Sätze von Bildern kann zur Bestimmung der physischen Bewegung des Eingabeobjekts benutzt werden.
Ein Kontroller kann zum Empfang der Vielzahl der Bilder für die Bestimmung von dreidimensionalen Lageinformationen von dem Eingabeobjekt eingesetzt werden. Zum Beispiel kann der Kontroller einen Algorithmus zur Bestimmung von Merkmalen des Eingabeobjekts einsetzen, zum Beispiel den Endpunkten, der Länge und der Neigung länglicher Abschnitte des Eingabeobjekts im dreidimensionalen Raum. Der Kontroller kann dann die simulierten Eingaben in Geräteeingaben auf der Grundlage der Lageinformation in den drei Dimensionen umsetzen. Zum Beispiel kann der Kontroller Gesteneingaben auf der Grundlage von Bewegungen übertragen, die mit dem Eingabeobjekt verknüpft sind und die Gesteneingaben in Eingaben in einen Computer oder ein anderes Gerät übertragen. Der Kontroller kann auch die mit dem einen oder den mehreren Endpunkten des Eingabeobjekts verknüpfte Bewegung mit einer Vielzahl vordefinierter, in einem Speicher gespeicherten Gesten vergleichen, so dass eine Übereinstimmung mit einer gegebenen vordefinierten Geste einer bestimmten Geräteeingabe entspricht.
1 zeigt ein Ausführungsbeispiel eines Schnittstellensystems 10 zur Gestenerkennung gemäß einem Aspekt der Erfindung. Das Schnittstellensystem 10 zur Gestenerkennung umfasst eine erste Kamera 12, eine zweite Kamera 14, eine erste Infrarotlichtquelle 16 und eine zweite Infrarotlichtquelle 18, die alle über einer vertikalen Anzeigefläche 20 angebracht sind. Die vertikale Anzeigefläche 20 kann beispielsweise eine Projektionsleinwand sein. Die erste Kamera 12 und die zweite Kamera 14 können jeweils Infrarotfilter aufweisen, so dass die jeweilige Kamera nur Infrarotlicht zu empfangen in der Lage ist. Die erste Infrarotlichtquelle 16 und die zweite Infrarotlichtquelle 18 beleuchten jede eine Gestenerkennungsumgebung 22, die als der dreidimensionale physische Raum im Vordergrund der vertikalen Anzeigefläche 20 definiert ist, die von der ersten Kamera 12 und der zweiten Kamera 14 erfassbar sind.
Ein Eingabeobjekt 24 kann simulierte Eingaben über der vertikalen Anzeigefläche 20 erzeugen. In dem Ausführungsbeispiel nach 1 ist als Eingabeobjekt 24 die Hand eines Benutzers dargestellt, derart, dass simulierte Eingaben über die Handgesten erzeugt werden können. Es versteht sich jedoch, dass die Verwendung einer Hand zur Erzeugung simulierter Eingaben über Handgesten nur eine beispielhafte Verkörperung für das Schnittstellensystems 10 zur Gestenerkennung darstellt. Beispiele anderer Arten von Eingabeobjekten können einen Schreibstift, einen Stab, einen Zeigestock oder eine Vielzahl anderer Geräte umfassen, mit denen Gesten zur Simulation von Eingaben erzeugt werden können. Hinzu kommt, dass als Beispiel zur Ausführung von Gesten mittels der Hand eines Benutzers als dem Eingabeobjekt 24 zur Erzeugung simulierter Eingaben die Hand des Benutzers einen Handschuh und/oder eine Fingerspitze oder Gelenksensoren aufweisen können oder es kann die nackte Hand eines Benutzers sein.
Bei dem Ausführungsbeispiel nach 1 empfangen die erste Kamera 12 und die zweite Kamera 14 getrennte Bilder des Eingabeobjekts 24, von denen jedes der von der ersten Kamera 12 bzw. der zweiten Kamera 14 aufgenommenen Bilder einen zusammengehörigen Satz (z. B. ein zusammengehöriges Paar) bilden. Als ein Beispiel kann sowohl die erste Kamera als auch die zweite Kamera schnell fotografische Standbilder mit zum Beispiel 60 Bildern je Sekunde aufnehmen, so das jedes Standfoto, das mit der ersten Kamera 12 aufgenommen wurde, zu einem Standfoto, das mit der zweiten Kamera 14 zu praktisch der gleichen Zeit aufgenommen wurde, zugehörig ist. Das Eingabeobjekt 24 kann in jedem Bild des zusammengehörigen Satzes, der durch die erste Kamera 12 und die zweite Kamera 14 jeweils aufgenommen wurde, aufgrund der Parallaxe, die durch die unterschiedlichen Befestigungsorte für sowohl die erste Kamera 12 als auch die zweite Kamera 14 verursacht sind, an einem anderen Ort zu sein erscheinen. In dem Beispiel nach 1 kann die erste Kamera 12 und die zweite Kamera 14 jeweils unter einem Winkel auf das Zentrum der vertikalen Anzeigefläche 20 ausgerichtet sein, so dass eine genauere Bestimmung der Position des Eingabeobjekts 24 ermöglicht ist.
Bei dem Ausführungsbeispiel nach 1 können die sowohl von der erste Kamera 12 als auch der zweite Kamera 14 empfangenen Bilder des Eingabeobjekts 24 können auf Infrarotlicht beruhen, das von dem Eingabeobjekt relativ zum im wesentlichen nicht-reflektierten Licht in der Gestenerkennungsumgebung reflektiert ist. Insbesondere ist ein Objekt mit einer relativen Helligkeitsintensität beleuchtet, die 1/D² ist, mit D dem Abstand von der Lichtquelle. Folglich erscheint ein Objekt, das zweimal so weit entfernt wie ein anderes ist, vier mal schwächer. Das hat zur Folge, dass, obwohl einiges Infrarotlicht, das von der ersten und zweiten der Infrarotlicht quellen 16 und 18 ausgestrahlt wird, vom Boden 28 unterhalb der vertikalen Anzeigefläche 20 reflektiert wird, die Intensität des so reflektierten Lichtes deutlich geringer als die des vom Eingabeobjekt 24 reflektierten Lichts ist.
Die erste Kamera 12 und die zweite Kamera 14 können jede ihre entsprechenden getrennten Bilder des Eingabeobjekts an einen Kontroller 26 übergeben. Der Kontroller könnte in einem nicht dargestellten Computer vorgesehen sein, für das das Schnittstellensystem 10 zur Gestenerkennung für die Bildung einer Gestenerkennungsschnittstelle ausgebildet ist. Dabei versteht es sich jedoch, dass das Unterbringen eines Kontrollers nicht auf einen alleinstehenden Computer beschränkt ist und dass dieser zum Beispiel in einem Prozessor eingebettet sein kann. Der Kontroller kann die entsprechenden, mit dem Eingabeobjekt verknüpften Bilder verarbeiten, um dreidimensionale, mit dem Eingabeobjekt verknüpfte Ortsdaten zu erzeugen.
Es können zum Beispiel die erste Kamera 12 und die zweite Kamera 14 jeweils unter vorgegebenen Winkeln relativ zum Boden 28 unterhalb der vertikalen Anzeigefläche 20 montiert sein. Für ein gegebenes zusammengehöriges Paar von Bildern des Eingabeobjekts 24 hat dann, wenn der vorbestimmte Winkel jeder der Kameras 12 und 14 der gleiche ist, jeder Punkt des Eingabeobjekts 24 in einem zweidimensionalen Raum in einem gegebenen Bild von der Kamera 12 den gleichen Abstand von einem entsprechenden Punkt des Eingabeobjekts 24 in dem entsprechenden zugehörigen Bild von der Kamera 14. Der Kontroller 26 könnte den physikalischen Ort des Eingabeobjekts 24 aufgrund einer relativen Parallaxenverschiebung des zusammengehörigen Satzes von Bildern des Eingabeobjekts 24 zu einer gegebenen Zeit dreidimensional bestimmen. Zusätzlich könnte der Kontroller 26 unter Verwendung eines Computeralgorithmusses auch dreidimensional den physischen Ort von Merkmalen, die mit Abschnitten des Eingabeobjekts 24 verknüpft sind, zum Beispiel Finger oder Fingerspitzen, bestimmen. Als Beispiel sei genannt, dass der Kontroller 26 zur Bestimmung und Übertragung der Gesten ausgebildet sein kann, die in der Gestenerkennungsumgebung auf eine von vielen verschiedenen Weisen erzeugt wurden, wie beispielsweise jenen, die sowohl in der US-Patentanmeldung mit dem Titel ”Gesture Recognition Interface System” (Schnittstellensystem zur Gestenerkennung), Seriennummer 11/485,788, angemeldet am 13. Juli 2006 und veröffentlicht als US 2008/0013826 A1 , als auch der CIP-US-Patentanmeldung ”Gesture Recognition Interface System With Vertical Display” (Schnittstellensystem für die Gestenerkennung mit vertikaler Anzeige), Seriennummer 12/133,836, angemeldet am 5. Juni 2008, veröffentlicht als US 2008/0244468 A1 , die beide auf den gleichen Rechtsinhaber wie dem der vorliegenden Anmeldung übertragen wurden, beschrieben sind und die hierher durch Bezugnahme auf sie in ihrer Gesamtheit einbezogen werden.
Das Schnittstellensystem 10 zur Gestenerkennung kann auch einen Projektor 30 umfassen. Der Projektor 30 kann visuellen Inhalt, mit dem der Benutzer wechselseitig zusammenwirken und Eingaben erzeugen kann, zur Verfügung stellen. In dem Ausführungsbeispiel der 1 kann der Projektor 30 visuellen Inhalt auf die vertikale Anzeigefläche 20 projizieren. Da die Infrarotlichtquellen 16 und 18 kein sichtbares Licht abgeben, kann die Infrarotbeleuchtung den sichtbaren Inhalt, den der Projektor 30 projiziert, nicht stören. Der Benutzer kann folglich das Eingabeobjekt 24 in der Gestenerkennungsumgebung 22 zum Simulieren von Eingaben in interaktiver Weise mit dem visuellen Inhalt einsetzen.
Der Kontroller 26 kann in einem Beispiel zusammengesetzte Gesten bestimmen, die von einem Benutzer unter Verwendung des Eingabeobjekts 24 gemacht werden, und kann die zusammengesetzten Gesten in simulierte Mauseingaben übertragen. So kann der Kontroller 26 zum Beispiel das Zeigen auf die vertikale Anzeigefläche 24 mit Hilfe des Eingabeobjekts 24 derart übertragen bzw. übersetzen, wie mit einem ausgestreckten Zeigefinger, um einen Bezug 32 auf den visuellen Inhalt zu erzeugen, der auf der vertikalen Anzeigefläche 20 gezeigt ist. Bei dem Ausführungsbeispiel nach 1 ist der Bezug 32 als ein Mauszeiger wiedergegeben, aber es versteht sich, dass der Bezug 32 auch auf eine von vielen anderen Weisen programmiert sein kann, um sich auf Ausschnitte des visuellen Inhalts zu beziehen. Der Kontroller 26 kann folglich zur Übertragung von einer zweidimensionalen Bewegung der Endpunkte des ausgestreckten Zeigefingers des Eingabeobjekts 24 über die vertikale Anzeigefläche 20 als eine Bewegung des Bezugs 32 über den visuellen Inhalt deuten, wie dies im Beispiel der 1 mit Hilfe des Pfeils 34 dargestellt ist.
Die Gewinnung des Bezugs 32 kann eine erste von vielen Untergesten einer zusammengesetzten Geste sein. Insbesondere kann eine zusätzliche Untergeste unter Verwendung des Eingabeobjekts 24 erfolgen oder ein zusätzliches Eingabeobjekt, wie z. B. die andere Hand des Benutzers, kann zur Erzeugung einer Ausführungsgeste vorgesehen sein, die in einen Ausführungsbefehl zur Wechselwirkung mit einem Ausschnitt des visuellen Inhalts, auf den der Bezug 32 hinweist, wie aufgrund eines visuellen Überlappens, übertragen wird. Der Ausschnitt des visuellen Inhalts, mit dem sich der Bezug 32 überlappt, könnte ein aktiver Abschnitt sein, wie ein solcher, der eine Wechselwirkung aufgrund der Ausführungsbefehle erzeugt. Der Kontroller 26 kann daher die zusätzliche Untergeste der zusammengesetzten Geste als einen Linksklick der Maus, einen rechten Mausklick, einen Doppelklick der Maus oder ein Klicken und Halten der Maus interpretieren. Folglich könnte der Benutzer des Schnittstellensystems 10 zur Gestenerkennung durch eine Anzahl von Computermenüs, grafischen Benutzerschnittstellenikons (GUI) navigieren und/oder mit einem Computer verknüpfte Programme ausführen, und dies nur durch Bewegung seiner oder ihrer Fingerspitze durch die Luft in der Gestenerkennungsumgebung 22 und durch Auslösen einer oder mehrerer komplementärer Gesten ohne Berührung einer Maus oder der vertikalen Anzeigefläche 20.
2 stellt ein Ausführungsbeispiel einer Abbildung 50 dar, die Geräteeingaben zeigt, die über eine zusammengesetzte Handgeste gemäß einem Aspekt der Erfindung erzeugt sind. Die Abbildung 50 entspricht einer zusammengesetzten Handgeste, die mit einem von vielen möglichen Schnittstellensystemen zur Gestenerzeugung ausgeführt wird, derart, wie beispielsweise dem Schnittstellensystem 10 zur Gestenerkennung des Ausführungsbeispiels nach 1. Die Abbildung 50 ist in dem Beispiel 2 mit einem ersten Ausschnitt 52, einem zweiten Ausschnitt 54 und einem dritten Ausschnitt 56 gezeigt.
Der erste Ausschnitt 52 der Abbildung 50 zeigt, wie die Hand 58 eines Benutzers eine erste Untergeste derart ausführt, dass die Hand 58 des Benutzers als ein Eingabeobjekt verwendet wird, das mit dem Schnittstellensystem zur Gestenerkennung verknüpft ist. Die erste Untergeste wird in dem Beispiel der 2 als ein ausgestreckter Zeigefinger verkörpert, der auf eine Anzeigefläche, die visuellen Inhalt wiedergibt, zeigt. In dem Beispiel der 2 ist visueller Inhalt in Form von drei Ikons 62 wiedergegeben, die mit OBJECT 1, OBJECT 2 und OBJECT 3 auf einem Hintergrundfeld (d. h. einer Desktopfläche) bezeichnet sind. In einem Beispiel kann das Ikon 62 Ordnern, Dateien und/oder ausführbaren Programmen entsprechen. Als Ergebnis eines zugeordneten, nicht dargestellten Kontrollers, der die erste Untergeste des ausgestreckten Zeigefingers erkennt, kann der zugeordnete Kontroller die erste Untergeste in eine Geräteeingabe übertragen, die einen auf den visuellen Inhalt überlagerten Bezug 64 erzeugt. Daher entspricht die erste Untergeste einer Bezugsgeste für den Bezug auf spezielle Ausschnitte des visuellen Inhalts auf der Anzeigefläche 60. Dementsprechend kann der Bezug 64 über den visuellen Inhalt auf der Anzeigefläche 60 mit einer Quer- oder Winkelbewegung des Zeigefingers der Hand 58 des Benutzers bewegt werden.
Der zweite Ausschnitt 54 der Abbildung 50 zeigt, dass, nachdem sich der Bezug 64 auf das Objekt bezieht, der Benutzer eine zweite Untergeste der zusammengesetzten Geste mit der Hand 58 durch Ausstrecken des Daumens der Hand 58 erzeugt. Die zweite Untergeste, die durch Ausstrecken des Daumens der Hand 58 erzeugt wird, kann somit eine Ausführungsgeste sein. Daher könnte in dem zweiten Ausschnitt 54 der Abbildung 50 das Ausstrecken des Daumens durch den zugeordneten Kontroller als ein ”Klick und Halte”-Befehl übertragen werden, derart, dass ein Klicken und Halten der linken Maustaste simuliert wird. Dementsprechend ist in dem zweiten Ausschnitt 54 der Abbildung 50 das OBJECT 3 zur Wechselwirkung mit dem Benutzer nur durch Ausstrecken des Daumens gewählt.
Der dritte Ausschnitt 56 der Abbildung 50 zeigt das wechselseitige Zusammenwirken des OBJECTS 3 aufgrund der Implementierung der ersten Geste der zusammengesetzten Geste durch den Benutzer. Wie im Beispiel der 2 durch die Pfeile 66 gezeigt, kann der Benutzer das OBJECT 3, während der Benutzer die erste Untergeste (d. h. den ausgestreckten Zeigefinger) und die zweite Untergeste (d. h. den ausgestreckten Daumen) beibehält, über die Hintergrundumgebung des Desktops des visuellen Inhalts aufgrund der Bewegung ihrer oder seiner Hand 58 über die Anzeigefläche 60 bewegen. Mit andere Worten, durch Beibehaltung der Bezugsuntergeste der zusammengesetzten Geste zur Herstellung des Bezugs 64 und der Ausführung einer Untergeste der zusammengesetzten Geste zur Auswahl des OBJECTS 3 zur Wechselwirkung kann der Benutzer eine Klick- und Zieh-Geräteeingabe mit der zusammengesetzten Geste ausführen, so wie sie mit einer Maus ausgeführt werden könnte. Der Benutzer kann somit das OBJECT 3 auch abwählen, z. B. durch Einziehen des Daumens oder des Fingers oder durch Herausbewegen der Hand 58 aus der Umgebung der Gestenerkennung.
Das Beispiel der 2 zeigt somit ein Beispiel einer zusammengesetzten Geste derart, dass die zusammengesetzte Geste eine Bezugsgeste und eine Ausführungsgeste umfasst, die in die Ausführung zugehöriger Geräteeingaben übersetzt werden. Es versteht sich jedoch, dass die Abbildung 50 nicht als auf das Beispiel der 2 beschränkt auszulegen ist. Es könnte zum Beispiel die Bezugsgeste durch Ausstrecken irgendeines der Finger der Hand 58 ausgeführt werden oder durch Ausstrecken mehrerer Finger, also zum Beispiel sowohl des Zeigefingers als auch des Mittelfingers. Nach einem anderen Beispiel kann die Ausführung der Geste durch Ausstrecken eines anderen Fingers als dem Daumen oder zusätzlich zu dem Daumen erfolgen, wie z. B. durch Ausstrecken des kleinen Fingers (d. h. des Pinky-Fingers). Somit kann jede einer Vielzahl von zusammengesetzten Gesten zur Ausführung einer Klick- und Zieh-Geräteeingabe, wie sie im Beispiel der 2 dargestellt ist, verwendet werden.
Die zusammengesetzte Geste, die im Beispiel der 2 dargestellt ist, ist derart, dass die Bezugsgeste und die Ausführungsgeste gleichzeitig ausgeführt werden. Betrachtet man noch einmal das Beispiel der 1, sollte der Kontroller 26 somit sowohl die Bezugsgeste als auch die Ausführungsgeste gleichzeitig übersetzen bzw. übertragen. Für eine bestimmte zusammengesetzte Geste könnte die Ausführungsgeste jedoch so beschaffen sein, dass sie die Verwendung des Merkmals des Eingabeobjekts 24 erfordert, das für die Bezugsgeste vorgesehen ist. So kann es zum Beispiel die Ausführungsgeste für eine bestimmte zusammengesetzte Geste erfordern, dass der Benutzer ihren oder seinen Zeigefinger derart verwendet, dass es nicht länger möglich ist, auf den Ausschnitt des visuellen Inhalts zu weisen, aufgrund dessen der Ausführungsbefehl auf die Ausführungsgeste hin auszuführen ist. Dann müsste der Kontroller 26 so ausgestaltet sein, dass er die Bezugsgeste und die Ausführungsgeste einer gegebenen zusammengesetzten Geste nacheinander ausführt, um sicherzustellen, dass die Ausführung des Befehls auf dem richtigen Ausschnitt des visuellen Inhalts ausgeführt wird.
Bei dem Beispiel der 1 umfasst der Kontroller 26 einen Bildpuffer 36, der zur Speicherung nacheinander aufgenommener Bilder von sowohl der ersten Kamera 12 als auch der zweiten Kamera 14 vorgesehen ist. Der Bildpuffer 36 kann zum Beispiel ein Speicher sein, der derart als eine Folge konfiguriert ist, dass neue Bilder die von der ersten und zweiten Kamera 12 und 14 aufgenommen wurden, an den Bildpuffer 36 zum Überschreiben der darin gespeicherten ältesten Bilder übergeben werden. Die aufeinanderfolgenden Bilder, die in dem Bildpuffer 36 gespeichert sind, können vom Kontroller 26 zur Übersetzung der Gesten, die in der Gestenerkennungsumgebung 22 ausgeführt wurden, in Geräteeingaben verwendet werden. Der Kontroller 26 kann zum Beispiel so ausgebildet sein, dass er die aufeinanderfolgenden Bilder, die in dem Bildspeicher 36 gespeichert sind, analysiert, um die dreidimensionale Bewegung des dem Eingabeobjekt 24 zugeordneten Merkmals zu bestimmen. Der Kontroller 26 kann somit die dreidimensionale Bewegung mit der vordefinierten Geste, die in der Bibliothek 38 für vordefinierte Gesten gespeichert sind, vergleichen. Folglich kann der Kontroller die zutreffende Geräteeingabe aufgrund der Ausführung der korrespondierenden Gesten bestimmen.
Zusätzlich zum Übertragen der Gesten in Geräteeingaben aufgrund der in dem Bildspeicher 36 gespeicherten aufeinanderfolgenden Bildern kann der Kontroller 26 folglich auch auf die im Bildspeicher 36 gespeicherten aufeinanderfolgenden Bilder zugreifen, um einen Ausschnitt des visuellen Inhalts, auf den die Bezugsgeste vor der Ausführung der nachfolgend auszuführenden Ausführungsgeste gewiesen hat, zu identifizieren. So kann der Kontroller 26 z. B. die Zeitdauer, die die Bezugsgeste auf einen vorgegebenen Ausschnitt des visuellen Inhalts gewiesen hat und/oder die Zeitdauer zwischen der Beendigung einer Bezugsgeste und der Ausführung der Ausführungsgeste überwachen. Damit kann der Kontroller 26 die Ausführungsgeste mit der Bezugsgeste aufgrund einer einzelnen oder Zeitschwelle zuordnen, so dass der Kontroller 26 auf frühere Bilder aus den aufeinanderfolgenden Bildern, die im Bildspeicher 36 gespeichert sind, zugreifen kann, um den entsprechenden Ausführungsbefehl auf dem geeigneten Ausschnitt des visuellen Inhalts auszuführen.
3 stellt ein anderes Beispiel mit einer Abbildung 100 dar, die Geräteeingaben zeigt, die über eine zusammengesetzte Handgeste gemäß einem Aspekt der Erfindung ausgeführt werden. Die Abbildung 100 kann einer zusammengesetzten Handgeste entsprechen, die auf einem von vielen möglichen Schnittstellensystemen zur Gestenerkennung ausgeführt wird, wie zum Beispiel dem Schnittstellensystem 10 zur Gestenerkennung nach dem Beispiel der 1. Die Abbildung 100 stellt in dem Beispiel der 3 einen ersten Ausschnitt 102, einen zweiten Ausschnitt 104 und einen dritten Ausschnitt 106 dar.
Der erste Ausschnitt 102 der Abbildung 100 zeigt die Hand 108 eines Benutzers, der eine erste Untergeste derart ausführt, dass dabei die Hand 108 des Benutzers als ein Eingabeobjekt verwendet wird, das dem Schnittstellensystem zur Gestenerkennung zugeordnet ist. Die erste Untergeste ist in dem Beispiel der 3 als ein ausgestreckter Zeigefinger dargestellt, der auf eine Anzeigefläche 110 zeigt, die visuellen Inhalt anzeigt. In dem Beispiel der 3 ist der visuelle Inhalt in Form von drei Ikons 112 dargestellt, die als OBJECT 1, OBJECT 2 und OBJECT 3 auf einem Hintergrundfeld bezeichnet sind, ähnlich dem Beispiel der 2. Das Ikon 112 kann beispielsweise einem Ordner, einer Datei und/oder ausführbaren Programmen entsprechen. In dem Beispiel der 2 ist das OBJECT 3 als ein Desktopordner gezeigt, wie dies mit weiteren Einzelheiten an späterer Stelle gezeigt wird. Als ein Ergebnis eines zugeordneten, nicht dargestellten Kontrollers, der die erste Untergeste des ausgestreckten Zeigefingers bestimmt, kann der zugeordnete Kontroller die erste Untergeste in eine Geräteeingabe übertragen, die einen Bezug 114 erzeugt, der den visuellen Inhalt überlagert. Daher entspricht die erste Untergeste einer Bezugsgeste zum Verweisen auf spezielle Ausschnitte des visuellen Inhalts auf der Anzeigefläche 110. Der Bezug 114 kann folglich über den visuellen Inhalt auf der Anzeigefläche 110 auf eine Quer- oder Winkelbewegung des Zeigefingers der Hand 108 des Benutzers hin bewegt werden.
Der zweite Ausschnitt 104 der Abbildung 100 zeigt, dass auf das Hinweisen des Bezugs 114 auf OBJECT 3 der Benutzer eine zweite Untergeste der zusammengesetzten Geste mit der Hand 108 durch Schnalzen der Finger der Hand 108 ausführt. Die zweite Untergeste, die durch Schnalzen der Finger der Hand 108 erzeugt wird, kann somit eine Ausführungsgeste sein. Im zweiten Ausschnitt 104 der Abbildung 100 kann somit das Schnalzen der Finger durch den zugeordneten Kontroller als ein Ausführungsbefehl übersetzt werden, um z. B. einen Doppelklick der linken Maustaste zu simulieren.
Wie es im Beispiel der 3 gezeigt ist, ist die erste Untergeste (d. h. die Bezugsgeste) nicht länger durch den Benutzer ausgeführt, da der Benutzer eine zweite Untergeste (d. h. die Ausführungsgeste) ausführt. Wie bereits oben mit dem Beispiel der 1 beschrieben, kann der zugeordnete Kontroller so ausgebildet sein, dass er auf gespeicherte Bilder der Hand 108 zugreift, um zu bestimmen, auf welchen Ausschnitt des visuellen Inhalts der Benutzer vor der Ausführung der Ausführungsgeste hingewiesen hatte. Somit bestimmt der zugeordnete Kontroller im Beispiel der 3, dass es das OBJECT 3 war, auf das durch die Bezugsgeste hingewiesen worden ist. Der zugeordnete Kontroller übersetzt die Ausführungsgeste in einen Ausführungsbefehl auf dem OBJECT 3.
Der dritte Ausschnitt 106 der Abbildung 100 zeigt die Wirkung des Ausführungsbefehls, der auf dem OBJECT 3 ausgeführt worden ist. Wie insbesondere zuvor beschrieben wurde, ist das OBJECT 3 als ein Desktopordner ausgebildet. Daher ist die Wirkung eines simulierten Doppelklicks mit der linken Maustaste das Öffnen des Desktopordners, was im Beispiel der 3 durch ein Untermenü bzw. Unterfenster 116 gezeigt ist, das als OBJECT 3 bezeichnet ist. Das Unterfenster 116 umfasst zusätzliche Ikons 118, die als SUB-OBJECT 1, SUB-OBJECT 2 und SUB-OBJECT 3 bezeichnet sind, die ebenso als Ordner, Dateien und/oder ausführbare Programme ausgestaltet sein können. Folglich kann der Benutzer wiederum eine Bezugsgeste und/oder eine oder mehrere zusätzliche Ausführungsgesten zum Navigieren durch die zusätzlichen Ikons 118, ähnlich wie Mauseingaben, ohne jedoch die Anzeigefläche 110 oder eine Maus zu berühren, ausführen.
Das Beispiel der 3 zeigt somit ein Beispiel einer zusammengesetzten Geste, der Art, bei der die zusammengesetzte Geste eine Bezugsgeste und eine Ausführungsgeste enthält, die zur Ausführung einer zugehörigen Geräteeingabe übersetzt werden. Es versteht sich jedoch, dass die Abbildung 50 nicht dazu dient, auf das Beispiel der 3 beschränkt zu werden. Es wird noch in den Beispielen der 4–7 gezeigt werden, dass eine von vielen zusammengesetzten Gesten zum Simulieren eines Doppelklicks mit der linken Maustaste ausgeführt werden kann. Hinzukommt, dass das damit verknüpfte Schnittstellensystem zur Gestenerkennung weitere Eingabekomponenten aufweisen kann, wie zum Beispiel ein Mikrofon, das zur Ausführung des Ausführungsbefehls auf das hörbare Klicken der geschnalzten Finger ausgebildet sein kann. Somit kann eine von vielen zusammengesetzten Gesten implementiert sein, um den Doppelklick der linken Maustaste, der durch die zusammengesetzte Geste im Beispiel der 3 dargestellt ist, auszuführen.
Betrachtet man noch einmal das Beispiel der 1, so versteht man, dass das Schnittstellensystem 10 zur Gestenerkennung nicht auf das Beispiel der 1 eingeschränkt sein soll. So ist zum Beispiel das Schnittstellensystem 10 zur Gestenerkennung nicht auf die Verwendung eines IR Reflektionskontrastes zur Bestimmung der Gesten beschränkt, die in der Gestenerkennungsumgebung 22 ausgeführt werden. Der Benutzer kann zum Beispiel einen von vielen Sensoren auf ihrer oder seiner Hand vorsehen oder er könnte eine in der Hand gehaltene Vorrichtung verwenden, die Sensoren zur Ausführung der Gesten aufweisen. Als ein anderes Beispiel der Schnittstelle 10 zur Gestenerkennung kann eine horizontale Anzeigefläche anstelle einer vertikalen Anzeigefläche eingesetzt werden, wie dies mit weiteren Einzelheiten mit Bezug auf das Beispiel nach 8 an späterer Stelle gezeigt werden wird. Hinzukommt, dass die zusammengesetzten Gesten, die in das Schnittstellensystem 10 zur Gestenerkennung implementiert sind, nicht auf dreidimensionale Gesten beschränkt sind, sondern zweidimensionale zusammengesetzte Gesten anstelle von oder zusätzlich zu dreidimensionalen zusammengesetzten Gesten eingesetzt werden können. Fernerhin muss das Schnittstellensystem 10 zur Gestenerkennung nicht eine Anzeigefläche aufweisen, sondern es können andere Arten von Anzeigen, wie beispielsweise holographische und/oder nicht-planare Anzeigen vorgesehen sein. Das Schnittstellensystem 10 zur Gestenerkennung kann folglich auf eine von vielen Weisen ausgestaltet sein.
4 zeigt ein Beispiel einer Abbildung 150 von zusammengesetzten Handgesten zur Verwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung. So können die zusammengesetzten Handgesten der Abbildung 150 in einem Schnittstellensystem zur Gestenerkennung eingesetzt sein, wie es das Schnittstellensystem 10 zur Gestenerkennung aus dem Beispiel der 1 darstellt. Daher ist auf das Beispiel der 1 in der folgenden Beschreibung des Beispiels der 10 Bezug zu nehmen.
Die Abbildung 150 zeigt einen Satz von zusammengesetzten Gesten, von denen jede die Verwendung der Hand 152 eines Benutzers zur Ausführung der zusammengesetzten Gesten umfasst. Jede der im Beispiel der 4 dargestellten zusammengesetzten Gesten ist mit der Hand 152 des Benutzers beginnend bei einer Bezugsgeste 154 dargestellt. So zeigt ein ausgestreckter Zeigefinger auf einen Ausschnitt des visuellen Inhalts, auf den sich die zusammengesetzte Geste bezieht, und somit auf einen, auf den die zugeordnete Ausführungsgeste für den Ausführungsbefehl zu übertragen ist. Jede der im Beispiel der 4 gezeigten zusammengesetzten Gesten zeigt eine Ausführungsgeste 156, die mit der gleichen Hand 152 ausgeübt wird. Ferner zeigt jede der zusammengesetzten Gesten eine mit der gleichen Hand 152 auszuführende Ausführungsgeste 156. Jede der zusammengesetzten Gesten, die in der Abbildung 150 gezeigt sind, kann mit einem unterschiedlichen Ausführungsbefehl zur Interaktion mit dem Ausschnitt des visuellen Inhalts auf verschiedene Weise interaktiv zusammenwirken. Folglich können alle oder ein Untersatz aller zusammengesetzten Gesten, die in der Abbildung 150 dargestellt sind, in dem Schnittstellensystem 10 zur Gestenerkennung implementiert sein.
Eine erste zusammengesetzte Geste 158 ist in der Abbildung 150 gezeigt, ähnlich der zusammengesetzten Geste, die im Beispiel der 2 dargestellt ist. Die erste zusammengesetzte Geste 158 ist eine zusammengesetzte Geste, die insbesondere eine Umkehrung der im Beispiel der 2 gezeigten zusammengesetzten Geste ist. Mit der ersten zusammengesetzten Geste 158 wird die Bezugsgeste 154 als das Ausstrecken des Daumens der Hand 152 des Benutzers dargestellt. Daher ist die Ausführungsgeste 156 gezeigt, wenn der Benutzer den Daumen der Hand 152 eingezogen hat. Folglich kann ein Benutzer die Bezugsgeste 154 beibehalten, während er eine Ausführungsgeste 156 ausführt, ähnlich der zusammengesetzten Geste, die oben im Beispiel der 2 beschrieben ist. Die erste zusammengesetzte Geste 158 kann zum Beispiel zur Ausführung eines Klick- und Ziehbefehls einer Maus ausgebildet sein, ähnlich, wie es zuvor z. B. bei der 2 beschrieben wurde. Bei einem anderen Beispiel kann die erste zusammengesetzte Geste 158 auch zur Ausführung eines Doppelklicks einer Maus, eines rechten Mausklicks oder eines von einer Anzahl anderer Befehle ausgestaltet sein.
Eine zweite zusammengesetzte Geste 160 ist auf der Abbildung 150 als mit der Bezugsgeste 154 beginnend gezeigt. Die Ausführungsgeste 156 ist jedoch dargestellt, während der Benutzer die Bezugsgeste 154 mit der Hand 152 beibehält, außer dass die Hand 152 schnell nach vorne und zurück gestoßen wird. Der Kontroller 26 kann folglich die Ausführungsgeste 156 aufgrund des schnellen Wechsels der Hand 152 nach vorne und zurück übersetzen. Hinzu kommt, dass ein Benutzer die Bezugsgeste 154 beibehalten kann, während die Ausführungsgeste 156 ausgeführt wird, ähnlich wie bei der zusammengesetzten Geste, die im Beispiel der 2 beschrieben wurde, derart, dass der Kontroller 26 gleichzeitig sowohl die Bezugsgeste 154 als auch die Ausführungsgeste 156 bestimmen kann. Die zweite zusammengesetzte Geste 160 kann beispielsweise zur Auswahl eines Ikons auf dem Desktop ausgebildet sein, das anschließend über die vertikale Anzeigefläche 20 gezogen werden kann, bis eine zusätzliche Geste ausgeführt wird, oder bis der Benutzer die Hand 152 aus der Gestenerkennungsumgebung herausbewegt. Bei einem anderen Beispiel kann die zweite zusammengesetzte Geste 160 zum Doppelklicken oder Rechtsklicken eines Desktopikons ausgebildet sein.
Eine dritte zusammengesetzte Geste 162 ist in der Abbildung 150 beginnend mit der Bezugsgeste 154 gezeigt. Die Ausführungsgeste 156 ist jedoch dargestellt als das Aufrechterhalten des ausgestreckten Zeigefingers, während der Zeigefinger auf einem Kreis bewegt wird. In einem Beispiel kann die dritte zusammengesetzte Geste 162 so ausgestaltet sein, dass ein Bildlauf durch ein Dokument oder eine Liste, die auf der vertikalen Anzeigefläche 20 dargestellt ist, vorgenommen wird, abhängig von der Richtung des Kreisens des Zeigefingers. Der Kontroller 26 könnte beispielsweise für den Zugriff auf den Bildpuffer 36 ausgestaltet sein, um das Dokument oder die Liste zu bestimmen, auf welche die Bezugsgeste 154 vor der Ausführungsgeste 156 gewiesen hat. Die dritte zusammengesetzte Geste 162 könnte gemäß einem anderen Beispiel mit einer anderen Geste derart kombiniert werden, dass die Liste oder das Dokument mit einer anderen zusammengesetzten Geste vor der Ausführungsgeste 156 der dritten zusammengesetzten Geste 162 ausgewählt werden könnte.
Eine vierte zusammengesetzte Geste 164 ist in der Abbildung 150 als mit der Bezugsgeste 154 beginnend dargestellt. Die Ausführungsgeste 156 ist jedoch in der Form dargestellt, dass der Benutzer einen Klemmgriff mit dem Daumen und allen Fingern formt. Die vierte zusammengesetzte Geste 164 kann zum Beispiel zur Auswahl eines Ausschnitts aus dem visuellen Inhalt, zur Bewegung oder zur Manipulation implementiert sein. Es versteht sich, dass die vierte zusammengesetzte Geste 164 ein Subjekt von allen Fingern, die einen Greif- oder Klemmgriff formen, umfassen könnte, oder es könnte jede andere Anzahl oder jeder Satz von Fingern einem anderen Ausführungsbefehl entsprechen. Der Greif- bzw. Klemmgriff muss nicht durch Berühren der Fingern und/oder des Daumen ausgeführt werden, sondern kann leicht ausgestreckte oder etwas gekrümmte Finger und/oder Daumen umfassen.
Eine fünfte zusammengesetzte Geste 166 ist in der Abbildung 150 beginnend mit dem Bezugszeichen 154 gezeigt. Die Ausführungsgeste 156 ist jedoch so dargestellt, dass der Benutzer eine offene Handfläche formt. In der Abbildung 150 ist ferner eine sechste zusammengesetzte Geste 168 als mit der Bezugsgeste 154 beginnend gezeigt, bei der die Ausführungsgeste 156 als die Bildung einer geschlossenen Faust durch den Benutzer dargestellt ist. Die fünfte zusammengesetzte Geste 166 und/oder die sechste zusammengesetzte Geste 168 können zum Beispiel zur Auswahl eines Ausschnitts aus dem visuellen Inhalt für eine Bewegung oder eine Manipulation ausgeführt sein. Ferner könnte entweder die fünfte zusammengesetzte Geste 166 oder die sechste zusammengesetzte Geste 168 beispielsweise die Bewegung des Daumens zur Einbeziehung einer anderen Ausführungsgeste beinhalten.
Die Abbildung 150 in dem Beispiel der 4 zeigt somit verschiedene Ausführungsbeispiele von zusammengesetzten Gesten, die in dem Schnittstellensystem 10 zur Gestenerkennung in dem Beispiel der 1 ausgebildet sein können. Es versteht sich jedoch, dass die Abbildung 150 nicht beabsichtigt, auf diese zusammengesetzten Gesten beschränkt zu sein. Kleine Abweichungen der in der Abbildung 150 dargestellten zusammengesetzten Gesten können in dem Schnittstellensystem 10 zur Gestenerkennung vorgesehen werden. In jeder der zusammengesetzten Gesten der Abbildung 150 können die Bezugsgesten 154 zum Beispiel mit dem gestreckten Daumen anstelle des eingezogenen Daumens ausgeführt werden, ähnlich der ersten zusammengesetzten Geste 158. In der ersten zusammengesetzten Geste 158 kann der Benutzer nach einem anderen Beispiel den ausgestreckten Zeigefinger schnell einziehen und wieder ausstrecken, die ausgestreckten Zeigefinger zur Ausführung der Ausführungsgeste 156, anstelle des Zurückziehens des Daumens nehmen. Folglich kann jede von vielen unterschiedlichen Gesten zur Erzeugen von Gesteneingaben über das Schnittstellensystem 10 zur Gestenerkennung eingesetzt werden.
5 zeigt ein anderes Beispiel einer Abbildung 200 von zusammengesetzten Handgesten zur Verwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung. Jede der zusammengesetzten Handgesten der Abbildung 200 kann zum Beispiel in einem Schnittstellensystem zur Gestenerkennung derart implementiert sein, wie in dem Schnittstellensystem 10 zur Gestenerkennung aus dem Beispiel der 1. Als solches wird auf das Beispiel der 1 in der folgenden Beschreibung des Beispiels der 5 Bezug genommen.
Die Abbildung 200 umfasst eine erste zusammengesetzte Geste 202, eine zweite zusammengesetzte Geste 203, eine dritte zusammengesetzte Geste 204 und eine vierte zusammengesetzte Geste 205, die alle die Hand 206 des Benutzers zur Erzeugung der zusammengesetzten Gesten benutzen. Jede der in dem Beispiel der 5 gezeigten zusammengesetzten Gesten ist mit der Hand 206 des Benutzers beginnend mit der Bezugsgeste 208 dargestellt. Eine oder mehrere ausgestreckte Finger zeigen auf einen Ausschnitt des visuellen Inhalts, auf den sich die zusammengesetzte Geste bezieht und damit auf den Ausschnitt in welchen die zugehörige Ausführungsgeste für einen Ausführungsbefehl zu übersetzen ist. Insbesondere in der ersten und zweiten zusammengesetzten Geste 202 und 203 wird der ausgestreckte Zeigefinger des Benutzers als Bezugsgeste 208 eingesetzt. Bei der dritten zusammengesetzten Geste 204 werden die ausgestreckten Zeige- und Mittelfinger als Bezugsgeste 208 verwendet, wobei der ausgestreckte Zeige- und Mittelfinger als Bezugsgeste 208 eingesetzt werden und als die vierte zusammengesetzte Geste 205 werden der ausgestreckte Zeigefinger und der ausgestreckte kleine Finger als Bezugsgeste 208 eingesetzt. Ferner zeigt jede der im Beispiel der 5 dargestellten zusammengesetzten Gesten eine erste Ausführungsgeste 210 und eine zweite Ausführungsgeste 212, die durch die gleiche Hand 206 erzeugt werden. Die erste Ausführungsgeste 210 kann zum Beispiel zur Auswahl eines Ausschnitts des visuellen Inhalts zur Wechselwirkung bzw. Interaktion mit dem Ausschnitt und die zweite Ausführungsgeste 212 kann zum Manipulieren des Ausschnitts des visuellen Inhalts ausgeführt werden. Ferner können beide zusammengesetzten, in der Abbildung 200 gezeigten zusammengesetzten Gesten mit anderen Ausführungsbefehlen zur Interaktion mit dem Ausschnitt des visuellen Inhalts auf verschiedene Weise korrespondieren. Folglich können beide in der Abbildung 200 gezeigten zusammengesetzten Gesten in dem Schnittstellensystem 100 zur Gestenerkennung eingesetzt werden.
Die erste zusammengesetzte Geste 202, die in der Abbildung 150 dargestellt ist, ist der vierten zusammengesetzten Geste 154, die im Beispiel der 4 gezeigt ist, ähnlich. Die erste Ausführungsgeste 210 ist dargestellt, während der Benutzer mit dem Daumen und allen Fingern einen Greif- oder Klemmgriff ausführt. Es versteht sich jedoch, dass die erste zusammengesetzte Geste 202 mit weniger als allen Fingern einen Greifgriff ausführen kann, oder jede andere Anzahl oder jeder andere anderer Satz von Fingern könnte einem anderen Ausführungsbefehl entsprechen. Die erste Ausführungsgeste 210 könnte zum Beispiel zur Auswahl eines Ausschnitts aus dem visuellen Inhalt ausgebildet sein. Daher kann die zweite Ausführungsgeste 212 zur Wechselwirkung mit dem ausgewählten Ausschnitt des visuellen Inhalts ausgeführt werden. So kann der Benutzer die Hand 206 drehen und/oder bewegen, um den ausgewählten Ausschnitt aus dem visuellen Inhalt zu drehen und/oder zu bewegen.
Die zweite zusammengesetzte Geste 203 ist in der Abbildung 200 ähnlich der fünften zusammengesetzten Geste 166, die im Beispiel der 4 gezeigt ist, dargestellt. Insbesondere die erste Ausführungsgeste 210 ist als das Bilden einer offenen Hand durch den Benutzer dargestellt. Die erste Ausführungsgeste 210 kann zum Beispiel zur Auswahl eines Ausschnitts des visuellen Inhalts vorgesehen sein. Daher kann die zweite Ausführungsgeste 212 zur Interaktion mit dem ausgewählten Ausschnitt des visuellen Inhalts ausgeführt werden. Insbesondere kann der Benutzer zum Beispiel die Hand 206 in sechs Freiheitsgraden bewegen derart, dass die Hand axial in X-, Y- und Z-Richtung bewegt sowie um die Hoch-, die Quer- oder die Längsachse gedreht werden kann. Folglich kann der ausgewählte Ausschnitt des visuellen Inhalts entsprechend in sechs Freiheitsgraden bewegt werden.
Die dritte zusammengesetzte Geste 204 ist in Abbildung 150 ähnlich der ersten zusammengesetzten Geste 168 in dem Beispiel der 4 dargestellt, mit der Ausnahme der Bezugsgeste 208, die oben beschrieben wurde. Insbesondere die erste Ausführungsgeste 210 könnte zur Auswahl eines Ausschnitts des visuellen Inhalts vorgesehen sein. Daher kann die zweite Ausführungsgeste 212 zur Interaktion mit dem ausgewählten Ausschnitt des visuellen Inhalts ausgeführt werden. Wie im Beispiel der 5 gezeigt, kann der Benutzer insbesondere den Ausschnitt des visuellen Inhalts neigen und/oder schwenken, z. B. aufgrund einer Drehung der Hand 206 um das Gelenk, um den ausgewählten Ausschnitt des visuellen Inhalts entsprechend zu neigen und/oder zu schwenken, wie dies durch die Pfeile 214 angedeutet ist.
Die vierte zusammengesetzte Geste 205 ist in der Abbildung 200 ähnlich der ersten zusammengesetzte Geste 168, die im Beispiel der 4 dargestellt ist, mit der Ausnahme der Bezugsgeste 208, wie oben beschrieben, gezeigt. Die erste Ausführungsgeste 210 ist somit dargestellt, während der Benutzer den Daumen einzieht. Die erste Ausführungsgeste 210 kann zum Beispiel zur Auswahl eines Ausschnitts des visuellen Inhalts vorgesehen sein, derart, dass sie ein Fenster mit Bildlauf (in dem gescrollt werden kann) aufweist. Die zweite Ausführungsgeste 212 kann daher zur Wechselwirkung mit dem ausgewählten Ausschnitt aus dem visuellen Inhalt ausgeführt werden. Wie im Beispiel der 5 gezeigt, kann der Benutzer insbesondere die Hand 206 derart nach oben und nach unten bewegen, dass durch die Bewegung des Arms des Benutzers die Hand 206 um das Handgelenk geschwenkt wird, um ein Scrollen des in dem Fenster mit Bildlauf dargestellten visuellen Inhalts vorzusehen. Das Scrollen des visuellen Inhalts kann ein langsames Scrollen sein und könnte aber auch ein schnelles Scrollen sein, derart, dass es dem Herunterdrücken des Rads einer Maus und dem Bewegen der Maus auf und ab ähnlich ist. Der Benutzer kann zusätzlich eine zusätzliche Geste zur Steuerung oder zum Umschalten zwischen Geschwindigkeiten vorsehen, die mit dem Scrollen des visuellen Inhalts verknüpft sind, derart, dass durch Zurückziehen des kleinen Fingers das schnelle Scrollen anstelle einem langsamen Scrollen ausgeführt wird.
Die Abbildung 200 des Beispiels von 5 zeigt somit Beispiele zusammengesetzter Gesten, die mehr als eine Ausführungsgeste umfassen, wie sie mit dem Schnittstellensystem 10 zur Gestenerkennung des Beispiels nach 1 ausgeführt werden könnten. Es versteht sich jedoch, dass die Abbildung 200 nicht beabsichtigt, auf diese zusammengesetzten Gesten begrenzt zu sein, sondern dass jede von vielen unterschiedlichen Gesten zur Erzeugung von Gesteneingaben über das Schnittstellensystem 10 zur Gestenerkennung herangezogen werden kann. Auf ähnliche Weise zu der im Beispiel von 4 beschriebenen Weise können ferner die in der Abbildung 200 gezeigten Abwandlungen der zusammengesetzten Gesten zur Erzeugung von Eingaben in das Schnittstellensystem 10 zur Gestenerkennung verwendet werden.
6 zeigt ein Beispiel einer mit zwei Händen erzeugten zusammengesetzten Geste 250 zur Verwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung. So kann z. B. die mit zwei Händen auszuführende zusammengesetzte Handgeste der Abbildung 250 in einem Schnittstellensystem zur Gestenerkennung ähnlich dem Schnittstellensystem 10 zur Gestenerkennung des Beispiels der 1 eingesetzt werden. Dazu ist auf das Beispiel der 1 in der nachfolgenden Beschreibung des Beispiels der 6 Bezug zu nehmen.
Die mit zwei Händen auszuführende zusammengesetzte Geste 250, die im Beispiel der 6 gezeigt ist, zeigt die linke Hand 252 des Benutzers während der Ausführung einer Bezugsgeste 254. Dabei deutet ein ausgestreckter Zeigefinger auf einen Ausschnitt des visuellen Inhalts, auf den sich die zweihändige zusammengesetzte Geste 250 bezieht und somit auf den auf den eine zugehörige Ausführungsgeste 256 zur Ausführung eines Befehls zu übertragen ist. Im Gegensatz zu den zusammengesetzten im Beispiel der 4 und 5 gezeigten zusammengesetzten Gesten wird die mit zwei Händen auszuführende zusammengesetzte Geste 250 im Beispiel der 6 derart ausgeführt, dass die Ausführungsgeste 256 mit der rechten Hand 258 des Benutzers erzeugt wird. Die rechte Hand 258 ist hier als Schnalzen mit den Fingern dargestellt, ähnlich der im Beispiel der 1 gezeigten zusammengesetzten Geste. Somit kann der Benutzer die Bezugsgeste 254 beibehalten, während er die Ausführungsgeste 256 vollführt und kann die Ausführungsgeste 256 mit einer oder mehreren Ausführungsgesten kombinieren, die mit der linken Hand 252 ausgeführt werden können, so wie jede der vielen zusammengesetzten Gesten, die in den Beispielen der 4 und 5 gezeigt sind.
Das Beispiel der 6 zeigt somit zusätzliche mögliche zusammengesetzte Gesten und Kombinationen aus zusammengesetzten Gesten, die unter Verwendung beider Hände des Benutzers für das Schnittstellensystem 10 zur Gestenerkennung ausgeführt werden können. Es versteht sich jedoch, dass die zusammengesetzte Geste 250 nicht auf die Verwendung der beiden Hände 252 und 258 zur Ausführung der Bezugsgeste 254 und der Ausführungsgeste 256 beschränkt sein soll. Der Benutzer kann zum Beispiel einen Schreibstift oder Stab mit der linken Hand 252 zur Ausführung der Bezugsgeste anstelle des ausgestreckten Zeigefingers verwenden. Es versteht sich auch, dass das Schnittstellensystem 10 zur Gestenerkennung zur Erkennung der Bezugsgeste 254 und der Ausführungsgeste 256 ausgestaltet sein kann, unabhängig davon, welche der Hände 252 und 258 sie vollführen. Folglich kann jede der beiden Hände 252 und 258 zur Ausführung der Bezugsgeste 254 und der Ausführungsgeste 256 für jeden beliebigen Benutzer implementiert sein.
7 zeigt ein Beispiel einer Abbildung 300 mit einem Satz von mit zwei Händen auszuführenden zusammengesetzten Gesten zur Anwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung. Die zusammengesetzten Handgesten der Abbildung 300 können zum Beispiel jeweils in einem Schnittstellensystem zur Gestenerkennung implementiert sein, wie z. B. dem Schnittstellensystem 10 zur Gestenerkennung des Beispiels von 1. Auf das Beispiel der 1 ist in der folgenden Beschreibung des Beispiels der 7 als solches Bezug zu nehmen.
Die Abbildung 300 umfasst einen Satz von zusammengesetzten Gesten, die jeweils die Verwendung der linken Hand 302 und der rechten Hand 304 eines Benutzers zur Ausführung der zusammengesetzten Gesten vorsieht. Jede der zusammengesetzten Gesten, die im Beispiel der 7 dargestellt ist, sind mit der linken Hand 302 des Benutzers beginnend mit einer Bezugsgeste 306 und der rechten Hand 304 des Benutzers sich in einer Bereitschaftsstellung 308 befindend gezeigt. In dem Beispiel der 7 ist die Bereitschaftsposition 308 als die rechte Hand 304 mit jedem Finger und dem Daumen ausgestreckt gezeigt. Hierbei zeigt der ausgestreckte Zeigefinger der linken Hand 302 auf einen Ausschnitt des visuellen Inhalts, auf den sich die zusammengesetzte Geste bezieht, und somit wohin die zugehörige Ausführungsgeste, die mit der rechten Hand 304 auszuführen ist, für einen Ausführungsbefehl zu übersetzen ist. Jede der zusammengesetzten Gesten, die die Abbildung 300 zeigt, kann zusätzlich mit einem anderen Ausführungsbefehl zur Wechselwirkung mit dem Ausschnitt des visuellen Inhalts auf andere Weise korrespondieren. Zusätzlich kann jede einzelne der zusammengesetzten Gesten, die in der Abbildung 300 gezeigt ist, mit einem anderen Ausführungsbefehl zur Wechselwirkung mit dem Ausschnitt des visuellen Inhalts auf andere Weisen korrespondieren. Folglich können alle oder eine Untermenge aller, in der Abbildung 300 gezeigten zusammengesetzten Gesten in dem Schnittstellensystem 10 zur Gestenerkennung implementiert sein.
Die erste zusammengesetzte Geste 310 ist in der Abbildung 300 ähnlich der zusammengesetzten Geste 168, wie sie im Beispiel der 4 gezeigt ist, dargestellt. Die erste zusammengesetzte Geste 310 wird hier gezeigt, wie die rechte Hand 304 aus der Bereitschaftsstellung 308 in eine Ausführungsgeste 312 wechselt, was hier das Formen der Finger und des Daumens der rechten Hand in eine geschlossene Faust ist. Die erste zusammengesetzte Geste 310 kann zum Beispiel zur Auswahl eines Ausschnitts des visuellen Inhalts zur Bewegung oder zur Manipulation implementiert sein. Die erste zusammengesetzte Geste 310 kann zum Beispiel zusätzlich eine Bewegung des Daumens entweder der linken Hand 302 oder der rechten Hand 304 zur Aufnahme einer anderen Ausführungsgeste umfassen.
Eine zweite zusammengesetzte Geste 314 ist in der Abbildung 300 ähnlich den zusammengesetzten Gesten 164 und 202, die in den Beispielen der 4 und 5 gezeigt sind, gezeigt. Insbesondere die zweite zusammengesetzte Geste 314 ist dargestellt, wie die rechte Hand 304 aus der Bereitschaftsstellung 308 in eine Ausführungsgeste 316 wechselt, die das Bilden eines Greif- oder Klemmgriffs mit dem Daumen und allen Fingern beinhaltet. Es versteht sich jedoch, dass die zweite zusammengesetzte Geste 314 eine Untermenge aller Finger, die einen Klemmgriff formen, aufweisen können, oder jede andere Anzahl oder andere Satz von Fingern könnte einem anderen Ausführungsbefehl entsprechen. Zum Beispiel könnte die Ausführungsgeste 316 in zwei Teilen ausgeführt werden, ähnlich der zusammengesetzten Geste 202 im Beispiel der 5. Die rechte Hand 304 kann hier insbesondere den klemmartigen Griff als einen ersten Teil der Ausführungsgeste 316 zur Auswahl eines Ausschnitts des visuellen Inhalts formen, auf den sich die Bezugsgeste 306 bezieht. Daher kann der Benutzer die rechte Hand 304 drehen und/oder bewegen, um in entsprechender Weise den ausgewählten Ausschnitt des visuellen Inhalts zu schwenken und/oder zu bewegen als den zweiten Teil der Ausführungsgeste 316.
Eine dritte zusammengesetzte Geste 318 ist in der Abbildung 300 ähnlich den zusammengesetzten Gesten 166 und 203, die in den Beispielen der 4 und 5 dargestellt sind, gezeigt. Die dritte zusammengesetzte Geste 318 ist hier so dargestellt, dass die rechte Hand 304 aus der Bereitschaftsstellung 308 in eine Ausführungsgeste 320 wechselt, die das Bilden einer offenen Handfläche beinhaltet. Ähnlich wie die zusammengesetzte Geste 314, die oben als ein Beispiel beschrieben ist, könnte die Ausführungsgeste 320 zum Beispiel in zwei Teilen ausgeführt werden, ähnlich wie die zusammengesetzte Geste 203 in dem Beispiel der 5. Die rechte Hand 304 kann hier die offene Handfläche als ersten Teil der Ausführungsgeste 320 ausführen, um einen Ausschnitt des visuellen Inhalts auszuwählen, auf den sich die Bezugsgeste 306 bezieht. Der Benutzer kann daher die rechte Hand 304 in sechs Freiheitsgraden als einen zweiten Teil der Ausführungsgeste 320 bewegen. Somit kann die rechte Hand 304 axial in den X-, Y- und Z-Richtungen bewegt werden und kann zusätzlich um die Hoch-, die Quer- oder die Längsachse gedreht werden, um den ausgewählten Ausschnitt aus dem visuellen Inhalt entsprechend den sechs Freiheitsgraden zu bewegen.
Es versteht sich, dass nicht beabsichtigt ist, die Abbildung 300 als auf mit zwei Händen auszuführende zusammengesetzte Gesten, die mit dem Schnittstellensystem 10 zur Gestenerkennung ausführbar sind, beschränkt anzusehen. Die mit zwei Händen auszuführenden zusammengesetzten Gesten sind zum Beispiel nicht auf die Implementierung der ausgestreckten Finger und des Daumens aus der Bereitschaftsstellung 308 der rechten Hand beschränkt, sondern dass andere Anordnungen der Finger und des Daumens an deren Stelle vorgesehen sein können. Es versteht sich ferner, dass gemäß anderen Beispielen die mit zwei Händen auszuführenden zusammengesetzten Gesten in der Abbildung 300 mit einer von vielen anderen Gesten kombiniert werden können, wie zum Beispiel den mit einer Hand auszuführenden zusammengesetzten Gesten in den Beispielen der 4 und 5, oder durch Permutationen, um Geräteeingaben über das Schnittstellensystem 10 zur Gestenerkennung zu erzeugen. Darüber hinaus kann eine Ausführungsgeste für eine gegebene mit zwei Händen auszuführende zusammengesetzte Geste Gesten aufweisen, die mit beiden Händen 302 und 304 des Benutzers verknüpft sind. Somit kann jede der vielen mit zwei Händen auszuführenden zusammengesetzten Gesten in dem Schnittstellensystem 10 zur Gestenerkennung vorgesehen werden.
8 zeigt ein anderes Beispiel eines Schnittstellensystems 400 zur Gestenerkennung gemäß einem Aspekt der Erfindung. Das Schnittstellensystem 400 zur Gestenerkennung kann ein weiteres Beispiel eines Schnittstellensystems zur Gestenerkennung sein, bei dem die zusammengesetzten Gesten als Geräteeingabe erkannt und übertragen werden, ähnlich dem weiter oben beschriebenen Beispiel der 1.
Das Schnittstellensystem 400 zur Gestenerkennung umfasst eine erste Kamera 402 und eine zweite Kamera 404. Sowohl mit der ersten Kamera 402 als auch mit der zweiten Kamera 404 ist jeweils eine erste IR Lichtquelle 404 und eine zweite IR Lichtquelle 408 gekoppelt. Die erste Kamera 402 und die zweite Kamera 404 können jeweils ein IR Filter enthalten, so dass die entsprechende Kamera IR Licht durchlassen und das andere Lichtspektrum im Wesentlichen ausfiltern kann. Die erste IR Lichtquelle 406 und die zweite IR Lichtquelle 408 beleuchten jeweils eine Hintergrundoberfläche 410, die nicht-reflektierend ausgebildet sein kann. Das IR Licht von der ersten IR Lichtquelle 406 kann im wesentlichen direkt zurück auf die erste Kamera 402 und das IR Licht von der zweiten IR Lichtquelle 408 kann im we sentlichen direkt zurück auf die zweite Kamera 404 zurückgeworfen werden. Folglich wird ein Objekt, das oberhalb der Hintergrundfläche 410 angeordnet wurde, eine signifikant geringere Menge an IR Licht zu sowohl der ersten Kamera 402 als auch der zweiten Kamera 404 zurück reflektieren. Somit kann ein Objekt sowohl der ersten Kamera 402 als auch der zweiten Kamera 404 als ein Schatten- bzw. Umrissbild derart erscheinen, dass es ein wesentlich dunkleres Objekt im Vordergrund einer stark beleuchteten Hintergrundfläche 410 zu sein scheint. Es versteht sich jedoch, dass die Hintergrundfläche 410 nicht völlig zurück reflektierend sein muss, sondern dass sie einen Lambert-Faktor zur Erleichterung der Betrachtung durch den Benutzer unter verschiedenen Winkeln relativ zur Hintergrundfläche 410 aufweisen kann.
Ein Eingabeobjekt 412 kann simulierte Eingaben vor der Hintergrundfläche 410 erzeugen. Bei dem Beispiel der 8 ist das Eingabeobjekt 412 als die Hand eines Benutzers gezeigt, derart, dass die simulierten Eingaben durch zusammengesetzte Eingaben erzeugt werden können, wie es hier in den Beispielen der 2 bis 7 beschrieben ist. Es versteht sich jedoch, dass die Verwendung einer Hand zur Erzeugung simulierter Eingaben über zusammengesetzte Eingaben nur ein Beispiel der Ausführung des Schnittstellensystems 400 zur Gestenerkennung ist. Beispiele anderer Arten von Eingabeobjekten könnten einen Schreibstift, einen Stab, einen Zeigestock oder einen aus einer Vielzahl von anderen Geräten aufweisen, mit denen Gesten für simulierte Eingaben erzeugt werden könnten. Es versteht sich fernerhin, dass das Eingabeobjekt 412 ohne Sensoren ausgeführt sein kann, indem es nicht speziell ausgebildet oder zur Verwendung in dem Schnittstellensystem 400 zur Gestenerkennung geeignet sein muss. So kann zum Beispiel die nackte Hand eines Benutzers als das Eingabeobjekt verwendet werden. Nach einem anderen Beispiel könnte der Benutzer einen Handschuh tragen, der ein rückreflektierendes Material aufweist, oder einen oder mehrere Positionssensoren auf Gelenken und/oder Fingerspitzen zur Erzeugung von Eingabegesten in das Schnittstellensystem 400 zur Gestenerkennung gemäß einem Aspekt der Erfindung aufweisen.
Bei dem Ausführungsbeispiel der 8 empfangen sowohl die erste Kamera 402 als auch die zweite Kamera 404 jeweils voneinander getrennte Umrissbilder des Eingabeobjekts 412, wobei jedes der voneinander getrennten Umrissbilder getrennt empfangen wird, wodurch die erste Kamera 402 und die zweite Kamera 404 ein zusammengehöriges Paar bilden. Sowohl die erste Kamera 402 als auch die zweite Kamera 404 können fotografische Standbilder schnell, zum Beispiel mit sechzig Bilder je Sekunde, derart aufnehmen, dass jedes fotografische Standbild, das von der ersten Kamera 402 aufgenommen wurde, zu einem fotografischen Standbild, das mit der zweiten Kamera 404 zu im wesentlichen der gleichen Zeit aufgenommen wurde, passt. Das Eingabeobjekt kann an unterschiedlichen Orten zu dem zurück reflektierenden Schirm in jedem der zusammengehörigen Paare von Umrissbildern, die sowohl mit der ersten Kamera 402 als auch der zweiten Kamera 404 aufgenommen wurden, aufgrund der Parallaxe zu sein erscheinen, die von den unterschiedlichen Befestigungsorten sowohl der ersten Kamera 402 als auch der zweiten Kamera 404 verursacht ist.
Die erste Kamera 402 und die zweite Kamera 404 können jeweils entsprechende voneinander getrennte Umrissbilder des Eingabeobjekts 412 an den Kontroller 414 liefern. Der Kontroller 414 könnte zum Beispiel in einem nicht dargestellten Computer vorgesehen sein, für den das Schnittstellensystem 400 zur Gestenerkennung ausgelegt ist, um eine Gestenerkennungsschnittstelle zu bilden. Es versteht sich jedoch, dass das Vorsehen eines Kontrollers nicht auf einen alleinstehenden Computer begrenzt ist, sondern er auch eingebettet in einem Prozessor vorgesehen sein kann. Der Kontroller 414 kann die entsprechenden Umrissbilder, die von dem Eingabeobjekt 412 gemacht sind, zur Erzeugung dreidimensionaler Ortsdaten, die zum Eingabeobjekt 412 gehören, verarbeiten.
Sowohl die erste Kamera 402 als auch die zweite Kamera 404 können zum Beispiel unter einem vorgegebenen Winkel relativ zur Hintergrundfläche 410 montiert sein. Für ein gegebenes zusammengehöriges Paar von Bildern des Eingabeobjekts 412, hat, wenn der vorgegebene Winkel sowohl der Kamera 402 als auch der Kamera 404 der gleiche ist, jeder Punkt des Eingabeobjekts 412 im zweidimensionalen Raum in einem gegebenen Bild der Kamera 402 den gleichen Abstand von dem entsprechenden Punkt des Eingabeobjekts 412 in dem entsprechenden zugehörigen Bild von der Kamera 404. Der Kontroller 412 könnte jedoch den physischen Ort des Eingabeobjekts 412 im dreidimensionalen Raum auf der Grundlage einer relativen Parallaxenverschiebung des zusammengehörigen Paars von Bildern des Eingabeobjekts 412 zu einer gegebenen Zeit bestimmen. Hinzu kommt, dass unter Verwendung eines Computeralgorithmus der Kontroller 414 auch den physischen Ort im dreidimensionalen Raum wenigstens eines Endpunktes, zum Beispiel einer Fingerspitze, die dem Eingabeobjekt 412 zugeordnet ist, bestimmen.
Das Schnittstellensystem 400 zur Gestenerkennung kann auch einen Projektor 416 aufweisen, der zur Projektion von Bilddaten ausgelegt ist. Der Projektor 416 kann eine Ausgabeschnittstelle bilden, wie zum Beispiel für Computermonitordaten, für die der Benutzer unter Verwendung des Eingabeobjekts 412 in Wechselwirkung treten und Eingaben erzeugen kann. Bei dem Beispiel der 8 kann der Projektor 416 Bilddaten auf die Hintergrundfläche 410 projizieren. Da die IR Lichtquellen 406 und 408 kein sichtbares Licht abstrahlen, stört die Beleuchtung nicht die vom Projektor 416 projizierten Bilddaten. Der Benutzer kann somit das Eingabeobjekt 412 unmittelbar auf die Bilddaten zum Simulieren von Eingaben, wie zum Beispiel Mauseingaben, verwenden.
Es sei darauf hingewiesen, dass das Schnittstellensystem 400 zur Gestenerkennung nicht dazu dienen soll, auf das Beispiel nach 8 beschränkt zu sein. Vielmehr kann der Projektor 416 anstelle der IR Lichtquellen 406 und 408 ein IR Filter als eine der Farben von einem zugeordneten Farbrad aufweisen, wie zum Beispiel bei einem Projektor vom Typ digitaler Lichtprojektor (DLP). Anstelle einer Hintergrundfläche 410, die zurück reflektierend ist, kann zum Beispiel die Hintergrundfläche 410 lichtdiffundierend ausgebildet sein, so dass die IR Lichtquellen 406 und 408 unterhalb der Hintergrundfläche 410 vorgesehen sind. Als Ergebnis hiervon erkennen die erste und die zweite Kamera 402 und 404 den IR Helligkeitskontrast als Schatten des Eingabeobjekts 412 relativ zur IR diffusen Hintergrundfläche 410. Folglich kann das Schnittstellensystem 400 zur Gestenerkennung auf eine von vielen Weisen ausgestaltet sein.
9 zeigt ein anderes Beispiel eines Schnittstellensystems zur Gestenerkennung gemäß einem Aspekt der Erfindung. Das Schnittstellensystem 450 zur Gestenerkennung umfasst vier Kameras 452, von denen jede eine entsprechende IR Lichtquelle 454 einschließt. Die Kameras 452 können jeweils ein IR Filter aufweisen, so dass jede der entsprechenden Kameras 452 nur IR Licht zu empfangen in der Lage ist. Die IR Lichtquellen 454 beleuchten jeweils eine zurück reflektierende Oberfläche 456, so dass IR Licht von den IR Lichtquellen 454 im Wesentlichen unmittelbar zurück auf die entsprechende eine der Kameras 452 reflektiert wird.
Das Schnittstellensystem 450 zur Gestenerkennung umfasst ein dreidimensionales Anzeigesystem 458, das im Beispiel der 9 als ein holographischer Projektor dargestellt ist. In dem Beispiel der 9 projiziert das dreidimensionale Anzeigesystem 458 ein holographisches Bild eines simulierten Objekts 460. Das dreidimensionale Anzeigesystem 458 ist in dem Beispiel der 9 als unmittelbar oberhalb der zurückreflektierenden Oberfläche 456 angebracht dargestellt.
Dementsprechend kann ein Benutzer zusammengesetzte Geste erzeugen, wie dies zuvor in den Beispielen der 2 bis 7 erläutert worden ist, um unmittelbar mit dem holographischen Bild des simulierten Objekts 460 wechselwirkend zusammenzuarbeiten. Hinzukommt, dass das holographische Bild des simulierten Objekts 460 eine Vielzahl von funktionellen Komponenten 462 umfassen kann, die in dem Beispiel der 9 als an einem Ende des simulierten Objekts 460 angebrachte Schrauben dargestellt sind.
Das Eingabeobjekt 464, das als die Hand eines Benutzers in dem Beispiel der 9 dargestellt ist, kann zur Erzeugung von zusammengesetzten Gesten über der zurück reflektierenden Oberfläche 456 verwendet werden. Um eine Interaktion zwischen dem Eingabeobjekt 464 und der gegebenen funktionalen Komponente 462 zu schaffen, kann ein nicht dargestellter zugehöriger Kontroller einen physischen Ort im dreidimensionalen Raum von einem oder mehreren Merkmalen des Eingabeobjekts 464 erkennen. Der Kontroller könnte zum Beispiel den physischen Ort im dreidimensionalen Raum der Merkmale des Eingabeobjekts 464 bestimmen, ähnlich wie dies zuvor für das Beispiel der 8 beschrieben worden ist. Nach der Bestimmung einer Korrelation der physischen Orte des Eingabeobjekts 464 und einer vorgegebenen funktionellen Komponente 462 kann der Kontroller eine Gestenbewegung bestimmen, die dem Eingabeobjekt zugeordnet ist, um zu bestimmen, ob es einer vordefinierten Aktion, die mit der funktionellen Komponente verknüpft ist, entspricht. Nach der Bestimmung, dass die Eingabegeste der vordefinierten Aktion entspricht, kann der Kontroller für die Simulationsanwendung das dreidimensionale Anzeigesystem 458 anweisen, die geeignete simulierte Aktion auszugeben.
Ein Benutzer des Schnittstellensystems 450 der Gestenerkennung könnte zum Beispiel eine Bezugsgeste mit dem Eingabeobjekt 464 ausführen, um auf eine der funktionellen Komponenten 462, die in dem Beispiel der 9 jeweils als eine Schraube 466 dargestellt sind, zu verweisen. Der Kontroller kann die Bezugsgeste in einen Bezug übertragen, der auf die Schraube 466 verweist, derart, dass die vom dreidimensionalen Anzeigesystem 458 angezeigte Farbe gewechselt wird. Der Benutzer kann eine Ausführungsgeste zur Ausführung eines mit einem Herausdrehen der Schraube 466 verknüpften Befehls ausführen. Die Ausführungsgeste könnte zum Beispiel im wesentlichen gleich den Ausführungsgesten 210 und 212 der zusammengesetzten Geste 202 des Beispiels der 5 ausgebildet sein. Die Schraube 466 als solche kann durch die Ausführungsgeste 212 ausgewählt und gedreht (d. h. herausgedreht) werden. Während der Benutzer eine geeignete Ausführungsgeste vollführt, weist der Kontroller das dreidimensionale Anzeigesystem 458 zur Ausgabe der geeigneten simulierten Aktion an, die in dem Beispiel der 9 die Schraube 466 ist, die herausgedreht und aus dem simulierten Objekt 460 entfernt wird.
Das Schnittstellensystem 450 zur Gestenerkennung ist als ein weiteres Beispiel der Verwendung von zusammengesetzten Gesten zur Erzeugung von Geräteeingaben in einen Computer dargestellt. Es soll verstanden werden, dass das Schnittstellensystem 450 zur Gestenerkennung nicht zur Beschränkung auf das Beispiel der 8 bestimmt ist. Das dreidimensionale Anzeigesystem 458 kann zum Beispiel auf eine von vielen unterschiedlichen Weisen konfiguriert sein, so zum Beispiel als ein dreidimensionaler Anzeigebildschirm. Bei einem anderen Beispiel können die Kameras 452 und die IR Lichtquellen 454 auf eine von vielen Arten und Weisen vorgesehen sein sowie Anzahlen für den Kontroller zur Bestimmung der zusammengesetzten Gesten, die durch einen Benutzer ausgeführt werden, ausgestaltet sein. Folglich kann das Schnittstellensystem 450 zur Gestenerkennung auf eine von vielen Weisen konfiguriert werden.
In Anbetracht der zuvor beschriebenen strukturellen und funktionellen Merkmale wird eine Methodik in Übereinstimmung mit verschiedenen Aspekten der vorliegenden Erfindung unter Bezugnahme auf 10 besser verstanden werden können. Während zum Zwecke der Einfachheit der Erläuterung die Methodik (Verfahrensschritte) der 10 gezeigt und als nacheinander ausgeführt beschrieben werden, versteht es sich und ist augenscheinlich, dass die vorliegende Erfindung nicht auf die dargestellte Reihenfolge beschränkt ist, da einige Aspekte in Übereinstimmung mit der vorliegenden Erfindung in anderer Reihenfolge auftreten können und/oder gleichzeitig mit anderen Aspekten als den dargestellten und beschriebenen ausgeführt werden können. Darüber hinaus gilt, dass nicht alle dargestellten Merkmale zur Implementierung einer Methodik gemäß einem Aspekt der vorliegenden Erfindung erforderlich sind.
10 zeigt ein Beispiel eines Verfahrens 500 zur Erzeugung von Gesteneingaben in einen Computer gemäß einem Aspekt der Erfindung. Bei 502 wird eine Vielzahl von aufeinanderfolgenden Bildern einer Gesteeingabeumgebung aufgenommen. Die Bilder können mit Hilfe von Stereokameras aufgenommen werden, die jeweils gleichzeitige Bilder nacheinander erfassen. Die Gestenerkennungsumgebung kann als ein physikalisches Volumen freien Raums definiert sein, in dem Gesten durch einen Benutzer erzeugt werden, so wie in einem Vordergrund einer Anzeige oberfläche in einer Anzeigeumgebung. Bei 504 wird die Vielzahl der aufeinanderfolgend aufgenommenen Bilder der Gesteneingabeumgebung in einem Speicher gepuffert bzw. zwischengespeichert. Die Pufferung der sequentiellen Bilder kann auf einer Reihefolge basieren, so dass neuere Bilder ältere Bilder überschreiben.
Bei 506 wird eine erste Gesteneingabe aufgrund des dreidimensionalen Ortes von wenigstens einem Merkmal des ersten Eingabeobjekts gegenüber dem angezeigten visuellen Inhalt in jedem der Vielzahl von sequentiellen Bildern der Gesteneingabeumgebung bestimmt. Die erste Gesteneingabe kann ein Teil einer zusammengesetzten Geste sein, so dass sie eine Bezugsgeste ist. Die Geste kann auf der Grundlage eines IR Helligkeitskontrastes bestimmt werden, wie er von einem Kontroller in jedem der sequentiellen Bilder wahrgenommen wird. Der dreidimensional bestimmte Ort kann auf der Grundlage einer Parallaxenverschiebung eines Merkmals in jedem der gleichzeitig auftretenden Bilder in der Sequenz beruhen. Bei 508 wird eine erste Geste in eine erste Geräteeingabe in den Computer übertragen, wobei die erste Geräteeingabe so ausgestaltet ist, dass sie sich auf einen Teil des visuellen Inhalts bezieht. Der Bezug auf den Ausschnitt des visuellen Inhalts kann auf der Erzeugung eines Bezugs beruhen, wie beispielsweise einem Mauszeiger auf dem visuellen Inhalt aufgrund der ersten Geste. Folglich könnte die erste Gesteneingabe ein spitzer Zeigefinger zur Simulierung eines Mauscursors sein.
Bei 510 wird eine zweite Gesteneingabe auf der Grundlage von Wechseln des dreidimensional bestimmten Orts wenigstens eines Merkmals wenigstens entweder des ersten Eingabeobjekts oder eines zweiten Eingabeobjekts in jedem der Vielzahl sequentieller Bilder der Gesteneingabeumgebung bestimmt, wobei die zweite Geste sich von der ersten Geste unterscheidet. Die zweite Gesteneingabe kann ein Teil einer zusammengesetzten Geste sein, so dass er eine Ausführungsgeste ist. Die zweite Gesteneingabe könnte mit der gleichen Hand wie die erste Gesteneingabe, mit der anderen Hand oder mit beiden Händen erzeugt werden. Bei 512 wird eine zweite Geste in eine zweite Geräteeingabe für den Computer übertragen bzw. umgesetzt, wobei die zweite Geräteeingabe zur Ausführung eines Befehls, der mit dem Ausschnitt des visuellen Inhalts, auf den sich die erste Gesteneingabe in wenigstens eines der gepufferten Vielzahl von sequentiellen Bildern bezieht, ausgestaltet sein. Der ausgeführte Befehl kann einer von vielen Befehlen sein, der den Ausschnitt des visuellen Inhalts, auf den sich die erste Eingabegeste bezieht, manipuliert, wie beispielsweise ein linker, ein rechter oder ein Bildlaufbefehl einer Maus, und/oder wie zum Beispiel ein Einmalklick, Doppelklick oder Klick-und-Halte-Befehl.
Was hier zuvor beschrieben wurde, sind Beispiele der vorliegenden Erfindung. Es ist jedoch nicht möglich, alle denkbaren Kombinationen der Komponenten oder Methoden zum Zwecke der Erläuterung der vorliegenden Erfindung zu beschreiben, aber ein durchschnittlicher Fachmann auf dem vorliegenden Gebiet wird erkennen, dass viele weitere Kombinationen und Permutationen der vorliegenden Erfindung möglich sind. Folglich ist es beabsichtigt, dass die vorliegende Erfindung alle solchen Abänderungen, Modifikationen und Variationen unter den Gedanken und Umfang der beigefügten Patentansprüche fallen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- US 2008/0013826 A1 [0024]
- US 2008/0244468 A1 [0024]

Claims

Ein Verfahren zur Ausführung und Auswertung von Gesteneingaben in einem Schnittstellensystem für die Gestenerkennung, bei dem das Verfahren umfasst: Erfassen und Übertragen einer ersten Untergeste in eine erste Geräteeingabe, die eine vorgegebene Bezugsgröße definiert, die mit einem Ausschnitt eines angezeigten visuellen Inhalts verknüpft ist, und Erfassen und Übertragen einer zweiten Untergeste in eine zweite Geräteeingabe, die einen Ausführungsbefehl für den Teil des angezeigten visuellen Inhalts definiert, auf den sich die vorgegebene Bezugsgröße bezieht.
Das Verfahren nach Anspruch 1, bei dem das Erfassen und Übertragen der ersten Untergeste das Erfassen und Übertragen der ersten Untergeste umfasst, die mit einer Hand eines Benutzers erzeugt wurde.
Das Verfahren nach Anspruch 2, bei dem die erste Untergeste das Zeigen mit wenigstens einem ausgestreckten Finger auf den Ausschnitt des angezeigten visuellen Inhalts umfasst und bei dem die zweite Untergeste entweder das Bewegen eines Daumens einer ersten Hand des Benutzers umfasst, bei dem die erste Hand des Benutzers schnell ausgestreckt und zurückgezogen wird, der wenigstens eine ausgestreckte Finger gedreht wird, mit dem Daumen und wenigstens einem Finger der ersten Hand des Benutzers ein Greifen erzeugt wird, eine Faust geformt wird oder mit den Fingern der ersten Hand des Benutzers geschnalzt wird.
Das Verfahren nach Anspruch 2, bei dem das Erfassen und Übertragen der zweiten Untergeste das Erfassen und Übertragen der zweiten Untergeste umfasst, die mit der zweiten Hand des Benutzers erzeugt wird, und bei dem das Verfahren weiterhin das Beibehalten der ersten Untergeste mit der ersten Hand des Benutzers gleichzeitig den Einsatz der zweiten Hand des Benutzers zur Erzeugung der zweiten Untergeste umfasst.
Das Verfahren nach Anspruch 1, das ferner das Beibehalten der zweiten Untergeste zur Wechselwirkung mit dem ausgewählten Bereich des angezeigten visuellen Inhalts umfasst.
Das Verfahren nach Anspruch 1, bei dem die erste Untergeste dem Zeigen auf den Bereich des angezeigten visuellen Inhalts entspricht und bei dem der Bezugs einem Mauscursor entspricht.
Das Verfahren nach Anspruch 1, bei dem die zweite Geräteeingabe entweder einem einzigen Mausklick, einem Doppelklick mit einer Maus oder einem Klick und Halten der Maus entspricht.
Das Verfahren nach Anspruch 1, bei dem das Übertragen der ersten und zweiten Untergesten umfasst: das Aufnehmen einer Vielzahl sequenzieller Bilder eines Eingabeobjekts, Bestimmen eines Orts des Eingabeobjekts im dreidimensionalen Raum in jedem der Vielzahl von sequenziellen Bildern des Eingabeobjekts, Bestimmen der Bewegung des Eingabeobjekts auf der Grundlage von Änderungen des Orts des Eingabeobjekts im dreidimensionalen Raum in jedem der Vielzahl sequenzieller Bilder des Eingabeobjekts, und Korrelieren der Bewegung des Eingabeobjekts mit einer Vielzahl von vorgegebenen Gesten, die jeweils zu einer zugeordnete Geräteeingabe gehören.
Das Verfahren nach Anspruch 8, bei dem die erste Untergeste und die zweite Untergeste jeweils durch das erste Eingabeobjekt erzeugt werden und bei dem die Übersetzung der ersten Untergeste weiterhin umfasst: Puffern der Vielzahl von sequenziellen Bildern in einem Speicher, Zugreifen auf die gepufferte Vielzahl sequenzieller Bilder in dem Speicher im Anschluss an die Übersetzung der zweiten Geste, und Bestimmen, worauf sich der vorgegebene Bezugswert auf dem angezeigten visuellen Inhalt bezieht auf der Basis der Vielzahl sequenzieller Bilder, auf die zugegriffen wurde.
Das Verfahren nach Anspruch 8, bei dem das Erzeugen der Vielzahl sequenzieller Bilder des Eingabeobjekts das gleichzeitige Aufnehmen einer Vielzahl sequenzieller Bilder des Eingabeobjekts mit einer Vielzahl von Stereokameras umfasst und bei dem die dreidimensionale Bestimmung des Orts des Eingabeobjekts umfasst: Beleuchten des Eingabeobjekts mit Infrarot (IR) Licht, Bestimmen eines Ortes des Eingabeobjekts in jedem der Vielzahl von sequenziellen Bildern von jeder der Vielzahl von Stereokameras auf der Grundlage eines Infrarothelligkeitskontrastes zwischen dem Eingabeobjekt und einem Hintergrund und Bestimmen des Orts des Eingabeobjekts im dreidimensionalen Raum aufgrund einer Parallaxenverschiebung des Eingabeobjekts auf jedem der gleichzeitig aufgenommenen sequenziellen Bilder von jeder der entsprechenden Vielzahl von Stereokameras.
Der Verfahren nach Anspruch 1, das ferner umfasst: Erfassen und Übertragen einer dritten Untergeste in eine dritte Geräteeingabe, die zur Ausführung eines mit der Manipulation des Ausschnitts des angezeigten visuellen Inhalts verknüpften Befehls ausgebildet ist.
Ein Schnittstellensystem zur Gestenerkennung, das zur Ausführung des Verfahrens nach Anspruch 1 ausgebildet ist.
Ein Verfahren zum Ausführen und Interpretieren von Gesteneingaben in einem Schnittstellensystem zur Gestenerkennung, bei dem das Verfahren umfasst: Aufnehmen einer Vielzahl von sequenziellen Bildern einer Gesteneingabeumgebung, Erkennen einer ersten Untergeste aufgrund eines dreidimensional bestimmten Ortes von wenigstens einem Merkmal eines ersten Eingabeobjekts relativ zum angezeigten visuellen Inhalt in jedem der Vielzahl sequenzieller Bilder der Gesteneingabeumgebung, Übertragen der ersten Untergeste in eine erste Geräteeingabe, die einen vorgegebenen Bezug definiert, der einem Ausschnitt des angezeigten visuellen Inhalts zugeordnet ist, Erfassen einer zweiten Untergeste aufgrund von Änderungen des Orts im dreidimensionalen Raum von wenigstens einem Merkmal von wenigstens dem ersten Eingabeobjekt und einem zweiten Eingabeobjekt in jedem der Vielzahl sequenzieller Bilder der Gesteneingabeumgebung, und Übertragen der zweiten Untergeste in eine zweite Geräteeingabe, die einen auszuführenden Befehl für einen Ausschnitt des angezeigten visuellen Inhalts definiert, auf den sich der vorgegebene Bezugspunkt bezieht.
Das Verfahren nach Anspruch 13, bei dem das Erfassen der ersten Untergeste das Bestimmen eines dreidimensional bestimmten Orts von wenigstens einem Finger einer ersten Hand des Benutzers relativ zu dem angezeigten visuellen Inhalt umfasst, und bei dem das Erfassen der zweiten Untergeste das Bestimmen von Änderungen des dreidimensional bestimmt en Orts von wenigstens einem Finger von wenigstens entweder der ersten Hand des Benutzers oder einer zweiten Hand des Benutzers in jedem der Vielzahl von sequenziellen Bildern der Gesteneingabeumgebung umfasst.
Das Verfahren nach Anspruch 14, bei dem das Bestimmen des dreidimensional bestimmten Orts von wenigstens dem einen Finger der ersten Hand das Bestimmen des Ausschnitts des visuellen Inhalts auf der Grundlage eine Orts auf dem visuellen Inhalt umfasst, auf den der wenigstens eine Finger zeigt, und bei dem die zweite Untergeste entweder das Bewegen des Daumens, der zur ersten Hand des Benutzers gehört, das schnelle Ausstrecken und Zurückziehen der ersten Hand des Benutzers, das Kreisen wenigstens eines Fingers, das Formen eines Greifens mit einem Daumen und wenigstens einem Finger entweder der ersten oder der zweiten Hand oder das Schnalzen mit den Fingern der ersten oder zweiten Hand umfasst.
Das Verfahren nach Anspruch 14, bei dem das Bestimmen der zweiten Untergeste das Beibehalten der ersten Untergeste mit der ersten Hand des Benutzers mit dem gleichzeitige Bestimmen der Änderungen des dreidimensional bestimmten Orts des wenigstens einen Fingers der zweiten Hand des Benutzers umfasst.
Das Verfahren nach Anspruch 13, das umfasst: das Erfassen einer dritten Untergeste aufgrund von Änderungen in der dreidimensional bestimmten Lage wenigstens eines Merkmals von wenigstens entweder dem ersten Eingabeobjekt oder dem zweiten Eingabeobjekt in jedem der Vielzahl von sequenziellen Bildern der ersten Eingabeumgebung, und das Übertragen der dritten Untergeste in eine dritte Geräteeingabe in den Computer, bei dem die dritte Geräteeingabe zur Ausführung eines Befehls ausgestaltet ist, der mit einer Manipulation des Ausschnitts des visuellen Inhalts verknüpft ist.
Das Verfahren nach Anspruch 13, bei dem das Erfassen der dritten Untergeste das Bestimmen von Änderungen des dreidimensionalen Orts des wenigstens einem Merkmals des ersten Eingabeobjekts in jedem der Vielzahl sequenzieller Bilder der Gesteneingabeumgebung umfasst und bei dem das Übertragen der zweiten Untergeste das Zugreifen auf die Vielzahl sequenzieller Bilder vor den Änderungen des dreidimensional bestimmten Orts des wenigstens einem Merkmals des ersten Einga beobjekts zur Bestimmung des Ausschnitts des visuellen Inhalts, auf den der Befehl auszuführen ist, umfasst.
Ein Schnittstellensystem zur Gestenerkennung, das umfasst: Mittel zum Anzeigen von visuellem Inhalt, Mittel zum Aufnehmen einer Vielzahl von sequenziellen Bildern einer Gesteneingabeumgebung, die dem visuellen Inhalt zugeordnet ist, Mittel zur Bestimmen einer zusammengesetzten Gesteneingabe, die wenigstens einem Eingabeobjekt zugeordnet sind, auf der Grundlage dreidimensional bestimmter Orte wenigstens eines Merkmals wenigstens eines Eingabeobjekts in jedem der Vielzahl von sequenziellen Bildern der Gesteneingabeumgebung, und Mittel zum Übertragen der zusammengesetzten Gesteneingaben in eine erste Geräteeingabe und eine zweite Geräteeingabe, von denen die erste Geräteeingabe zum Hinweisen auf einen Ausschnitt aus dem visuellen Inhalt ausgebildet ist, und die zweite Geräteeingabe zur Ausführung eines Befehls ausgestaltet ist, der mit dem Ausschnitt des visuellen Inhalts verknüpft ist, auf den sich die erste Geräteeingabe in wenigstens einer der Vielzahl der sequenziellen Bilder bezieht.
Das System nach Anspruch 19, bei dem das Mittel zum Aufnehmen der Vielzahl von Bildern mehrere Mittel zur gleichzeitigen Aufnahme der Vielzahl von sequenziellen Bildern aus unterschiedlichen Perspektiven umfasst und bei dem die Mittel zum Bestimmen der zusammengehörenden Gesteneingaben umfasst: Mittel zum Beleuchten wenigstens eines Eingabeobjekts mit Infrarot (IR) Licht und Mittel zum Bestimmen der dreidimensional bestimmten Orte des wenigstens einen Merkmals des wenigstens einen Eingabeobjekts auf der Grundlage eines Infrarotlichthelligkeitskontrastes zwischen dem wenigstens einen Eingabeobjekt und einem Hintergrund und aufgrund von Parallaxenverschiebungen des wenigstens einen Merkmals des wenigstens einen Eingabeobjekts aus den unterschiedlichen Perspektiven der gleichzeitig aufgenommenen Vielzahl von sequenziellen Bildern.
Das System nach Anspruch 19, bei dem die Mittel zum Bestimmen der zusammengehörigen Gesten Änderungen des Orts des wenigstens einen Merkmals des wenigstens einen Eingabeobjekts in jedem der Vielzahl der sequenziellen Bilder der Gesteneingabeumgebung im dreidimensionalen Raum bestimmt und bei dem die Mittel zum Übertragen der zusammengehörigen Gesteneingaben auf die gepufferte Vielzahl von sequenziellen Bildern vor den Änderungen des dreidimensional bestimm ten Orts des wenigstens einen Merkmals des wenigstens einen Eingabeobjekts zur Bestimmung des Ausschnitts des visuellen Inhalts zugreift, auf den der Befehl auszuführen ist.