-
Die Erfindung bezieht sich allgemein auf Schnittstellensysteme und insbesondere auf ein Verfahren zur Erkennung von Handgesten.
-
Mit zunehmend mit Hilfe eines Computers ausgeführten Tätigkeiten werden verstärkt neue und innovative Wege zur Schaffung einer Schnittstelle mit einem Computer entwickelt, um die Veränderungen in der Computerfunktionalität und Ausrüstung zu ergänzen. So können zum Beispiel berührungsempfindliche Bildschirme es einem Benutzer erlauben, in den Computer Eingaben ohne eine Maus und/oder eine Tastatur zu machen, so dass zur Eingabe kein Platz auf dem den Computer aufnehmenden Arbeitsplatz erforderlich ist. Beispiele solcher berührungsempfindlicher Bildschirme umfassen berührungsempfindliche Membranen, Techniken zur Strahlunterbrechung mit längs des Umfangs vorgesehenen Lichtquellen und Sensoren und akustisch abtastende Techniken. Diese Arten von Computerschnittstellen können jedoch nur Informationen an den Computer hinsichtlich eines Berührungsereignisses selbst geben und sind folglich in ihrer Anwendbarkeit beschränkt. Hinzu kommt, dass diese Arten von Schnittstellen bezüglich der Anzahl von Berührungsvorgängen, die in einer vorgegebenen Zeitspanne verarbeitet werden können, beschränkt sind, und dass sie der Gefahr der Verarbeitung unbeabsichtigter Berührungen ausgesetzt sind, wenn sie beispielsweise Berührungen, die von der Manschette eines Hemdes oder der Handfläche stammen, als Berührungsereignisse werten. Es kommt hinzu, dass berührungsempfindliche Bildschirme prohibitiv teuer sein können und dass sehr große Bildschirmgrößen, wie sie beispielsweise bei Präsentationen verwendet werden, nicht praktisch sind.
US 2008/0013826 A1 offenbart ein Gestenerkennungsschnittstellensystem und ein Verfahren zur Gestenerkennung. Bei diesem Verfahren zur Gestenerkennung wird eine Hintergrundfläche von zwei Lichtquellen beleuchtet. Gesten, die von der Hand eines Benutzers erzeugt werden, werden in einer ersten Anzahl von Bildern und einer zweiten Anzahl von Bildern aufgenommen. Die erste Anzahl umfasst Bilder, die aufgrund der ersten Lichtquelle erzeugt wurden, und die zweite Anzahl umfasst Bilder, die aufgrund der zweiten Lichtquelle erzeugt wurden. Aus ersten und zweiten Bildern, welche im Wesentlichen zeitgleich aufgenommen wurden und einer Position der Hand eines Benutzers zu einem Zeitpunkt entsprechen, wird die Position der Hand des Benutzers ermittelt. Anschließend erfolgt ein Abgleich der aus den Bildern ermittelten Position mit einer späteren Position der Hand des Benutzers, wobei dabei wieder erste und zweite Bilder verwendet werden. Diese werden jedoch zu einem späteren Zeitpunkt aufgenommen.
US 2001/0043719 A1 offenbart ein System zum Erkennen der Position oder Richtung, die eine Person anzeigt. Das System weist eine Vielzahl von Beleuchtungsmitteln, eine Vielzahl von Kameras und Mittel zum Erkennen der Position oder Richtung, die eine Person anzeigt, auf. Dabei offenbart
US 2001/0043719 A1 Mittel zum Unterdrücken der Erfassung bzw. Einflussnahme von Störobjekten, welche die Rechenleistung eines solchen Systems ansteigen lassen und daher die Verarbeitungszeit drastisch verlängern. Bei dem System wird aus einer Mehrzahl von Bildern, die von Kameras aufgenommen werden eine Person identifiziert. Bewegungen dieser Person – Heben und Senken des Arms – werden über den Abstand zweier Bezugspunkte bzw. den Abstand zwischen einem Bezugs- und einem Referenzpunkt ermittelt, wobei dazu die aufgenommenen Bilder in der aufgenommenen Reihenfolge verwendet werden. Einen Bezugspunkt bildet die Hand bzw. ein Finger der Hand und den anderen Bezugspunkt bzw. Referenzpunkt bildet die Schulter, welche sich im Wesentlichen bei dem Heben und Senken des Arms nicht bewegt. Dem Heben und Senken sind bestimmte Befehle zugeordnet, so dass ein Benutzer aufgrund dieser Bewegung ein Hinweisen und ein Auswählen eines dargestellten Objekts durchführen kann.
US 6,147,678 offenbart eine dreidimensionale Video-Hand-Bild Computerschnittstelle mit mehreren Freiheitsgraden. Das System umfasst einen Computer und zumindest zwei mit dem Computer verbundene Kameras. Das System verarbeitet dabei die Position und Ausrichtung von zwei Fingern einer Hand und bildet daraus Informationen, die zur Steuerung einer virtuellen Umgebung verwendet werden.
US 2006/0187196 A1 offenbart ein System und ein Verfahren zur Gestenerkennung von zwei Händen. Jede von einer der Hände ausgeführten Gesten betrifft eine einzelne Gesteneingabe. Das System erkennt dabei jeweils die von einer der Hände ausgeführten Gesten und ermittelt daraus eine Steuerung für einen Computer.
EP 0 571 702 A2 offenbart ein Handzeige-Eingabegerät und eine Wandcomputereinheit. Mittels der in
EP 0 571 702 A2 offenbarten Einheit wird das Hinweisen auf und das Auswählen von dargestellten Objekten berührungsfrei über zwei Gesten dargestellt. Es ist daher Aufgabe der vorliegenden Erfindung ein Verfahren zum Erzeugen von Gesteneingaben bereitzustellen, welches eine schnelle Abfolge von Gesteneingaben und komplexe Gesteneingaben erlaubt und dadurch auch eine verbesserte Gesteneingabe bietet.
-
Eine Ausführungsform der der Erfindung beinhaltet ein Verfahren zum Erzeugen von Geräteeingaben. Das Verfahren umfasst das Beleuchten von Handgesten, die von einem Benutzer mit wenigstens einer nackten Hand im Vordergrund vor einer Hintergrundfläche ausgeführt werden, mit einer Infrarot (IR) Lichtquelle. Das Verfahren weist ferner das Erzeugen einer ersten Vielzahl von der wenigstens einen nackten Hand zugehörigen Schattenbildern auf der Grundlage des IR Lichtkontrastes zwischen der wenigstens einen nackten Hand und der Hintergrundfläche und das Erzeugen einer zweiten Vielzahl von der wenigstens einen nackten Hand zugehörigen Schattenbildern auf der Grundlage des IR Lichtkontrastes zwischen der wenigstens einen nackten Hand und der Hintergrundfläche auf. Ferner umfasst das Verfahren das Bestimmen einer Vielzahl drei-dimensionaler Merkmale der wenigstens einen nackten Hand relativ zur Hintergrundfläche auf der Grundlage der Parallaxenverschiebung der wenigstens einen nackten Hand in der ersten Vielzahl von Schattenbildern gegenüber der zweiten Vielzahl von Schattenbildern. Das Verfahren umfasst weiterhin das Bestimmen einer erzeugten Gesteneingabe aufgrund der Vielzahl von drei-dimensionalen Merkmalen der nackten Hand, wobei die Gesteneingabe zusammengesetzte Gesten umfasst, wobei eine der zusammengesetzten Gesten eine erste Untergeste, die einen bestimmten, einem Teil des angezeigten visuellen Inhalts zugehörigen Bezug erzeugt, und eine zweite Untergeste aufweist, die eine variable Bewegung zwischen einem ersten Zustand der wenigsten einen nackten Hand und einem zweiten Zustand der wenigstens einen nackten Hand umfasst. Zudem umfasst das Verfahren das Vergleichen der erzeugten Gesteneingabe mit einer Vielzahl von in einer Gestenbibliothek gespeicherten vordefinierten Gesteneingaben. Schließlich umfasst das Verfahren das Erzeugen wenigstens einer Geräteeingabe, die einem interaktiven Zusammenwirken mit angezeigtem visuellem Inhalt entspricht, aufgrund der erzeugten Gesteneingabe, die einer der gespeicherten vordefinierten Gesteneingaben entspricht wobei das interaktive Zusammenwirken mit dem angezeigten visuellen Inhalt das Identifizieren des Teils des angezeigten visuellen Inhalts aufgrund der ersten Untergeste und die variable Manipulation des Teils des angezeigten visuellen Inhalts entsprechend der zugehörigen variablen Bewegung zwischen dem ersten Zustand der wenigsten einen nackten Hand und dem zweiten Zustand der wenigstens einen nackten Hand in der zweiten Untergeste umfasst.
-
1 stellt ein Beispiel eines Schnittstellensystems zur Gestenerkennung gemäß einem Aspekt der Erfindung dar.
-
2 stellt ein Beispiel eines Schnittstellenkontrollers zur Gestenerkennung gemäß einem Aspekt der Erfindung dar.
-
3 stellt ein anderes Beispiel eines Schnittstellensystems zur Gestenerkennung gemäß einem Aspekt der Erfindung dar.
-
4 stellt ein Beispiel eines Simulationssystems zur Gestenerkennung gemäß einem Aspekt der Erfindung dar.
-
5 stellt ein Beispiel von Handgesten zum Einsatz in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar.
-
6 stellt ein anderes Beispiel von Handgesten zum Einsatz in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar.
-
7 stellt ein weiteres Beispiel von Handgesten zum Einsatz in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar.
-
8 stellt nochmals ein weiteres Beispiel von Handgesten zum Einsatz in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar.
-
9 stellt ein Beispiel eines Verfahrens zur Erzeugung von Geräteeingaben gemäß einem Aspekt der Erfindung dar.
-
Die Erfindung bezieht sich allgemein auf Schnittstellensysteme und insbesondere auf ein Verfahren zur Erkennung von Handgesten. Ein Benutzer beziehungsweise Anwender benutzt einen oder mehrer ”Finger” seiner oder ihrer nackten Hand zur Erzeugung von Eingaben in einen Computer oder ein anderes elektronisches Gerät. Die nackte Hand kann die Hand eines Benutzers sein, die durch keinen speziellen Handschuh bedeckt ist und keine Sensoren hat, die eine Gestenerkennung erlauben. Es sei verstanden, dass – wie hier beschrieben – ein ”Finger” einer der normalen Finger oder der Daumen sein kann. Es sei weiterhin verstanden, dass die simulierten Eingaben durch einfache Gesten und/oder zusammengesetzte Gesten unter Verwendung der einen Hand oder beider Hände erzeugt werden können. So kann der Benutzer zum Beispiel Gesten erzeugen, die vordefinierte Bewegungen einschließen, die die nackten Hand in einem Gestenerkennungssystem verwenden, wie es zum Beispiel durch den Vordergrund eines Anzeigebildschirms definiert ist, der visuellen Inhalt anzeigt. Die simulierten Eingaben können zum Beispiel eine aus einer Vielzahl von Eingaben sein, die durch ein interaktives Zusammenwirken mit Teilen des visuellen Inhalts entstehen.
-
Jedes einer Vielfalt von Schnittstellensystem zur Gestenerkennung kann zur Erkennung der zusammengesetzten Gesten eingesetzt werden. So können zum Beispiel eine oder mehrere Infrarot (IR) Lichtquellen eine Gestenerkennungsumgebung beleuchten, die durch einen Bereich in einem physikalischen Raum im Vordergrund bzw. vor oder über einer vertikalen bzw. horizontalen Anzeigefläche definiert ist. Die IR Lichtquellen können die Gestenerkennungsumgebung von oben her beleuchten oder können unterhalb eines IR-diffusen Bildschirms zur Beleuchtung der Gestenerkennungsumgebung von unten, die sich oberhalb der Anzeigefläche befindet, vorgesehen sein. Von einem Satz von Stereokameras kann jede eine Vielzahl von Bildern der nackten Hand erzeugen. Die Vielzahl der Bilder kann zum Beispiel auf dem Kontrast des von dem Infrarotlicht reflektierten Lichts beruhen, das von der nackten Hand relativ zu im wesentlichen nicht reflektierten Licht aufgrund von stärker reflektiertem Licht von einer rück-reflektierenden Hintergrundfläche reflektiert wird, oder von dem Licht, das von unterhalb einer IR diffusen der Anzeigefläche abgegeben wird. Die Vielzahl der Bilder der nackten Hand von jeder Kamera kann zum Beispiel eine Vielzahl zusammengehöriger Sätze von Bildern der nackten Hand bilden, derart, dass jedes Bild in dem zusammengehörigen Satz von Bildern der nackten Hand aus einer unterschiedlichen Perspektive zu im wesentlichen der gleichen Zeit entspricht. Ein gegebener zusammengehöriger Satz von Bildern kann zur Bestimmung des Ortes der nackten Hand eingesetzt werden und die Vielzahl der zusammengehörigen Sätze von Bildern kann zur Bestimmung der physischen Bewegung der nackten Hand eingesetzt werden.
-
Ein Kontroller kann zum Empfang der Vielzahl der Bilder für die Bestimmung von drei-dimensionalen Lageinformationen von der nackten Hand gegenüber der Hintergrundfläche eingesetzt werden. Zum Beispiel kann der Kontroller einen Algorithmus zur Bestimmung von Merkmalen der nackten Hand einsetzen, zum Beispiel, der Erstreckung, der Beugung und der Orientierung der Finger im dreidimensionalen Raum. Der Kontroller kann dann die simulierten Eingaben in Geräteeingaben auf der Grundlage der Lageinformation in den drei Dimensionen umsetzen. Zum Beispiel kann der Kontroller Gesteneingaben auf der Grundlage von Bewegungen übertragen, die zu der nackten Hand gehörig sind und die Gesteneingaben in Eingaben in einen Computer oder ein anderes Gerät übertragen. Der Kontroller kann auch die mit dem einen oder den mehreren Endpunkten der Finger oder des Daumens der nackten Hand verknüpfte Bewegung mit einer Vielzahl vordefinierter, in einem Gestenspeicher (Speicher mit gespeicherten Gesten) vergleichen, so dass eine Übereinstimmung mit einer gegebenen vordefinierten Geste einer bestimmten Geräteeingabe entspricht.
-
1 zeigt ein Ausführungsbeispiel eines Schnittstellensystems 10 zur Gestenerkennung gemäß einem Aspekt der Erfindung. Das Schnittstellensystem 10 zur Gestenerkennung umfasst eine erste Kamera 12, eine zweite Kamera 14, eine erste Infrarotlichtquelle 16 und eine zweite Infrarotlichtquelle 18, die alle über einer vertikalen Anzeigefläche 20 angebracht sind. Die vertikale Anzeigefläche 20 kann beispielsweise eine Projektions(lein)wand sein. Die erste Kamera 12 und die zweite Kamera 14 können jeweils Infrarotfilter aufweisen, so dass die jeweilige Kamera nur Infrarotlicht zu empfangen in der Lage ist. Die erste Infrarotlichtquelle 16 und die zweite Infrarotlichtquelle 18 beleuchten jede eine Gestenerkennungsumgebung 22, die als der drei-dimensionale physische Raum im Vordergrund der vertikalen Anzeigefläche 20 definiert ist, die von der ersten Kamera 12 und der zweiten Kamera 14 erfassbar sind.
-
Eine Hand 24 eines Benutzers kann simulierte Eingaben über der vertikalen Anzeigefläche 20 erzeugen. Die erste Kamera 12 und die zweite Kamera 14 empfangen getrennte Bilder des Eingabeobjekts 24, von denen jedes der von der ersten Kamera 12 bzw. der zweiten Kamera 14 aufgenommenen Bilder einen zusammengehörigen Satz (z. B. ein zusammengehöriges Paar) bilden. So kann zum Beispiel sowohl die erste Kamera als auch die zweite Kamera fotografische Standbilder schnell mit zum Beispiel 60 Bildern je Sekunde aufnehmen, so das jedes Standfoto, das mit der ersten Kamera 12 aufgenommen wurde, zu einem Standfoto, das mit der zweiten Kamera 14 zu praktisch der gleichen Zeit aufgenommen wurde, zugehörig ist. Die Hand 24 des Benutzers kann in jedem Bild des zusammengehörigen Satzes, der jeweils durch die erste Kamera 12 und die zweite Kamera 14 aufgenommen wurde, aufgrund der Parallaxe, die durch die unterschiedlichen Befestigungsorte für sowohl die erste Kamera 12 als auch die zweite Kamera 14 verursacht sind, an einem anderen Ort zu sein erscheinen. In dem Beispiel nach 1 kann die erste Kamera 12 und die zweite Kamera 14 jeweils unter einem Winkel auf das Zentrum der vertikalen Anzeigefläche 20 ausgerichtet sein, so dass eine genauere Bestimmung der Position des Eingabeobjekts 24 ermöglicht ist.
-
Bei dem Ausführungsbeispiel nach 1 können die sowohl von der erste Kamera 12 als auch der zweite Kamera 14 empfangenen Bilder der nackten Hand 24 auf Infrarotlicht beruhen, das von dem Eingabeobjekt relativ zum im wesentlichen nicht-reflektierten Licht in der Gestenerkennungsumgebung 22 reflektiert wird. Insbesondere ist ein Objekt mit einer relativen Helligkeitsintensität beleuchtet, die 1/D2 ist, mit D dem Abstand von der Lichtquelle. Folglich erscheint ein Objekt, das zweimal so weit entfernt wie ein anderes ist, vier mal schwächer. Das hat zur Folge, dass, obwohl einiges Infrarotlicht, das von der ersten und zweiten der Infrarotlichtquellen 16 und 18 ausgestrahlt wird, vom Boden 28 unterhalb der vertikalen Anzeigefläche 20 reflektiert wird, die Intensität des so reflektierten Lichtes deutlich geringer als die des von der nackten Hand 24 des Benutzers reflektierten Lichts ist.
-
Die erste Kamera 12 und die zweite Kamera 14 können jede ihre entsprechenden getrennten Bilder des Eingabeobjekts an einen Kontroller 26 übergeben. Der Kontroller könnte in einem nicht dargestellten Computer vorgesehen sein, für das das Schnittstellensystem 10 zur Gestenerkennung für die Bildung einer Gestenerkennungsschnittstelle ausgebildet ist. Dabei versteht es sich jedoch, dass das Unterbringen eines Kontrollers nicht auf einen alleinstehenden Computer beschränkt ist und dass dieser zum Beispiel in einem Prozessor eingebettet sein kann. Der Kontroller 26 kann die entsprechenden, mit der nackten Hand 24 des Benutzers verknüpften Bilder verarbeiten, um drei-dimensionale, mit der nackten Hand 24 des Benutzers verknüpfte Merkmalsdaten zu erzeugen.
-
Es können zum Beispiel die erste Kamera 12 und die zweite Kamera 14 jeweils unter vorgegebenen Winkeln relativ zum Boden 28 unterhalb der vertikalen Anzeigefläche 20 montiert sein. Für ein gegebenes zusammengehöriges Paar von Bildern der nackten Hand 24 des Benutzers hat dann, wenn der vorbestimmte Winkel jeder der Kameras 12 und 14 der gleiche ist, jeder Punkt der nackten Hand 24 des Benutzers in einem zwei-dimensionalen Raum in einem gegebenen Bild von der Kamera 12 den gleichen Abstand von einem entsprechenden Punkt des Eingabeobjekts 24 in dem entsprechenden zugehörigen Bild von der Kamera 14. Der Kontroller 26 könnte den physikalischen Ort der nackten Hand 24 des Benutzers aufgrund einer relativen Parallaxenverschiebung des zusammengehörigen Satzes von Bildern der nackten Hand 24 des Benutzers zu einer gegebenen Zeit drei-dimensional bestimmen. Zusätzlich könnte der Kontroller 26 unter Verwendung eines Computerprogramms den physischen Ort von Merkmalen, die mit den Merkmalen der nackten Hand 24 des Benutzers verknüpft sind, zum Beispiel Finger oder Fingerspitzen, auch drei-dimensional bestimmen. Als Beispiel sei genannt, dass der Kontroller 26 zur Bestimmung und Übertragung der Gesten ausgebildet sein kann, die in der Gestenerkennungsumgebung auf eine von vielen verschiedenen Weisen erzeugt wurden, wie beispielsweise jenen, die sowohl in der US-Patentanmeldung US 2008/0 013 826 A1 als auch der US-Patentanmeldung US 2008/0 244 468 A1 die beide auf den gleichen Rechtsinhaber wie dem der vorliegenden Anmeldung übertragen wurden, beschrieben sind und die hierher durch Bezugnahme auf sie in ihrer Gesamtheit einbezogen werden.
-
Das Schnittstellensystem 10 zur Gestenerkennung kann auch einen Projektor 30 umfassen. Der Projektor 30 kann visuellen Inhalt, mit dem der Benutzer wechselseitig zusammenwirken und Eingaben erzeugen kann, zur Verfügung stellen. In dem Ausführungsbeispiel der 1 kann der Projektor 30 visuellen Inhalt auf die vertikale Anzeigefläche 20 projizieren. Da die Infrarotlichtquellen 16 und 18 kein sichtbares Licht abgeben, kann die Infrarotbeleuchtung den sichtbaren Inhalt, den der Projektor 30 projiziert, nicht stören. Der Benutzer kann folglich die nackte Hand 24 des Benutzers in der Gestenerkennungsumgebung 22 zum Simulieren von Eingaben in interaktiver Weise mit dem visuellen Inhalt einsetzen.
-
Gemäß einem Beispiel kann der Kontroller 26 zusammengesetzte Gesten bestimmen, die von einem Benutzer unter Verwendung der Hand 24 des Benutzers gemacht werden, und kann die Gesteneingaben in eine aus einer Vielzahl von vielen Geräteeingaben übertragen. So kann der Kontroller 26 zum Beispiel das Deuten auf die vertikale Anzeigefläche 24 mit der nackten Hand 24 des Benutzers derart übertragen bzw. übersetzen, wie zum Beispiel mit einem gestreckten Zeigefinger oder einer flachen, offenen Hand, dass ein Bezug auf den visuellen Inhalt erzeugt wird, der auf der vertikalen Anzeigefläche 20 gezeigt ist. Gemäß einem anderen Beispiel können ausgewählte Daten auf Gesteneingaben hin wie das Auswählen von Objekten, das Bewegen von Objekten, das Scrollen von visuellen Daten, das Wenden von Seiten eines Dokuments und jede beliebige andere Geräteeingabe, manipuliert werden. Zusätzliche Eingabegesten lassen sich nacheinander unter Einsatz der Hand 24 des Benutzers implementieren oder es können aufeinanderfolgende Geräteeingaben unter Einsatz der anderen, nicht dargestellten Hand des Benutzers implementiert werden. Folglich könnte der Benutzer des Schnittstellensystems 10 zur Gestenerkennung durch eine Anzahl von Computermenüs, grafischen Benutzerschnittstellenikons (GUI) navigieren und/oder mit einem Computer verknüpfte Programme ausführen, und dies nur durch Bewegung seiner oder ihrer nackten Hand durch die Luft in der Gestenerkennungsumgebung 22 und durch Ausführen einer oder mehrerer komplementärer Gesten ohne Berührung einer Maus, einer Tastatur oder eines anderen Eingabegeräts für Computer.
-
Bei dem Beispiel der 1 umfasst der Kontroller 26 einen Bildpuffer 32, der zur Speicherung nacheinander aufgenommener Bilder von sowohl der ersten Kamera 12 als auch der zweiten Kamera 14 vorgesehen ist. Der Bildpuffer 32 kann zum Beispiel ein Speicher sein, der derart als eine Folge konfiguriert ist, dass neue Bilder die von der ersten und zweiten Kamera 12 und 14 aufgenommen wurden, an den Bildpuffer 32 zum Überschreiben der darin gespeicherten ältesten Bilder übergeben werden. Die aufeinanderfolgenden Bilder, die in dem Bildpuffer 32 gespeichert sind, können vom Kontroller 26 zur Übersetzung der Gesten, die in der Gestenerkennungsumgebung 22 ausgeführt wurden, in Geräteeingaben verwendet werden. Der Kontroller 26 kann zum Beispiel so ausgebildet sein, dass er die aufeinanderfolgenden Bilder, die in dem Bildspeicher 32 gespeichert sind, analysiert, um die dreidimensionale Bewegung von der Hand 24 des Benutzers zugeordneten Merkmalen zu bestimmen. Der Kontroller 26 kann somit die drei-dimensionale Bewegung mit der vordefinierten Geste, die in der Bibliothek 34 für vordefinierte Gesten gespeichert sind, vergleichen und die korrespondierende Geräteeingabe auf die Feststellung einer Übereinstimmung hin erzeugen. Folglich kann der Kontroller die zutreffende Geräteeingabe aufgrund der Ausführung der korrespondierenden Gesten bestimmen.
-
Es versteht sich, dass das Schnittstellensystem 10 zur Gestenerkennung nicht auf das Beispiel nach 1 beschränkt sein soll. So sind die Gesteneingaben, die in das Schnittstellensystem 10 zur Gestenerkennung implementiert sind, nicht auf drei-dimensionale Gesten beschränkt, sondern es können zwei-dimensionale Gesten anstelle von oder zusätzlich zu drei-dimensionalen Gesten vorgesehen sein. Ferner muss das Schnittstellensystem 10 zur Gestenerkennung auch keine Anzeigefläche aufweisen. Vielmehr können auch andere Arten von Anzeigebildschirmen wie zum Beispiel holographische und oder nicht-planare Anzeigebildschirme eingesetzt werden. Das Schnittstellensystem 10 zur Gestenerkennung kann somit auf eine von vielen Arten ausgestaltet werden.
-
2 zeigt ein anderes Ausführungsbeispiel eines Schnittstellenkontrollers 50 zur Gestenerkennung gemäß einem Aspekt der Erfindung. Der Schnittstellenkontroller 50 zur Gestenerkennung kann ein Teil eines Schnittstellensystems 10 zur Gestenerkennung gemäß dem Ausführungsbeispiel nach 1 sein. So kann Schnittstellenkontroller 50 zur Gestenerkennung zum Beispiel wie der Kontroller 26 des Ausführungsbeispiels nach 1 ausgebildet sein. Insoweit ist in der nachfolgenden Beschreibung des Ausführungsbeispiels nach 2 auf das Ausführungsbeispiel von 1 bezug zu nehmen.
-
Der Schnittstellenkontroller 50 zur Gestenerkennung 10 empfängt von der ersten Kamera 12 und der zweiten Kamera 14 eine Vielzahl von Bildern. Die erste und zweite der Kameras 12 und 14 empfangen jede eine Vielzahl von Bildern der Hand 24 des Benutzers. Die entsprechenden Bilder der Hand 24 des Benutzers können Schattenbilder sein, die auf dem Helligkeitskontrast zwischen der Hand 24 des Benutzers und der im wesentlichen dunklen Hintergrundfläche beruhen. So kann der Helligkeitskontrast zum Beispiel darauf gegründet sein, dass die Hand 24 des Benutzers im wesentlichen hell aufgrund der Reflektion der IR-Beleuchtung im Vordergrund einer sehr dunklen Hintergrundfläche, wie beispielsweise dem Boden 28, erscheint. Wie jedoch noch nachfolgend mit weiteren Einzelheiten unter Bezugnahme auf 3 beschrieben werden wird, kann der Helligkeitsunterschied auch darauf gegründet sein, dass die Hand 24 des Benutzers im Vordergrund einer hellen IR Beleuchtung im wesentlichen dunkel ist, die von einer horizontalen Hintergrundfläche reflektiert wird, oder im Vordergrund einer hellen IR Beleuchtung, die durch die Hintergrundfläche hindurch diffus abgestrahlt wird.
-
Die erste Kamera 12 und die zweite Kamera 14 speisen ihre entsprechenden Bilder von zusammengehörigen Paaren von Bildern in einen Digitalisierer 52 ein. Der Digitalisierer 52 erzeugt digitalisierte Versionen der Bilder der Hand 24 des Benutzers. Die digitalisierten Bilder der Hand 24 des Benutzers werden in einem Bildkomparator 54 eingespeist. Der Bildkomparator 54 vergleicht jedes der digitalisierten Bilder des Eingabeobjekts mit einem zuvor eingespeicherten digitalisierten Bild der Hand 24 des Benutzers zur Erzeugung eines binär codierten Bildes der Hand 24 des Benutzers. Obwohl der lichtstreuende Bildschirm 20 die IR Beleuchtung in im wesentlichen gleichförmiger Weise abstrahlt, können beispielsweise immer noch Beleuchtungsintensitätsgradienten auf der vertikalen Anzeigefläche 20 vorliegen. Daher ermöglicht der Vergleich durch den Bildvergleicher 54 eine erhöhte Qualität der digitalisierten Bilder trotz Schwankungen in der Beleuchtungsintensität auf der vertikalen Anzeigefläche 20. Das zuvor gespeicherte digitalisierte Bild könnte z. B. während eines Abgleichvorgangs aufgenommen worden sein und/oder einer wiederholten Speicherung des digitalisierten Bilds in Speicherpuffern unterworfen worden sein.
-
Es kann beispielsweise ein Hintergrundmodell für jede der beiden Kameras 12 und 14, ohne dass die Hand 24 des Benutzers vorhanden ist, beibehalten werden. Die Hintergrundmodellbilder können an jedem Bildpunkt zur Entscheidung verwendet werden, ob das Bild der Hand 24 des Benutzers einer Binärzahl 1 oder 0 entspricht. So kann beispielsweise an jedem Bildpunktort, wenn das Bild die Hand 24 des Benutzers einen Wert hat, der angenähert größer als das korrespondierende Hintergrundmodellbild multipliziert mit einem Grenzskalierwert zwischen 0 und 1 ist, der Ausgangswert den Binärwert 1 haben und so das Vorhandensein der Hand 24 des Benutzers angeben. Auf diese Weise kann der Skalierwert so gewählt werden, dass er ein optimales Gleichgewicht zwischen wünschenswertem Erkennen der Hand 24 des Benutzers und weitgehender Unempfindlichkeit gegen Restschwankungen der Beleuchtungsintensität auf der Oberseite des lichtstreuenden Bildschirms 20 hält. Als Ergebnis hiervon können Kanten, die der Hand 24 des Benutzers eigen sind, in jedem der Bilder festgestellt werden.
-
Die hinsichtlich des Kontrasts verbesserten, in binär codierte Bilder umgewandelten Schattenbilder der Hand 24 des Benutzers werden dann jeweils in eine Vorrichtung 56 mit einem Objektfeststellungsalgorithmus eingespeist. Die Vorrichtung 56 mit dem Objektfeststellungsalgorithmus kann ein integrierter Schaltkreis (IC) oder ein Satz von ICs innerhalb des Schnittstellenkontrollers 50 zur Gestenerkennung 10 sein, oder könnte ein Softwareprogramm sein, das in dem Schnittstellenkontroller 50 zur Gestenerkennung 10 vorgesehen ist. Die Vorrichtung 56 mit dem Objektfeststellungsalgorithmus kann einen von vielen Feststellungsalgorithmen zur Bestimmung einer zwei-dimensionalen Lage der Hand 24 des Benutzers gegenüber der vertikalen Anzeigefläche 20 umfassen. Beispielsweise kann die Vorrichtung 56 mit dem Objektfeststellungsalgorithmus ein zwei-dimensionales Faltungsfilter wie beispielsweise ein Laplace-Filter eines Gaussschen Faltungsfilters umfassen, das einen mathematischen Algorithmus auf jedes der digitalisierten Bilder der Hand 24 des Benutzers zur Bestimmung der Lage eines oder mehrerer Merkmale der Hand 24 des Benutzers, wie z. B. der Fingerspitzen, in einem zwei-dimensionalen Raum anwendet, wie es in der US Patentanmeldung US 2008/0 013 826 A1 beschrieben ist. Nach einem anderen Beispiel kann die Vorrichtung 56 mit dem Objektfeststellungsalgorithmus eine Folge von Mittelpunkten erzeugen, die sich symmetrisch zwischen den Kanten längs länglicher Abschnitte des Eingabeobjekts 22 befinden, um eine skelettartige Wiedergabe des Eingabeobjekts 22 zu bilden, wie dies in der US Patentanmeldung US 2008/0 244 468 A1 beschrieben ist. Auf diese Weise können Merkmale, die mit der Hand 24 des Benutzers verknüpft sind und die bestimmend für die Gesteneingaben sein können, in jedem der Schattenbilder der Hand 24 des Benutzers festgestellt werden.
-
Die Ausgabedaten der Vorrichtung 56 mit dem Objektfeststellungsalgorithmus, wie beispielsweise einem mit einem Faltungsfilter gefilterten Bild oder einem skelettartigen Bild werden zu einem Auswertungsgerät 58 für Kalibrierungsdaten und die Lage geleitet. Das Auswertungsgerät 58 für Kalibrierungsdaten und die Lage bestimmen die drei-dimensionale Lage bzw. Lage im Raum der mit der Hand 24 des Benutzers verknüpften Merkmale zu einer gegebenen Zeit. Das Lageauswertungsgerät 58 für die Kalibrierdaten und die Lage kann nach einem Beispiel so konfiguriert sein, dass ein Parallaxenabstand zwischen Endpunkten bestimmt, die z. B. von einem Spitzenwertdetektor aus mit einem Faltungsfilter gefilterten Bildern, die von den beiden Kameras 12 und 14 geliefert werden, ermittelt wurden. Nach einem anderen Beispiel kann das Auswertungsgerät 58 für Kalibrierungsdaten und die Lage so konfiguriert sein, dass es die zwei-dimensionalen Lagen der korrespondierenden Punkte relativ zueinander in jeder der beiden skelettartigen Bilder der Hand 24 des Benutzers vergleicht und die drei-dimensionale Lage der Punkte aufgrund des Parallaxenabstands der korrespondierenden Punkte interpoliert. Folglich kann das Auswertungsgerät 58 für die Kalibrierdaten und die Lage die Lage im Raum eines oder mehrerer Merkmale der Hand 24 des Benutzers gegenüber der vertikalen Anzeigefläche 20 für jedes zusammengehörige Paar von durch die Kameras 12 und 14 gelieferten Bildern ermitteln.
-
Die Datenausgabe des Auswertungsgeräts 58 für Kalibrierungsdaten und die Lage werden einem Gestenerkennungsgerät 60 zugeleitet. Das Gestenerkennungsgerät 60 interpretiert die mit der Hand 24 des Benutzers verknüpften Merkmalsdaten und übersetzt Änderungen in den Lagedaten in eine Gesteneingabe. Bei dem Ausführungsbeispiel der 2 weist das Gestenerkennungsgerät 60 einen Bild(puffer)speicher 62 auf. Der Bild(puffer)speicher kann derart ausgebildet sein, dass aufeinanderfolgende Sätze von drei-dimensionalen Lagedaten speichert, die jede einem zusammengehörigen Paar von Bildern entspricht, die durch die erste Kamera 12 und die zweite Kamera 14 erzeugt worden sind. Somit kann das Gestenerkennungsgerät 60 so ausgestaltet sein, dass es Muster und oder Änderungen in den aufeinanderfolgenden Sätzen der drei-dimensionalen Merkmalsdaten zur Bestimmung einer von der Hand 24 des Benutzers erzeugten Gesteneingabe analysiert.
-
Der Schnittstellenkontroller 50 zur Gestenerkennung umfasst auch eine Gestenbibliothek 64, die mit dem Gestenerkennungsgerät 60 verbunden ist. Die Gestenbibliothek 64 kann eine Vielzahl von vordefinierten Gesten enthalten, von denen jede der vordefinierten Gesten einer besonderen Geräteeingabe entspricht. So könnte die Gestenbibliothek 64 eine Datenbank spezieller Anordnungen und Kombinationen von Stellungen und aufeinanderfolgender Bewegungen der Fingerspitze aufweisen, die jede einer anderen Computereingabe entsprechen. Beispiele der vordefinierten Gesteneingaben sind mit weiteren Einzelheiten nachfolgend anhand der Beispiele in der 5 bis 8 beschrieben.
-
Das Gestenerkennungsgerät 60 kann nach der Analyse der aufeinanderfolgenden Sätze der drei-dimensionalen Merkmalsdaten in dem Bildpufferspeicher 62 die Gestenbibliothek 64 durchsuchen, um zu bestimmen, ob die Eingabegeste einer vordefinierten Geste entspricht. Nach Bestimmung einer solchen Übereinstimmung könnte das Gestenerkennungsgerät 60 die Eingabegeste in eine Geräteeingabe übertragen, die der vordefinierten Geste entspricht. Die Gestenbibliothek 64 könnte mit den geeigneten vorbestimmten Eingabegesten vor-programmiert sein oder sie könnte dynamisch programmiert werden, so dass neue Gesten zusammen mit der entsprechenden Geräteeingabe hinzugefügt werden können. So könnte ein Benutzer zum Beispiel einen Vorgang ”beginne Gestenprobe” aktivieren, eine neue Geste ausführen, die geeigneten Bilder der neuen Geste unter Einsatz der ersten Kamera 12 und der zweiten Kamera 14 aufnehmen und die geeignete Geräteeingabe, die zu der neuen Geste korrespondiert, eingeben.
-
Es versteht sich, dass das hier gegebene Schnittstellensystem zur Gestenerkennung nicht auf das Beispiel der 2 beschränkt sein soll. Andere Ausbildungsformen zur Erzeugung von Eingaben gemäß einem Aspekt der Erfindung sind möglich. Zum Beispiel können eine oder mehrere Geräte des Schnittstellenkontrollers 50 zur Gestenerkennung in andere Geräte integriert sein oder könnten von dem Schnittstellenkontroller 50 zur Gestenerkennung gesondert ausgebildet sein. So können z. B. die Kameras 12 und 14 jeweils die Eingabe ihrer entsprechenden Bilder an einen gemeinsamen Digitalisierer 52 vornehmen. Somit kann der Schnittstellenkontroller 50 zur Gestenerkennung auf eine von vielen Arten ausgestaltet sein.
-
3 stellt ein anderes Beispiel eines Schnittstellensystems 100 zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. Das Schnittstellensystem 100 zur Gestenerkennung kann ein anderes Ausführungsbeispiel eines Schnittstellensystems zur Gestenerkennung sein, in dem Handgesteneingaben bestimmt und in Geräteeingaben übersetzt werden können, ähnlich wie dies zuvor anhand des Beispiels der 1 beschrieben wurde.
-
Das Schnittstellensystem 100 zur Gestenerkennung umfasst eine erste Kamera 102 und eine zweite Kamera 104. Mit der ersten Kamera 102 und mit der zweiten Kamera 104 sind eine erste Infrarotlichtquelle 106 bzw. eine Infrarotlichtquelle 108 verbunden. Die erste Kamera 102 und die zweite Kamera 104 weisen jeweils ein Infrarotfilter auf, so dass die jeweilige Kamera Infrarotlicht durchlassen kann und das übrige Lichtspektrum im wesentlichen ausfiltert. Die erste Infrarotlichtquelle 106 und die zweite Infrarotlichtquelle 108 beleuchten jeweils eine horizontale Hintergrundfläche 110, die selbst rück-reflektierend sein kann. Als solches kann das Infrarotlicht der ersten Infrarotlichtquelle 106 im wesentlichen unmittelbar auf die erste Kamera 102 zurück reflektiert werden und kann das Infrarotlicht der zweiten Infrarotlichtquelle 108 im Wesentlichen unmittelbar zurück auf die zweite Kamera 104 reflektiert werden. Folglich könnte ein Objekt, das oberhalb der Hintergrundfläche 110 angeordnet ist, eine deutlich geringere Menge an Infrarotlicht auf sowohl die erste Kamera 102 als auch die zweite Kamera 104 zurück reflektieren. Daher kann ein Objekt sowohl der ersten Kamera 102 als auch der zweiten Kamera 104 als ein Schattenbild erscheinen, so dass es als ein wesentlich dunkleres Objekt im Vordergrund vor einer stark beleuchteten Hintergrundfläche 110 erscheinen kann. Es versteht sich, dass die Hintergrundfläche 110 nicht vollständig rück-reflektierend sein muss, sondern einen Lambert-Faktor zur Erleichterung der Betrachtung durch Benutzer aus verschiedenen Winkeln relativ zu der Hintergrundfläche 110 aufweisen kann.
-
Die Hand 112 eines Benutzers kann simulierte Eingaben über die Hintergrundfläche 110 erzeugen. Bei dem Beispiel nach 3 empfangen sowohl die erste Kamera 102 als auch die zweite Kamera 104 getrennte Schattenbilder der Hand 112 des Benutzers, wobei jedes der voneinander getrennten, von der ersten Kamera 101 und der zweiten Kamera 104 empfangenen Schattenbilder ein zusammengehöriges Paar bilden, ähnlich, wie es zuvor anhand des Beispiels der 1 beschrieben wurde. Die Hand 112 des Benutzers kann an einem unterschiedlichen Ort gegenüber dem rück-reflektierenden Schirm in jedem der Schattenbilder des zusammengehörigen Paars erscheinen, das jeweils von der ersten Kamera 102 und der zweiten Kamera 104 empfangen wurde, und zwar aufgrund der durch die unterschiedlichen Befestigungsstellen der ersten Kamera 102 und der zweiten Kamera 104 bewirkten Parallaxe.
-
Die erste Kamera 102 und die zweite Kamera 104 können jeweils ihre jeweiligen getrennten Schattenbilder der Hand 112 des Benutzers an einen nicht dargestellten Kontroller weiterleiten, ähnlich wie dies zuvor anhand des Beispiels der 1 beschrieben wurde. Der Kontroller kann die entsprechenden, zur Hand 112 des Benutzers gehörigen Schattenbilder verarbeiten, um drei-dimensionale Merkmalsdaten für die Hand 112 des Benutzers zu erzeugen. So kann sowohl die erste Kamera 102 als auch die zweite Kamera 104 unter einem vorgegebenen Winkel gegenüber der Hintergrundfläche 110 montiert sein. Für ein vorgegebenes zusammengehöriges Paar von Bildern der Hand 112 des Benutzers ist jeder Punkt der Hand 112 des Benutzers, wenn die vorgegebenen Winkel der beiden Kameras 102 und 104 gleich sind, in einem zwei-dimensionalen Raum in einem gegebenen Bild der Kamera 112 von einem entsprechenden Punkt der Hand 12 des Benutzers in dem entsprechenden zugehörigen Bild der Kamera 104 gleich beabstandet. Unter Verwendung eines Computeralgorithmusses könnte der Kontroller als solches den drei-dimensionalen physikalischen Ort wenigstens eines mit der Hand 112 des Benutzers verknüpften Merkmals bestimmen.
-
Das Schnittstellensystem 100 zur Gestenerkennung kann auch einen Projektor 114 aufweisen, der zur Projektion von Bilddaten ausgelegt ist. Der Projektor 114 kann eine Ausgabeschnittstelle bilden, wie zum Beispiel für Computermonitordaten, für die der Benutzer unter Verwendung der Hand 112 des Benutzers in Wechselwirkung treten und Eingaben erzeugen kann. Bei dem Beispiel der 3 kann der Projektor 114 Bilddaten auf die Hintergrundfläche 110 projizieren. Da die IR Lichtquellen 106 und 108 kein sichtbares Licht abstrahlen, stört die Beleuchtung nicht die vom Projektor 114 projizierten Bilddaten. Der Benutzer kann somit die Hand 112 des Benutzers unmittelbar auf die Bilddaten zum Simulieren von Eingaben, wie zum Beispiel Mauseingaben, verwenden.
-
Es sei darauf hingewiesen, dass das Schnittstellensystem 100 zur Gestenerkennung nicht dazu dienen soll, auf das Beispiel nach 3 beschränkt zu sein. Vielmehr kann der Projektor 114 anstelle der IR Lichtquellen 106 und 108 ein IR Filter als eine der Farben von einem zugeordneten Farbrad aufweisen, wie zum Beispiel bei einem Projektor vom Typ digitaler Lichtprojektor (DLP). Anstelle einer Hintergrundfläche 110, die rückreflektierend ist, kann zum Beispiel die Hintergrundfläche 110 Licht diffus abstrahlend ausgebildet sein, so dass die IR Lichtquellen 106 und 108 unterhalb der Hintergrundfläche 110 vorgesehen sind. Als Ergebnis hiervon erkennen die erste und die zweite Kamera 102 und 104 den IR Helligkeitskontrast als Schatten der Hand 112 des Benutzers relativ zur Infrarotlicht diffus abstrahlenden Hintergrundfläche 110. Folglich kann das Schnittstellensystem 100 zur Gestenerkennung auf eine von vielen Weisen ausgestaltet sein.
-
4 zeigt ein anderes Beispiel eines Simulationssystems 150 zur Gestenerkennung gemäß einem Aspekt der Erfindung. Das Simulationssystem 150 zur Gestenerkennung umfasst vier Kameras 152, von denen jede eine entsprechende IR Lichtquelle 154 aufweist. Die Kameras 152 können jeweils ein IR Filter aufweisen, so dass jede der entsprechenden Kameras 152 nur IR Licht zu empfangen in der Lage ist. Die IR Lichtquellen 154 beleuchten jeweils eine rück-reflektierende Oberfläche 156, so dass IR Licht von den IR Lichtquellen 154 im wesentlichen unmittelbar zurück auf die entsprechende eine der Kameras 152 reflektiert wird.
-
Das Schnittstellensystem 150 zur Gestenerkennung umfasst ein dreidimensionales Anzeigesystem 158, das im Beispiel der 4 als ein holographischer Projektor dargestellt ist. In dem Beispiel der 4 projiziert das drei-dimensionale Anzeigesystem 158 ein holographisches Bild eines simulierten Objekts 160. Das dreidimensionale Anzeigesystem 158 ist in dem Beispiel der 4 als unmittelbar oberhalb der rück-reflektierenden Fläche 156 angebracht dargestellt. Dementsprechend kann ein Benutzer Gesteneingaben erzeugen, wie dies anhand der Beispiele der 5 bis 8 beschrieben wird, um unmittelbar mit dem holographischen Bild des simulierten Objekts 160 wechselwirkend zusammenzuarbeiten. Hinzu kommt, dass das holographische Bild des simulierten Objekts 160 eine Vielzahl von funktionellen Komponenten 162 umfassen kann, die in dem Beispiel der 4 als an einem Ende des simulierten Objekts 160 angebrachte Schrauben dargestellt sind.
-
Die Hand 164 des Benutzers kann zur Erzeugung von Handgesteneingaben über der rück-reflektierenden Fläche 156 verwendet werden. Um eine Interaktion zwischen der Hand 164 des Benutzers und der gegebenen funktionalen Komponente 162 zu schaffen, kann ein nicht dargestellter zugehöriger Kontroller den physischen Ort im drei-dimensionalen Raum von einem oder mehreren Merkmalen der Hand 164 des Benutzers erkennen, wie es zuvor zum Beispiel für das Beispiel der 2 beschrieben worden ist. Nach der Bestimmung einer Korrelation der physischen Orte der Hand 164 des Benutzers und einer gegebenen funktionellen Komponente 162 kann der Kontroller eine Gestenbewegung bestimmen, die der Hand 164 des Benutzers zugehörig ist, um zu bestimmen, ob sie einer vordefinierten Aktion, die mit der funktionellen Komponente verknüpft ist, entspricht. Nach der Bestimmung, dass die Eingabegeste der vordefinierten Aktion entspricht, kann der Kontroller für die Simulationsanwendung das drei-dimensionale Anzeigesystem 158 anweisen, die geeignete simulierte Aktion auszugeben.
-
Ein Benutzer des Simulationssystems 150 zur Gestenerkennung könnte zum Beispiel eine Bezugsgeste mit der Hand 164 des Benutzers ausführen, um auf eine der funktionellen Komponenten 162, die in dem Beispiel der 4 jeweils als eine Schraube 166 dargestellt sind, zu weisen. Der Kontroller kann die Bezugs-Untergeste in einen Bezug übertragen, der auf die Schraube 166 derart verweist, dass die vom drei-dimensionalen Anzeigesystem 158 angezeigte Farbe gewechselt wird. Der Benutzer kann eine Ausführungs-Untergeste zur Ausführung eines mit einem Herausdrehen der Schraube 166 verknüpften Befehls ausführen. Während der Benutzer eine geeignete Ausführungs-Untergeste vollführt, weist der Kontroller das drei-dimensionale Anzeigesystem 458 zur Ausgabe der geeigneten simulierten Aktion an, die in dem Beispiel der 4 die Schraube 166 ist, die herausgedreht und aus dem simulierten Objekt 160 entfernt wird.
-
Das Schnittstellensystem 150 zur Gestenerkennung ist als ein weiteres Beispiel der Verwendung der Hand 164 des Benutzers zur Erzeugung von Geräteeingaben in einen Computer dargestellt. Es soll verstanden werden, dass das Schnittstellensystem 150 zur Gestenerkennung nicht zur Beschränkung auf das Beispiel der 4 bestimmt ist. Das drei-dimensionale Anzeigesystem 158 kann zum Beispiel auf eine von vielen unterschiedlichen Weisen konfiguriert sein, so zum Beispiel als ein drei-dimensionaler Anzeigebildschirm. Bei einem anderen Beispiel können die Kameras 152 und die IR Lichtquellen 154 auf eine von vielen Arten und Weisen ausgestaltet sein, um dem Kontroller die Bestimmung der Handgesteneingaben zu erlauben, die durch einen Benutzer ausgeführt werden. Folglich kann das Schnittstellensystem 150 zur Gestenerkennung auf eine von vielen Weisen konfiguriert werden.
-
Die Beispiele der 5 bis 8 stellen Beispiele von Handgesten dar, die durch einen Benutzer zur Erzeugung von Handgesteneingaben ausgeführt werden können und so entsprechende Geräteeingaben in ein Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung. Die Handgesten in den Beispielen der 5 bis 8 können beispielsweise in die Schnittstellensysteme 10 und 100 zur Gestenerkennung in den Beispielen der 1 und 3 implementiert sein oder in das Simulationssystem 150 zur Gestenerkennung nach dem Beispiel der 4. Bei der nachfolgenden Erläuterung der Beispiele der 5 bis 8 wird auf das Beispiel der 1 Bezug genommen. Als solches weist jede der Handgesten in den Beispielen der 5 bis 8 die Hand 24 des Benutzers auf und zeigt diese in den Beispielen der 5 bis 8 als die rechte Hand des Benutzers. Es versteht sich jedoch, dass jede der beiden Hände des Benutzers zur Ausführung von Einhandgesten der Beispiele der 5 bis 8 verwendet werden kann. Hinzu kommt, dass einige der Handgesten der Beispiele der 5 bis 8 als sowohl mit der Hand 24 des Benutzers als auch mit der Hand 25 des Benutzers (d. h. der linken Hand) ausgeführt dargestellt sind.
-
5 stellt ein Beispiel einer Handgeste 200 zum Einsatz in dem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. Die Handgeste 200 umfasst eine Geste 202, in der die Hand 24 des Benutzers mit einem gestreckten Finger zeigt, wie es im Beispiel der 5 als mit dem gestreckten Zeigefinger dargestellt ist. Beispielsweise kann die Geste 202 zum Zeigen auf einen Teil eines angezeigten visuellen Inhalts ausgeführt sein, der auf der vertikalen Anzeigefläche 20 gezeigt wird, oder könnte zum Zeigen auf einen Teil einer Hintergrundfläche ausgeführt sein, die den visuellen Inhalt nicht anzeigt, aber ihr hinsichtlich des Ortes entspricht. Auf die Geste 202 hin kann der Kontroller 26 so arbeiten, dass er einen visuellen Bezug auf den korrespondierenden Teil des angezeigten visuellen Inhalts herstellt. Der Kontroller 26 könnte spezielle und/oder kurze Bezüge auf den visuellen Inhalt auf die Geste 202 hin erzeugen, wie einem Mauszeiger oder einem simulierten Laserzeiger.
-
Zu den Handgesten 200 zählen auch die Gesten 204 und 206, bei denen die Hand 24 des Benutzers als eine flache, offene Hand gezeigt ist. Die Geste 204 stellt hier die flache, offene Hand mit allen Fingern gestreckt und aneinandergelegt und den Daumen längs der Hand 24 eingezogen dar, während die Geste 206 die flache, offene Hand mit allen Fingern und dem Daumen gestreckt und gespreizt zeigt. Jede der Gesten 202 und 206 kann z. B. zum Zeigen auf Teile eines angezeigten visuellen Inhalts oder Teile des Hintergrunds entsprechend dem angezeigten visuellen Inhalt implementiert sein. Ähnlich der Geste 202 kann der Kontroller so arbeiten sein, dass er einen visuellen Bezug auf den korrespondierenden Teil des angezeigten visuellen Inhalts auf die Gesten 204 und 206 hin erzeugt. Der Kontroller 126 könnte z. B. auch weniger Bezug auf den visuellen Inhalt erzeugen, so wie das Umschalten eines Fokus zwischen zwei offenen Fenstern auf dem angezeigten visuellen Inhalt oder zur Anzeige eines durchscheinenden ”Spot-Light” Bilds auf dem angezeigten visuellen Inhalt auf entweder die Geste 204 oder die Geste 206 hin.
-
Die Handgesten 200 umfassen auch die Gesten 208, 210, 212 und 214, die eine Berührung der Hand 24 des Benutzers mit der Hintergrundfläche oder der Anzeigefläche umfassen. Jede der Gesten 208, 210, 212 und 214 zeigt einen Kontakt mit der Hintergrundfläche oder der Anzeigefläche mit entweder einem einzelnen Finger während andere, nicht berührende Finger gestreckt sind, oder mit mehreren Fingern. Die Geste 208 zeigt speziell den Kontakt mit dem gestreckten Zeigefinger mit dem nicht-berührenden ebenfalls gestreckten Daumen und die Geste 210 zeigt den Kontakt mit dem Zeigefinger mit allen anderen, nicht-berührenden Fingern und dem Daumen ebenfalls gestreckt. Zusätzlich zeigt die Geste 212 den Kontakt mit dem Daumen bei allen nicht-berührenden Fingern, die auch gestreckt sind, und die Geste 214 zeigt den Kontakt mit dem gestreckten Zeige- und Mittelfinger, wobei die übrigen Finger und der Daumen eingezogen sind. Der Kontroller 26 kann eine Eingabe in Form eines linken Mausklicks auf die Berührung eines einzelnen gestreckten Fingers mit der Hintergrundfläche oder der Anzeigefläche erzeugen, wie er von der Berührung mit dem visuellen Inhalt herrührt, während die Geste 202 beibehalten wird. Der Kontroller 26 kann jedoch andere interaktive Geräteeingaben oder andere Mausklickeingaben auf eine oder mehrere der Gesten 208, 210, 212 und 214 hin erzeugen. Die Geste 208 kann zum Beispiel eine Eingabe wie mit der rechten Maustaste oder dem selektiven Löschen (Ausradieren) von visuellen Daten auf einem virtuellen trocken löschbaren Brett. Gemäß einem anderen Beispiel können die Gesten 210, 212 und/oder 214 jede andere assoziierte Geräteeingabe haben, die dem Teil des visuellen Inhalts entsprechen, der mit der Hand 24 des Benutzers berührt wird, wie einem Klick mit der mittleren Maustaste, oder andere unterscheidbare Aktionen oder Bedeutungen zuweisen.
-
Die Handgesten 200 können auch eine Geste 216 umfassen, in der die Hand 24 des Benutzers als eine flache, offene Hand dargestellt ist. In dem Beispiel der 5 wird die Hand 24 des Benutzers mit den Fingern aneinanderliegend gezeigt, könnte aber an deren Stelle mit den gespreizten Fingern ausgeführt werden. Als ein Beispiel kann die Geste 216 als eine Ausführungs-Untergeste einer zusammengesetzten Geste implementiert sein, wie es in der US-Patentanmeldung Seriennummer 12/196,767 beschrieben ist. So kann z. B. ein Teil des visuellen Inhalts für eine Interaktion ausgewählt werden, derart, wie durch eine vorhergehende Geräteeingabe oder eine vorhergehende Gesteneingabe. Die Geste 216 kann somit eine Bewegung in sechs Freiheitsgraden umfassen, während der die Hand flach und offen beibehalten wird, derart, dass die Hand 24 des Benutzers in der X-, Y- und Z-Richtung bewegt werden kann und ebenfalls um die Hochachse, die Querachse und die Längsachse geschwenkt werden kann. Somit kann der Kontroller eine Geräteeingabe für die Bewegung in sechs Freiheitsgraden eines ausgewählten Teils des visuellen Inhalts entsprechend der Bewegung der Geste der flachen, offenen Hand erzeugen. Zusätzlich kann der Benutzer die Hand 24 auch nach oben oder nach unten bewegen, während er die flache, offene Handstellung der Hand beibehält, so, dass eine Aufstellung, eine Blickrichtung und/oder die Höhe der Kamera oberhalb des drei-dimensionalen Terrains in dem angezeigten visuellen Inhalt gewechselt wird.
-
Zu den Handgesten 200 gehört ferner eine Geste 218, für die die Hand 24 des Benutzers mit einem gestreckten Zeigefinger und einem gestreckten Daumen dargestellt ist. Beispielsweise kann, ebenso wie die Geste 202, der gestreckte Zeigefinger der Geste 218 auf einen Teil eines angezeigten visuellen Inhalts oder der Hintergrundfläche zeigen. Die Geste 218 kann ferner beinhalten, dass der Benutzer den Daumen in eine gestreckte oder weit zurückgezogene Stellung bewegt, derart, dass der Benutzer den Winkel θ zwischen dem gestreckten Zeigefinger und dem Daumen verändert. Die Änderung des Winkels θ kann einem Befehl zum Zoomen entsprechen, so dass der Kontroller 26 auf diese Weise angewiesen wird, den Zoom, der mit dem gewählten Teil des visuellen Inhalts verknüpft ist, zu ändern. Zum Beispiel könnte der Benutzer den Winkel θ für ein Herauszoomen vergrößern, um den gewählten Teil des visuellen Inhalts kleiner zu machen, und könnte den Winkel θ zum Heranzoomen verkleinern, um den ausgewählten Bereich des visuellen Inhalts größer zu machen, oder umgekehrt.
-
6 stellt ein anderes Beispiel von Handgesten 250 zur Verwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. Die Handgesten 250 umfassen eine Geste 252, bei der die Hand 24 des Benutzers zwischen einer ersten Gestenposition 254 und einer zweiten Gestenposition 256 hin- und herwechselt. Die erste Gestenposition 254 ist als eine flache, offene Hand mit allen Fingern ausgestreckt und aneinanderliegend und den Daumen längs der Hand 24 eingezogen dargestellt. Die zweite Gestenposition 256 ist als eine geschlossene Faust gezeigt. Der Benutzer kann somit aus der ersten Gestenposition 254 in die zweite Gestenposition 256 zurück in die erste Gestenposition 254 wenigstens einmal wechseln. Daraufhin kann der Kontroller 26 angewiesen werden, in einer Liste von Menüpunkten bei einer Anwendung in dem visuellen Inhalt für jeden Wechsel zwischen der ersten und der zweiten Gestenposition 254 und 256 hin- und herzuwechseln. So kann der Kontroller 26 zum Beispiel zum Wechseln zwischen Schreibstiftfarben in einer virtuellen Anwendung eines Trockenlöschbretts hin- und herzuwechseln. Daher kann der Kontroller 26 eine unterschiedliche Farbe jedes Mal dann wählen, wenn die Hand 24 des Benutzers in die zweite Gestenposition 256 gebracht wird. Es versteht sich, dass die Geste 252 nicht auf die in dem Beispiel der 6 dargestellte Weise beschränkt ist, sondern dass die erste und zweite Gestenposition 254 und 256 gegeneinander vertauscht werden können, so dass die Geste 252 mit der zweiten Gestenposition 256 beginnt.
-
Die Handgeste 250 umfasst auch Gesten 258 und 260, in denen die Hand 24 in einer Stellung mit einer flachen, offenen Hand mit allen Fingern gestreckt und aneinanderliegend beziehungsweise geschlossen und dem Daumen längs der Hand 24 eingezogen beginnt. Während die Hand 24 des Benutzers in der flachen, offenen Handstellung verbleibt, dreht der Benutzer das Handgelenk um etwa 180 Grad. Die Geste 258 könnte auch eine leichte seitwärts gerichtete Bewegung der Hand 24 des Benutzers während der Drehung umfassen, so, um ein stationäres Gelenk auf der einen Seite der Hand 24 des Benutzers zu simulieren. Auf die Geste 258 hin kann der Kontroller so ausgeprägt werden, dass er in dem visuellen Inhalt in einem ausgewählten Dokument eine Seite nach oben oder eine Seite nach unten derart blättert, dass die Geste 258 intuitiv das Umblättern einer Seite in einem Buch simuliert. Die Orientierung der Handfläche der Hand 24 des Benutzers ebenso wie die Richtung der Drehung können darauf hinweisen, dass die Hand eine Seite weiterblättert oder eine Seite zurückblättert. Die Geste 260 ist als im wesentlichen die gleiche wie die Geste 258 dargestellt, außer dass die Geste 260 eine nach vorne gerichtete Bewegung der Hand 24 des Benutzers derart umfasst, dass die Geste 260 eine Alternative zu der Geste 258 sein kann oder zu einer ähnlichen Funktion führt. Die Geste 260 kann zum Beispiel dem Weiterblättern oder Zurückblättern von mehreren Seiten anstelle nur einer Seite in dem Dokument entsprechen.
-
Die Gesten 258 und 260 können auch aufeinanderfolgende Gesten umfassen, die über den Kontroller 26 unterschiedliche Geräteeingaben bewirken. Auf die Implementierung einer der Gesten 258 oder 260 könnte die Hand 24 des Benutzers zum Beispiel in der flachen offenen Handstellung bleiben und nach oben oder nach unten entsprechend einem langsamen Scrollen des Dokuments auf dem visuellen Inhalt entsprechen. Gemäß einem anderen Beispiel kann der Benutzer während er die flache, offene Handstellung der Hand 24 des Benutzers im wesentlichen beibehält, eine andere Geste mit der Hand 24 des Benutzers oder mit der anderen Hand 25 ausführen, die bei den Gesten 258 und 260 nicht dargestellt ist, um in dem Dokument wieder nach oben oder nach unten zu gehen. Zum Ausführen der Gesten 258 oder 260 könnte der Benutzer z. B. den Zeigefinger leicht aufschlagen, strecken und den Daumen einziehen oder eine Geste mit seiner oder ihrer anderen Hand ausführen, um die Geräteeingabe des Auf- oder Abbewegens der Geste 258 oder der Geste 260 zu wiederholen. Gemäß einem weiteren Beispiel könnte der Benutzer zwei oder drei Finger der gegenüberliegenden Hand 25 während der Zeitspanne strecken, während die flache, offene Handstellung der Hand 24 des Benutzers im Wesentlichen beibehalten wird. Der Kontroller 26 kann als solches so konfiguriert sein, dass er ein Auto-Wenden der Seiten des Dokuments einleitet, während die flache, offene Handstellung der Hand 24 des Benutzers im Wesentlichen beibehalten wird, derart, dass eine Beschleunigung oder Verlangsamung des Auto-Wendens proportional zur Zeitdauer des Streckens der zwei oder drei Finger der gegenüberliegenden Hand 25 gesteuert werden kann.
-
Die Handgesten 250 beinhalten auch eine Geste 262, die beide Hände 24 und 25 des Benutzers umfasst. In der Geste 262 sind beide Hände 24 und 25 des Benutzers mit dem Zeigefinger gestreckt angeordnet und zeigen auf die Hintergrundfläche und/oder den visuellen Inhalt. Die Zeigefinger können in Berührung mit der Hintergrundfläche und/oder dem visuellen Inhalt sein oder können sich im freien Raum im Vordergrund der Hintergrundfläche und/oder des visuellen Inhalts befinden. Die Enden der Zeigefinger sind in einem Abstand ”X” voneinander beabstandet zu Beginn der Geste 262 dargestellt. Der Benutzer könnte dann die Hände 24 und 25 quer zueinander zur Änderung des Abstandes von ”X” auf ”Y” bewegen. In dem Beispiel der 6 demonstriert die Geste 262 die Bewegung der Zeigefinger weiter voneinander weg. Aber es versteht sich, dass die Bewegung auch näher aufeinander zu erfolgen kann. Der Kontroller 26 kann hierauf zum Zoomen des visuellen Inhalts ausgebildet sein, derart, dass ein ausgewählter Teil des visuellen Inhalts oder der ganze visuelle Inhalt gezoomt wird. Beispielsweise können die Endpunkte der Zeigefinger Bezugspunkten auf dem visuellen Inhalt entsprechen, derart, dass die Bewegung der Endpunkte relativ zueinander die Bezugspunkte auf dem visuellen Inhalt ebenfalls proportional relativ zueinander zum Zoomen des visuellen Inhalts um einen proportionalen Betrag (d. h. um das Verhältnis X/Y oder Y/X) bewegen.
-
7 stellt ein weiteres Beispiel der Handgesten 300 zur Verwendung in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. Die Handgesten 300 umfassen Gesten 302, 304 und 308, in denen die Hand 24 des Benutzers von einer im wesentlichen flachen, offenen Handgeste zu einer geschlossenen Handgeste wechselt. Insbesondere in der Geste 302 wechselt die Hand 24 des Benutzers aus der flachen offenen Handgeste zu einer geschlossenen Faust. In der Geste 304 wechselt die Hand 24 des Benutzers aus der flachen, offenen Handgeste zu einem Greifen, bei dem der Daumen in Berührung mit dem äußeren Ende eines oder mehrerer der Finger kommt, wie dies im Beispiel der 7 bezüglich aller Finger dargestellt ist. Bei der Geste 306 wechselt die Hand 24 des Benutzers aus der flachen, offenen Handgeste zu einem klauenartigen Griff, bei dem alle Finger und der Daumen der Hand 24 des Benutzers an einem Fingergelenk abgeknickt sind, das nicht das äußerste der Hand 24 selbst ist. Jede der Gesten 302, 304 und 306 kann einem ”Ergreifen” eines Teils des visuellen Inhalts entsprechen. Gemäß einem Beispiel kann die Hand 24 des Benutzers die Hintergrundfläche und/oder den visuellen Inhalt entsprechend dem Teil des visuellen Inhalts, der zu ergreifen ist, entsprechen, derart, dass die Gesten 302, 304 und 306 der Auswahl des Teils des visuellen Inhalts zur weiteren Interaktion entsprechen.
-
Gemäß einem Beispiel kann in der Geste 302 die Hand 24 des Benutzers in der X-, Y- und/oder Z-Richtung bewegt werden, während die geschlossene Faust beibehalten wird. Als Folge hiervon kann der Kontroller 26 so eingestellt werden, dass der korrespondierende Teil des visuellen Inhalts in der korrespondierenden X-, Y- und/oder Z-Richtung bewegt wird. Nach einem anderen Beispiel kann in den Gesten 304 und 306 die Hand 24 des Benutzers aufgrund einer Drehung im Handgelenk gedreht werden, während der Daumen- und Fingerkontakt der Geste 304 oder der klauenartige Griff der Geste 306 beibehalten wird. Als Folge hiervon kann der Kontroller 26 so konfiguriert werden, dass er den korrespondierenden Teil des visuellen Inhalts in der Richtung der Drehung der Hand 24 des Benutzers dreht. Zusätzlich könnten bei den Gesten 302, 304 und 306 die Hand 24 des Benutzers sowohl bewegt als auch gedreht werden, derart, dass der Kontroller den korrespondierenden Teil des visuellen Inhalts ebenfalls sowohl bewegt als auch dreht.
-
Die Handgesten 300 weisen auch eine Geste 308 auf, in der die Hand 24 des Benutzers mit sowohl dem gestreckten Zeigefinger als auch dem gestreckten Daumen positioniert sind und eine Geste 310, in der die Hand 24 des Benutzers mit einem gestreckten Zeigefinger, einem gestreckten Mittelfinger und einem gestreckten Daumen vorgesehen ist. Gemäß einem Beispiel könnten die Gesten 308 und 310 so implementiert sein, um den gestreckten Zeigefinger der Geste 308 oder beide gestreckten Finger in der Geste 310 auf einen Teil der Hintergrundfläche und/oder des visuellen Inhalts zeigen zu lassen. Der Benutzer kann dann den Daumen zurückziehen, um einen Befehl zum Neigen und/oder Schwenken des korrespondierenden Teils des visuellen Inhalts, auf den der oder die gestreckten Finger weisen, zu erzeugen. Somit kann der Teil des visuellen Inhalts aufgrund einer Drehung des Handgelenks und/oder der Orientierung des Zeigefingers solange wie der Daumen eingezogen bleibt geneigt und/oder geschwenkt werden. Entsprechend können die Gesten 308 und 310 zusammengesetzte Gesten derart sein, dass sie eine Bezugs-Untergeste (d. h. das Zeigen des oder der Finger, um sich auf den Teil des visuellen Inhalts zu beziehen) und einer Ausführungs-Untergeste (d. h. das Einziehen des Daumens zum Einleiten der Schwenkung und/oder des Neigens) umfassen.
-
Die Handgesten 300 enthalten auch eine Geste 312, bei der die Hand 24 des Benutzers einen gestreckten Zeigefinger, einen gestreckten kleinen Finger und einen gestreckten Daumen aufweist. Die gestreckten Finger können z. B. auf einen Teil bzw. Abschnitt des visuellen Inhalts deuten, wie beispielsweise einem Menü oder einem Dokument. Der Benutzer kann dann den Daumen einziehen, um einen Befehl zum schnellen Scrollen des entsprechenden Teils des visuellen Inhalts auszulösen, ebenso wie durch das Niederdrücken des Scrollrads einer Maus. Das schnelle Scrollen kann in eine spezielle Richtung (z. B. vorwärts) ohne zusätzliche Bewegung der Hand 24 des Benutzers ausgelöst werden, oder kann direkt auf einer Bewegung der Hand 24 nach oben oder nach unten beruhen. Das schnelle Scrollen kann z. B. andauern, bis der Benutzer den Daumen wieder streckt. Daher kann ähnlich wie oben mit Bezug auf die Geste 310 beschrieben, die Geste 312 auch eine zusammengesetzte Geste sein.
-
8 stellt noch ein weiteres Beispiel von Handgesten 350 zum Einsatz in einem Schnittstellensystem zur Gestenerkennung gemäß einem Aspekt der Erfindung dar. In dem Beispiel der 8 sind die Handgesten 350 alle zusammengesetzte Gesten, die sowohl eine Bezugs-Untergeste als auch eine Ausführungs-Untergeste umfassen. Die Handgesten 350 weisen eine Geste 352 auf, in der die Hand 24 des Benutzers so gehalten ist, dass ein gestreckter Zeigefinger auf einen Teil des visuellen Inhalts als einer Bezugs-Untergeste weisen kann. Die Geste 352 weist ferner eine Ausführungs-Untergeste auf, in der die Hand 24 des Benutzers nach vorne zu einem Teil des visuellen Inhalts hin bewegt wird. Der Teil des visuellen Inhalts kann zum Beispiel ein Menüreiter oder eine Liste von Optionen sein. Somit kann der Kontroller 26 auf die Bewegung der Hand 24 zu dem Teil des visuellen Inhalts hin so konfiguriert sein, dass er ein Menü (d. h. ein ”pull down”-Menü) öffnet oder eine Optionsliste expandiert, um so weitere Optionen in dem Menü oder auf der Optionsliste sichtbar zu machen.
-
Die Handgesten 350 weisen eine Geste 354 auf, bei der die Hand 24 des Benutzers so gehalten ist, dass ein gestreckter Zeigefinger auf einen Teil des visuellen Inhalts als eine Bezugs-Untergeste weisen kann. Die Geste 354 zeigt ebenso, dass der Daumen in gleicher Weise gestreckt ist, obwohl er auch eingezogen sein kann. Der Teil des visuellen Inhalts kann zum Beispiel das Fenster eines Internetbrowsers sein. Die Geste 354 weist auch eine Ausführungs-Untergeste auf, in der der Zeigefinger der Hand 24 des Benutzers ”getriggert” ist, so dass er schnell am distalen Fingergelenk abgeknickt und wieder gestreckt werden kann. Als Folge des Triggerns des Zeigefingers kann der Kontroller 26 so konfiguriert werden, dass der Internetbrowser zu einer unmittelbar vorhergehenden Webseite zurückkehrt, was dem Klicken auf eine ”Zurück”-Schaltfläche eines gegebenen Internetbrowsers gleicht. Die Geste 354 kann auch andere Komponenten enthalten, wie zum Beispiel ein Triggern (d. h. ein schnelles Zurückziehen und wieder Ausstrecken) des Daumens, was einer ”Vorwärts”-Schaltfläche äquivalent ist, oder eine von vielen anderen Gestenoptionen.
-
Zu den Handgesten 350 gehören die Gesten 356 und 358. Die Geste 356 ist mit der Hand 24 des Benutzers gezeigt, während die Geste 358 als sowohl die Hand 24 als auch die Hand 25 des Benutzers einsetzend dargestellt ist. Die Gesten 356 und 358 weisen jeweils eine Bezugs-Untergeste auf, die mit der Geste 356 als ein Zeigen des Zeigefingers auf einen Teil des visuellen Inhalts dargestellt ist und mit der Geste 358 als den Zeigefinger jeder Hand 24 und 25 des Benutzers der Länge nach aneinander anliegend und auf einen Teil des visuellen Inhalts weisend dargestellt ist. Die Hände 24 und 25 des Benutzers können zum Beispiel aneinander gelegt werden, so wie Handfläche an Handfläche, und könnten ein Verschränken der verbleibenden Finger einschließen.
-
Die Gesten 356 und 358 können auch eine Ausführungs-Untergeste beinhalten. Die Ausführungs-Untergeste der Geste 356 ist als ein plötzliches Senken der Hand 24 des Benutzers in nach unten gerichteter Richtung dargestellt, gefolgt von einer leichten Aufwärtsbewegung, alle während die Streckung des Zeigefingers beibehalten wird. Die Ausführungs-Untergeste der Geste 358 ist als eine schnelle Stoßbewegung mit beiden Händen 24 des Benutzers gezeigt, während das Aneinanderlegen und Zeigen der Zeigefinger beibehalten wird, so dass die Hände 24 und 25 schneller nach vorne als nach hinten bewegt werden. Die Ausführungs-Untergesten der beiden Gesten 356 und 358 können z. B. mit der Auswahl des Teils des visuellen Inhalts für ein weiteres wechselseitiges Zusammenwirken korrespondieren. Die Ausführungs-Untergeste der Geste 356 kann z. B. der Bewegung einer Entität in einer computergestützten Konstruktion (CAD) entsprechen, so wie in der Richtung der Bezugs-Untergeste, oder kann dem Senden eines ausgewählten Videofeeds an eine andere Anzeige, auf die der Zeigefinger weist, gleichen.
-
Die Handgesten 200, 250, 300 und 350 sollen nicht auf die Beispiele der 5 bis 8 beschränkt sein. So sollen die Handgesten 200, 250, 300 und 350 nur Beispiele von Gesten sein, die in dem Schnittstellensystem 10 zur Gestenerkennung implementiert werden können und sollen keine abschließende Liste darstellen. Die Handgesten 200, 250, 300 und 350 sollen nicht auf die beschriebenen entsprechenden Geräteeingaben beschränkt sein. Folglich kann jede der verschiedenen zusätzlichen Gesten, Abwandlungen der Handgesten 200, 250, 300 und 350 und die korrespondierenden Geräteeingaben in dem Schnittstellensystem 10 zur Gestenerkennung eingesetzt werden.
-
Angesichts der vorangegangenen strukturellen und funktionellen Merkmale, die zuvor beschrieben wurden, wird eine Methodik gemäß den verschiedenen Aspekten der vorliegenden Erfindung besser unter Bezugnahme auf 9 verstanden. Während zum Zwecke der Einfachheit der Erläuterung die Methodiken (Verfahrensschritte) der 9 gezeigt und als nacheinander ausgeführt beschrieben werden, versteht es sich und ist augenscheinlich, dass die vorliegende Erfindung nicht auf die dargestellte Reihenfolge beschränkt ist, da einige Aspekte in Übereinstimmung mit der vorliegenden Erfindung in einer anderen Reihenfolge auftreten können und/oder gleichzeitig mit anderen Aspekten der dargestellten und hier beschriebenen Aspekte ausgeführt werden können. Darüber hinaus mögen nicht alle dargestellten Merkmale zur Verwirklichung einer Methodik gemäß einem Aspekt der vorliegenden Erfindung erforderlich sein.
-
9 zeigt ein Beispiel eines Verfahrens 400 zum Erzeugen von Geräteeingaben gemäß einem Aspekt der Erfindung. Bei 402 werden mit einer nackten Hand eines Benutzers im Vordergrund einer Hintergrundfläche ausgeführte Gesten mit wenigstens einer Infrarot (IR) Lichtquelle beleuchtet. Die nackte Hand kann die Hand eines Benutzers sein, die keine Sensoren aufweist oder Handschuhe trägt, die speziell für eine Gestenerkennung geeignet sind. Die nackte Hand könnte beide Hände des Benutzers umfassen. Die Handgesten können eine von vielen Gesten sein, die zur Erzeugung einer Geräteeingabe in ein Schnittstellensystem zur Gestenerkennung bestimmt sind. Die Hintergrundfläche kann ein rück-reflektierender Schirm sein, der Boden unterhalb eines vertikalen Anzeigeschirms oder ein Infrarotlicht diffus abstrahlender Bildschirm. Bei 404 wird eine erste Vielzahl von Schattenbildern, die zur nackten Hand gehörig sind, auf der Grundlage eines Infrarot-lichtkontrastes zwischen der nackten Hand und der Hintergrundfläche erzeugt. Bei 406 wird eine zweite Vielzahl von der nackten Hand zugehörigen Schattenbildern auf der Grundlage eines Infrarot-lichtkontrastes zwischen der nackten Hand und der Hintergrundfläche erzeugt. Die Schattenbilder können auf hellem Infrarotlicht basieren, das von der Hintergrundfläche reflektiert oder abgestrahlt wird, oder können auf von der Hand reflektiertem Infrarotlicht im Kontrast zu einem dunklen Hintergrund beruhen. Die Bilder können von wenigstens einer Kamera aufgenommen werden, ebenso wie z. B. von zwei Stereokameras, die die erste und die zweite Vielzahl von Bildern aufnehmen. Die zeitlich unterteilten Bilder könnten von einer einzigen Kamera aufgenommen werden, so dass die ersten und zweiten Schattenbilder auf abwechselnden Lichtblitzen einer ersten und einer zweiten Infrarotlichtquelle beruhen.
-
Bei 408 wird eine Vielzahl von drei-dimensionalen Merkmalen der nackten Hand relativ zur Hintergrundfläche auf der Grundlage der Parallaxenverschiebung der nackten Hand in der ersten Vielzahl von Schattenbildern gegenüber der zweiten Vielzahl von Schattenbildern bestimmt. Die erste und zweite Vielzahl von Bildern können zusammengehörige Sätze von Bildern darstellen, die die nackte Hand mit einer relativen Parallaxenverschiebung zeigen, die für die drei-dimensionalen Merkmale bestimmend sind. Die drei-dimensionalen Merkmale können den Ort, die Neigung und/oder Orientierung der Hand, der Finger und der Fingerspitzenumfassen. Bei 410 wird eine gegebene Eingabegeste auf der Basis der Vielzahl dreidimensionaler Merkmale der nackten Hand bestimmt. Die zusammengehörigen Sätze der Bilder können (zwischen)gespeichert werden, derart, dass aufeinander folgende Bilder für die Bewegung der Hand bestimmend sein können.
-
Bei 412 werden die erzeugten Gesteneingaben mit einer Vielzahl von vordefinierten Gesteneingaben aus einer Gestenbibliothek verglichen. Die Gestenbibliothek kann ein Speicher mit den vordefinierten Gesten sein. Die vordefinierten Gesten können jeweils einer speziellen Geräteeingabe entsprechen. Die vordefinierten Gesten können jeweils zu einer der Handgesten 200, 250, 300 und 350 in den Beispielen der 5 bis 8 gleichen. Bei 414 wird wenigstens eine Geräteeingabe, die dem wechselseitigen Zusammenwirken mit dem angezeigten visuellen Inhalt entspricht, auf der Basis der erzeugten Eingabegesten, die einer der Vielzahl vordefinierten Eingabegesten entspricht, erzeugt. Die Geräteeingabe kann eine Computereingabe sein, die mit dem visuellen Inhalt wechselseitig zusammenwirkt. Die Gesteneingabe kann eine zusammengesetzte Geste sein, derart, dass eine Untergeste auf einen Teil des visuellen Inhalts Bezug nimmt und eine Ausführungs-Untergeste führt eine Funktion auf einem Teil des visuellen Inhalts aus, auf den Bezug genommen ist.
