DE202008001338U1

DE202008001338U1 - Gestikulieren mit einer Mehrpunkt-Abtastvorrichtung

Info

Publication number: DE202008001338U1
Application number: DE202008001338U
Authority: DE
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2007-01-30
Filing date: 2008-01-30
Publication date: 2008-07-10
Anticipated expiration: 2018-01-31
Also published as: TW200847001A; WO2008094791A3; CN101636711A; HK1109023A2; US20080036743A1; AU2008210864A1; US9292111B2; WO2008094791A2; TWM350737U; AU2008100085A4; JP2010517197A; EP2115560A2; WO2008094791A9

Abstract

Elektronisches System umfassend:
eine Mehrpunkt-Abtastvorrichtung, die ein Mehrpunktabtastungsgebiet zum Empfangen von Eingaben von einem oder mehreren Objekten zur Verfügung stellt;
ein Gestenmodul, das konfiguriert ist, einen Gestensatz für eine bestimmte Eingabeanordnung zu bestimmen, die durch das Mehrpunktabtastungsgebiet der Mehrpunkt-Abtastvorrichtung empfangen wird, die bestimmte Eingabeanordnung bezüglich eines oder mehrerer Gestenereignisse zu überwachen, die im Gestensatz enthalten sind und Eingabeaktionen einzuleiten, die mit einem Gestenereignis assoziiert sind, wenn das Gestenereignis mit der Eingabeanordnung durchgeführt wird.

Description

Die vorliegende Erfindung bezieht sich allgemein auf ein elektronisches System mit Mehrpunkt-Abtastvorrichtung.
Es gibt heute mehrere Arten von Eingabevorrichtungen zum Durchführen von Operationen in einem Computersystem. Die Operationen entsprechen im Allgemeinen dem Bewegen eines Cursors und dem Anwählen auf einem Anzeigebildschirm. Die Operationen können auch blättern, scrollen, schwenken, zoomen usw. umfassen. Zum Beispiel können die Eingabevorrichtungen Knöpfe, Schalter, Tastaturen, Mäuse, Rollkugeln, Berührungsfelder, Joysticks, Berührungsbildschirme und ähnliches umfassen. Jede dieser Vorrichtungen hat Vorteile und Nachteile, die berücksichtigt werden müssen, wenn das Computersystem entworfen wird.
Mit Berührungsfeldern entspricht die Bewegung des Eingabezeigers den relativen Bewegungen des Fingers (oder Stifts) des Benutzers, wenn der Finger entlang seiner Oberfläche des Berührungsfeldes bewegt wird. Berührungsbildschirme andererseits sind eine Art von Anzeigebildschirm, der ein berührungsempfindliches durchsichtiges Feld hat, das den Bildschirm bedeckt. Wenn er einen Berührungsbildschirm verwendet, macht ein Benutzer eine Auswahl auf dem Anzeigebildschirm durch direktes Zeigen auf GUI Objekte auf dem Bildschirm (normalerweise mit einem Stift oder Finger). Im Allgemeinen erkennt die Berührungsvorrichtung die Berührung und die Position der Berührung, und das Computersystem interpretiert die Berührung und führt danach eine Aktion auf der Grundlage des Berührungsereignisses durch.
Um zusätzliche Funktionalität zur Verfügung zu stellen, wurden Gesten mit einigen dieser Eingabevorrichtungen implementiert. Zum Beispiel können in Berührungsfeldern Anwahlen gemacht werden, wenn ein oder mehrfaches Tippen auf der Oberfläche des Berührungsfeldes detektiert wird. In manchen Fällen kann auf jedem Abschnitt des Berührungsfeldes getippt werden, und in anderen Fällen kann auf einen bestimmten Abschnitt des Berührungsfeldes getippt werden. Über Anwahlen hinaus kann Scrollen durch Verwendung einer Fingerbewegung am Rand des Berührungsfeldes veranlasst werden.
Leider ist Gestikulieren stark durch die Tatsache beschränkt, dass die meisten Berührungstechnologien nur in der Lage sind, einen einzigen Punkt zu berichten, selbst wenn mehrere Objekte auf der Abtastoberfläche platziert sind. Das heißt sie entbehren der Fähigkeit, mehrere Kontaktpunkte gleichzeitig nachzuverfolgen. In Widerstands- und Kapazitätstechnologien wird ein Durchschnitt aller gleichzeitig auftretenden Berührungspunkte bestimmt und ein einziger Punkt, der irgendwo zwischen die Berührungspunkte fällt, wird berichtet. In Oberflächenwellen- und Infrarottechnologien ist es wegen Maskierung unmöglich, die exakte Position von mehreren Berührungspunkten zu unterscheiden, die auf dieselbe horizontale oder vertikale Linie fallen. In beiden Fällen werden fehlerhafte Ergebnisse erzeugt.
Auf der Grundlage des oben gesagten gibt es einen Bedarf für Mehrpunkt-Abtastvorrichtungen und Verfahren zum Implementieren von Gesten mit Mehrpunkt-Abtastvorrichtungen.
Die Erfindung bezieht sich in einer Ausführungsform auf ein elektronisches System. Das elektronische System umfasst eine Mehrpunkt-Abtastvorrichtung, die ein Mehrpunkt-Abtastgebiet zum Empfangen von Eingaben von einem oder mehreren Objekten zur Verfügung stellt. Das elektronische System umfasst auch ein Gestenmodul, das konfiguriert ist, um einen Satz an Gesten für eine gegebene Eingabeanordnung zu bestimmen, die durch das Mehrpunkt-Abtastgebiet der Mehrpunkt-Abtastvorrichtung empfangen wird, um die gegebene Eingabeanordnung für ein oder mehrere Gestenereignisse zu überwachen, die im Gestensatz enthalten sind und Eingabeaktionen auszulösen, die mit einem Gestenereignis assoziiert sind, wenn das Gestenereignis mit der Eingabeanordnung ausgeführt wird. Die Eingabeanordnung kann z. B. eine Anordnung von Fingern und/oder anderen Teilen der Hand sein.
Ein Gestensteuerungsverfahren umfasst Detektieren mehrerer Punkte innerhalb eines Abtastgebiets zur gleichen Zeit. Das Verfahren umfasst auch Bestimmen eines Akkords, wenn ein oder mehrere Punkte innerhalb des Abtastgebiets detektiert werden. Der Akkord ist eine spezielle Anordnung von Punkten innerhalb des Abtastgebiets. Das Verfahren umfasst weiterhin Bestimmen eines Gestensatzes, der Befehle mit einem oder mehreren Gestenereignissen verbindet. Das Verfahren umfasst weiterhin Überwachen von Punkten für Gestenereignisse. Weiterhin umfasst das Verfahren Ausführen eines Befehls, der mit dem Gestenereignis in Verbindung steht, wenn ein Gestenereignis erkannt wird.
Eine Steueroperation umfasst Detektieren einer Berührung oder Beinahe-Berührung. Die Operation umfasst auch Bestimmen eines Gestensatzes für Berührung. Der Gestensatz umfasst ein oder mehrere Gestenereignisse zum Auslösen oder Einleiten eines Befehls. Die Operation umfasst weiterhin Überwachen der Berührung für ein Gestenereignis. Die Operation umfasst zusätzlich Einleiten eines Befehls, wenn ein Gestenereignis, das mit der Geste assoziiert ist, ausgeführt wird.
Eine Gestenoperation umfasst Überwachen einer Berührungsbewegung. Die Operation umfasst auch Unterscheiden der Berührungsbewegung zwischen einem ersten und zweiten Zustand. Die Operation umfasst weiterhin Durchführen einer ersten Aktion, wenn die Berührungsbewegung mit dem ersten Zustand assoziiert wird. Die Operation umfasst zusätzlich Durchführen einer zweiten Aktion, wenn die Berührung mit dem zweiten Zustand assoziiert wird.
Eine weitere Steueroperation umfasst zur Verfügung stellen einer ersten Eingabevorrichtung und einer zweiten Eingabevorrichtung, die von der ersten Eingabevor richtung verschieden ist. Die erste Eingabevorrichtung umfasst eine Objektabtastungsvorrichtung wie etwa eine Berührungsabtastungsvorrichtung zum Liefern von Eingabeereignissen. Die Operation umfasst auch Überwachen der ersten Eingabevorrichtung nach Eingabeereignissen. Die Operation umfasst weiterhin simultanes Überwachen der zweiten Eingabevorrichtung nach Eingabeereignissen. Die Operation umfasst drüber hinaus Durchführen von Eingabeoperationen in Übereinstimmung mit Eingabeereignissen, die mit der ersten Eingabevorrichtung assoziiert sind. Weiterhin umfasst das Verfahren gleichzeitiges Durchführen von Eingabeoperationen in Übereinstimmung mit Eingabeereignissen, die mit der zweiten Eingabevorrichtung assoziiert sind.
Eine Steueroperation liefert eine Liste von Eingabefunktionen. Die Eingabefunktionen haben Befehle und Gestenereignisse, die mit den Befehlen verbunden sind. Die Befehle stehen mit der Eingabefunktion in Verbindung. Die Operation umfasst auch Zuordnen von Eingabefunktionen zu Akkorden. Die Operation umfasst darüber hinaus das Verbinden einer Eingabefunktion mit einem Akkord, wenn der Akkord erkannt wird.
Ein Steuerfeld umfasst Anzeigen eines Menüs von Eingabefunktionen. Das Steuerfeld umfasst auch Anzeigen eines Gestensatzes, der Befehle zeigt, die mit einer ausgewählten Eingabefunktion assoziiert sind, und Gestenereignisse, die den Befehlen zugeordnet sind. Die Steueroperation umfasst weiterhin Anzeigen einer Liste von Akkorden. Um eine Gestenzuordnung einzurichten, wählt ein Benutzer eine gewünschte Eingabefunktion aus einer Liste von Eingabefunktionen und wählt einen gewünschten Akkord aus der Liste von Akkorden.
Ein Gestenentwurfsverfahren umfasst zur Verfügung stellen einer Liste von Akkorden und Anordnen der Akkorde vom Einfachsten bis zum Schwierigsten. Das Entwurfsverfahren umfasst auch Anordnen der Frequenz von Operationen von am häufigsten bis am wenigsten häufig. Das Entwurfsverfahren umfasst weiterhin Zuordnen der einfachsten Akkorde mit den häufigsten Operationen und Zuordnen der schwierigsten Akkorde mit den seltensten Operationen. Das Entwurfsverfah ren kann zusätzlich Feineinstellung von Akkord-/Operationsgruppierung umfassen.
Eine Gestenoperation umfasst das Detektieren eines ersten Fingers. Die Gestenoperation umfasst auch Bestimmen des Zustands des Fingers. Der Zustand des Fingers kann z. B. bewegend oder fest stehend sein. Die Gestenoperation umfasst weiterhin Detektieren eines oder mehrerer zusätzlicher Finger. Zum Beispiel kann ein zweiter Finger detektiert werden. Die Gestenoperation umfasst darüber hinaus Bestimmen des Zustands der zusätzlichen Finger. Der Zustand der zusätzlichen Finger kann z. B. sein, dass sie anwesend sind, oder nicht. Weiterhin umfasst das Verfahren Implementieren verschiedener Eingabemodi, die auf der zeitlichen Zuordnung von Zuständen des ersten und der zusätzlichen Finger relativ zueinander basieren. Die verschiedenen Modi können z. B. Zeigemodi, Ziehmodi und ähnliche sein.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die Erfindung wird leicht durch die folgende detaillierte Beschreibung in Verbindung mit den angehängten Zeichnungen verstanden werden, wobei gleiche Beziehungszeichen gleiche strukturelle Elemente bezeichnen, und in denen:
1 eine illustrative Gestensteueroperation zeigt;
2 eine illustrative Steueroperation zeigt;
3 eine illustrative Steueroperation zeigt;
4 eine illustrative Steueroperation zeigt;
5 eine illustrative Steueroperation zeigt;
6 eine illustrative Steueroperation zeigt;
7 eine illustrative Gestenoperation zeigt;
8 eine illustrative Gestenoperation zeigt;
9 eine illustrative Gestenoperation zeigt;
10 eine illustrative Gestenoperation zeigt;
11 eine illustrative Gestenoperation zeigt;
12 eine illustrative Gestenoperation zeigt;
13 eine illustrative Gestenoperation zeigt;
14 eine illustrative Gestenoperation zeigt;
15 eine illustrative Gestenoperation zeigt;
16 eine illustrative Gestenoperation zeigt;
17 eine illustrative Gestenoperation zeigt;
18 eine illustrative Gestenoperation zeigt;
19 eine illustrative Gestenoperation zeigt;
20 eine illustrative Steueroperation zeigt;
21 eine illustrative Steueroperation zeigt;
22 eine illustrative Steueroperation zeigt;
23 eine illustrative Steueroperation zeigt;
24 eine illustrative Steueroperation zeigt;
25 eine illustrative Steueroperation zeigt;
26 eine illustrative Steueroperation zeigt;
27 eine illustrative Steueroperation zeigt;
28 eine illustrative Steueroperation zeigt;
29A bis G Diagramme eines illustrativen Steuerfeldes zeigen;
30 eine illustrative Steueroperation zeigt;
31 ein illustratives Verfahren zum Gestenzuordnen zeigt;
32 ein illustratives Gestenzuordnungsverfahren zeigt;
33 ein illustratives Verfahren zur Gestenrückführung zeigt;
34 ein illustratives Diagramm eines Gestenbetrachtungsfensters zeigt;
35 ein illustratives Tastaturverfahren, das über einen Berührungsbildschirm implementiert wird, zeigt;
36 ein illustratives Gestenentwurfsverfahren zeigt;
37 eine illustrative Matrix zum Bewerten von Akkorden zeigt;
38 eine illustrative Matrix zum Auflisten der Operationshäufigkeit für ein paar Operationen zeigt;
39 eine illustrative Steueroperation zeigt;
40 eine illustrative Steueroperation zeigt;
41 eine illustrative Steueroperation zeigt;
42 ein illustratives Diagramm einer Gestentafel zeigt;
43 ein Diagramm einer Gestentafel ist;
44 ein Diagramm einer Gestentafel ist;
45 ein Diagramm eines Gestensatzes ist;
46 ein Diagramm eines Gestensatzes ist;
47 ein Diagramm eines Gestensatzes ist;
48 ein Diagramm eines Gestensatzes ist;
49 eine illustrative Gestenoperation zeigt;
50 eine illustrative Gestenoperation zeigt;
51 eine illustrative Gestenoperation zeigt;
52 eine illustrative Gestenoperation zeigt;
53 eine illustrative Gestenoperation zeigt;
54 ein illustratives Blockdiagramm eines elektronischen Systems in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung zeigt.
Gesten und Verfahren des Implementierens von Gesten mit Abtastvorrichtungen werden offenbart. Genauer werden Gesten und Verfahren zum Implementieren von Gesten mit Mehrpunkt-Abtastvorrichtungen offenbart. Mehrpunkt-Abtastvorrichtungen haben eine Reihe von Vorteilen gegenüber herkömmlichen Einzelpunktvorrichtungen, dadurch, dass sie mehr als ein Objekt (Finger) gleichzeitig oder fast gleichzeitig unterscheiden können. In den meisten Fällen überwachen Mehrpunkt-Abtastvorrichtungen und Systeme, die solche Vorrichtungen verwenden, eine Oberfläche bezüglich eines Berührungs- oder Fast-Berührungsereignisses. Wenn solch ein Ereignis auftritt, kann sie das/die unterschiedliche(n) Kontaktgebiet(e) bestimmen und die Art der Ereignisse über ihre geometrischen Merkmale und ihre geometrische Anordnung identifizieren. Sobald sie identifiziert sind, werden Berührungs- oder Fast-Berührungsereignisse überwacht, um zu bestimmen, ob sie mehreren Gestenereignissen entsprechen.
Ein Gestenereignis kann als eine stilisierte Interaktion der Abtastoberfläche definiert werden, die einer oder mehreren speziellen Berechnungsoperationen zuge ordnet wird. Gestenereignisse können durch verschiedene Hand-, insbesondere Finger-Bewegungen, Tippen, Drücke, Verweilzeiten und/oder ähnliches gemacht werden. Da die Oberfläche auf Mehrpunkttechnologie basiert, kann komplexes Gestikulieren mit jeder beliebigen Anzahl an Fingern oder anderen Kontaktabschnitten der Hand durchgeführt werden. In der Tat kann daher eine große Gestensprache entwickelt werden, die analog zur Zeichensprache ist. Gestensprache (oder Abbildung) kann z. B. einen Befehlssatz umfassen, der eine Kontaktanordnung (z. B. Akkorde) erkennt, das Auftreten von Gestenereignissen (z. B. Bewegungen) erkennt und einen oder mehrere Softwareagenten über die Gestenereignisse informiert und/oder darüber, welche Aktion(en) als Antwort auf die Gestenereignisse durchzuführen ist/sind. Beispiele für Mehrpunktgestikulieren kann z. B. in den U.S. Patentanmeldungen Nr. 10/903,964, 11/038,590 und 11/015,434 gefunden werden, die alle hierin per Verweis mit eingebunden werden.
Ein weites Feld von verschiedenen Gesten kann mit Mehrpunkt-Abtastvorrichtungen verwendet werden. Zum Beispiel kann eine Geste eine Einzelpunkt- oder eine Mehrpunktgeste sein; eine statische oder dynamische Geste, eine kontinuierliche oder segmentierte Geste; und/oder ähnliches. Einzelpunktgesten sind diejenigen Gesten, die mit einem einzigen Kontaktpunkt ausgeführt werden, z. B. wird die Geste mit einer einzigen Berührung als beispielsweise von einem einzigen Finger, einer Handfläche oder einem Stift durchgeführt. Mehrpunktgesten sind diejenigen Gesten, die mit mehreren Punkten durchgeführt werden können, z. B. wird die Geste mit mehreren Berührungen, wie beispielsweise von mehreren Fingern, Fingern und Handflächen, einem Finger und einem Stift, mehreren Stiften und/oder irgendeiner Kombination davon durchgeführt werden. Statische Gesten können diejenigen Gesten sein, die im Wesentlichen keine Gestenereignisse (z. B. Akkorde) umfassen, und dynamische Gesten können diejenigen Gesten sein, die signifikante Gestenereignisse (z. B. Bewegungen, Tippen usw.) umfassen.
Kontinuierliche Gesten können diejenigen Gesten sein, die in einem einzigen Zug durchgeführt werden, und segmentierte Gesten können diejenigen Gesten sein, die in einer Abfolge von unterschiedlichen Schritten oder Zügen durchgeführt werden. Obwohl hier mehrere Beispiele gegeben werden, sollte erkannt werden, dass dies beispielhaft und nicht zur Beschränkung ist.
Mehrpunkt-Abtastvorrichtungen können auf verschiedene Weisen implementiert werden, einschließlich – aber nicht beschränkt auf – Standardgrößen-Berührfelder, große erweiterte Handflächenfelder, Berührungsbildschirme, berührungsempfindliche Gehäuse, usw. Weiterhin können Mehrpunkt-Abtastvorrichtungen auf vielen Formfaktoren angebracht werden, einschließlich – aber nicht beschränkt auf – Tablettcomputer, Laptopcomputer, Desktopcomputer sowie handgehaltene Computervorrichtungen wie etwa Mediumabspieler, PDA's, Mobiltelefone und ähnliches. Die Mehrpunkt-Abtastvorrichtungen können auch auf dedizierten Eingabegeräten wie etwa Berührungsbildschirmmonitoren, Tastaturen, Navigationsfeldern, Tabletts, Mäusen und ähnlichen gefunden werden. Beispiele für Mehrpunkt-Abtastvorrichtungen können in den U.S. Patentanmeldungen Nr. 10/840,862, 10/927,575 gefunden werden, die hier alle per Verweis mit eingebunden werden.
Mehrere Ausführungsformen werden jetzt unten unter Bezugnahme auf die 1 bis 54 diskutiert werden. Die Fachleute werden jedoch leicht erkennen, dass die hierin gegebene detaillierte Beschreibung in Bezug auf diese Figuren nur zu Erklärungszwecken dient, da sich die Erfindung über diese beschränkten Ausführungsformen hinaus erstreckt.
1 zeigt die illustrative Gestensteueroperation 10. Die Operation 10 kann bei Block 12 beginnen, wo eine Mehrpunkt-Abtastvorrichtung zur Verfügung gestellt wird. Die Mehrpunkt-Abtastvorrichtung ist in der Lage, mehrere Kontakt- oder Fast-Kontaktpunkte gleichzeitig zu detektieren. Die Mehrpunkt-Abtastvorrichtung kann z. B. eine Mehrpunkt-Abtastoberfläche umfassen, die in der Lage ist, simultan mehrere Objekte auf der Berührungsoberfläche abzutasten. Alternativ oder zusätzlich kann die Mehrpunkt-Abtastvorrichtung Fähigkeiten des Abtastens von Objekten umfassen, die in großer Nähe zu einer Oberfläche sind, aber die Oberfläche nicht berühren (z. B. Nähe Abtastung). Die Mehrpunkt-Abtastvorrichtung kann als ein Berührungsbildschirm, Berührungsfeld, eine berührungsempfindliche Handflächenablage, ein berührungsempfindliches Gehäuse und/ähnliches implementiert werden.
Dem Block 12 folgend kann die Operation nach Block 14 übergehen, wo eine Bestimmung gemacht wird, ob eine Berührung oder Fast-Berührung durch die Mehrpunkt-Abtastvorrichtung detektiert wird. Wenn keine Berührung detektiert wird, kann die Operation warten. Wenn eine Berührung detektiert wird, kann die Operation zu Block 16 weitergehen, wo ein Akkord bestimmt wird, der mit der Berührung assoziiert ist. Ein Akkord kann z. B. eine bestimmte Anordnung von Kontakten oder Fast-Kontakten sein, die irgendeiner Eingabefunktionalität zugeordnet ist. Im Allgemeinen werden, wenn Objekte nahe oder auf einer berührungsempfindlichen Oberfläche platziert werden, Kontaktstellen erzeugt, und diese Kontaktstellen bilden ein Muster, das identifiziert werden kann. Das Muster kann mit irgendeiner Auswahl von Objekten gemacht werden, einschließlich z. B. mechanischen Merkmalen wie etwa Stiften oder Stempeln und/oder Abschnitten einer oder mehrerer Hände, wie etwa Finger, Daumen, Handfläche, Knöchel usw.
Der Akkord kann stark variieren und kann von vielen Faktoren abhängen, einschließlich der Größe der Berührungsoberfläche, ob die Berührungsoberfläche ein Berührungsbildschirm oder ein Berührungsfeld ist, usw. Weiterhin können die Akkorde auf einer Anzahl an unbekannten Kontakten oder einer speziellen Anordnung von bekannten Kontakten basieren. Die Akkorde können weiterhin darauf basieren, ob die Kontakte nahe beieinander, in einer neutralen Position oder weit verstreut sind. Die Akkorde können weiterhin darauf basieren, ob die Kontakte aneinanderliegend oder voneinander versetzt sind. Die Kontakte können weiterhin darauf basieren, ob sie von einer linken und/oder rechten Hand sind.
Bestimmen des Akkords kann Analysieren der Berührung (des Bildes, das durch Objekte erzeugt wird, die die Berührungsoberfläche berühren oder fast berühren) und Erkennen einer bestimmten Anordnung von Kontakten umfassen. Genauer kann die Bestimmung Klassifizieren oder Identifizieren der Kontakte über geo metrische Merkmale eines jeden Kontakts sowie geometrischen Anordnung von Kontakten umfassen, und dann Bezug nehmen auf eine Datenbank erwarteter Akkorde (z. B. Gestenabbildung). Wenn die Kontaktanordnung mit einem erwarteten Akkord übereinstimmt, dann kann angenommen werden, dass die Kontaktanordnung der erwartete Akkord ist. Diese Schritte können auch Filtern umfassen. Zum Beispiel können manche Kontakte in Wirklichkeit nicht Teil eines Akkords sein. Zum Beispiel können im Fall eines Handflächenberührungsfeldes Kontakte, die durch die Handfläche gebildet werden, ignoriert werden, da sie als Auflagefläche für die Finger der Hand dienen (z. B. sehr unbequem, Handflächen über der Berührungsoberfläche, während langen Zeitabschnitten zu halten).
Im Fall eines Tablett PCs mit einem Berührungsbildschirm können Kontakte, die vom Daumen mindestens einer Hand gebildet werden, ignoriert werden, da sie in erster Linie dazu verwendet werden, den Tablett PC zu halten.
Beispiele von Handakkorden werden unten in Tabelle 1 gezeigt. Es sollte erkannt werden, dass die Tabelle 1 keine erschöpfende Liste ist und dass sie als Beispiel und nicht als Beschränkung gezeigt wird. Zum Beispiel kann die Handfläche als ein Kontakt gezählt werden und irgendeiner der in Tabelle 1 gezeigten Kombinationen hinzugefügt werden, um mehr Akkorde zu erzeugen. Es sollte weiterhin bemerkt werden, dass viele Akkordkombinationen mehr gebildet werden können, indem die Liste von Tabelle 1 mit derselben Liste von der gegenüberliegenden Hand kombiniert wird. Es sollte auch bemerkt werden, dass, obwohl es viele Kombinationen gibt, manche Akkorde nicht machbar sein können, aus unterschiedlichen Gründen, einschließlich Benutzerfreundlichkeit, Ergonomie, Intuitivität usw.
Sobald der Akkord bestimmt wurde, kann die Operation nach Block 18 weitergehen, wo ein Gestensatz, der Aktionen mit einem oder mehreren Gestenereignissen verbindet, bestimmt wird. Ein Gestensatz kann eine Abbildung sein, die Aktionen mit Gestenereignissen verbindet. Der Gestensatz kann vom bestimmten Akkord abhängen, aber er kann auch von anderen Faktoren abhängen, einschließlich Stelle des Akkords, offene Anwendung, Zustand oder Modus der Anwendung, andere Berührungsmerkmale usw. Im Wesentlichen wählt der Akkord einen Eingabekanal aus, wobei jeder Kanal einen unterschiedlichen Gestensatz damit assoziiert hat. Aus Organisationsgründen und zur Benutzerfreundlichkeit sind in manchen Fällen die Kanäle mit einer bestimmten Eingabefunktionalität, wie etwa Navigationsoperationen, Dateioperationen, Editierungsoperationen, Ansichtsoperationen, Formatierungsoperationen, Werkzeugoperationen, Websurfingoperationen usw. assoziiert. Jede dieser Eingabefunktionalitäten kann einen assoziierten Befehlssatz haben, der mit den Gestenereignissen verbunden ist.
Die Aktionen können Zustandsbefehle oder manipulative Befehle sein. Ein Zustandsbefehl ist ein einzelner implementierter Befehl. Beispiele für Zustandbefehle umfassen neu, öffnen, schließen, löschen, umbenennen, alle auswählen, ausschneiden, kopieren, einfügen, rückgängig, wiederholen, gruppieren/Gruppierung auflösen, kursiv, fett, unterstrichen, vorheriger/nächster, abspielen/pause, stumm usw. Weitere Beispiele von Zustandskommandos umfassen das Starten eines bestimmten Programms, das Starten eines bestimmten Modus eines Programms, das Starten einer Webseite, das Öffnen einer Werkzeugleiste, das Öffnen eines Menüs, Pfeiltastenbedienung, Löschtaste, Leerzeichen, Eingabetaste, Tabulator, Feststelltaste, Funktionen, Zoomen, Vergrößern/Verkleinern, Blättern, Lautstärke usw. Ein manipulativer Befehl ist ein Befehl, der ununterbrochen das ausgewählte Objekt manipuliert. Beispiele von manipulativen Befehlen umfassen Zeigen, Nachverfolgen, Ziehen, Scrollen, Schwenken, Zoomen, Größeneinstellung, Dehnen, Blättern, Lautstärke usw. Es sollte erkannt werden, dass diese Beispiele keine Beschränkung sind, und dass andere Befehle verwendet werden können.
Wie oben bemerkt, kann ein Gestenereignis irgendeine stilisierte physische Aktion sein, die auf oder oberhalb der Berührungsoberfläche durchgeführt wird. Beispiele von Gestenereignissen können z. B. Bewegungen, Tippen, Druckveränderungen, Verweilen usw. umfassen. In manchen Fällen können die Gestenereignisse durch den Akkord durchgeführt werden. In anderen Fällen können die Gestenereignisse durch eine Untermenge des Akkords durchgeführt werden. In anderen Fällen können die Gestenereignisse durch neue Kontakte zusätzlich zum oder getrennt vom anfänglichen Akkord durchgeführt werden. Gestenereignisse werden unten detaillierter beschrieben werden.
In Block 20 kann die Berührung bezüglich Gestenereignissen überwacht werden und in Block 22 kann eine Bestimmung gemacht werden, ob Gestenereignisse erkannt werden oder nicht.
Das Erkennen der Gestenereignisse kann Analysieren der Berührungseigenschaften von Kontakten umfassen (Kontakte, die mit dem Akkord assoziiert sind und/oder neue Kontakte), Identifizieren eines bestimmten Musters und Bezug nehmen auf den Gestensatz und seine Liste von erwarteten Gestenereignissen. Wenn das Muster mit einem erwarteten Gestenereignis übereinstimmt, dann kann angenommen werden, dass das Muster das erwartete Gestenereignis ist. Die Berührungscharakteristik kann z. B. Berücksichtigungen erster Ordnung umfassen, wie Bewegung, Tippen, Druckänderung, Verweilen und Berücksichtigungen zweiter Ordnung, wie etwa Geschwindigkeit (absolute oder relative), Richtung (absolute oder relative), Ausrichtung (absolute oder relative), Größe (absolute oder relative), Dauer (absolute oder relative), Form (absolute oder relative), Länge (absolute oder relative) und/oder ähnliches.
In einer Ausführungsform können Gestenereignisse so entworfen oder ausgewählt werden, dass sie von anderen Gestenereignissen unterscheidbar sind, um Überlagerungen oder Fehler beim Erkennen des Gestenereignisses zu vermeiden (z. B. will man typischerweise Gestenereignisse einfach von anderen Gestenereignissen unterschieden haben).
Nochmals, Gestenereignisse können als Bewegung, Tippen, Druck, Verweilen usw. klassifiziert werden. Wenn sie Bewegung sind, können die Gestenereignisse wie folgt beispielhaft dargestellt werden: Gleiten in irgendeine Richtung, ein langsames lineares Schwenken nach rechts, links, oben und unten; ein schnelles lineares Umschnalzen nach rechts, links, oben und unten; eine langsame Rotation im Uhrzeigersinn oder gegen den Uhrzeigersinn; eine schnelle Rotation im Uhrzeigersinn oder gegen den Uhrzeigersinn, Zusammenziehen oder Entfalten zweier oder mehr Kontakte (z. B. Spreizen und Schließen einer Trennung zwischen Kontakten). Wenn sie ein Tippen sind, können die Gestenereignisse weiterhin beispielhaft erläutert werden wie folgt: ½ Tippen, ganzes Tippen, mehrfaches Tippen, schnelles Tippen, langsames Tippen usw. Wenn sie Druck sind, können die Gestenereignisse weiterhin beispielhaft dargestellt werden als leichtes Drücken oder starkes Drücken. Wenn sie Verweilen sind, können die Gestenereignisse weiterhin beispielhaft dargestellt werden als langes stationäres Anhalten oder kurzes stationäres Anhalten. Es sollte erkannt werden, dass diese Liste keine Beschränkung ist und dass Gestenereignisse auf andere Weisen oder mit anderen Ausrichtungen klassifiziert werden können. Zum Beispiel sind lineare Bewegungsgesten nicht auf rechts, links, oben und unten beschränkt und können weiterhin rechts oben, links oben, rechts unten, links unten umfassen.
Die Gestenereignisse können grundlegend oder fortgeschritten sein. Grundlegende Gesten können diejenigen Gesten mit einer Aktion sein, wie z. B. Schwenken linear nach rechts. Fortgeschrittene Gesten können diejenigen Gesten mit mehreren Aktionen sein, wie z. B. Schwenken linear nach rechts gefolgt von einem Tippen oder Schwenken linear nach rechts; langes Anhalten, Schwenken linear nach links; oder Drehen gegen den Uhrzeigersinn mit erhöhtem oder verringertem Druck. Fortgeschrittene Gesten können eine beliebige Anzahl an Aktionen umfassen. Grundlegende Gesten können aus Benutzerfreundlichkeits- und Verarbeitungskomplexitätsgründen verwendet werden.
Wenn ein Gestenereignis erkannt wird, kann die Operation zu Block 24 weitergehen, wo die mit den Gestenereignissen assoziierte(n) Aktion(en) durchgeführt werden. Block 24 kann Bezug nehmen auf den Gestensatz und Auffinden der Aktion(en), die mit den erkannten Gestenereignissen assoziiert ist/sind umfassen. Sobald sie aufgefunden ist/sind, kann/können die Aktion(en) initiiert werden. Wenn die Aktion ein Zustandsbefehl ist, kann der Befehl jedes Mal initiiert werden, wenn das Gestenereignis durchgeführt wird (das Gestenereignis arbeitet z. B. als Schaltfläche). In manchen Fällen kann das Gestenereignis so entworfen werden, dass es sich wiederholende Zustandsbefehle erzeugt. Wenn der Benutzer z. B. das Gestenereignis ausdehnt oder fortsetzt, können mehrere Zustandsbefehle initiiert werden. Dies kann in einem Spielmodus zum schnellen Feuern oder in einem Editiermodus hilfreich sein, wenn Arbeit rückgängig gemacht wird oder in einem Blättermodus, wenn durch Seiten geblättert wird. Wenn z. B. ein einzelner Rückgängig-Befehl durch ein schnelles lineares Schwenken nach rechts initiiert wird, kann ein sich wiederholender Rückgängig-Befehl durch ein schnelles lineares Schwenken gefolgt von einem langsamen linearen Schwenken in einer kontinuierlichen Bewegung (während Berührung) initiiert werden. In diesem Beispiel kann der Rückgängig-Befehl in Übereinstimmung mit dem langsamen linearen Schwenken wiederholt initiiert werden (z. B. wird der Rückgängig-Befehl alle 100 Millisekunden während des langsamen linearen Schwenkens ausgelöst). Wenn die Aktion ein manipulativer Befehl ist, kann der Befehl kontinuierlich während des Gestenereignisses erzeugt werden (z. B. eins zu eins Übereinstimmung zwischen Befehl und Gestenereignis). Wenn der Befehl z. B. Scrollen ist, kann Scrollen solange durchgeführt werden, wie das Gestenereignis durchgeführt wird und in Übereinstimmung mit den Gestenereigniseigenschaften (z. B. Geschwindigkeit, Richtung usw.).
Nach Block 24 kann die Operation nach Block 26 weitergehen, wo eine Bestimmung gemacht wird, ob ein Schaltereignis ausgeführt wurde oder nicht. Ein Schaltereignis kann sich auf ein Ereignis beziehen, das die Operation zurücksetzt oder einen Akkordwechsel initiiert. Das Schaltereignis kann auf unterschiedliche Arten implementiert werden. Zum Beispiel kann es implementiert werden, indem alle Kontakte während einer vorbestimmten Zeitspanne entfernt werden (z. B. Heben der Hand von der Berührungsoberfläche). Es kann auch durch Ändern des Basisakkords während der Berührung implementiert werden (z. B. Hinzufügen/Entfernen von Kontakten). Es kann auch durch Hinzufügen/Entfernen von Kontakten der gegenüberliegenden Hand implementiert werden (z. B. Absetzen eines oder mehrerer Finger mit der gegenüberliegenden Hand, während die andere Hand noch berührt). Es kann auch durch Anhalten implementiert werden (z. B. wenn die Kontakte während einer vorher gesetzten Zeitspanne stationär bleiben). Es kann auch durch eine Tasteneingabe oder ein Tastenklicken von einer Standardtastatur oder Maus implementiert werden. Es kann auch durch ein Gestenereignis implementiert werden. Wenn ein Schaltereignis aufgetreten ist, geht die Operation zurück nach Block 12. Wenn kein Schaltereignis aufgetreten ist, geht die Operation zurück nach Block 20.
Tabelle 1 – Beispiele für einhändige Akkorde
Unbekannte Kontakte – Standardanordnung (keine Handfläche oder Handfläche ignoriert)

Beliebiger Finger
Beliebige zwei Finger
Beliebige drei Finger
Beliebige vier Finger
Daumen + beliebiger Finger
Daumen + beliebige zwei Finger
Daumen + beliebige drei Finger
Daumen + vier Finger

Unbekannte Kontakte – variierte Anordnung (keine Handfläche oder Handfläche ignoriert)

Zwei nebeneinander liegende Finger
Zwei nicht nebeneinander liegende Finger
Zwei nebeneinander liegende Finger + ein nicht angrenzender Finger
Daumen + zwei nebeneinander liegende Finger
Daumen + zwei nicht nebeneinander liegende Finger
Daumen + zwei nebeneinander liegende Finger + ein nicht angrenzender Finger
Beliebige zwei nebeneinander liegende Finger geschlossen
Beliebige zwei nebeneinander liegende Finger gespreizt
Beliebige drei nebeneinander liegende Finger geschlossen
Beliebige drei nebeneinander liegende Finger gespreizt
Vier nebeneinander liegende Finger geschlossen
Vier nebeneinander liegende Finger gespreizt
Daumen + zwei nebeneinander liegende Finger geschlossen
Daumen + zwei nebeneinander liegende Finger gespreizt
Daumen + drei nebeneinander liegende Finger geschlossen
Daumen + drei nebeneinander liegende Finger gespreizt
Daumen + vier nebeneinander liegende Finger geschlossen
Daumen + vier nebeneinander liegende Finger gespreizt

Bekannte Kontakte (keine Handfläche oder Handfläche ignoriert)

Zeigefinger
Mittelfinger
Ringfinger
Kleiner Finger
Zeigefinger + Mittelfinger
Zeigefinger + Ringfinger
Zeigefinger + kleiner Finger
Mittelfinger + Ringfinger
Mittelfinger + kleiner Finger
Ringfinger + kleiner Finger
Daumen + Zeigefinger
Daumen + Mittelfinger
Daumen + Ringfinger
Daumen + kleiner Finger
Daumen + Zeigefinger + Mittelfinger
Daumen + Zeigefinger + Ringfinger
Daumen + Zeigefinger + kleiner Finger
Daumen + Mittelfinger + Ringfinger
Daumen + Mittelfinger + kleiner Finger
Daumen + Ringfinger + kleiner Finger
Zeigefinger + Mittelfinger + Ringfinger
Zeigefinger + Mittelfinger + kleiner Finger
Zeigefinger + Ringfinger + kleiner Finger
Mittelfinger + Ringfinger + kleiner Finger
Daumen + Zeigefinger + Mittelfinger + Ringfinger
Daumen + Zeigefinger + Mittelfinger + kleiner Finger
Daumen + Zeigefinger + Ringfinger + kleiner Finger
Daumen + Mittelfinger + Ringfinger + kleiner Finger
Zeigefinger + Mittelfinger + Ringfinger + kleiner Finger
Daumen + Zeigefinger + Mittelfinger + Ringfinger + kleiner Finger

Sonstige (Handfläche nach unten)

Finger zu Faust geschlossen oder zu Handfläche gewickelt
Zeigefinger + übrige Finger zu Faust geschlossen oder zu Handfläche gewickelt
Zeigefinger + Mittelfinger + übrige Finger zu Faust geschlossen oder zu Handfläche gewickelt
Zeigefinger + Mittelfinger + Ringfinger + kleiner Finger zu Faust geschlossen oder zu Handfläche gewickelt
Daumen + übrige Finger zu Faust geschlossen oder zu Handfläche gewickelt
Daumen + Zeigefinger + übrige Finger zu Faust geschlossen oder zu Handfläche gewickelt
Daumen + Zeigefinger + Mittelfinger + übrige Finger zu Faust geschlossen oder zu Handfläche gewickelt
Daumen + kleiner Finger + Mittelfinger + Ringfinger + kleiner Finger zu Faust geschlossen oder zu Handfläche gewickelt
Daumen + Zeigefinger + übrige Finger zu Faust geschlossen oder zu Handfläche gewickelt
Daumen + Zeigefinger + Mittelfinger + übrige Finger zu Faust geschlossen oder zu Handfläche gewickelt
Daumen + Zeigefinger + Mittelfinger + Ringfinger + kleiner Finger zu Faust geschlossen oder zu Handfläche gewickelt

Sonstige

Rechte Handseite
Linke Handseite
Handrückseite
Handvorderseite (ganze)

Sonstige (Knöchel nach unten – Fausthieb)

Finger zu Faust geschlossen oder zu Handfläche gewickelt
Zeigefinger offen + übrige Finger zu Faust geschlossen oder zu Handfläche gewickelt
Zeigefinger offen + Mittelfinger offen + übrige Finger zu Faust geschlossen oder zu Handfläche gewickelt
Zeigefinger offen + Mittelfinger offen + Ringfinger offen + kleiner Finger geschlossen oder zu Faust gewickelt
Daumen + Finger zu Faust geschlossen oder zu Handfläche gewickelt
Daumen + Zeigefinger offen + übrige Finger zu Faust geschlossen oder zu Handfläche gewickelt
Daumen + Zeigefinger offen + Mittelfinger offen + übrige Finger zu Faust geschlossen oder zu Handfläche gewickelt
Daumen + Zeigefinger offen + Mittelfinger offen + Ringfinger offen + kleiner Finger zu Faust geschlossen oder zu Handfläche gewickelt

2 zeigt eine illustrative Steueroperation 50. Die Operation kann bei Block 52 beginnen, wo eine Berührung oder Fast-Berührung detektiert wird.
Nach Block 52 kann die Operation zu Block 54 weitergehen, wo ein Gestensatz für die Berührung bestimmt wird. Der Gestensatz kann von vielen Faktoren abhängen, einschließlich Berührungscharakteristik, Berührungsort, Anwendung, Anwendungsmodus oder ähnliches. In den meisten Fällen basiert der Gestensatz zumindest teilweise auf der Kontaktanordnung beim Absetzen.
Nach Block 54 kann die Operation zu Block 56 weitergehen, wo die Berührung bezüglich Gestenereignissen überwacht wird, die mit dem Gestensatz assoziiert sind. Der Gestensatz kann ein oder mehrere Gestenereignisse zum Auslösen oder Initialisieren eines Befehls umfassen (Befehle können z. B. an bestimmte Gestenereignisse gebunden oder mit ihnen verbunden sein).
Nach Block 56 kann die Operation zu Block 58 weitergehen, wo ein oder mehrere Befehle initiiert werden, wenn Gestenereignisse durchgeführt werden. Zum Beispiel kann ein Benutzer eine bestimmte Fingeranordnung gleiten lassen, um ein Scrollereignis hervorzurufen oder zu initiieren.
3 zeigt eine illustrative Steueroperation 60. Die Steueroperation 60 kann z. B. dem Block 54 in 2 entsprechen. Die Steueroperation 60 kann bei Block 62 beginnen, wo die anfängliche Kontaktanordnung erkannt wird. Danach kann in Block 64 die anfängliche Kontaktanordnung mit einem gespeicherten Satz an Kontaktanordnungen verglichen werden. Zum Beispiel kann das System auf eine Gestenabbildung Bezug nehmen, die eine Liste von anfänglichen Kontaktanordnungen umfasst und Gestensätze, die ihnen zugeordnet sind. Wenn es eine Übereinstimmung gibt, kann die Operation nach Block 66 weitergehen, wo der Gestensatz geladen wird, der der erkannten anfänglichen Kontaktanordnung zugeordnet ist.
4 zeigt eine illustrative Steueroperation 70. Die Steueroperation 70 kann bei Block 72 beginnen, wo eine Berührung detektiert wird. Danach kann in Block 74 die Stelle der Berührung bestimmt werden. Danach kann in Block 76 die Kontaktanordnung, die mit der Berührung assoziiert ist, bestimmt werden (z. B. Berührungsmuster). Danach kann in Block 78 die aktive Anwendung bestimmt werden. Danach kann in Block 80 der aktuelle Zustand der Anwendung bestimmt werden (z. B. aktueller Modus). Danach kann in Block 82 ein geeigneter Gestensatz gesetzt oder ausgewählt werden, auf der Grundlage von einem oder mehreren bestimmten Attributen, die oben erwähnt wurden (Blöcke 74 bis 80). Unter Verwendung der bestimmten Attribute kann ein System z. B. auf eine gespeicherte Gestenabbildung Bezug nehmen, die jedem der oben erwähnten Attribute einen bestimmten Gestensatz zuordnet. Die gespeicherte Gestenabbildung kann stan dardmäßig erzeugt werden oder sie kann durch den Benutzer anpassbar sein. Der Benutzer kann z. B. ein Steuerfeld verwenden, um Einstellungen zu ändern, die mit der Gestenabbildung verbunden sind, oder eine Trainingssequenz verwenden, um die Gestenabbildung zu programmieren.
5 zeigt eine illustrative Steueroperation 100. Die Steueroperation kann bei Block 102 beginnen, wo eine Bestimmung gemacht wird, ob eine Berührung detektiert wurde oder nicht. Wenn eine Berührung detektiert wurde, kann die Operation nach Block 104 weitergehen, wo die Kontaktanordnung erkannt wird. Block 104 kann die Unterblöcke 106 und 108 enthalten. In Block 106 wird eine Bestimmung gemacht, ob die Kontaktstellen genau identifiziert werden können. Beispielsweise ob eine Kontaktstelle ein Zeigefinger oder ein Daumen oder eine Handfläche sein kann. Wenn sie nicht genau identifiziert werden können, dann kann die Operation nach Block 108 weitergehen, wo eine Anzahl an Kontaktstellen bestimmt wird. Beispielsweise ob es zwei Kontaktstellen gibt, drei Kontaktstellen usw. Nach Block 104 kann die Operation nach Block 110 weitergehen, wo die erkannte Kontaktanordnung mit gespeicherter Kontaktanordnung in einer Gestenabbildung verglichen wird. Wenn es keine Übereinstimmung gibt, dann kann die Operation nach Block 102 zurückgehen. Wenn es eine Übereinstimmung gibt, dann kann die Operation nach Block 112 weitergehen, wo nach Bezugnahme auf die Gestenabbildung der Gestensatz, der mit der anfänglichen Kontaktanordnung assoziiert ist, geladen wird. Danach kann in Block 116 die Berührung bezüglich Gestenereignissen überwacht werden, die mit dem Gestensatz assoziiert sind. Wenn ein Gestenereignis durchgeführt wird, kann die Operation nach Block 118 weitergehen, wo der mit dem Gestenereignis assoziierte Befehl ausgeführt wird.
6 zeigt eine illustrative Steueroperation 120. Die Steueroperation 120 kann bei Block 122 beginnen, wo eine Berührung oder Fast-Berührung detektiert wird. Danach kann in Block 124 ein Akkord für die Berührung bestimmt werden. Danach kann in Block 126 die Eingabefunktionalität bestimmt werden, die mit dem Akkord assoziiert ist. Die Eingabefunktionalität kann eine Operation oder Gruppe von Operationen beschreiben. Beispiele für Operationen umfassen Navigations operationen, Dateioperationen, Editieroperationen, Ansichtsoperationen, Einfügeoperationen, Formatierungsoperationen, Werkzeugoperationen, Weboperationen usw. Die Eingabefunktionalität kann weiterhin auf Umgebungsbedingungen beruhen, einschließlich der Akkordposition auf der Berührungsoberfläche, Anwendungen, Modi usw. Danach kann in Block 128 der Gestensatz, der mit der Eingabefunktionalität assoziiert ist, aktiviert oder geladen werden. Ein Gestensatz kann eine Gruppe von Gestenereignissen sein, die jeweils mit einer unterschiedlichen Aktion assoziiert sind, die sich auf die Eingabefunktionalität bezieht. Das Gestenereignis kann durch den anfänglichen Akkord alleine durchgeführt werden, entweder als eine Gruppe, eine Untermenge der Gruppe oder relativ zu einem anderen. Alternativ können sie durch Objekte durchgeführt werden, die nicht mit dem Akkord assoziiert sind (z. B. Kontaktstellen, die hinzugefügt werden, nachdem der Basisakkord gesetzt ist). Das Gestenereignis kann Parameter erster Ordnung umfassen, wie etwa Bewegung, Tippen, Verweilen, Druck und/oder ähnliches. Das Gestenereignis kann auch Parameter zweiter Ordnung umfassen, die die Parameter erster Ordnung definieren, wie etwa Geschwindigkeit, Richtung, Form, zeitliche Abfolge/Dauer, Länge und/oder ähnliches. Danach können in Block 130 Aktionen, die mit den Gestenereignissen assoziiert sind, implementiert werden, wenn die Gestenereignisse durchgeführt werden.
7 zeigt eine illustrative Gestenoperation 140. Die Operation 140 kann bei Block 142 beginnen, wo eine Berührung detektiert wird. Nach Block 144 kann die Operation nach Block 144 weitergehen, wo eine Kontaktanordnung erkannt wird. Danach kann in Block 146 der Akkord, der mit der erkannten Kontaktanordnung assoziiert ist, bestimmt werden. Nach Block 146 kann die Operation nach Block 148 weitergehen, wo der Gestensatz, der mit dem Akkord assoziiert ist, geladen wird. Der Gestensatz enthält Gestenereignisse, die mit einer beliebigen Kontaktanordnung während der Berührung durchgeführt werden können. Danach kann in Block 150 die Berührung bezüglich eines Gestenereignisses überwacht werden, das durch eine beliebige Kontaktanordnung durchgeführt wird. Wenn ein Gestenereignis durch eine beliebige Kontaktanordnung durchgeführt wird, kann die Operation nach Block 152 weitergehen, wo die Steuerung/der Befehl, die/der mit dem Gestenereignis assoziiert ist, initiiert wird. Wenn kein Gestenereignis durchgeführt wurde, kann die Operation nach Block 154 weitergehen, wo eine Bestimmung gemacht wird, ob eine Berührung immer noch detektiert wird oder nicht. Wenn eine Berührung immer noch detektiert wird, kann die Operation nach Block 150 zurückgehen. Wenn eine Berührung nicht detektiert wird, kann die Operation zurück nach Block 142 gehen. Das heißt ein Anheben gefolgt von einer Berührung setzt den Akkord und damit den Gestensatz zurück.
Das oben in 7 beschriebene Model zur Auswahl des anfänglichen Akkords erlaubt es einem Benutzer vorteilhafterweise, zusätzliche Finger anzuheben oder fallen zu lassen, ohne den Gestensatz zu berühren. Dies ist ergonomischer dadurch, dass ein Benutzer, der in einem Basisakkord von zwei Fingern startet, die übrigen drei Finger fallen lassen kann, so dass alle fünf Finger die Hand stützen. Als ein Ergebnis kann Gestikulieren während längerer Zeitabschnitte durchgeführt werden. Im Wesentlichen werden Veränderungen am Basisakkord ignoriert. Weiterhin ermöglicht es Benutzern, Zeigen/Ziehen, Scrollen in Berührungsoberflächen mit begrenztem Platz zu erweitern, indem er alle bis auf einen Finger anhebt und andere Finger zum Ziel gehen oder gleiten lässt.
8 zeigt eine illustrative Gestenoperation 160. Die Operation 160 kann bei Block 162 beginnen, wo eine Bestimmung gemacht wird, ob 2 nebeneinander liegende Finger detektiert werden oder nicht. Wem dies so ist, kann die Operation nach Block 164 weitergehen, wo Zeigeoperationen in Übereinstimmung mit Bewegung durchgeführt werden. Wenn nicht, kann die Operation nach Block 166 weitergehen, wo eine Bestimmung gemacht wird, ob 3 nebeneinander liegende Finger detektiert werden oder nicht. Wenn ja, kann die Operation nach Block 168 weitergehen, wo Ziehoperationen in Übereinstimmung mit Bewegung durchgeführt werden. Wenn nein, kann die Operation nach Block 170 weitergehen, wo eine Bestimmung gemacht wird, ob ein Daumen und zwei nebeneinander liegende Finger detektiert werden oder nicht. Wenn ja, kann die Operation nach Block 172 weitergehen, wo sekundäre Ziehoperationen durchgeführt werden. Wenn nein, kann die Operation zurück nach Block 162 weitergehen. Dieser Prozess kann je des Mal zurückgesetzt werden, wenn alle Finger von der Berührungsoberfläche abgehoben werden (z. B. Berührung wird nicht mehr detektiert).
9 zeigt eine illustrative Gestenoperation 180. Die Operation 180 kann bei Block 182 beginnen, wo ein Basisakkord bestimmt wird. Danach kann die Operation drei verschiedene Prozesse entweder getrennt oder gleichzeitig durchführen (parallele Blöcke 184 bis 188). In Block 184 kann Bewegung mit dem Basisakkord detektiert werden. Danach können in Block 190 Zeigeoperationen in Übereinstimmung mit der Bewegung durchgeführt werden. In Block 186 kann ein neuer erster Finger detektiert werden. Das heißt ein neuer erster Finger, der nicht mit dem Basisakkord assoziiert ist, kann detektiert werden (zusätzlich zum Basisakkord). Danach kann in Block 192 ein erster Befehl jedes Mal initiiert werden, wenn der neue erste Finger detektiert wird. In manchen Fällen kann ein Benutzer sich wiederholende Befehle durch ununterbrochenes Tippen des neuen ersten Fingers durchführen. In Block 188 kann ein neuer zweiter Finger detektiert werden (zusätzlich zum Basisakkord). Das heißt, ein neuer zweiter Finger, der nicht mit dem Basisakkord assoziiert ist, kann detektiert werden. Danach kann in Block 194 ein zweiter Befehl jedes Mal initiiert werden, wenn der neue zweite Finger detektiert wird. In manchen Fällen kann ein Benutzer sich wiederholende Befehle durch ununterbrochenes Tippen des neuen zweiten Fingers durchführen, oder einfach dadurch, dass der Finger unten gehalten wird. Die in 9 beschriebene Operation wird manchmal Modell zur Auswahl des aktuellen Akkords genannt.
In einem Beispiel von 9 kann der Basisakkord 3 Finger sein (entweder Zeigefinger-Mittelfinger-Ringfinger oder Daumen-Mittelfinger-Ringfinger). Somit können drei Finger für Zeigeoperationen verwendet werden. Weiterhin kann der neue erste Finger der Daumen oder Zeigefinger sein, wenn der Daumen bereits Teil der Basis ist. Somit können der Daumen oder der Zeigefinger den ersten Befehl initiieren. Weiterhin kann der neue zweite Finger der kleine Finger sein. Somit kann der kleine Finger den zweiten Befehl initiieren.
Das obige Beispiel kann in Spielmodi nützlich sein. Der Basisakkord kann zum Zeigen verwendet werden, der erste neue Finger kann zum Auslösen verwendet werden und der zweite neue Finger kann für einen Waffenwechsel verwendet werden. Alternativ kann in Standardmodi der Basisakkord zum Zeigen verwendet werden, der erste neue Finger kann zum primären Klicken und Ziehen verwendet werden und der zweite neue Finger kann für ein sekundäres Klicken und Ziehen verwendet werden. Die drei Finger Unterstützung liefert ausreichende Unterstützung sowohl in Spiel- als auch Standardmodi.
10 zeigt eine illustrative Gestenoperation 200. Die Operation 200 kann bei Block 202 beginnen, wo eine Berührung detektiert wird. Nach Block 204 kann die Operation nach Block 204 weitergehen, wo eine Kontaktanordnung erkannt wird. Danach kann in Block 206, der Akkord, der mit der erkannten Kontaktanordnung assoziiert ist, bestimmt werden. Nach Block 206 kann die Operation nach Block 208 weitergehen, wo der Gestensatz, der mit dem Akkord assoziiert ist, geladen wird. Der Gestensatz kann Gestenereignisse enthalten, die mit jeder beliebigen Kontaktanordnung während der ersten Berührung durchgeführt werden können. Danach kann in Block 210 die Berührung bezüglich eines Gestenereignisses überbracht werden, das durch eine beliebige Kontaktanordnung durchgeführt wird. Wenn ein Gestenereignis durch irgendeine Kontaktanordnung durchgeführt wurde, kann die Operation nach Block 212 weitergehen, wo die Steuerung/der Befehl die/der mit dem Gestenereignis assoziiert ist, initiiert wird. Wenn ein Gestenereignis nicht durchgeführt wurde, kann die Operation nach Block 214 weitergehen, wo eine Bestimmung gemacht wird, ob der Basisakkord oder die aktuelle Kontaktanordnung während der Berührung angehalten wurde. Wenn ja, kann angenommen werden, dass die Pause ein Akkordwechselereignis ist und die Operation kann zurück nach Block 204 weitergehen. Wenn nein, kann die Operation nach Block 216 weitergehen, wo eine Bestimmung gemacht wird, ob eine Berührung immer noch detektiert wird, oder nicht. Wenn eine Berührung immer noch detektiert wird, kann die Operation zurück nach Block 210 gehen. Wenn eine Berührung nicht detektiert wird, kann die Operation zurück nach Block 202 weitergehen.
In dem in 10 beschriebenen Model zur Auswahl des Anhaltens können Wechsel nur stattfinden, wenn die Originalfinger angehalten werden oder sich ziemlich langsam bewegen. Somit können Benutzer von einem Finger hin zu Fünf-Finger-Zeigen entspannen, solange das Fingersenken mitten in einem Zeigezug ist.
11 zeigt eine illustrative Gestenoperation 220. Die Operation 220 kann bei Block 222 beginnen, wo eine Bestimmung gemacht wird, ob 1 Finger detektiert wird oder nicht. Wenn ja kann die Operation nach Block 224 weitergehen, wo Zeigeoperationen in Übereinstimmung mit Bewegung durchgeführt werden. Wenn nein kann die Operation nach Block 226 weitergehen, wo eine Bestimmung gemacht wird, ob zwei nebeneinander liegende Finger detektiert werden oder nicht. Wenn ja, kann die Operation nach Block 228 weitergehen, wo Ziehoperationen in Übereinstimmung mit Bewegung durchgeführt werden. In manchen Fällen kann Ziehsperre/-Erweiterung durch Klicken initiiert werden und in anderen Fällen wird es durch Fallenlassen des Daumens initiiert (zwei nebeneinander liegende Finger + Daumen). Wenn nein, kann die Operation nach Block 230 weitergehen, wo eine Bestimmung gemacht wird, ob zwei nicht-nebeneinander liegende Finger detektiert werden oder nicht. Wenn ja, kann die Operation nach Block 232 weitergehen, wo sekundäre Ziehoperationen durchgeführt werden. In manchen Fällen kann Ziehsperre/-Erweiterung durch Klicken initiiert werden und in anderen Fällen wird es durch Fallenlassen des Daumens initiiert (zwei nicht-nebeneinander liegende Finger + Daumen). Wenn nein, kann die Operation nach Block 34 weitergehen, wo eine Bestimmung gemacht wird, ob drei oder vier Finger detektiert werden oder nicht. Wenn ja, kann scrollen in Übereinstimmung mit Bewegung initiiert werden (Block 236). Wenn nein, kann die Operation zurück nach Block 222 weitergehen. Dieser Prozess kann jedes Mal, wenn alle Finger von der Berührungsoberfläche abgehoben werden, zurückgesetzt werden (z. B. Berührung wird nicht mehr detektiert), oder wenn der Akkord für einen Moment angehalten wird.
12 zeigt eine illustrative Gestenoperation 240. Die Operation 240 kann bei Block 242 beginnen, wo eine Bestimmung gemacht wird, ob 5 Finger detektiert werden oder nicht. Wenn ja kann die Operation weiter nach Block 244 gehen, wo Zeigen initiiert wird, bis alle Finger von der Berührungsoberfläche abgehoben werden. In Block 246 wird eine Bestimmung gemacht, ob einer der 5 Finger ein Abheben und Tippen während dem Zeigen macht oder nicht. Wenn ja, kann ein Klicken durchgeführt werden (Block 248). In Block 250 wird eine Bestimmung gemacht, ob zwei der 5 Finger ein Abheben und Tippen während des Zeigens machen oder nicht. Wenn ja, kann Ziehen durchgeführt werden (Block 252). Danach wird in Block 253 eine Bestimmung gemacht, ob ein oder zwei der 5 Finger ein Abheben und. Tippen während des Ziehens machen oder nicht. Wenn ja, kann ein Fallenlassen durchgeführt werden (Block 254). Wenn nein, kann das Ziehen weitergehen. Nach den Blöcken 250 und 254 kann die Operation zurück nach Block 244 weitergehen. Dieser Prozess kann jedes Mal, wenn alle Finger von der Berührungsoberfläche abgehoben werden, zurückgesetzt werden (d. h. Berührung wird nicht mehr detektiert) oder wenn der Akkord für einen Moment angehalten wird.
In einer alternativen Ausführungsform von 12 kann Anheben und Tippen eines links orientierten Fingers des fünf Finger-Basisakkords ein Klicken der linken Taste und ein Anheben und Tippen eines rechts orientierten Fingers des Basisakkords kann ein Klicken der rechten Taste initiieren.
13 zeigt die illustrative Gestenoperation 260. Die Operation 260 kann bei Block 262 beginnen, wo eine Berührung detektiert wird. Danach kann in Block 264 die Seite des kleinen Fingers erkannt werden. Die Seite des kleinen Fingers erzeugt eine lange (stark exzentrische) horizontale Kontaktstelle, die von allen anderen Kontakten (mit Ausnahme möglicherweise eines abgeflachten Daumens) verschieden ist. So kann das Gestensystem in der Lage sein, horizontal exzentrische aber dünne Kontakte konsistent als einen kleinen Finger (oder möglicherweise einen Daumen) zu klassifizieren. Danach kann in Block 266 ein Wischen mit der Seite des kleinen Fingers detektiert werden.
Danach kann in Block 268 eine Steuerung oder ein Befehl durchgeführt werden, die/der mit dem wischenden kleinen Finger assoziiert ist.
Wischen mit der Seite des kleinen Fingers kann für einfache Steuergesten, wie Lautstärke hoch/runter, schlafen, Bildschirmschoner usw. nützlich sein. Das Wischen mit der Seite des kleinen Fingers hat die Einfachheit, eine Berührung mit der Seite des kleinen Fingers, während sie als vom normalen 1-Fingerspitzen-Zeigen/-Klicken unterschiedlich erkennbar ist. Es ist auch sehr ergonomisch, weil während des Berührens mit der Seite des kleinen Fingers der Daumen gerade nach oben in die Luft zeigt. Dies ist die neutralste komfortable aller Handgelenkspositionen.
14 zeigt eine illustrative Gestenoperation 280. Die Operation 280 kann bei Block 282 beginnen, wo eine Gestensatzzuordnung Hochgleiten nach Freilegen und Hinuntergleiten nach Instrumententafel zur Verfügung gestellt wird.
Instrumententafel ist ein Steuerfeld, das anpassbare Vorrichtungen (Minianwendungen) enthält, die dem Benutzer sofort Informationen bringen – Wettervorhersagen, Aktienkurse, Gelbe Seiten, Fluglinienflüge, Sportergebnisse usw. In den meisten Fällen wird die Instrumententafel in Sicht gebracht, wenn sie aktiviert wird, und wenn sie deaktiviert wird, wird die Instrumententafel aus der Sicht entfernt. Der Benutzer kann aktuelle und zeitnahe Information aus dem Internet mit einem Tastenklick erhalten und sie dann sofort verschwinden lassen, wenn die Taste losgelassen wird.
Darlegen ist ein Fensterverwaltungsprogramm. Fensterverwaltungsprogramme sind konfiguriert, um beim Navigieren durch oder Abschwächen eines Fensterdurcheinanders zu helfen (der Zustand, in dem es schwierig ist, Dokumente zu finden oder den Schreibtisch zu sehen, weil es so viele offene Fenster und/oder Anwendungen gibt). Darlegen kann drei verschiedene Operationsmodi haben oder von ihnen ausgewählt werden, die durch Gestikulieren gesteuert werden können. Der erste Modus ist Alle Fenster oder Kachel, Skaliere oder Zeige alle. Wenn in diesem Modus gearbeitet wird, werden alle offenen Fenster gekachelt und so skaliert, dass all die offenen Fenster gleichzeitig innerhalb des Anzeigebildschirms gesehen werden können. Das heißt Durchführen der spezifizierten Geste kachelt sofort alle offenen Fenster – skaliert sie herunter und ordnet sie schön an, so dass der Benutzer den Inhalt in jedem Fenster betrachten kann. Die Skalierungsmenge oder Skalierungsrate kann an irgendeine Eigenschaft der Geste gebunden sein, wie z. B. Druck oder Geschwindigkeit. Der zweite Modus ist Anwendungsfenster oder Hebe Aktuelle Anwendung hervor. Dieser Modus arbeitet ähnlich dem ersten Modus, außer dass er nur auf einer bestimmten Anwendung arbeitet. Zum Beispiel kann das Durchführen einer bestimmten Geste sofort die offenen Fenster einer bestimmten Anwendung kacheln, während es verursacht, dass alle anderen offenen Anwendungen zu einem Grauton abblenden. Der dritte Modus ist Schreibtisch oder Verstecke Alle. In diesem Modus werden alle offenen Fenster zu den Bildschirmrändern bewegt, wodurch der Schreibtisch geöffnet wird. Das heißt Durchführen der bestimmten Geste kann alle offenen Fenster verbergen, wodurch dem Benutzer sofortiger Zugang zu seinem Schreibtisch gegeben wird.
Danach können in Block 284 die Operationen Erkennen eines Basis Akkords beinhalten (z. B. zwei oder mehr Finger). Danach kann in Block 286 eine Bestimmung gemacht werden, ob ein Hochgleiten mit dem Basisakkord detektiert wird oder nicht. Wenn ja, kann die Operation nach Block 288 weitergehen, wo Alle Darlegen geöffnet wird. Danach kann in Block 290 eine Bestimmung gemacht werden, ob ein Heruntergleiten mit dem Basisakkord detektiert wird oder nicht. Wenn ja, kann die Operation nach Block 292 weitergehen, wo Alle Darlegen geschlossen wird. Danach kann die Operation zurück nach Block 286 weitergehen. Unter Bezugnahme auf Block 286 kann die Operation dann, wenn ein Hochgleiten durch den Basisakkord nicht Detektiert wird, nach Block 294 weitergehen, wo eine Bestimmung gemacht werden kann, ob ein Heruntergleiten mit dem Basisakkord detektiert wird oder nicht. Wenn ja, kann die Operation nach Block 296 weitergehen, wo Instrumententafel geöffnet wird. Danach kann in Block 298 eine Bestimmung gemacht werden, ob ein Hochgleiten detektiert wird oder nicht. Wenn ja, kann die Operation nach Block 300 weitergehen, wo Instrumententafel geschlossen wird. Danach kann die Operation zurück nach Block 286 weitergehen. Unter Bezugnahme zurück auf Block 294 kann die Operation, wenn ein Heruntergleiten nicht detektiert wird, nach Block 301 weitergehen, wo eine Bestimmung gemacht wird, ob sich der Akkord geändert hat. Zum Beispiel Wegheben eines Fingers. Wenn sich der Akkord geändert hat, kann die Operation nach Block 302 weitergehen, wo Zeigen mit dem geänderten Akkord durchgeführt wird. Danach kann in Block 304 eine Bestimmung gemacht werden, ob der Akkord in den Basisakkord zurück geändert wurde oder nicht. Wenn ja, kann die Operation zurück nach Block 286 weitergehen. Die Gestenoperation 280 wird manchmal Abbrechen in gegenüberliegende Richtung genannt.
In zusätzlichen Ausführungsformen kann die in 14 gezeigte Operation so modifiziert werden, dass sie Wischen nach rechts und links umfasst, die jeweils mit einer unterschiedlichen Funktionalität von Darlegen assoziiert sind.
Eine statische Befehlsgeste ist eine Geste, die durch einfaches Platzieren einer bestimmten Kontaktanordnung auf einer Berührungsoberfläche durchgeführt wird. Ein Befehl wird initiiert, wenn die bestimmte Kontaktanordnung beim Auftreffen identifiziert wird. Es gibt keine Gestenereignisse, die der anfänglichen Platzierung folgen. Der Befehl wird einfach erzeugt, wenn die Berührung detektiert wird. Die statische Befehlsgeste kann analog eine Zeichensprache sein, wo spezifische Handanordnungen unterschiedliche Dinge bedeuten. Im Zusammenhang mit einer statischen Befehlsgeste initiiert jede Handanordnung (oder unterschiedliche Kontaktanordnung) einen unterschiedlichen Befehl.
15 zeigt die illustrative Gestenoperation 310. Die Gestenoperation 310 kann bei Block 312 beginnen, wo eine Berührung oder eine beinahe Berührung an einer Berührungsoberfläche detektiert wird. Nach Block 312 kann die Operation nach Block 314 weitergehen, wo eine Kontaktstellenanordnung, die mit der Berührung assoziiert ist, identifiziert wird. Die Kontaktstellenanordnung kann durch eine oder zwei Hände gemacht werden, oder alternativ oder zusätzlich durch Elemente wie einen Stift oder Stempel. Wenn die Kontaktstellen durch die Hand erzeugt werden, können sie durch irgendeinen Abschnitt der Hand gemacht werden, inklusive Finger, Handflächen usw., und weiterhin durch irgendeine Ausrichtung der Hand, durch irgendeine Position der Finger relativ zueinander und durch irgendeine Ausrichtung von Fingern. Wie erkannt werden sollte, werden verschiedene Handausrichtungen und verschiedene Fingerpositionen/-Ausrichtungen eine unterschiedliche Kontaktstellenanordnung erzeugen. Beispiele von verschiedenen Ausrichtungen umfassen offene Hand nach unten, offene Hand nach oben, offene Hand mit der Seite nach unten (Daumen unten), geschlossene Hand – Handfläche unten, geschlossene Hand – Handrücken, geschlossene Hand – Knöchel, geschlossene Hand – mit der Seite nach unten. Beispiele von verschiedenen Fingerpositionen umfassen gespreizt, neutral, gruppiert, usw. Jede Kontaktanordnung kann in Betracht gezogen werden (Zeichensprache).
Nach Block 314 kann die Operation nach Block 316 weitergehen, wo ein Befehl, der an eine bestimmte Kontaktanordnung gebunden ist, initiiert wird, wenn die bestimmte Kontaktanordnung identifiziert wird. Die Befehle können stark variieren.
16 zeigt eine illustrative Gestenoperation 320. Die Gestenoperation 320 kann bei Block 322 beginnen, wo eine Berührung bezüglich Bewegung überwacht wird. Die Berührung kann z. B. als eine spezielle Kontaktanordnung ausgeführt sein. Wenn es Bewegung gibt, kann die Gestenoperation weitergehen nach Block 324, wo die Bewegung zwischen einem Schnalzen und einem Wischen unterschieden wird. Ein Schnalzen kann eine schnelle kurze Bewegung sein. Ein Wischen kann eine längere langsame Bewegung sein. Wenn die Bewegung ein Schnalzen ist, dann kann eine erste Aktion durchgeführt werden, wenn das Schnalzen detektiert wird (Block 326). Wenn die Bewegung Wischen ist, dann kann eine zweite Aktion durchgeführt werden, wenn das Wischen detektiert wird (Block 328).
17 zeigt eine illustrative Gestenoperation 330 in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung. Die Gestenoperation 330 kann bei Block 332 beginnen, wo eine Berührung auf einer Berührungsoberfläche detektiert wird (z. B. Berührungsfeld, Berührungsbildschirm). Nach Block 332 kann die Operation nach Block 334 weitergehen, wo zwei Kontakte, die mit der Berührung assoziiert sind, identifiziert werden. Danach kann die Operation in Block 336 Überwachung der Bewegung bezüglich eines Gestenereignisses umfassen. In Block 338 kann ein Drehbefehl initiiert werde, wenn ein erster Kontakt stationär ist und der zweite Kontakt um den ersten Kontakt gedreht wird.
Viele Benutzer halten mehrere Fenster gleichzeitig offen. Dies ermöglicht ihnen, zwischen Fenstern, wie benötigt, hin und her zu gehen. Dies kann nützlich sein, wenn sie von einem Fenster kopieren und in ein anderes Fenster einfügen. In einem typischen Prozess wählt der Benutzer eines der Fenster aus, wodurch er das Fenster aktiviert, und führt dann Aktionen mit dem Fenster aus. Der Benutzer wählt dann ein anderes Fenster an, wodurch er das neue Fenster aktiviert und das alte Fenster deaktiviert und führt dann Aktionen mit dem neuen Fenster aus. Dies ist umständlich und besteht aus vielen Schritten. Um dies zu beseitigen, stellt die vorliegende Erfindung ein Verfahren in 18 zur Verfügung, das dem Benutzer die Möglichkeit gibt, zwischen Fenstern ohne Aktivieren und Deaktivieren hin und her zu gehen. Die Fenster werden aktiv, wenn sich ein Zeigemechanismus über dem Fenster befindet. Der Zeigemechanismus kann ein Zeiger oder Cursor im Fall eines Berührungsfeldes sein oder ein Finger im Fall eines Berührungsbildschirms.
18 zeigt eine illustrative Gestenoperation 340. Die Gestenoperation 340 umfasst das zur Verfügung stellen mehrerer Fenster 342. Die Fenster können z. B. geöffnete Programme auf einer Schreibtischoberfläche sein. Danach kann die Operation in Block 344 Detektieren eines Zeigemechanismus über dem ersten Fenster umfassen. Im Fall eines Berührungsfeldes kann der Zeigemechanismus z. B. ein Cursor sein. Im Fall eines Berührungsbildschirms kann der Zeigemechanismus ein Finger oder eine Fingergruppe sein. Danach kann in Block 346 die Berührung überwacht werden, um zu bestimmen, ob ein Akkord, der mit dem Zeigemechanismus assoziiert ist, dargeboten wurde. Im Fall eines Berührungsfeldes kann dies bewerkstelligt werden, nachdem der Cursor über dem Fenster platziert ist. Im Fall eines Berührungsbildschirms kann dies bewerkstelligt werden, während der Finger über dem Fenster positioniert ist. Danach kann in Block 348 ein Gestensatz, der mit dem Akkord und dem ersten Fenster assoziiert ist, initiiert werden (z. B. hängt der Gestensatz sowohl vom Akkord als auch vom Fenster ab). Danach können in Block 350 Aktionen im ersten Fenster durchgeführt werden, wenn Gestenereignisse, die mit dem Gestensatz assoziiert sind, auf der Berührungsoberfläche durchgeführt werden. Danach kann in Block 352 die Operation Detektieren eines Zeigemechanismus über dem zweiten Fenster umfassen. Dies kann zu einem von Block 344 unterschiedlichem Zeitpunkt bewerkstelligt werden oder es kann gleichzeitig mit Block 344 geschehen. Der Zeigemechanismus kann derselbe Zeigemechanismus sein, der für das erste Fenster verwendet wird (z. B. wird der Zeigemechanismus von einem Fenster in das andere bewegt) oder alternativ kann der Zeigemechanismus ein zweiter Zeigemechanismus sein (z. B. zweiter Cursor oder zweiter Finger). Danach kann in Block 354 die Berührungsoberfläche überwacht werden, um zu Bestimmen, ob ein Akkord, der mit dem zweiten Zeigemechanismus assoziiert ist, dargeboten wurde. Danach kann in Block 356 ein Gestensatz, der mit dem Akkord und dem zweiten Fenster assoziiert ist, initiiert werden. Danach können in Block 358 Aktionen im zweiten Fenster durchgeführt werden, wenn Gestenereignisse, die mit dem Gestensatz assoziiert sind, auf der Berührungsoberfläche durchgeführt werden.
In einem Beispiel von 18, das einen Berührungsbildschirm verwendet, dann der Benutzer, wenn ein Benutzer Kopieren und Einfügen durchführt, seinen/seine Finger von einer Hand über das erste Fenster positionieren und ein zu kopierendes Objekt anwählen. Danach kann der Benutzer eine Kopiergeste über dem ersten Fenster durchführen. Der Benutzer kann auch Finger von einer zweiten Hand über dem zweiten Fenster positionieren und eine Stelle zum Einfügen auswählen. Danach kann der Benutzer eine Einfügegeste über dem zweiten Fenster durchführen.
In einem anderen Beispiel von 18, in dem ein Berührungsbildschirm verwendet wird, kann ein Benutzer, wenn der Benutzer ein Kopieren und Einfügen durchführt, seinen/seine Finger von einer Hand über dem ersten Fenster positionieren und ein zu kopierendes Objekt anwählen. Danach kann der Benutzer eine Kopiergeste über dem ersten Fenster durchführen. Der Benutzer kann dann seine Hand zum zweiten Fenster bewegen. Der Benutzer kann seine Finger über dem zweiten Fenster positionieren und eine Stelle zum Einfügen auswählen. Danach kann der Benutzer eine Einfügegeste über dem zweiten Fenster durchführen.
19 zeigt eine illustrative Operationsgeste 360. Die Operationsgeste kann bei Block 364 beginnen, wo die Kontaktanordnung, die mit einer ersten Hand assoziiert ist, erkannt wird. Nach Block 364 kann die Operation nach Block 366 weitergehen, wo ein Gestensatz auf der Grundlage einer Kontaktanordnung, die mit der ersten Hand assoziiert ist, geladen wird. Nach Block 366 kann die Operation nach Block 368 weitergehen, wo eine zweite Kontaktanordnung, die mit einer zweiten Hand assoziiert ist, erkannt wird. Nach Block 368 kann die Operation nach Block 370 weitergehen, wo der Gestensatz der ersten Kontaktanordnung auf der Grundlage der zweiten Kontaktanordnung geändert oder modifiziert wird. Wie erkannt werden sollte, kann die zweite Hand verwendet werden, um schnell zwischen verschiedenen Gestensätzen wie benötigt zu modulieren. Dies kann auch eine größere Bandbreite an möglichen Gestensätzen ermöglichen. Wenn z. B. die erste Hand fünf Gestensätze auf der Grundlage der Fingeranzahl zur Verfügung stellen kann und die zweite Hand fünf Modifizierer auf der Grundlage der Fingerzahl liefern kann, dann können 100 Gestensätze erzeugt werden.
Um ein Beispiel von 19 zu zitieren, wo ein Berührungsfeld verwendet wird, kann der Benutzer zwei Finger auf dem Berührungsfeld platzieren und dadurch einen Gestensatz initiieren, der mit den zwei Fingern assoziiert ist. Der Benutzer kann Gestenereignisse unter Verwendung der zwei Finger durchführen. Der Benutzer kann entscheiden, dass er eine Aktion durchführen muss, die nicht vom zwei Finger Gestensatz angeboten wird. Der Benutzer kann daher zwei Finger von der gegenüberliegenden Hand heruntersetzen. Dies kann einen völlig neuen Gestensatz laden, der durch die erste Hand durchzuführen ist.
20 zeigt eine illustrative Steueroperation 380. Die Steueroperation kann bei Block 382 beginnen, wo eine Maus und eine Berührungsoberfläche zur Verfügung gestellt werden. Zum Beispiel kann eine Maus mit einem Laptop Computer verbunden sein, der ein Berührungsfeld umfasst. Nach Block 382 kann die Operation nach Block 384 weitergehen, wo die Maus bezüglich Mausereignissen überwacht wird (z. B. Bewegen eines Cursors, Tastenklicken, Scrolling). Gleichzeitig kann in Block 386 die Berührungsoberfläche bezüglich Gestenereignissen überwacht werden. In Block 388 können Mausoperationen in Übereinstimmung mit Mausereignissen durchgeführt werden. Gleichzeitig können in Block 390 Gestenoperationen in Übereinstimmung mit Gestenereignissen durchgeführt werden. Dieses Verfahren ermöglicht es einem Benutzer, eine Maus mit einer Hand zu steuern, während er mit der gegenüberliegenden Hand Gesten durchführt. Der Benutzer kann daher produktiver sein.
In einem Beispiel von 20 kann in einem Tabellenkalkulationsprogramm ein Benutzer Zellen unter Verwendung der Maus anwählen, dann eine Kopiergeste mit der gegenüberliegenden Hand auf einer Berührungsoberfläche durchführen. Der Benutzer kann dann durch die Tabelle unter Verwendung einer Scroll- oder Schwenkgeste scrollen oder schwenken. Sobald eine gewünschte Stelle gefunden wird, kann der Benutzer die gewünschten Zellen oder Zelle zum Einfügen unter Verwendung der Maus anwählen und dann eine Einfügegeste durchführen.
21 zeigt eine illustrative Steueroperation 400. Die Steueroperation kann bei Block 402 beginnen, wo eine Maus und eine Berührungsoberfläche zur Verfügung gestellt werden. Nach Block 402 kann die Operation nach Block 404 weitergehen, wo die Maus bezüglich Mausereignissen (z. B. Bewegen eines Cursors, Tasten, Klicken, Scrolling) überwacht wird. Gleichzeitig kann in Block 406 die Berührungsoberfläche bezüglich Gestenereignissen überwacht werden. Danach kann in Block 408 der Mausmodus auf der Grundlage einer Berührung oder Gestenereignissen geändert werden, die auf der Berührungsoberfläche durchgeführt werden. Zum Beispiel kann die berührende Hand verwendet werden, um die Funktionalität der Maus, die mit der anderen Hand bedient wird, zu modifizieren.
Zum Beispiel kann die Anwesenheit eines Fingers auf der Berührungsoberfläche die Maus von einem Nachverfolgungsmodus in einen Scrollmodus wechseln lassen.
22 zeigt eine illustrative Steueroperation 410. Die Operation kann bei Block 412 beginnen, wo eine erste Berührung auf einer Berührungsoberfläche detektiert wird. Nach Block 412 kann die Operation nach Block 414 weitergehen, wo die erste Kontaktanordnung erkannt wird. Dies kann z. B. mit einer ersten Hand erreicht werden. Gleichzeitig kann in den Blöcken 416 und 418 eine zweite Berührung auf der Berührungsoberfläche detektiert werden und eine zweite Kontaktanordnung kann erkannt werden. Dies kann z. B. mit einer zweiten Hand erreicht werden. In Block 420 kann der Gestensatz für die erste Kontaktanordnung geladen werden. Gleichzeitig kann in Block 422 der Gestensatz für die zweite Kontaktanordnung geladen werden. In Block 424 kann die erste Berührung bezüglich erster Gestenereignisse überwacht werden. Gleichzeitig kann in Block 426 die zweite Berührung bezüglich zweiter Gestenereignisse überwacht werden. In Block 428 können Aktionen, die mit den ersten Gestenereignissen assoziiert sind, implementiert werden, wenn die ersten Gestenereignisse durchgeführt werden. Gleichzeitig können in Block 430 Aktionen, die mit den zweiten Gestenereignissen assoziiert sind, implementiert werden, wenn die zweiten Gestenereignisse durchgeführt werden.
23 zeigt eine illustrative Steueroperation 440. Die Operation 440 kann bei Block 442 starten, wo ein GUI Objekt angezeigt wird. Danach können in Block 444 mehrere Zeiger an verschiedenen Punkten des angezeigten GUI Objekts detektiert werden. Im Fall eines Berührungsbildschirms können die ersten Zeiger (ein) Finger von einer ersten Hand sein und der zweite Zeiger kann (ein) Finger von einer zweiten Hand sein. Im Fall eines Berührungsfeldes kann der erste Zeiger ein Cursor sein, der von einer ersten Hand gesteuert wird und der zweite Zeiger kann ein Cursor sein, der von einer zweiten Hand gesteuert wird. Sobald die Zeiger detektiert sind, können die Zeiger auf das angezeigte Objekt in Block 445 arretiert werden. Dies kann z. B. durch Anhalten erreicht werden. Zum Beispiel kann der Benutzer die Zeiger an Punkten auf dem GUI Objekt positionieren und dann dort innehalten, bis die Zeiger arretiert sind. Danach kann in Block 446 die Position der Zeiger relativ zu ihrer arretierten Position überwacht werden. Danach kann in Block 448 das angezeigte Objekt modifiziert werden, wenn die Position eines oder mehrerer Zeiger relativ zu seiner arretierten Position bewegt wird. Zum Beispiel können die Attribute des GUI Objekts, die z. B. Ausrichtung, Größe und Form umfassen, modifiziert werden.
Um ein Beispiel von 23 zu zitieren, kann der Benutzer, um ein Objekt zu drehen, seine Zeiger auf das GUI Objekt positionieren und einen oder zwei Zeiger rotieren, wenn sie arretiert sind. Das GUI Objekt kann der Rotation des einen oder der zwei Zeiger folgen, wodurch seine Ausrichtung geändert wird. Um seine Größe zu ändern, kann der Benutzer die Zeiger auf dem GUI Objekt positionieren und die zwei Zeiger zusammen oder voneinander wegschieben, wenn sie arretiert sind. Wenn sie zusammengeschoben werden, kann die Größe des Objekts verringert werden. Wenn sie auseinandergeschoben werden, kann die Größe des Objekts vergrößert werden. Um seine Form zu ändern, kann der Benutzer die Zeiger auf dem GUI Objekt positionieren und einen Zeiger nach oben, unten, rechts links schieben, wenn er arretiert ist. Wenn er vom Objekt weggeschoben wird, kann das Objekt in der Schieberichtung größer gemacht werden. Wenn er zum Objekt hingeschoben wird, kann das Objekt in der Schieberichtung kleiner gemacht werden.
24 zeigt eine illustrative Steueroperation 450. Die Operation kann bei Block 452 beginnen, wo eine erste Berührung auf einer Berührungsoberfläche detektiert wird. Dies kann z. B. durch eine erste Hand erreicht werden. Nach Block 452 kann die Operation nach Block 454 weitergehen, wo die erste Kontaktanordnung, die mit der ersten Berührung assoziiert ist, erkannt wird. Gleichzeitig kann in den Blöcken 456 und 458 eine zweite Berührung auf der Berührungsoberfläche detektiert werden und eine zweite Kontaktanordnung kann erkannt werden. Dies kann z. B. mit einer zweiten Hand erreicht werden. In Block 460 kann die erste Berührung bezüglich ersten Gestenereignissen überwacht werden. Gleichzeitig kann in Block 462 die zweite Berührung bezüglich zweiten Gestenereignissen überwacht werden. In Block 464 können Zeigeoperationen, die mit den ersten Gestenereignissen assoziiert sind, implementiert werden, wenn die ersten Gestenereignisse durchgeführt werden. Gleichzeitig können in Block 466 Zeigeoperationen, die mit den zweiten Gestenereignissen assoziiert sind, implementiert werden, wenn die zweiten Gestenereignisse durchgeführt werden.
25 zeigt eine illustrative Steueroperation 470. Die Steueroperation kann bei Block 472 beginnen, wo eine Gruppe von anwählbaren Gegenständen angezeigt wird. Die Gruppe von anwählbaren Gegenständen kann z. B. eine Farbpalette oder eine Werkzeugleiste sein. Nach Block 472 kann die Operation nach Block 474 weitergehen, wo ein erster Zeigemechanismus über der Gruppe von selektierbaren Gegenständen detektiert wird. Im Fall eines Berührungsbildschirms kann der Zeigemechanismus ein Finger oder eine Fingergruppe sein. Im Fall eines Berührungsfeldes kann der Zeigemechanismus ein Cursor oder ein Werkzeug sein, das durch einen Finger oder eine Fingergruppe gesteuert wird. In Block 476 kann der Gegenstand unter dem ersten Zeigemechanismus aktiviert (angewählt) werden. Der aktivierte Gegenstand kann auf der Position des Zeigemechanismus beruhen. Zum Beispiel kann der aktivierte Gegenstand hervorgehoben werden, wenn der erste Zeigemechanismus über dem Gegenstand positioniert wird. In Block 478 kann ein zweiter Zeigemechanismus gleichzeitig über einem Fenster detektiert werden (z. B. arbeiten beide Zeigemechanismen gleichzeitig). Das Fenster kann z. B. eine Leinwand in einem Zeichen – oder Malprogramm sein. Im Fall eines Berührungsbildschirms kann der zweite Zeigemechanismus ein Finger oder eine Fingergruppe sein (von der gegenüberliegenden Hand wie der erste Zeigemechanismus). Im Fall eines Berührungsfelds kann der zweite Zeigemechanismus ein Cursor oder Werkzeug sein, der/das durch einen Finger oder eine Fingergruppe gesteuert wird. In Block 480 kann der angewählte Gegenstand auf den zweiten Zeigemechanismus angewendet werden. Zum Beispiel kann im Fall einer Werkzeugleiste die Werkzeugfunktionalität des zweiten Zeigemechanismus auf dem angewählten Gegenstand basieren. Weiterhin kann im Fall eines Berührungsfeldes das Werkzeug-UI Element sich mit der Funktionalität ändern, so dass der Benutzer weiß, welches Werkzeug aktiv ist (z. B. Bleistift, Pinsel usw.). Im Fall einer Palette kann die Ausgabe des zweiten Zeigermechanismus auf dem ausgewählten Gegenstand basieren. Wenn z. B. im Fall des Malens der Benutzer eine Farbe auf der Palette auswählt, wechselt die Ausgabe des zweiten Zeigers zu dieser Farbe. Der Benutzer kann daher die Farbe, die auf die Leinwand angewendet wird, sofort während einer Maloperation anpassen.
26 zeigt eine illustrative Steueroperation 500. Die Steueroperation kann bei Block 502 beginnen, wenn eine Gruppe von Mediengegenständen angezeigt wird. Die Mediengegenstände können z. B. Lieder, Videoclips, Filme, Fotos, Spiele und ähnliches sein. Die Mediengegenstände können z. B. durch ein Medienverwaltungsprogramm gesteuert werden. iPhoto und iTunes hergestellt von Apple Inc. aus Cupertino, sind Beispiele für Medienverwaltungsprogramme. In Block 504 kann ein Zeigemechanismus über einem Gegenstand detektiert werden und dadurch den Gegenstand hervorheben. Der Zeigemechanismus kann z. B. durch eine Maus oder einen Handakkord (dominante Hand) gesteuert werden. In Block 506 kann eine Berührung auf einer Berührungsoberfläche detektiert werden. Die Berührung kann durch die Hand durchgeführt werden, die der Hand, die mit dem Zeigemechanismus assoziiert ist, gegenüberliegt. Danach kann in Block 508 die Kontaktanordnung, die mit der Berührung assoziiert ist, erkannt werden. Danach können in Block 510 Metadaten, die an die erkannte Kontaktanordnung gebunden sind, in den hervorgehobenen Gegenstand eingefügt werden. Jede der Kontaktanordnungen kann verschiedene Metadaten haben. Zum Beispiel kann ein einzelner Finger erste Metadaten haben, zwei Finger können zweite Metadaten haben, drei Finger können dritte Metadaten haben, vier Finger können vierte Metadaten haben, fünf Finger können fünfte Metadaten haben, usw. Die Metadaten für jede Kontaktanordnung können sich auf dieselbe Funktionalität beziehen oder sie können völlig verschiedene Funktionalitäten haben.
Um ein Beispiel von 26 zu zitieren, kann der obige Prozess verwendet werden, um Mediengegenstände zu bewerten oder einzuordnen. Zum Beispiel kann ein einzelner Finger eine 1 Stern Einordnung an ein Lied binden, zwei Finger können eine 2 Stern Einordnung an ein Lied binden, drei Finger können eine 3 Stern Einordnung an ein Lied binden, vier Finger können eine 4 Stern Einordnung an ein Lied binden und fünf Finger können eine 5 Stern Einordnung an ein Lied binden.
Um ein weiteres Beispiel von 26 zu zitieren, kann der obige Prozess verwendet werden, um Mediengegenstände zu identifizieren. Zum Beispiel kann ein einzelner Finger eine erste Person (z. B. Ehefrau Darcy) an ein Foto binden, ein zweiter Finger kann eine zweite Person (z. B. Tochter Halley) an ein Foto binden, ein dritter Finger kann eine dritte Person (z. B. Cousin Camden) an ein Foto binden, ein vierter Finger kann eine vierte Person (Onkel Chance) an ein Foto binden und ein fünfter Finger kann eine fünfte Person (z. B. Großmutter Shery) an ein Foto binden. Tippen kann verwendet werden, um die Liste zu vergrößern. Zum Beispiel kann die Anzahl an Fingern beim ersten Absetzen der Anzahl an Fingern beim zweiten Absetzen hinzugefügt werden, um eine endgültige Kontaktanordnung zu erzeugen. Drei Finger gefolgt von zwei Fingern können immer noch die fünfte Person bedeuten. Während fünf Finger und ein Finger (im ganzen 6 Finger) eine sechste Person (z. B. Großmutter Terry) an ein Foto binden können. Weiterhin können fünf Finger und zwei Finger eine siebte Person (z. B. Hund Prima) an ein Foto binden, fünf Finger und drei Finger können eine achte Person (Freundin Lisa) an ein Foto binden, fünf Finger und vier Finger können eine neunte Person an ein Foto binden und fünf Finger und fünf Finger können eine zehnte Person an ein Foto binden. Alternativ können die Metadaten nicht mit einer Person sondern mit einer anderen Eigenschaft von Fotos assoziiert werden (z. B. Ferien, Kalifornien, Landschaft, Familie usw.).
Im Allgemeinen kann es das Medienverwaltungsprogramm verlangen, in einen Metadaten-Einfügungsmodus gebracht zu werden. Dies kann herkömmlicherweise durch Steuerung auf dem Bildschirm oder alternativ durch den Akkord erreicht werden, der mit den Zeigemechanismen verbunden ist.
27 zeigt eine illustrative Steueroperation 520. Die Steueroperation kann bei Block 522 beginnen, wo ein Steuerobjekt angezeigt wird. Das Steuerobjekt kann z. B. eine Schaltfläche, Wählscheibe, Schieber, Schalter usw. auf dem Bildschirm sein. In Block 524 kann eine Berührung über dem Steuerobjekt detektiert werden. Danach kann in Block 526 die Kontaktanordnung, die mit der Berührung assoziiert ist, erkannt werden. Im Block 527 kann eine Bestimmung gemacht werden, ob die Kontaktanordnung mit der Kontaktanordnung, die mit Steuerung des Steuerobjekts assoziiert ist, übereinstimmt oder nicht. Wenn sie nicht übereinstimmt, kann die Operation nach Block 528 weitergehen, wo die Berührung ignoriert wird. Wenn sie übereinstimmt, kann die Operation nach Block 530 weitergehen, wo die Berührung bezüglich eines Gestenereignisses überwacht wird, das mit Steuern des Steuerobjekts assoziiert ist. Wenn ein Gestenereignis durchgeführt wird, kann die damit assoziierte Aktion auf das Steuerobjekt angewendet werden, so dass das Steuerobjekt seine Befehle erzeugen kann (Block 432).
In einer Ausführungsform von 27 kann eine Kontaktanordnung, die Steuern des Steuerobjekts initiiert, auf mehreren Kontakten basieren, während die Kontaktanordnung, die ignoriert wird, auf einem einzelnen Kontakt basieren kann.
28 zeigt eine illustrative Steueroperation 540. Die Steueroperation 540 kann unter Verwendung eines Steuerfelds, wie dem in 29 gezeigten durchgeführt werden. Die Operation kann bei Block 542 beginnen, wo eine Liste von Eingabefunktionen zur Verfügung gestellt wird. Die Eingabefunktionen können Befehle und Gestenereignisse haben, die mit den Befehlen verbunden sind. Die Befehle können sich auf die Eingabefunktionen beziehen. Wenn die Eingabefunktion z. B. Editieren ist, dann können die Befehle Abbrechen, Rückgängig, Einfügen, Rückwärts Tabulator, Kopieren, Tabulator, Ausschneiden, Wiederherstellen und Alles Anwählen sein. Die Gestenereignisse können Aktionen sein, die durch einen Akkord durchgeführt werden. Die Gestenereignisse können Rotationen umfassen (im Uhrzeigersinn und gegen den Uhrzeigersinn), Verschiebungen als eine Gruppe (hoch, hinunter, rechts, links), Verschiebungen relativ zueinander (gespreizt, geschlossen), Tippen usw. Die Gestenereignisse können mit Befehlen auf eine intuitive Weise verbunden werden. Zum Beispiel kann der Ausschneidebefehl durch Schließen der Finger zueinander ähnlich einer Ausschneideaktion initiiert werden.
Weiterhin sind komplementäre Befehle (ausschneiden, einfügen) typischerweise mit komplementären Gestenereignissen (spreizen/schließen) verbunden. In Block 544 kann die Eingabefunktion einem bestimmten Akkord zugeordnet werden. Ein Akkord kann eine Fingeranordnung sein. Die Akkorde können in einer Liste angezeigt werden, so dass der Benutzer einen bestimmten Akkord hervorhebt und dann eine bestimmte Eingabefunktion auswählt. Akkorde können mehreren Eingabefunktionen zugeordnet werden.
In Block 544 kann der Benutzer Eingabefunktionen einem bestimmten Akkord zuordnen, indem er eine Eingabefunktion aus einem Menü von Eingabefunktionen auswählt und dann einen Akkord aus einer Menüliste von Akkorden auswählt (z. B. hebe Eingabefunktion hervor und wähle dann Akkord aus). Sobald der Akkord ausgewählt ist, kann die Eingabefunktion an diesen Akkord für zukünftige Operationen gebunden werden (Block 546). In manchen Fällen kann das Akkordmenü eine Angabe der Eingabefunktion umfassen, die ihm zugeordnet ist. In dieser speziellen Ausführungsform können Befehle bereits Gestenereignissen zugeordnet sein.
Die 29A bis G sind Diagramme eines Steuerfelds 550 in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung. 29A zeigt ein grundlegendes Steuerfeld, während die 29B bis 29G mehrere Beispiele einer Steuerfeldimplementierung zeigen.
Wie in 29A gezeigt, kann das Steuerfeld 550 eine Gestenabbildungssteuerung 552 in der Form eines herunterziehbaren Fensters umfassen. Wenn ein Benutzer das herunterziehbare Fenster auswählt, können dem Benutzer eine oder mehrere Gestenabbildungsoptionen dargelegt werden. Dem Benutzer kann eine Standardeinstellung dargelegt werden (normalerweise durch den Hersteller gesetzt), oder alternativ kann der Benutzer eine Benutzereinstellung wählen, so dass er seine eigene Gestenabbildung bilden kann. Es kann mehr als eine Benutzerabbildung geben. Zum Beispiel können verschiedene Benutzer unterschiedliche Abbildungen erzeugen. Wenn ein Benutzer das Steuerfeld öffnet, kann er die gewünschte Benutzerabbildung durch Auswählen der Gestenabbildungssteuerung und dann Bewegen durch die Liste an Benutzerabbildungen über eine Hervorhebungsleiste auswählen. Sobald eine gewünschte Abbildung gefunden wird, kann der Benutzer sie einfach hervorheben und dann ein erstes Klicken durchführen, um die gewünschte Gestenabbildung einzustellen. Danach kann der Benutzer ihre Einstellungen ändern.
Das Steuerfeld 550 kann auch ein Menü von Eingabefunktionen 554 umfassen, auch in der Form eines Fensters zum Herunterziehen. Wenn ein Benutzer das Fenster zum Herunterziehen auswählt, kann dem Benutzer eine Liste von einer oder mehreren Eingabefunktionen dargestellt werden. Die Eingabefunktionen können z. B. keine, Punkt, Punkt/Klick, scrollen, scrollen und sekundärer Klick, primärer Klick und Ziehen, sekundärer Klick und Ziehen, Fenster bewegen, Freilegen und Instrumententafel, Webbrowseroperationen, Editieroperationen, Dateioperationen und ähnliches umfassen. Um eine der Eingabefunktionen hervorzuheben, kann dem Benutzer eine Hervorhebungsleiste zur Verfügung gestellt werden, die durch die Liste in Übereinstimmung mit den Benutzersteuerungen läuft.
Steuerfeld 550 kann auch einen Gestensatzabschnitt 556 umfassen, der Befehle zeigt, die mit der Eingabefunktion assoziiert sind, die hervorgehoben ist und Gestenereignisse, die den Befehlen zugeordnet sind. Der Gestensatzabschnitt kann nur der Rückmeldung dienen, aber er kann auch die Funktionalität des Zuordnens von Befehlen zu Gestenereignissen (oder umgekehrt) umfassen. Obwohl das Fenster stark abgewandelt werden kann, kann das Fenster in der dargestellten Ausführungsform getrennte Felder enthalten, von denen jedes ein Gestenereignis und einen Befehl enthält, der damit assoziiert ist. In dieser Ausführungsform können die Felder in einer 3 × 3 Matrix angelegt sein und daher kann es 9 verschiedene Gestenereignisse und 9 verschiedene Befehle für jede Eingabefunktion geben. In den meisten Fällen können entgegen gesetzt durchgeführte Gestenereignisse einander gegenüber angeordnet werden. Zum Beispiel kann Rotieren gegen den Uhrzeigersinn gegenüber Rotieren im Uhrzeigersinn angeordnet sein, Ausbreiten kann gegenüber Zusammenziehen angeordnet sein, Linksschwenk kann gegen über Rechtsschwenk angeordnet sein, Schwenk nach oben kann gegenüber Schwenk nach unten angeordnet sein. Wenn möglich, können komplementäre Befehle mit gegenüberliegenden Gestenereignissen verbunden werden, wodurch sie intuitiver gemacht werden.
Steuerfeld 550 kann auch ein Akkordmenü 558 umfassen. Die Akkorde können übereinander angeordnet sein und sich durch ein Fenster mittels einer Scrollleiste bewegen. Die Akkorde können Textidentifikatoren sowie Akkordidentifikatoren enthalten, die Beispiele zeigen, wie der Akkord zu machen ist. In der dargestellten Ausführungsform kann der Akkordindikator die Form einer Hand haben, wobei abgedunkelte Kreise die Finger abdecken, die verwendet werden, um den Akkord zu machen. Die Akkorde können auch Textidentifikatoren für die Eingabefunktion haben, die dem Akkord zugeordnet ist.
In einer Ausführungsform kann der Benutzer, um die Gestenabbildung einzurichten, eine Eingabefunktion hervorheben und dann zum Akkordmenü verschieben. Beim Akkordmenü angekommen, kann der Benutzer einen gewünschten Akkord für diese Eingabefunktion auswählen, indem er die Akkordliste durchläuft, den gewünschten Akkord hervorhebt und dann ein Auswahlereignis, wie z. B. über einen Klick durchführt. Danach kann die Eingabefunktion dem Akkord zugeordnet werden. In manchen Fällen kann, sobald der Benutzer die Eingabefunktion dem Akkord zuordnet, der Eingabefunktionsidentifikator im Akkordmenü zusammen mit dem Akkord untergebracht werden. Weiterhin kann die Eingabefunktion einen Identifikator enthalten, der anzeigt, dass sie zugewiesen wurde. Zum Beispiel kann ein Haken durch die zugewiesene Eingabefunktion platziert werden. Während Operationen kann, wenn ein Benutzer die Fingeranordnung, die im Akkordmenü gezeigt ist, auf der Mehrpunkt Berührungsoberfläche platziert, die Fingeranordnung als der Akkord erkannt werden, und danach kann der Gestensatz, der mit der Eingabefunktion assoziiert ist, die dem Akkord zugewiesen ist, als der primäre oder aktive Gestensatz gesetzt werden.
29B zeigt ein Beispiel, in dem das Eingabefunktionsmenü geöffnet werden kann und der Benutzer die Freilegen/Instrumententafeleingabefunktion dem 4-Finger-Akkord zuordnen kann. Weiterhin kann der Gestensatz die Befehle zeigen, die mit der Freilegen/Instrumententafeleingabefunktion assoziiert sind, und die Gestenereignisse, die verwendet werden, um die Befehle einzuleiten. Zum Beispiel kann ein Schwenk nach oben Alles Freilegen einleiten, ein Schwenk nach rechts kann Schreibtisch Freilegen einleiten, ein Schwenk nach links kann Anwendungen Freilegen einleiten und ein Schwenk nach unten kann Instrumententafel einleiten.
29C zeigt ein Beispiel, in dem das Eingabefunktionsmenü geöffnet werden kann und der Benutzer die Eingabefunktion primärer Klick und Ziehen dem 3 Fingerakkord zuordnen kann. Weiterhin kann der Gestensatz die Befehle zeigen, die mit der Eingabefunktion Klick und Ziehen assoziiert sind und die Gestenereignisse, die verwendet werden, um die Befehle einzuleiten. Zum Beispiel können Richtungsbewegungen in jede Richtung verwendet werden, um ein Objekt zu ziehen und ein Tippen kann verwendet werden, um ein Klicken einzuleiten.
29D zeigt ein Beispiel, in dem das Eingabefunktionsmenü geöffnet werden kann und der Benutzer die Eingabefunktion Dateioperation dem Akkord Daumen + 1 Finger zuordnen kann. Weiterhin kann der Gestensatz die Befehle zeigen, die mit der Eingabefunktion Dateioperation assoziiert sind und die Gestenereignisse, die verwendet werden, um die Befehle einzuleiten. Zum Beispiel kann ein Rotationsschwenk gegen den Uhrzeigersinn verwendet werden, um Öffnen einzuleiten, ein Rotationsschwenk im Uhrzeigersinn kann verwendet werden, um Schließen einzuleiten, Spreizen kann für Neu und "ZUSAMMENZIEHEN" kann für Speichern verwendet werden.
29E zeigt ein Beispiel, in dem das Eingabefunktionsmenü geöffnet werden kann und der Benutzer die Eingabefunktion Editieroperationen dem Akkord Daumen + 2 Finger zuordnen kann. Weiterhin kann der Gestensatz die Kommandos zeigen, die mit der Editieroperationseingabefunktion assoziiert sind und die Gestenereignisse, die verwendet werden, um die Befehle einzuleiten. Zum Beispiel kann ein Schwenk nach oben Rückgängig einleiten, ein Schwenk nach rechts kann Tabulator einleiten, ein Schwenk nach links kann rückwärts Tabulator Anwendungen einleiten und ein Schwenk nach unten kann Wiederherstellen einleiten. Weiterhin kann ein Rotationsschwenk gegen den Uhrzeigersinn Abbrechen einleiten, ein Rotationsschwenk im Uhrzeigersinn kann Alles Auswählen einleiten, Spreizen kann Einfügen einleiten und Zusammenziehen kann Ausschneiden einleiten. Weiterhin kann ein Tippen Kopieren einleiten.
29F zeigt ein Beispiel, in dem das Eingabefunktionsmenü geöffnet werden kann und der Benutzer die Webbrowseroperationseingabefunktion dem Akkord Daumen + 3 Finger zuordnen kann. Weiterhin kann der Gestensatz die Befehle zeigen, die mit der Webbrowseroperationseingabefunktion assoziiert sind und die Gestenereignisse, die verwendet werden, um die Befehle einzuleiten. Zum Beispiel kann ein Schwenk nach oben Anhalten einleiten, ein Schwenk nach rechts kann Vor einleiten, ein Schwenk nach links kann Rück einleiten, ein Schwenk nach unten kann Neu Laden einleiten. Weiterhin kann ein Schwenk nach links oben Startseite einleiten, ein Schwenk nach rechts oben kann Hervorheben einleiten, ein Schwenk nach links unten kann Suchen einleiten und ein Schwenk nach rechts unten kann Lesezeichen einleiten.
29G zeigt ein Beispiel, in dem das Eingabefunktionsmenü geöffnet werden kann und der Benutzer die Zeige Eingabefunktion dem Akkord Daumen + 4 Finger zuordnen kann. Weiterhin kann der Gestensatz die Befehle zeigen, die mit der Zeige Eingabefunktion assoziiert sind und die Gestenereignisse, die verwendet werden, um die Befehle einzuleiten. Zum Beispiel können Richtungsbewegungen in irgendeine Richtung zum Zeigen verwendet werden.
30 zeigt eine illustrative Steueroperation 580. Die Steueroperation 580 kann unter Verwendung eines Steuerfeldes, wie dem in 29 gezeigten durchgeführt werden. Die Operation kann in Block 582 beginnen, wo eine Liste an Eingabefunktionen zur Verfügung gestellt werden kann. Im Block 584 kann eine Liste an Befehlen zur Verfügung gestellt werden, die mit den Eingabefunktionen assoziiert sind. In Block 586 kann eine Akkordliste zur Verfügung gestellt werden. In Block 588 kann eine Liste von Gestenereignissen zur Verfügung gestellt werden, die mit den Akkorden assoziiert sind. Im Block 590 kann die Eingabefunktion einem Akkord zugeordnet werden (oder umgekehrt). Im Block 592 können die Befehle den Gestenereignissen zugeordnet werden. In einer alternativen Operation kann die Operation 580 umfassen, eine Liste aller zur Verfolgung stehenden Befehle zu liefern, anstatt eine Liste mit einer bestimmten Eingabefunktion assoziiert zu haben. Der Benutzer kann der Eingabefunktion irgendeinen Befehl zuordnen. Auch in einer alternativen Operation kann die Operation umfassen, eine Liste aller zur Verfügung stehender Gestenereignisse zu liefern, anstatt eine Liste mit einem bestimmten Akkord assoziiert zu haben.
Unter Bezugnahme auf 29 kann der Benutzer Eingabefunktionen einem bestimmten Akkord zuordnen, indem er eine Eingabefunktion aus einem Eingabefunktionsmenü auswählt und dann einen Akkord aus einer Akkordmenüliste auswählt. (z. B. Eingabefunktion hervorheben und dann Akkord auswählen). Sobald der Akkord ausgewählt ist, kann die Eingabefunktion an diesen Akkord für zukünftige Operationen gebunden werden. In manchen Fällen kann das Akkordmenü eine Anzeige der Eingabefunktion umfassen, die ihm zugeordnet sind. Weiterhin kann der Benutzer Befehle Gestenereignissen zuordnen, indem er die Befehle über eine Geste zieht. Zum Beispiel kann der Benutzer einen bestimmten Befehl auswählen und ziehen und lässt ihn über dem gewünschten Gestenereignis fallen. Danach kann das Gestenereignis Tür zukünftige Operationen gebunden werden.
31 zeigt ein illustratives Gestenabbildungsverfahren 600. Das Abbilden 600 kann bei Block 602 beginnen, wo das System in einen Gestenabbildungsmodus gebracht wird. Sobald es im Gestenabbildungsmodus ist, kann eine Berührung in Block 604 detektiert werden. Danach kann in Block 606 die Anordnung der Kontakte gespeichert werden, die mit der Berührung assoziiert sind. Zum Beispiel kann ein Bild der Kontaktordnung erzeugt werden. Danach kann in Block 608 die Berührung auf ein Gestenereignis hin überwacht werden. Danach kann in Block 610 das Gestenereignis gespeichert werden. Danach kann in Block 612 ein Befehl der Kontaktordnung/dem Gestenereignis zugewiesen werden. Sobald es aus dem Gestenabbildungsmodus heraus ist, kann der Befehl eingeleitet werden, indem die Kontaktanordnung so abgesetzt wird, dass sie erkannt werden kann, und indem das Gestenereignis durchgeführt wird.
32 zeigt ein illustratives Gestenabbildungsverfahren 620. Das Gestenabbildungsverfahren 620 kann bei Block 622 beginnen, wo ein Befehlsmenü geöffnet werden kann. Das Befehlsmenü kann irgendeines der Menüs sein, die in der Kopfleiste einer Anwendung gefunden werden (z. B. Datei, Bearbeiten, Ansicht, Einfügen, Format, Werkzeuge, usw.). Wenn das Befehlsmenü geöffnet wird, kann eine Befehlsliste angezeigt werden (Block 624). Nach Block 624 kann eine Hervorhebungsleiste über einen Befehl in der Befehlsliste über eine Benutzersteuerung bewegt werden. Danach kann in Block 626 eine Berührung auf einer Berührungsoberfläche detektiert werden, während ein Befehl hervorgehoben ist. Danach kann in Block 628 die Kontaktanordnung, die der Berührung zugeordnet ist, abgebildet und gespeichert werden. Danach kann in Block 630 die Berührung bezüglich eines Gestenereignisses überwacht werden. Danach kann in Block 632 ein Gestenereignis abgebildet und gespeichert werden, wenn es durchgeführt wird. Danach können in Block 634 die anfängliche Kontaktanordnung und die Gestenereignisse dem hervorgehobenen Befehl zugeordnet werden. Sobald es aus dem Gestenabbildungsmodus heraus ist, kann der Befehl eingeleitet werden, indem die Kontaktanordnung so abgesetzt wird, dass sie erkannt werden kann und indem das Gestenereignis durchgeführt wird.
33 zeigt ein illustratives Gestenrückmeldungsverfahren 640. Das Verfahren 640 kann bei Block 642 beginnen, wo eine Berührung detektiert wird. Danach kann in Block 644 die Kontaktanordnung erkannt werden. Danach kann in Block 646 der Gestensatz basierend mindestens teilweise auf der Kontaktanordnung geladen werden. Danach kann in Block 648 eine Pause während der Berührung detektiert werden (z. B. kein Gestenereignis wird während einer Zeitspanne durchgeführt). Danach kann in Block 650 der Gestensatz angezeigt werden, so dass der Benutzer Befehle und Gestenereignisse, die an ihn gebunden sind, betrachten kann (siehe z. B. 34). Danach kann in Block 652 der Gestensatz von der Anzeige entfernt werden, wenn ein Gestenereignis begonnen wird oder nach einem vorgesetzten Zeitablauf.
34 zeigt ein illustratives Gestenbetrachtungsfenster 660. Ein Gestenbetrachtungsfenster kann ein Gestenmenü sein, das sich öffnet und Informationen darüber enthält, wie ein Gestenereignis durchzuführen ist und welcher Befehl eingeleitet werden wird, wenn das Gestenereignis durchgeführt wird. Der Benutzer kann daher den Gestensatz schnell im Gedächtnis einprägen, bevor er ein Gestenereignis durchführt. Das Gestenfenster 660 kann ein halbdurchlässiges oder undurchsichtiges Fenster sein, das in der Nähe des ersten Berührungspunkts (oder der Pause) und über beliebigen anderen angezeigten Informationen angezeigt wird. Obwohl das Fenster stark abweichen kann, kann in der illustrierten Ausführungsform das Fenster 660 getrennte Felder 662 enthalten, von denen jedes ein Gestenereignis 664 und einen Befehl 667 enthält, der mit ihm assoziiert ist. In dieser Ausführungsform können die Felder in einer 3 × 3 Matrix angelegt sein und daher kann es 9 verschiedene Gestenereignisse und 9 verschiedene Befehle geben. In den meisten Fällen können entgegen gesetzt durchgeführte Gestenereignisse einander gegenüber angeordnet werden. Zum Beispiel kann sich Rotieren gegen den Uhrzeigersinn gegenüber Rotieren im Uhrzeigersinn befinden, Spreizen kann sich gegenüber Zusammenziehen befinden, Linksschwenk kann sich gegenüber Rechtsschwenk befinden, Schwenk nach oben kann sich gegenüber Schwenk nach unten befinden. Wenn möglich können komplementäre Befehle mit entgegen gesetzten Gestenereignissen verbunden werden, wodurch sie intuitiver gemacht werden. Im Fall von Ausschneiden und Einfügen kann z. B. Ausschneiden mit Zusammenziehen assoziiert werden, während Einfügen mit Spreizen assoziiert werden kann. Weiterhin kann ein anderes mit einem Tippen assoziiert werden (dargestellt durch einen Kreis).
35 zeigt ein illustratives Tastaturverfahren 680, das über einen Berührungsbildschirm implementiert ist. Das Verfahren 680 kann bei Block 682 beginnen, wo eine Berührungsbildschirmstastatur aktiviert wird (z. B. angezeigt und bereit zum Empfang von Eingabe). Danach kann in Block 684 die Berührungsoberfläche bezüglich Tasteneingaben überwacht werden (z. B. ein Finger, der auf eine angezeigte Taste tippt). Gleichzeitig kann in Block 686 die Berührungsoberfläche bezüglich wischender Gestenereignisse überwacht werden. Wenn das wischende Gestenereignis ein Rechtsschwenk ist, kann ein Leerzeichenbefehl durchgeführt werden (Blöcke 688 und 690). Wenn das wischende Gestenereignis ein Linksschwenk ist, kann ein Rücktaste-/Löschbefehl durchgeführt werden (Blöcke 692 und 694). Wenn das wischende Gestenereignis ein Schwenk nach unten ist, kann ein Eingabe-/Rücklaufbefehl durchgeführt werden (Blöcke 696 und 698). Wenn das wischende Gestenereignis ein Schwenk nach oben ist, kann ein Seitenumbruchsbefehl durchgeführt werden (Blöcke 700 und 702). Es sollte jedoch bemerkt werden, dass das Verfahren nicht auf diese Befehle beschränkt ist und dass andere Befehle durchgeführt werden können.
Mit so vielen Akkordkombinationen, Gestenereignissen, Befehlen zur Auswertung kann es hilfreich sein, Stärke und Schwäche zu isolieren und eine Anleitungstheorie zu entwickeln, welche Akkorde und Gestenereignisse gut zu welchen Befehlen passen. Es wird im Allgemeinen angenommen, dass Langzeitbenutzererfahrung durch Zuordnung der besten Fingerkombinationen mit den häufigsten Befehlen maximiert werden kann. Mittelmäßige Fingerkombinationen sollten nur für weniger häufige Befehle verwendet werden. Wegen subtiler Themen wie etwa Überlagerung ist es jedoch nicht alleine ausreichend, diesem Prinzip zu folgen, um eine großartige Benutzererfahrung zu erzeugen.
36 zeigt einen illustrativen Gestenentwurfsprozess 720. Der Entwurfsprozess 720 umfasst Block 702, wo die einfachsten Akkorde bewertet oder aufgelistet werden. Die Akkorde können z. B. auf der Grundlage von Geschwindigkeit, Verlässlichkeit, Komfort und Benutzerfreundlichkeit, Einfachheit usw. bewertet werden. Dies kann auch auf einer Größe der Berührungsoberfläche beruhen, da kleinere Oberflächen nicht alle Fingerkombinationen aufnehmen können. 37 zeigt ein Beispiel einer Matrix zum Bewerten von Akkorden. Es sollte erkannt werden, dass diese Matrix beispielhaft ist und nicht der Beschränkung dient.
Der Entwurfsprozess enthält auch Block 704, wo die Operationshäufigkeit bewertet oder angeordnet wird. Zum Beispiel wie oft ein bestimmter Benutzer oder eine Benutzergruppe einen bestimmten Operationssatz durchführt. Häufigkeitsanordnungen können gemäß den Proportionen von Operationen relativ zueinander (z. B. Websurfen gegenüber Editieren) variieren. 38 zeigt ein Beispiel einer Matrix zum Einordnen von Operationshäufigkeit für ein paar Operationen. Es sollte erkannt werden, dass diese Liste nur als Beispiel dient und nicht zur Abgrenzung, da es noch viel mehr Operationen gibt.
Der Entwurfsprozess kann auch Block 706 umfassen, wo die einfachsten Akkorde im Wesentlichen mit den häufigsten Operationen gruppiert oder gepaart werden und die schwierigsten Akkorde im Wesentlichen mit den seltensten Operationen gruppiert oder gepaart werden.
Der Entwurfsprozess kann auch Feinabstimmen der Gruppen umfassen. Das Feinabstimmen kann auf vielen Faktoren beruhen, einschließlich komplementäre Befehle, Intuitivität, Überlagerung, sinnvolle Anordnung usw. Wie erkannt werden sollte, kann der Entwurfsprozess nicht so einfach sein, wie das Zusammenführen des einfachsten Akkords mit der häufigsten Operation. In manchen Fällen kann der einfachste Akkord für die häufigste Operation keinen Sinn machen. Als solche können die Akkorde und Operationen verschoben werden, während man immer noch versucht, einfach mit am häufigsten und schwierig mit am wenigsten häufig beizubehalten.
39 zeigt eine illustrative Steueroperation 740. Die Steueroperation kann bei Block 742 starten, wo eine Basisgestenzuordnung zur Verfügung gestellt wird. Die Basisgestenzuordnung kann Gestenvorzugseinstellungen enthalten, die z. B. Akkorde, Befehle, Gestenereignisse usw. enthalten. Nach Block 742 kann die Operation nach Block 744 weitergehen, wo ein erstes Programm aktiv gemacht wird. Das Programm kann z. B. ein Textverarbeitungsprogramm, ein Medienverwaltungsprogramm, ein Tabellenkalkulationsprogramm, ein Medieneditierungsprogramm, ein Zeichenprogramm usw. sein. In Block 746 kann die Basisgestenabbildung angepasst werden, in Übereinstimmung mit dem ersten Programm, während das erste Programm aktiv ist. Zum Beispiel kann das Programm der Basisgestenabbildung anordnen, die Bedeutungen von Akkorden und Gestensätzen für dieses bestimmte Programm zu ändern. Im Block 748 kann ein zweites Programm aktiv gemacht werden. In Block 750 kann die Basisgestenanordnung in Übereinstimmung mit dem zweiten Programm angepasst werden, während das zweite Programm aktiv ist.
In einem Beispiel aus 39 kann ein Medieneditierprogramm die Gestenabbildung wie folgt anpassen: ein Finger zum Zeigen, zwei Finger zum Bewegen, Skalieren, Rotieren von Objekten; drei Finger zum primären Ziehen; vier Finger für einen Scrollschwenk; 5 Finger zum Zeigen, während ein Textverarbeitungsprogramm die Gestenabbildung wie folgt anpassen kann: 2 Finger zum Zeigen mit Textcursor, 3 Finger zum Selektieren von Text, 4 Finger zum Blättern, Zeilenanfang und Zeilenende.
40 zeigt eine illustrative Steueroperation 760. Die Steueroperation kann mit einem Gestensatz, wie etwa demjenigen, der mit einem drei Fingerakkord implementiert ist, assoziiert werden. Die Steueroperation kann bei Block 762 beginnen, wo eine Bestimmung gemacht wird, ob ein Schwenk nach rechts detektiert wird oder nicht. Wenn ja, kann die Operation nach Block 764 fortschreiten, wo eine erste Freistellungsfunktion eingeleitet wird. Wenn nein, kann die Operation nach Block 766 weitergehen, wo eine Bestimmung gemacht wird, ob ein Schwenk nach links detektiert wird oder nicht. Wenn dem so ist, kann die Operation nach Block 770 weitergehen, wo eine Bestimmung gemacht wird, ob ein Schwenk nach oben detektiert wird oder nicht. Wenn dem so ist, kann die Operation nach Block 772 weitergehen, wo eine dritte Freistellungsfunktion eingeleitet wird. Wenn nein, kann die Operation nach Block 774 weitergehen, wo eine Bestimmung gemacht wird, ob ein Schwenk nach unten detektiert wird oder nicht. Wenn dem so ist, kann die Operation nach Block 776 weitergehen, wo eine Instrumententafelfunktion eingeleitet wird. Wenn nein, kann die Operation zurück nach 762 weitergehen.
41 zeigt eine illustrative Steueroperation 780. Die Steueroperation kann bei Block 782 starten, wo ein Basisakkord detektiert wird. Der Basisakkord kann z. B. ein drei Finger Akkord sein. Während des Berührungsanschlags wird eine Pause detektiert (Block 784). Danach kann in Block 786 ein Kontextmenü wegen der Pause des Basisakkords geöffnet werden. Danach kann in Block 788 eine Bestimmung gemacht werden, ob ein Gleiten nach oben oder unten entdeckt wird oder nicht. Wenn dem so ist, kann die Operation nach Block 790 weitergehen, wo eine Hervorhebungsleiste durch das Kontextmenü in Übereinstimmung mit der Gleitbewegung bewegt wird. Danach kann in Block 792 eine Bestimmung gemacht werden, ob ein Tippen detektiert wird oder nicht. Wenn dem so ist, kann die Operation nach Block 794 weitergehen, wo die Funktionalität des hervorgehobenen Eintrags implementiert wird.
Instrumententafel beherbergt Widgets: Minianwendungen, mit denen man allgemeine Aufgaben durchführen kann und die einem schnellen Zugriff auf Informationen zur Verfügung stellen. Mit einem Wischen kann Instrumententafel erscheinen, vollständig mit Widgets, die einem Benutzer eine Welt von Informationen bringen – Echtzeitwetter, Aktienticker, Fluginformationen und weiteres – sofort. Instrumententafel kann genauso einfach verschwinden, so dass ein Benutzer zu dem was er gerade tat, zurückkehren kann. Instrumententafel wird von Apple Inc. aus Cupertino, Kalifornien, hergestellt.
Freistellen ermöglicht es Benutzern, sofort auf jedes offene Fenster mit einem einzigen Wischen – und erstaunlichem Stil zuzugreifen, der nie imitiert werden kann. Zeige alle offenen Fenster als Vorschaubilder an, betrachte Fenster der aktuellen Anwendung oder verberge alle Fenster, um schnell eine Datei auf deinem Schreibtisch aufzufinden. Freistellen wird von Apple Inc. aus Cupertino, Kalifornien, hergestellt.
Die 42 bis 44 zeigen verschiedene Gestenzuordnungen. Jede Figur umfasst vier Überschriften: 1) Hand, 2) # an Fingern (Akkord), 3) Gestenereignis und 4) mit dem Gestenereignis assoziiertes Verhalten oder Aktion.
Die 45 bis 48 zeigen verschiedene Gestensätze. In all diesen Figuren umfassen die Gestensätze verschiedene Bewegungen, die durch Pfeile (Wischen, Rotationen, Spreizen/Zusammenziehen) gezeigt werden, und ein oder mehrere Tippen, die durch Kreise gezeigt werden. Sie umfassen auch Befehle, die an die Bewegungen, über denen sie liegen, gebunden sind. Die Gestensätze können auf verschiedene Akkorde in Abhängigkeit der Benutzerbedürfnisse angewendet werden. In einem Beispiel kann der Gestensatz aus 45 auf einen Akkord aus einem Daumen + 1 Finger angewendet werden, der Gestensatz aus 46 kann auf einen Akkord aus einem Daumen + 2 Finger angewendet werden, der Gestensatz aus 47 kann auf einen Akkord aus einem Daumen + 3 Finger angewendet werden und der Gestensatz aus 48 kann aus einem Akkord aus gespreiztem Daumen und 3 Fingern angewendet werden. Es sollte verstanden werden, dass diese Gestensätze sowie die Akkorde als Beispiel angegeben werden und nicht zur Abgrenzung. Zum Beispiel können im Fall der Gestensätze verschiedene Befehle verwendet werden, verschiedene Gestenereignisse können verwendet werden, verschiedene Zuordnungen können gemacht werden, usw.
Zusätzliche Ausführungsformen, die sich auf die 8 bis 11 beziehen werden jetzt beschrieben werden.
49 zeigt eine illustrative Gestenoperation 800. Die Operation 800 kann bei Block 802 beginnen, wo nur ein erster Finger detektiert wird. Danach kann in Block 804 der Zustand des ersten Fingers bestimmt werden. Der Zustand kann z. B. einer bestimmten Ausrichtung des Fingers entsprechen, der Position des Fingers relativ zur Berührungsoberfläche, ob der Finger sich bewegt oder stationär ist, der Richtung der Fingerbewegungen und ähnlichem. Danach können in Block 806 ein oder mehrere zusätzliche Finger detektiert werden. Zum Beispiel kann neben dem ersten Finger ein unterschiedlicher zweiter Finger detektiert werden. In Block 808 kann der Zustand des einen oder der mehreren zusätzlichen Finger bestimmt werden. Danach können in Block 810 verschiedene Eingabemodi auf der Grundlage eines Zeitverlaufs und von Zuständen des ersten und der zusätzlichen Finger relativ zueinander implementiert werden. Die verschiedenen Eingabemodi können stark abgewandelt werden, und sie können aus jedem derjenigen ausgewählt werden, die hier diskutiert werden oder aus jedem geeignetem oder bekannten Eingabemodus. Ein Beispiel eines Eingabemodus kann ein Zeigemodus oder Ziehmodus sein. Andere Modi können z. B. Scrollen, Schwenken oder ähnliches umfassen.
In einem Beispiel kann der Zustand des ersten Fingers stationär oder bewegend umfassen, und der Zustand eines zweiten Fingers kann umfassen, ob der zweite Finger anwesend ist oder nicht. In diesem Beispiel können Zeigeoperationen implementiert werden, wenn nur der erste Finger detektiert wird. Weiterhin können Zeigeoperationen nach Ziehoperationen umgeschaltet werden, wenn der zweite Finger detektiert wird, wenn der erste Finger stationär ist, und Zeigeoperationen werden aufrecht erhalten, wenn der zweite Finger detektiert wird, wenn sich der erste Finger bewegt. Dadurch kann ein Benutzer einfach zwischen Zeige-Ziehoperationen hin und her schalten. Der Benutzer kann z. B. einen Finger über die Berührungsoberfläche bewegen, um ihn oder einen Cursor über einem Dateiordner zu positionieren (z. B. Zeigen), den Finger oder Cursor über dem Dateiordner anhalten, einen zweiten Finger auf die Berührungsoberfläche absetzen, so dass angezeigt wird, dass gewünscht wird, den Dateiordner zu beziehen, und dann seinen ersten Finger auf eine andere Position bewegen, um den Dateiordner zu einer neuen Position zu ziehen. Der Benutzer kann fortfahren, seine Finger und damit den Dateiordner herum zu bewegen, oder einfach den ersten Finger aufleben, um den Dateiordner endgültig innerhalb des Bildschirms anzuordnen.
50 zeigt eine illustrative Gestenoperation 820. Die Operation 820 kann bei Block 822 beginnen, wo nur ein erster Finger detektiert wird. Danach kann in Block 824 der Zustand des ersten Fingers bestimmt werden. Der Zustand kann z. B. einer bestimmten Ausrichtung des Fingers, der Position des Fingers relativ zur Berührungsoberfläche, ob sich der Finger bewegt oder stationär ist, der Richtung der Fingerbewegungen oder ähnlichem entsprechen. Danach kann in Block 826 ein erster Eingabemodus mit dem ersten Finger implementiert werden, wenn der erste Finger in einem ersten Zustand ist. In Block 828 kann nach einem Modifizierfingerereignis Ausschau gehalten werden. Das Modifizierfingerereignis kann durch einen anderen als den ersten Finger geliefert werden. Es kann z. B. ein zweiter Finger sein. Das Ereignis kann die Anwesenheit eines zweiten Fingers sein oder es kann eine Art von Gestikulierungsereignis oder ein bestimmter Akkord sein. Danach kann in Block 830 ein zweiter implementiert werden, wenn der erste Finger in einem zweiten Zustand ist und das Modifizierfingerereignis detektiert wird. Das Modifizierereignis kann z. B. die Anwesenheit eines zweiten Fingers neben dem ersten Finger sein. In einem Beispiel ist der erste Modus ein Zeigemodus und der zweite Modus ist ein Ziehmodus. Natürlich kann die Ausführungsform auf andere Modi nach Bedarf angewendet werden.
51 zeigt eine illustrative Gestenoperation 840. Die Operation 840 kann bei Block 842 beginnen, wo ein erster Finger anfangs detektiert wird. Danach kann in Block 844 ein erster Modus, der mit dem ersten Finger assoziiert ist, implementiert werden, wenn der erste Finger bewegt wird. Danach kann in Block 826 ein zweiter Finger detektiert werden, nachdem der erste Finger detektiert wird. In, Block 828 kann der erste Modus auf einen zweiten Modus umgeschaltet werden, wenn der erste Finger stationär ist und die Anwesenheit eines zweiten Fingers detektiert wird. Die Anwesenheit des zweiten Fingers kann Positionsabhängig sein, wie z. B. von einer bestimmten Position auf der Berührungsoberfläche oder einer bestimmten Position relativ zum ersten Finger. In einem Beispiel sollte der zweite Finger in der Nähe des ersten Fingers detektiert werden. Danach kann in Block 830 der zweite Modus mit mindestens dem ersten Finger implementiert werden, wenn der erste Finger bewegt wird. In einem Beispiel kann der erste Modus ein Zeigemodus sein, und der zweite Modus kann ein Ziehmodus sein. Natürlich kann die Ausführungsform auf andere Modi nach Bedarf angewendet werden.
52 zeigt eine illustrative Gestenoperation 860. Die Operation 860 kann bei Block 862 beginnen, wo eine Bestimmung gemacht wird, ob ein einzelner Finger detektiert wird. Der einzelne Finger kann identifiziert werden oder nicht, in Abhängigkeit von den Bedürfnissen des Systems. In manchen Fällen können die Operationen z. B. nur implementiert werden, wenn ein bestimmter Finger identifiziert wird, während in anderen Fällen das Verfahren implementiert werden kann, wenn irgendein einzelner Finger detektiert wird. Wenn ein einzelner Finger detektiert wird, kann die Operation nach Block 864 weitergehen, wo eine Bestimmung gemacht wird, ob der Finger bewegt wird oder nicht. Wenn der Finger bewegt wird, können in Block 866 Zeigeoperationen mit der ersten Fingerbewegung durchgeführt werden. Wenn der erste Finger nicht mehr detektiert wird, können die Zeigeoperationen enden. Wenn der Finger nicht bewegt wird, kann in Block 868 eine Bestimmung gemacht werden, ob ein zweiter Finger detektiert wird, während der erste Finger stationär ist. Wenn nein, kann die Operation zurück nach Block 862 weitergehen. Wenn ja, kann die Operation nach Block 870 weitergehen, wo eine Bestimmung gemacht wird, ob der erste Finger bewegt wird, nachdem der zweite Finger detektiert wird. Der zweite Finger kann sich mit dem ersten Finger bewegen müssen oder nicht. In den meisten Fällen kann der zweite Finger aufgehoben werden, so dass er nicht mehr detektiert wird. Wenn der erste Finger nicht bewegt wird, kann die Operation zurück nach Block 868 weitergehen. Wenn der erste Finger bewegt wird, kann die Operation nach Block 872 weitergehen, wo Ziehoperationen in Übereinstimmung mit der ersten Fingerbewegung durchgeführt werden. Wenn der erste Finger nicht mehr detektiert wird, können die Ziehoperationen enden.
53 zeigt eine illustrative Gestenoperation 880. Die Operation 880 kann bei Block 882 beginnen, wo eine Bestimmung gemacht wird, ob ein erster Finger detektiert wird oder nicht. Der erste Finger kann identifiziert werden oder nicht, in Abhängigkeit von den Bedürfnissen des Systems. In manchen Fällen kann die Operation z. B. nur implementiert werden, wenn ein bestimmter Finger identifiziert wird, während in anderen Fällen die Operation implementiert werden kann, wenn irgendein einzelner Finger detektiert wird. Wenn ein Finger detektiert wird, kann die Operation nach Block 884 weitergehen, wo ein Zeigemodus implementiert wird. Danach kann in Block 886 eine Bestimmung gemacht werden, ob der Finger bewegt wird oder nicht. Wenn der Finger bewegt wird, können in Block 888 nachfolgende Modifizierungsereignisse ignoriert werden. Zum Beispiel können zusätzliche detektierte Finger ignoriert werden und nur die Bewegung des ersten Fingers kann relevant sein. Danach können in Block 890 Zeigeoperationen in Übereinstimmung mit dem sich bewegenden Finger durchgeführt werden. Wenn der erste Finger nicht mehr detektiert wird, können die Zeigeoperationen enden. Wenn der erste Finger stationär ist, kann die Operation nach Block 892 weitergehen, wo nach einem Modifizierungsereignis gesucht wird. Ein Modifizierungsereignis kann z. B. das Hinzufügen eines Fingers sein, oder eine Geste, die durch einen neuen Finger gemacht wird, usw. Danach kann in Block 894 eine Bestimmung gemacht werden, ob ein bestimmtes Modifizierungsereignis detektiert wird oder nicht. Wenn nein, kann die Operation zurück nach Block 886 weitergehen. Wenn ja, kann die Operation nach Block 896 weitergehen, wo das System vom Zeigemodus auf einen Ziehmodus umgeschaltet wird. Wenn der erste Finger bewegt wird, kann die Operation nach Block 898 weitergehen, wo Ziehoperationen in Übereinstimmung mit der ersten Fingerbewegung durchgeführt werden. Wenn der erste Finger nicht mehr detektiert wird, können die Ziehoperationen enden.
54 zeigt ein illustratives elektronisches System 950 in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung. Das elektronische System kann mit jeglichen der vorhergehenden Ausführungsformen konfiguriert sein. Das elektronische System 950 kann einem Computersystem entsprechen, wie etwa einem Personalcomputersystem, das Desktops, Laptops, Tablets oder handgehaltene Computer umfasst. Das elektronische System kann auch anderen elektronischen Benutzergeräten entsprechen, wie z. B. handgehaltenen Geräten, einschließlich Mobiltelefonen, PDAs, spezielle Medienspieler und ähnliches. Natürlich kann das elektronische System auf andere elektronische Geräte angewendet werden.
Das beispielhafte System 950, das in 54 gezeigt ist, kann einen Prozessor 956 umfassen, der konfiguriert ist, um Anweisungen auszuführen und Operationen auszuführen, die mit dem System 950 assoziiert sind. Zum Beispiel kann der Prozessor 956 unter Verwendung von Anweisungen, die z. B. aus dem Speicher empfangen werden, den Empfang und die Manipulierung von Eingabe- und Ausgabedaten zwischen Komponenten des Computersystems 950 steuern. Der Prozessor 956 kann auf einem einzigen Chip, mehreren Chips oder mehreren elektronischen Komponenten implementiert werden. Zum Beispiel können verschiedene Architekturen für den Prozessor 956 verwendet werden, einschließlich einem dedizierten oder eingebetteten Prozessor, einem Prozessor mit einer einzigen Aufgabe, einem Controller, ASIC usw.
In den meisten Fällen kann der Prozessor 956 zusammen mit einem Betriebssystem so arbeiten, dass er Computercode ausführt und Benutzungsdaten produziert. Betriebssysteme sind im Allgemeinen wohl bekannt und werden nicht in größerem Detail beschrieben werden. Das Betriebssystem kann z. B. OS/2, DOS, Unix, Linux, Palm OS und ähnlichem entsprechen. Das Betriebssystem kann auch ein Betriebssystem mit einer speziellen Aufgabe sein, wie es z. B. für Haushaltscomputergeräte mit beschränktem Zweck verwendet werden kann. Das Betriebssystem, anderer Computercode und Daten können sich innerhalb eines Speicherblocks 958 befinden, der operativ mit dem Prozessor 956 verbunden ist. Speicherblock 958 kann einen Platz zum Speichern von Computercode und Daten liefern, die durch das System 950 verwendet werden. Zum Beispiel kann der Speicherplatz 958 Nur-Lese Speicher (Read-Only Memory, ROM) umfassen, Lese-und-Schreibspeicher (Random-Access Memory, RAM), Festplattenlaufwerk und/oder ähnliches. Die Informationen können sich auf einem entfernbaren Speichermedium befinden oder auf das System 950 geladen oder installiert werden, wenn benötigt. Entfernbare Speichermedien umfassen z. B. CD-ROM, PC-CARD, Speicherkarte, Floppy Disk, Magnetband und eine Netzwerkkomponente.
Das System 950 kann auch eine Anzeigevorrichtung 968 umfassen, die operativ mit dem Prozessor 956 verbunden ist. Die Anzeigevorrichtung 968 kann eine Flüssigkristallanzeige (liquid crystal display, LCD) (z. B. aktive Matrix, passive Matrix und ähnliches sein). Alternativ kann die Anzeigevorrichtung 968 ein Monitor sein, wie etwa eine Monochromanzeige, Farbgraphikadapter (color graphics adapter, CGA) Anzeige, verbesserte Graphikadapter (enhanced graphics adapter, EGA) Anzeige, variable Graphikfeldanzeige (variable-graphics-array, VGA), Super VGA Anzeige, Bildröhre (cathode ray tube, CRT) und ähnliches. Die Anzeigevorrichtung kann auch einer Plasmaanzeige oder einer Anzeige entsprechen, die mit elektronischen Tinten implementiert wird.
Die Anzeigevorrichtung 968 kann konfiguriert sein, eine graphische Benutzerschnittstelle (graphical user interface, GUI) 969 anzuzeigen, die eine einfache Benutzerschnittstelle zwischen dem Benutzer des Systems und dem Betriebssystem oder darauf laufende Anwendung zur Verfügung stellt. Im Allgemeinen repräsentiert die GUI 969 Programme, Dateien und Betriebsoptionen mit graphischen Bildern. Die graphischen Bilder können Fenster, Felder, Dialogfelder, Menüs, Icons, Schalter, Cursor, Bildlaufleisten usw. umfassen. Solche Bilder können in vordefinierten Layouts angeordnet sein oder sie können dynamisch erzeugt werden, um bestimmten Aktionen zu dienen, die durch einen Benutzer vorgenommen werden. Während der Operation kann der Benutzer verschiedene graphische Bilder auswählen und aktivieren, um Funktionen und Aufgaben einzuleiten, die damit assoziiert sind. Zum Beispiel kann ein Benutzer eine Schaltfläche selektieren, die ein Fenster öffnet, schließt, minimiert oder maximiert, oder ein Icon, das ein bestimmtes Programm startet. Die GUI 969 kann darüber hinaus oder alternativ Informationen, etwa nicht-interaktiven Text und Graphiken für den Benutzer auf der Anzeigevorrichtung 968 anzeigen.
Das System 950 kann auch ein oder mehrere Eingabevorrichtungen 970 umfassen, die operativ mit dem Prozessor 956 verbunden sind. Die Eingabevorrichtungen 970 können konfiguriert sein, um Daten von der Außenwelt in das System 950 zu übertragen. Die Eingabevorrichtungen 970 können in das System 950 integriert sein oder sie können getrennte Komponenten (z. B. Peripherievorrichtungen) sein. In manchen Fällen können die Eingabevorrichtungen 970 mit dem System 950 durch Drahtverbindungen (Kabel/Ports) verbunden sein. In anderen Fällen können die Eingabevorrichtungen 970 mit dem System 950 durch drahtlose Verbindungen verbunden sein. Die Datenverbindung kann z. B. PS/2, USB, IR, RF, Bluetooth oder ähnlichem entsprechen.
Die Eingabevorrichtung(en) 970 kann/können z. B. verwendet werden, um Nachverfolgung durchzuführen und Anwahlen im Bezug auf die GUI 969 auf der Anzeige 968 zu machen. Die Eingabevorrichtung 970 kann auch verwendet werden, um Befehle in das System 950 abzugeben.
In einer Ausführungsform können die Eingabevorrichtungen 970 eine berührungsempfindliche Vorrichtung umfassen, die konfiguriert ist, um Eingabe von einer Berührung des Benutzers zu empfangen und diese Informationen an den Prozessor 56 zu senden. Die berührungsempfindliche Vorrichtung kann z. B. einem Berührungsfeld, einem Berührungsbildschirm und/oder einem berührungsempfindlichen Gehäuse entsprechen.
In vielen Fällen kann die berührungsempfindliche Vorrichtung Berührungen (oder Beinahe-Berührungen) erkennen sowie die Position und die Größenordnung der Berührungen auf der berührungsempfindlichen Oberfläche. Die Berührungsabtastungsmittel können die Berührungen an den Prozessor 956 berichten und der Prozessor 956 kann die Berührungen in Übereinstimmung mit seiner Programmierung interpretieren. Zum Beispiel kann der Prozessor 956 eine Aufgabe in Übereinstimmung mit einer bestimmten Berührung initiieren. Ein dedizierter Prozessor kann verwendet werden, um die Berührungen lokal zu verarbeiten und die Nachfrage nach dem Hauptprozessor des Computersystems zu verringern. Die berührungsempfindliche Vorrichtung kann auf Abtasttechnologien beruhen – einschließlich, aber nicht beschränkt auf – kapazitives Abtasten, Widerstandsabtasten, Oberflächen akustisches Wellenabtasten, Druckabtasten, optisches Abtasten und/oder ähnliches.
Weiterhin können die berührungsempfindlichen Mittel auf Einzelpunktabtastung oder Mehrpunktabtastung beruhen. Einzelpunktabtastung ist nur in der Lage, eine einzige Berührung zu unterscheiden, während Mehrpunktabtastung in der Lage ist, mehrere Berührungen zu unterscheiden, die zur gleichen Zeit auftreten. Alternativ oder zusätzlich können Näheabtastungsvorrichtungen verwendet werden. Näheabtastungsvorrichtungen sind in der Lage, Objekte im Raum anstelle auf einer Berührungsoberfläche abzutasten.
In einer Ausführungsform können die Eingabevorrichtungen 970 eine Mehrpunkteingabevorrichtung umfassen. Mehrpunkteingabevorrichtungen haben Vorteile gegenüber herkömmlichen Einzelpunktvorrichtungen dahingehend, dass sie mehr als ein Objekt (Finger) gleichzeitig unterscheiden können. Als ein Beispiel wird eine Mehrpunktvorrichtung, die hier verwendet wird, detaillierter in den U.S. Patentanmeldungen Nr. 10/840,862 und 11/015,434 beschrieben, die beide hier per Verweis mit eingebunden werden.
In Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung kann das System 950 so entworfen werden, dass es Gesten 985 erkennt, die auf eine oder mehrere Eingabevorrichtungen 970 (insbesondere Berührungsvorrichtungen) angewendet werden und Aspekte des Systems 950 auf der Grundlage der Gesten 985 steuert. Wie vorher bemerkt kann eine Geste als eine stilisierte Interaktion mit einer Eingabevorrichtung definiert werden, die auf eine oder mehrere bestimmte Computeroperationen abgebildet wird. Die Gesten 985 können durch verschiedene Hand- und insbesondere Fingerbewegungen gemacht werden. Alternativ oder zusätzlich können die Gesten mit einem Stift gemacht werden. In all diesen Fällen kann mindestens eine der Eingabevorrichtungen 970 wie etwa eine Berührungsvorrichtung, die Gesten 985 empfangen und der Prozessor 956 kann Instruktionen ausführen und Operationen ausführen, die mit den Gesten 985 assoziiert sind. Darüber hinaus kann der Speicherblock 958 ein Gestenbetriebsprogramm 988 enthalten, das Teil eines Betriebssystems oder eine getrennte Anwendung sein kann. Das Gestenbetriebsprogramm 988 kann einen Satz an Anweisungen enthalten, die das Auftreten von Gesten 985 erkennen und einen oder mehrere Software agenten über die Gesten 985 informieren und/oder welche Aktion(en) in Antwort auf die Gesten 985 zu unternehmen sind.
Wenn ein Benutzer eine oder mehrere Gesten durchführt, kann das Eingabegerät 970 Gesteninformationen an den Prozessor 956 weitergeben. Unter Verwendung von Anweisungen vom Speicher 958 und insbesondere des Gestenbetriebsprogramms 988 kann der Prozessor 956 die Gesten 985 interpretieren und verschiedene Komponenten des Systems 950, wie etwa den Speicher 958, eine Anzeige 968 auf der Grundlage der Gesten 985 steuern. Die Gesten 985 können als Befehle zum Durchführen von Aktionen in Anwendungen, die im Speicher 958 gespeichert sind, identifiziert werden, die GUI Objekte modifizieren, die auf der Anzeige 968 angezeigt werden, Daten modifizieren, die im Speicher 958 gespeichert sind und/oder Aktionen in E/A Geräten durchführen. Zum Beispiel kämmen die Befehle mit Zoomen, Schwenken, Scrollen, Blättern, Rotieren, Größenverändern und ähnlichem assoziiert sein. Als weitere Beispiele können die Befehle auch mit dem Starten eines bestimmten Programms, Öffnen einer Datei oder eines bestimmten Dokuments, Betrachten eines Menüs, Vornehmens einer Auswahl, Ausführen von Anweisungen, Einloggen in ein Computersystem, autorisierten Individuen Zugang zu beschränkten Gebieten des Computersystems erlauben, Laden eines Benutzerprofils, das mit einer durch den Benutzer bevorzugten Anordnung auf dem Computerschreibtisch assoziiert ist und/oder ähnlichem assoziiert sein.
In einer Ausführungsform kann die Anzahl an Fingern in Kontakt mit der Eingabevorrichtung einen Eingabemodus anzeigen. Zum Beispiel kann eine einzelne Berührung, wie z. B. durch einen einzelnen Finger den Wunsch anzeigen, Nachverfolgung durchzuführen, d. h. Zeiger- oder Cursorbewegungen oder Auswahlen, wohingegen mehrere Berührungen, wie z. B. durch eine Gruppe an Finger, den Wunsch anzeigen kann, andere Gesten durchzuführen. Die Anzahl an Finger zum Implementieren von Gesten kann stark abgewandelt werden. Zum Beispiel können zwei Finger einen ersten Eingabemodus anzeigen, drei Finger können einen dritten Eingabemodus anzeigen usw. Alternativ kann jede Anzahl von Fingern, d. h. mehr als einer für denselben Eingabemodus verwendet werden, der eine oder mehrere Gestensteuerungen umfassen kann. Die Ausrichtung der Finger kann ähnlich verwendet werden, um den gewünschten Modus zu bezeichnen. Das Profil der Finger kann detektiert werden, um verschiedene modale Operationen auf der Grundlage dessen zu ermöglichen, ob der Benutzer z. B. seinen Daumen oder Zeigefinger verwendet hat.
In einer bestimmten Ausführungsform kann ein einzelner Finger Nachverfolgung (oder Auswahl) einleiten und zwei oder mehr Finger in großer Nähe zueinander können scrollen oder schwenken einleiten. Zwei Finger können einfaches hin und her schalten zwischen einem und zwei Fingern liefern, d. h. der Benutzer kann zwischen Modi sehr einfach wechseln, indem er einfach einen zusätzlichen Finger anhebt oder platziert. Das hat den Vorteil, intuitiver zu sein, als andere Formen des Modus hin und her Schaltens. Während Nachverfolgung kann Cursorbewegung durch den Benutzer gesteuert werden, der einen einzelnen Finger auf der Berührungssensitiven Oberfläche einer berührungssensitiven Vorrichtung bewegt. Die Sensoranordnung der berührungsempfindlichen Vorrichtung kann die Fingerbewegung interpretieren und Signale zum Erzeugen entsprechender Bewegung des Cursors auf der Anzeige erzeugen. Während Scrollen kann Bildschirmbewegung durch den Benutzer gesteuert werden, der duale Finger auf der berührungsempfindlichen Oberfläche oder der berührungsempfindlichen Vorrichtung bewegt. Wenn die kombinierten Finger in die vertikale Richtung bewegt werden, kann die Bewegung als ein vertikales Scrollereignis interpretiert werden und wenn die kombinierten Finger in die horizontale Richtung bewegt werden, kann die Bewegung als ein horizontales Scrollereignis interpretiert werden. Das Gleiche kann für Schwenken gesagt werden, obwohl Schwenken in alle Richtungen anstelle nur der horizontalen und vertikalen Richtung eintreten kann.
Die Ausführungsformen, die hier beschrieben werden, können durch Hardware, Software oder einer Kombination von Hardware und Software implementiert werden. Die Software kann auch als computerlesbarer Code auf einem computerlesbaren Medium ausgeführt sein. Das computerlesbare Medium ist irgendeine Datenspeichervorrichtung, die Daten speichern kann, die danach durch ein Com putersystem gelesen werden können. Beispiele für das computerlesbare Medium umfassen Nur-Lese Speicher, Lese-und-Schreib Speicher, CD-ROMS, DVDs, Magnetband, optische Datenspeichervorrichtungen und Trägerwellen. Das computerlesbare Medium kann auch über netzwerkverbundene Computersysteme verteilt werden, so dass der computerlesbare Code auf verteilte Weise gespeichert und ausgeführt wird.
Obwohl z. B. die Erfindung primär auf Berührungsvorrichtungen gerichtet ist, sollte bemerkt werden, dass die Erfindung auch mit Näheabtastungsvorrichtungen implementiert werden kann. Darüber hinaus können Verfahren implementiert werden, um automatisch Gestenpräferenzen zwischen verschiedenen Vorrichtungen zu synchronisieren. Wenn z. B. eine Palm Vorrichtung mit einem Host Computer verbunden wird. Es sollte auch bemerkt werden, dass es viele alternative Wege der Implementierung der Verfahren und Geräte gibt. Obwohl z. B. die Erfindung primär auf ein System gerichtet ist, das mit Mehrpunkt-Abtastvorrichtungen assoziiert ist, sollte bemerkt werden, dass es auch auf Einzelpunktabtastvorrichtungen gerichtet werden kann.

Claims

Elektronisches System umfassend: eine Mehrpunkt-Abtastvorrichtung, die ein Mehrpunktabtastungsgebiet zum Empfangen von Eingaben von einem oder mehreren Objekten zur Verfügung stellt; ein Gestenmodul, das konfiguriert ist, einen Gestensatz für eine bestimmte Eingabeanordnung zu bestimmen, die durch das Mehrpunktabtastungsgebiet der Mehrpunkt-Abtastvorrichtung empfangen wird, die bestimmte Eingabeanordnung bezüglich eines oder mehrerer Gestenereignisse zu überwachen, die im Gestensatz enthalten sind und Eingabeaktionen einzuleiten, die mit einem Gestenereignis assoziiert sind, wenn das Gestenereignis mit der Eingabeanordnung durchgeführt wird.
Elektronisches System wie in Anspruch 1, wobei die Mehrpunkt-Abtastvorrichtung eine berührungsempfindliche Vorrichtung ist.
Elektronisches System wie in Anspruch 1, wobei die Mehrpunkt-Abtastvorrichtung eine Näheabtastvorrichtung ist.
Elektronisches System wie in Anspruch 1, wobei das Gestenmodul durch Hardware, Software oder eine Kombination aus Hardware und Software implementiert ist.
Elektronisches System wie in Anspruch 1, wobei das elektronische System mit einem Computersystem assoziiert ist, einschließlich Desktops, Laptops, Tabletts und handgehaltene Computer.
Elektronisches System wie in Anspruch 1, wobei das elektronische System mit handgehaltenen elektronischen Benutzergeräten einschließlich Mobiltelefonen, PDAs oder dedizierten Medienspielern assoziiert ist.
Elektronisches System wie in Anspruch 1, wobei der Gestensatz auch durch einen oder mehrere Faktoren bestimmt wird, einschließlich Position der Eingabeanordnung innerhalb des Abtastgebiets, einer offenen Anwendung, eines Zustands der offenen Anwendung, Eingabefunktionalität oder zusätzlichen Eingabecharakteristiken.
Elektronisches System wie in Anspruch 1, wobei die Eingabeaktionen Zustandsbefehle sind.
Elektronisches System wie in Anspruch 1, wobei die Eingabeaktionen manipulative Befehle sind.
Elektronisches System wie in Anspruch 1, wobei die Gestenereignisse durch die Eingabeanordnung durchgeführt werden.
Elektronisches System wie in Anspruch 1, wobei die Gestenereignisse durch eine Untermenge der Eingabeanordnung durchgeführt werden.
Elektronisches System wie in Anspruch 1, wobei das Bestimmen des Gestensatzes erkennen einer bestimmten Eingabeanordnung umfasst und wobei Überwachen der bestimmten Eingabeanordnung Erkennen von Gestenereignissen umfasst, die mit dem Gestensatz assoziiert sind.
Elektronisches System wie in Anspruch 12, wobei Erkennen der Gestenereignisse Analysieren von Charakteristiken einer jeden Eingabe der Eingabeanordnung umfasst, Identifizieren eines bestimmten Musters, das mit der Eingabeanordnung assoziiert ist und Bezug nehmen auf den Gestensatz, um zu sehen, ob das bestimmte Muster mit einem Gestenereignis übereinstimmt, das mit dem Gestensatz assoziiert ist.
Elektronisches System wie in Anspruch 1, wobei die Gestenereignisse mit Berührungen assoziiert sind, die aus Bewegungen, Tippen, Druck und Verweilen ausgewählt werden können.
Elektronisches System wie in Anspruch 14, wobei Bewegungen aus Gleiten, Wischen, Schnalzen und Rotation ausgewählt werden.
Elektronisches System wie in Anspruch 14, wobei Bewegungen Zusammenziehen oder Ausdehnen zwischen zwei oder mehr Eingaben sind.
Elektronisches System wie in Anspruch 14, wobei Tippen aus einem halben Tippen, ganzen Tippen, mehreren Tippen, schnellen Tippen oder langsamen Tippen ausgewählt werden.
Elektronisches System wie in Anspruch 14, wobei Druck mit hartem und leichtem Drücken assoziiert wird.
Elektronisches System wie in Anspruch 14, wobei Verweilen mit einer langen oder kurzen stationären Pause assoziiert ist.
Elektronisches System wie in Anspruch 14, wobei der Gestensatz aus einer Matrix aus verschiedenen Gestenereignissen und verschiedenen Befehlen besteht.