DE102011053449A1

DE102011053449A1 - Mensch-Maschine-Schnittstelle auf Fingerzeige- und Gestenbasis für Fahrzeuge

Info

Publication number: DE102011053449A1
Application number: DE102011053449A
Authority: DE
Inventors: Joseph C. Jira; Theodore C. Wingrove; Royce Duchante' Channey
Original assignee: Visteon Global Technologies Inc
Current assignee: Visteon Global Technologies Inc
Priority date: 2010-09-21
Filing date: 2011-09-09
Publication date: 2012-03-22
Also published as: US20120068956A1; US8760432B2; JP2012069114A; JP5261554B2

Abstract

Ein adaptives Schnittstellensystem weist eine Benutzerschnittstelle zum Steuern eines Fahrzeugsystems, einen Sensor zum Erkennen einer Position einer Extremität eines Benutzers und zum Erzeugen eines Sensorsignals, das die Position der Extremität darstellt, und eine Verarbeitungseinheit auf, die mit dem Sensor und der Benutzerschnittstelle in Kommunikation steht, wobei die Verarbeitungseinheit das Sensorsignal empfängt, das Sensorsignal anhand eines Befehlssatzes analysiert, um einen Zeigevektor des Benutzers zu bestimmen, und die Benutzerschnittstelle anhand des Zeigevektor des Benutzers konfiguriert.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft allgemein eine Mensch-Maschine-Schnittstelle. Insbesondere betrifft die Erfindung ein adaptives Schnittstellensystem und ein Verfahren zum Interagieren mit einer Benutzerschnittstelle durch das Verfolgen eines Benutzers.
ALLGEMEINER STAND DER TECHNIK
Gegenwärtige Fahrzeugsysteme weisen Benutzerschnittstellen auf, die eins oder mehrere der folgenden Elemente enthalten: eine Anzeige, einen Berührungsbildschirm, einen Berührungssensor, einen Steuerregler, eine vom Benutzer betätigbare Schaltfläche und andere Steuerelemente. Typischerweise betätigen Benutzer ein Steuerelement durch direkten Kontakt oder physisches Manipulieren. In neuerer Zeit verwenden Fahrzeuge auch Sprachbefehle, um dem Benutzer die Interaktion mit der Fahrzeug-MMS zu ermöglichen. Außerdem wurden einige erweiterte Automobilkonzepte gezeigt, die einfache Hand-/Fingergesten oder Gesten auf handschriftlicher Basis aufweisen.
Beispielsweise offenbart die US-Patentanmeldungsveröffentlichung Nr. 2009/0309765 ein System und ein Verfahren zum Verwenden von Bildern, die von einer Digitalkamera erfasst werden, um die Navigation über eine dreidimensionale Benutzerschnittstelle zu steuern.
US-Patentschrift Nr. 6,624,833 offenbart ein gestenbasiertes Eingabeschnittstellensystem mit Schattenerkennung, wobei das Eingabeschnittstellensystem eine gestenbasierte Benutzersteuerung einer Anwendung vorsieht, die auf einem Computer ausgeführt wird, indem Benutzergesten in Bildsignalen klassifiziert werden.
In US-Patentschrift Nr. 7,598,942 sind ein System und ein Verfahren zur gestenbasierten Steuerung gezeigt. Das System stellt eine gestenbasierte Schnittstelle zu verschiedenen visuellen Elementen bereit, die auf einem Anzeigebildschirm präsentiert werden.
US-Patentanmeldungsveröffentlichung Nr. 2008/0065291 offenbart ein System und ein Verfahren zum Steuern einer Komponente in einem Fahrzeug mit einem Bildempfangssystem zum Empfangen von Bildern eines Insassen des Fahrzeugs, wobei das System dazu ausgelegt ist, Gesten in den empfangenen Bildern, z. B. Handgesten, zu erkennen, und mit einem Steuersystem, das an das Bildempfangssystem gekoppelt ist, um die Komponente anhand der erkannten Gesten zu steuern.
Allerdings besteht weiterhin Bedarf an einem präzisen, berührungsfreien Mittel zum interagieren mit einer Benutzerschnittstelle in einer Fahrzeugumgebung.
Entsprechend wäre es wünschenswert, eine adaptive Benutzerschnittstelle zu entwickeln, wobei eine visuelle Ausgabe der Benutzerschnittstelle automatisch anhand eines Zeigevektors konfiguriert wird, der von einer Position eines Teils eines Körpers eines Benutzers abgeleitet wird, um eine visuelle Ausgabe hervorzuheben, die im Wesentlichen mit dem Zeigevektor übereinstimmt.
KURZDARSTELLUNG DER ERFINDUNG
Entsprechend und übereinstimmend mit der vorliegenden Erfindung wurde überraschenderweise eine adaptive Benutzerschnittstelle entdeckt, wobei eine visuelle Ausgabe der Benutzerschnittstelle automatisch anhand eines Zeigevektors konfiguriert wird, der von einer Position eines Körperteils eines Benutzers abgeleitet wird, um eine visuelle Ausgabe hervorzuheben, die im Wesentlichen mit dem Zeigevektor übereinstimmt.
In einer Ausführungsform umfasst eine adaptive Schnittstelle Folgendes: Eine Benutzerschnittstelle zum Steuern eines Fahrzeugsystems; einen Sensor zum Erkennen einer Position einer Extremität eines Benutzers und zum Erzeugen eines Sensorsignals, das die Position der Extremität darstellt; und eine Verarbeitungseinheit, die mit dem Sensor und der Benutzerschnittstelle in Kommunikation steht, wobei die Verarbeitungseinheit das Sensorsignal empfängt, das Sensorsignal anhand eines Befehlssatzes analysiert, um einen Zeigevektor des Benutzers zu bestimmen, und die Benutzerschnittstelle anhand des Zeigevektor des Benutzers konfiguriert.
In einer anderen Ausführungsform umfasst ein adaptives Schnittstellensystem Folgendes: eine Benutzerschnittstelle, die im Inneren eines Fahrzeug angeordnet ist, wobei die Benutzerschnittstelle Folgendes aufweist: eine Anzeige zum Übermitteln einer Information an einen Benutzer, die einen Zustand eines Fahrzeugsystems darstellt; einen Sensor zum Erkennen einer Position einer Extremität eines Benutzers und zum Erzeugen eines Sensorsignals, das diejenige Position der Extremität des Benutzers darstellt, die der Benutzerschnittstelle am nächsten ist; eine Speichervorrichtung zum Speichern eines Vektorknotenpunkts, der eine geschätzte Position eines Körperteils des Benutzers darstellt; und eine Verarbeitungseinheit, die mit dem Sensor, der Speichervorrichtung und der Benutzerschnittstelle in Kommunikation steht, wobei die Verarbeitungseinheit das Sensorsignal empfängt, einen Zeigevektor der Extremität des Benutzers wenigstens anhand der Position des Teils der Extremität des Benutzers, der der Benutzerschnittstelle und dem Vektorknotenpunkt am nächsten ist, bestimmt, und die Anzeige anhand des Zeigevektors der Extremität des Benutzers konfiguriert, um eine bestimmte visuelle Ausgabe zu betonen, die auf der Anzeige dargestellt wird.
Verfahren zum Konfigurieren der Anzeige werden ebenfalls offenbart.
Ein Verfahren umfasst folgende Schritte: Bereitstellen einer Benutzerschnittstelle zum Steuern eines Fahrzeugsystems; Bereitstellen eines Sensors zum Erkennen einer Position von wenigstens einem Teil einer Extremität eines Körpers eines Benutzers; Definieren eines Vektorknotenpunkts, der einer geschätzten Position eines im Voraus bestimmten Teils des Körpers des Benutzers zugeordnet ist; Bestimmen eines Zeigevektors, der von der Position der Extremität des Körpers des Benutzers und dem Knotenpunkt abgeleitet ist; und Konfigurieren der Benutzerschnittstelle anhand des Zeigevektors, um wenigstens einen Teil der Benutzerschnittstelle innerhalb eines Zeigefelds des Zeigevektors zu bezeichnen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die oben genannten sowie weitere Vorteile der vorliegenden Erfindung werden für Fachleute anhand der nachfolgenden detaillierten Beschreibung der bevorzugten Ausführungsform unter Bezugnahme auf die begleitenden Zeichnungen deutlich werden. Es zeigen:
1 eine perspektivische Teilansicht des Inneren eines Fahrzeugs, das ein adaptives Schnittstellensystem gemäß einer Ausführungsform der vorliegenden Erfindung enthält;
2 ein schematisches Blockdiagramm des Schnittstellensystems aus 1; und
3 eine Teildraufsicht auf das Innere eines Fahrzeugs, das das Schnittstellensystem aus 1 enthält, die einen Fahrer darstellt, der das Schnittstellensystem benutzt; und
4 eine Teildraufsicht auf das Innere eines Fahrzeugs, das das Schnittstellensystem aus 1 enthält, die einen Beifahrer darstellt, der das Schnittstellensystem benutzt.
DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN DER ERFINDUNG
Die nachfolgende detaillierte Beschreibung und die beiliegenden Zeichnungen beschreiben und veranschaulichen verschiedene Ausführungsformen der Erfindung. Die Beschreibung und die Zeichnungen sollen es Fachleuten ermöglichen, die Erfindung herzustellen und zu nutzen, und dienen nicht dazu, den Umfang der Erfindung in irgendeiner Weise einzuschränken. Hinsichtlich der offenbarten Verfahren sind die dargestellten Schritte rein beispielhafter Natur, weshalb die Reihenfolge der Schritte nicht notwendig oder entscheidend ist.
1–2 zeigen ein adaptives Schnittstellensystem 10 für ein Fahrzeug 11 gemäß einer Ausführungsform der vorliegenden Erfindung. Wie dargestellt, weist das Schnittstellensystem 10 einen Sensor 12, eine Verarbeitungseinheit 14 und eine Benutzerschnittstelle 16 (oder Steuervorrichtung) auf. Das Schnittstellensystem 10 kann nach Wunsch jede beliebige Zahl an Komponenten aufweisen. Das Schnittstellensystem 10 kann in jede beliebige Benutzerumgebung integriert sein.
Der Sensor 12 ist eine Benutzerverfolgungsvorrichtung, die dazu in der Lage ist, eine Position von wenigstens einem Teil eines Körpers des Benutzers zu erkennen. Als nicht einschränkendes Beispiel erkennt der Sensor 12 eine Position einer Extremität (z. B. einer Fingerspitze, einer Hand, eines Arms usw.) eines Benutzers.
In bestimmten Ausführungsformen ist der Sensor 12 eine CMOS-(complementary metal-oxide-semiconductor, komplementärer Metalloxidhalbleiter)-Kamera zum Erfassen eines Bildes von wenigstens einem Teil eines Arms (z. B. einer Hand, eines Fingers und dergleichen) des Benutzers und zum Erzeugen eines Sensorsignals, das das erfasste Bild darstellt. Allerdings versteht es sich, dass auch andere Kameras und Bilderfassungsvorrichtungen benutzt werden können. Es versteht sich ferner, dass auch andere Sensoren (z. B. unabhängig von oder gepaart mit einem Kamerasensor) benutzt werden können, beispielsweise ein Infrarotsensor oder ein projiziert kapazitiver Sensor 12', der in die Benutzerschnittstelle 16 integriert ist.
In bestimmten Ausführungsformen ist eine Strahlungsenergiequelle 18 angeordnet, um wenigstens einen Teil einer Extremität des Benutzers zu beleuchten. Als nicht einschränkendes Beispiel kann die Strahlungsenergiequelle 18 eine Infrarotlicht emittierende Diode sein. Allerdings können auch andere Strahlungsenergiequellen benutzt werden.
Bei der Verarbeitungseinheit 14 kann es sich um jede beliebige Vorrichtung oder jedes beliebige System handeln, die bzw. das dazu ausgelegt ist, ein Eingangssignal (z. B. das Sensorsignal) zu empfangen, das Eingangssignal zu analysieren und die Benutzerschnittstelle 16 in Reaktion auf die Analyse des Eingangssignals zu konfigurieren. In bestimmten Ausführungsformen ist die Verarbeitungseinheit 14 ein Mikrocomputer. In der dargestellten Ausführungsform empfängt die Verarbeitungseinheit 14 das Eingangssignal von wenigstens einem der Sensoren 12, 12' und eine vom Benutzer bereitgestellte Eingabe über die Benutzerschnittstelle 16.
Wie dargestellt, analysiert die Verarbeitungseinheit 14 das Eingangssignal anhand eines Befehlssatzes 20. Der Befehlssatz 20, der in jedem beliebigen computerlesbaren Medium verkörpert sein kann, enthält von Verarbeitungseinheiten ausführbare Befehle zum Konfigurieren der Verarbeitungseinheit 14 für die Ausführung verschiedener Aufgaben. Die Verarbeitungseinheit 14 kann verschiedene Funktionen ausführen, beispielsweise das Steuern des Betriebs des Sensors 12, 12' und der Benutzerschnittstelle 16. Es versteht sich, dass verschiedene Algorithmen und Software benutzt werden können, um ein Bild einer Extremität des Benutzers zu analysieren und einen Zeigevektor 21 zu bestimmen, der wenigstens eine Zeigerichtung der Extremität des Benutzers darstellt.
Als nicht einschränkendes Beispiel ist der Befehlssatz 20 ein Lernalgorithmus, der dazu ausgelegt ist, den Zeigevektor einer Extremität eines Benutzers anhand der Informationen zu bestimmen, die von der Verarbeitungseinheit 14 (z. B. über das Sensorsignal) empfangen werden. Als weiteres nicht einschränkendes Beispiel bestimmt die Verarbeitungseinheit 14 anhand des Zeigevektors 21 der Extremität des Benutzers ein Zeigefeld 22 (d. h. ein Bezeichnungsfeld), wobei das Zeigefeld 22 durch einen vorbestimmten Gradbereich (z. B. +/– fünf Grad) der Abweichung von Zeigevektor 21 definiert ist. Es versteht sich, dass jeder beliebige Gradbereich relativ zum berechneten Zeigevektor 21 zum Definieren des Zeigefelds 22 benutzt werden kann.
In bestimmten Ausführungsformen weist die Verarbeitungseinheit 14 eine Speichervorrichtung 23 auf. Bei der Speichervorrichtung 23 kann es sich um eine einzelne Speichervorrichtung oder um eine Vielzahl an Speichervorrichtungen handeln. Ferner kann es sich bei der Speichervorrichtung 23 um ein Festkörperspeichersystem, ein Magnetspeichersystem, ein optisches Speichersystem oder jedes andere geeignete Speichersystem oder jede andere geeignete Speichervorrichtung handeln. Es versteht sich, dass die Speichervorrichtung 23 dazu ausgelegt sein kann, den Befehlssatz 20 zu speichern. Auch andere Daten und Informationen können in der Speichervorrichtung 23 gespeichert und katalogisiert sein, z. B. die Daten, die vom Sensor 12, 12' und der Benutzerschnittstelle 16 erfasst werden, der berechnete Zeigevektor 21 und das Zeigefeld 22. In bestimmten Ausführungsformen kann ein im Voraus definierter Vektorknotenpunkt 24, der eine Position eines Teils eines Körpers des Benutzers darstellt, berechnet und zum späteren Abrufen auf der Speichervorrichtung 23 gespeichert werden. Es versteht sich, dass eine beliebige Anzahl von Vektorknotenpunkten 24 berechnet und gespeichert werden kann, um den Zeigevektor 21 zu bestimmen. Es versteht sich ferner, dass jeder einzelne Vektorknotenpunkt 24 einen beliebigen Teil des Körpers des Benutzers darstellen kann.
Die Verarbeitungseinheit 14 kann ferner eine programmierbare Komponente 25 aufweisen. Es versteht sich, dass die programmierbare Komponente 25 in Kommunikation mit jeder beliebigen anderen Komponente des Schnittstellensystems stehen kann, beispielsweise mit dem Sensor 12, 12' und der Benutzerschnittstelle 16. In bestimmten Ausführungsformen ist die programmierbare Komponente 25 dazu ausgelegt, Verarbeitungsfunktionen der Verarbeitungseinheit 14 zu verwalten und zu steuern. Insbesondere ist die programmierbare Komponente 25 dazu ausgelegt, den Befehlssatz 20 zu modifizieren und die Analyse der Signale und Informationen zu steuern, die von der Verarbeitungseinheit 14 empfangen werden. Es versteht sich, dass die programmierbare Komponente 25 dazu ausgelegt sein kann, den Sensor 12 und die Benutzerschnittstelle 16 zu verwalten und zu steuern. Es versteht sich ferner, dass die programmierbare Komponente 25 dazu ausgelegt sein kann, Daten und Informationen auf der Speichervorrichtung 23 zu speichern und Daten und Informationen von der Speichervorrichtung 23 abzurufen.
Die Benutzerschnittstelle 16 kann jede beliebige Vorrichtung oder Komponente (z. B. Schaltflächen, Berührungsbildschirme, Regler und dergleichen) zum Steuern einer Funktion im Zusammenhang mit dem Fahrzeug 11 aufweisen. Es versteht sich, dass die Benutzerschnittstelle 16 als eine einzelne Vorrichtung wie z. B. eine Schaltfläche oder eine Steuervorrichtung definiert sein kann. Es versteht sich ferner, dass die Benutzerschnittstelle 16 an verschiedenen Positionen im Fahrzeug 11 angeordnet sein kann.
Wie dargestellt, weist die Benutzerschnittstelle 16 eine Anzeige 26 zum Präsentieren einer sichtbaren Ausgabe an den Benutzer auf. Es versteht sich, dass jede beliebige Anzahl von Anzeigen 26 benutzt werden kann. Es versteht sich ferner, dass jede Art von Anzeige benutzt werden kann, beispielsweise eine zweidimensionale Anzeige, eine dreidimensionale Anzeige, ein Berührungsbildschirm und dergleichen.
In der gezeigten Ausführungsform ist die Anzeige 26 eine berührungsempfindliche Anzeige (d. h. ein Berührungsbildschirm), auf dem mehrere vom Benutzer betätigbare Schaltflächen 28 präsentiert werden. Die Schaltflächen 28 sind einer ausführbaren Funktion eines Fahrzeugsystems 30 zugeordnet, beispielsweise eines Navigationssystems, eines Radios, einer Kommunikationsvorrichtung, die dazu ausgelegt ist, eine Verbindung zum Internet herzustellen, und eines Klimatisierungssystems. Allerdings kann den vom Benutzer betätigbaren Schaltflächen 28 jedes beliebige Fahrzeugsystem zugeordnet sein. Es versteht sich ferner, dass die Schaltflächen 28 in jeder beliebigen Anzahl vorgesehen und an verschiedenen Positionen im Fahrzeug angeordnet sein können, z. B. an einem Lenkrad oder einer Konsole.
Im Betrieb interagiert der Benutzer berührungsfrei mit dem Schnittstellensystem 10. Die Verarbeitungseinheit 14 empfängt fortlaufend die Eingangssignale (z. B. das Sensorsignal) und Informationen zur Position des Benutzers. Die Verarbeitungseinheit 14 analysiert das Eingangssignal und die Informationen anhand des Befehlssatzes 20, um den Zeigevektor 21 des Benutzers zu bestimmen und in Reaktion auf den Zeigevektor 21 eine personalisierte Konfiguration (oder Aktivierung) der Benutzerschnittstelle 16 zu erzeugen. Es versteht sich, dass der Benutzer mit einer der vom Benutzer betätigbaren Schaltflächen 28, die in die Anzeige 26 integriert sind oder an verschiedenen Positionen im Fahrzeug 11 (z. B. an einem Lenkrad, einem Armaturenbrett, einer Konsole oder einer Mittelkonsole) angeordnet sind, (berührungsfrei) interagieren kann.
Als nicht einschränkendes Beispiel wird wenigstens ein Bild einer Extremität des Benutzers erfasst. Das Bild wird über das Sensorsignal an die Verarbeitungseinheit 14 ausgegeben, um den Zeigevektor 21 zu berechnen. Als weiteres nicht einschränkendes Beispiel kann der projiziert kapazitive Sensor 12' benutzt werden, um das Vorhandensein der Extremität des Körpers des Benutzers innerhalb einer Messzone des Sensors 12' zu erkennen. Die vom Sensor 12 gesammelten Informationen werden über das Sensorsignal an die Verarbeitungseinheit 14 ausgegeben, um den Zeigevektor 21 zu berechnen.
Die Verarbeitungseinheit 14 analysiert das Eingangssignal (z. B. das Sensorsignal), um eine Position der Extremität (z. B. Finger, Hand, Arm) des Benutzers relativ zur Benutzerschnittstelle 16 zu bestimmen. Als nicht einschränkendes Beispiel werden die Bilddaten, die von dem Sensorsignal dargestellt werden, von der Verarbeitungseinheit 14 analysiert, um die Extremität innerhalb des erfassten Bildes zu definieren. In bestimmten Ausführungsformen werden die Pixel des erfassten Bildes analysiert (z. B. Schwellenwertanalyse), um eine Umfangskante der Extremität des Benutzers zu definieren.
Sobald die Extremität im Bild definiert wurde, kann eine relative Position eines Teils (z. B. Fingerspitze) der Extremität des Benutzers, der der Benutzerschnittstelle 16 am nächsten ist, bestimmt werden. Es versteht sich, dass die Position der Extremität relativ zur Benutzerschnittstelle 16 anhand einer bekannten Position der Benutzerschnittstelle 16 oder anhand weiterer Bildverarbeitungstechniken berechnet werden kann, die im Stand der Technik bekannt sind. Es versteht sich ferner, dass der projiziert kapazitive Sensor 12' die Extremität des Benutzers an einer gemessenen Störung des Kapazitätsmessbereichs des Sensors 12' lokalisieren kann, wie im Stand der Technik bekannt ist. Ein Fachmann wird verstehen, dass auch andere Sensoren und Positionsbestimmungstechniken benutzt werden können.
Die relative Position des Teils der Extremität des Benutzers, der der Benutzerschnittstelle 16 am nächsten ist, wird als einer der Vektorknotenpunkte 24 gespeichert. Es versteht sich, dass verschiedene Teile der Extremität des Benutzers durch Vektorknotenpunkte 24 bezeichnet und gespeichert werden können. Als nicht einschränkendes Beispiel wird eine Position einer Schulter des Benutzers unabhängig geschätzt und als ein weiterer Vektorknotenpunkt 24 gespeichert. Es versteht sich, dass eine Position jedes beliebigen Teils des Körpers des Benutzers geschätzt werden kann. Allerdings wurden zufriedenstellende Ergebnisse erzielt, wenn die Position eines relativ statischen Teils (z. B. Schulter, Hüfte usw.) des Körpers des Benutzers geschätzt wurde, während sich der Benutzer im Fahrzeug 11 befand.
Die Verarbeitungseinheit 14 kann dann den Zeigevektor 21 berechnen, indem sie auf wenigstens zwei der Vektorknotenpunkte 24 ein Ausgleichsgeradenalgorithmus anwendet. Es versteht sich, dass die Verarbeitungseinheit 14 anhand der Analyse des Eingangssignals eine Vielzahl von Vektorknotenpunkten 24 erzeugen kann. Es versteht sich ferner, dass verschiedene Ausgleichsgeradenalgorithmen benutzt werden können, um den Zeigevektor 21 „passend” über die Vektorknotenpunkte 24 zu legen.
Sobald der Zeigevektor 21 erzeugt wurde, simuliert die Verarbeitungseinheit 14 eine Verlängerung des Zeigevektors 21 in Richtung der Benutzerschnittstelle 16 (oder jeder beliebigen anderen Komponente, die mit der Verarbeitungseinheit 14 in Kommunikation steht, z. B. einer der vom Benutzer betätigbaren Schaltflächen 28). Der Teil der Benutzerschnittstelle 16 (oder anderen Komponente, z. B. vom Benutzer betätigbare Schaltflächen 28), der den Zeigevektor 21 schneidet, stellt eine Mitte des Zeigefelds 22 dar. Ein Toleranzbereich um den Mittelpunkt des Zeigefelds 22 kann durch im Voraus definierte Einstellungen der Verarbeitungseinheit 14 und des Befehlssatzes 20 definiert werden.
Anhand des Zeigevektors 21 des Benutzers wird die Benutzerschnittstelle 16 automatisch von der Verarbeitungseinheit 14 konfiguriert. Als nicht einschränkendes Beispiel konfiguriert die Verarbeitungseinheit 14 in Reaktion auf die erkannte Position der Hand des Benutzers und den berechneten Zeigevektor 21 automatisch die visuelle Ausgabe, die auf der Anzeige 26 präsentiert wird. Als weiteres nicht einschränkendes Beispiel konfiguriert die Verarbeitungseinheit 14 anhand des Zeigevektors 21 des Benutzers eine ausführbare Funktion, die der Benutzerschnittstelle 16 (z. B. der Schaltfläche 28) zugeordnet ist. Es versteht sich, dass die Verarbeitungseinheit 14 eine der vom Benutzer betätigbaren Schaltflächen 28 (oder eine andere Steuervorrichtung) konfigurieren (z. B. bezeichnen) kann, die innerhalb des Zeigefelds 22 des berechneten Zeigevektors 21 liegt. Es versteht sich ferner, dass der Benutzer nach dem Bezeichnen der vom Benutzer betätigbaren Schaltfläche 28 (oder Steuervorrichtung) die Schaltfläche 28 auslösen kann, um eine dieser zugeordnete Funktion auszuführen.
3 und 4 zeigen Beispiele einer personalisierten Konfiguration (d. h. Bezeichnung). Wie in 3 gezeigt, zeigt der Benutzer (z. B. ein Fahrer des Fahrzeugs 11) auf eine mittlere der vom Benutzer betätigbaren Schaltflächen 28, und wenigstens einer der Sensoren 12, 12' erkennt die Extremität des Benutzers innerhalb einer Messzone. Ein Teil der Extremität des Benutzers, der der Benutzerschnittstelle 16 am nächsten ist, wird als einer der Vektorknotenpunkte 24 gespeichert. Außerdem wird eine Position einer Schulter des Benutzers geschätzt und als ein weiterer Vektorknotenpunkt 24 gespeichert. Die Verarbeitungseinheit 14 kann dann den Zeigevektor 21 berechnen, indem sie auf wenigstens zwei der Vektorknotenpunkte 24 ein Ausgleichsgeradenalgorithmus anwendet. Die Verarbeitungseinheit 14 simuliert eine Verlängerung des Zeigevektors 21 in Richtung der Benutzerschnittstelle 16. Der Teil der Benutzerschnittstelle 16, der den Zeigevektor 21 schneidet, stellt eine Mitte des Zeigefelds 22 dar.
Wie dargestellt, liegt die mittlere der Schaltflächen 28 im Zeigefeld 22 und wird damit zu der bezeichneten Schaltfläche 28'. Beispielsweise kann die bezeichnete Schaltfläche 28' stärker beleuchtet werden als die nicht bezeichneten Schaltflächen 28. Als weiteres Beispiel kann die bezeichnete Schaltfläche 28 relativ zur Größe der nicht bezeichneten Schaltflächen 28 auf der Anzeige 26 vergrößert werden. Als weiteres nicht einschränkendes Beispiel wird die bezeichnete Schaltfläche 28' von einer dedizierten Lichtquelle (nicht dargestellt) beleuchtet, um einen Bezeichnungszustand (d. h. eine Konfiguration) anzuzeigen. In bestimmten Ausführungsformen wird auf der Anzeige 26 im Zeigefeld 22 ein visuelles Symbol (nicht dargestellt) oder ein Zeiger präsentiert, um dem Benutzer einen visuellen Hinweise zur Position des Zeigefelds 22 zu liefern.
Wie in 4 gezeigt, zeigt der Benutzer (z. B. ein Beifahrer im Fahrzeug 11) auf eine rechte der vom Benutzer betätigbaren Schaltflächen 28, und wenigstens einer der Sensoren 12, 12' erkennt die Extremität des Benutzers innerhalb einer Messzone. Verschiedenen Teilen der erkannten Extremität des Benutzers werden mehrere Vektorknotenpunkte 24 zugewiesen. Die Verarbeitungseinheit 14 kann dann den Zeigevektor 21 berechnen, indem sie auf wenigstens zwei der Vektorknotenpunkte 24 ein Ausgleichsgeradenalgorithmus anwendet. Die Verarbeitungseinheit 14 simuliert eine Verlängerung des Zeigevektors 21 in Richtung der Benutzerschnittstelle 16. Der Teil der Benutzerschnittstelle 16, der den Zeigevektor 21 schneidet, stellt eine Mitte des Zeigefelds 22 dar.
Wie dargestellt, liegt die mittlere der Schaltflächen 28 im Zeigefeld 22 und wird zur bezeichneten Schaltfläche 28'. Beispielsweise kann die bezeichnete Schaltfläche 28 stärker beleuchtet werden als die nicht bezeichneten Schaltflächen 28. Als weiteres Beispiel kann die bezeichnete Schaltfläche 28' relativ zur Größe der nicht bezeichneten Schaltflächen 28 auf der Anzeige 26 vergrößert werden. Als weiteres nicht einschränkendes Beispiel wird die bezeichnete Schaltfläche 28' von einer dedizierten Lichtquelle (nicht dargestellt) beleuchtet, um einen Bezeichnungszustand (d. h. eine Konfiguration) anzuzeigen. In bestimmten Ausführungsformen wird auf der Anzeige 26 im Zeigefeld 22 ein visuelles Symbol (nicht dargestellt) oder ein Zeiger präsentiert, um dem Benutzer einen visuellen Hinweise zur Position des Zeigefelds 22 zu liefern.
In bestimmten Ausführungsformen wird nur die visuelle Ausgabe im Zeigefeld 22 des Benutzers vollständig beleuchtet, während die visuelle Ausgabe außerhalb des Zeigefelds 22 gedämpft beleuchtet oder unsichtbar gemacht wird. Wenn sich der Zeigevektor 21 des Benutzers verändert, wird die Benutzerschnittstelle 16 automatisch dazu konfiguriert, die visuelle Ausgabe der Anzeige 26 im Zeigefeld 22 des Benutzers hervorzuheben oder zu betonen. Es versteht sich, dass jede beliebige visuelle Ausgabe der Benutzerschnittstelle 16 in ähnlicher Weise wie die bezeichneten Schaltflächen 28' des oben stehenden Beispiels konfiguriert werden kann. Es versteht sich ferner, dass abhängig von einem beliebigen Grad der Veränderung zum Zeigevektor 21 des Benutzers verschiedene Konfigurationen der Benutzerschnittstelle 16 benutzt werden können. Es versteht sich ferner, dass jede beliebige Benutzerschnittstelle, Schaltfläche oder Steuervorrichtung (z. B. Klimaregelung, Radiosteuerung) im Zeigefeld 22 bezeichnet werden kann, damit der Benutzer eine dieser zugeordnete Funktion auf berührungsfreie Art und Weise ausführen kann.
Sobald wenigstens ein Teil der Benutzerschnittstelle 16 (oder anderen Komponente, z. B. vom Benutzer betätigbare Schaltflächen 28) bezeichnet (hervorgehoben, betont) wurde, kann der Benutzer den bezeichneten Teil (z. B. Schaltfläche 28') auf berührungsfreie Weise betätigen, indem er eine im Voraus definierte Geste mit der Extremität des Körpers des Benutzers ausführt. Beispielsweise kann der Benutzer mit einem Finger das Betätigen eines Abzugs simulieren, um die bezeichnete Schaltfläche 28' zu „betätigen”. Die im Voraus definierten Gesten können in Kombination mit anderen Steuerelementen wie z. B. einem Sprachbefehl oder einer physischen Betätigung (z. B. Drücken einer Taste am Lenkrad) benutzt werden, um einen Befehl auszulösen. In bestimmten Ausführungsformen wird ein Benutzer (z. B. Fahrzeugpassagier) aus bestimmten Komponenten und vom Benutzer betätigbaren Schaltflächen 28 wie z. B. Steuerelementen für Scheinwerfer und Warnlichter ausgesperrt.
Es versteht sich, dass der Benutzer die Konfiguration der Benutzerschnittstelle 16 und der diesen zugeordneten Funktionen manuell modifizieren kann. Es versteht sich ferner, dass das Schnittstellensystem 10 eine selektive Steuerung der automatischen Konfiguration der Benutzerschnittstelle bereitstellen kann. Beispielsweise kann die Benutzerschnittstelle 16 stets zur Standardkonfiguration zurückkehren, es sei denn, der Benutzer leitet einen Zeigemodus oder einen berührungsfreien Modus ein, wobei die Benutzerschnittstelle 16 automatisch auf die personalisierte Konfiguration konfiguriert wird, die dem Zeigevektor 21 eines Benutzers zugeordnet ist.
Das Schnittstellensystem 10 und Verfahren zum Konfigurieren der Benutzerschnittstelle 16 stellen eine Echtzeitpersonalisierung der Benutzerschnittstelle 16 anhand der Position des Benutzers und des berechneten Zeigevektors 21 bereit, wodurch die Aufmerksamkeit des Benutzers auf denjenigen Teil der Benutzerschnittstelle 16 im Zeigefeld 22 gelenkt wird, während Ablenkungen durch visuelle Ausgaben, denen die Aufmerksamkeit nicht gilt, minimiert werden.
Anhand der vorstehenden Beschreibung wird sich ein Durchschnittsfachmann ohne Weiteres von den wesentlichen Merkmalen dieser Erfindung überzeugen und verschiedene Änderungen und Modifikationen an der Erfindung vornehmen können, um sie an verschiedene Verwendungen und Bedingungen anzupassen, ohne vom Geist und Umfang der Erfindung abzuweichen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 6624833 [0004]
US 7598942 [0005]

Claims

Adaptives Schnittstellensystem, umfassend: eine Benutzerschnittstelle zum Steuern eines Fahrzeugsystems; einen Sensor zum Erkennen einer Position einer Extremität eines Benutzers und zum Erzeugen eines Sensorsignals, das die Position der Extremität darstellt; und eine Verarbeitungseinheit, die mit dem Sensor in Kommunikation steht, wobei die Verarbeitungseinheit das Sensorsignal empfängt, das Sensorsignal anhand eines Befehlssatzes analysiert, um einen Zeigevektor des Benutzers zu bestimmen, und die Benutzerschnittstelle anhand des Zeigevektor des Benutzers konfiguriert.
Schnittstellensystem nach Anspruch 1, wobei die Benutzerschnittstelle eine vom Benutzer betätigbare Schaltfläche aufweist, die einer ausführbaren Funktion des Fahrzeugsystems zugeordnet ist.
Schnittstellensystem nach Anspruch 1, wobei die Benutzerschnittstelle im Inneren eines Fahrzeugs angeordnet ist.
Schnittstellensystem nach Anspruch 1, wobei der Sensor eine Verfolgungsvorrichtung zum Erfassen eines Bildes von wenigstens einer Extremität des Benutzers ist.
Schnittstellensystem nach Anspruch 1, wobei der Sensor ein projiziert kapazitiver Sensor ist.
Schnittstellensystem nach Anspruch 1, wobei der Sensor in die Benutzerschnittstelle integriert ist, um die Position der Extremität des Benutzers relativ zu der Benutzerschnittstelle zu erkennen.
Schnittstellensystem nach Anspruch 1, wobei der Befehlssatz ein Algorithmus zum Bestimmen einer Position der Extremität des Benutzers relativ zu der Benutzerschnittstelle ist.
Schnittstellensystem nach Anspruch 1, wobei der Befehlssatz ein Algorithmus zum Bestimmen des Zeigevektors anhand der Position der Extremität des Benutzers relativ zu der Benutzerschnittstelle und einer geschätzten Position eines anderen Teils des Körpers des Benutzers ist.
Schnittstellensystem nach Anspruch 1, wobei die Extremität wenigstens eins von einem Finger, einer Hand und einem Arm des Benutzers ist.
Schnittstellensystem nach Anspruch 1, ferner umfassend eine Quelle elektromagnetischer Strahlung, die wenigstens einen Teil des Benutzers zu beleuchtet, um das Erkennen der Position der Extremität des Benutzers zu ermöglichen.
Adaptives Schnittstellensystem für ein Fahrzeug, umfassend: eine Benutzerschnittstelle, die im Inneren des Fahrzeugs angeordnet ist, wobei die Benutzerschnittstelle eine Anzeige zum Übermitteln einer Information an einen Benutzer aufweist, die einen Zustand eines Fahrzeugsystems darstellt; einen Sensor zum Erkennen einer Position einer Extremität eines Benutzers und zum Erzeugen eines Sensorsignals, das die Position eines Teils der Extremität des Benutzers darstellt, der der Benutzerschnittstelle am nächsten ist; eine Speichervorrichtung zum Speichern eines Vektorknotenpunkts, der eine geschätzte Position eines Körperteils des Benutzers darstellt; und eine Verarbeitungseinheit, die mit dem Sensor, der Speichervorrichtung und der Benutzerschnittstelle in Kommunikation steht, wobei die Verarbeitungseinheit das Sensorsignal empfängt, einen Zeigevektor der Extremität des Benutzers wenigstens anhand der Position des Teils der Extremität des Benutzers, der der Benutzerschnittstelle und dem Vektorknotenpunkt am nächsten ist, bestimmt, und die Anzeige anhand des Zeigevektors der Extremität des Benutzers konfiguriert, um eine bestimmte visuelle Ausgabe zu betonen, die auf der Anzeige dargestellt wird.
Schnittstellensystem nach Anspruch 11, wobei der Sensor eine Verfolgungsvorrichtung zum Erfassen eines Bildes von wenigstens einer Extremität des Benutzers ist.
Schnittstellensystem nach Anspruch 11, wobei der Sensor ein projiziert kapazitiver Sensor ist.
Schnittstellensystem nach Anspruch 11, wobei der Sensor in die Benutzerschnittstelle integriert ist, um die Position des Teils der Extremität des Benutzers relativ zu der Benutzerschnittstelle zu erkennen.
Schnittstellensystem nach Anspruch 11, wobei die Verarbeitungseinheit den Zeigevektor durch Berechnen einer Ausgleichsgeraden anhand der Position des Teils der Extremität des Benutzers, der der Benutzerschnittstelle und dem Vektorknotenpunkt am nächsten ist, bestimmt.
Schnittstellensystem nach Anspruch 11, wobei die Extremität wenigstens eins von einem Finger, einer Hand und einem Arm des Benutzers ist.
Schnittstellensystem nach Anspruch 11, wobei die Verarbeitungseinheit die Anzeige anhand des Zeigevektors der Extremität des Benutzers konfiguriert, um einen Teil der visuellen Ausgabe innerhalb eines Zeigefelds des Benutzers hervorzuheben.
Verfahren zum Konfigurieren einer Anzeige, wobei das Verfahren folgende Schritte umfasst: Bereitstellen einer Benutzerschnittstelle zum Steuern eines Fahrzeugsystems; Bereitstellen eines Sensors zum Erkennen einer Position von wenigstens einem Teil einer Extremität eines Körpers eines Benutzers; Definieren eines Vektorknotenpunkts, der einer geschätzten Position eines im Voraus bestimmten Teils des Körpers des Benutzers zugeordnet ist; Bestimmen eines Zeigevektors, der von der Position der Extremität des Körpers des Benutzers und dem Knotenpunkt abgeleitet ist; und Konfigurieren der Benutzerschnittstelle anhand des Zeigevektors, um wenigstens einen Teil der Benutzerschnittstelle innerhalb eines Zeigefelds des Zeigevektors zu bezeichnen.
Verfahren nach Anspruch 18, wobei der Vektorknotenpunkt einen Teil des Körpers des Benutzers darstellt, der im Wesentlichen statisch relativ zur Benutzerschnittstelle ist, während der Benutzer mit der Benutzerschnittstelle interagiert.
Verfahren nach Anspruch 18, wobei der Schritt zum Bestimmen eines Zeigevektors ein Berechnen einer Ausgleichsgeraden anhand der Position des Teils der Extremität des Benutzers, der der Benutzerschnittstelle und dem Vektorknotenpunkt am nächsten ist, umfasst.