DE60124549T2

DE60124549T2 - Kamerabasiertes beruehrungssystem

Info

Publication number: DE60124549T2
Application number: DE60124549T
Authority: DE
Inventors: Gerald Calgary MORRISON; David Calgary HOLMGREN
Original assignee: Smart Technologies ULC
Current assignee: Smart Technologies ULC
Priority date: 2000-07-05
Filing date: 2001-07-05
Publication date: 2007-09-06
Anticipated expiration: 2021-07-06
Also published as: EP1739529A1; DE60140909D1; ES2396587T3; EP1739528A1; AU2001272250A1; US20050077452A1; EP1739529B1; JP2004502261A; CA2412878C; ATE453147T1; CN1440539A; EP1739528B1; ATE490501T1; EP1297488A1; US20100188370A1; ES2279823T3; ATE345525T1; DE60143592D1; CN1310126C; ES2340945T3

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich allgemein auf Berührungssysteme, insbesondere auf ein Berührungssystem auf Kamerabasis.
Technischer Hintergrund
Berührungssysteme sind durch den Stand der Technik bekannt und umfassen üblicherweise einen Berührungsbildschirm, der eine Berührungsfläche hat, auf welcher Kontakte ausgebildet sind, wobei ein Zeiger verwendet wird, um eine Benutzereingabe zu erzeugen. Zeigerkontakte mit der Berührungsfläche werden ermittelt und verwendet, um ein entsprechendes Ausgangssignal in Abhängigkeit von den Bereichen der Berührungsfläche zu erzeugen, wo die Kontakte gebildet werden. Es gibt grundsätzlich zwei allgemeine Arten von Berührungssystemen, die verfügbar sind, die allgemein als "aktive" Berührungssysteme und als "passive" Berührungssysteme klassifiziert werden können.
Aktive Berührungssysteme erlauben es einem Benutzer, eine Benutzereingabe zu erzeugen, wobei die Berührungsfläche mit einem speziellen Zeiger kontaktiert wird, der üblicherweise irgendeine Form einer auf einer Leitplatte befindlichen Spannungsquelle erfordert, üblicherweise Batterien. Der Spezialzeiger emittiert Signale, beispielsweise Infrarotlicht, sichtbares Licht, Ultraschallfrequenzen, elektro-magnetische Frequenzen usw., welche die Berührungsfläche aktivieren.
Passive Berührungssysteme erlauben es einem Benutzer, eine Benutzereingabe zu erzeugen, wobei die Berührungsfläche mit einem passiven Zeiger kontaktiert wird und erfordern nicht die Verwendung eines Spezialzeigers, um die Berührungsfläche zu aktivieren. Ein passiver Zeiger kann ein Finger, ein Zylinder aus irgendeinem Material oder irgendein geeignetes Objekt sein, welches verwendet werden kann, einen bestimmten Bereich von Interesse auf der Berührungsfläche zu kontaktieren.
Passive Berührungssysteme liefern Vorteile gegenüber aktiven Berührungssystemen dahingehend, dass irgendeine geeignete Zeigereinrichtung, einschließlich Finger eines Benutzers, als Zeiger verwendet werden können, um die Berührungsfläche zu kontaktieren. Als Ergebnis kann die Benutzereingabe leicht erzeugt werden. Da außerdem spezielle aktive Zeiger bei passiven Berührungssystemen nicht erforderlich sind, gehen Batteriespannungspegel und/oder Zeigerbeschädigung, Diebstahl oder Zeigerversatz die Benutzer nichts an.
Passive Berührungssysteme haben eine Anzahl von Anwendungen, die sich auf Computerbetrieb und Videoanzeige beziehen. Bei einer interaktiven Anwendung beispielsweise, wie in der US-PS 5 448 263 (Martin) offenbart ist, die dem Anmelder der vorliegenden Erfindung zugeteilt ist, wird ein passives Berührungssystem mit einem Computer gekoppelt, und die Computeranzeige wird auf der Berührungsfläche des Berührungsbildschirms dargestellt. Die Koordinaten entsprechend speziellen Stellen auf dem Berührungsbildschirm werden auf der Computeranzeige abgebildet. Wenn ein Benutzer die Berührungsfläche kontaktiert, werden die Koordinaten der Kontaktperson zurück zum Computer geführt und auf der Computeranzeige abgebildet, um es dem Benutzer zu erlauben, den Computer in einer Weise ähnlich zu betreiben, wie eine Computermaus verwendet wird, indem lediglich die Berührungsfläche kontaktiert wird. Die Koordinaten, welche zum Computer zurückgeführt werden, können außerdem bei einer Anwendung aufgezeichnet werden und zu einer späteren Zeit wieder angezeigt werden. Das Aufzeichnen von Kontaktkoordinaten wird üblicherweise durchgeführt, wenn gewünscht wird, Information aufzuzeichnen, welche durch den Benutzer auf die Berührungsfläche geschrieben oder gezeichnet wird.
Die Auflösung eines passiven Berührungsbildschirms bestimmt, ob das Berührungssystem zum Aufzeichnen von Information geeignet ist, welche auf den Berührungsbildschirm geschrieben oder gezeichnet ist, oder lediglich nützlich ist, um Bereiche auf dem Bildschirm auszuwählen, welche auf Bereiche auf dem Computer oder der Videoanzeige abgebildet werden, um den Computer oder die Videoanzeige zu handhaben. Die Auflösung wird üblicherweise in Bildpunkten pro Zoll (DPI) gemessen. DPI ist auf die Größe des Bildschirms bezogen und auf die Abtastfähigkeit der Hardware und Software des Berührungssystems, das verwendet wird, Kontakte auf der Berührungsfläche zu ermitteln.
Passive Berührungsbildschirme niedriger Auflösung haben lediglich genug Bildpunkte pro Zoll, um Kontakte auf der Berührungsfläche innerhalb einer großen Gruppe von Pixeln zu ermitteln, welche durch den Computer oder die Videoanzeige angezeigt werden. Daher sind diese passiven Berührungsbildschirme niedriger Auflösung lediglich zum Handhaben des Computers oder der Videoanzeige nützlich.
Dagegen haben hochauflösende passive Berührungsbildschirme genügend Bildpunkte pro Zoll, um Kontakte zu ermitteln, die proportional zu einer kleinen Anzahl von Pixeln oder Sub-Pixeln des Computers oder der Videoanzeige sind. Ein Erfordernis für hochauflösende Berührungsbildschirme ist jedoch die Fähigkeit zu ermitteln, wenn der Zeiger in Kontakt mit der Berührungsfläche ist. Dies ist zum Schreiben, Zeichnen, für Maus-Klick-Betätigungen usw. notwendig. Ohne die Fähigkeit, den Zeigerkontakt mit dem Berührungsbildschirm zu ermitteln, würde das Schreiben und Zeichnen ein unaufhörlicher Betrieb sein, und Maus-Klicks würden nicht möglich sein, wodurch eine Computeranzeigehandhabung virtuell unmöglich wäre. Ein zweites Erfordernis ist die Fähigkeit, zu ermitteln, wenn der Zeiger über der Berührungsfläche "schwebt". Obwohl für das Schreiben oder Zeichnen nicht erforderlich, verwenden heutige Computerbetriebssysteme zunehmend schwebende Information, um Computer- oder Videoanzeigen oder pop-up-Informationsboxen zu handhaben.
Passive Berührungsbildschirme sind üblicherweise in Art eines analogen Widerstands, einer akustischen Oberflächenwelle (SAW) oder kapazitiv. Unglücklicherweise leiden jedoch diese Berührungsbildschirme an einer Anzahl von Problemen oder Nachteilen, die beschrieben werden.
Analoge Widerstandsbildschirme haben üblicherweise eine hohe Auflösung. In Abhängigkeit von der Komplexität des Berührungssystems kann die Auflösung des Berührungsbildschirms 4096 × 4096 DPI oder höher erzeugen. Analoge Widerstandsbildschirme sind so aufgebaut, dass zwei flexible Folien verwendet werden, welche mit einem Widerstandsmaterial überzogen sind und sandwichartig angeordnet sind. Diese Folien kommen nicht miteinander in Kontakt, bis ein Kontakt ausgeführt wird. Die Folien werden üblicherweise durch isolierende Mikrodots oder durch einen isolierten Zwischenraum getrennt gehalten. Die Folien werden aus ITO hergestellt, welches am meisten transparent ist. Somit bringt der Berührungsbildschirm eine gewisse Bildverzerrung, jedoch sehr geringe Parallaxe ein.
Während des Betriebs eines analogen passiven Widerstandsbildschirms wird ein gleichförmiger Spannungsgradient in einer Richtung längs einer ersten der Folien angelegt. Die zweite Folie misst die Spannung längs der ersten Folie, wenn die beiden Folien einander kontaktieren, als Ergebnis eines Kontaktes, der auf der Berührungsfläche ausgeführt wird. Da der Spannungsgradient der ersten Folie auf den Abstand längs der ersten Folie übersetzt werden kann, ist die gemessene Spannung proportional zur Position des Kontakts auf der Berührungsfläche. Wenn eine Kontaktkoordinate auf der ersten Folie erfasst wird, wird der gleichförmige Spannungsgradient dann an die zweite Folie angelegt und die erste Folie misst die Spannung längs der zweiten Folie. Der Spannungsgradient der zweiten Folie ist proportional zum Abstand längs der zweiten Folie. Diese beiden Kontaktkoordinaten zeigen die X-Y-Position des Kontakts auf der Berührungsfläche in einem kartesischen Koordinatensystem.
Da leider mechanischer Druck erforderlich ist, beide Folien in Kontakt zu bringen, können analoge Widerstandsberührungsbildschirme lediglich einen Kontakt ermitteln, wenn es ausreichenden Druck gibt, um die beiden Folien zusammen zu bringen. Analoge passive Widerstandsbildschirme können außerdem nicht ermitteln, wenn ein Zeiger auf der Berührungsfläche schwebt. Daher können im Fall von analogen Widerstandsberührungsbildschirmen Kontaktereignisse und Positionen lediglich ermittelt werden, wenn tatsächliche Kontakte mit der Berührungsfläche getätigt werden.
Akustische Oberflächenwellen-Berührungsbildschirme (SAW) liefern üblicherweise Medienauflösung und sind zum Aufzeichnen eines Schreibens mit guter Qualität nicht geeignet. SAW-Berührungsbildschirme verwenden Umformer auf den Grenzen einer Glasfläche, um das Glas in Schwingung zu versetzen, und erzeugen akustische Wellen, welche sich leicht über der Glasfläche bewegen. Wenn ein Kontakt auf der Glasfläche getätigt wird, werden die akustischen Wellen zurück reflektiert und die Kontaktposition wird von dem Vorzeichen der reflektierten akustischen Wellen bestimmt.
Unglücklicherweise zeigen SAW-Berührungsbildschirme eine bemerkenswerte Parallaxe aufgrund der Dicke des vibrierenden Glases, welches über der Fläche der Video- oder Computeranzeige angeordnet ist. Außerdem können Kontaktereignisse und Positionen nicht ermittelt werden, wenn aktuelle Kontakte mit der Glasfläche getätigt werden. Außerdem ändern sich SAW-Berührungsbildschirme nicht über eine Diagonale über wenige Feet hinaus maßstabsgetreu.
Kapazitive Berührungsbildschirme liefern niedrige Auflösung, da Kontakte lediglich in großen Bereichen (ungefähr 12,7 mm × 12,7 mm (1/2'' × 1/2'')) bestimmt werden können. Als Ergebnisse können kapazitive Berührungsbildschirme zum Aufzeichnen des Schreibens oder Zeichnens nicht verwendet werden, sondern sind zum Auswählen von Bereichen auf dem Berührungsbildschirm geeignet, welche durch Computer erzeugten Tasten entsprechen, welche auf der Videoanzeige oder Computeranzeige angezeigt werden. Kapazitive Berührungsbildschirmeleiden auch an Nachteilen dahingehend, dass sie gegenüber der Temperatur und der Feuchtigkeit empfindlich sind. Ähnlich wie die analogen Widerstandsberührungsbildschirme und die SAW-Berührungsbildschirme können kapazitive lediglich Kontaktereignisse und Positionen ermitteln, wenn tatsächliche Kontakte mit der Berührungsfläche getätigt werden.
Die Skalierbarkeit passiver Berührungsbildschirme ist wichtig, da der Wunsch nach größeren elektronischen Digitalisiergeräten ansteigt. Während Digitalisiergeräte einmal kleine Desktop-Anwendungen waren, haben sie heute ihren Weg in elektronische Weißwandtafeln-Anwendungen gefunden. Die Notwendigkeit, eine passive berührungsempfindliche "Wand" zu bauen, wurde zu einem Erfordernis für neue Berührungsbildschirmanwendun gen. Existierende passive Berührungsbildschirme der oben erläuterten Arten haben alle eine begrenzte maximale Größe, wo sie noch funktionsfähig sind.
Die WO99/40562 bezieht sich auf ein Berührungsbildschirmsystem für einen Videokamera-Computer, wo ein Verfahren und System zum Eingeben von Daten in einen Computer über einen Computermonitorbildschirm offenbart ist. Eine Standard-PC-Videokamera, welche über einem Computerbildschirm befestigt ist, überwacht den Bereich unmittelbar vor dem Bildschirm. Ein optisches Beobachtungssystem, welches unterhalb der Videokamera angeordnet ist, bewirkt, dass zwei Bilder des Bildschirms im Vordergrund durch die Kamera simultan aufgezeichnet werden, gesehen von einem unterschiedlichen Winkel. Dieser Stand der Technik wird im Oberbegriff der Patentansprüche 1 und 19 zum Ausdruck gebracht.
Die US 4 746 770 bezieht sich auf ein Verfahren und eine Vorrichtung zum Isolieren und Handhaben von Grafikobjekten auf einem Computer-Videomonitor. Ein Rahmenteil arbeitet funktionsmäßig mit mehreren optischen Sensoren und mehreren lichtverdeckenden Objekten zusammen, die dazu neigen, einen Bereich des Lichts normalerweise zu stören, welches durch die optischen Sensoren normalerweise empfangen wird.
Die DE 198 10 452 bezieht sich auf ein optisches Digitalisiergerät zum Bestimmen einer Position eines Zeigerobjekts, wobei ein Licht projiziert wird und welches auf einer Koordinatenebene angeordnet ist. Im optischen Digitalisiergerät ist ein Detektor auf einem Umfang der Koordinatenebene angeordnet und besitzt ein Sichtfeld, welches die Koordinatenebene überdeckt, um das Licht zu empfangen, welches vom Zeigerobjekt projiziert wird und um das empfangene Licht in ein elektrisches Signal umzusetzen.
Wie man ersehen kann, sind Verbesserungen in Bezug auf passive Berührungssysteme wünschenswert. Es ist daher eine Aufgabe der vorliegenden Erfindung, ein neuartiges Berührungssystem auf Kamerabasis bereitzustellen.
Offenbarung der Erfindung
Die Erfindung ist in den Patentansprüchen 1 und 19 angegeben.
Vorzugsweise sind die zumindest beiden Kameras Digitalkameras, die Blickfelder haben, die allgemein längs der Ebene der Berührungsfläche schauen. Die Bilddaten, welche durch jede Digitalkamera erzeugt werden, umfassen eine Zeigermittellinie x und eine Zeigerspitzenposition z. Eine jede der Digitalkameras umfasst eine Pixelmatrix, welche auswählbare Pixelreihen hat. Pixelintensitäten von Pixeln in den auswählbaren Pixelreihen werden während der Erzeugung der Bilddaten verwendet. Vorzugsweise werden Pixelintensitäten von Pixeln in einem Bereich von Interesse innerhalb der auswählbaren Pixelreihen während der Erzeugung der Bilddaten verwendet.
Bei einer bevorzugten Ausführungsform umfasst eine jede der Digitalkameras einen CMOS-Bildsensor und einen Digitalsignalprozessor. Der Digitalsignalprozessor empfängt das Bild, welches vom Bildsensor ausgegeben wird, und führt eine Suchzeigerroutine aus, um zu bestimmen, ob ein Zeiger in jedem Bild ist, welches durch die Digitalkamera erfasst wird, und, wenn dies so ist, die Mittellinie des Zeigers. Es wird außerdem bevorzugt, dass der Digitalsignalprozessor jeder Digitalkamera eine Aktualisierungshintergrund-Bildroutine ausführt, um das Hintergrundbild zu aktualisieren, nachdem jedes Bild erfasst ist. Vorzugsweise bestimmt der Digitalsignalprozessor jeder Digitalkamera außerdem die Unterschiede zwischen dem erfassten Bild und dem Hintergrundbild, um Lichtänderungszustände zu ermitteln.
Die vorliegende Erfindung liefert Vorteile dahingehend, dass das passive Berührungssystem hochauflösend ist, und erlaubt aktuelle Zeigerkontakte mit der Berührungsfläche sowie das Schweben von Zeigern über der Berührungsfläche, das zu ermitteln ist, und entsprechende erzeugte Ausgabe. Außerdem liefert das vorliegende passive Berührungssystem Vorteile dahingehend, dass es nicht an einer Parallaxe leidet, einer Bildverzerrung, an Zeigerpositionseinschränkungen, an Bildprojektion und Skalierbarkeitsproblemen, welche mit den bekannten passiven Berührungssystemen in Verbindung stehen.
Außerdem liefert die vorliegende Erfindung Vorteile dahingehend, dass, da CMOS-Digitalkameras verwendet werden, beliebige Pixelreihen in der Digitalkamera-Pixelmatrix ausgewählt werden können. Die ermöglicht es, dass die Rahmenraten der Digitalkameras signifikant vergrößert werden. Da außerdem die Pixelreihen beliebig ausgewählt werden können, können die Pixelreihen für eine größere Dauer für vorgegebene Digitalkamera-Rahmenraten belichtet sein, was einen guten Betrieb in dunklen Räumen wie auch in gut beleuchteten Räumen erlaubt.
Kurzbeschreibung der Zeichnungen
Die Ausführungsformen der erliegenden Erfindung werden nun ausführlicher mit Hilfe der beiliegenden Zeichnungen beschrieben, in denen:
1 ein schematisches Diagramm eines Berührungssystems auf Kamerabasis gemäß der vorliegenden Erfindung ist;
2 eine isometrische Ansicht eines Berührungsbildschirms ist, der einen Teil des Berührungssystems von 1 bildet;
3 eine isometrische Ansicht eines Eckenbereichs des Berührungsbildschirms von 2 ist;
4 ein schematisches Diagramm einer Digitalkamera ist, welches einen Teil des Berührungsbildschirms von 2 bildet;
5 ein schematisches Diagramm einer Hauptsteuerung ist, welche einen Teil des Berührungssystems von 1 bildet;
6 ein Flussdiagramm ist, welches die Schritte zeigt, die während der Ausführung einer Prozess-Rahmen-Routine durchgeführt werden;
7 ein Flussdiagramm ist, welches die Schritte zeigt, die während der Ausführung einer Segment-Zeiger-Routine durchgeführt werden;
8 ein Flussdiagramm ist, welches die Schritte zeigt, die während der Ausführung einer Such-Zeiger-Routine durchgeführt werden;
9 ein Bild zeigt, welches durch eine Digitalkamera und einen Pixelhilfssatz des Bilds erfasst wird, das verarbeitet wird;
10 einen Bereich von Interesse (ROI) innerhalb des Pixelhilfssatzes von 9 zeigt;
11 die Triangulations-Geometrie zeigt, die verwendet wird, eine Zeigerkontaktposition auf der Berührungsfläche des Berührungsbildschirms zu berechnen, der in 2 gezeigt ist;
12 ein Bild zeigt, welches durch eine Digitalkamera erfasst wird, einschließlich der Zeigerspitze und von deren Mittellinie;
13 den Zeigerkontakt und das Zeigerschweben für unterschiedliche Orientierungen des Zeigers zeigt;
14 ein Bild der Berührungsfläche des Berührungsbildschirms gesehen durch eine Digitalkamera ist;
15 und 16 die Ergebnisse einer Matlab-Simulation der Zeigerführung unter Verwendung eines Kalman-Filters zeigt; und
17a bis 17d die Ergebnisse einer weiteren Matlab-Simulation der Zeigerführung unter Verwendung eines Kalman-Filters zeigen.
Bevorzugteste Ausführungsart der Erfindung
Wendet man sich nun 1 zu, so ist dort ein Berührungssystem auf Kamerabasis gemäß der vorliegenden Erfindung gezeigt und allgemein mit dem Bezugszeichen 50 bezeichnet. Wie man ersehen kann, umfasst das Berührungssystem 50 einen Berührungsbild schirm 52, der mit einem Digitalsignalprozessor (DSP) basierend auf einer Hauptsteuerung 54 gekoppelt. Die Hauptsteuerung 54 ist außerdem mit einem Computer 56 gekoppelt. Der Computer 56 führt ein oder mehrere Anwendungsprogramme aus und liefert eine Anzeigeausgabe, welche auf dem Berührungsbildschirm 52 über einen Projektor 58 gezeigt wird. Der Berührungsbildschirm 52, die Hauptsteuerung 54, der Computer 56 und der Projektor 58 bilden eine geschlossene Schleife, so dass Benutzerkontakte mit dem Berührungsbildschirm 52 wie Schreiben oder Zeichnen aufgezeichnet werden können, oder verwendet werden, um das Ausführen von Anwendungsprogrammen zu steuern, welche durch den Computer 56 ausgeführt werden.
2 bis 4 zeigen den Berührungsbildschirm 52 besser. Der Berührungsbildschirm 52 umfasst eine Berührungsfläche 60, die durch einen rechteckigen Rahmen 62 eingegrenzt ist. Die Berührungsfläche 60 ist in Form einer rechteckigen ebenen Folie aus passivem Material ausgebildet. CMOS-Digitalkameras 63 auf DSP-Basis sind mit jeder Ecke des Berührungsbildschirms 52 verknüpft. Jede Digitalkamera 63 ist auf einer Rahmenbaugruppe 64 befestigt. Jede Rahmenbaugruppe 64 umfasst eine abgewinkelte Lagerplatte 66, auf welcher die Digitalkamera 63 befestigt ist. Lagerrahmenelemente 70 und 72 sind auf der Platte 66 über Pfosten 74 befestigt und sichern die Platte 66 am Rahmen 62.
Jede Digitalkamera 63 umfasst einen zweidimensionalen CMOS-Bildsensor und eine verknüpfte Linsenbaugruppe 80, einen FIFO-Puffer 62, der mit dem Bildsensor und der Linsenbaugruppe 80 über einen Datenbus gekoppelt ist, und einen Digitalsignalprozessor (DSP) 64, der mit dem FIFO 82 über einen Datenbus und mit der Bildsensor- und Linsenbaugruppe 80 über einen Steuerbus gekoppelt ist. Ein Boot-EPROM 86 und ein Spannungsversorgungs-Hilfssystem 88 sind ebenfalls enthalten.
Bei der vorliegenden Ausführungsform ist der CMOS-Kamerabildsensor ein Photobit-PB300-Bildsensor, der für eine 20×640-Pixelhilfsmatrix konfiguriert ist, welcher betrieben werden kann, Bildrahmen mit Raten über 200 Rahmen pro Sekunde einzufangen, da beliebige Pixelreihen ausgewählt werden können. Da außerdem die Pixelreihen beliebige ausgewählt werden können, kann die Pixelhilfsmatrix für eine größere Dauer für eine bestimmte Digitalkamera-Rahmenrate belichtet werden, um einen guten Betrieb in dunklen Räumen sowie in hellen erleuchteten Räumen zu erlauben. Der FIFO-Puffer 82 wird von Cypress unter der Teilnummer CA7C4211V hergestellt, und der DSP 84 wird durch Analog Devices unter der Teilnummer ADSP2185M hergestellt.
Der DSP 84 liefert Steuerinformation über den Steuerbus zur Bildsensor- und Linsenbaugruppe 80. Die Steuerinformation erlaubt, dass der DSP 84 Parameter der Bildsensor- und Linsenbaugruppe 80 steuert, beispielsweise die Belichtung, Verstärkung, Matrixkonfiguration, Reset und Initialisierung. Der DSP 84 liefert außerdem Taktsignale zur Bildsensor- und Linsenbaugruppe 80, um die Rahmenrate der Bildsensor- und Linsenbaugruppe 80 zu steuern.
Der Winkel der Platte 66 wird so gewählt, dass das Blickfeld (FOV) jeder Digitalkamera 63 sich über einen bestimmten Umfangsrand der Berührungsfläche 60 hinaus erstreckt, wie in 11 gezeigt ist. Auf diese Weise ist die gesamte Berührungsfläche 60 innerhalb des Blickfelds der Digitalkameras 63.
Die Hauptsteuerung 54 ist am besten in 5 gezeigt und besitzt einen DSP 90, einen Boot-EPROM 92, eine serielle Leitungsansteuerung 94 und ein Spannungsersorgungs-Hilfssystem 95. Der DSP 90 kommuniziert mit den DSPs 84 der Digitalkameras 63 über einen Datenbus über einen seriellen Port 96 und kommuniziert mit dem Computer 56 über einen Datenbus über einen seriellen Port 98 und der seriellen Leitungsansteuerung 94. Bei dieser Ausführungsform wird der DSP 90 ebenfalls durch Analog Devices unter der Teilnummer ADSP2185M hergestellt. Die serielle Leitungsansteuerung 94 wird durch Analog Devices unter der Teilnummer ADM222 hergestellt.
Die Hauptsteuerung 54 und jede Digitalkamera 63 folgen einem Kommunikationsprotokoll, welches bidirektionale Kommunikation über ein gemeinsames serielles Kabel ähnlich einem universellen seriellen Bus (USB) ermöglicht. Die Übertragungsbreite ist in zweiunddreißig (32) 16-Bitkanäle unterteilt. Von den 32 Kanälen werden sechs (6) Kanäle jedem der DSPs 84 in den Digitalkameras 63 zugeteilt und der DSP 90 in der Hauptsteuerung 54 und die beiden verbleibenden Kanäle bleiben unbenutzt. Die Hauptsteuerung 54 überwacht die vierundzwanzig (24) Kanäle, welche den DSPs 84 zugeteilt sind, während die DSPs 84 die sechs (6) Kanäle, welche dem DSP 90 der Hauptsteuerung 54 zugeteilt sind, überwachen. Kommunikationen zwischen der Hauptsteuerung 54 und den Digitalkameras 63 werden als Hintergrundprozesse als Antwort auf Interrupts durchgeführt.
Der allgemeine Betrieb des Berührungssystems 50 wird nun beschrieben. Jede Digitalkamera 63 erfasst Bilder der Berührungsfläche 60 innerhalb des Blickfelds von ihrer Bildsensor- und Linsenbaugruppe 80 mit einer gewünschten Rahmenrate und verarbeitet jedes erfasste Bild, um zu bestimmen, ob ein Zeiger im erfassten Bild ist. Wenn ein Zeiger im erfassten Bild ist, wird das Bild weiter verarbeitet, um Kenndaten des Zeigers zu bestimmen, der über der Berührungsfläche 60 schwebt oder diese kontaktiert. Die Zeigerinformationspakete (PIPs) einschließlich Zeigerkenndaten, Status- und/oder Diagnostikinformation werden dann durch die Digitalkameras 63 erzeugt, und die PIPs werden zur Übertragung zur Hauptsteuerung 54 aufgereiht. Die Digitalkameras 63 empfangen außerdem Befehls-PIPs, welche durch die Hauptsteuerung 54 erzeugt werden, und antworten darauf.
Die Hauptsteuerung 54 befragt die Digitalkameras 63 nach PIPs. Wenn die PIPs Zeigerkenndateninformation aufweisen, trianguliert die Hauptsteuerung 54 Dreieckszeigerkenndaten in den PIPs, um die Position des Zeigers in Bezug auf die Berührungsfläche 60 in kartesischen Rechteckkoordinaten zu bestimmen. Die Hauptsteuerung 54 wiederum überträgt die berechneten Zeigerpositionsdaten, die Status- und/oder Diagnostikinformation zum Personalcomputer 56. Auf diese Weise können die Zeigerpositionsdaten, welche zum Personalcomputer 56 übertragen werden, als Schreibdaten oder Zeichnungsdaten aufgezeichnet werden, oder können verwendet werden, die Ausführung von Anwendungsprogrammen zu steuern, welche durch den Computer 56 ausgeführt werden. Der Computer 56 aktualisiert außerdem die Anzeigeausgabe, welche zum Projektor 58 befördert wird, so dass Information, welche auf der Berührungsfläche 60 dargestellt wird, die Zeigeraktivität reflektiert.
Die Hauptsteuerung 54 empfängt außerdem Befehle vom Personalcomputer 56 und antwortet entsprechend darauf. Sie erzeugt außerdem Befehls-PIPs und befördert diese zu den Digitalkameras 63.
Besonderheiten, welche die Verarbeitung der erfassten Bilder und die Triangulation von Zeigerkenndaten in den PIPs betreffen, werden nun unter besonderer Bezugnahme auf die 6 bis 8 beschrieben.
Zunächst wird eine Kamera-Offset-Winkel-Kalibrierungsroutine durchgeführt, um den Offset-Winkel δ jeder Kamera 63 (siehe 11) zu bestimmen, so dass die Kontakt- oder Schwebeposition eines Zeigers in Bezug auf die Berührungsfläche 60 genau bestimmt werden kann. Details der Kamera-Offset-Winkel-Kalibrierung sind in der ebenfalls anhängigen Anmeldung des Anmelders der US-Anmeldung mit dem Titel "Calibrating Camera Offsets to Facilitate Object Position Determination Using Triangulation" beschrieben, welche am 1. Juni 2001 angemeldet wurde, deren Inhalt hiermit durch Bezugnahme eingeführt ist.
Im Anschluss an die Kamera-Offset-Winkel-Kalibrierungsroutine wird eine Flächenermittlungsroutine durchgeführt, um die Bestimmung zu verbessern, ob ein Zeiger in Kontakt mit der Berührungsfläche 60 bei einem bestimmten Punkt ist oder über der Berührungsfläche schwebt.
Mit den Rechteckkoordinaten eines Zeigers in der Ebene der Berührungsfläche 60, welche durch die Kamera-Offset-Kalibrierung genau bekannt ist, kann die Orientierung der Berührungsfläche 60 gesehen durch jede Digitalkamera 63 bestimmt werden. Dies aufgrund der Tatsache notwendig, dass die Digitalkameras nicht unmittelbar längs der Ebene der Be rührungsfläche 60 sehen, jedoch auch in einer Richtung senkrecht dazu. Bis zu einem bestimmten Grad schaut jede Digitalkamera 63 nach unten in die Berührungsfläche 60. 14 zeigt allgemein die Form der Berührungsfläche 60 gesehen durch eine Digitalkamera 63. Aus diesem Grund wird gewünscht, eine "vertikale" Koordinate z zu definieren, welche die Berührungsflächenstelle als eine Funktion der Rechteckkoordinaten x und y beschreibt.
Die z-Koordinate des Zeigers kann von einem digitalen Kamerabild gemessen werden, und folglich können z-Koordinaten für Zeigerpositionen auf der Berührungsfläche 60 bestimmt werden. Diese vertikale Kalibrierung wird zu einer Sache, die z-Koordinatendaten für vorgegebene Rechteckkoordinaten x und y anzupassen. Die vertikale Kalibrierung kann als eine Fläche der Form beschrieben werden: z(x,y) = Ax + By + Cx2 + Dy2 + Exy + F (0.1)
Es sei angemerkt, dass, wenn die Koeffizienten C, D und E null sind, diese zu einer Ebene wird. Die Einrichtung leicht berechnet, da die Gleichung (0.1) ein lineares Problem kleinster Quadrate zeigt. Die entsprechende Matrix nimmt die Form an:
Um die Rechteckkoordinaten x und y an die Gleichung (0.1) anzupassen, um die Koeffizienten A bis E zu bestimmen, wird das pseudo-inverse Moore-Penrose-Verfahren, welches auf einer Einzelwert-Dekomposition (SVD) basiert, verwendet, um eine Minimalnorm-Lösung kleinster Quadrate zu bestimmen.
Wie man ersehen kann, kann eine Matrix immer in der folgenden Weise zerlegt werden: A = USVT (0.2)
Die Matrix A kann irgendeine Form haben. Die Matrizen U und V sind Orthogonalmatrizen, was heißt: UTU = I = VTV
Die Diagonalmatrix S besteht vollständig aus den Einzelwerten der Matrix A, welche auf Quadrate von den Eigenwerten der Matrix A bezogen sind. Die Wichtigkeit der Einzelwertzerlegung (SVD) liegt in der Tatsache, dass damit die Umkehrung der Matrix A immer berechnet werden kann. Außerdem ist es möglich, diese Umkehr zu steuern, wenn ein schlecht bestimmtes Problem vorgefunden wird. Es sei das System linearer Gleichungen betrachtet: Ax v = b vderen Lösung sein würde: x → = A–1b →
SVD erlaubt die Umkehr der Matrix A, welche geschrieben wird als: A–1 = VS–1UT (0.3)da beide Matrizen U und V orthogonal sind. Bei der schlecht bestimmten Situation werden einige der Einzelwerte sehr klein sein, so dass, wenn die Matrix S^–1 gebildet wird, große Werte erzeugt werden, was nicht wünschenswert ist. In diesem Fall werden die Umkehrungen der kleinsten Einzelwerte auf null gesetzt. Dies hat die Wirkung, den schlecht bestimmten Teil der Lösung zu beseitigen. Für Probleme der kleinsten Quadrate ist dies ein starkes Werkzeug. Das Verfahren der üblichen normalen Gleichungen für Probleme kleinster Quadrate basiert auf dem Lösen: ATAx v = ATb v (0.4) x v = (ATA)–1ATb vim oben bestimmten Fall, und Lösen: x v = AT(AAT)–1b v (0.5)im unten bestimmten Fall. Wie man es schätzen wird, wird während des Anpassens des Systems der Gleichungen an die Gleichung (0.1) das gleiche Verfahren verwendet wie das, wel ches während der Bestimmung der Kamera-Offset-Winkel-δ verwendet wird. Da die gleiche Prozedur verwendet wird, werden die Speicherverwendung und die Verarbeitungsgeschwindigkeit auf gewünschten Pegeln beibehalten.
Wenn die Koeffizienten A bis E bekannt sind, kann die z-Koordinate für einen bestimmten Punkt (x, y) auf der Berührungsfläche berechnet werden, und somit kann eine Bestimmung durchgeführt werden, ob ein Zeiger die Berührungsfläche 60 kontaktiert oder über dieser schwebt.
Bei dem kalibrierten Berührungssystem 50 erfasst während des Betriebs jede Digitalkamera 63 Bilder der Berührungsfläche 60 innerhalb von ihrem Blickfeld. Die Bilder werden durch die Bild- und Linsenbaugruppe 80 in Intervallen als Antwort auf die Taktsignale erfasst, welche vom DSP 84 empfangen werden. Jedes durch die Bild- und Linsenbaugruppe 80 erfasste Bild wird zum FIFO-Puffer 82 geliefert. Der DSP 84 wiederum liest jedes Bild vom FIFO-Puffer 82 und verarbeitet das Bild. Um die Verarbeitung einer signifikanten Anzahl von Pixeln, die keine nützliche Information enthalten, zu vermeiden, wird lediglich eine Teilmenge der Pixel im erfassten Bild verarbeitet, wie in 9 gezeigt ist.
Während der Verarbeitung eines Bilds, welches durch eine Digitalkamera 63 erfasst wurde, führt der DSP 84 eine Prozess-Rahmen-Routine durch, wie in 6 gezeigt ist. Wenn ein Bild zur Verarbeitung verfügbar ist (Schritt 120), wird überprüft, um zu bestimmen, ob das Bild zum Zweck eines Einstellens der Digitalkamera eingefangen wurde (Schritt 122). Wenn das Bild für den Zweck der Belichtungseinstellung erfasst wurde, wird eine Belichtungssteuenoutine aufgerufen (Schritt 124), um die Belichtung der Digitalkamera 63 einzustellen. Danach wartet der DSP 84 auf den Empfang des nächsten Bilds, welches zur Verarbeitung verfügbar ist.
Im Schritt 122 wird, wenn das Bild nicht zum Zweck der Einstellung eingefangen wurde, die Belichtung der Digitalkamera 63 eingestellt, eine Überprüfung gemacht, um zu bestimmen, ob das Bild zum Zweck eines Ersatzes eines Hintergrundbilds eingefangen wurde (Schritt 126). Wenn das Bild zum Zweck eines Hintergrundbildersatzes erfasst wurde, wird eine Einfang-Hintergrund-Routine aufgerufen (Schritt 128) und das erfasste Bild wird als Hintergrundbild verwendet. Dies wird ausgeführt, wenn eine Digitalkamera ein Bild erfasst und ein PIP zur Hauptsteuerung sendet, das zeigt, dass ein Zeiger im Bild ist, wenn dies tatsächlich Rauschen ist. Der Ersatz des Hintergrundbilds verhindert effektiv, dass die Digitalkamera 63 einen Zeiger in zukünftigen PIPs falsch identifiziert. Darauf wartet der DSP 84 auf den Empfang des nächsten Bilds, welches zur Verarbeitung verfügbar ist.
Im Schritt 126 wird, wenn das Bild nicht zum Zweck des Hintergrundbildersatzes eingefangen wurde, eine Kopie/Akt.-Routine durch den DSP 84 aufgerufen (Schritt 130). Während dieser Routine wird das aktuell erfasste Bild in den Speicher kopiert und verwendet, das Hintergrundbild zu aktualisieren, sowie ein Differenzbild zu bilden, welches die Unterschiede zwischen dem aktuell erfassten Bild und dem Hintergrundbild zeigt.
Nach Abschluss der Kopie/Akt.-Routine wird eine Segment-Zeiger-Routine aufgerufen (Schritt 132), um zu bestimmen, ob ein Zeiger im erfassten Bild ist, und wenn dies so ist, die Stelle des Zeigers in Bezug auf die Berührungsfläche 60 zu bestimmen, und ob der Zeiger in Kontakt mit der Berührungsfläche 60 ist oder über dieser schwebt. Die Segment-Zeiger-Routine 132 erlaubt außerdem, dass Lichtänderungszustände ermittelt werden können. Im Anschluss an die Segment-Zeiger-Routine 132 ruft der DSP 84 eine Füll-PIP-Routine auf (Schritt 134), um den Zeiger- und Lichtbedingungsinformation in eine PIP zur Hauptsteuerung 54 zu setzen. Danach wartet der DSP 84 auf den Empfang des nächsten Bilds, welches für die Verarbeitung verfügbar ist.
7 zeigt die Schritte, welche durch den DSP 84 während der Ausführung der Segment-Zeiger-Routine 132 durchgeführt werden. Wie man ersehen kann, ruft, wenn der DSP 84 die Segment-Zeiger-Routine ausführt, der DSP 84 eine Such-Zeiger-Routine auf, um zu bestimmen, ob ein Zeiger im erfassten Bild ist, und, wenn dies so ist, die Position des Zeigers im aktuellen fassten Bild (Schritt 140). Bei Beendigung der Such-Zeiger-Routine 140 ruft der DSP 84 eine Aktualisierungs-Hintergrund-Routine auf, um das Hintergrundbild zu aktualisieren, um damit mit Änderungen bei Belichtungszuständen fertig zu werden (Schritt 142).
Während der Ausführung der Aktualisierungs-Hintergrund-Routine aktualisiert der DSP 84 fortlaufend das Hintergrundbild unter der Verwendung der Gleichung: Bn+1(i,j) = (1 – a)Bn(i,j) + aI(i,j)(0.6)wobei:

B_n+1: das neue Hintergrundbild ist;
B_n: das aktuelle Hintergrundbild ist;
I: das aktuell erfasste Bild ist;
i,j: die Reihen- und Spaltenkoordinaten der Hintergrundbildpixel, die aktualisiert werden, sind; und
a: eine Zahl zwischen 0 und 1 ist, welche den Lerngrad zeigt, der von dem aktuell erfassten Bild I hergenommen werden sollte. Je größer der Wert a ist, desto schneller wird das Hintergrundbild aktualisiert.

Nachdem die Aktualisierungs-Hintergrund-Routine 142 ausgeführt ist, wird die Intensitätsdifferenz zwischen dem aktuell erfassten Bild und dem Hintergrundbild durch den DSP 84 berechnet. Diese Information wird zur Hauptsteuerung 54 gesendet, um es der Hauptsteuerung zu ermöglichen, zu bestimmen, ob die Digitalkamera 63 eine neue Belichtung braucht. Dies würde es erfordern, wenn eine drastische Änderung der Belichtungszustände auftrat (d.h., Umgebungsbelichtung wurde ein- oder ausgeschaltet). Wenn eine neue Belichtungseinstellung der Digitalkamera 63 erforderlich ist, sendet die Hauptsteuerung 54 ein Befehls-PIP zur Digitalkamera 63, welche die Digitalkamera anweist, ein Bild zur Belichtungseinstellung zu erfassen.
8 zeigt die Schritte, die durch den DSP 84 während der Ausführung der Such-Zeiger-Routine 140 durchgeführt werden. Wie ersehen werden kann, löscht, wenn der DSP 84 die Such-Zeiger-Routine 140 ausführt, der DSP 84 die Zeigerstelle und die Zeigerspitzenparameter x bzw. z (Schritt 150). Danach wird ein vertikales Intensitätshistogramm aufgebaut (Schritt 152). Während dieser Stufe wird das Differenzbild, welches die Differenzen zwischen dem aktuellen Bild und dem Hintergrundbild zeigt, gebildet, und Pixelintensitäten im Differenzbild werden pro Spalte summiert. Auf diese Weise wird ein 640×1 Vektor gebildet, der die Summe jeder Spalte im Differenzbild von 640×20 zeigt. Somit zeigt das erste Element im Vektor von 640×1 die Summe von 20 Pixeln in der ersten Spalte des Differenzbilds von 640×20, das zweite Element im Vektor von 640×1 zeigt die Summe der 20 Pixel in der zweiten Spalte des Differenzbilds von 640×20 usw.. Weitere Besonderheiten dieses Prozesses können im Artikel gefunden werden mit dem Titel "A smart camera application: DSP-based people detection and tracking", vom Autor V. Cheng et al, veröffentlicht im SPIE Journal of Elctronic Imaging, Juli 2000.
Im Anschluss an das Bilden des vertikalen Intensitätshistogramms im Schritt 152 wird der Zeigerstellenparameter x bestimmt, wobei die Spalte im vertikalen Intensitätsprogramm mit der höchsten Intensität über einem Rauschschwellenwert gefunden wird (Schritt 154). Die Spalte wird als Mitte eines Bereichs von Interesse (ROI) verwendet, der mit der Breite des ROI zu verarbeiten ist, welcher gleich der Basis der Spitze ist, welche durch das vertikale Intensitätshistogramm gebildet wird (siehe 10). Wenn keine Spalte eine Intensität über den Rauschschwellenwert hat, wird angenommen, dass kein Zeiger innerhalb des erfassten Bilds ist.
Wenn ein Zeigerstellenparameter x bestimmt wird, analysiert der DSP 84 den ROI, um die Pixelreihe zu bestimmen, wo die Zeigerspitze sich befindet und um zu bestimmen, ob diese Reihe eine Berührungsflächenkontakt oder einen Schwebekontakt zeigt (Schritt 156). Insbesondere bildet der DSP 84 eine Binärmaske im ROI, so dass weiße Pixel den Zeiger darstellen und schwarze Pixel den Hintergrund darstellen, wie in 12 gezeigt ist. Aus der Maske kann die Zeigermittellinie des Zeigers und die Zeigerspitzenstelle z leicht berechnet werden.
Während der Füll-PIP-Routine 134 verwendet der DSP 84 den Zeiger und die Lichtzustandsinformation, welche während der Ausführung der Segment-Zeiger-Routine 132 erfasst wurden und bildet ein PIP, um das erfasste Bild auf einen kleinen Datensatz zu reduzieren, um Breitbandeconomy zu liefern. Das PIP ist in Form eines Sechs-Wort-Pakets, wobei jedes Wort im Paket 16 Bits hat. Dieses PIP nimmt üblicherweise die Form an:
Der Datenkopfbereich des PIP beträgt üblicherweise 16 Bits und umfasst ein Bestimmungs-/Quellenfeld, ein Datenfeld, ein Bildrahmen-Nummernfeld, ein Sequenznummernfeld und ein Paketnummernfeld. Das Bestimmungsort-/Quellenfeld identifiziert den PIP-Bestimmungsort und die PIP-Quelle. Wenn das PIP durch die Hauptsteuerung 54 erzeugt wird, kann der Bestimmungsort eine einzelne Digitalkamera 63 oder alle Digitalkameras sein. Die Datenart zeigt, ob das PIP Bezug auf Zeigerinformation oder andere Information, beispielsweise Status- und Diagnostikinformation hat. Das Bildrahmen-Nummernfeld speichert eine Zahl, so dass Bilder von jeder Digitalkamera 63 der Reihe nach durch die Hauptsteuerung 54 verarbeitet werden. Das Sequenznummernfeld speichert eine Zahl, welche sich das PIP auf andere PIPs bezieht. Das Paketnummernfeld speichert eine Zahl, welche das Paket identifiziert.
Der Datenbereich des PIP besteht üblicherweise aus 64 Bits und umfasst ein Zeiger-ID-Feld, ein Zeigerort-Parameterfeld, ein Zeigerspitzen-Parameterfeld, ein Kontaktstatusfeld und einen Wert des Zeigerfelds. Das Zeiger-ID-Feld speichert einen Identifizierer für den Zeiger, um zuzulassen, dass mehrere Zeiger nachgeführt werden können. Das Zeigerstellen-Parameterfeld speichert den x-Wert, der durch den DSP 84 berechnet wurde. Das Zeigerspitzen-Parameterfeld speichert den z-Wert, der durch den DSP 84 berechnet wurde. Das Kontaktstatusfeld speichert einen Wert, der zeigt, ob der Zeiger außer Kontakt oder möglicherweise in Kontakt mit der Berührungsfläche 60 ist. Der Wert des Zeigerfelds speichert einen statistischen Wert bezüglich der Wahrscheinlichkeit, dass der ermittelte Zeiger real ist.
Der Prüfsummenbereich des PIP wird verwendet, die PIP-Übertragungsintegrietät sicherzustellen. Wenn PIP-Prüfsummenfehler nicht häufig sind, werden die auftretenden PIPs-Prüfsummenfehler durch die Bestimmungseinrichtung ignoriert.
Status-PIPs, welche keinen Bezug auf die Zeigerinformation haben, haben eine verschiedene Form gegenüber denjenigen der oben identifizierten beschriebenen PIPs. Für PIPs dieser Natur umfasst der Datenbereich ein Instruktionsfeld, ein Instruktionscodefeld und ein Datenfeld. Das Instruktionsfeld identifiziert, ob die Instruktionsart eine Instruktion ist, die durchzuführen ist, oder eine Statusanforderung ist. Das Instruktionscodefeld speichert die aktuelle Instruktion oder den Statusanforderungsidentifizierer. Das Datenfeld speichert Daten, welche in Abhängigkeit von der Art der Instruktion variieren. Beispiele von Status-PIPs umfassen Rahmendatenkopf-PIPs, Befehls-PIPs und Fehlerinformations-PIPs.
Eine Rahmendatenkopf-PIP umfasst üblicherweise die Zahl der Zeiger-PIPs, die dazu dienen, einem aktuell erfassten Bild zu folgen, mit Statistiken für das aktuelle Bild, beispielsweise die Intensitätsvarianz zwischen dem aktuell erfassten Bild und einem vorherigen Bild. Ein Befehls-PIP, der durch die Hauptsteuerung 54 ausgegeben wird, kann eine Digitalkamera instruieren, eine oder mehrere ihrer Einstellungen einzustellen, beispielsweise die Belichtung oder das Einfangen eines Bilds, welches als ein neues Hintergrundbild zu verwenden ist. Eine Fehler-PIP kann einen Fehlerzustand von einer Digitalkamera 63 zur Hauptsteuerung 54 zur Speicherung in einem Fehlerprotokoll leiten.
Jede Digitalkamera 63 verarbeitet jedes Bild, welches sie erfasst, in einer Weise, wie oben beschrieben, als Antwort auf jedes Taktsignal, welches durch ihren DSP 84 erzeugt wird. Die durch die DSPs 84 gebildeten PIPs werden lediglich zur Hauptsteuerung 54 gesendet, wenn die Digitalkameras 63 durch die Hauptsteuerung 54 befragt werden.
Wenn die Hauptsteuerung 54 die Digitalkameras 63 abfragt, werden Rahmensynchronimpulse zu den Digitalkameras 63 gesendet, um die Übertragung der PIPs zu beginnen, welche durch die DSPs 84 gebildet werden. Bei Empfang eines Rahmensynchronimpulses überträgt jeder DSP 84 das PIP zur Hauptsteuerung 54 über den Datenbus. Die zur Hauptsteuerung 54 übertragenen PIPs werden über den seriellen Port 96 empfangen und in den DSP 90 automatisch gepuffert.
Nachdem der DSP 90 die Digitalkameras 63 abgefragt hat und die PIPs von jeder der Digitalkameras 63 empfangen hat, welche Zeigerinformation umfassen, verarbeitet der DSP 90 die PIPs unter Verwendung von Triangulation, um die Stelle des Zeigers in Bezug auf die Berührungsfläche 60 zu bestimmen, in (x, y)-Koordinaten. Insbesondere werden die PIPs von Paaren von Digitalkameras 63 unter Verwendung von Triangulation verarbeitet.
11 zeigt, dass zwei Winkel φ_cam1 und φ_cam2 benötigt werden, die Position (x₀, y₀) eines Zeigers in Bezug auf den Berührungsbildschirm 60 zu triangulieren. Die durch jede Digitalkamera 63 erzeugten PIPs umfassen eine Zahl θ (siehe 12), welche die Mittellinie oder die Spitze des Zeigers identifiziert. Wenn die Hauptsteuerung 54 ein PIP von einer Digitalkamera 63 empfängt, verwendet die Hauptsteuerung die Zahl, welche die Mittelinie oder die Spitze des Zeigers zeigt, und das Blickfeld der Digitalkamera, um einen Winkel φ_cam unter Verwendung der Gleichung zu berechnen:
wobei:

x: die Zahl ist, welche die Mittellinie oder die Spitze des Zeigers zeigt; und
a: die Gesamtlänge ist, welche durch das Blickfeld (FOV) der Digitalkamera in einem Abstand von der Kamera einschlossen ist.

Der berechnete Winkel φ_cam ist gleich dem Winkel, der zwischen der Extremität des Blickfelds, welches sich über den bestimmten Umfangsrand der Berührungsfläche 60 der Digitalkamera 63 erstreckt, welche das PIP erzeugte, und einer Linie, welche sich von der optischen Achse der Digitalkamera erstreckt, welche den Zeiger innerhalb des erfassten Bilds schneidet. Vorzugsweise erstreckt sich die Extremität des Blickfelds über den bezeichneten Umfangsrand (d.h. in diesem Fall die x-Achse) der Berührungsfläche 60 innerhalb des Blickfelds um einen bekannten Betrag hinaus. In fast allen Fällen ist jedoch der Winkel-Offset-Abtastwert δ_man jeder Digitalkamera 63 verschieden und nicht bekannt.
Wenn die Hauptsteuerung 54 den Winkel φ_cam berechnet, verwendet die Hauptsteuerung 54 den Kamera-Offset-Winkel δ_cam, der während der Kamera-Offset-Kalibrierung bestimmt wurde, um den Winkel φ_cam einzustellen. Mit den beiden verfügbaren Winkeln und mit den eingestellten Winkeln φ_cam verwendet die Hauptsteuerung 54 die Winkel φ_cam, um die Position des Zeigers in Bezug auf die Berührungsfläche 60 zu bestimmen, wobei Triangulation verwendet wird.
Da bei dieser Ausführungsform der Berührungsbildschirm 52 vier Digitalkameras 63 aufweist, können sechs Digitalkamerapaare zur Triangulation verwendet werden. Die folgende Erläuterung beschreibt, wie eine Zeigerposition durch Triangulation für jedes Paar der Digitalkameras 63 bestimmt wird.
Um eine Zeigerposition unter Verwendung der PIPs zu bestimmen, welche von den Digitalkameras 63 empfangen werden, längs der linken Seite des Berührungsbildschirms 52, werden die folgenden Gleichungen verwendet, um die (x₀, y₀)-Koordinaten der Zeigerposition zu bestimmen, wenn die Winkel φ₀ und φ₁ für die oberen und unteren Digitalkameras gegeben sind:
wobei:

h: die Höhe des Berührungsbildschirms 52 ist, d.h., der vertikale Abstand vom Fokussierungspunkt zu Fokussierungspunkt der Digitalkamera;
w: die Breite des Berührungsbildschirms 52 ist, d.h., der horizontale Abstand vom Fokussierungspunkt zu Fokussierungspunkt der Digitalkamera; und
φ_i: der Winkel in Bezug auf die gemessene Horizontale, gemessen unter Verwendung der Digitalkamera i und der Gleichung (0.7).

Für die Digitalkameras 63 längs der rechten Seite des Berührungsbildschirms 52 werden die folgenden Gleichungen verwendet, um (x₀, y₀)-Koordinaten der Zeigerposition zu bestimmen, wenn die Winkel φ₂ und φ₃ für die oberen und unteren Digitalkameras gegeben sind:
Die Ähnlichkeit zwischen den Gleichungen (0.8) und (0.10), d.h., Gleichung (0.10 = 1-Gleichung (0.8), wenn die Winkel φ₂ und φ₃ in die Gleichung (0.8) für die Winkel φ₁ bzw. φ₂ eingesetzt wurden, sollte offensichtlich sein. Die Gleichungen (0.9) und (0.11) stehen in ähnlicher Weise in Bezug zueinander.
Um eine Zeigerposition unter Verwendung der Digitalkameras 63 längs dem Boden des Berührungsbildschirms 52 zu bestimmen, werden die folgenden Gleichungen verwendet, um die (x₀, y₀)-Koordinaten der Zeigerposition zu bestimmen, wenn die Winkel φ₀ und φ₃ für den Boden links und den Boden rechts der Digitalkameras gegeben sind:
Um eine Zeigerposition unter Verwendung der Digitalkameras 63 längs des Kopfes des Berührungsbildschirms 52 zu bestimmen, werden die folgenden Gleichungen verwendet, um die (x₀, y₀)-Koordinaten der Zeigerposition zu bestimmen, wenn die Winkel φ₁ und φ₂ für die Digitalkameras links oben und rechts oben gegeben sind:
Die Ähnlichkeit zwischen den Gleichungen (012) und (0.14), d.h., Gleichung (014) = Gleichung (0.12), wenn die Winkel φ₁ und φ₂ in die Gleichung (0.12) für die Winkel φ₀ und φ₃ eingesetzt wurden, sollte offensichtlich sein. Die Gleichungen (0.13) und (0.15) haben die folgende Beziehung: Gleichung (0.15) = 1-Gleichung (0.13), wenn die Winkel φ₁ und φ₂ in die Gleichung (0.13) für die Winkel φ₀ bzw. φ₃ eingesetzt wurden.
Um eine Zeigerposition unter Verwendung der Digitalkameras 63 über dem Boden links zur rechten oberen Eckendiagonale zu bestimmen, werden die folgenden Gleichungen verwendet, um die (x₀, y₀)-Koordinaten der Zeigerposition zu bestimmen, wenn die Winkel φ₀ und φ₂ für Digitalkameras des linken Bodens und der rechten Oberseite gegeben sind:
Um eine Zeigerposition unter Verwendung der Digitalkameras über dem Boden rechts zur linken Kopfdiagonale zu bestimmen, werden die folgenden Gleichungen verwendet, um die (x₀, y₀)-Koordinaten der Zeigerposition zu bestimmen, wenn die Winkel φ₁ und φ₃ für Digitalkameras des rechten Bodens und des linken Kopfs gegeben sind:
Die Ähnlichkeit zwischen den Gleichungen (0.16) und (0.18), d.h., Gleichung (0.18) = Gleichung (0.16), wenn die Winkel φ₁ und φ₃ in die Gleichung (0.16) für die Winkel φ₀ und φ₂ eingesetzt sind, sollte offensichtlich sein. Die Gleichungen (0.17) und (0.19) haben die folgende Beziehung: Gleichung (0.19) = 1-Gleichung (0.17), wenn die Winkel φ₁ und φ₃ in die Gleichung (0.17) für die Winkel φ₀ bzw. φ₂ eingesetzt sind.
Wie man es vorteilhaft sieht, erzeugen die obigen Gleichungen die Koordinaten x₀ und y₀ auf einem Maßstab [0,1]. Daher kann der geeignete Koordinatenmaßstab durch Multiplizieren von x₀ und y₀ durch die Maximalwerte X bzw. Y aufgelistet werden.
Bei der vorliegenden Ausführungsform berechnet der DSP 90 die Zeigerposition unter Verwendung von Triangulation für jedes Digitalkamerapaar ausschließlich der Diagonalpaare. Die resultierenden Zeigerpositionen werden dann gemittelt und die resultierenden Zeigerpositionskoordinaten werden zur Übertragung zum Personalcomputer 56 über den seriellen Port 98 und die serielle Leitungsansteuerung 94 aufgereiht.
Mit der (x, y)-Position eines Zeigers, der durch Triangulation bekannt ist, wobei die Koeffizienten A bis E verwendet werden, die während der Flächenermittlungskalibrierung berechnet wurden, kann die z-Koordinate, welche der (x, y)-Position entspricht, unter Verwendung der Gleichung (0.1) bestimmt werden. Das Berechnen der z-Koordinate und das Vergleichen der z-Koordinate mit dem z-Parameter im PIP liefert eine Indikation, ob der Zeiger über der Berührungsfläche 60 schwebt oder in realen Kontakt mit der Berührungsfläche ist.
Wenn gewünscht kann die Zeigergeschwindigkeit v und der Winkel durch den DSP 90 berechnet werden, wie in 13 gezeigt ist. Die Geschwindigkeit des Zeigers wird durch Prüfen der Änderungen der z-Position (oder x-Schnittpunkt) des Zeigers in aufeinan derfolgenden PIPs und der Kenntnis der Kamerarahmenrate berechnet. Wenn beispielsweise die Kameraraterate 200 Rahmen pro Sekunde beträgt und die z-Position sich um 1 Pixelreihe pro Rahmen ändert, beträgt die Zeigergeschwindigkeit 200 Pixel pro Sekunde.
Der Winkel des Zeigers kann aufgrund der Tatsache bestimmt werden, dass das PIP den x-Schnittpunkt bei Pixelreihen 0 und 19 der Mittellinie aufweist. Da der x-Abstand (der Unterschied zwischen x-Schnittpunkten) und der y-Abstand (die Anzahl der Pixelreihen) bekannt sind, ist die gesamte Information, die zum Berechnen des Zeigerwinkels notwendig ist, verfügbar.
Wenn gewünscht kann ein Kalman-Filter (im Wesentlichen ein rekursives Verfahren kleinster Quadrate) verwendet werden, um "Führung" des Zeigers effektiv zu bewirken, wenn er innerhalb eines bestimmten Abstands der Berührungsfläche 60 ist. Um dies zu machen, ist es notwendig, ein Systemgleichungs- oder Modell zu definieren, welches im Filter zu verwenden ist. Da die Hauptsteuerung 54 in der Lage ist, sowohl die Position z als auch die Geschwindigkeit v des Zeigers zu liefern, kann die folgende Gleichung verwendet werden: z = z0 + vt ν = ν
Die zweite dieser Gleichungen ist erforderlich, da das Filter kennen muss, was mit der Geschwindigkeit zu tun ist, und außerdem, da sowohl z als auch v messbar sind. Der Statusvektor wird wie folgt definiert: [z ν]T
Um den Zustand des Systems bei zwei aufeinanderfolgenden Zeitpunkten n und n + 1 in Bezug zubringen, werden die Systemgleichungen als Matrixdifferenzgleichung umgeschrieben:
oder in Matrix-Schreibweise. x ^n+1 = Ax ^n + σ
Hier bezeichnet dt das Zeitintervall zwischen aufeinanderfolgenden Zeitschritten. Hier wird außerdem RHS als "Prozess-Rausch"-Begriff eingeführt. Dies ist lediglich formal, jedoch Teil des Kalman-Filter-Verfahrens. Es ist außerdem notwendig, zu spezifizieren, wie eine Messung in die Prozedur eingeführt wird. Dies wird über die Matrixgleichung ausgeführt: zn = Hxn + wwobei z_n eine Messung der Position und Geschwindigkeit ist, h eine "Messmatrix" ist, welche hergenommen wird, eine Identitätsmatrix zu sein, x_n der Zustandsvektor ist und w das Mess-Rauschen ist. Im Wesentlichen sei angenommen, dass die Messungen Rauschversionen des Statusvektors sind. Es ist außerdem notwendig, eine Kovarianzmatrix in Verbindung mit w zu definieren. Wenn der Messfehler z 0,5 Pixel beträgt, ist die Kovarianzmatrix dann:
Eine ähnliche Matrix Q ist für das Prozess-Rauschen, welches oben eingeführt wurde, erforderlich, wobei es in etwa beliebig ist, es als ein Abstimmparameter für das Filter behandelt zu werden. In diesem Beispiel wird die Matrix Q so hergenommen, um eine Identifizierungsmatrix zu sein, welche mit einem Faktor der Ordnung einer Einheit oder weniger multipliziert wird. Wenn obiges eingerichtet ist, gibt es ausreichend Information, den Filterprozess zu beginnen. Der erste (Vorhersage)-Schritt ist: x ^k+1(–) = Ax ^k(+) Pk(–) = APk-1(+)AT + Qk-1
Hier bedeutet die (–) Schreibweise, dass eine Messung noch nicht durchgeführt wurde, während (+) bedeutet, dass dies getan wird (wobei in diesem Fall sich (+) auf den vorherigen Schritt bezieht). Außerdem besagt die Matrixgleichung für die Matrix P eine Kovarianzmatrix voraus. Der nächste Schritt ist die Filtergewinnberechnung: Kk = Pk(–)HTk [HkPk(–)HTk + Rk]–1
Wenn eine Messung einmal durchgeführt wurde, kann die Zustandsschätzung und deren Kovarianz aktualisiert werden: x ^k(+) = x ^k(-) + Kk[zk – Hkxk(–)] Pk(+) = [P–1k (–) + HTk R–1k Hk]–1
Es ist diese Schätzung des Zustands x, die verwendet wird, zu bestimmen, ob ein Kontakt mit der Berührungsfläche aufgetreten ist oder nicht. Es sei hier angemerkt, dass die Matrizen H und R beide zeitlich konstant sind, und dass lediglich die Matrizen K und P sich ändern (in Wirklichkeit nähert sich P einer konstanten Matrix). Eine zusätzliche Vereinfachung tritt auf, dass es keinen beteiligten Steuerprozess gibt.
Die Ergebnisse einer Matlab-Simulation eines Kalman-Filters unter Verwendung eines Satzes von Messungen, die einen Zeiger zeigen, der sich der Berührungsfläche 60 mit einer konstanten Geschwindigkeit nähert, wurden durchgeführt. 15 und 16 zeigen die Simulation mit dem Zeitschritt dt von 0,1 s und einer Messgenauigkeit von 0,5 Pixeln. Die offenen Symbole zeigen die Daten, und die Linien die Zustandsschätzung vom Kalman-Filter. Es ist deutlich, dass die Zustandsschätzung den Daten ziemlich gut folgt.
Eine zweite Matlab-Simulation wurde durchgeführt, um sowohl die vertikale (z) als auch die horizontale (x) Bewegung eines Zeigers in betracht zu ziehen. Diese Simulation ist grundsätzlich ähnlich zwei Kalman-Filter, die zusammen in einer "parallelen" Weise arbeiten. Die Formulierung ist exakt die gleiche, mit der Ausnahme, dass die zweifache Zahl von Variablen in betracht gezogen werden muss. 17a bis 17d zeigen die Ergebnisse der Simulation und zeigen die Bewegung eines Zeigers in Richtung auf die Berührungsfläche 60 mit konstanter Geschwindigkeit und mit einer langsam sich variierenden x-Position (d.h., die Hand der Person ist nicht stetig).
Obwohl das Berührungssystem 50 so beschrieben wurde, dass es einen Projektor aufweist, um Bilder auf dem Berührungsbildschirm zu zeigen, wird der Fachmann erkennen, dass dies nicht erforderlich ist. Der Berührungsbildschirm 52 kann transparent sein oder er kann durchscheinend sein und über einer Anzeigeeinheit angeordnet sein, so dass die Anzeige, welche auf der Anzeigeeinheit gezeigt wird, durch den Berührungsbildschirm hindurch sichtbar ist. Außerdem muss der Berührungsbildschirm nicht eine rechteckige Folie aus einem Material sein, der durch einen Rahmen umgeben ist. Der Berührungsbildschirm kann in Wirklichkeit virtuell irgendeine Fläche mit sich überlappenden Sichtfeldern von zwei oder mehreren Digitalkameras sein.
Obwohl außerdem das Berührungssystem 50 so beschrieben wurde, dass es eine Hauptsteuerung separat von den Digitalkameras aufweist, kann gewünscht werden, dass eine der Digitalkameras sowohl als Kamera als auch als Hauptsteuerung funktioniert und die anderen Digitalkameras für PIPs abfragt. In diesem Fall wird bevorzugt, dass die Digitalkamera, welche als Hauptsteuerung funktioniert, einen schnelleren DSP 84 als die verbleibenden Digitalkameras enthält.
Obwohl weiter die Flächenermittlungsroutine so beschrieben wurde, dass die Koeffizienten A bis E bestimmt werden, welche bei der Gleichung (0.1) verwendet werden, um die z-Koordinaten des Zeigers bei einem bestimmten Punkt (x, y) in Bezug auf den Berührungsbildschirm zu berechnen, kann während der Flächenermittlungsroutine die Hauptsteuerung 54 programmiert sein, eine z-Koordinate für spezifische Bereiche (x, y) der Berührungsfläche zu berechnen und die z-Koordinaten in einer Nachschlagetabelle (LUT) zu speichern. Wenn in diesem Fall ein Zeiger in Bildern auftritt, welche durch die Digitalkameras eingefangen werden, und die (x, y)-Position des Zeigers in Bezug auf die Berührungsfläche bestimmt wird, kann eine Entscheidung getroffen werden, ob der Zeiger mit der Berührungsfläche in Kontakt ist, wobei die z-Koordinate in der LUT entsprechend dem (x, y)-Bereich, in welchem der Zeiger sich befindet, mit der Pixelreihe der Bild- und Linsenbaugruppe, bei welcher die Zeigerspitze sich befindet, verglichen wird.
Wie oben beschrieben berechnet die Hauptsteuerung 54 oder schaut nach auf die z-Koordinaten der Berührungsfläche für jede Digitalkamera und vergleicht die z-Koordinaten mit der Zeigerspitzenposition z, um zu bestimmen, ob der Zeiger in tatsächlichem Kontakt mit der Berührungsfläche ist. Der Fachmann wird jedoch erkennen, dass die DSPs 84 in den Digitalkameras Bildverarbeitungssoftware aufweisen können, um zu bestimmen, ob der Zeiger in tatsächlichem Kontakt mit der Berührungsfläche steht. Diese Bildverarbeitung kann in Verbindung mit oder anstelle der Zeigerkontaktbestimmung durch die Hauptsteuerung durchgeführt werden.
Obwohl eine bevorzugte Ausführungsform der vorliegenden Erfindung beschrieben wurde, wird der Fachmann erkennen, dass Variationen und Modifikationen ausgeführt werden können, ohne den Rahmen der Erfindung, wie diese durch die angehängten Patentansprüche definiert ist, zu verlassen.

Claims

Kamerabasiertes Berührungssystem (50), umfassend: wenigstens zwei Kameras (63, 64), die einer Berührungsoberfläche (60) zugeordnet sind und überlappende Sichtfelder (Fields of View – FOV) aufweisen, die die Berührungsoberfläche umschließen, wobei diese wenigstens zwei Kameras Bilder der Berührungsoberfläche von verschiedenen Standorten aus erfassen und Bilddaten erzeugen; ein Verarbeitungsmittel (54), das Zeigerdaten trianguliert, um die Position des Zeigers relativ zu der Berührungsoberfläche zu bestimmen; dadurch gekennzeichnet, dass die wenigstens zwei Kameras (63, 84) des Weiteren Bildpunkt-Teilmengen von Bilddaten aus den Bilddaten erzeugen; das Verarbeitungsmittel (84, 54) die Bildpunkt-Teilmengen von Bilddaten, die durch die wenigstens zwei Kameras (63, 84) erzeugt wurden, empfängt; das Verarbeitungsmittel (84, 54) die Bildpunkt-Teilmengen verarbeitet, um die Zeigerdaten zu erzeugen, empfängt; das Verarbeitungsmittel (84, 54) die Bildpunkt-Teilmenge verarbeitet, um Zeigerdaten zu erzeugen, wenn in den erfassten Bildern ein Zeiger vorhanden ist.
Berührungssystem nach Anspruch 1, wobei die wenigstens zwei Kameras Digitalkameras (63) sind, die Sichtfelder haben, die allgemein entlang der Ebene der Berührungsoberfläche blicken.
Berührungssystem nach Anspruch 2, wobei die Zeigerdaten eine Zeigermedianlinie x und eine Zeigerspitzenposition z enthalten.
Berührungssystem nach Anspruch 2 oder 3, wobei jede Digitalkamera eine CMOS-Digitalkamera umfasst, die eine wählbare Bildpunktanordnung aufweist.
Berührungssystem nach Anspruch 3 oder 4, wobei jede Digitalkamera einen CMOS-Bildsensor (80) und einen digitalen Signalprozessor (84) enthält, wobei der digitale Signalprozessor ein Bildausgangssignal von dem Bildsensor empfängt und eine Zeigerfin dungsroutine ausführt, um zu ermitteln, ob sich in jedem von der Digitalkamera erfasstem Bild ein Zeiger befindet, und wenn ja, die Medianlinie x des Zeigers festzustellen, wobei der digitale Signalprozessor jeder Digitalkamera Zeigerdaten in einen digitalen Haupt-Signalprozessor (54) einspeist, wobei der digitale Haupt-Signalprozessor die Zeigerdaten trianguliert, um die Zeigerposition zu bestimmen.
Berührungssystem nach Anspruch 5, wobei der digitale Signalprozessor (84) jeder Digitalkamera die Bildpunktdaten analysiert, um die Bildpunktzeile der ausgewählten Bildpunkt-Teilmenge zu finden, wo sich die Zeigerspitze befindet, um dadurch die Zeigerspitzenposition z zu ermitteln.
Berührungssystem nach Anspruch 3 oder 4, wobei das Verarbeitungsmittel für Bilddaten, die von jeder Digitalkamera kommend empfangen werden, die einen Winkel φ_cam mittels folgender Gleichung berechnet:
wobei: x die Zahl ist, die die Medianlinie oder Spitze des Zeigers darstellt; und a die Gesamtlänge ist, die durch das Sichtfeld (Field of View – FOV) der Digitalkamera in einem Abstand zu Kamera umschlossen wird; das Verarbeitungsmittel die berechneten Winkel dafür benutzt, die Zeigerposition relativ zu der Berührungsoberfläche zu bestimmen.
Berührungssystem nach Anspruch 7, wobei die berechneten Winkel so justiert werden, dass Digitalkameraversatzwerte vor der Ermittlung der Zeigerposition berücksichtigt werden.
Berührungssystem nach Anspruch 7 oder 8, das wenigstens drei Digitalkameras umfasst, wobei das Verarbeitungsmittel die Zeigerposition mittels Triangulation für mehrere Paare von Digitalkameras feststellt und die festgestellten Zeigerposition mittelt.
Berührungssystem nach einem der Ansprüche 1 bis 9, wobei das Verarbeitungsmittel des Weiteren eine Berührungsoberflächenbestimmungsroutine ausführt, um die Orientierung der Berührungsoberfläche zu berechnen, wie sie von der jeder Digitalkamera gesehen wird, um zu bestimmen, wann der Zeiger die Berührungsoberfläche berührt und wann der Zeiger über der Berührungsoberfläche schwebt.
Berührungssystem nach einem der Ansprüche 1 bis 4, wobei die Berührungsoberfläche im Wesentlichen rechteckig ist, wobei eine Kamera neben jeder Ecke der Berührungsoberfläche positioniert ist.
Berührungssystem nach Anspruch 1, wobei jede ausgewählte Bildpunkt-Teilmenge aneinandergrenzende Bildpunktzeilen enthält und wobei Bildpunktdaten, die von den aneinandergrenzenden Bildpunktzeilen erfasst sind, mit voller Auflösung verarbeitet werden.
Berührungssystem nach Anspruch 1, 2 oder 3, das mehr als zwei Kameras umfasst, die überlappende Sichtfelder aufweisen, und wobei das Verarbeitungsmittel Zeigerdaten von mehreren Paaren von Digitalkameras trianguliert, um die Position des Zeigers relativ zu der Berührungsoberfläche zu bestimmen.
Berührungssystem nach Anspruch 13, wobei das Verarbeitungsmittel mehrere Verarbeitungsstufen enthält, wobei diese Verarbeitungsstufen Bilddaten so verarbeiten, dass Bandbreite gestuft wird.
Berührungssystem nach Anspruch 14, wobei eine der Verarbeitungsstufen mehrere digitale Signalprozessoren (84) enthält, die jeweils einer der Kameras zugeordnet sind, wobei die digitalen Signalprozessoren Bildpunktdaten aus den ausgewählten Bildpunkt-Teilmengen verarbeiten und die Zeigerdaten erzeugen.
Berührungssystem nach Anspruch 15, wobei eine zweite der Verarbeitungsstufen einen digitalen Haupt-Signalprozessor (54) enthält, der die Zeigerdaten von den digitalen Signalprozessoren enthält, wobei der digitale Haupt-Signalprozessor die Zeigerdaten trianguliert, um die Zeigerposition zu bestimmen.
Berührungssystem nach einem der Ansprüche 13 bis 16, wobei ein Bild auf die Berührungsoberfläche projiziert wird, wobei jede der Kameras eine Bildpunktanordnung proportional zur Anzahl der Bildpunkte in dem projizierten Bild enthält, und wobei das Verarbeitungsmittel in der Lage ist, die Position des Zeigers relativ zu der Berührungsoberfläche mit genügender Genauigkeit bezüglich der Bildpunkte in dem projizierten Bild aufzulösen.
Berührungssystem nach einem der Ansprüche 1 bis 17, das des Weiteren einen Computer (56) umfasst, der mit dem Verarbeitungsmittel verbunden ist, wobei der Computer die Zeigerposition von dem Verarbeitungsmittel empfängt.
Verfahren zum Detektieren der Position eines Zeigers relativ zu einer Berührungsoberfläche, umfassend folgende Schritte: Erfassen mehrerer überlappender Bilder eines Zeigers relativ zu der Berührungsoberfläche durch wenigstens zwei Kameras, gekennzeichnet durch das Erzeugen von Bildpunkt-Teilmengen der erfassten Bilder durch die wenigstens zwei Kameras: Empfangen der Bildpunkt-Teilmengen der erfassten Bilder und Verarbeiten von Bildpunktdaten der Bildpunkt-Teilmengen durch ein Verarbeitungsmittel zum Detektieren des Vorhandenseins des Zeigers in den erfassten Bildern und zum Bestimmen der Position des Zeigers relativ zu der Berührungsoberfläche mittels Triangulation.
Verfahren nach Anspruch 19, wobei die Bildpunktdaten während des Verarbeitungsschrittes verarbeitet werden, um zu bestimmen, wann der Zeiger die Berührungsoberfläche berührt und wann der Zeiger über der Berührungsoberfläche schwebt.
Verfahren nach Anspruch 20, wobei während des Verarbeitungsschrittes das Vorhandensein des Zeigers durch Berechnen von Medianlinien des Zeigers ermittelt wird und wobei die Position des Zeigers durch Berechnen des Schnittspunktes von Medianlinien und mittels Triangulation zum Bestimmen der Koordinaten des Schnittpunktes ermittelt wird.