DE60213975T2

DE60213975T2 - Interaktives video-anzeigesystem

Info

Publication number: DE60213975T2
Application number: DE60213975T
Authority: DE
Inventors: Matthew Palo Alto BELL
Original assignee: Reactrix Systems Inc Redwood City; Reactrix Systems Inc
Current assignee: Intellectual Ventures Holding 81 LLC
Priority date: 2001-06-05
Filing date: 2002-06-04
Publication date: 2007-02-15
Anticipated expiration: 2022-06-05
Also published as: ES2271272T3; CA2449300C; ATE336860T1; CN102033608A; EP1393549A2; CN1582567A; JP2005500719A; WO2002100094A2; KR20040029998A; RU2298294C2; US20020186221A1; CA2449300A1; IL159207A0; US7834846B1; CN1582567B; BR0210162A; JP4077787B2; CN102033608B; US7259747B2; MXPA03011203A

Description

Die vorliegende Erfindung betrifft allgemein Bildverarbeitungssysteme und im Besonderen ein System zum Empfangen und Verarbeiten eines Bilds eines menschlichen Benutzers, um eine Interaktion mit Videoanzeigen zu ermöglichen.
Die Bildverarbeitung kommt in vielen Bereichen der Analyse, der Bildung, des Handels und der Unterhaltung zum Einsatz. Ein Aspekt der Bildverarbeitung beinhaltet die Interaktion zwischen Mensch und Computer, indem menschliche Formen und Bewegungen detektiert werden, um eine Interaktion mit Bildern zu ermöglichen. Anwendungen einer derartigen Verarbeitung können effiziente oder unterhaltende Methoden der Interaktion mit Bildern einsetzen, um digitale Formen oder Daten zu definieren, um Objekte zu animieren, um ausdrucksstarke Formen zu erzeugen, etc.
Das Detektieren der Position und der Bewegung eines menschlichen Körpers wird als „Bewegtbildaufzeichnung" oder auf Englisch als „Motion Capture" bezeichnet. Bei den Techniken der Bewegtbildaufzeichnung werden mathematische Beschreibungen der Bewegungen eines menschlichen Darstellers in einen Computer oder ein anderes Verarbeitungssystem eingegeben. Natürliche Körperbewegungen können als Eingaben in den Computer verwendet werden, um athletische Bewegungen zu studieren, um Daten zur späteren Wiedergabe oder Simulation zu erfassen bzw. aufzuzeichnen, um die Analyse für medizinische Zwecke zu verbessern, etc.
Die Bewegtbildaufzeichnung sieht zwar Vorzüge und Vorteile vor, allerdings neigen die Bewegtbildaufzeichnungstechniken zu einer relativen Komplexität. Bestimmte Techniken erfordern es, dass der menschliche Darsteller spezielle Kleidung bzw. Anzüge trägt, die an verschiedenen Stellen Punkte mit hoher Sichtbarkeit aufweisen. Bei anderen Ansätzen werden Hochfrequenzemitter oder andersartige Emitter eingesetzt, mehrere Sensoren und Detektoren, Bluescreens, umfassende Nachbearbeitungen, etc. Techniken, die auf der einfachen Bildaufzeichnung mit sichtbarem Licht basieren, sind für gewöhnlich nicht ausreichend präzise, um eine gut definierte und präzise Bewegtbildaufzeichnung vorzusehen.
Bestimmte Bewegtbildaufzeichnungsanwendungen ermöglichen es einem Darsteller oder Anwender, mit erzeugten Bildern zu interagieren, die durch ein Computersystem angezeigt werden. Zum Beispiel kann ein Darsteller bzw. Schauspieler vor einer großen Videobildschirmprojektion verschiedener Objekte stehen. Der Schauspieler kann die Objekte unter Verwendung von Körperbewegungen bewegen, oder die Objekte anderweitig erzeugen, modifizieren und manipulieren. Verschiedene Effekte, die auf den Bewegungen eines Schauspielers basieren, können durch das Verarbeitungssystem berechnete und auf dem Anzeigeschirm angezeigt werden. Zum Beispiel kann das Computersystem einen Pfad bzw. Weg des Schauspielers vor dem Anzeigeschirm verfolgen und eine Annäherung oder eine künstlerische Interpretation des Pfads auf dem Anzeigeschirm wiedergeben. Die Bilder, mit denen der Schauspieler bzw. Darsteller interagiert, können zum Beispiel auf dem Boden, an einer and oder einer anderen Oberfläche angezeigt werden; sie können dreidimensional im Raum schweben, sie können auf einem oder mehreren Monitoren, Projektionsschirmen oder anderen Vorrichtungen angezeigt werden. Jede Art von Anzeigevorrichtung oder Technologie kann zur Darstellung von Bildern verwendet werden, mit denen ein Benutzer Steuerungen oder Interaktionen ausführen kann.
Bei bestimmten Anwendungen, wie etwa an Point-of-Sale-Standorten, an Einzelhandelswerbestandorten, an Promotionstandorten, in Spielotheken bzw. Spielhallen, etc., ist es wünschenswert, die Bewegung eines ungeschulten bzw. ungeübten Benutzers (z.B. eines Passanten) sehr unauffällig bzw. mit sehr wenig Aufwand aufzuzeichnen. Im Idealfall benötigt der Benutzer bzw. Anwender keinerlei besondere Vorbereitung oder Training, und das System verwendet keine übermäßig teure Ausrüstung. Ferner sollten das Verfahren und das System, die für die Bewegtbildaufzeichnung des Schauspielers eingesetzt werden, für den Benutzer unsichtbar und nicht detektierbar sein. Viele Anwendungen in der realen Welt müssen in Umgebungen funktionsfähig sein, die komplexe und sich verändernde Hintergrund- und Vordergrundobjekte aufweisen, kurze Zeitintervalle für die Aufzeichnung, sich verändernde Lichtbedingungen und andere Faktoren, welche die Bewegtbildaufzeichnung schwierig gestalten können.
Das U.S. Patent US-A-5.969.754 offenbart eine den Kontrast verbessernde Beleuchtungseinrichtung.
WO98/38533 (Siemens) offenbart ein System, bei dem ein Mauszeiger nicht durch eine herkömmliche Eingabeeinrichtung, wie etwa eine Maus, bewegt wird, sondern durch die Hand eines Benutzers bzw. Anwenders.
„Traces": Wireless Full Body Tracking in the Cave, von Penny et al., ICAT Virtual Reality Conference, Dezember 1999, Japan, offenbart ein dreidimensionales Körpermodell einer Person in Echtzeit.
KURZE ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung ermöglicht die Interaktion zwischen einem Anwender und einem Computeranzeigesystem unter Verwendung der Bewegung des Benutzers (oder eines anderen Objekts) und der Position als Eingabe in einen Computer. Der Computer erzeugt eine Anzeige, die der Position und der Bewegung des Benutzers entspricht. Die erzeugte Anzeige kann Objekte oder Formen aufweisen, die bewegt, modifiziert oder anderweitig durch die Körperbewegungen eines Benutzers gesteuert werden können.
In einem bevorzugten Ausführungsbeispiel der Erfindung werden angezeigte Bilder durch Aktionen eines Benutzers in Echtzeit beeinflusst. Die Anzeige kann um den Anwender bzw. Benutzer projiziert werden, so dass die Handlungen bzw. Aktionen des Benutzers Effekte erzeugen, die von dem Benutzer ausstrahlen und Anzeigebereiche in der Nähe des Benutzers beeinflussen. Oder der Benutzer kann Videoobjekte beeinflussen, indem er Elemente in Videobildern tritt, schiebt, bewegt, verformt, berührt, etc. Die Interferenz zwischen dem zum Anzeigen interaktiver Bilder verwendeten Licht und dem Licht, das zum Detektieren des Benutzers verwendet wird, wird dadurch minimiert, dass Licht mit im Wesentlichen unterschiedlichen Wellenlängen verwendet wird.
In einem Ausführungsbeispiel wird ein Benutzer mit Infrarotlicht, das für das menschliche Auge nicht sichtbar ist, beleuchtet. Eine in Bezug auf Infrarotlicht empfindliche Kamera wird für die Aufzeichnung eines Bilds des Benutzers für eine Analyse der Position und der Bewegung eingesetzt. Sichtbares Licht wird von einem Projektor auf einen Bildschirm bzw. eine Leinwand, Glas oder eine andere Oberfläche zum Anzeigen interaktiver Bilder, Objekte, Muster oder anderer Formen und Effekte eingesetzt. Die Anzeigeoberfläche kann um die Benutzer ausgerichtet werden, so dass deren körperliche Präsenz in der Anzeige ihrer virtuellen Präsenz entspricht, wodurch das Erlebnis des körperlichen Berührens und der Interaktion mit virtuellen Objekten vermittelt wird.
Ein Aspekt der vorliegenden Erfindung kann eine gemusterte Beleuchtung an Stelle eines einfachen, nicht sichtbaren, einheitlichen „Flutlichts" bzw. „Scheinwerferlichts" verwenden. Bei der bemusterten bzw. mit Muster versehenen Beleuchtung wird ein Muster projiziert, wie zum Beispiel ein Schachbrettmuster, ein wahlfreies Punktmuster, etc. Das Muster wird von Verfahren verwendet, die auf einem Computer ausgeführt werden, um ein Kamerabild zu interpretieren und um ein Objekt aus einem Hintergrund und/oder andere Elemente in einer Szene zu detektieren. Das Muster kann als ein Hintergrund erzeugt werden (so dass es nicht auf einem zu detektierenden Objekt auftrifft), oder das Muster kann über die ganze sichtbare Szene bzw. das ganze sichtbare Motiv der Kamera projiziert werden, so dass es den Hintergrund, den Vordergrund und zu detektierende Objekte und aufgezeichnete Bewegtbilder beleuchtet.
Eine Möglichkeit, die gemusterte Beleuchtung bzw. Illumination zu erreichen, umfasst den Einsatz eines Infrarot-LED-Clusters oder einer anderen Quelle von nicht sichtbarem Licht in einem Diaprojektor. Ein weiterer Ansatz kann einen Infrarot-Laserstrahl verwenden, der abgelenkt, durch Blenden geleitet, abgetastet, etc. wird, um ein Muster zu erzeugen.
Eine weitere Möglichkeit, die gemusterte Beleuchtung zu erreichen, ist der Einsatz eines normalen „Flut- bzw. Scheinwerferlichts", wobei jedoch das vorstehend genannte Muster unter Verwendung einer dunklen oder in der Empfangsfrequenz der Kamera in hohem Maße reflektierenden Tinte, eines Farbstoffs oder einer Farbe in dem sichtbaren Bereich der Kamera markiert bzw. angezeichnet wird. Diese Tinte, dieser Farbstoff oder diese Farbe kann für das menschliche Auge sichtbar gemacht werden, um die Ästhetik der Anzeige zu verbessern.
Ein weiterer Aspekt der vorliegenden Erfindung verwendet einen Gradienten- bzw. Verlaufsansatz, um die Interaktion zwischen Objekt und Bild zu bestimmen. Ein „Einflussbild" wird durch Erzeugen einer Gradienten- bzw. Verlaufsaura oder eines Graustufenübergangs um ein detektiertes Objekt erzeugt. Wenn sich das detektierte Objekt bewegt, wird die Verlaufsaura in Echtzeit berechnet. Wenn die Gradientenaura auf einem Videobild oder einem Element auftrifft, so werden die Helligkeit und der Gradient in dem Bereich des aufgetroffenen Elements berechnet. Die Stärke und die Richtung der Interaktion (z.B. das Schieben des Elements) sind eine Funktion der Helligkeit bzw. des Gradienten des aufgetroffenen Bereichs.
Vorgesehen ist in einem Ausführungsbeispiel der Erfindung ein System zum Detektieren eines Objekts und zum Erzeugen einer Anzeige als Reaktion darauf, wobei das System folgendes umfasst: eine erste Quelle zur Ausgabe elektromagnetischer Energie in einem ersten Wellenlängenbereich; einen Detektor zum Detektieren einer Reflexion der ersten Quelle elektromagnetischer Energie von einem Objekt; einen Prozessor, der mit dem Detektor gekoppelt ist, um die detektierte Reflexion zum Erzeugen eines Anzeigesignals zu verwenden; eine zweite Quelle zur Ausgabe elektromagnetischer Energie in einem zweiten Wellenlängenbereich, wobei die zweite Quelle als Reaktion auf das Anzeigesignal eine sichtbare Anzeige erzeugt, wobei sich der erste und der zweite Wellenlängenbereich voneinander unterscheiden.
Vorgesehen ist gemäß einem weiteren Ausführungsbeispiel ein Verfahren zum Detektieren eines Objekts in einem mit einer Kamera aufgezeichneten Bild, wobei das Verfahren den Einsatz von in einem Muster vorgesehener Beleuchtung umfasst, um einen Hintergrund anders als das Objekt zu beleuchten; sowie den Einsatz eines Verarbeitungssystems zum Definieren des Objekts getrennt von dem Hintergrund.
Vorgesehen ist gemäß einem weiteren Ausführungsbeispiel der Erfindung ein Verfahren zum Berechnen einer Interaktion eines Objekts mit einem Videoelement, wobei das Verfahren den Einsatz eines Prozessors umfasst, um einen Gradienten für das Objekt zu bestimmen; den Einsatz eines Prozessors zum Bestimmen einer Begrenzung für das Videoelement; und das Identifizieren einer Interaktion unter Verwendung des Gradienten bzw. Verlaufs und der Begrenzung.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Es zeigen:
1 eine erste Konfiguration eines bevorzugten Ausführungsbeispiels unter Verwendung eines Projektors und einer Kamera in gemeinsamer Anordnung;
2 eine Konfiguration einer Overheadprojektion;
3 eine Konfiguration einer Rückprojektion;
4 eine Konfiguration einer Seitenprojektion;
5A ein Objekt mit: gleichmäßiger Beleuchtung;
5B ein Hintergrund mit Beleuchtung eines Zufallspunktmusters;
5C ein Objekt bzw. Motiv und Hintergrund mit Zufallspunktmusterbeleuchtung;
5D ein Ergebnis des Detektierens eines Motivs bzw. Objekts aus einem Hintergrund unter Verwendung von Zufallspunktmusterbeleuchtung;
6A einen menschlichen Benutzer in Interaktion mit einem Videoobjekt; und
6B ein Einflussbild.
GENAUE BESCHREIBUNG DER ERFINDUNG
Nachstehend sind verschiedene Konfigurationen der Erfindung beschrieben. Im Allgemeinen verwendet die vorliegende Erfindung eine erste Lichtquelle zum Beleuchten eines Benutzers oder eines anderen Objekts. Die erste Lichtquelle verwendet Licht, das für Menschen nicht sichtbar ist. Zum Beispiel kann Infrarot- oder ultraviolettes Licht verwendet werden. Eine Kamera mit einer Empfindlichkeit in Bezug auf Licht in dem Wellenlängenbereich der ersten Lichtquelle wird verwendet, um einen Benutzer zu detektieren, der durch die erste Lichtquelle beleuchtet wird. Ein Computer (oder ein anderes Verarbeitungssystem) wird dazu eingesetzt, das detektierte Objektbild zu verarbeiten und Bilder zur Anzeige zu erzeugen. Eine zweige Lichtquelle (z.B. ein Projektor, ein Videobildschirm, etc.) wird dazu eingesetzt, die erzeugten Anzeigebilder für einen menschlichen Benutzer oder Betrachter anzuzeigen. Die angezeigten Bilder weisen Wellenlängen auf, welche die Interferenz mit der Erkennung des Objekts der Kamera minimieren. Für gewöhnlich wird der sichtbare Bereich bzw. das sichtbare Spektrum zum Anzeigen der Bilder verwendet.
In einem bevorzugten Ausführungsbeispiel umgibt die Anzeige den Benutzer, so dass die virtuelle Präsenz des Benutzers mit der physischen Präsenz des Benutzers ausgerichtet ist. Somit weist die virtuelle Szene auf der Anzeige eine physische Anordnung um den Benutzer herum auf, und die Bewegung des Benutzers innerhalb der Anzeige bewirkt eine identische Bewegung der Darstellung des Benutzers in der virtuellen Szene. Zum Beispiel kann der Benutzer auf der physischen Position eines virtuellen Objekts auftreffen und wissen, dass dies bewirkt, dass die virtuelle Darstellung das virtuelle Objekt in dem Computersystem berührt. Mit dem in der vorliegenden Patentschrift verwendeten Begriff „berühren" oder „berührend" ist keine physische bzw. körperliche Berührung bzw. kein körperlicher Kontakt mit einem Objekt wie etwa einer Person und einem Bildelement gemeint. Vielmehr ist mit berührend gemeint, dass die Position des Objekts und die Aktion in dem physischen Raum in einen Effekt in einem erzeugten Bild umgewandelt werden, einschließlich der Effekte des Bewegens von Objekten bzw. von Elementen in den erzeugten Bildern.
Die angezeigten Bilder oder Elemente können Objekte, Muster, Formen und jedes andere visuelle Muster, jeden Effekt, etc. umfassen. Die Aspekte der vorliegenden Erfindung können etwa für folgende Anwendungen verwendet werden: interaktive Lichteffekte für Menschen in Clubs oder auf Veranstaltungen, interaktive Werbedisplays, Figuren und virtuelle Objekte, die auf die Bewegungen von Passanten reagieren, interaktive Umgebungsbeleuchtung für öffentliche Räume wie etwa Restaurants, Einkaufszentren, Sportstätten, Einzelhandelsgeschäfte, Lobbys und Parks, Videospielsysteme und interaktive Informationsdisplays. Andere Anwendungen sind ebenfalls gemäß dem Umfang der Erfindung möglich.
Die Abbildung aus 1 zeigt ein Ausführungsbeispiel der Erfindung eines Aufprojektionssystems unter Verwendung einer an einem Standort angeordneten Kamera und eines Projektors. In der Abbildung aus 1 wird eine Peson 1 durch eine Infrarotlampe 2 (oder eine andere nicht sichtbare Lichtlampe) beleuchtet. Das Bild der Person wird durch eine Infrarotkamera (oder eine andere sichtbare Lichtkamera) 3 fotografiert bzw. aufgenommen. Das Signal wird in Echtzeit 4 zu dem Computer 5 übertragen. Der Computer führt einen Objektdetektionsalgorithmus aus und erzeugt den Videoeffekt in Echtzeit. Der Effekt wird in Echtzeit 6 zu dem Video- bzw. Bildprojektor 7 übertragen. Der Projektor projiziert das resultierende Bild auf einen Schirm 8 oder eine andere Oberfläche. Der Videoeffekt 9 wird danach auf dem Schirm in Echtzeit und mit der Person ausgerichtet angezeigt.
Die Abbildung aus 2 zeigt eine Konfiguration einer Overheadprojektion des Systems. Die Komponente 10 weist das vorstehend genannte System auf. Die Komponente 10 ist hier vertikal angebracht, wobei die Kamera, der Projektor und die Lichtquelle in 10 auch horizontal angebracht und mit einem Spiegel danach abwärts neu ausgerichtet werden kann. Eine sich auf dem Boden 11 bewegende Person kann das Videosignal auf dem Boden um sich herum projiziert bekommen 12. Der eigene Schatten der Person verdeckt einen minimalen Teil des Bilds, wenn sich der Projektor direkt darüber befindet.
Die Abbildungen der 3 und 4 zeigen zwei weitere alternative Konfigurationen für die Kamera und den Projektor. In beiden Abbildungen zeichnet die Kamera 20 Objekte, wie etwa eine Person 22, vor einem Schirm bzw. einer Leinwand 23. Der Sichtwinkel der Kamera ist mit 21 bezeichnet. In der Abbildung aus 3 ist der Projektor 25 hinter der Leinwand bzw. dem Projektionsschirm angeordnet. Das Licht von dem Projektor 24 ist von beiden Seiten auf dem Projektionsschirm sichtbar. In der Abbildung aus 4 weist der Projektor 25 einen schrägen Winkel zu dem Projektionsschirm auf; wobei der Lichtkegel 24 abgebildet ist. Diese beiden Konfigurationen machen es wahrscheinlicher, dass das projizierte Bild durch keine Schatten verdeckt wird.
Wie dies in den vorstehenden Konfigurationen beschrieben ist, wird eine Videokamera zum Aufzeichnen der Szene an einer bestimmten Stelle zur Eingabe in den Computer verwendet. Bei den meisten Konfigurationen der Vorrichtung betrachtet die Kamera einen Teil der Ausgangsvideoanzeige. Um unerwünschte Videorückkopplungen zu verhindern, kann die Kamera auf einer Wellenlänge arbeiten, die von der Videoanzeige nicht verwendet wird. In den meisten Fällen verwendet die Anzeige das sichtbare Lichtspektrum. In diesem Fall muss die Kamera in einer nicht sichtbaren Wellenlänge aufzeichnen, wie etwa Infrarot, so dass die Videoanzeigeausgabe nicht detektiert wird.
Die auf Videoband aufgezeichnete Szene muss mit Licht der Wellenlänge der Kamera beleuchtet werden. Im Falle von Infrarotlicht können Quellen zur Beleuchtung bzw. Ausleuchtung der Szene verwendet werden, zu denen Sonnenlicht, eine Wärmelampe oder Infrarot-LEDs zählen. Diese Lichtquellen können an jedem beliebigen Ort positioniert werden; wobei die Ansicht von Schattenstörungen von diesen Lichtern der Kamera minimiert werden kann, indem die Lichtquelle nah an der Kamera platziert wird. Eine Lichtquelle, wie etwa ein Licht oder mehrere Lichter bzw. Leuchten, können Objekte einheitlich ausleuchten, im Gegensatz zu der nachstehend beschriebenen gemusterten Beleuchtung. In einem bevorzugten Ausführungsbeispiel wird das Videosignal in Echtzeit zu dem Computer exportiert. Andere Ausführungsbeispiele müssen jedoch die Echtzeit oder nahe Echtzeit nicht erreichen, und sie können Objekt- oder Videobilder (d.h. Anzeigebilder) zeitlich deutlich vor dem Anzeigen der Bilder verarbeiten.
Diese Komponente ist modular gestaltet; wobei dabei jede Computersoftware verwendet werden kann, welche den Videoeingang von der vorherigen Komponente verwendet und die Ergebnisse an eine Videoanzeige ausgibt.
In den meisten Fällen weist diese Komponente zwei Teile auf: der erste Teil behandelt das Detektieren mobiler Objekte vor statischem Hintergrund, während der zweite Teil die Objektinformationen zur Erzeugung einer Videoausgabe verwendet. Hierin werden zahlreiche Vorkommen jedes Teils beschrieben; wobei es sich dabei jeweils nur um Beispiele handelt, die in keinem Fall als umfassend bzw. einschränkend auszulegen sind.
In dem ersten Teil wird das Live-Bild von der Videokamera in Echtzeit verarbeitet, um mobile Objekte (z.B. Menschen) von dem statischen Hintergrund zu trennen, unabhängig davon, was der Hintergrund ist. Deise Verarbeitung kann wie folgt erfolgen:
Zuerst werden Eingangsbilder der Videokamera in Graustufen umgewandelt, um die Datenmenge zu reduzieren und um das Erkennungsverfahren zu vereinfachen. Als nächstes können sie unscharf gestaltet werten, um Rauschen zu unterdrücken.
Jedes Objekt, das sich nicht über einen längeren Zeitraum bewegt, gilt als Hintergrund; somit ist das System in der Lage, sich letztlich an sich verändernde Beleuchtungs- bzw. Licht- und Hintergrundbedingungen anzupassen. Ein Modellbild des Hintergrunds kann durch zahlreiche Verfahren erzeugt werden, die jeweils die Eingangsbilder über einen Zeitraum untersuchen. Bei einem Verfahren werden die letzten mehreren Eingangsbilder (oder einer Teilgruppe dieser) untersucht, um ein Modell des Hintergrunds zu erzeugen, entweder durch Mittelwertbildung, durch Erzeugen eines Medians, durch Detektieren von Perioden der konstanten Helligkeit oder andere Heuristiken. Die Länge des Zeitraums, über den Eingangsbilder untersucht werden, bestimmt die Rate, mit der sich das Modell des Hintergrunds an Veränderungen des Eingangsbilds anpasst.
Bei einem anderen Verfahren wird das Hintergrundmodell zu jedem zeitlichen Schritt erzeugt (oder seltener), indem ein gewichteter Durchschnitt des aktuellen Bilds und des Hintergrundmodells aus dem vorherigen Zeitschritt berechnet wird. Diese Gewichtung kann so abgestimmt werden, dass sie die Rate verändert, mit der sich das Hintergrundmodell an Veränderungen des Eingangsbilds anpasst.
Es wird davon ausgegangen, dass sich ein relevantes Objekt hinsichtlich der Helligkeit von dem Hintergrund unterscheidet.
Um die Objekte zu jedem zeitlichen Schritt zu finden, wird der aktuelle Videoeingang von dem Modellbild des Hintergrunds subtrahiert. Wenn der Absolutwert dieser Differenz an einer bestimmten Stelle größer ist als ein spezieller Schwellenwert, so wird diese Stelle als ein Objekt klassifiziert; wobei sie im anderen Fall als Hintergrund klassifiziert wird.
Der zweite Teil kann jedes Programm darstellen, das die Objekt-/Hintergrund-Klassifizierung eines Bilds (möglicherweise zusätzlich zu anderen Daten) als Eingabe bzw. Eingang verwendet und ein Videobild auf der Basis dieses Eingangs ausgibt, möglicherweise in Echtzeit. Das Programm kann unendlich viele Formen annehmen, und es ist somit ebenso weit gefasst definiert wie eine Computeranwendung. Diese Komponente kann zum Beispiel so einfach sein, dass sie ein Spotlight in Form der detektierten Objekte erzeugt, wobei sie aber auch so kompliziert sein kann wie ein Malprogramm, das durch Gestiken von Menschen gesteuert wird, die als Objekte detektiert werden. Darüber hinaus können Anwendungen andere Formen von Eingängen bzw. Eingaben verwenden, wie etwa Ton-, Temperatur-, Tastatureingaben, etc. sowie zusätzliche Formen von Ausgaben wie etwa akustisch, fühlbar, als virtuelle Realität, aromatisch, etc.
Eine Hauptklasse der Anwendungen umfasst Spezialeffekte, die eine Objekt-/Hintergrund-Klassifikation als Eingabe verwenden. Zum Beispiel können Sterne, Linien oder andere Formen in einem wahlfreien Abschnitt der Positionen in das Ausgangsvideobild gezeichnet werden, die als „Objekt" klassifiziert worden sind. Diese Formen können danach so festgelegt werden, dass sie im Zeitverlauf allmählich verschwinden, so dass Personen Übergangsspuren der Formen hinter sich herziehen, wenn sie sich bewegen. Dies sind weitere Beispiele für andere Effekte in der gleichen Klasse:

– Konturen und Welligkeiten, welche das Objekt umgeben;
– ein Raster bzw. Gitter, das durch die Gegenwart von Objekten verformt wird;
– Simulationen von Flamme und Wind und andere Matrixfaltungen, die auf Objekte angewendet werden;
– Spezialeffekte, welche den Rhythmus der Musik takten, der separat detektiert wird.

Eine weitere Hauptanwendungsklasse ermöglicht eine Interaktion realer Objekte mit virtuellen Objekten und Charakteren bzw. Figuren. Zum Beispiel kann ein Bild, dass eine Entenkükengruppe zeigt, so programmiert werden, dass es hinter einem realen Objekt (z.B. einer Person) folgt, die vor der Anzeige geht.
Darüber hinaus bilden Computerspiele, die von Personen gespielt werden können, die sich vor der Kamera bewegen, eine weitere Klasse von Anwendungen.
Diese Liste ist jedoch nicht umfassend bzw. abschließend, vielmehr ist die Komponente so gestaltet, dass sie programmierbar ist und somit jede Anwendung ausführen kann.
Die Ausgabe der Verarbeitungssoftware der vorherigen Komponente wird visuell angezeigt. Mögliche anzeigen umfassen unter anderem Videoprojektoren, Fernseher, Plasmamonitore und Lasershows. Das angezeigte Bild kann mit dem Eingangsbereich der Kamera ausgerichtet werden, so dass die Videoeffekte mit den Positionen der sie verursachenden Personen ausgerichtet werden. Da einige Konfigurationen der Videokamera Objekte in nicht sichtbarem Licht detektieren können, wird das Problem der die Kamera störenden Anzeige verhindert bzw. vermieden.
Es gibt zahlreiche mögliche Konfigurationen für die verschiedenen Komponenten. Zum Beispiel können sich die Kamera und der Videoprojektor an der gleichen Stelle befinden und in die gleiche Richtung zeigen. Die Kamera und der Projektor können dabei auf eine Wand gerichtet sein, wie dies in der Abbildung aus 1 dargestellt ist, sie können auf den Boden gerichtet sein, mit einem Spiegel gemäß der Abbildung aus 2 neu ausgerichtet werden oder sie können auf jede andere Oberfläche gerichtet sein. Alternativ kann der Projektor hinter der Leinwand platziert werden, wie dies in der Abbildung aus 3 dargestellt ist, so dass die Anzeige mit der Anzeige aus 1 identisch ist, wobei sich die Person jedoch nicht mehr in dem Projektionspfad befindet, so dass sie keinen Schatten wirft. Der Schatten kann auch verhindert werden, indem der Projektor in einem schiefen Winkel zu der Leinwand platziert wird, wie dies in der Abbildung aus 4 dargestellt ist. Die Videoanzeige kann einen Großbildschirmfernseher, einen Plasmamonitor oder eine Videowand darstellen. Bei den vorstehenden Konfigurationen ist die Videoanzeige jeweils mit dem Videoeingang ausgerichtet, wobei dies jedoch nicht erforderlich ist; die Videoanzeige kann auch anderweitig platziert werden. Die vorstehende Auflistung ist nicht umfassend; wobei es zahlreiche zusätzliche mögliche Konfigurationen gibt.
Das System insgesamt kann vernetzt bzw. in ein Netzwerk eingebunden werden, was es ermöglicht visuelle Informationen und Informationen zum Zustand der Verarbeitungssoftware zwischen Systemen auszutauschen. Somit kann ein in dem Bildsignal eines Systems detektiertes Objekt die Verarbeitungssoftware in einem anderen System beeinflussen. Darüber hinaus kann sich ein virtuelles Element in der Anzeige eines Systems zu anderen Systemen bewegen. Wenn die Anzeigen mehrerer Systeme gemeinsam ausgerichtet werden, so dass sie eine einzige größere Anzeige bilden, so kann die Mehrzahl von Systemen dazu gebracht werden, dass sie so funktionieren, als würde es sich um ein einzelnes, sehr großes System handeln, wobei sich Objekte und Interaktionen nahtlos über die Anzeigegrenzen bewegen.
Ein übliches Problem des Bildsystems ist es, dass in Fällen mit einer nicht steuerbaren Umgebungsbeleuchtung (z.B. Sonnenlicht) des sichtbaren Bereichs der Kamera aus einem deutlich anderen Winkel als dem der Kamera, Objekte Schatten auf den Hintergrund werfen können. Wenn diese Schatten stark genug sind, kann das Bildsystem sie versehentlich für Objekte halten. Diese Schatten können detektiert und entfernt werden, indem die Lichtquelle der Kamera gepulst wird. Durch Subtrahieren eines Kameraeingangsbilds mit Umgebungslicht alleine von einem Kameraeingangsbild, sowohl in Verbindung mit dem Umgebungslicht und dem Licht der Kamera, ergibt das System ein Bild, das die Szene aufnimmt, so als würde nur das Licht der Kamera verwendet werden, wodurch die detektierbaren Schatten aus dem Umgebungslicht entfernt werden.
Eine zusätzliche Präzision beim Detektieren von Objekten in Verbindung mit den durch die Kamera aufgezeichneten Bildern kann unter Verwendung einer gemusterten Beleuchtung oder gemusterter Markierungen erreicht werden.
Eine Unzulänglichkeit des Einsatzes eines einfachen Scheinwerferlicht-Beleuchtungssystems für die Computervision ist es, dass für den Fall, dass die Farben der durch die Kamera betrachteten Objekte sehr ähnlich sind, die Objekte unter Umständen nur schwer detektierbar sind. Wenn die Kamera im monochromen Modus arbeitet, ist es deutlich wahrscheinlicher, dass das Objekt und der Hintergrund ähnlich aussehen.
Der Einsatz eines gemusterten bzw. mit Muster versehenen Objekts zur Abdeckung des sichtbaren Bereichs der Kamera kann die Objekterkennung verbessern. Wenn ein Muster verwendet wird, das zwei oder mehr vermischte Farben aufweist, die eng aneinander angeordnet sind, so ist es sehr unwahrscheinlich, dass andere Objekte ähnlich erscheinen, da mindestens eine Farbe des Musters deutlich anders aussieht als die Farbe der umgebenden Objekte. Wenn ein gemustertes Objekt, wie etwa ein Projektionsschirm, als Hintergrund verwendet wird, vor dem sich die zu detektierenden Objekte befinden, so lassen sich die Objekte, die vor dem mit Muster versehenen Projektionsschirm passieren, leichter durch den Bild- bzw. Visionsalgorithmus detektieren.
Bei einer Infrarotvideoanwendung kann es sich bei dem gemusterten Objekt um eine Hintergrundmatte handeln, die für das menschliche Auge weiß erscheint, die jedoch ein hell und dunkel geflecktes Muster aufweist, das für das menschliche Auge nicht sichtbar ist, jedoch für die Kamera schon sichtbar ist. Unter Verwendung eines Musters in dem nicht sichtbaren Lichtspektrum beeinträchtigt die gemusterte Matte nicht die Ästhetik des Systems. Das Anzeigesystem (z.B. Projektionsvideo) kann Ausgangsbilder auf die Matte projizieren, wie dies bereits vorstehend im Text beschrieben worden ist. Ein Prozess, der auf einem Verarbeitungssystem wie etwa einem Computersystem ausgeführt wird, kann mit dem Hintergrundmuster versehen werden, was die Detektion eines Objekts vor der Matte einfacher gestaltet, obgleich das System den gemusterten Hintergrund auf die gleiche Art und Weise lernen kann, wie der Videoalgorithmus jeden anderen Hintergrund lernt. Ferner würde dies die Fähigkeit des Systems nicht nachteilig beeinflussen, sich an Änderungen der Helligkeit des Hintergrundlichts anzupassen.
Eine gemusterte Beleuchtung kann auch von einer Lichtquelle auf den sichtbaren Bereich der Kamera projiziert werden. Solange die Kamera und die Quelle für das sichtbare Licht unterschiedlich sind, bewirken versetzte Orte, Parallaxeneffekte, Verzerrungen des projizierten Musters des Sichtfelds der Kamera, wenn sich Objekte durch das Sichtfeld der Kamera bewegen. Die Verzerrung unterstützt es, dass Objekte, die ähnliche Farben aufweisen, sich deutlich voneinander abheben. Wenn der Unterschied verwendet wird, den die beiden von der Kamera gesehenen Bilder aufweisen, so zeigt das Ergebnis die Form jedes Objekts, dass erschienen, verschwunden oder sich zwischen den beiden Bildern bewegt hat. Wenn das Bild eines Objekts vor dem Hintergrund von einem Bild des Hintergrunds alleine subtrahiert wird, so handelt es sich bei dem Ergebnis um ein Bild, das dort, wo Hintergrund ist, Null ist, und das ungleich Null ist, dort wo sich Objekte befinden. Diese Technik kann in Kombination mit anderen hierin beschriebenen Aspekten der vorliegenden Erfindung eingesetzt werden.
Eine gemusterte Lichtquelle kann auf unterschiedliche Art und Weise erreicht werden. Ein Verfahren ist der Einsatz eines Lumineszenzdioden-Clusters (LED-Cluster) oder einer anderen nicht sichtbaren Lichtquelle in einem Diaprojektor. Eine Reihe von Linsen würde dabei eingesetzt, um die Lichtquelle durch ein Dia zu fokussieren, das das gewünschte Muster aufweist, wodurch das Bild des Musters auf den sichtbaren Bereich der Kamera geworfen wird. Gemäß einem anderen Verfahren kann ein Infrarot-Laserstrahl auf einen Lasermustergenerator scheinen oder eine andere Streueinrichtung, um ein Lichtmuster in dem sichtbaren Bereich der Kamera zu erzeugen. Licht kann abgelenkt, durch Blenden geführt, abgetastet, etc. werden, um ein Muster zu erreichen. Viele andere Ansätze sind ebenfalls möglich.
Eine gemusterte Lichtquelle eignet sich ebenfalls für dreidimensionales maschinelles Sehen. Dreidimensionale Techniken für das maschinelle Sehen, wie etwa der Marr-Poggio-Algorithmus, verwenden als Eingang zwei Bilder der gleichen Szene aus leicht unterschiedlichen Winkeln. Die Muster auf den Bildern werden abgestimmt, um die Höhe des Versatzes zu bestimmen und somit die Entfernung von der Kamera an jedem Punkt des Bilds. Die Leistung des Algorithmus verschlechtert sich, wenn Objekte mit einheitlicher Farbe behandelt werden, da die einheitliche Farbe die Abstimmung der entsprechenden Abschnitte in dem Bildpaar erschwert. Somit kann die gemusterte Lichtquelle die Abstandsschätzwerte einiger Algorithmen für das dreidimensionale maschinelle Sehen verbessern.
Die beiden Eingangsbilder dieser Algorithmen des dreidimensionalen Sehens werden für gewöhnlich unter Verwendung eines auf die Szene gerichteten Kamerapaares erzeugt. Es wäre aber auch möglich, nur eine Kamera zu verwenden. Das zweite Bild kann eine vollständig verzerrungsfreie Version des projizierten Musters sein, das vorab bekannt ist. Das Bild des Musters ist im Wesentlichen identisch mit dem Bild, das eine zweite Kamera sehen würde, wenn sie an der genau gleichen Position platziert wäre wie die gemusterte Lichtquelle. Somit können das Sichtfeld der einzelnen Kamera und das projizierte Muster gemeinsam als eine Eingabe in den Algorithmus für das dreidimensionale Sehen verwendet werden. Alternativ kann das zweite Bild ein Bild des Hintergrunds alleine darstellen, aufgenommen von der gleichen Kamera.
Zwar können viele verschiedene Arten von Mustern verwendet werden, wobei ein hoch auflösendes Zufallspunktmuster jedoch bestimmte Vorteile sowohl für das zweidimensionale als auch das dreidimensionale Sehen aufweist. Durch die Zufälligkeit des Punktmusters ist es höchst unwahrscheinlich, dass ein signifikant bemessener Abschnitt des Punktmusters ohne das vorhandene Objekt dem Muster ähnlich sieht. Dies maximiert die Fähigkeit, dass der Visionsalgorithmus Verschiebungen in dem Muster detektiert und somit Objekte. Die Verwendung eines regelmäßigen Musters wie etwa eines Rasters bzw. eines Gitters kann bestimmte Schwierigkeiten erzeugen, da verschiedene Abschnitte des Musters identisch sind, was bewirkt, dass das verschobene bzw. versetzte Muster häufig wie das nicht verschobene Muster aussieht.
Die Abbildungen der 5A bis D zeigen die Nützlichkeit eines Zufallspunktmusters beim Detektieren eines Objekts. Die Abbildung aus 5A zeigt ein Bild einer Person bei normaler Beleuchtung. Die Person weist eine ähnliche Helligkeit auf wie der Hintergrund, was die Erkennung schwierig gestaltet. In der Abbildung aus 5B wird ein Zufallspunktmuster auf den Hintergrund projiziert, und zwar von einer Lichtquelle in der Nähe der Kamera. Wenn eine Person vor diesem Muster steht, so wird das von der Person reflektierte Muster verschoben, wie dies in der Abbildung aus 5C dargestellt ist. Durch die Verwendung der Differenz zwischen den Bildern der 5B und 5C wird das Bild aus 5D erhalten, das den Bildbereich der Person mit einem starken Signal definiert.
Andere Ansätze können verwendet werden, um die Objekterkennung zu verbessern. Zum Beispiel kann eine Lichtquelle „abgetastet" oder periodisch ein- und ausgeschaltet werden, so dass die Detektion von Schatten durch andere Lichtquellen (z.B. Umgebungslicht) erleichtert wird.
Nachdem ein Objekt detektiert und definiert worden ist, verwendet das bevorzugte Ausführungsbeispiel eine Gradientenaura bzw. eine Verlaufsaura, um den Grad und die Richtung der Interaktion des Objekts mit einem angezeigten Bildelement zu bestimmen.
Die Abbildung aus 6A zeigt einen menschlichen Benutzer, der mit einem Videoobjekt interagiert.
In der Abbildung aus 6A wurde das Objekt 304 detektiert und ist in Umrissform dargestellt. Eine Darstellung des Objekts in der Verarbeitung eines Computers kann die in der Abbildung aus 6A dargestellte Umrissdefinition verwenden. Der Videoschirm 302 zeigt verschiedene Bildelemente an, wie etwa ein Bild 306 eines Balls.
Die Abbildung aus 6B veranschaulicht ein Einflussbild für die Region 308 aus 6A.
In der Abbildung aus 6B werden das Umrissbild des Fußes 320 des Benutzers und des Unterschenkels für die Erzeugung sukzessive größerer Umrissbereiche verwendet. Dem Bereich des ursprünglichen Umrissbereichs 320 ist ein hoher Pixelhelligkeitswert zugeordnet, der weiß entspricht. Jede folgende Umrissbereich 322, 324, 326, 328, 330 ist einem progressive niedrigeren Wert zugeordnet, so dass ein weit von dem ursprünglichen Umrissbereich (weiß) entfernter Punkt einen niedrigeren Pixelwert aufweist. Hiermit wird festgestellt, dass jede Anzahl von Umrissbereichen bzw. Umrissflächen verwendet werden kann. Ferner können die Größe und die Inkremente der Umrissbereiche nach Wunsch variieren. Zum Beispiel ist es möglich, einen ununterbrochenen Gradienten zu verwenden, an Stelle von diskreten Bereichen. Die Menge aller Umrissbereiche wird als das „Einflussbild" bezeichnet.
Das Einflussbild wird mit verschiedenen Bildelementen verglichen. In der Abbildung aus 6B trifft ein Ballelement 306 auf die Gradientenbereiche 326, 328 und 330 auf. Wie dies im Fach bekannt ist, werden die Richtungslinien in der Richtung des Verlaufs des Pixelwertfelds für die Auftreffbereiche bestimmt. Die Abbildung aus 6B zeigt drei beispielhafte Richtungslinien in dem Element 306. Die Richtungslinien können kombiniert werden, wie zum Beispiel durch Mittelwertbildung, wobei aber auch eine einzelne Linie verwendet werden kann. Die Verarbeitung detektiert ferner, dass es sich bei dem hellsten Umrissbereich, auf den das Element trifft, um den Umrissbereich 326 handelt. Andere Ansätze sind ebenso möglich. Zum Beispiel kann ein Mittelwert der Helligkeit und des Gradienten über jeden Punkt in dem Bereich des Bildelements oder an einer Teilmenge dieser Punkte vorgenommen werden. Ferner können bestimmte Ausführungsbeispiele die Dauer des Kontakts als einen Faktor aufweisen, zusätzlich zu der Helligkeit und dem Gradient.
Die Interaktion zwischen einem Objekt, wie etwa einer Person, und einem Element auf dem Schirm, wird unter Verwendung sowohl der Helligkeit der Aufprallumrissbereiche als auch der Richtung berechnet, die unter Verwendung von einer oder mehreren Richtungslinien berechnet wird. Die Aufprallhelligkeit entspricht der Stärke, mit welcher der Benutzer das Element „berührt". Der Gradient entspricht der Richtung (oder von, abhängig von dem Vorzeichen der Berechnung), in welche das Element berührt wird.
Die vorliegende Erfindung wurde vorstehend zwar in Bezug auf besondere Ausführungsbeispiele der Erfindung beschrieben, wobei diese Ausführungsbeispiele jedoch nur Zwecken der Veranschaulichung dienen und nicht einschränken. Zum Beispiel verwenden die bevorzugten Ausführungsbeispiele der Erfindung zwar eine Kamera als Detektor, wobei jedoch auch andere Arten von Erkennungsvorrichtungen eingesetzt werden können. Die Kamera kann digital oder analog sein. Eine Stereokamera kann verwendet werden, um zusätzlich zu Positionsinformationen auch Tiefeninformationen bereitstellen. In Fällen, in denen die Verarbeitung und die Anzeige nicht in Echtzeit vorgenommen werden, können Film und andersartige Medien eingesetzt und durch digitale Umwandlung gefolgt werden, bevor die Eingabe der Daten in einen Prozessor erfolgt. Lichtsensoren oder Detektoren können eingesetzt werden. Zum Beispiel kann an Stelle einer Kamera eine Anordnung von Fotodetektoren verwendet werden. Andere hierin nicht erwägte Detektoren können ebenfalls mit entsprechend geeigneten Ergebnissen verwendet werden.
Im Allgemeinen kann jede Art von Anzeigevorrichtung in Verbindung mit der vorliegenden Erfindung eingesetzt werden. Zum Beispiel wurden zwar Videovorrichtungen in verschiedenen Ausführungsbeispielen und Konfigurationen beschrieben, wobei aber auch andersartige visuelle Darstellungsvorrichtungen verwendet werden können. Eingesetzt werden können eine Lumineszenzdiodenanordnung (LED), organische LED- (OLED), Licht emittierende Polymer- (LEP), elektromagnetische, Kathodenstrahl-, Plasma-, mechanische oder andere Anzeigesysteme.
Anzeigen der virtuellen Realität, dreidimensionale Anzeigen oder andersartige Anzeigen können eingesetzt werden. Zum Beispiel kann ein Benutzer eine Sichtbrille oder eine Kapuze tragen, so dass er in eine erzeugte Umgebung eintauchen kann. Bei diesem Ansatz kann die erzeugte Anzeige ausgerichtet werden mit der Wahrnehmung der Umgebung durch den Benutzer, um eine verbesserte oder optimierte Realität zu erzeugen. Ein Ausführungsbeispiel kann es einem Benutzer ermöglichen, mit einem Bild eines Charakters bzw. einer Figur zu interagieren. Die Figur kann durch Computer erzeugt werden, von einem menschlichen Schauspieler gespielt werden, etc. Die Figur bzw. der Charakter kann auf die Aktionen und die Körperposition des Benutzers reagieren. Die Interaktionen können Sprache, die gemeinsame Manipulation von Objekten, etc. aufweisen.
Mehrere Systeme können miteinander verbunden werden, wie zum Beispiel durch ein digitales Netzwerk. Zum Beispiel können Ethernet, Universal Serial Bus (USB), IEEE 1394 (Firewire), etc. eingesetzt werden. Kabellose Vermittlungsabschnitte können ebenfalls eingesetzt werden, wie sie etwa durch 802.11b, etc. definiert sind. Unter Verwendung mehrerer Systeme können Benutzer an unterschiedlichen geographischen Standorten zusammenwirken, konkurrieren oder anderweitig durch erzeugte Bilder miteinander in Interaktion treten. Bilder, die durch zwei oder mehr Systeme erzeugt werden, können wie „Kacheln" zusammengefügt werden oder anderweitig kombiniert werden, um zusammengesetzte Anzeigen zu erzeugen.
Es können auch andere Arten der Beleuchtung als Licht eingesetzt werden. Zum Beispiel können Radarsignale, Mikrowellen oder andere elektromagnetische Wellen in Situationen vorteilhaft eingesetzt werden, in denen ein zu erkennendes Objekt (z.B. ein Metallobjekt) diese Wellen in hohem Maße reflektiert. Es ist möglich, Aspekte des Systems an andere Arten der Erkennung anzupassen, wie etwa unter Verwendung akustischer Wellen in Luft oder Wasser.
Obgleich Computersysteme so beschrieben worden sind, dass sie die Objektbildsignale empfangen und verarbeiten und Anzeigesignale erzeugen, kann jedes andersartige Verarbeitungssystem verwendet werden. Zum Beispiel kann ein Verarbeitungssystem eingesetzt werden, das keinen Allround-Computer einsetzt. Verarbeitungssysteme, die Designs auf der Basis individueller oder semi-individueller Schaltkreisanordnungen oder Chips, anwendungsspezifischer integrierter Schaltungen (ASICs), feldprogrammierbarer Gate-Arrays (FPGAs), Mikroprozessoren, einem asynchronen Design oder eines beliebigen Architekturdesigns oder Methoden verwenden, können sich ebenfalls zur Verwendung in Verbindung mit der vorliegenden Erfindung eignen.
Der Umfang der vorliegenden Erfindung ist somit ausschließlich durch die anhängigen Ansprüche definiert.

Claims

System zum Detektieren eines Objekts (1; 304) und zum Erzeugen einer Anzeige (302) als Reaktion darauf, wobei das genannte Objekt mit mindestens einem virtuellen Element (306) interagiert, das auf der genannten Anzeige angezeigt wird, wobei das System folgendes umfasst: eine erste Quelle (2) zur Ausgabe elektromagnetischer Energie in einem ersten Wellenlängenbereich in Richtung einer Position, die das genannte Objekt (1) umfasst; einen Detektor (3) zum Detektieren einer Reflexion der ersten Quelle elektromagnetischer Energie von der genannten Position; einen Prozessor (5), der mit dem Detektor gekoppelt ist und zur Implementierung eines Verfahrens zu folgenden Zwecken bereitgestellt ist: zum Detektieren eines Bilds des Objekts in der genannten detektierten Reflexion; zum Bestimmen eines Einflussbilds des Objekts (322, 324, 326, 328, 330), wobei das Einflussbild einen Bereich um das detektierte Bild des Objekts aufweist, wobei der Bereich Pixel mit Werten umfasst, die sie von dem detektierten Bild unterscheiden, und wobei der Bereich um das detektierte Bild einen Pixelwertübergang bildet, der die Berechnung eines Grads und einer Richtung des Einflusses des Objekts auf mindestens ein virtuelles Element bereitstellt; und zum Erzeugen eines Anzeigesignals, das mindestens ein virtuelles Element aufweist, wobei das Einflussbild mit dem genannten mindestens einen virtuellen Element interagiert; und eine zweite Quelle (7) zur Ausgabe elektromagnetischer Energie in einem zweiten Wellenlängenbereich, wobei die zweite Quelle als Reaktion auf das genannte Anzeigesignal eine sichtbare Anzeige erzeugt, wobei sich der erste und der zweite Wellenlängenbereich voneinander unterscheiden.
System nach Anspruch 1, wobei das Erzeugen des Anzeigesignals folgendes umfasst: das Erzeugen eines virtuellen Elements; das Detektieren des Auftreffens des virtuellen Elements auf das Einflussbild; und das Ableiten der Interaktion des Einflussbilds auf das virtuelle Element von dem detektierten Auftreffen.
System nach Anspruch 1 oder 2, wobei das detektierte Objekt ein Umrissbild des Objekts darstellt.
System nach einem der Ansprüche 1 bis 3, wobei die erste Quelle Licht ausgibt, das sich nicht in dem sichtbaren Spektrum befindet, wie etwa Infrarotlicht, und wobei die zweite Quelle Licht ausgibt, das sich in dem sichtbaren Spektrum befindet.
System nach einem der Ansprüche 1 bis 4, wobei das Objekt (1; 11; 22; 304) einen menschlichen Benutzer aufweist, und wobei die zweite Quelle (7) einen Videoprojektor aufweist, wie etwa zum Projizieren von Bildern auf eine Oberfläche (8; 23) angrenzend an das Objekt (1; 22), wobei die Oberfläche (23) Bestandteil ist von: einem Abwärtsprojektionssystem; einem Rückprojektionssystem; und einem Aufprojektionssystem.
System nach einem der Ansprüche 1 bis 5, wobei die erste Quelle ein Muster (B) der Beleuchtung aufweist, wie etwa ein Zufallspunktmuster; ferner mit einer Einrichtung zum Erzeugen des Musters der Beleuchtung, wie etwa eines Infrarot-Lumineszenzdioden-Clusters zum Erzeugen des Beleuchtungsmusters.
System nach einem der Ansprüche 1 bis 6, wobei das Einflussbild (322, 324, 326, 328, 330) des Objekts eine beliebige Anzahl sukzessive größerer Umrissbereiche umfasst.
System nach Anspruch 7, wobei das Einflussbild (322, 324, 326, 328, 330) des Objekts mehr als einen Umrissbereich umfasst.
System nach einem der Ansprüche 7 oder 8, wobei jeder sukzessive größere Umrissbereich einem progressiv niedrigeren Wert zugeordnet ist, so dass einem weiter von dem Objektumriss entfernten Umrissbereich ein niedrigerer Wert zugeordnet ist.
System nach einem der Ansprüche 8 oder 9, wobei das Einflussbild mindestens einen größeren Umrissbereich umfasst, dessen Pixel kontinuierlich ein progressiv niedrigerer Wert zugeordnet wird, so dass einem weiter von dem Objektumriss angeordneten Pixel ein niedrigerer Wert zugeordnet ist.
System nach einem der Ansprüche 8 bis 10, wobei das Berechnen einer Richtung der Interaktion das Bestimmen von Richtungslinien in der Richtung eines Gradienten der Pixelwerte für Auftreffbereiche zwischen dem Einflussbild und dem virtuellen Element umfasst.
System nach einem der Ansprüche 8 bis 11, wobei der Grad des Einflusses des Objekts auf das virtuelle Element eine Stärke darstellt, die von Werten abgeleitet wird, die den Pixeln der Umrissbereiche zugeordnet sind, in denen das virtuelle Element auftrifft.
System nach einem der Ansprüche 11 oder 12, wobei für den Wert und den Gradienten der Pixel Mittelwerte über zumindest eine Teilmenge der Pixel der Umrissbereiche gebildet werden, in denen das virtuelle Element auftrifft.
System nach einem der Ansprüche 8 bis 13, wobei die Dauer des Kontakts zwischen dem virtuellen Element und dem Einflussbild zur Bestimmung des Einflusses des Objekts auf das virtuelle Element berücksichtigt wird.
System nach einem der Ansprüche 1 bis 14, wobei der Prozessor bereitgestellt ist, um das Bild des Objekts dadurch zu detektieren, dass das Objekt von einem Hintergrund der detektierten Reflexion getrennt wird, wobei das Trennen des Objekts von dem Hintergrund das Erzeugen eines adaptiven Modells des genannten Hintergrunds umfasst, indem Veränderungen der detektierten Reflexion im Zeitverlauf analysiert werden.
System nach Anspruch 15, wobei das Erzeugen eines adaptiven Modells des genannten Hintergrunds das Berechnen eines gewichteten Mittelwerts einer aktuell detektierten Reflexion und vorher detektierter Reflexionen aufweist, und wobei das Trennen des Objekts von dem Hintergrund das Subtrahieren des gewichteten Mittelwerts von der aktuell detektierten Reflexion aufweist.
System nach Anspruch 1, wobei das genannte Verfahren ferner folgendes umfasst: ein Verfahren zum Bestimmen eines Gradienten des Einflussbilds; und ein Verfahren zur Verwendung des Gradienten zum Bestimmen der Interaktion zwischen dem Objekt (304) und dem genannten virtuellen Element (306).
System nach einem der Ansprüche 1 bis 17, wobei das genannte virtuelle Element ein Rendering des genannten Objekts aufweist.
System nach Anspruch 1, wobei das genannte Verfahren folgendes umfasst: das Verwenden einer in einem Muster vorgesehenen Beleuchtung (B), wie etwa: eines Zufallspunktmusters, und eines Schachbrettmusters, zur Beleuchtung eines Hintergrunds; und das Verwenden eines Verarbeitungssystems zum Definieren des Objekts getrennt von dem Hintergrund.
System nach Anspruch 17, wobei das Verfahren zum Verwenden des Gradienten zum Bestimmen der Interaktion zwischen dem Objekt (304) und dem genannten virtuellen Element (306) folgendes umfasst: das Verwenden eines Prozessors zum Bestimmen einer Begrenzung für das virtuelle Element; und das Identifizieren einer Interaktion durch den Einsatz des Gradienten und der Begrenzung.
System nach Anspruch 20, wobei das genannte Verfahren ferner folgendes umfasst: das Verwenden eines Prozessors zum Bestimmen einer Helligkeit eines von dem Objekt abgeleiteten Bereichs; und das Identifizieren einer Interaktion durch den Einsatz der Helligkeit des Bereichs und der Begrenzung.
System nach Anspruch 20 oder 21, wobei es sich bei der Interaktion um eine der folgenden Interaktionen handelt: eine Person schiebt das Element; eine Person berührt das Element; eine Person verformt das Element; und eine Person manipuliert das Element; und und wobei es ferner zusätzliche Merkmale wie etwa einen Audioausgang für die Ausgabe von Ton umfasst.
Verfahren zum Detektieren eines Objekts (1; 304) und zum Erzeugen einer Anzeige (302) als Reaktion darauf, wobei das genannte Objekt mit mindestens einem virtuellen Element (306) interagiert, das auf der genannten Anzeige angezeigt wird, wobei das Verfahren folgendes umfasst: das Verwenden von Licht mit einer ersten Wellenlänge zum Beleuchten einer Position, welche das genannte Objekt umfasst; das Verwenden einer Kamera (3), die auf das Licht mit einer ersten Wellenlänge anspricht, so dass eine Reflexion des genannten Lichts von der genannten Position detektiert wird; das Verwenden eines Prozessors (5), der mit der Kamera gekoppelt ist, um ein Verfahren zu folgenden Zwecken zu implementieren: zum Detektieren eines Bilds des Objekts in der genannten detektierten Reflexion; zum Bestimmen eines Einflussbilds des Objekts (322, 324, 326, 328, 330), wobei das Einflussbild einen Bereich um das detektierte Bild des Objekts aufweist, wobei der Bereich Pixel mit Werten umfasst, die sie von dem detektierten Bild unterscheiden, und wobei der Bereich um das detektierte Bild einen Pixelwertübergang bildet, der die Berechnung eines Grads und einer Richtung des Einflusses des Objekts auf mindestens ein virtuelles Element bereitstellt; und zum Erzeugen eines Anzeigesignals, das mindestens ein virtuelles Element aufweist, wobei das Einflussbild mit dem genannten mindestens einen virtuellen Element interagiert; und das Verwenden von Licht mit einer zweiten Wellenlänge, die sich von der ersten Wellenlänge unterscheidet, um aus dem genannten Anzeigesignal ein angezeigtes Bild zu erzeugen.
Verfahren nach Anspruch 23, wobei das Objekt einen menschlichen Benutzer (304) darstellt, und wobei das Erzeugen des Anzeigesignals den Einsatz eines Videoprojektors aufweist, wie etwa zum Projizieren von Bildern auf eine Oberfläche (8; 23) angrenzend an das Objekt (1; 22), wobei die Oberfläche (23) Bestandteil ist von: einem Abwärtsprojektionssystem; einem Rückprojektionssystem; und einem Aufprojektionssystem.
Verfahren nach einem der Ansprüche 23 oder 24, wobei mehrere Kameras verwendet werden, und wobei mindestens zwei Kameras verwendet werden, um einen Stereoeffekt zu erzeugen.
Verfahren nach einem der Ansprüche 23 bis 25, wobei ein Plasmabildschirm zum Erzeugen des angezeigten Bilds verwendet wird.
Verfahren nach einem der Ansprüche 23 bis 26, wobei das angezeigte Bild Werbung aufweist.
Verfahren nach einem der Ansprüche 23 bis 26, wobei das angezeigte Bild Teil eines Videospiels ist.
Verfahren nach einem der Ansprüche 23 bis 28, wobei das Verfahren ferner folgendes umfasst: das Stroben des Lichts mit einer ersten Wellenlänge.
Verfahren nach einem der Ansprüche 23 bis 29, wobei das Verfahren ferner folgendes umfasst: das Verbinden mehrerer Systeme miteinander, so dass Informationen zur Bilddetektierung und Anzeigen zwischen den Systemen übertragen werden können.
Verfahren nach Anspruch 30, wobei das Verfahren ferner folgendes umfasst: das Verwenden der übertragenen Informationen zum Erzeugen einer einzigen Anzeige von zwei oder mehr Anzeigen.
Verfahren nach einem der Ansprüche 23 bis 31, wobei das Verfahren zum Detektieren des genannten Bilds des menschlichen Benutzers in dem genannten ersten Bild folgendes umfasst: das Verwenden eines in einem Muster vorgesehenen Hintergrunds; und das Verwenden eines Verarbeitungssystems zum Definieren des Bilds des menschlichen Benutzers getrennt von dem Hintergrund.