-
Die vorliegende Erfindung betrifft
allgemein das Gebiet fotografischer und/oder Video-Bilderfassungssysteme
und im Besonderen ein verbessertes Bilderfassungssystem, das die
einzelnen Bilder von mindestens zwei Bilderfassungsvorrichtungen
verknüpfen
kann, so dass eine virtuelle Kamera für eine simulierte Sichtlinien-Bilderfassung
erzeugt wird.
-
Eine grundlegende Herausforderung
auf dem Gebiet der fotografischen und/oder Video-Bilderfassung ist
es sicherzustellen, dass die Bilderfassungsvorrichtung und das Motiv
richtig positioniert sind, um eine Sichtlinien-Bilderfassung vorzusehen. Der hierin
verwendete Begriff "Sichtlinien-Bilderfassung" bedeutet das Erfassen
eines fotografischen und/oder Videobilds, während das Motiv direkt in die Linse
bzw. das Objektiv der Bilderfassungsvorrichtung sieht. Die Sichtlinien-Bilderfassung
ist wünschenswert,
da die resultierenden fotografischen und/oder Videobilder das Motiv
in Richtung eines Betrachters darstellen, so dass ein simulierter
direkter Blickkontakt erzeugt wird. Wenn keine Sichtlinien-Bilderfassung
ausgeführt
wird, so scheint es, als ob das Motiv von dem Betrachter weg sieht,
wodurch die Nähe
verloren geht, die ein Blickkontakt schafft, wie dies allgemein
bekannt ist.
-
Die Sichtlinien-Bilderfassung umfasst
zwei grundlegende Vorgänge.
Zuerst müssen
die Bilderfassungsvorrichtung und das Motiv so positioniert werden,
dass sich das Motiv im Sichtfeld der Bilderfassungsvorrichtung befindet.
Dies kann durch Einstellen der Position des Motivs und/oder der
Bilderfassungsvorrichtung erreicht werden, während die Position. des Motivs
unter Verwendung eines Suchers oder eines Vorschaufensters angepasst
wird. Zweitens muss das Motiv während
der Bilderfassung direkt in die Linse der Bilderfassungsvorrichtung
blicken. Das Endergebnis ist ein fotografisches und/oder Videobild,
welches das Motiv darstellt, das direkt auswärts blickt, um einen direkten
Blickkontakt mit einer Betrachtungsperson zu simulieren.
-
Die Sichtlinien-Bilderfassung ist
nicht besonders schwierig, wenn versucht wird, das fotografische
und/oder Videobild einer anderen Person zu erfassen. Eine Bedienungsperson
kann das Motiv in dem Sucher einfach ansehen, die Bilderfassungsvorrichtung
und/oder die Positionierung des Motivs anpassen, um sicherzustellen,
dass sich das Motiv innerhalb des Betrachtungswinkels der Linse
befindet, und wobei das Motiv daraufhin angewiesen wird, in die
Linse zu blicken bzw. zu sehen, bevor die Bilderfassungsvorrichtung
aktiviert wird. Es treten jedoch einzigartige Herausforderungen
auf, wenn die Bedienungsperson der Bilderfassungsvorrichtung das
eigene fotografische und/oder Videobild erfassen möchte. Bei
fotografischen Aufnahmen kann es für die Bedienungsperson zum
Beispiel schwierig sein, sicherzustellen, dass sie sich richtig
innerhalb des Blickwinkels der Bilderfassungsvorrichtung positioniert
befindet. Die Bedienungsperson kann versuchen, von sich selbst eine
fotografische Aufnahme zu machen, indem sie eine fotografische Bilderfassungsvorrichtung
mit ausgestreckten Armen hält
und auf sich selbst richtet. Dies kann sich jedoch schwierig gestalten,
da die Bedienungsperson nicht in der Lage ist, ihr eigenes Bild
in der Vorschau zu betrachten, da sich der Sucher auf der anderen
Seite der fotografischen Bilderfassungsvorrichtung befindet.
-
Das Problem wurde auf dem Gebiet
der Video-Camcorder durch neue Sucher gelöst, die wahlweise in die gleiche
Richtung wie die Linse ausgerichtet werden können, so dass sich Bedienungspersonen
während
der Aufnahme ihres eigenen Videobilds selbst betrachten können. Ungeachtet
dieser Verbesserung ist die Sichtlinien-Bilderfassung weiterhin
schwierig auszuführen,
da die Bedienungsperson per Definition von der Linse bzw. dem Objektiv der
Bilderfassungsvorrichtung weg blicken muss, um das eigene Bild im
Sucher in der Vorschau zu betrachten. Wenn die Bedienungsperson
eine Bilderfassung vornimmt, während
sie in den Sucher schaut, so scheint es, als ob die Bedienungsperson von
einem Betrachter weg sieht. Wenn die Bedienungsperson vor der Ausführung der
Bilderfassung wieder zurück
zur Linse blickt, so besteht die Gefahr, dass die Bedienungsperson
versehentlich die Position des Objektivs verändert, so dass die resultierenden
Bilder nicht innerhalb des Sichtfelds zentriert sind.
-
Rechnergestützte Bilderfassungssysteme leiden
unter ähnlichen
Nachteilen in Bezug auf die Ausführung
einer Sichtfeld-Bilderfassung.
Rechnergestützte
Bilderfassungssysteme können
zum Beispiel Videokonferenzsysteme, Videotelefonsysteme, Videonachrichtensysteme,
Videopostkartensysteme, multimediale Schulungssysteme und multimediale Autorensysteme
umfassen. Derartige Systeme weisen mindestens ein Display zur visuellen Übermittlung
grafischer und/oder textlicher Informationen an eine Bedienungsperson,
eine Bilderfassungsvorrichtung zur Erfassung des fotografischen
und/oder Videobilds der Bedienungsperson und eine Computer-Verarbeitungseinheit
zur Koordination des Betriebs des Systems insgesamt auf. Die Bilderfassungsvorrichtung
ist an einer vorbestimmten Position um die Peripherie des Displays
angeordnet, so dass die Bedienungsperson freie Sicht auf das Display
hat.
-
Das größte Hindernis bei der Ausführung einer
Sichtlinien-Bilderfassung
bei derartigen rechnergestützten
Bilderfassungssystemen resultiert aus der physikalischen Entfernung
bzw. dem Versatz zwischen der Bilderfassungsvorrichtung und dem
Display. Genauer gesagt kann die Sichtlinien-Bilderfassung in rechnergestützten Bilderfassungssystemen nur
zu Lasten der Betrachtung der Informationen auf dem Display ausgeführt werden.
Dies ist zum Beispiel in Bezug auf die in der Abbildung aus 1 dargestellte, dem Stand
der Technik entsprechende Desktop-Videokonferenzstation 2 ersichtlich.
Die Videokonferenzstation 2 umfasst ein Videodisplay 4, eine
Bilderfassungsvorrichtung 6 und einen Personalcomputer
B. Die Bilderfassungsvorrichtung 6 befindet sich oberhalb
des Videodisplays 4, um sicherzustellen, dass der lokale
Konferenzteilnehmer 10 freie Sicht auf die Informationen
auf dem Display 4 aufweist. Dadurch wird notwendigerweise
ein vertikaler Versatz zwischen der Bilderfassungsvorrichtung 6 und
dem lokalen Konferenzteilnehmer 10 erzeugt, so dass der
lokale Konferenzteilnehmer 10 beim Blick auf das Display 4,
wie unter 12 dargestellt, aus der Position des entfernten
Konferenzteilnehmers scheinbar von der Bilderfassungsvorrichtung 6 weg sieht.
Um einen direkten Blickkontakt mit dem entfernten Konferenzteilnehmer
herzustellen, muss der lokale Konferenzteilnehmer 10 direkt
in das Objektiv der Bilderfassungsvorrichtung 6 blicken,
wie dies unter 14 dargestellt ist. Auf nachteilige Art
und Weise wird danach die Fähigkeit
des lokalen Konferenzteilnehmers 10 eingeschränkt, auf
die auf dem Display 4 angezeigten Informationen zu blicken.
-
Obwohl dies bereits vorstehend in
Bezug auf ein Videokonferenzsystem beschrieben worden ist, wird
hiermit festgestellt, dass dieses Problem in jeder rechnergestützten Anwendung
existiert, wenn eine Bedienungsperson das eigene Bild erfassen möchte. Zu
diesen Anwendungen zählen
ohne einzuschränken
unter anderem Videokonferenzen, Videotelefonie, Videonachrichtenübermittlung,
Videopostkartenversand, multimediale Schulungen und multimediale Autorensysteme.
-
EP-A-5359362 offenbart ein Telekonferenz-Videosystem
unter Verwendung von zwei Kameras, die auf entgegengesetzten Seiten
einer optischen Achse zwischen einer Bedienungsperson und einem
Monitor symmetrisch positioniert sind, so dass auf dem Monitor ein
Bild der Bedienungsperson erzeugt wird. Die beiden Kameras sehen
aus den beiden beobachteten Bildern ein virtuelles Bild vor, das dem
Bild entspricht, das eine einzelne Kamera sehen würde, die
auf der optischen Achse angeordnet ist. Das U.S. Patent US-A-5.444.478
offenbart ein Verfahren zur Verarbeitung von Bildern zur Konstruktion eines
Zielbilds aus benachbarten Bildern mit einer festen Bildlinie. Dieses
Bezugspatent betrifft die Zusammenführung von Bildern benachbarter
Bereiche und offenbart nicht die Verknüpfung von Bildern des gleichen
Bereichs, die aus verschiedenen Blickwinkeln aufgenommen werden.
-
Der vorliegenden Erfindung liegt
die Aufgabe zugrunde, die Auswirkungen eines oder mehrerer der vorstehend
aufgeführten
Probleme ganz oder zumindest teilweise zu überwinden.
-
Vorgesehen ist gemäß einem
ersten Aspekt der vorliegenden Erfindung eine Vorrichtung gemäß dem gegenständlichen
Anspruch 1.
-
Vorgesehen ist gemäß einem
zweiten Aspekt der vorliegenden Erfindung ein Verfahren gemäß dem gegenständlichen
Anspruch 5.
-
Weitere Aufgaben und Vorteile der
vorliegenden Erfindung werden beim Lesen der folgenden genauen Beschreibung
und in Bezug auf die Zeichnungen deutlich. In den Zeichnungen zeigen:
-
1 eine
Seitenansicht einer dem Stand der Technik entsprechenden Videokonferenzstation;
-
2 ein
Flussdiagramm eines Verfahrens zur Realisierung einer Sichtlinien-Bilderfassung
in einem rechnergestützten
Bilderfassungssystem gemäß der vorliegenden
Erfindung;
-
3 ein
Blockdiagramm der grundlegenden funktionalen Elemente eines verbesserten
Videokonferenzsystems, das bei der vorliegenden Erfindung zum Einsatz
kommt;
-
4 eine
Draufsicht des Sichtfelds für
jede Kamera eines Paares gemeinsam ausgerichteter Videokameras,
die bei der vorliegenden Erfindung zum Einsatz kommen;
-
5 eine
Draufsicht des Sichtfelds einer Videokamera, wie sie in dem Stand
der Technik entsprechenden Videokonferenzsystemen zum Einsatz kommt;
-
6 eine
Vorderansicht der Art und Weise, wie ein gemäß der vorliegenden Erfindung
erzeugtes zusammengesetztes Videobild von einem ersten Zustand auf
einen zweiten Zustand erweitert werden kann, um Parallaxenverzerrungen
zu entfernen;
-
7 eine
Perspektivansicht einer Videokonferenzstation;
-
8 eine
Perspektivansicht einer anderen Videokonferenzstation;
-
9 eine
Seitenansicht der Videokonferenzstation aus 8;
-
10 eine
Perspektivansicht einer weiteren Videokonferenzstation;
-
11 eine
Perspektivansicht einer weiteren Videokonferenzstation;
-
12 eine
Draufsicht der Videokonferenzstation aus 11;
-
13 eine
Perspektivansicht einer Videokonferenzstation eines Ausführungsbeispiels
gemäß der vorliegenden
Erfindung; und
-
14 eine
Perspektivansicht einer Videokonferenzstation eines weiteren Ausführungsbeispiels
gemäß der vorliegenden
Erfindung.
-
Nachstehend werden veranschaulichende Ausführungsbeispiele
der vorliegenden Erfindung beschrieben. Zur klareren Darstellung
werden in der vorliegenden Beschreibung nicht alle Merkmale einer tatsächlichen
Implementierung beschrieben. Natürlich
ist es offensichtlich, dass bei der Entwicklung jedes tatsächlichen
Ausführungsbeispiels
zahlreiche für
die Implementierung spezifische Entscheidungen getroffen werden
müssen,
um die speziellen Ziele der Entwickler umzusetzen, wie etwa die
Konformität
mit systembezogenen und geschäftsbezogenen
Einschränkungen,
die von Implementierung zu Implementierung unterschiedlich ausfallen.
Hiermit wird ferner festgestellt, dass ein derartiger Entwicklungsversuch
komplex und zeitaufwändig
sein kann; wobei es sich für
einen Fachmann auf dem Gebiet, der von der vorliegenden Offenbarung
profitiert, jedoch um eine Routine handeln kann.
-
Die Abbildung aus 2 zeigt ein Flussdiagramm, das ein Verfahren
zur Realisierung einer Sichtlinien-Bilderfassung in einem rechnergestützten Bilderfassungssystem
gemäß der vorliegenden
Erfindung veranschaulicht. Das Verfahren 16 zur Sichtlinien-Bilderfassung
findet im Besonderen Anwendung in rechnergestützten Bilderfassungssystemen,
wenn die Bedienungsperson sich selbst auf einem fotografischen und/oder
Videobild aufnehmen möchte.
Zu derartigen rechnergestützten
Bilderfassungssystemen zählen
zum Beispiel unter anderem Videokonferenzsysteme, Videotelefonsysteme,
Videonachrichtensysteme, Videopostkartensysteme, multimediale Schulungssysteme
und multimediale Autorensysteme.
-
Der erste Schritt 18 umfasst
das Erfassen eines ersten Bilds der Bedienungsperson von einer ersten
vorbestimmten Position um die Peripherie des Displays des rechnergestützten Bilderfassungssystems.
Der zweite Schritt 20 umfasst das Erfassen eines zweiten
Bilds der Bedienungsperson von einer zweiten vörbestimmten Position um die
Peripherie des Displays des rechnergestützten Bilderfassungssystems.
Gemäß einem
wichtigen Aspekt der vorliegenden Erfindung werden die Schritte 18 und 20 dadurch
realisiert, dass mindestens zwei Bilderfassungsvorrichtungen um
die Peripherie des Displays des rechnergestützten Bilderfassungssystems
vorgesehen werden. Die Anordnung der Bilderfassungsvorrichtungen
um die Peripherie des Displays ist erforderlich, um sicherzustellen,
dass die Bedienungsperson jederzeit einen freien bzw. unverstellten
Blick für
die visuelle Kommunikation auf das Display aufweist. Die Bilderfassung
in den Schritten 18 und 20 erfolgt vorzugsweise
gleichzeitig, so dass Bilder der Bedienungsperson aus mindestens
zwei unterschiedlichen Perspektiven zu einem bestimmten Zeitpunkt
gewonnen werden.
-
Die in den Schritten 18 und 20 erfassten
Bilder werden in dem Schritt 22 verknüpft, so dass eine virtuelle
Kamera an einer vorbestimmten Position auf dem Display des rechnergestützten Bilderfassungssystems
gebildet wird. Dadurch gemeint ist, dass die in den Schritten 18 und 20 gewonnenen
Einzelbilder derart verknüpft
werden, dass das resultierende zusammengesetzte Bild so erscheint,
als wäre
es von einer einzigen Bilderfassungsvorrichtung gewonnen, deren
Linse an der Oberfläche
des Displays angeordnet ist und zur Sichtlinien-Bilderfassung auf die Bedienungsperson
gerichtet. Dies als "virtuelle
Kamera" bezeichnet,
da die gewünschte
Sichtlinien-Bilderfassung
durch die Verknüpfung
der einzelnen Bilder simuliert wird, so dass die Erfassung derart
erscheint, als wäre
sie von einem einzelnen Punkt auf dem Display erfasst werden und
nicht unter Verwendung einer tatsächlichen Bilderfassungsvorrichtung,
die sich innerhalb des Perimeters des Displays befindet.
-
Der Schritt 24 umfasst das
Anzeigen des in dem Schritt 22 erhaltenen zusammengesetzten
Bilds auf dem lokalen Display oder einem entfernt angeordneten Display.
Die Projektion des zusammengesetzten Bilds aus dem Schritt 22 auf
das lokale Display kann in Situationen hilfreich sein, wenn die
Bedienungsperson ihr eigenes Bild in der Vorschau betrachten möchte, wie
etwa während
der Videonachrichtenübertragung,
dem Erzeugen von Videopostkarten, multimedialen Schulungen und multimedialen Autorenanwendungen.
Die Projektion des zusammengesetzten Bilds aus dem Schritt 22 auf
ein entfernt angeordnetes Display kann in Situationen nützlich sein,
wenn die Bedienungsperson ihr eigenes Bild an eine Person an einem entfernten
Standort übermitteln
möchte,
wie etwa während
Videokonferenzen oder der Videotelefonie. In jedem Fall hat es den
Anschein, als würde
die Bedienungsperson direkt aus dem zusammengesetzten Bild hinaus
blicken, so dass ein simulierter Blickkontakt mit einem Betrachter
vorgesehen wird. In einem bevorzugten Ausführungsbeispiel soll das zusammengesetzte Bild
auf das lokale oder entfernte Display projiziert werden, so das
es an der gleichen ungefähren
Position wie die virtuelle Kamera erscheint. Die gemeinsame Ausrichtung
des zusammengesetzten Bilds und der virtuellen Kamera auf diese
Weise sieht eine simulierte Sichtlinien-Bilderfassung vor, ohne
dass bewirkt wird, dass die Bedienungsperson ihre Augen von dem
Display entfernt, um in eine Bilderfassungsvorrichtung zu sehen.
-
Die Vorteile und der Nutzen aus der
Durchführung
der Sichtlinien-Bilderfassung in rechnergestützten Bilderfassungssystemen
gemäß der vorliegenden
Erfindung wird nachstehend in Bezug auf ein Videokonferenzsystem
erörtert.
Hiermit wird allgemein festgestellt, dass die folgenden Ausführungsbeispiele
lediglich als Beispiele dienen und die vorliegende Erfindung nicht
einschränken.
Das erfindungsgemäße Verfahren
kann ferner in jedem rechnergestützten
Bilderfassungssystem eingesetzt werden, bei dem die Bedienungsperson
ihr eigenes fotografisches und/oder Videobild erfassen möchte. Zusätzlich zu
einem Videokonferenzsystem kann es sich bei diesen rechnergestützten Bilderfassungssystemen unter
anderem und ohne einzuschränken
um Videotelefonsysteme, Video-Messaging-Systeme, Videopostkartensysteme,
multimediale Schulungssysteme und multimediale Autorensysteme handeln.
-
Die Abbildung aus 3 zeigt ein Blockdiagramm eines verbesserten
Videokonferenzsystems 30. Allgemein ausgedrückt weist
das verbesserte Videokonferenzsystem 30 eine Mehrzahl einzelner
Videokonferenzstationen 32 auf, die über einen Übermittlungsabschnitt 34 verbunden
sind, um den Austausch von Audio- und Videoinformationen zwischen entfernten
Konferenzteilnehmern 36 zu ermöglichen bzw. zu erleichtern.
Jede Videokonferenzstation 32 weist ein Steuermodul 38,
einen Videomonitor 40 und mindestens zwei Videokameras 42, 44 auf.
Die Videokameras 42, 44 sind auf entgegengesetzten
Seiten des Videomonitors 40 angeordnet, um Videobilder des
lokalen Konferenzteilnehmers 36 von mindestens zwei verschiedenen
Ausgangspunkten zu erhalten.
-
Gemäß einem Aspekt der vorliegenden
Erfindung verknüpft
das Steuermodul 38 jeder Videokonferenzstation 32 nahtlos
die durch die lokalen Videokameras 40, 42 erfassten
Videobilder, so dass ein einziges zusammengesetztes Videobild erzeugt wird,
das den lokalen Konferenzteilnehmer 36 zeigt, der anscheinend
direkt in eine Kamera blickt, die auf dem Bildschirm des lokalen
Bildschirms 40 angeordnet ist (eine "virtuelle Kamera"). Wenn das durch das lokale Steuermodul 38 erzeugte
zusammengesetzte Videobild somit zu dem Bildschirm 40 einer
entferntem Videokonferenzstation 32 übertragen wird, erscheint das
auf dem entfernten Bildschirm 40 angezeigte Bild als ob
es direkt zu dem entfernten Konferenzteilnehmer 36 blicken
würde.
Auf diese Weise können
die Konferenzteilnehmer 36 auf ihre lokalen Bildschirme 40 blicken,
während
es gleichzeitig nach außen
den Anschein hat, als würden
sie direkt in eine Kamera blicken, um einen effektiven Blickkontakt zwischen
den Konferenzteilnehmern 36 herzustellen.
-
Das Steuermodul 38 umfasst
eine Zentraleinheit (CPU) 46, eine Videografikkarte 48 und
eine oder mehrere Videoerfassungsvorrichtungen 50, 52. Die
CPU 46 verwaltet insgesamt den Betrieb und die Interaktion
zwischen der Videografikkarte 48, den Videoerfassungsvorrichtungen 50, 52,
dem Bildschirm 40 und den Videokameras 42, 44.
Die Videografikkarte 48 erleichtert die Übermittlung
von Videoinformationen von der CPU 46 zu dem Bildschirm 40.
Die durch die Videokameras 42 gewonnenen Videobilder werden über die
Videoerfassungsvorrichtungen 50, 52 zu der lokalen
CPU 46 übertragen.
In einem Ausführungsbeispiel
ist ein Anwendungs- und/oder
Treibercode in der CPU 46 so programmiert, dass die Operation
der nahtlosen Verknüpfung
der Videobilder von jeder Videokamera 42, 44 ausgeführt wird,
so dass das einzelne zusammengesetzte Videobild des lokalen Konferenzteilnehmers 36 gebildet
wird.
-
Der von der CPU 46 verwendete
Algorithmus zur nahtlosen Verknüpfung
der einzelnen Bilder kann auf einer Vielzahl allgemein bekannter
Bildkorrelationstechniken basieren, wie diese etwa in Digital Image
Processing, 2. Ausgabe, von William K. Pratt (1991), beschrieben
wird, dessen gesamter Inhalt hierin durch Verweis enthalten ist.
Allgemein ausgedrückt
umfasst die Bildkorrelation die Ausführung eines Pixel-für-Pixel-Vergleichs
zweier Videobilder, um die räumlichen
Unterschiede zwischen den Bildern zu bestimmen und um dadurch etwaige
zwischen den Bildern existierende Unterschiede in Bezug auf die
Perspektivansicht zu korrigieren. Durch die derartige nahtlose Verknüpfung der
einzelnen Videobilder verschiebt die CPU 46 wirksam den
Betrachtungspunkt jeder Videokamera 42, 44 von
dem Perimeter des Bildschirms 40 an eine vorbestimmte Position
auf dem Display des lokalen Bildschirms 40. Diese Einwärtsverschiebung
dauert an, bis der Betrachtungspunkt jeder Videokamera 42, 44 wirksam
zu einem einzelnen virtuellen Betrachtungspunkt an einer vorbestimmten
Position auf dem Display des lokalen Bildschirms 40 konvergiert.
-
Der virtuelle Betrachtungspunkt bzw.
die virtuelle Kamera ist dahingehend von Vorteil, dass dadurch der
Eindruck erzeugt wird, als ob der lokale Konferenzteilnehmer direkt
in eine tatsächliche
bzw. reale Kamera blickt. Bei der Betrachtung durch einen entfernten
Konferenzteilnehmer 36 hat es den Anschein, als würde der
lokale Konferenzteilnehmer 36 direkt aus dem Bildschirm 40 blicken,
wodurch ein simulierter Blickkontakt entsteht. Durch die Erzeugung der
virtuellen Kamera auf dem Display des lokalen Bildschirms 40 kann
der lokale Konferenzteilnehmer 36 dauerhaft die Informationen
auf dem eigenen Bildschirm 40 betrachten, ohne auf die
Videokameras 42, 44 schauen zu müssen, um
einen Blickkontakt mit den entfernten Konferenzteilnehmern 36 herzustellen.
-
Das Videokonferenzsystem 30 kann
aus beliebigen Komponenten einer Vielzahl im Handel erhältlicher
Komponenten erzeugt werden. Zum Beispiel kann es sich bei der Zentraleinheit
(CPU) 46 um jede beliebige Anzahl von Verarbeitungseinheiten handeln,
die in der Lage sind, parallele Operationen mit hoher Geschwindigkeit
zu verarbeiten, wie etwa die PENTIUM®, PENTIUM PRO® und andere
Prozessoren auf der Basis der von der Intel Corporation entwickelten
MMX Technologie. Die Videografikkarte 48 kann in ähnlicher
Weise jede beliebige Anzahl verschiedener, handelsüblicher
Videografikkarten umfassen, wobei es sich in einem Ausführungsbeispiel dabei
um eine DCI (Device Controlled Interface) handelt, die zur Erweiterung
des zusammengesetzten Videobilds auf dem Bildschirm 40 freigegeben
ist, um Parallaxenverzerrungen zu beheben. Die Videoerfassungsvorrichtungen 50, 52 können jede
Anzahl handelsüblicher
Videoerfassungsvorrichtungen umfassen, die in der Lage sind, die
analogen Videobilder von den Videokameras 42, 44 in
digitale Daten umzuwandeln, welche die analogen Videobilder darstellen. Die
Videoerfassungsvorrichtungen 50, 52 können zum
Beispiel unter anderem und ohne einzuschränken jede einer Mehrzahl im
Handel erhältlicher
Videokarten umfassen, wie etwa die von der Intel Corporation erhältliche
Videoerfassungskarte ISVR3 sowie jede einer Vielzahl im Handel erhältlicher
Kameras mit Videoerfassungsfähigkeit,
wie etwa die von der Connectix Corporation erhältlichen Kameras QuickCamTM und QuickClipTM.
-
Die Videoerfassungsvorrichtungen 50, 52 sind
zwar als zwei diskrete Komponenten dargestellt, wobei hiermit festgestellt
wird, dass sie auch durch eine Videoerfassungskarte mit zwei Kanälen ersetzt werden
können.
Der Bildschirm 40 kann jede Anzahl verschiedener handelsüblicher
Monitore umfassen, einschließlich
und ohne einzuschränken
einen Standard-VGA-Monitor
oder einen NTSC-Fernsehapparat. Die Videokameras 42, 44 können in ähnlicher Weise
jede einer Vielzahl im Handel erhältlicher Bilderfassungsvorrichtungen
umfassen, die Video- und/oder
fotografische Ausgaben erzeugen können. Der Übermittlungsabschnitt 34 kann
eine Vielzahl von Kommunikationsschnittstellen aufweisen, welche
die Standards für
das Internet sowie die Standards der Telekommunikationsbranche erfüllen (d.
h. H. 320, H. 323, H. 324), wie etwa eine ISDN-Schnittstelle mit
einem regionalen Telefonanbieter oder einer Schnittstellenkarte
eines lokalen Netzwerks (LAN) für
ein lokales Netzwerk. Die derartige Konstruktion des verbesserten
Videokonferenzsystems 30 aus handelsüblichen Bauteilen reduziert
in vorteilhafter Weise die Produktionskosten.
-
Das Videokonferenzsystem 30 kann
sowohl Videokonferenzszenarios im Nah- als auch im Fernbereich handhaben,
indem dafür
gesorgt wird, dass das Seitenverhältnis der virtuellen Kamera
selektiv modifiziert werden kann. Wie dies in der Abbildung aus 4 dargestellt ist, sind
die erfindungsgemäßen Videokameras 42, 44 auf
jeder Seite des Bildschirms 40 angeordnet, so dass jedes
Sichtfeld 54, 56 sich überlagert bzw. überlappt,
bevor der Konferenzteilnehmer 36 eingefangen wird. Der
Punkt, an dem sich die beiden Sichtfelder 54, 56 schneiden,
ist allgemein mit der Bezugsziffer 58 bezeichnet. Der Bereich
zwischen dem Schnittpunkt 58 und den Videokameras 42, 44 wird
als tote Zone bezeichnet, da die CPU 46 nicht in der Lage
ist, ein zusammengesetztes Videobild gemäß der vorliegenden Erfindung zu
erzeugen, wenn sich der Konferenzteilnehmer 36 in diesem
Bereich befindet. Alle Punkte hinter diesem Schnittpunkt 58 werden
als die aktive Zone bezeichnet. Gemäß einem Aspekt der vorliegenden
Erfindung ist die CPU 46 in der Lage, ein zusammengesetztes
Videobild für
einen simulierten Blickkontakt zu erzeugen, wenn sich der Konferenzteilnehmer 36 an
einer beliebigen Position innerhalb der aktiven Zone befindet. Die
CPU 46 ist somit in der Lage, die virtuelle Kamera mit
einer beliebigen Anzahl von Seitenverhältnissen zu erzeugen, abhängig von
der Position des Konferenzteilnehmers 36 oder der Konferenzteilnehmer
innerhalb der aktiven Zone.
-
In einem Ausführungsbeispiel ist der Schnittpunkt 58 ungefähr sechs
Zoll von dem Monitor 40 entfernt. Auf diese Weise kann
das erfindungsgemäße Videokonferenzsystem 30 für die virtuelle
Kamera ein Seitenverhältnis
für eine
Erfassung im großen Porträt- bzw.
Hochformat vorsehen. Die große
Porträterfassung
erzeugt ein verhältnismäßig schmales und
hohes Sichtfeld für
die resultierende virtuelle Kamera, was für die Detektierung gestischer
Bewegungen eines Konferenzteilnehmers von Vorteil ist, der nah an
dem Bildschirm 40 angeordnet ist, wie etwa bei einer Desktop-Videokonferenz.
Die vorliegende Erfindung kann für
die virtuelle Kamera auch ein Seitenverhältnis vorsehen, das sich für eine große Querformaterfassung
eignet. Die große
Querformaterfassung erzeugt ein verhältnismäßig breites und flaches Sichtfeld
für die
resultierende virtuelle Kamera, was bei einer Betrachtung der Teilnehmer
einer großen oder
verteilten Gruppe von Konferenzteilnehmern von Vorteil ist, wie
etwa bei einer Videokonferenz, die für einen ganzen Raum abgehalten
wird. Hiermit wird festgestellt, dass die Möglichkeit zum Festlegen willkürlicher
Seitenverhältnisse
die Vielseitigkeit des Videokonferenzsystems 30 durch die
Möglichkeit
der Erfassung im Hoch- und Querformat wirksam optimiert.
-
Das Videokonferenzsystem 30 ist
ferner verhältnismäßig immun
in Bezug auf Parallaxenverzerrungen, unter denen dem Stand der Technik
entsprechende Videokonferenzsysteme leiden. Weiterhin in Bezug auf
die Abbildung aus 4 ist
diese Immunität
in Bezug auf eine Parallaxenverzerrung auf die räumlich getrennte Anordnung
der Videokameras 42, 44 zurückzuführen. Die Videokameras 42, 44 sind auf
jeder Seite des Bildschirms 40 angeordnet, so dass die
Videobilder des lokalen Konferenzteilnehmers 36 von zwei
verschiedenen Ausgangspunkten erfasst werden können. Wie dies bereits vorstehend im
Text ausgeführt
worden ist, arbeitet die CPU 46 daraufhin derart, dass
die Videobilder von jeder der Kameras 42, 44 nahtlos
verknüpft
werden, wobei das resultierende zusammengesetzte Videobild den lokalen
Konferenzteilnehmer 36 zeigt, der nach außen blickt,
so dass ein Blickkontakt mit dem entfernten Konferenzteilnehmer
hergestellt wird. Durch diese Bildmanipulation können die einzelnen Videokameras 42, 44 verhältnismäßig schmale
Sicht- bzw. Betrachtungsfelder 54, 56 beibehalten,
ohne die Fähigkeit
der CPU 46 zu gefährden,
ein aussagekräftiges zusammengesetztes
Videobild des lokalen Konferenzteilnehmers 36 zu erzeugen.
Es ist allgemein bekannt, dass Videokameras mit schmalen Projektionsprofilen
in der Lage sind, verhältnismäßig flache
Videobilder mit minimaler Parallaxenverzerrung zu erzeugen.
-
Im Gegensatz dazu sieht die in der
Abbildung aus 5 dargestellte,
dem Stand der Technik entsprechende Videokamera 14 keine
Verknüpfung mit
einer anderen Videoquelle vor und muss sich somit ganz alleine auf
ein verhältnismäßig breites
Projektionsprofil 60 verlassen, um den lokalen Konferenzteilnehmer 18 einzufangen.
Für Videokameras mit
breiten Projektionsprofilen ist es jedoch bekannt, dass sie Videobilder
mit abgerundeten oder "Fischaugen" Parallaxenverzerrungen
erzeugen, die häufig bewirken,
dass die Videobilder übereinander
und unnatürlich
erscheinen. In Anbetracht der vorstehenden Ausführungen minimieren die bei
der vorliegenden Erfindung eingesetzten schmalen Sichtfelder 54, 56 das
Ausmaß einer
etwaigen Parallaxenverzerrung und ermöglichen es somit, dass das
System zusammengesetzte Videobilder erzeugt und anzeigt, die verhältnismäßig flach
sind und ein natürliches
Erscheinungsbild aufweisen.
-
In Bezug auf die Abbildung aus 6 minimiert das Videokonferenzsystem 30 ferner
Parallaxenverzerrungen durch die Implementierung einer Streck- bzw.
Erweiterungsfunktion, die dafür
sorgt, dass das zusammengesetzte Bild 62 flacher und naturgetreuer
erscheint. Die Streckung des zusammengesetzten Bilds 62 kann
unter der Steuerung durch die Videografikkarte 48 und/oder
die CPU 46 erfolgen. Zum Zwecke der Erörterung wird die Streck- bzw.
die Erweiterungsfunktion in Bezug auf die Videografikkarte 48 beschrieben.
Die Videografikkarte 48 kann jede beliebige Anzahl im Handel
erhältlicher
Videografikkarten umfassen, die für einen DCI-Betrieb freigegeben
sind. Der DCI-Betrieb ermöglicht
es der Videografikkarte 48, ein Bild mit einem verhältnismäßig geringen
Pixelanteil auf ein ganzseitiges Pixelbild zu erweitern. Die Videografikkarte 48 ist
somit in der Lage, das zusammengesetzte Bild aus einem Ursprungszustand
(unter 64 durch gestrichelte Linien dargestellt) wahlweise
in einen erweiterten Zustand (unter 66 durch durchgezogene
Linien dargestellt) zu strecken. Wie dies gleich erkennbar ist,
konditioniert diese Funktion der Bildstreckung das zusammengesetzte
Videobild 62 gemäß der vorliegenden
Erfindung ferner in eine flachere und natürlichere Form, wodurch die
Qualität
der Videokommunikation optimiert wird.
-
Das Videokonferenzsystem 30 kann
sowohl in einer Konferenzanordnung für einen ganzen Raum als auch
in einer Desktop-Konferenzanordnung implementiert werden. Videokonferenzsysteme
für Räume weisen
mindestens zwei entfernt angeordnete Konferenzstationen auf, die
kommunikativ miteinander verbunden sind, wobei jede Konferenzstation
für eine
Mehrzahl von Konferenzteilnehmern vorgesehen ist. Eine erfindungsgemäße Konferenzstation
für einen
Raum kann verschiedene große
dedizierte Fernsehbildschirme, mindestens zwei Bilderfassungsvorrichtungen,
eine dedizierte CPU, einen Steuerkasten und ein dediziertes Gehäuse für die Bauteile
aufweisen. Desktop-Videokonferenzsysteme weisen ebenfalls mindestens
zwei entfernt angeordnete Konferenzstationen auf, die kommunikationsfähig miteinander
verbunden sind, wobei jede Konferenzstation für eine beschränkte Anzahl
(1 oder 2) von Konferenzteilnehmern vorgesehen
ist. Eine Desktop-Konferenzstation
kann einen Standard-Computerbildschirm, mindestens zwei Bilderfassungsvorrichtungen
und einen Computer oder eine Verarbeitungseinheit zur Koordination
des Sendens und Empfangens von akustischen und visuellen Informationen
zu und von den verschiedenen Konferenzstationen aufweisen.
-
Zum Zwecke der Erörterung wird das verbesserte
Videokonferenzsystem 30 in Bezug auf die verschiedenen
Desktop-Videokonferenzstationen beschrieben, die in den Abbildungen
der 7 bis 14 dargestellt sind. Zu den
Komponenten, die alle Desktop-Videokonferenzstationen gemeinsam
haben, zählen
ein Personalcomputer 72, ein VGA-Computerbildschirm 74 und mindestens
ein Paar von Videokameras 76, 78, die um die Peripherie
des Bildschirms 74 angeordnet sind. Der Personalcomputer 72 kann
jedes einer Vielzahl von im Handel erhältlichen Personalcomputersystemen
umfassen, wobei er mit einer Videokonferenz-Hardware und einem Softwaresystem
für Personalcomputer
ausgestattet sein sollte, wie das von der Intel Corporation hergestellte
PROSHARE®.
Die Hardware; in dem PROSHARE® System
umfasst einen Übermittlungsabschnitt 34,
die CPU 46, die Videografikkarte 48 und die Videoerfassungsvorrichtungen 50, 52,
die vorstehend in Bezug auf die Abbildung aus 2 beschrieben worden sind. Die Software
in dem PROSHARE® System
koordiniert die Interaktivität
der Videokonferenz sowie den Prozess der nahtlosen Verknüpfung von
Videobildern zur Erzeugung eines zusammengesetzten Videobilds des
lokalen Konferenzteilnehmers. Der in den Abbildungen der 7, 10 und 13 dargestellte
Bildschirm 74 kann jede Anzahl im Handel erhältlicher
Computerbildschirme umfassen, während
die in den Abbildungen der 8–9, 11–12 und 14 dargestellten Bildschirme 74 Computerbildschirme
umfassen, die speziell entwickelt wurden, um die verschiedenen Kameras 76, 78, 82, 84 entlang
der Peripherie des Monitors 74 aufzunehmen. Die Videokameras 76, 78, 82, 84 können jede
Anzahl im Handel erhältlicher
Kameras umfassen, die eine Videoausgabe erzeugen können.
-
In Bezug auf die Abbildungen der 7 bis 9 sind die Videokameras 76, 78 allgemein
vertikal und gemeinsam ausgerichtet um die Peripherie des Bildschirms
des Videomonitors 74 angeordnet. Die CPU (nicht abgebildet)
kann ein zusammengesetztes Videobild erzeugen, das einen lokalen
Konferenzteilnehmer (nicht abgebildet) darstellt, der direkt in
eine Kamera blickt, wobei dies durch die nahtlose Verknüpfung der
einzelnen Videobilder erreicht wird, die durch die vertikal gemeinsam
ausgerichteten Videokameras 76, 78 gewonnen werden.
Die Bildung des zusammengesetzten Videobilds bewirkt, dass der Betrachtungspunkt
jeder Videokamera 76, 78 wirksam von dessen Position
entlang der oberen und unteren Peripherie des Bildschirms 74 einwärts in Richtung
einer vorbestimmten Position zwischen den Videokameras 76, 78 verschoben
wird. Die Einwärtsverschiebung
dauert an, bis alle Betrachtungspunkte der Videokameras 76, 78 konvergieren,
so dass eine virtuelle Kamera an der vorbestimmten Position auf dem
Bildschirm erzeugt wird, wie dies unter 86 dargestellt ist.
-
In Bezug auf die Abbildungen der 10 bis 12 sind die Videokameras 76, 78 horizontal
gemeinsam ausgerichtet um die Peripherie des Bildschirms des Videomonitors 74 angeordnet.
Die CPU (nicht abgebildet) kann die durch die horizontal angeordneten
Videokameras 76, 78 erhaltenen einzelnen Videobilder
nahtlos verknüpfen,
um erneut ein zusammengesetztes Videobild zu erzeugen, das einen
lokalen Konferenzteilnehmer (nicht abgebildet) darstellt, der direkt
in eine Kamera blickt, so dass eine simulierte Sichtlinien- Bilderfassung vorgesehen
wird. Die Bildung des zusammengesetzten Videobilds bewirkt eine
effektive Verschiebung des Betrachtungspunktes jeder Videokamera 76, 78 von
seiner Position entlang einer entsprechenden Seite des Videomonitors 74 einwärts an eine
vorbestimmte Position zwischen den Videokameras 76, 78.
Die Verschiebung dauert an, bis die Betrachtungspunkte der Videokameras 76, 78 konvergieren,
so dass eine virtuelle Kamera an einer vorbestimmten Position auf
dem Bildschirm gebildet wird, wie dies unter 86 dargestellt
ist.
-
Die Abbildungen der 13 und 14 zeigen bevorzugte
Ausführungsbeispiele
der vorliegenden Erfindung, wobei ein erstes Paar von Videokameras 76, 78 allgemein
horizontal gemeinsam um jede Seite des Videomonitors 74 ausgerichtet
ist, und wobei ein zweites Paar von Videokameras 82, 84 vertikal allgemein
gemeinsam ausgerichtet um die obere und untere Peripherie des Videomonitors 74 angeordnet ist.
In dem vorliegenden Ausführungsbeispiel
ist die CPU (nicht abgebildet) in der Lage, die von den Videokameras 76, 78, 82, 84 gewonnenen
einzelnen Videobilder nahtlos zu verknüpfen, so dass einzusammengesetztes
Videobild gebildet wird, das einen lokalen Konferenzteilnehmer (nicht
abgebildet) zeigt, der direkt in eine Kamera blickt. Die Bildung
des zusammengesetzten Videobilds bewirkt, dass der Betrachtungspunkt
jeder Videokamera 76, 78, 82, 84 von
der Position entlang einer entsprechenden Seite des Videomonitors 74 effektiv
einwärts
an eine vorbestimmte Position zwischen den Videokameras 76, 78, 82, 84 verschoben
wird. Die Verschiebung dauert an, bis die Betrachtungspunkte jeder
Videokamera 76, 78, 82, 84 konvergieren,
so dass eine virtuelle Kamera an einer vorbestimmten Position auf
dem Bildschirm erzeugt wird, wie etwa bei 86.
-
Gemäß einem Aspekt der vorliegenden
Erfindung sollte das in dem Videokonferenzsystem 30 erzeugte
zusammengesetzte Videobild so gebildet werden, dass die resultierende
virtuelle Kamera 86 allgemein gemeinsam mit dem angezeigten
Bild des entfernten Konferenzteilnehmers 36 ausgerichtet
ist. Auf diese Weise erscheint es, als ob der lokale Konferenzteilnehmer 36 direkt
in die virtuelle Kamera 86 blickt, was wiederum zu einem
simulierten Blickkontakt zwischen den Konferenzteilnehmern 36 für eine verbesserte
Kommunikation zwischen den Personen führt.
-
Das verbesserte Videokonferenzsystem 30 überwindet
verschiedene Unzulänglichkeiten,
die in dem Stand der Technik entsprechenden Videokonferenzsystemen
auftreten. Das Videokonferenzsystem 30 sieht einen verbesserten
Blickkontakt zwischen Konferenzteilnehmern vor, indem eine virtuelle
Kamera für
eine simulierte Sichtlinien-Bilderfassung vorgesehen wird. Das Konferenzsystem 30 erreicht dies
ohne eine Neukonfiguration der Videokonferenzstationen mit zusätzlichen
optischen Komponenten zur Modifikation der Übertragung und/oder des Anzeigens
der entfernten Videobilder. Das Konferenzsystem 30 bietet
die Möglichkeit,
das Seitenverhältnis
der in jeder Videokonferenzstation eingesetzten Videokameras zu
verändern,
wodurch es möglich ist,
dass sich das Videokonferenzsystem 30 an eine Positionsänderung
des lokalen Konferenzteilnehmers angleicht, ohne dass die Videobilder
verzerrt und unnatürlich
erscheinen, wenn sich der lokale Konferenzteilnehmer aus dem bevorzugten
Seitenverhältnis
bewegt, das von der Videokamera unterstützt wird. Das Videokonferenzsystem 30 reduziert ferner
in vorteilhafter Weise das Ausmaß von Parallaxenverzerrungen
bzw. "Fischaugenverzerrungen", wenn sich der lokale
Konferenzteilnehmer verhältnismäßig dicht
an dem Monitor befindet, wodurch ein naturgetreueres Bild der Konferenzteilnehmer
vorgesehen wird, was für
eine verbessert persönliche Kommunikation
sorgt.
-
Hiermit wird festgestellt, dass die
vorstehenden Ausführungsbeispiele
für Videokonferenzsysteme
gemäß den Abbildungen
aus den 13, 14 nicht den gesamten Umfang
der vorliegenden Erfindung wiedergeben. Die erfindungsgemäße Technik der
virtuellen Kamera kann auch in jeder anderen Reihe rechnergestützter Bilderfassungsanwendungen
eingesetzt werden, bei denen eine Sichtlinien-Bilderfassung gewünscht wird,
einschließlich
jedoch nicht beschränkt
auf Videokonferenzsysteme, Videopostkartensysteme, Videonachrichtensysteme, multimediale
Schulungssysteme und multimediale Autorensysteme. Der hierin verwendete
Begriff "rechnergestützt" ist umfassend auszulegen,
wobei er jede Vielzahl von Systemen auf der Basis von Mikroprozessoren
einschließt,
ungeachtet des physikalischen Gehäuses oder der Struktur. Zum
Beispiel kann ein rechnergestütztes
Bilderfassungssystem gemäß der vorliegenden
Erfindung in Form eines Kiosk vorgesehen sein, mit einer innen angeordneten Verarbeitungseinheit,
einem Display und mindestens vier Bilderfassungsvorrichtungen zur
Erfassung von Bildern einer Bedienungsperson aus mindestens zwei
Paaren versetzter Positionen. Hiermit wird ferner festgestellt,
dass die als Bestandteil der vorliegenden Erfindung eingesetzten
Bilderfassungsvorrichtungen auch vier oder mehr Bilderfassungsvorrichtungen
umfassen können,
die in der Lage sind, fotografische und/oder Videobilder aufzunehmen.
-
In den Zeichnungen sind einige spezielle Ausführungsbeispiele
der vorliegenden Erfindung dargestellt, die hierin im Detail beschrieben
sind, wobei hiermit festgestellt wird, dass diesbezüglich verschiedene
Modifikationen und alternative Ausführungen möglich sind. Hiermit wird auch
festgestellt, dass die hierin vorgesehene Beschreibung spezieller
Ausführungsbeispiele
die Erfindung nicht auf die speziellen offenbarten Ausführungen
einschränkt,
vielmehr umfasst die vorliegende Erfindung alle Modifikationen, Äquivalente
und Alternativen gemäß dem Umfang
der Definition in den anhängigen
Ansprüchen.