DE69830459T2

DE69830459T2 - Stereoskopische Bildaufnahmevorrichtung

Info

Publication number: DE69830459T2
Application number: DE69830459T
Authority: DE
Inventors: Shigeru Ogino
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-12-03
Filing date: 1998-12-02
Publication date: 2006-03-23
Anticipated expiration: 2018-12-03
Also published as: EP0921694B1; US20040150728A1; EP0921694A3; EP0921694A2; US6762794B1; DE69830459D1

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Bildaufnahmevorrichtung für ein Stereoskop zum Aufnehmen von Parallaxenbildern zur stereoskopischen Betrachtung. Die vorliegende Erfindung bezieht sich insbesondere auf eine Bildaufnahmevorrichtung zum Aufnehmen von Parallaxenbildern, die Bedingungen der binokularen Verschmelzung bzw. Fusion erfüllen, ohne einen Benutzereingriff und auf eine Bildaufnahmevorrichtung, die einen Benutzer wissen läßt, ob die Bedingungen der binokularen Fusion erfüllt sind.
2. Beschreibung des relevanten Stands der Technik
Einige bekannte stereoskopische Bildaufnahmevorrichtungen erfassen unter Verwendung einer Vielzahl von Kameras Parallaxenbilder von einer Vielzahl von Betrachtungspunkten. Bei einer derartigen stereoskopischen Bildaufnahmevorrichtung ist eine Vielzahl von Kameras an Stativköpfen angebracht, und ein Benutzer justiert einen Zwischenraum und einen Konvergenzwinkel zwischen Kameraachsen basierend auf seiner oder ihrer Betriebserfahrung abhängig von einer zu erfassenden Szene manuell und erfaßt die Szene bildlich, während er oder sie die stereoskopische Ansicht tatsächlich auf einem Monitor betrachtet.
Ein derartiger erfahrungsbasierter Betrieb ist nicht effizient, und es wird kein gutes Ergebnis erwartet, wenn niemand verfügbar ist, der eine gute Kenntnis von dem Aufnehmen von stereoskopischen Bildern hat.
Heutzutage sind Head-Mounted-Displays bzw. Datenhelme und Anzeigen des Brillentyps (eyeglass-type displays) entwickelt worden, und diese Anzeigen lassen ein Bild für das rechte Auge selektiv bei dem rechten Auge darstellen und ein Bild für das linke Auge selektiv bei dem linken Auge darstellen. Somit wird ein eine Tiefenwahrnehmung erzeugendes stereoskopisches Bild betrachtet. Eine Flüssigkristallanzeige wird mit einer linsenförmigen Platte mit einer vorbestimmten Teilung oder einer Maske mit in einem vorbestimmten Muster ausgebildeten Aperturen und Nichtaperturen (non-apertures) kombiniert, um einem Lichtstrahl von der Flüssigkristallanzeige eine Richtcharakteristik zu verleihen, und indem die Richtcharakteristik zu dem Muster des auf der Flüssigkristallanzeige dargestellten Bilds passend ausgebildet wird, betrachtet der Betrachter das Bild für das rechte Auge bei dem rechten Auge und das Bild für das linke Auge bei dem linken Auge. Der Betrachter erlebt somit das eine Tiefe darstellende Bild.
Herkömmlich wird das dargestellte Bild typischerweise durch eine Kamera des binokularen Typs mit zwei Objektivsätzen bzw. Linsensätzen erfaßt. Eine in der japanischen geprüften Patentveröffentlichung Nr. JP-A-8-27499 (Teleskopfernsehbildaufnahmevorrichtung) offenbarte Vorrichtung erfordert keine zwei Linsensätze. Diese Vorrichtung umfaßt zwei Flüssigkristallverschlüsse, einen Totalreflexionsspiegel und einen Halbspiegel und nimmt abwechselnd linke und rechte Parallaxenbilder durch einen einzelnen Linsensatz auf.
Ungeachtet des vorstehend beschriebenen binokularen Systems oder des abwechselnd linke und rechte Bilder in einer zeitlich gemultiplexten Art und Weise aufnehmenden Systems ist die Justierung bzw. Einstellung einer Parallaxe zwischen linken und rechten Bildern, das heißt die Einstellung der Konvergenz, während der Bilderfassung erforderlich. Die Konvergenzeinstellung wird typischerweise manuell ausgeführt.
Die vorstehend beschriebene Kamera des binokularen Typs wendet zwei Linsensätze an, einen zum Ausbilden des Bilds für das rechte Auge und den anderen zum Ausbilden des Bilds für das linke Auge, und der Benutzer empfindet eine Ermüdung, wenn er ein stereoskopisches Bild betrachtet, oder kann überhaupt keine Bildfusion erreichen, falls einem Herstellungsfehler (zum Beispiel bei Vergrößerung, Abweichung der optischen Achse, Tönung, Helligkeit, Verzerrung, Feldneigung und dergleichen) zuzuschreibende Leistungsunterschiede zwischen den zwei Linsen vorhanden sind. Um die zwei Linsensätze in der Leistung zueinander passend auszubilden, muß die Genauigkeit von Komponenten erhöht werden. Ferner ist eine Einstellung erforderlich, falls die verbesserte Genauigkeit von Komponenten immer noch nicht ausreicht. Zum Kompensieren eines Leistungsunterschieds werden Spezialeinrichtungen verwendet, zum Beispiel werden Bilder elektronisch korrigiert. Wenn eine Zoomlinse verwendet wird, müssen die Zoomvariatoroperationen des linken und rechten Linsensatzes in einem Zustand unter Berücksichtigung dieser Leistungen verzahnt werden. Es ist kostspielig und zeitaufwendig, diesen Aufbau herzustellen, und er ist für eine Massenproduktion unangemessen.
Zum Betrachten der durch die Kamera des binokularen Typs aufgenommenen Bilder sind typischerweise zwei Monitore erforderlich. Die Verwendung der zwei Monitore ist nicht praktisch. Zum Aufzeichnen der zwei Bilder wird eine spezielle Aufzeichnungsvorrichtung benötigt, um das eine Bild mit dem anderen zu synchronisieren. Ohne ihre Verwendung wird die Wandlung von zwei Bildsignalen in ein Bildsignal erwogen. Zum Wandeln der zwei Bildsignale in ein Bildsignal ist jedoch eine spezielle Wandlungseinrichtung erforderlich, um die linken und rechten Parallaxenbilder abwechselnd anzuzeigen und aufzuzeichnen. Verglichen mit einer Kamera mit einer einzelnen Linse bzw. einem einzelnen Objektiv ist die Kamera des binokularen Typs selbst sperrig. Dem die vorstehend beschriebenen Spezialvorrichtungen benötigenden ganzen System der Bildaufnahmevorrichtung mißlingt es wegen seines sperrigeren, kostspieligeren und weniger mobilen Entwurfs, eine weitverbreitete kommerzielle Akzeptanz unter Benutzern zu erreichen.
Die in der vorstehend angeführten japanischen geprüften Patentveröffentlichung Nr. JP-A-8-27499 vorgeschlagene Zeitmultiplexkamera kombiniert die optischen Wege für linke und rechte Parallaxenbilder bei einem Halbspiegel in einen optischen Weg, um Bilder zu einem einzelnen Objektiv zu führen. Wenn Bilder durch den Halbspiegel durchgelassen oder von ihm reflektiert werden, bevor sie in das Objektiv eintreten, wird die Lichtmenge auf die Hälfte oder weniger verringert. Der in der vorstehend angeführten japanischen geprüften Patentveröffentlichung Nr. JP-A-8-27499 offenbarte Aufbau zeigt theoretisch einen Unterschied zwischen den Längen der optischen Wege der linken und rechten Parallaxenbilder, wobei er einen Vergrößerungsunterschied zwischen den linken und rechten Bildern erleidet. Dies wird eine Ursache der Ermüdung des Benutzers, wenn er oder sie die aufgenommenen Bilder betrachtet, und folglich kann der Benutzer nicht die verschmolzenen bzw. fusionierten Bilder betrachten und kann sie nicht in einer stereoskopischen Ansicht betrachten.
Überdies offenbart das Dokument EP-A-0 641 132 eine stereoskopische Bildaufnahme- und -anzeigevorrichtung, bei der zwei Kameraaufbauten mit jeweils einer Objektivlinse betrieben werden und die Ausgangssignale weiter ausgewertet werden. Es wird eine Konvergenzsteuerung ausgeführt, so daß die optischen Achsen der Kameras an einem optimalen Punkt konvergieren, um sicherzustellen, daß die Parallaxe der erfaßten Bilder in den binokularen Fusionsbereich eines Betrachters kommt. Genauer ist eine Parallaxenberechnungseinrichtung zum Berechnen der Parallaxe eines Bilds bereitgestellt, und die Parallaxe des nächsten Objekts wird zum Berechnen der tiefenweisen (depth-wise) Position eines Objekts verwendet, das an dem nächsten Punkt wiederzugeben ist, wenn ein erfaßtes Bild durch die stereoskopische Bildanzeigevorrichtung angezeigt wird. Der Fusionsbereich wird bei der Tiefenanzeigepositionsberechnungseinrichtung definiert, und der Konvergenzwinkel wird in einer derartigen Weise gesteuert, daß das Objekt an dem nächsten Punkt in dem Fusionsbereich des Betrachters positioniert wird. Ferner wird eine Blickrichtungserfassungseinrichtung zum Erfassen des Punkts, auf den das Auge des Betrachters fokussiert ist, verwendet.
Ferner offenbart das Dokument JP-A-7 067 023 eine Mehraugenbildaufnahmevorrichtung mit unmittelbarer Bildaufnahme, bei der ein erster und ein zweiter Videokameraabschnitt zum Aufnehmen eines stereoskopischen Bilds bereitgestellt sind. Wenn beide Kameraabschnitte betrieben werden, wird die optische Achse davon gesteuert, und die Steuereinrichtung stellt die optischen Achsen des ersten und des zweiten Videokameraabschnitts auf vorbestimmte Winkel der optischen Achsen ein. Ferner umfaßt die Vorrichtung eine Einrichtung zur Augenachsenerfassung, durch die sie die Position des Augapfels und bei einer Datenauswertung die Blickrichtung des Benutzers bestimmt.
ZUSAMMENFASSUNG DER ERFINDUNG
Entsprechend besteht ein Ziel der vorliegenden Erfindung darin, eine Bildaufnahmevorrichtung bereitzustellen, durch die der Benutzer oder Betrachter während der Bildaufnahme leicht erfährt, ob ein Hauptobjekt in einen Bereich der Bildfusion fällt.
Dieses Ziel wird gemäß der vorliegenden Erfindung durch eine Bildaufnahmevorrichtung und ein Bildaufnahmeverfahren wie in den beigefügten Patentansprüchen definiert erreicht.
Die vorliegende Erfindung stellt eine Bildaufnahmevorrichtung zum Erfassen von Bildern zur stereoskopischen Betrachtung bereit, die eine Bildaufnahmeeinrichtung zum Aufnehmen von linken und rechten Parallaxenbildern eines Hauptobjekts jeweils für das linke und rechte Auge, eine Anzeigeeinrichtung zum Anzeigen der durch die Bildaufnahmeeinrichtung aufgenommenen linken und rechten Parallaxenbilder, eine Blickrichtungserfassungseinrichtung zum Erfassen der Blickrichtungen des die durch die Anzeigeeinrichtung angezeigten jeweiligen Bilder sehenden linken und rechten Auges und eine Bestimmungseinrichtung zum Bestimmen basierend auf der Ausgabe der Blickrichtungserfassungseinrichtung, ob das Hauptobjekt in einen Bereich, in dem ein Bild fusioniert werden kann (image-fusible range), fällt, umfaßt. Die Vorrichtung erfaßt die Blickrichtungen eines Betrachters, der die Anzeigeeinrichtung betrachtet, auf der das linke Parallaxenbild und rechte Parallaxenbild dargestellt werden, und bestimmt anstelle des Betrachters basierend auf den Blickrichtungen, ob das Objekt in den Bereich, in dem ein Bild fusioniert werden kann, fällt.
Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird das durch die Bestimmungseinrichtung bereitgestellte Bestimmungsergebnis dem Benutzer berichtet.
Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird ein Bereich, in dem ein Bild fusioniert werden kann, durch den Zwischenpupillenabstand und den Abstand des deutlichen Sehens eines Benutzers definiert.
Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung werden die Bilddaten der Parallaxenbilder im Ansprechen auf die Ausgabe der Bestimmungseinrichtung in einem Speicher gespeichert.
Da die erfaßten Blickrichtungen des Benutzers diejenigen sind, die nach den Anzeigeparallaxenbildern liegen, müssen die Daten über die Blickrichtungen in diejenigen in den Koordinatensystemen der Bildaufnahmeeinrichtung gewandelt werden. Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung umfaßt die Blickrichtungserfassungseinrichtung ferner eine Wandlungseinrichtung zum Wandeln der linken und rechten Blickrichtungen eines Benutzers in linke und rechte Richtungsvektoren, die jeweils in linken und rechten Koordinatensystemen der Bildaufnahmeeinrichtung ausgedrückt werden, und eine Koordinatenberechnungseinrichtung zum Berechnen der Koordinatenwerte des Kreuzungspunkts der linken und rechten Richtungsvektoren in dem Weltkoordinatensystem.
Bei einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung wird der Bereich, in dem ein Bild fusioniert werden kann, gemäß einer entferntesten Position und einer nächsten Position von dem Betrachtungspunkt des Benutzers in der Richtung der Tiefe ausgedrückt. Bei einem bevorzugen Ausführungsbeispiel wird die entfernteste Position des Bereichs, in dem ein Bild fusioniert werden kann, derart eingestellt, daß sie ein Punkt derart ist, daß der horizontale Abstand zwischen zwei einem ersten Punkt (A) der entferntesten Position entsprechenden zweiten Punkten auf den linken und rechten Bildebenen der Bildaufnahmeeinrichtung im wesentlichen gleich dem Zwischenpupillenabstand des Benutzers ist. Die nächste Position des Bereichs, in dem ein Bild fusioniert werden kann, wird derart eingestellt, daß sie ein Punkt derart ist, daß eine Position (C'), bei der zwei einem ersten Punkt (C) der nächsten Position entsprechende Punkte auf den linken und rechten Bildebenen der Bildaufnahmeeinrichtung durch eine perspektivische Transformation basierend auf den linken und rechten Betrachtungspunkten des Benutzers zu dem Benutzer herausragend liegen, annähernd gleich dem Punkt bei dem Abstand des deutlichen Sehens des Benutzers ist.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 zeigt ein Blockschaltbild, das den Aufbau eines ersten Ausführungsbeispiels der vorliegenden Erfindung darstellt;
2 zeigt eine erläuternde graphische Darstellung, die die Position der Augen eines Betrachters relativ zu einem optischen System einer Bildaufnahmevorrichtung des ersten Ausführungsbeispiels der vorliegenden Erfindung darstellt;
3 zeigt ein Flußdiagramm, das einen Steuerprozeß zum Messen eines Abstands zu einem Objekt basierend auf den Blickrichtungsdaten des Betrachters bei dem ersten Ausführungsbeispiel der vorliegenden Erfindung darstellt;
4 zeigt eine erläuternde graphische Darstellung, die den in Schritt S8 bis Schritt S10 in dem in 3 gezeigten Steuerprozeß ausgeführten Betrieb darstellt;
5 zeigt eine erläuternde graphische Darstellung, die das Prinzip des Bestimmens eines Bereichs, in dem ein Bild fusioniert werden kann, veranschaulicht;
6 zeigt eine erläuternde graphische Darstellung, die das Prinzip des Bestimmens der entferntesten Position des Bereichs, in dem ein Bild fusioniert werden kann, veranschaulicht;
7 zeigt eine erläuternde graphische Darstellung, die das Prinzip des Bestimmens der nächsten Position des Bereichs, in dem ein Bild fusioniert werden kann, veranschaulicht;
8 zeigt eine erläuternde graphische Darstellung, die das Prinzip des Bestimmens der nächsten Position des Bereichs, in dem ein Bild fusioniert werden kann, veranschaulicht;
9 zeigt ein Flußdiagramm, das den Steuerprozeß zum Bestimmen des Bereichs, in dem ein Bild fusioniert werden kann, darstellt.
AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
Das bevorzugte Ausführungsbeispiel der Erfindung ist nachstehend mit Bezug auf die Zeichnungen erörtert.
<Erstes Ausführungsbeispiel> ··· Hardwarestruktur
1 zeigt ein Blockschaltbild, das den Aufbau einer "stereoskopischen Bildaufnahmevorrichtung" gemäß einem ersten Ausführungsbeispiel der Erfindung darstellt.
Mit Bezug auf 1 ist eine Stereokamera 1 zum Erfassen einer Vielzahl von Parallaxenbildern gezeigt, und bei dem ersten Ausführungsbeispiel umfaßt die Stereokamera 1 ein rechtes optisches System 101 zum Erfassen eines Parallaxenbilds für das rechte Auge und ein CCD 103 eines photoelektrischen Wandlers sowie ein linkes optisches System 102 zum Erfassen eines Parallaxenbilds für das linke Auge und ein CCD 104 eines photoelektrischen Wandlers.
Das Paar aus optischem System 101 und CCD 103 ist in der optischen Spezifikation identisch mit dem Paar aus optischem System 102 und CCD 104. Das optische System 101 und CCD 103 sowie das optische System 102 und CCD 104 sind derart angeordnet, daß der Zwischenraum zwischen den zwei Paaren (auf den nachstehend als ein Basislinienabstand Bezug genommen ist) und der zwischen den zwei Paaren ausgebildete Winkel (auf den nachstehend als ein Konvergenzwinkel Bezug genommen ist) mit einem nicht gezeigten Mechanismus variabel eingestellt werden. Der Basislinienabstand und der Konvergenzwinkel werden durch eine bekannte Konvergenz-/Basislinienabstandseinstellungseinrichtung 11 eingestellt.
Eine Konvergenzwinkel-/Basislinienabstandserfassungseinrichtung 10 erfaßt den Konvergenzwinkel und Basislinienabstand mit ihrem nicht gezeigten Geber.
2 zeigt die Positionen der optischen Systeme 101 und 102 relativ zu einem Hauptobjekt. Wie gezeigt läßt man θ_b den Konvergenzwinkel zwischen den optischen Systemen 101 und 102 darstellen und 2k den Basislinienabstand darstellen. Wie bereits beschrieben stellt die Einstellungseinrichtung 11 den Konvergenzwinkel θ_b und den Basislinienabstand 2k ein, und ein eingestellter Winkel wird durch die Erfassungseinrichtung 10 erfaßt und wird daraufhin zu einer nachstehend zu beschreibenden Berechnungseinheit 3 (1) gesendet.
Eine Bildanzeige 2 umfaßt eine rechte Anzeigeeinheit 201 für das rechte Auge, eine linke Anzeigeeinheit 202 für das linke Auge, eine rechte Blickrichtungserfassungseinrichtung 203 und eine linke Blickrichtungserfassungseinrichtung 204.
Die rechte Anzeigeeinheit 201 und linke Anzeigeeinheit 202 sind in der Spezifikation identisch und sind die sogenannte Netzhautanzeige bzw. Retinaanzeige (retinal display), die ein Bild durch den Nachbildeffekt (after image effect) bereitstellt, indem sie die Retina mit einem Lichtstrahlenbündel von einem Flüssigkristall, CRT, LED oder Laser, die jeweils mit einem optischen Betrachtungssystem ausgerüstet sind, bestrahlt und abtastet. Bei dem ersten Ausführungsbeispiel tasten die Anzeigeeinheiten 201 und 202 jeweils die linke und rechte Retina durch ein Lichtstrahlenbündel von einer LED-Schaltung 12 ab, um dem Benutzer linke und rechte stereoskopische Bilder zu bieten.
Eine rechte Blickrichtungserfassungseinrichtung 203 und linke Blickrichtungserfassungseinrichtung 204 in der Bildanzeige 2 wenden das Verfahren zum Erfassen der Blickrichtung aus dem sogenannten Hornhautreflexionslicht bzw. Kornealreflexionslicht (corneal reflection light) an. Zum Wandeln der unter Verwendung des Kornealreflexionslichts bestimmten Blickrichtungsinformationen in ein Koordinatensystem eines Bilds umfaßt die Bildanzeige 2 Flüssigkristallanzeigen LCD205 und LCD206. Dieses Verfahren ist in der japanischen ungeprüften Patentveröffentlichung Nr. JP-A-5-68188 ausführlich offenbart, und die Erörterung des Verfahrens ist in diesem Fall weggelassen. Die durch die Blickrichtungserfassungseinrichtungen 203 und 204 erhaltenen Blickrichtungsinformationen über den Augapfel werden zu der nachstehend zu beschreibenden Berechnungseinheit 3 gesendet und dienen als eine Grundlage für die Berechnung des Richtungsvektors der Blickrichtung.
Die Berechnungseinheit 3 der Bildaufnahmevorrichtung berechnet einen Bereich, in dem Bild aufgenommen werden kann (image-pickable range), der Stereokamera 1, der sicherstellt, daß die durch die Stereokamera 1 aufgenommenen linken und rechten Parallaxenbilder eine Bildfusion bei dem Benutzer bewirken (auf einen derartigen Bereich ist im folgenden als "Bereich, in dem ein Bild fusioniert werden kann" Bezug genommen).
Die im wesentlichen durch Computersoftware realisierte Berechnungseinheit 3 ist in einem Funktionsblockschaltbild in 1 gezeigt und umfaßt eine rechte Blickrichtungsbereichsberechnungseinrichtung 301, eine linke Blickrichtungsbereichsberechnungseinrichtung 302, eine Blickrichtungsvektorberechnungseinrichtung 303, eine Kreuzungspunktberechnungseinrichtung 307, eine Abstandsberechnungseinrichtung 305, eine Einrichtung 304 zur Berechnung eines Bereichs, in dem ein Bild aufgenommen werden kann, und einen Vergleicher 306.
Die zwei Blickrichtungsbereichsberechnungseinrichtungen 301 und 302 sind jeweils mit der rechten Blickrichtungserfassungseinrichtung 203 und der linken Blickrichtungserfassungseinrichtung 204 verbunden und berechnen die Blickrichtungsbereiche für das linke und rechte Auge des Benutzers basierend auf den Ausgaben von den zwei Erfassungseinrichtungen 203 und 204. Die berechneten linken und rechten Blickrichtungsbereiche werden in die Blickrichtungsvektorberechnungseinrichtung 303 eingegeben, die die Richtungsvektoren der linken und rechten Blickrichtungen (d_R und d_L, die nachstehend zu beschreiben sind) berechnet. Die Kreuzungspunktberechnungseinrichtung 307 bestimmt die Koordinaten des Kreuzungspunkts der Blickrichtungen basierend auf den erfaßten Richtungsvektoren d_R und d_L der Blickrichtungen. Die Abstandsberechnungseinrichtung 305 berechnet einen Abstand 1 von dem Betrachtungspunkt des Benutzers zu dem Objekt basierend auf den erfaßten Richtungsvektoren der Blickrichtungen.
Die Einrichtung 304 zur Berechnung eines Bereichs, in dem ein Bild aufgenommen werden kann, berechnet den Bereich, in dem ein Bild aufgenommen werden kann (das heißt zwischen der distalen Grenze A des Bereichs und der proximalen Grenze B des Bereichs in der Richtung der Tiefe). Der Vergleicher 306 vergleicht den durch die Abstandsberechnungseinrichtung 305 berechneten Abstand 1 zu dem Objekt mit den durch die Einrichtung 304 zur Berechnung eines Bereichs, in dem ein Bild aufgenommen werden kann, berechneten Grenzwerten A und B, um zu bestimmen, ob das Objekt eine Bildfusionsbedingung erfüllt. Genauer befindet sich dann, wenn der durch die Abstandsberechnungseinrichtung 305 berechnete Abstand zu dem Objekt die folgende Gleichung B ≤ l ≤ A erfüllt, das Objekt in dem Bereich, in dem ein Bild aufgenommen werden kann, und es wird bestimmt, daß es die Bildfusionsbedingung erfüllt.
Eine Bildsteuereinrichtung 4 steuert die Einheiten in der Bildaufnahmevorrichtung. Genauer steuert die Bildsteuereinrichtung 4 rechte und linke Kameraverarbeitungseinrichtungen 5 und 6 für das rechte und linke Auge, die Bildsignale von den CCDs 103 und 104 in ein vorbestimmtes Bildformat wandeln. Diese Verarbeitungseinrichtungen 5 und 6 wandeln unter der Steuerung der Bildsteuereinrichtung 4 die durch die Stereokamera 1 aufgenommen linken und rechten Parallaxenbilder in das vorbestimmte Format und speichern sie in einem Bildspeicher 9.
Zum Darstellen von stereoskopischen Bildern für den Benutzer werden die Bilder in dem Bildspeicher 9 durch die Bildsteuereinrichtung 4 gelesen und in Videosignale gewandelt, und die Videosignale werden daraufhin über Ansteuereinrichtungen 7 bzw. 8 zu den Anzeigeeinheiten 201 und 202 gesendet. Die Bildsteuereinrichtung 4 tauscht Daten mit dem Bildspeicher 9 aus. Die Bildsteuereinrichtung 4 sendet auch ein Signal zu der LED-Schaltung 12, das die Beleuchtung und Löschung einer nicht gezeigten, in der Bildanzeige 2 installierten LED steuert.
<Betrieb> ··· Erstes Ausführungsbeispiel
Nachstehend ist eine Folge von Operationen des Systems erörtert.
3 zeigt den bei den Blickrichtungserfassungseinrichtungen 203 und 204 beginnenden und mit der Berechnungseinheit 3 endenden Betrieb, insbesondere zu dem Prozeß zum Bestimmen der Richtungsvektoren der Blickrichtungen basierend auf den durch die Blickrichtungserfassungseinrichtungen 203 und 204 erfaßten Daten.
Zum Erfassen des Bereichs, in dem ein Bild fusioniert werden kann, bei dem ersten Ausführungsbeispiel wird das Objekt unter Verwendung der Stereokamera aufgenommen, und die Parallaxenbilder in stereoskopischer Ansicht werden unter Verwendung der Anzeige für den Benutzer dargestellt. Genauer sieht der Betrachter bei dem Betrachten der auf der Anzeige dargestellten linken und rechten Parallaxenbilder indirekt auf das Objekt. Die Bildaufnahmevorrichtung erfaßt daraufhin die Blickrichtungen der Augen des Betrachters.
Ein Schritt S1 entspricht den in 1 gezeigten Blickrichtungserfassungseinrichtungen 203 und 204, Schritte S2 und S3 entsprechen den in 1 gezeigten Blickrichtungsbereichserfassungseinrichtungen 301 und 302, ein Schritt S4 entspricht der Blickrichtungsvektorberechnungseinrichtung 303, Schritte S5, S6, S8, S9 und S10 entsprechen der Kreuzungspunktberechnungseinrichtung 307, und ein Schritt S7 entspricht der Abstandsberechnungseinrichtung 305.
In dem Schritt S1 werden die Blickrichtungen, das heißt die Richtungen der Drehung der Augäpfel, basierend auf dem Kornealreflexionsphänomen erfaßt. Wie vorstehend beschrieben weist jede der Blickrichtungserfassungseinrichtungen 203 und 204 ihr eigenes LCD und CCD auf. Das LCD 205 und das LCD 206 bestrahlen die Augäpfel des Betrachters durch Infrarotlichtstrahlenbündel mit einem bekannten Muster. Die mit einem Muster versehenen Strahlenbündel werden durch die Hornhäute bzw. Korneas reflektiert und werden daraufhin durch das CCD 207 und das CCD 208 als Bilder erfaßt. Da das LCD 205 und das LCD 206 im voraus jeweils nach dem CCD 207 und dem CCD 208 in ihren jeweiligen Koordinatensystemen ausgerichtet werden, gelten die Bildelementpositionen auf dem CCD 207 und dem CCD 208 als den jeweiligen Fleckpositionen auf dem LCD 205 und dem LCD 206 entsprechend. In dem Schritt S2 werden die Koordinatenwerte jedes Strahlenbündelflecks in jedem LCD-Koordinatensystem bestimmt. Die Koordinatenwerte des Strahlenbündelflecks in jedem LCD-Koordinatensystem stellen den Winkel der Drehung des jeweiligen Augapfels dar.
In dem Schritt S3 werden die in dem Schritt S2 erhaltenen Koordinatenwerte des Strahlenbündelflecks in jedem LCD-Koordinatensystem in die Koordinatenwerte in den Koordinatensystemen der Stereokamera 1 (das heißt den Koordinatensystemen des CCD 103 und des CCD 104) gewandelt. Der Schritt S4 bestimmt Richtungsvektoren d_R und d_L von geraden Linien, die die in den Koordinatensystemen der Stereokamera 1 ausgedrückten Koordinaten des linken Strahlenbündelflecks und des rechten Strahlenbündelflecks mit Bezugspunkten der optischen Systeme 101 und 102 verbinden. Die Richtungsvektoren sind in dem Weltkoordinatensystem ausgedrückte Blickrichtungen. Auf die in dem Weltkoordinatensystem ausgedrückte Blickrichtung ist im folgenden als "Blickrichtungsvektor" oder einfach "Richtungsvektor" Bezug genommen.
Der rechte Richtungsvektor d_R und linke Richtungsvektor d_L sind nicht notwendigerweise in der gleichen Ebene vorhanden. Es wird somit in dem Schritt S5 bestimmt, ob der rechte Richtungsvektor d_R und linke Richtungsvektor d_L in der gleichen Ebene vorhanden sind. Wenn es bestimmt wird, daß die zwei Vektoren in der gleichen Ebene vorhanden sind, geht die Steuereinrichtung 4 zu dem Schritt S6, um den (als X bezeichneten) Kreuzungspunkt des rechten Richtungsvektors d_R und linken Richtungsvektors d_L in dem Weltkoordinatensystem zu berechnen.
Wenn die zwei Vektoren nicht in der gleichen Ebene vorhanden sind, geht die Steuereinrichtung 4 zu dem Schritt S8, in dem eine Ebene P, in der der rechte Richtungsvektor d_R und der Bezugspunkt des rechten optischen Systems 101 liegen, wie in 4 gezeigt bestimmt wird. In dem Schritt S9 wird ein orthogonaler Projektionsvektor d_L' des linken Richtungsvektors d_L mit Bezug auf die Ebene P bestimmt. In dem Schritt S10 werden die Koordinaten des (als X' bezeichneten) Kreuzungspunkts des rechten Richtungsvektors d_R und des linken Richtungsvektors d_L' in dem Weltkoordinatensystem berechnet. Der Schritt S7 bestimmt den Abstand l zwischen dem vorbestimmten Bezugspunkt der Stereokamera 1 (dem Mittelpunkt zwischen dem Bezugspunkt des rechten optischen Systems 101 und dem Bezugspunkt des linken optischen Systems 102) und dem in entweder dem Schritt S6 oder dem Schritt S10 bestimmten Kreuzungspunkt (X oder X').
Als nächstes ist die Berechnung des Bereichs 1 des Abstands zu dem Objekt, der die Bildfusionsbedingung erfüllt, das heißt des Bereichs des Abstands zu dem Objekt, in dem ein Bild aufgenommen werden kann, erörtert.
Ein Bereich, in dem Menschen auf Bildschirmen dargestellte linke und rechte Parallaxenbilder als ein stereoskopisches Bild fusionieren können (ein Bereich, in dem ein Bild fusioniert werden kann), ist abhängig von der distalen Seite (hinter den Bildschirmen) oder von der proximalen Seite (auf dieser Seite der Bildschirme) verschieden. Der Bereich, in dem ein Bild fusioniert werden kann, hängt von den Eigenschaften der menschlichen Augen ab. Unter Berücksichtigung dessen, daß der Abstand zwischen den Pupillen bzw. Zwischenpupillenabstand des Menschen etwa 65 mm breit ist und daß der Abstand des deutlichen Sehens des Menschen etwa 200 mm beträgt, bestimmt dieses System basierend auf dem menschlichen Zwischenpupillenabstand (etwa 65 mm) eine distale Grenze A und basierend auf dem Abstand des deutlichen Sehens eine proximale Grenze C.
Mit Bezug auf 5 ist der Bereich, in dem ein Bild fusioniert werden kann, erörtert.
Wie gezeigt stellt die y-Achse die Richtung der Tiefe dar, und die z-Achse stellt die vertikale Richtung der Vorrichtung dar. Die x-Achse ist senkrecht zu der Richtung der Tiefe. 5 ist in der z-Achse mit einer konstanten Größe gezeichnet.
Mit Bezug auf 5 sind ein Bezugspunkt O_L des linken optischen Systems 102 (der Linsenmittelpunkt, wenn das optische System als eine einzelne dünne Linse betrachtet wird) und ein Bezugspunkt O_R des rechten optischen Systems 101 (der Linsenmittelpunkt, wenn das optische System als eine einzelne dünne Linse betrachtet wird) gezeigt. Wenn die optischen Systeme 101 und 102 eingerichtet sind, sind die Bezugspunkte O_L und O_R festgelegte Punkte, und der Kreuzungspunkt B der optischen Achsen der optischen Systeme 101 und 102 wird ebenfalls festgelegt.
Man läßt A einen distalen Grenzpunkt des Bereichs, in dem ein Bild fusioniert werden kann, mit Bezug auf den Punkt B darstellen und läßt C einen proximalen Grenzpunkt des Bereichs, in dem ein Bild fusioniert werden kann, mit Bezug auf den Punkt B darstellen. Der Punkt B stimmt dann mit dem Mittelpunkt des Bildschirms der linken und rechten optischen Systeme 102 und 101 überein. Da der Punkt B null Parallaxe aufweist, erscheint der Punkt B für den auf das angezeigte stereoskopische Bild sehenden Betrachter als ein Punkt auf dem Bildschirm. Für den gleichen Betrachter erscheint der Punkt A als ein hinter dem Bildschirm vorhandener Punkt, und der Punkt C erscheint als ein Punkt auf dieser Seite des Bildschirms.
Mit dem bei dem Mittelpunkt des Basislinienabstands zwischen den Punkten O_L und O_R positionierten Ursprung der x-y-Koordinaten sind diese Punkte A(0,A), B(0,B), C(0,C), O_L(–k,0) und O_R (k,0). Ferner stellen θ_b, θ_a und θ_c die folgenden Winkel dar.
Da der Punkt B der Kreuzungspunkt der optischen Achsen der zwei optischen Systeme 101 und 102 ist wie bereits beschrieben, ist es möglich, eine Bildaufnahmeebene derart auszubilden, daß sie mit einer Ebene übereinstimmt, die zu jeder optischen Achse senkrecht ist und in der der Punkt B liegt. Mit Bezug auf 6 ist eine virtuelle Bildaufnahmeebene des linken optischen Systems 102 derart eingerichtet, daß sie auf den Punkt B ausgerichtet ist. Der distale Punkt A und der proximale Punkt C werden jeweils ein Punkt A_L und ein Punkt C_L auf der virtuellen Bildaufnahmeebene.
Man läßt 2θ_w den Objektivbetrachtungswinkel jedes der optischen Systeme 101 und 102 darstellen. Die die Parallaxenbilder darstellenden Anzeigeeinheiten 201 und 202 weisen jeweils eine horizontale Breite von 2W_S auf und sind mit einem dazwischen zulässigen vorbestimmten Abstand d_s vor dem Betrachter positioniert. Bei dieser Anordnung ist die Länge der in 6 gezeigten virtuellen Bildaufnahmeebene vorzugsweise gleich der horizontalen Dimension jeder der Anzeigeeinheiten 201 und 202. Mit diesem Aufbau ist die Größe der virtuellen Bildaufnahmeebene 2W_S. Wie in 6 gezeigt sind die Punkte A und C in einem Winkelbereich von 2θ_w vorhanden.
Mit Bezug auf 6 sieht das linke Auge des Betrachters den Punkt A als den Punkt A_L' auf der Bildaufnahmeebene, obwohl der Punkt A tatsächlich gerade vor dem Betrachter vorhanden ist. Der Grund dafür, daß ein Abstand BA'_L zwischen dem Punkt B und dem Punkt A'_L vorhanden ist, besteht darin, daß die zwei Augen des Menschen beabstandet sind, wobei sie eine Parallaxe aufweisen. Der Abstand BA'_L ist die Größe, die als eine Parallaxe des Objekts bezeichnet werden kann, und wird in einer Abweichung auf dem Bild ausgedrückt. Man läßt D_A die Abweichung des Punkts A darstellen und D_B die Abweichung des Punkts C darstellen, und die folgende Gleichung gilt.
D_A und D_B werden somit durch die folgenden Gleichungen ausgedrückt.
Bei dem Bestimmen der Fusionsbedingung in dem Bildaufnahmesystem werden die linken und rechten Parallaxenbilder durch ein Aufnehmen eines Objekts 200 bei der Stereokamera 1 gemäß 1 (mit ihrem Basislinienabstand 2k und Konvergenzwinkel θ_b) erhalten, und die Parallaxenbilder werden auf den an einer Position vor dem Betrachter mit dem zulässigen vorbestimmten Abstand d_S plazierten Anzeigeeinheiten 201 und 202 (mit ihren horizontalen Dimensionen von 2W_s) angezeigt. Es wird eine Bestimmung dahingehend ausgeführt, ob die linken und rechten Parallaxenbilder in einem fusionierten Zustand für die Augen des Betrachters angezeigt werden. Genauer wird die Bestimmung abhängig davon ausgeführt, ob der Abstand l von der Stereokamera 1 zu dem Objekt die vorstehend beschriebenen Parameter erfüllt (das heißt die nachstehend zu beschreibende Fusionsbedingung, die durch den Basislinienabstand von 2k, den Konvergenzwinkel von θ_b, den Abstand d_S zu den Anzeigeeinheiten und die Größe 2W_S der Anzeigeeinheiten bestimmt wird).
Man läßt 2d_h den Zwischenpupillenabstand des Betrachters darstellen, und wie aus 6 ersehen werden kann, muß dann, wenn die Abweichung des Punkts A, das heißt der Abstand BA'_L (=2D_A), kleiner als 2d_h ist, mit anderen Worten 2D_A≤2d_h, das Objekt auf dieser Seite des Punkts A fusioniert sein. Die folgende Gleichung gilt somit. dh ≥ DA... ...GL3, wobei tan(θa + θb) = A/K... ...GL4 tanθb = B/K ...GL5
Die folgende Gleichung wird aus GL1, GL3 bis GL5 abgeleitet.
Die rechte Seite von GL6 bedeutet den Bereich, in dem ein Bild fusioniert werden kann, hinter dem Bildschirm, wobei der Punkt B nach dem Mittelpunkt des Bildschirms ausgerichtet ist. Genauer befindet sich dann, wenn das Objekt 200 hinter dem Punkt B, aber auf dieser Seite des durch die folgende Gleichung definierten Punkts A vorhanden ist, das Objekt 200 in dem Bereich, in dem ein Bild fusioniert werden kann.
Wie bereits beschrieben werden k und θ_b durch die Konvergenzwinkel-/Basislinienabstandserfassungseinrichtung 10 erhalten. θ_W ist ein aus Objektivdaten bekannter Wert, und W_S ist in dem Anzeigezustand ebenfalls ein bekannter Wert. Bei diesem Ausführungsbeispiel ist d_h ein vorbestimmter Wert (65 mm/2 = 32,5 mm). Der Wert von d_h ist jedoch nicht darauf beschränkt.
Mit Bezug auf 7 ist nachstehend der Punkt C berücksichtigt.
7 zeigt nicht nur die virtuelle Bildaufnahmeebene 250L, sondern auch die virtuelle Bildaufnahmeebene 250R. Genauer werden den Punkten A und C entsprechende Bilder A_L und C_L in der rechten Bildaufnahmeebene 250L erhalten, und den Punkten A und C entsprechende Bilder A_R und C_R werden in der linken Bildaufnahmeebene 250R erhalten. Falls der Betrachter mit beiden Augen auf die Bildaufnahmeebene sieht, werden die linken und rechten Sehfelder auf einer einzelnen virtuellen Ebene 400 kombiniert. Auf der virtuellen Ebene 400 werden Punkte A'_L und A'_R für den Punkt A gebildet, und Punkte B'_L und B'_R werden für den Punkt B gebildet. Für den Betrachter scheint der Punkt A an einem Kreuzungspunkt A' vorhanden zu sein, wo eine das linke Auge mit dem Punkt A'_L verbindende gerade Linie 300L eine das rechte Auge mit dem Punkt A'_R verbindende gerade Linie 300R schneidet. Und der Punkt C scheint an einem Kreuzungspunkt C' vorhanden zu sein, wo eine das linke Auge mit dem Punkt C'_L verbindende gerade Linie 350L eine das rechte Auge mit dem Punkt C'_R verbindende gerade Linie 350R schneidet. Mit anderen Worten scheint der Punkt A um einen Abstand d_B zurückgesetzt zu sein, und der Punkt C scheint um einen Abstand d_P projiziert zu sein, wie es in 7 gezeigt ist.
8 zeigt die Beziehung des Projektionsabstands d_P, des Abstands d_S zu der Anzeigeeinheit und der Abweichung D_C. Wie aus 8 ersehen werden kann, gilt die folgende Gleichung.
Aus GL7,
Da die folgende Gleichung gilt,
Die rechte Seite von GL10 bedeutet den proximalen Grenzwert des Bereichs, in dem ein Bild fusioniert werden kann, wobei der Bildschirmmittelpunkt nach dem Punkt B ausgerichtet ist. Genauer befindet sich der Bereich, in dem ein Bild fusioniert werden kann, auf dieser Seite des Punkts B hinter dem Punkt C.
k und θ_b werden durch die Konvergenzwinkel-/Basislinienabstandserfassungseinrichtung 10 erhalten. θ_W ist ein aus Objektivdaten bekannter Wert, und W_S und d_S sind aus dem Anzeigezustand bekannte Werte. Bei diesem Ausführungsbeispiel sind d_h und d_P vorbestimmte Werte (d_h=65 mm, d_P=200 mm), obwohl die Erfindung nicht auf diese Werte beschränkt ist.
Von der vorstehenden Erörterung aus wird der Abstand l zu dem Objekt 200, der die Fusionsbedingung erfüllt, durch die folgende Gleichung ausgedrückt.
Das Prinzip der Bestimmung, ob das Objekt die Fusionsbedingung in dem Bildaufnahmesystem erfüllt, ist erörtert worden.
Das Bildaufnahmesystem weist eine Funktion des Bestimmens, ob das Objekt, das erfaßt wird, die Fusionsbedingung erfüllt, das heißt in den Bereich (C ≤ l ≤ A), in dem ein Bild aufgenommen werden kann, fällt, und des Informierens des Benutzers über das Bestimmungsergebnis auf.
9 zeigt ein Flußdiagramm, das den Steuerprozeß darstellt, der die Benutzerinformationsfunktion umfaßt.
In einem Schritt S11 werden der Konvergenzwinkel θb und der Basislinienabstand 2k, die durch den Benutzer eingestellt werden, in die optischen Systeme 101 und 102 eingelesen. In einem Schritt S12 werden die bekannte Größe W_S der Bildaufnahmevorrichtung, der Abstand d_S zu den Anzeigeeinheiten, der Zwischenpupillenabstand d_h und der Projektionsabstand d_P ebenfalls gelesen.
In einem Schritt S13 wird der distale Fusionsgrenzpunkt A gemäß GL6 bestimmt. In einem Schritt S14 wird der proximale Fusionsgrenzpunkt C gemäß GL10 bestimmt. In einem Schritt S15 wird der Bereich, in dem ein Bild aufgenommen werden kann, bestimmt.
Der Vergleicher 306 vergleicht den durch die Abstandsberechnungseinrichtung 305 berechneten Abstand zu dem Objekt, auf das der Benutzer sieht, das heißt den Abstand l zu dem Objekt, von dem der Benutzer nun ein Bild aufnimmt, mit dem distalen Fusionsgrenzpunkt A und dem proximalen Fusionsgrenzpunkt C. Der Vergleicher 306 vergleicht daraufhin den in dem Schritt S11 bestimmten Abstand zu dem Ziel des Betrachtungspunkts mit dem in dem Schritt S15 bestimmten Bereich, in dem ein Bild aufgenommen werden kann. Genauer bestimmt es der Vergleicher 306, ob das Ziel des Betrachtungspunkts innerhalb oder außerhalb des Bereichs, in dem ein Bild aufgenommen werden kann, fällt. Das Vergleichsergebnis wird zu der Bildsteuereinrichtung 4 gesendet. Entweder die Anzeigeeinheit 201 oder die Anzeigeeinheit 202 oder beide sind mit (nicht gezeigten) LEDs versehen, und die Anzeigeeinheiten 201 und 202 beleuchten die LEDs oder lassen sie blinken, um es anzugeben, ob sich das Objekt innerhalb oder außerhalb des Bereichs befindet. Die LEDs können beleuchtet werden, um es anzugeben, daß das Objekt sich außerhalb des Bereichs befindet, und können gelöscht werden, um es anzugeben, daß das Objekt sich innerhalb des Bereichs befindet. Alternativ kann man die LEDs blinken lassen, um es anzugeben, daß das Objekt sich außerhalb des Bereichs befindet, und kann sie löschen, um es anzugeben, daß das Objekt sich innerhalb des Bereichs befindet. Die Bildanzeige 2 kann das Ergebnis der vorstehend beschriebenen Bestimmung darstellen.
Wie vorstehend beschrieben weiß der Benutzer bei einem Aufnehmen eines Bilds leicht, ob das Hauptobjekt sich innerhalb des Bereichs, in dem ein Bild fusioniert werden kann (Bereichs, in dem ein Bild aufgenommen werden kann), befindet.
Da es der Benutzer gemäß dem ersten Ausführungsbeispiel bei dem Erfassen eines Bilds leicht weiß, ob das Hauptobjekt sich in dem Bereich, in dem ein Bild fusioniert werden kann, befindet, nimmt der Benutzer ein stereoskopisches Bild auf, das leicht zu sehen ist und weniger Ermüdung schafft.
<Modifikation des ersten Ausführungsbeispiels und nicht beanspruchte Beispiele>
Eine Mannigfaltigkeit von Modifikationen des Ausführungsbeispiels wird erwogen.
Bei dem Ausführungsbeispiel sieht der Betrachter auf das auf den Anzeigeeinheiten angezeigte Bild des Objekts, und die Blickrichtungen des Betrachters werden daraufhin erfaßt. Ein nicht beanspruchtes Beispiel arbeitet auch zum Erfassen der Blickrichtungen des Betrachters (Benutzers), der direkt auf das Objekt sieht. Dies ist der Fall, da der Abstand l zu dem Objekt auch aus den Blickrichtungen des Benutzers, der direkt auf das Objekt sieht, bestimmt wird.
Es werden keine speziellen optischen Spezifikationen für das optische System 101 und das CCD 103 eingestellt. Beliebige Systeme sind vollkommen akzeptabel, solange das paarweise optische System 101 und CCD 103 jeweils in der optischen Spezifikation mit dem paarweisen optischen System 102 und CCD 104 identisch sind.
Bei dem Ausführungsbeispiel wird das Aufnehmen eines Bilds mit einem Kreuzverfahren ausgeführt, bei dem die optischen Achsen der Kamera einander kreuzen. Gemäß einem Beispiel wird das Aufnehmen eines Bilds mit einem Parallelverfahren ausgeführt, bei dem die optischen Achsen der Kamera parallel verlaufen.
Die Blickrichtungserfassung ist nicht auf das Verfahren beschränkt, bei dem der Winkel der Drehung des Augapfels erfaßt wird. Alternativ kann jedes andere Verfahren einschließlich des EPG-Verfahrens zum Verwenden eines Spannungsunterschieds zwischen den Spannungen der Augäpfel, des Verfahrens zum Verwenden eines Unterschieds des Reflexionsgrads zwischen dem Weißen und der Pupille bei der Lederhaut bzw. Sklera des Auges und des Suchspulenverfahrens, bei dem eine Kontaktlinse mit einer eingebetteten Spule bei dem Vorhandensein eines Magnetfelds aufgesetzt wird, um die Bewegung der Augäpfel zu messen, verwendet werden.
Die Bildanzeige 2 bei dem Ausführungsbeispiel ist von einem festen Typ. Das Ausführungsbeispiel arbeitet auch bei einer beliebigen anderen passenden Anzeigeeinrichtung wie beispielsweise einem Datenhelm (HMD).
Der Träger des Bildspeichers 9 bei dem Ausführungsbeispiel ist ein Magnetband. Das Ausführungsbeispiel ist nicht darauf beschränkt. Alternativ kann der Bildspeicher 9 ein IC-Speicher, eine magneto-optische Platte, eine DVD-Scheibe, eine CD-ROM-Scheibe oder eine PD-Scheibe sein.

Claims

Bildaufnahmevorrichtung zum Erfassen von Bildern zur stereoskopischen Betrachtung, mit: einer Bildaufnahmeeinrichtung (1) zum Aufnehmen von linken und rechten Parallaxenbildern einschließlich eines Hauptobjekts jeweils für das linke und rechte Auge; einer Anzeigeeinrichtung (2) zum Anzeigen der durch die Bildaufnahmeeinrichtung aufgenommenen linken und rechten Parallaxenbilder; einer Blickrichtungserfassungseinrichtung (203, 204) zum Erfassen der Blickrichtungen des zu den durch die Anzeigeeinrichtung (2) angezeigten jeweiligen Bildern sehenden linken und rechten Auges in dem Koordinatensystem der Anzeigeeinrichtung; einer Abstandsberechungseinrichtung (303, 307, 305) zum Berechnen eines Kreuzungspunkts der durch die Blickrichtungserfassungseinrichtung erfaßten Blickrichtungen des linken und rechten Auges, Bestimmen des Hauptobjekts auf der Grundlage des berechneten Kreuzungspunkts der Blickrichtungen in dem Koordinatensystem der Bildaufnahmeeinrichtung und Berechnen eines Abstands von der Bildaufnahmeeinrichtung zu dem bestimmten Hauptobjekt; einer Einrichtung (304) zur Berechnung eines Bereichs, in dem ein Bild aufgenommen werden kann, zum Berechnen eines Bereichs, in dem ein Bild fusioniert werden kann, basierend auf Winkeln der jeweiligen Bildaufnahmeeinrichtung, einem Abstand zwischen den Bildaufnahmeeinrichtungen, einem Abstand von dem linken und rechten Auge zu der Anzeigeeinrichtung, einer menschlichen Pupillenabstandsgrenze und einer auf dem Abstand des deutlichen Sehens von menschlichen Augen basierenden proximalen Grenze; und einer Bestimmungseinrichtung (306) zum Bestimmen, ob der durch die Abstandsberechnungseinrichtung berechnete Abstand von der Bildaufnahmeeinrichtung zu dem Hauptobjekt in den durch die Einrichtung zur Berechnung eines Bereichs, in dem ein Bild aufgenommen werden kann, berechneten Bereich, in dem ein Bild fusioniert werden kann, fällt.
Bildaufnahmevorrichtung nach Anspruch 1, ferner mit einer Informationseinrichtung zum Informieren eines Benutzers über ein durch die Bestimmungseinrichtung (306) bereitgestelltes Bestimmungsergebnis.
Bildaufnahmevorrichtung nach Anspruch 2, wobei die Informationseinrichtung das Bestimmungsergebnis anzeigt.
Bildaufnahmevorrichtung nach Anspruch 1, wobei die Ausgabe der Bildaufnahmeeinrichtung (1) im Ansprechen auf die Ausgabe der Bestimmungseinrichtung in einem Speicher gespeichert wird.
Bildaufnahmevorrichtung nach Anspruch 1, wobei die Blickrichtungserfassungseinrichtung (203, 204) ferner umfaßt: eine Wandlungseinrichtung (303, 304) zum Wandeln der linken und rechten Blickrichtungen eines Benutzers in linke und rechte Richtungsvektoren, die jeweils in linken und rechten Koordinatensystemen der Bildaufnahmeeinrichtung ausgedrückt werden; und eine Koordinatenberechnungseinrichtung (307) zum Berechnen der Koordinatenwerte des Kreuzungspunkts der linken und rechten Richtungsvektoren in dem Weltkoordinatensystem.
Bildaufnahmevorrichtung nach Anspruch 1, wobei die Einrichtung (304) zur Berechnung eines Bereichs, in dem ein Bild aufgenommen werden kann, den Bereich, in dem ein Bild fusioniert werden kann, gemäß einer entferntesten Position und einer nächsten Position von der Bildaufnahmeeinrichtung in der Richtung der Tiefe ausdrückt.
Bildaufnahmevorrichtung nach Anspruch 6, wobei die Einrichtung (304) zur Berechnung eines Bereichs, in dem ein Bild aufgenommen werden kann, die entfernteste Position des Bereichs, in dem ein Bild fusioniert werden kann, derart einstellt, daß sie ein Punkt derart ist, daß der horizontale Abstand zwischen zwei einem ersten Punkt (A) der entferntesten Position entsprechenden zweiten Punkten auf den linken und rechten Bildebenen der Bildaufnahmeeinrichtung (1) im wesentlichen gleich dem Zwischenpupillenabstand des Benutzers ist.
Bildaufnahmevorrichtung nach Anspruch 6, wobei die Einrichtung (304) zur Berechnung eines Bereichs, in dem ein Bild aufgenommen werden kann, die nächste Position des Bereichs, in dem ein Bild fusioniert werden kann, derart einstellt, daß sie ein Punkt derart ist, daß eine Position (C'), bei der zwei einem ersten Punkt (C) der nächsten Position entsprechende Punkte auf den linken und rechten Bildebenen der Bildaufnahmeeinrichtung (1) durch eine perspektivische Transformation basierend auf den linken und rechten Betrachtungspunkten des Benutzers zu dem Benutzer herausragend liegen, annähernd gleich dem Punkt bei dem Abstand des deutlichen Sehens des Benutzers ist.
Bildaufnahmevorrichtung nach Anspruch 1, wobei die Bildanzeigeeinrichtung (2) und die Blickrichtungserfassungseinrichtung (203, 204) in einen Datenhelm eingebaut sind.
Bildaufnahmevorrichtung nach Anspruch 9, wobei der Datenhelm eine Leuchtdiode umfaßt.
Bildaufnahmeverfahren zum Erfassen von Bildern zur stereoskopischen Betrachtung, mit: einem Bildaufnahmeschritt des Aufnehmens von linken und rechten Parallaxenbildern einschließlich eines Hauptobjekts jeweils für das linke und rechte Auge durch eine Bildaufnahmeeinrichtung; einem Anzeigeschritt des Anzeigens der aufgenommenen linken und rechten Parallaxenbilder durch eine Anzeigeeinrichtung; einem Blickrichtungserfassungsschritt (S1) des Erfassens der Blickrichtungen des zu den jeweiligen angezeigten Bildern sehenden linken und rechten Auges in dem Koordinatensystem der Anzeigeeinrichtung; einem Abstandsberechungsschritt des Berechnens eines Kreuzungspunkts der durch den Blickrichtungserfassungsschritt erfaßten Blickrichtungen des linken und rechten Auges, Bestimmens des Hauptobjekts auf der Grundlage des berechneten Kreuzungspunkts der Blickrichtungen in dem Koordinatensystem der Bildaufnahmeeinrichtung und Berechnens eines Abstands von der Bildaufnahmeeinrichtung zu dem bestimmten Hauptobjekt; einem Schritt zur Berechnung eines Bereichs, in dem ein Bild aufgenommen werden kann, des Berechnens eines Bereichs, in dem ein Bild fusioniert werden kann, basierend auf Winkeln der jeweiligen Bildaufnahmeeinrichtung, einem Abstand zwischen den Bildaufnahmeeinrichtungen, einem Abstand von dem linken und rechten Auge zu der Anzeigeeinrichtung, einer menschlichen Pupillenabstandsgrenze und einer auf dem Abstand des deutlichen Sehens von menschlichen Augen basierenden proximalen Grenze; und einem Bestimmungsschritt des Bestimmens, ob der durch den Abstandsberechnungsschritt berechnete Abstand von der Bildaufnahmeeinrichtung zu dem Hauptobjekt in den durch den Schritt zur Berechnung eines Bereichs, in dem ein Bild aufgenommen werden kann, berechneten Bereich, in dem ein Bild fusioniert werden kann, fällt.
Bildaufnahmeverfahren nach Anspruch 11, ferner mit dem Schritt des Informierens eines Benutzers über das Bestimmungsergebnis des Bestimmungsschritts.
Bildaufnahmeverfahren nach Anspruch 12, wobei der Informationsschritt das Bestimmungsergebnis anzeigt.
Bildaufnahmeverfahren nach Anspruch 11, wobei der Bestimmungsschritt den Bereich, in dem ein Bild fusioniert werden kann, gemäß dem Zwischenpupillenabstand und dem Abstand des deutlichen Sehens eines Benutzers definiert.
Bildaufnahmeverfahren nach Anspruch 11, ferner mit dem Schritt des Speicherns der Ausgabe des Bildaufnahmeschritts in einem Speicher im Ansprechen auf die Ausgabe des Bestimmungsschritts.
Bildaufnahmeverfahren nach Anspruch 11, wobei der Schritt des Erfassens der Blickrichtungen den Schritt des Wandelns der linken und rechten Blickrichtungen eines Benutzers in linke und rechte Richtungsvektoren, die jeweils in linken und rechten Koordinatensystemen bei dem Bildaufnahmeschritt ausgedrückt werden; und den Schritt des Berechnens der Koordinatenwerte eines Kreuzungspunkts der linken und rechten Richtungsvektoren in dem Weltkoordinatensystem umfaßt.
Bildaufnahmeverfahren nach Anspruch 16, wobei der Bestimmungsschritt bestimmt, ob die berechneten Koordinatenwerte des Kreuzungspunkts in dem Weltkoordinatensystem in den Bereich, in dem ein Bild fusioniert werden kann, fallen.
Bildaufnahmeverfahren nach Anspruch 11, wobei der Schritt zur Berechnung eines Bereichs, in dem ein Bild aufgenommen werden kann, den Bereich, in dem ein Bild fusioniert werden kann, gemäß einer entferntesten Position und einer nächsten Position von der Bildaufnahmeeinrichtung in der Richtung der Tiefe ausdrückt.
Bildaufnahmeverfahren nach Anspruch 18, wobei der Schritt zur Berechnung eines Bereichs, in dem ein Bild aufgenommen werden kann, die entfernteste Position des Bereichs, in dem ein Bild fusioniert werden kann, derart einstellt, daß sie ein Punkt derart ist, daß der horizontale Abstand zwischen zwei einem ersten Punkt (A) der entferntesten Position entsprechenden zweiten Punkten in den linken und rechten Bildebenen des Bildaufnahmeschritts im wesentlichen gleich dem Zwischenpupillenabstand des Benutzers ist.
Bildaufnahmeverfahren nach Anspruch 18, wobei der Schritt zur Berechnung eines Bereichs, in dem ein Bild aufgenommen werden kann, die nächste Position des Bereichs, in dem ein Bild fusioniert werden kann, derart einstellt, daß sie ein Punkt derart ist, daß eine Position (C'), bei der zwei einem ersten Punkt (C) der nächsten Position entsprechende Punkte auf den linken und rechten Bildebenen des Bildaufnahmeschritts durch eine perspektivische Transformation basierend auf den linken und rechten Betrachtungspunkten des Benutzers zu dem Benutzer herausragend liegen, annähernd gleich dem Punkt bei dem Abstand des deutlichen Sehens des Benutzers ist.
Bildaufnahmevorrichtung nach Anspruch 1, ferner mit: einer Aufzeichnungseinrichtung zum Aufzeichnen des linken Parallaxenbildsignals und des rechten Parallaxenbildsignals von der Bildaufnahmeeinrichtung (1) gemäß der Ausgabe der Bestimmungseinrichtung.
Bildaufnahmeverfahren nach Anspruch 11, ferner mit: dem Aufzeichnungsschritt des Aufzeichnens des linken Parallaxenbildsignals und des rechten Parallaxenbildsignals, die durch den Bildaufnahmeschritt erhalten werden, gemäß der Ausgabe des Bestimmungsschritts.
Bildaufnahmevorrichtung nach Anspruch 1, wobei die Bildaufnahmeeinrichtung (1) eine Einstellungseinrichtung zum Einstellen entweder des Basislinienabstands zwischen den ersten und zweiten optischen Systemen oder des Konvergenzwinkels zwischen den ersten und zweiten optischen Systemen oder zum Einstellen sowohl des Basislinienabstands als auch des Konvergenzwinkels umfaßt.
Durch einen Computer lesbarer Aufzeichnungsträger zum Speichern eines Programms, das durch einen Computer ausgeführt wird, wobei der Träger ein Programm speichert, das das Verfahren nach Anspruch 11 ausführt.