DE4446452A1

DE4446452A1 - Fahrleitvorrichtung und Fahrleitverfahren für ein Fahrzeug

Info

Publication number: DE4446452A1
Application number: DE4446452A
Authority: DE
Inventors: Hideaki Tuchiya; Keiji Hanawa; Keiji Saneyoshi
Original assignee: Fuji Jukogyo KK; Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 1993-12-27
Filing date: 1994-12-23
Publication date: 1995-06-29
Anticipated expiration: 2014-12-24
Also published as: GB2285719A; GB2285719B; GB9426131D0; US5530420A; JP3522317B2; DE4446452B4; USRE37610E1; JPH07192199A

Description

Die vorliegende Erfindung betrifft eine Fahrleitvorrichtung sowie ein Fahrleitverfahren für ein Fahrzeug, die ermöglichen, daß dieses Fahrzeug durch einen engen Weg sicher hindurchfahren kann, und damit die dem Fahrer in einem solchen Zustand auferlegte Last herabsetzbar ist.

Ein Fahrzeug wie ein Auto umfaßt gewöhnlich einen Sensor, in dem ein Tastschalter oder Berührungsschalter eingeschaltet wird, wenn ein Eckpfeiler oder ein stangenförmiges Teil ein Hindernis berührt, das z. B. aus einer Wand, Leitplanke, einem Pfahl oder einem parkenden Fahrzeug besteht, wie dies in dem offengelegten japanischen Gebrauchsmuster Nr. 5-68 742 (1993) beschrieben ist, um für eine Kompensation der beschränkten Sinneswahrnehmung eines Fahrers zu sorgen, indem ein Zwischenraum zwischen dem Fahrzeug und Hindernissen erkannt wird, die auf der linken und rechten Seite des Fahrzeugs vorhanden sind.

In letzter Zeit ist eine Technologie entwickelt worden, um die dem Fahrer auferlegte Last zu mindern, die besteht, wenn das Fahrzeug durch einen schmalen Weg fährt, und zwar in der Weise, daß Ultraschallsensoren, die auf der Seitenfläche von vier Ecken des Fahrzeugs angeordnet sind, Ultraschallwellen aussenden, eine am Hindernis reflektierte Schallwelle erfaßt wird und die Distanz des Spaltes gemessen wird, um dann den Fahrer hierdurch über die gemessene Distanz zu informieren.

Da jedoch der Fahrer eine große Erfahrung benötigt, um das Fahrzeug mit der oben erwähnten Eckstange zu betreiben, die an der Außenseite der Fahrzeugkarosserie als Zeichen befestigt ist, ist es nicht möglich, tatsächlich die Wirkung der Herabsetzung der auf dem Fahrer lastenden Bürde zu erzielen. Bei Kontaktsensoren, wie Abfühlsensoren, kann der Fahrer ein Lenkrad nicht ausreichend schnell betätigen, nachdem das Hindernis schon berührt worden ist, da er die Position nicht vor dem Berühren des Gegenstandes erkennen kann.

Ferner kann auch die Ultraschalltechnologie dem Fahrer die positionelle Beziehung des Hindernisses infolge einer Verschlechterung einer räumlichen Auflösungsleistung nicht vermitteln, wobei dieses Verfahren eine Gegenstandabhängigkeit zeigt, wobei die abgestrahlte Ultraschallwelle von Kleidern von Fußgängern und Schleuderwänden und anderen Teilen nicht zurückgestrahlt wird. Dementsprechend ist es recht schwierig, vielfältige auf der Straße vorhandene Strukturen mit dieser Technologie differenzierend zu erfassen.

Hinsichtlich der oben dargelegten Situation liegt der Erfindung die Aufgabe zugrunde, eine Fahrleitvorrichtung sowie ein Fahrleitverfahren für ein Fahrzeug anzugeben, die imstande sind, eine ausreichende Sicherheit beim Hindurchfahren durch einen engen Weg zu bieten und die auf dem Fahrer lastende Bürde herabzusetzen.

Diese Aufgabe wird durch den Gegenstand des Patentanspruchs 1 bzw. des Patentanspruchs 6 gelöst.

Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen gekennzeichnet.

Erfindungsgemäß wird der Fahrer über den jeweiligen Zwischenraum informiert, der zwischen einer detektierten Struktur und der eigenen Fahrzeugkarosserie vorliegt, und zwar in Abhängigkeit von einer korrekten Detektion verschiedener Konstruktionen und Aufbauten, die in der Vorausrichtung des Fahrzeugs vor dem Fahrzeug liegen, und zwar bevor das Fahrzeug durch den engen Weg fährt.

Die erfindungsgemäße Fahrleitvorrichtung umfaßt eine stereoskopische Bildverarbeitungseinrichtung zum Verarbeiten eines Paares stereoskopischer Bilder eines sich außerhalb des Fahrzeugs befindenden Gegenstandes, der durch ein Abbildungssystem abgebildet wird, das auf dem Fahrzeug so angebracht ist, daß eine Distanzverteilung eines Gesamtbildes in Abhängigkeit von durch Abweichungsbeträge gekennzeichneten Positionen entsprechend dem Paar der stereoskopischen Bilder gemäß dem Triangolationsprinzip gewonnen wird. Eine Konstruktionsdetektoreinrichtung detektiert die vorhandenen vielfältigen unterschiedlichen Konstruktionen und Gegenstände durch Verwenden dreidimensionaler Positionsdaten, die für einen jeden Teil oder Abschnitt eines Gegenstandes entsprechend der Distanzverteilungsdaten von der stereoskopischen Bildverarbeitungseinrichtung berechnet werden. Eine Zwischenraumdistanzberechnungseinrichtung berechnet jeweils die nächste Distanz als rechte und linke Zwischenraumdistanzen, die jeweils zwischen einer verlängerten Linie der linken und rechten Seite des Fahrzeugs und jedes der Enden auf der Fahrzeugseite zu mehreren verschiedenen Konstruktionen ermittelt werden, die durch die Konstruktionsdetektoreinrichtung detektiert worden sind. Eine Informationseinrichtung informiert den Fahrer über die Daten, die sich auf die linken und rechten Zwischenraumdaten beziehen, welche von der Zwischenraumdistanzberechnungseinrichtung berechnet worden sind.

Nachdem in der vorliegenden Erfindung die Distanzverteilungsdaten über das gesamte Bild hinweg durch das Prinzip der Triangulation in Abhängigkeit vom Abweichungsbetrag der Positionen, die einander in dem Paar stereoskopischer Bilder entsprechen, die stereoskopisch von Gegenständen um das Fahrzeug herum abgebildet werden, gewonnen wurden, werden die dreidimensionalen Positionen der jeweiligen Abschnitte entsprechend den Distanzverteilungsdaten gewonnen und hierdurch die Konstruktion, die gegebenenfalls ein Hindernis darstellt, unter Verwendung der dreidimensionalen Positionsdaten detektiert. Die Berechnungseinrichtung berechnet dabei jeweils die nächste Distanz als rechte und linke Zwischenraumdistanzen zwischen einer verlängerten Linie der linken oder rechten Seite des Fahrzeugs und jeder der Enden auf der Fahrzeugseite der mehreren verschiedenen Konstruktionen, die vorab detektiert worden sind, um den Fahrer über die rechten und linken Zwischenraumdistanzdaten zu informieren.

Wie erläutert, gewinnt die vorliegende Erfindung die Distanzverteilung über die Gesamtbilder in Abhängigkeit von den Abweichungsbeträgen zwischen den Positionen, die einander in dem Paar der stereoskopischen Bilder entsprechen, die die Objekte um das Fahrzeug herum abbilden, ferner wird erfindungsgemäß die dreidimensionale Position jedes Teils des Objekts entsprechend der Distanzverteilungsdaten berechnet, und es wird eine Mehrzahl von Konstruktionen detektiert, indem dreidimensionale Positionsdaten berechnet werden. Die Vorrichtung der vorliegenden Erfindung berechnet ferner als die linken und rechten Zwischenraumdistanzen die nächste Distanz zwischen den Enden oder Endbereichen auf der Fahrzeugseite von der detektierten Mehrzahl der Gegenstände und der verlängerten Linien der Fahrzeugseiten und informiert den Fahrer über die entsprechend ermittelten Zwischenraumdaten. Dementsprechend ist es möglich, den Fahrer in geeigneter Weise über die Zwischenraumdistanz zwischen der Karosserie seines Fahrzeugs und den verschiedenen Konstruktionen zu informieren, die in der Vorausrichtung vor dem Fahrzeug vorhanden sind, bevor das Fahrzeug durch den schmalen Weg zu fahren hat, nachdem vorab präzise detektiert worden ist, wodurch äußerst vorteilhafte Effekte erzielbar sind wie die Herabsetzung der dem Fahrer auferlegten Last und die Absicherung gegen Risikosituationen und Unfälle.

Im folgenden wird die Erfindung an Hand der Zeichnungen näher erläutert. Es zeigen:

Fig. 1 eine Ansicht eines Fahrzeugs mit einer darin installierten Fahrleitvorrichtung gemäß einem Ausführungsbeispiel der Erfindung;

Fig. 2 ein Blockschaltbild der Fahrleitvorrichtung;

Fig. 3 eine beispielhafte Ansicht für den Bildschirm einer Displayeinrichtung;

Fig. 4 eine Vorderansicht auf das Fahrzeug;

Fig. 5 eine beispielhafte Darstellung, die die Beziehung zwischen einer Kamera und einem Objekt zeigt;

Fig. 6 eine detaillierte Schaltung eines Bildprozessors;

Fig. 7 eine Ansicht, die den Aufbau einer verwendeten City-Block-Distanzberechnungsschaltung zeigt;

Fig. 8 ein Blockschaltbild, das eine Minimumwertdetektorschaltung zeigt;

Fig. 9 eine beispielhafte Ansicht, die eine Abbildung der CCD-Kameras, die am Fahrzeug angebracht sind, vermittelt;

Fig. 10 eine beispielhafte Ansicht, die ein Distanzbild darstellt;

Fig. 11 eine Ansicht von oben auf das Fahrzeug;

Fig. 12 eine seitliche Ansicht des Fahrzeugs;

Fig. 13 ein Blockschaltbild eines Distanzbildverarbeitungscomputers;

Fig. 14 eine beispielhafte Ansicht, die ein Klassifizierungsverfahren für ein Bild zeigt;

Fig. 15 eine beispielhafte Ansicht, die die Beziehung zwischen einem detektierten Gegenstand und einem Histogramm verdeutlicht;

Fig. 16 eine beispielhafte Ansicht, die eine detektierte Distanz und ein detektiertes Ergebnis einer Region zeigt, in der ein Gegenstand existiert;

Fig. 17 eine beispielhafte Ansicht, die die Form eines möglichen dreidimensionalen Fensters zur Detektion des Gegenstandes zeigt;

Fig. 18 eine beispielhafte Ansicht, die die Form eines zweidimensionalen Fensters zur Detektion des Gegenstands zeigt;

Fig. 19 eine beispielhafte Ansicht, die die Daten zeigt, die die Kontur des Gegenstandes darstellen;

Fig. 20 eine beispielhafte Ansicht, die die Größenabmessung der externen durch das Konturbild detektierten Form zeigt;

Fig. 21 eine beispielhafte Darstellung, die die Form einer Suchregion für die Detektion einer Seitenwand zeigt;

Fig. 22 eine beispielhafte Ansicht, die eine Seitenwandsuchregion auf einem Bild zeigt;

Fig. 23 eine beispielhafte Ansicht, die eine Verteilungssituation von Konstruktionsdaten zeigt;

Fig. 24 eine beispielhafte Ansicht, die eine Idee von einer geraden Linie bei der Hough-Transformation vermittelt;

Fig. 25 eine beispielhafte Ansicht, die eine Auswahl- oder Votierungsregion eines Parameterraums zeigt;

Fig. 26 eine beispielhafte Ansicht, die eine Seitenwandkandidatenregion zeigt;

Fig. 27 eine beispielhafte Ansicht, die die Beziehung zwischen einem Histogramm und einer Region zeigt, in der eine Seitenwand vorliegt;

Fig. 28 eine beispielhafte Ansicht, die ein detektiertes Ergebnis der Seitenwand zeigt;

Fig. 29 eine beispielhafte Ansicht zur Verdeutlichung der Berechnung einer Zwischenraumdistanz;

Fig. 30 ein Flußdiagramm, das die Funktion eines Bildprozessors verdeutlicht;

Fig. 31 eine beispielhafte Darstellung zur Aufzeigung einer Speicherungsfolge in einem Schieberegister;

Fig. 32 eine Zeittafel, die die Funktion einer City-Block-Distanzberechnungsschaltung zeigt;

Fig. 33 eine Zeittabelle, die die Funktion einer Fehlbetrags-Bestimmungseinrichtung zeigt;

Fig. 34 eine Zeittafel, die den Gesamtfunktionsablauf des Bildprozessors verdeutlicht;

Fig. 35 und 36 Flußdiagramme einer Gegenstandsdetektionsverarbeitung;

Fig. 37 und 38 Flußdiagramme der Arbeitsprozesse für eine Seitenwanddetektion; und

Fig. 39 ein Flußdiagramm für die Verarbeitung der Zwischenraumdistanzberechnung.

Im folgenden wird detailliert eine Fahrleitvorrichtung für ein Fahrzeug gemäß bevorzugten Ausführungsbeispielen der vorliegenden Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen erläutert.

In Fig. 1 bezeichnet die Bezugszahl 1 ein Fahrzeug wie ein Auto, und das Fahrzeug 1 umfaßt eine Fahrleitvorrichtung, die die Funktion eines aktiven Steuerhilfssystems (ADA-Systems von active drive assist) aufweist, um dem Fahrer eine hochgradige Steuerhilfe zu bieten und hierdurch mögliche Risiken sichergestellt zu vermindern, indem der Fahrer entlastet wird, wenn das Fahrzeug durch einen schmalen Weg fährt, in dem Wände, Geländer, Brüstungen und dergleichen, sowie Masten elektrischer Einrichtungen (wie Telefonmasten) und weitere parkende Fahrzeuge vorliegen.

Die Fahrleitvorrichtung 2 umfaßt ein stereoskopisches optisches System 10 mit einem Paar Kameras auf der linken und rechten Seite als Abbildungssystem zum Abbilden von Gegenständen im Bereich um das Fahrzeug herum. Ferner ist eine stereoskopische Bildverarbeitungseinrichtung 15 zum Berechnen einer dreidimensionalen Distanzverteilung im gesamten Bild vorgesehen, indem hierzu ein Paar Bilder, die durch die linken und rechten Kameras des stereoskopischen optischen Systems 10 aufgenommen wurden, verarbeitet werden. Eine vorgesehene Konstruktionsdetektionseinrichtung 100 detektiert mit hoher Geschwindigkeit eine dreidimensionale Position des kontinuierlichen Aufbaus bzw. der fortgesetzten Konstruktion einer Grenze der Straße wie einer Wandung, Brüstung eines Geländers sowie Gegenständen auf der Straße wie weiteren Fahrzeugen, Fußgängern und Gebäuden, jeweils in Abhängigkeit von den Distanzverteilungsdaten, die von der stereoskopischen Bildverarbeitungseinrichtung 15 zugeführt werden. Eine Zwischenraum-Distanzberechnungseinrichtung 110 berechnet als eine Zwischenraum- Distanz eine nächste Distanz links und rechts des Fahrzeugs zwischen einer verlängerten Linie der Seiten der Fahrzeugkarosserie und den Enden der Wand oder Konstruktion, die durch die Konstruktionsdetektoreinrichtung detektiert worden ist. Eine Informationseinrichtung 115 dient zum Informieren des Fahrers über die Zwischenraum-Distanzdaten, die durch die Berechnungseinrichtung 110 bezüglich der linken und rechten Seite des Fahrzeugs berechnet worden sind.

Fig. 2 ist ein Blockschaltbild, das den Hardware-Aufbau der Fahrleitvorrichtung 2 zeigt. Das stereoskopische optische System 10 verwendet CCD-Kameras, die ladungsgekoppelte Bauelemente (CCD's) oder dergleichen umfassen, und weist ein Paar CCD-Kameras 11a und 11b auf der linken bzw. rechten Seite für eine kurze Distanz und ein Paar CCD-Kameras 12a und 12b auf der rechten und linken Seite für große Distanz auf. Das stereoskopische optische System 10 ist mit dem Bildprozessor 20 verbunden, um die Funktion als stereoskopische Bildverarbeitungseinrichtung 15 vorzusehen.

Darüber hinaus ist der Bildprozessor 20 mit einem Distanzbild-Verarbeitungscomputer 120 verbunden, um die Funktion als Konstruktionsdetektoreinrichtung 100 und Zwischenraumdistanzberechnungseinrichtung 110 vorzusehen. Der Distanzbild-Verarbeitungscomputer 120 ist auch mit einem Display 3 als Informationseinrichtung 115 verbunden.

Der Bildprozessor 20 umfaßt eine Distanzdetektorschaltung 20a und einen Distanzbildspeicher 20b. Die Distanzdetektorschaltung 20a sucht Abschnitte, die dasselbe Objekt in jeder von feinen Regionen abbilden, gegenüber dem Paar aus zwei stereoskopischen Bildern, die von dem stereoskopischen optischen System 10 aufgenommen werden (bestimmt mit anderen Worten für sämtliche feinen Regionen in beiden Bildern den gleichen Gegenstand) und berechnet eine Distanz zu diesem Gegenstand in Abhängigkeit von einem Abweichungsbetrag der Positionen entsprechend den aufgefundenen Abschnitten. Der Distanzbildspeicher 20b speichert Distanzdaten, die ein Ausgangssignal der Distanzdetektorschaltung 20a darstellen.

Der Distanzbild-Verarbeitungscomputer 120 umfaßt eine Auslegung als Multimikroprozessorsystem, in der ein Mikroprozessor 120a, ein Mikroprozessor 120b und ein Mikroprozessor 120c über einen Systembus 121 verschaltet sind. Der Mikroprozessor 120a führt hauptsächlich eine Verarbeitung der Detektion jeweiliger Gegenstände aus, der Mikroprozessor 120b führt hauptsächlich eine Verarbeitung der Detektion einer Seitenwand aus und der Mikroprozessor 120c führt hauptsächlich eine Verarbeitung hinsichtlich der Berechnung einer Zwischenraumdistanz aus.

Der Systembus 121 ist mit einer Interfaceschaltung 122 verbunden, die mit dem Distanzbildspeicher 20b verbunden ist, ferner einem Nur-Lesespeicher (ROM) 123, der ein Steuerprogramm speichert, einem Speicher mit wahlfreiem Zugriff (RAM) 124, der verschiedene Parameter während der berechnenden Verarbeitung speichert, und einem Ausgangsspeicher 125 zum Speichern von Parametern wie Verarbeitungsergebnissen, ferner mit einer Displaysteuereinheit 126 zum Steuern des Displays oder der Anzeige 3 und einer Interfaceschaltung 127 zum Eingeben von Signalen von Sensoren und Schalteinrichtungen wie einem Fahrzeuggeschwindigkeitssensor 4, einem Lenkwinkelsensor 5 zur Detektion eines Lenkwinkels und eines Modussetzschalters 6 zur Selektion eines Unterstützungsmodus des ADA für den Fahrer, wobei diese Einheiten am Fahrzeug angebracht sind.

Der Distanzbild-Verarbeitungscomputer 120 umfaßt unterteilte Speicherregionen, die jeweils von den Mikroprozessoren 120a, 120b und 120c verwendet werden, und führt parallel eine Objektdetektionsverarbeitung und eine Seitenwanddetektionsverarbeitung in Abhängigkeit von den Distanzdaten vom Bildprozessor 20 durch. Der Computer 120 zeigt ein Bild auf dem Display 3 nach einer Zwischenraumdistanzberechnungsverarbeitung in Abhängigkeit von den detektierten Objektdaten durch, wenn ein Standardsignal durch Manipulation des Modussetzschalters 6 durch den Fahrer eingegeben wird.

Wie in Fig. 3 gezeigt, ist ein Monitorabschnitt 3a im zentralen Abschnitt auf einem Bildschirm des Displays 3 vorgesehen, um eine Ansicht (Szenerie) vor dem Fahrzeug durch den jeweiligen Zustand des weiter unten erwähnten Distanzbildes vorzusehen. Ein Modusdisplayabschnitt 3b ist auf der Seite des Monitorabschnitts 3a vorgesehen und dient zur Darstellung jedes Modus (Fahrgeschwindigkeit, Leitsteuerung, Unterstützung und Prüfung) des ADA, wobei eine relevante Anzeige des Monitorabschnitts 3a entsprechend einer Betriebseingabe des Modussetzschalters 6 erleuchtet wird.

Ferner sind ein Datendisplayabschnitt 3c und ein Positionsdisplayabschnitt 3d vorgesehen, wobei letzterer durch seine in vier Abschnitte oder Sektoren aufgeteilte ovale Form vorn, rechts, hinten und links vom Fahrzeug anzeigt bzw. darstellt. Die beiden Abschnitte 3c und 3d sind oberhalb des Monitorabschnitts 3a vorgesehen. Ein Modusdatendisplayabschnitt 3e ist unterhalb des Monitorabschnitts 3a vorgesehen und dient zur Anzeige von Angaben über die Distanz zwischen Fahrzeugen, sowie Geschwindigkeit, linksseitiger Zwischenraumabstand und rechtsseitiger Zwischenraumabstand jeweils versehen mit den numerischen Werten aus der Berechnung.

In der Erfindung selektiert der Fahrer den Leitmodus durch Betätigen des Modussetzschalters 6, wenn das Fahrzeug durch einen schmalen Fahrweg fahren soll, bei dem mehrere verschiedene Hindernisse vorliegen. Infolgedessen wird der Displayabschnitt "Leiten" im Modusdisplayabschnitt 3b eingeschaltet, und gleichzeitig berechnet der Computer 120 jeweils die Distanz auf der rechten und linken Seite zwischen den verlängerten Linien der rechten und linken Seite der Karosserie des Fahrzeugs und den Enden der Hindernisse um das Fahrzeug auf der Straße in Abhängigkeit vom Distanzbild nach Verarbeitung eines Paares der stereoskopischen Bilder, die vom stereoskopischen optischen System 10 aufgenommen wurden, für jeden möglichen Distanzwert.

Wie in Fig. 3 gezeigt, wird der numerische Wert der Zwischenraumdistanz unter der Anzeige dieser Größe als Wort (d. h. rechte und linke Zwischenraumdistanz) im Modusdatendisplayabschnitt 3e angezeigt, und es werden der rechte und linke Abschnitt des Positionsdisplayabschnitts 3d eingeschaltet. Der Positionsdisplayabschnitt 3d wird ausgeschaltet und auf der entsprechenden Seite mit Rot dargestellt, um den Kontakt mit einem Hindernis als Alarm anzuzeigen, falls bei der Geradeausfahrt bzw. geradeaus die berechnete Zwischenraumdistanz weniger als 0 (Null) beträgt oder 0. Der Positionsdisplayabschnitt 3d wird eingeschaltet und durch Gelb dargestellt, wenn die Kontaktgefahr beim sorgfältigen Betätigen des Lenkrades durch den Fahrer besteht, wenn die Zwischenraumdistanz mehr als 0 (Null) beträgt oder 20 cm oder weniger beträgt. Der Positionsdisplayabschnitt 3d wird eingeschaltet und durch Grün angezeigt, wenn angezeigt werden soll, daß die Gefahr ausreichend gering ist, falls geradeausgefahren wird, wobei hier die Bedingung ist, daß die Zwischenraumdistanz mehr als 20 cm beträgt. Bei Gelb hingegen wird vorsichtig gefahren.

Entsprechend kann der Fahrer auf dem Bildschirm des Displays sicherstellen, daß das Fahrzeug sicher den schmalen Fahrweg passiert, indem der Modussetzschalter 6 betätigt wird, bevor durch diesen Fahrweg hindurchgefahren wird, bei dem eine Seitenwand, elektrische Einrichtungen wie Telefonmasten und parkende Autos vorliegen, wodurch vorab ein Kontakt oder Aufprall vermieden wird, indem die dem Fahrer sonst auferlegte Last herabgesetzt wird. Da ferner der Fahrer die Zwischenraumdistanz quantitativ erfassen kann, ist es möglich, daß der Fahrer auf leichte Weise die Fahrzeugposition feststellen kann und den weiteren Vorgang für eine sichere Fahrt vorausplanen kann.

Als vereinfachte Lösung kann eine Anzeige z. B. in Form eines graphischen Balkens anstelle der Anzeige 3 vorgesehen werden, um einen Lichtabschnitt jeweils entsprechend der Zwischenraumdistanz zu ändern. Ferner können auch ein Ton oder eine Stimme als Ansage für die Informationseinrichtung 115 eingesetzt werden, um dem Fahrer die jeweilige Zwischenraumdistanz zu vermitteln, und anstelle der visuellen Anzeige eingesetzt werden.

Im folgenden wird die Abbildungsverarbeitungsfunktion durch den Bildprozessor 20 erläutert. Ferner werden erläutert die Konstruktionsdetektionsfunktion durch den Distanzbild- Verarbeitungscomputer 120 und eine Zwischenraumdistanz- Berechnungsfunktion, wenn der Leitmodus durch den Modussetzschalter 6 ausgewählt ist. Die Distanzberechnung durch den Bildverarbeitungscomputer 120 wird nur ausgeführt, wenn die detektierten Konstruktionen den Weg in die Vorausrichtung nicht wie ein Hindernis blockieren.

Ein Paar Kameras auf der linken und rechten Seite, die das stereoskopische optische System 10 gemäß Darstellung in Fig. 4 bilden, umfassen die beiden CCD-Kameras 11a und 11b (die für die weitere Darstellung als CCD-Kamera 11 angezeigt sind) und zwei CCD-Kameras 12a und 12b (die ebenfalls durch CCD-Kameras 12 angezeigt sind). Die CCD-Kameras 11a und 11b sind im vorderen Bereich an der Decke des Fahrzeuginnenraumes unter vorbestimmter Distanz vorgesehen, um Gegenstände in relativ kurzem Abstand abzubilden. Die CCD- Kameras 12a und 12b sind ebenfalls dort angebracht, wobei sie jeweils unter Abstand von den CCD-Kameras 11a und 11b jeweils links bzw. rechts außen von diesen Kameras 11 angebracht sind, um einen Gegenstand unter einer großen Distanz zu erfassen.

Um eine Distanz von der nächstmöglichen Position bis zu einer Position innerhalb von 100 m mittels des optischen Systems 10 zu messen, reicht es aus, Positionen von 2 bis 100 m in Vorwärtsrichtung zu messen, wenn sich die CCD-Kameras 11 und 12 im Innenraum 2 m von einem vorderen Ende der Fahrzeug-Motorhaube entfernt befinden.

Wenn demgemäß die Kurz-Distanz-CCD-Kameras 11a und 11b die Positionen innerhalb von 2 bis 20 m und die Lang- Distanz-Kameras 12a und 12b die Positionen innerhalb einer Distanz von 10 bis 100 m abdecken, können die Kameras 11 und 12 den gesamten Bereich mit einer Zuverlässigkeitssicherheit abdecken, indem ein Überlappungsbereich von 10 bis 20 m voraus sichergestellt wird.

Das Distanzberechnungsverfahren durch den Bildprozessor 20 wird nun unter Bezugnahme auf die Kurzdistanz- CCD-Kamera 11 als Beispiel erläutert. Die Distanzberechnung mit der Langdistanz-CCD-Kamera 12 entspricht der Verarbeitung für die Kamera 11. In der Fahrleitvorrichtung 2 gemäß der vorliegenden Erfindung wird die Kurz-Distanz-Kamera 11 zur Detektion von Konstruktionen benutzt, die sich gerade vor dem Fahrzeug befinden.

Eine Abbildung eines Punktes P wird auf einer Projektionsebene unter einem Abstand von f von den Brennpunkten der jeweiligen Kameras aufgenommen, wobei der Punkt P sich von den Oberflächen der beiden Kameras 11a und 11b unter einem Abstand D befindet. Der Anbringungsabstand zwischen den beiden Kurz-Distanz-Kameras 11a und 11b entspricht gemäß Darstellung in Fig. 5 r, und die jeweiligen Brennweiten der Kameras 11a und 11b betragen f.

Beträgt zu diesem Zeitpunkt ein Abweichungsbetrag gemäß Darstellung in der Zeichnung x, so wird "r+x" als die Distanz zwischen der Position des Bildes auf der rechten CCD-Kamera 11b und der Position des Bildes auf der linken CCD-Kamera 11a gewonnen. Die Distanz D zum Punkt P kann dann durch die folgende Gleichung (1) aus dem Abweichungsbetrag x gewonnen werden:

D = r · f/x (1).

Der Abweichungsbetrag x zwischen dem rechten und linken Bild kann auch nach der Ermittlung eines Koinzidenzabschnitts von Merkmalen wie Kanten, Linien und speziellen Formen detektiert werden. Um jedoch eine Verschlechterung der Datenmenge zu vermeiden, wird die jeweilige Distanzverteilung in jeder kleinen Region für den gesamten Bildschirm durch den Bildprozessor 20 ermittelt, wobei das Bild in eine Vielzahl kleiner Regionen aufgeteilt wird, um denselben Gegenstand auf dem linken und rechten Bild aufzusuchen, und entsprechende kleine Regionen auf den linken und rechten Bildern herausgefunden werden, indem ein Leuchtdichtemuster und Farbmuster innerhalb der kleinen Regionen verglichen werden, um Koinzidenzen festzustellen.

Eine Abschätzung einer Übereinstimmung bzw. eines Zusammenfallens von rechten und linken Bildern, d. h. eine stereoskopische Abstimmung, kann durch eine City-Block-Distanz H erfolgen, die beispielsweise durch die folgende Gleichung (2) repräsentiert wird, wenn die Leuchtdichte oder Helligkeit (es kann auch die Farbe herangezogen werden) im i-ten Pixel im rechten und linken Bild jeweils Ai und Bi betragen:

H = Σ|Ai - Bi| (2).

Die stereoskopische Anpassung durch die City-Block- Distanz H führt keine Verschlechterung der Datenmenge ein, hervorgerufen durch die Subtraktion eines Mittelwerts, und kann die Berechnungsgeschwindigkeit verbessern, da keine Multiplikation erfolgen muß. Jedoch beinhaltet das Anpassungsverfahren das Problem, daß die detektierte Distanz unsicher ist, weil es möglich ist, in derselben Region Gegenstände unter kurzer Distanz und großer Distanz zu erfassen, wenn die Größe der aufzuteilenden kleinen Region zu groß gemacht ist. Andererseits ist zu beachten, daß bei Anstrebung von möglichst kleinen Regionen zur Gewinnung der Distanzverteilung des Bildes die Datenmenge zu klein sein kann, um die Koinzidenz bei einer zu kleinen Region noch feststellen zu können. Nimmt daher die Vorrichtung der vorliegenden Erfindung ein Bild bezüglich des Fahrzeugs auf, das 100 m vom Fahrzeug entfernt ist, wobei in derselben Region ein Fahrzeug, das auf einer angrenzenden Fahrspur fährt, nicht eingeschlossen ist, so beinhalten die gewonnenen kleinen Regionen vier Pixel gegenüber dem stereoskopischen optischen System 10, falls diese den Maximalwert in Richtung der Breite darstellen. Als Ergebnis davon, daß die optimale Pixelanzahl im gegenwärtigen Bild in Abhängigkeit vom Maximalwert gewonnen wird, können jeweils vier Pixel für jede Dimension als praktikabel angenommen werden.

In der folgenden Beschreibung wird das Bild in kleine Regionen von 4×4 aufgeteilt, um eine Koinzidenz von linkem und rechtem Bild festzustellen, und das stereoskopische optische System 10 ist durch die CCD-Kameras 11a und 11b repräsentiert.

Ein detailliertes Schaltungsdiagramm des Bildprozessors 20 ist in Fig. 6 gezeigt. Die Distanzdetektorschaltung 20a und der Distanzbildspeicher 20b sind Bestandteil der Schaltung des Bildprozessors 10. Die Distanzdetektorschaltung 20a umfaßt einen Bildumsetzer 30 zum Umsetzen eines analogen Bilds, das vom optischen stereoskopischen System 10 aufgenommen wird, in ein digitales Bild, eine City-Block-Distanzberechnungseinrichtung 40 zur kontinuierlichen Berechnung der City-Block-Distanz H zum Ermitteln des Abweichungsbetrages x zwischen dem rechten und linken Bild mittels einer Verschiebung der Pixelwerte Pixel um Pixel, einen Minimum- und Maximumwertdetektor 50 zum Detektieren des Minimumwerts H_MIN und Maximumwerts H_MAX für die City-Block-Distanz H und eine Diskrepanzbetragsbestimmungseinrichtung 60 zum Ermitteln des Diskrepanzbetrags x durch Prüfen, ob der Minimumwert, der durch den Detektor 50 gewonnen wurde, die Koinzidenz zwischen der rechten und linken kleinen Region wiedergibt oder nicht. Der Distanzbildspeicher 20b umfaßt einen Dualportspeicher 90.

Der Bildumsetzer 30 umfaßt Analog/Digital(A/D)-Wandler 31a bzw. 31b jeweils entsprechend für die CCD-Kameras 11a und 11b für das linke und rechte Bild, wobei die Wandler jeweils mit Nachschlagetabellen 32a, 32b als Datentabellen verbunden sind. Ferner sind Bildspeicher 33a und 33b zur jeweiligen Speicherung der Bilder für die CCD-Kameras 11a bzw. 11b vorgesehen. Da die weiter unten erläuterte City- Block-Distanz-Berechnungseinrichtung 40 wiederholt einen Teil des Bildes herausgreift und verarbeitet, können die Bildspeicher 33a und 33b jeweils vergleichsweise geringe Speichergeschwindigkeiten aufweisen, wodurch die Herstellungskosten herabgesetzt sind.

Jeder der A/D-Wandler 31a und 31b weist eine Auflösung von beispielsweise acht Bits auf und setzt das analoge Bild von der rechten und linken CCD-Kamera 11a bzw. 11b in ein digitales Bild um, das eine vorbestimmte Leuchtdichteabstufung aufweist. Mit anderen Worten setzt der Wandler das analoge Bild beispielsweise in eine Grauskala von 256 Abstufungen um, da Daten für die Berechnung der Koinzidenz zwischen dem linken und rechten Bild augenblicklich verlorengehen, wenn eine Binärverarbeitung des Bildes bei hoher Verarbeitungsgeschwindigkeit ausgeführt wird.

Ferner ist jede der Nachschlagetabellen LUT 32a und 32b im ROM ausgebildet, um den Kontrast eines Abschnitts geringer Leuchtdichte im Bild, das durch die A/D-Wandler 31a und 31b auf digitale Größe umgesetzt worden ist, anzuheben, und um Unterschiede in den Eigenschaften der linken und rechten CCD-Kamera 11a bzw. 11b zu kompensieren. Das durch die LUT's 31a und 31b umgesetzte Signal wird einmal und gleichzeitig in den Bildspeichern 33a bzw. 33b gespeichert.

In der City-Block-Distanzberechnungseinrichtung 40 sind Pufferspeicher 41a und 41b für die Eingabe über einen gemeinsamen Bus 80 mit dem Bildspeicher 33a für das linke Bild im Bildwandler 30 verbunden. Ein weiteres Paar Pufferspeicher 42a und 42b ist über einen gemeinsamen Bus 80 in entsprechender Weise mit dem Bildspeicher 33b für das rechte Bild verbunden.

Die Pufferspeicher 41a und 41b für das linke Bild sind mit einem Paar Schieberegister 43a und 43b verbunden, die jeweils einen achtstufigen Aufbau aufweisen, und das Paar Eingangspufferspeicher 42a und 42b für das rechte Bild sind mit einem Paar Schieberegister 44a und 44b verbunden, die ebenfalls einen achtstufigen Aufbau aufweisen. Die Schieberegisterpaare 43a, 43b und 44a, 44b sind mit einer City- Block-Distanzberechnungsschaltung 45 zur Berechnung der City-Block-Distanz verbunden.

Ferner sind die Schieberegister 44a und 44b für das rechte Bild ein Paar Schieberegister 64a und 64b mit jeweils einem zehnstufigen Aufbau und sind in einer weiter unten erläuterten Abweichungsbetrag-Bestimmungseinrichtung 60 angeordnet. Alte Daten nach Berechnung der City-Block- Distanz h werden in die Schieberegister 64a und 64b geschoben, um dort für die Bestimmung des Abweichungsbetrages x zu dienen, wenn der Datentransfer bezüglich der nächsten kleinen Region beginnt.

Die City-Block-Distanzberechnungsschaltung 45 ist mit einem Hochgeschwindigkeits-CMOS-Rechner 46 verbunden, in dem Addierer, Subtrahierer und gekoppelte Eingangs/Ausgangs- Latchschaltungen auf einem Chip ausgebildet sind. Diese Schaltung nimmt augenblicklich die acht Pixelkomponenten auf und berechnet beispielsweise durch eine Pipeline- Struktur, in der 16 Rechnereinheiten nach Art einer Pyramide miteinander verbunden sind, gemäß Fig. 7, die acht Pixelkomponenten. Die Pyramidenstruktur umfaßt eine erste Stufe als Absolutwertberechner, zwei bis vier Stufen als ersten, zweiten und dritten Addierer und eine Endstufe zur Bildung der Gesamtsumme durch Addition. Die Fig. 7 zeigt nur die halbe Struktur des Absolutwertberechners und der Addierer der ersten und zweiten Stufe.

Die Eingangspufferspeicher 41a, 41b, 42a und 42b weisen jeweils eine vergleichsweise geringe Kapazität auf und sind entsprechend der Geschwindigkeit für die City-Block- Distanzberechnung schnelle Speicher. Sie haben jeweils einen unterteilten Eingang und Ausgang zum gemeinsamen Empfangen einer Adresse, die von einer Nr. 1-Adressensteuereinrichtung 86 gemäß einem Takt erzeugt wird, der von einer Taktgeneratorschaltung 85 zugeführt wird. Eine Nr. 2-Adressensteuereinrichtung 87 steuert den Datentransfer zwischen dem Paar Schieberegister 43a, 43b, 44a und 44b.

Der Minimum- und Maximumwertdetektor 50 umfaßt eine Minimumwertdetektorschaltung 51 zum Detektieren des Minimumwerts H_MIN der City-Block-Distanz h und eine Maximumwertdetektorschaltung 52 zum Detektieren eines Maximumwerts H_MAX der City-Block-Distanz H und weist einen Aufbau mit zwei Hochgeschwindigkeits-CMOS-Rechnern zur jeweiligen Bestimmung des Minimum- und Maximumwertes mit derselben Auslegung wie der City-Block-Distanzberechnungsschaltung 45 auf, um so eine Synchronisation mit der Ausgabe der City-Block-Distanz H aufrechtzuerhalten.

Wie in Fig. 8 gezeigt, umfaßt die Minimumwert-Detektorschaltung 51 im Detail einen Rechner 46 mit einem A-Register 46a, einem B-Register 46b und einer arithmetischen logischen Einheit (ALU) 46c, einer C-Latch-Schaltung 53, einer Latch- Schaltung 54 und einer D-Latch-Schaltung, die mit dem Rechner 46 verbunden sind. Das Ausgangssignal der City-Block- Distanz-Berechnungsschaltung 45 wird dem A-Register 46a und dem B-Register 46b über die C-Latch-Schaltung 53 zugeführt, und das höchstwertige Bit (MSB) im Ausgangssignal der ALU 46 wird an die Latch-Schaltung 54 ausgegeben. Ein Ausgangssignal der Latchschaltung 54 wird dem B-Register 46b und der D-Latchschaltung 55 zugeführt. Das B-Register 46b speichert einen Zwischenwert der Minimumwertberechnung im Rechner 46. Die D-Latchschaltung 55 speichert den Diskrepanzbetrag oder Abweichungsbetrag δ der Minimumwertberechnung. Die Maximumwert-Detektorschaltung 52 weist denselben Aufbau wie die Minimumwert-Detektorschaltung 51 auf mit Ausnahme einer entgegengesetzten Logik und Nichtspeicherung des Abweichungsbetrages δ.

Wie zuvor erläutert, wird die City-Block-Distanz H Schritt um Schritt mit der Verschiebung der Pixel Pixel um Pixel von der kleinen Region des linken Bildes gegenüber einer kleinen Region im rechten Bild berechnet. Demgemäß können der Maximumwert und Minimumwert H_MAX und H_MIN der City-Block-Distanz H in der kleinen Region durch Vergleich und Erneuerung des vorhergehenden Maximum- und Minimumwerts H_MAX und H_MIN für jedes Ausgangssignal eines Werts der City-Block-Distanz H gewonnen werden, und es wird gleichzeitig eine Ausgabe der letzten City-Block-Distanz H gewonnen.

Die Diskrepanzbetrag-Bestimmungseinrichtung 60 ist als sogenannter RISK-Prozessor mit relativ geringem Umfang aufgebaut. Die Bestimmungseinrichtung 60 umfaßt einen Rechner 61 als Hauptteil, einen 16-Bit-Datenbus 62a und 62b, eine Latchschaltung 63a zum Halten des Abweichungsbetrages x, eine Latchschaltung 63b zum Halten eines Schwellwerts H_A als ersten Bezugswert, eine Latchschaltung 63c zum Halten eines Schwellwerts H_B als zweiten Bezugswert, eine Latchschaltung 63d zum Halten eines Schwellwerts H_C als dritten Bezugswert, eine Schaltstufe 65 zur Ausgabe des Abweichungsbetrages x oder eines Ausgangssignals "0" nach Empfang des Ausgangssignals vom Rechner 61, Ausgangspufferspeicher 66a und 66b zur zeitweisen Speicherung eines Ausgangssignals der Schaltstufe 65 und einen ROM 67 von 16 Bit Breite zur Speicherung eines Steuerprogramms über die Betriebszeitsteuerung der Schaltung und der Funktion des Rechners 61.

Der Rechner 61 umfaßt eine ALU 70 als Hauptteil, ein A-Register 71, ein B-Register 72 und ein F-Register 73 sowie einen Selektierer 74. Das A-Register 71 ist mit dem Datenbus 62a (im folgenden als A-Bus 62a bezeichnet) verbunden, und das B-Register 72 ist mit dem Datenbus 62b (im folgenden als B-Bus 62b bezeichnet) verbunden, wodurch die Schaltstufe 65 in Abhängigkeit vom Berechnungsergebnis der ALU 70 aktiviert wird und der Abweichungsbetrag x oder das Ausgangssignal "0" in den Ausgangspufferspeichern 66a und 66b gespeichert werden.

Der A-Bus 62a ist mit der Maximumwert-Detektorschaltung 52, den Latchschaltungen 63b, 63c und 63d verbunden, die jeweils die Schwellwerte H_A, H_B bzw. H_C halten, und der B-Bus 62b ist mit der Minimumwert-Detektorschaltung 51 verbunden. Der A-Bus 62a und der B-Bus 62b sind jeweils mit den zugehörigen Schieberegistern 64a bzw. 64b verbunden.

Die Schaltstufe 65 ist mit dem Rechner 61 und der Minimumwert-Detektorschaltung 51 über die Latchschaltung 63a verbunden. Der Rechner 61 bestimmt drei Prüfzustände, die weiter unten erläutert sind, um ein bestimmtes Ergebnis zur Änderung der Ausgangssignale für die Ausgangspufferspeicher 66a und 66b auszugeben.

Die Abweichungsbetragbestimmungseinrichtung 60 prüft, ob der gewonnene Minimumwert H_MIN der City-Block-Distanz tatsächlich die Koinzidenz zwischen der linken kleinen Region und der rechten kleinen Region darstellt oder nicht. Die Bestimmungseinrichtung 60 gibt den Abweichungsbetrag x der Pixel entsprechend den Pufferspeichern 66a und 66b nur aus, wenn diese Bedingung erfüllt ist.

Dementsprechend ist der Abweichungsbetrag der Abweichungsbetrag x, der zu erhalten ist, wenn die City-Block- Distanz H der Minimumwert H_MIN ist. Der Abweichungsbetrag x wird ausgegeben, wenn drei Prüfbedingungen, die weiter unten ausgeführt sind, erfüllt sind, und "0" wird ausgegeben, ohne die Daten zu übernehmen, wenn diese Bedingungen nicht erfüllt sind:

(1) H_MINH_A (Die Distanz kann nicht gewonnen werden, wenn H_MIN<H_A).

(2) H_MAX-H_MINH_B (Dies ist die Bedingung zum Prüfen, daß der gewonnene Minimumwert H_MIN deutlich durch Rauschflimmern niedrig ist, und der Prüfgegenstand ist der Unterschied zwischen dem Minimumwert H_MIN und dem Maximumwert H_MAX ohne die Differenz zwischen dem Minimumwert H_MIN und dem nächstgelegenen Wert hiervon, wodurch die Distanz gegenüber einem Gegenstand wie einer gekrümmten Oberfläche und dergleichen erfaßt wird, die die Leuchtdichte langsam ändert, wobei sich die Werte aus dem Rauschen herausheben).

(3) Die Leuchtdichtedifferenz oder Helligkeitsdifferenz zwischen benachbarten Pixeln in horizontaler Richtung in der kleinen Region des rechten Bildes < H_C (obgleich die Detektion eine Kantendetektion ist, wenn der Schwellwert H_C groß wird, wird der Schwellwert H_C auf einen geringeren Wert als den gewöhnlichen Kantendetektionspegel gesetzt, weil es so möglich ist, dem Fall zu entsprechen, bei dem sich die Leuchtdichte langsam ändert. Diese Bedingung basiert auf dem fundamentalen Prinzip, in dem die Distanz in einem Teil ohne Leuchtdichteänderung nicht detektierbar ist. Da die Detektion im Teil für jedes Pixel in der kleinen Region ausgeführt wird, werden nur Pixel aufgegriffen, deren aktuelle Distanz in der kleinen Region detektiert worden ist, wodurch ein natürliches Ergebnis gewonnen wird).

Die Distanzverteilungsdaten, die als endgültiges Ergebnis aus der Abweichungsbetrag-Bestimmungseinrichtung 60 ausgegeben werden, werden in einen Dualportspeicher 90 als Distanzbildspeicher 20b über einen gemeinsamen Bus 80 ausgegeben.

Die Distanzverteilungsdaten vom Bildprozessor 20 liegen in Form eines Bildes (Distanzbildes) vor, wobei dieses Bild beispielsweise durch die CCD-Kamera 11 gemäß Darstellung in Fig. 9 abgebildet wird. Das Bild zur Darstellung des jeweiligen Zustandes beispielsweise bedingt durch parkende Autos 200 und 300 sowie eine Leitplanke 400 (gemäß der Abbildung, die durch eine Kamera in Fig. 9 aufgenommen ist) wird vom Bildprozessor 20 zur Erzeugung des in Fig. 10 gezeigten Bildes verarbeitet.

In einem Beispiel des in Fig. 10 gezeigten Distanzbildes umfaßt das Bild eine Größe von 400mal 200 Pixel in den beiden Dimensionen, wobei Distanzdaten in einem schwarzen Abschnitt liegen, in dem eine Helligkeitsänderung zwischen zwei aneinandergrenzenden Pixeln in rechter und linker Richtung größer als innerhalb jeweiliger Pixel im in Fig. 9 gezeigten Bild ist. Die Koordinatenachsen im Bild sind so gelegt, daß die i-Koordinatenachse in horizontaler Richtung ihren Ursprung in der oberen linken Ecke aufweist, die vertikale Achse eine j-Koordinatenachse ist und als Einheit Pixel gewählt ist, wie in Fig. 10 dargestellt ist.

Das Distanzbild wird in den Distanzbildverarbeitungscomputer 120 gelesen, um mehrere Gegenstände wie andere Fahrzeuge und Hindernisse, die vor dem Fahrzeug vorhanden sind, zu detektieren, um so eine Position und die Größe der Gegenstände zu berechnen und hierdurch ein Umrißbild der detektierten Gegenstände zu extrahieren. Ferner ist es möglich, eine korrelative Geschwindigkeit der Gegenstände, die durch eine Zeitverzögerung der jeweiligen Position verursacht wird, zu berechnen.

In diesem Fall verwendet der Distanzbildverarbeitungscomputer 120 dreidimensionale Gegenstandsdaten und führt eine Unterscheidung der Straße und des Hintergrundes in Abhängigkeit von der Höhe der erfaßten Gegenstände von der Straßenoberfläche aus sowie eine Unterscheidung des Objekts vom Hintergrund in Abhängigkeit von einem Distanzwert. Daher ändert der Distanzbildverarbeitungscomputer 120 zuerst die Koordinatenachsen des Distanzbildes vom Bildprozessor 20 und setzt sie in die Koordinatenachsen des tatsächlichen Raums um das Fahrzeugt 1 um, und berechnet die Position und Größe entsprechend der detektierten Konstruktion.

Werden folglich, wie in den Fig. 11 und 12 gezeigt, die Koordinatenachsen des tatsächlichen Raums auf die Koordinatenachsen des Fahrzeugs 1 festgelegt, in denen eine X-Achse die rechte Seite des Fahrzeugs 1 kennzeichnet, eine Y-Achse über dem Fahrzeug liegt und eine Z-Achse der Vorwärtsrichtung des Fahrzeugs 1 entspricht, so entspricht ein Ursprungspunkt der Straßenoberfläche in der Mitte und unmittelbar unter den beiden CCD-Kameras 11a (12a) und 11b (12b), die X-Z-Ebene (Y=0) fällt mit der Straßenoberfläche für den Fall zusammen, daß die Straße flach ist, und die dreidimensionale Position des Gegenstandes kann entsprechend der folgenden Gleichungen (3) und (4) in Abhängigkeit von den Distanzdaten (i, j, Z) im Bild durch die folgende Art von Koordinatenumsetzung gewonnen werden:

Y=CH-Z × PW × (j-JV) (3),

X=r/2+Z × PW × (i-IV) (4),

wobei
CH: Befestigungshöhe der CCD-Kamera 11 (12),
PW: Sichtwinkel pro einem Pixel,
JV, IV: eine Koordinate auf dem Bild von einem unendlich weiten Punkt unmittelbar vor dem Fahrzeug 1.

Ferner können die Gleichungen (3) und (4) in die folgenden Gleichungen (5) und (6) geändert werden, um die Position (i, j) auf dem Bild in Abhängigkeit von den dreidimensionalen Achsen (X, Y, Z) des tatsächlichen Raums zu berechnen:

j=(CH-Y) / (Z × PW)+JV (5)

i=(X-r/2) / (Z × PW)+IV (6).

Falls die Befestigungsposition der CCD-Kamera 11 in den XYZ-Koordinatenachsen des tatsächlichen Raums gezeigt wird, betragen beispielsweise die Werte für die rechte Kamera 11b X=0,20 (m), Y=1,24 (m) und Z=0,0 (m) und für die linke Kamera X=-0,20 (m), Y=1,24 (m) und Z=0,0 (m).

Fig. 13 zeigt die funktionelle Auslegung des Distanzbildberechnungscomputers 120, der hauptsächlich eine Gegenstandserkennungseinrichtung 130 für den Mikroprozessor 120a umfaßt, einen Seitenwanddetektor 140 für den Mikroprozessor 120b und einen Zwischenraumdistanzrechner 160 für den Mikroprozessor 120c. Das Verarbeitungsergebnis der Gegenstanderkennungseinrichtung 130 und des Seitenwanddetektors 140 wird in einem Konstruktionsparameter-Speicherabschnitt 150 gespeichert, der einen Ausgangsspeicher 125 umfaßt, und wird in eine nicht dargestellte weitere Einrichtung des Mikroprozessors 120c (Zwischenraumdistanzrechner 160) und das ADA-System gelesen.

Ferner ist die Funktion der Gegenstandserkennungseinrichtung 130 in einen Objektdetektor oder Gegenstandsdetektor 131, eine Erzeugungseinrichtung für ein dreidimensionales Fenster 132 und eine Gegenstandskonturextraktionseinrichtung 133 aufgeteilt. Die Gegenstandserkennungseinrichtung 131 teilt das Distanzbild aus dem Bildprozessor 20 in einem vorbestimmten Intervall (beispielsweise Intervallen von 8 bis 20 Pixeln) in Streifenform auf, wobei er nur Aufbaudaten selektiert, die eine Gefahr als Hindernis für die Weiterfahrt darstellen, und berechnet die detektierte Distanz.

Fig. 14 ist eine erläuternde Ansicht für das Festlegen einer streifenförmigen Region auf dem hellen Bild, das als die Ansicht des Fahrzeugs 1 nach vorn aufgenommen ist. Das Distanzbild gemäß Fig. 10 wird gemäß Darstellung in Fig. 14 aufgeteilt. Im Ausführungsbeispiel wird das Bild in 30 sehr kleine Regionen AR₁ bis AR₃₃ mit 12-Pixelintervallen aufgeteilt. Da der Gegenstand durch Unterteilung des Bildes in eine Vielzahl von Regionen aufgesucht wird, ist es folglich möglich, eine Mehrzahl von Gegenständen verzögerungsfrei zu detektieren.

Für den Gegenstand in jeder Region wird die dreidimensionale Position (X, Y, Z) des tatsächlichen Raums aus den Koordinaten (i, j) auf dem Bild berechnet sowie ferner die Distanzdaten Z unter Verwendung der obigen Gleichungen (3) und (4). Darüber hinaus kann die Höhe H des Objekts bei der Distanz Z von der Straßenoberfläche durch die folgende Gleichung (7) berechnet werden, wenn die Höhe der Straßenoberfläche Yr beträgt:

H=Y-Yr (7).

Da die Koordinatenachsen gemäß Darstellung in den Fig. 11 und 12 festgelegt sind, kann Yr auf Yr=0,0 (m) gesetzt werden, es sei denn, es liegen eine spezielle Neigung und ein vertikaler Stoß bzw. eine vertikale Erschütterung auf dem Fahrzeug 1 vor. Da ein Gegenstand mit einer unter 0,1 (m) liegenden Höhe H wie weiße Linien, Steine oder Schatten auf der Straße das Fahrzeug, das auf der Straße fährt, nicht behindern, werden die Daten dieser Gegenstände verworfen. Ein über der Höhe des Fahrzeugs liegender Gegenstand wird als Fußgängerüberweg oder Überführung und Straßenschild angenommen, die außer acht zu lassen sind, und die Vorrichtung selektiert nur Daten mit einem Aufbau, der Hindernisse auf der Straße darstellt. Falls daher der Gegenstand auf der Straße auf dem zweidimensionalen Bild überlappt, kann die Vorrichtung die Detektion nach einer Unterscheidung der Daten entsprechend der Höhe über der Straßenoberfläche durchführen und den Gegenstand eindeutig erfassen.

Darauffolgend zählt bezüglich der Konstruktions- oder Aufbaudaten, die entsprechend oben dargelegtem Schema extrahiert worden sind, die Vorrichtung die Anzahl von Daten, die in einem vorbestimmten Abschnitt der Distanz C enthalten sind, und erstellt ein Histogramm unter Verwendung der Distanz Z als horizontaler Achse. In Fig. 15 ist ein Histogramm des parkenden Autos 300 als detektierter Gegenstand auf der rechten Seite vor dem Fahrzeug im Bildbeispiel, und eine Anzahl und Länge des Abschnitts der Distanz Z werden unter Berücksichtigung einer Detektionsgrenze und der Präzision der Distanz Z sowie Form der Konstruktion wie einem detektierten Gegenstand ermittelt.

Wenn ein fehlerhaft detektierter Wert oder fälschlicherweise detektierter Wert in den Distanzdaten im Eingangsdistanzbild vorhanden ist, erscheinen im Histogramm wenige Daten an einer Position, bei der tatsächlich kein Gegenstand vorliegt. Für den Fall jedoch, daß ein Gegenstand mit einer vorbestimmten Größe vorhanden ist, zeigt die Häufigkeit dieser Position einen großen Wert. Demgegenüber wird für den Fall, daß kein Gegenstand vorhanden ist, die von den fehlerhaften Distanzdaten erzeugte Häufigkeit einen geringen Wert annehmen.

Falls demgemäß ein Abschnitt vorliegt, in dem die Häufigkeit im erzeugten Histogramm über einem bestimmten Beurteilungswert liegt und einen Maximalwert annimmt, so ist im beurteilten Abschnitt ein Gegenstand vorhanden. Liegt hingegen der Maximalwert der Häufigkeit unter dem Beurteilungswert, so liegt in diesem Abschnitt kein Gegenstand vor. Durch diese Maßnahme bleibt, selbst wenn in den Bilddaten gewisse geringe Rauscheinflüsse enthalten sind, der Rauscheinfluß innerhalb der minimalen Grenze für die Detektion des Gegenstandes.

Kommt die Beurteilung zu dem Schluß, daß ein Gegenstand existiert, so wird ein Mittelwert der Distanzdaten Z des Aufbaus oder der Konstruktion, die im detektierten Abschnitt und in Abschnitten vor und nach dem detektierten Abschnitt enthalten ist, berechnet, um als Distanz zum Gegenstand behandelt zu werden. Nachdem eine Distanzdetektion ti des Gegenstandes in den vollständigen Regionen verarbeitet worden ist, untersucht die Vorrichtung die detektierte Distanz des Gegenstandes in jeder Region und urteilt, daß der Gegenstand stets derselbe ist, wenn die Differenz der Detektionsdistanz zum Gegenstand in angrenzenden Regionen geringer als ein vorab festgelegter Wert ausfällt. Ist hingegen die Differenz größer als der festgelegte Wert, so urteilt die Vorrichtung, daß die Gegenstände voneinander verschieden sind.

Im Detail wird eine linke Endbereichsregion AR₁ untersucht. Wenn der Gegenstand detektiert ist, wird diese auf den Gegenstand S₁ und die Distanz Z₁ gesetzt. Daraufhin wird die nächst angrenzende rechte Region AR₂ untersucht. Wenn kein Gegenstand detektiert wird, existiert der Gegenstand S₁ innerhalb und um die Region AR₁, und die Distanz wird als Z₁ beurteilt, um so den Gegenstand zu detektieren. Wenn die detektierte Distanz Z₂ beträgt, wird die Differenz zwischen den Distanzen Z₁ und Z₂ untersucht.

Liegt die Differenz zwischen den Distanzen Z₁ und Z₂ über dem festgesetzten Wert, wird geschlossen, daß das in der Region AR₂ detektierte Objekt sich vom zuvor detektierten Gegenstand S₁ unterscheidet und es sich um ein neues Objekt S₂ und eine neue Distanz Z₂ handelt. Dann untersucht die Vorrichtung weitere rechts benachbarte Regionen.

Ist andererseits die Differenz zwischen den Distanzen Z₁ und Z₂ geringer als der festgelegte Wert, so wird geschlossen, daß das in der Region AR₂ detektierte Objekt der zuvor detektierte Gegenstand S₁ ist und daß die Distanz ein Mittelwert von Z₁ und Z₂ ist. Dann werden weitere rechts gelegene Regionen nacheinander untersucht, und die Distanz und vorhandene Regionen werden erneuert, wenn das Objekt S₁ sich dahingehend erweist, daß es fortgesetzt vorhanden ist.

Es war üblicherweise schwierig, nur die Objektdaten zu extrahieren, wenn auf dem zweidimensionalen Bild eine Hintergrunddistanz um das Objekt abgebildet war. Da jedoch die oben erwähnte Verarbeitung von der Region AR₁ am linken Ende zur Region AR₃₃ am rechten Ende erfolgt, um die Daten durch Distanzwerte zu sortieren, ist es möglich, durch Unterteilen einer Mehrzahl von Abschnitten des Gegenstands und des Hintergrunds mit Bezug auf die Distanz und die das Vorhandensein anzeigenden Regionen eine Detektion durchzuführen, wodurch es möglich ist, mehrere einander auf der zweidimensionalen Darstellung überlagernde Gegenstände durch deren Aufteilung in Abhängigkeit von den Distanzen jedes Gegenstandes zu detektieren und voneinander zu unterscheiden.

Experimentelle Ergebnisse zeigten, daß der festgesetzte Wert vorzugsweise 4 bis 6 m für die Detektion des Fahrzeugs und 1 bis 2 m für die Detektion von Fußgängern ist.

Fig. 16 zeigt einen mit einer Linie umrissenen Block, der eine Region anzeigt, in der gemäß obiger Detektion sich ein Gegenstand befindet. In diesem Ausführungsbeispiel sind zwei Gegenstände, nämlich ein Fahrzeug 200 auf der linken Seite und ein Fahrzeug 300 auf der rechten Seite detektiert worden. Ein numerischer Wert auf der Unterseite der Figur entspricht der Detektionsdistanz jedes Gegenstandes.

Die Erzeugungseinrichtung 132 für das dreidimensionale Fenster setzt eine Region für einen dreidimensionalen Raum in Form einer rechtwinkligen Raumform fest, nämlich ein dreidimensionales Fenster WD₃, das den detektierten Gegenstand (das parkende Fahrzeug 300) im dreidimensionalen Raum enthält, wie in Fig. 17 gezeigt ist, und zwar bezüglich jedes der durch den Gegenstandsdetektor 131 detektierten Gegenstände, und berechnet, wie das festgelegte dreidimensionale Fenster WD₃ auf dem zweidimensionalen Bild zu zeigen oder darzustellen ist, um so den detektierten Gegenstand nur bezüglich Daten innerhalb einer Fensterkonturlinie wie dem zweidimensionalen Fenster WD₂ festzulegen.

Die horizontale Breite des dreidimensionalen Fensters WD₃ liegt innerhalb eines Bereiches, der sich in eine jede Region auf der linken und rechten Seite der Regionen erstreckt, in denen der Gegenstand vorliegt. Daher werden andere Gegenstände nicht detektiert, wenn die rechten und linken Enden der Gegenstände sich auf irgendwelchen Regionen überlappen. In diesem Fall wird der zu detektierende Gegenstand nicht als vorhanden detektiert, da der Gegenstand auf dem Histogramm keinen großen Wert hervorrufen kann, und es wird der andere Gegenstand detektiert. Daher sollte der Fensterbereich stets so ausgewählt und ausgedehnt werden, daß ein solcher Zustand vermieden ist.

Die Länge in der Distanzrichtung Z des dreidimensionalen Fensters WD₃ liegt innerhalb eines Bereiches, der die detektierte Distanz des Objekts umfaßt und eine Sektionslänge des Histogramms, zu der Abschnitte vor und hinter der detektierten Distanz addiert sind. Das untere Ende des dreidimensionalen Fensters WD₃ liegt bei einer Position, die sich durch Addition von 0,1 m zur Höhe der Straßenoberfläche ergibt, und das obere Ende fällt mit den oberen Enden jeder der aufgeteilten Regionen für die Detektion des Gegenstandes zusammen.

Zum Zwecke der Gewinnung des zweidimensionalen Fensters WD₂ in Abhängigkeit vom dreidimensionalen Fenster WD₃ wird zunächst die Koordinate (in, jn) auf dem Bild durch die obige Gleichung (5) und Gleichung (6) abhängig von jeder Koordinate (Xn, Yn, Zn) von acht Oberseiten des dreidimensionalen Fensters WD₃ berechnet, und es wird ein acht Oberseiten einhüllendes Polygon berechnet. Fig. 18 zeigt ein Beispiel, für das das zweidimensionale Fenster WD₂ für einen (das parkende Auto 300) der detektierten Gegenstände, der in Fig. 16 dargestellt ist, gesetzt worden ist.

Die Gegenstandskonturextraktionseinrichtung 133 begutachtet jede einzelne Date im zweidimensionalen Fenster WD₂, selektiert nur Daten, die im dreidimensionalen Fenster WD₃ enthalten sind, extrahiert ein Konturbild des detektierten Gegenstandes und detektiert eine positionelle Beziehung zwischen dem detektierten Gegenstand und der eigentlichen Fahrzeugkarosserie des in Frage stehenden Fahrzeugs.

Folglich begutachtet die Extraktionseinheit 133 eine um die andere Date in den zweidimensionalen Fenstern WD₂ für jeden Gegenstand, berechnet die dreidimensionale Position (X, Y, Z) durch die obigen Gleichungen (3) und (4) bezüglich von Pixeln, die Distanzdaten umfassen, extrahiert nur Daten, deren Distanz- und Höhewerte in einem Bereich des dreidimensionalen Fensters WD₃ eingeschlossen sind, und verwirft die übrigen Daten.

Fig. 19 zeigt die extrahierten Daten in der Weise, daß sie auf das zweidimensionale Fenster projiziert sind. Ferner wird ein Konturbild des Objekts durch Verbinden eines Umrisses der Daten durch Linien gemäß Darstellung in Fig. 20 gewonnen. Eine Koordinate (i, j) auf den Bildern am linken und rechten Ende und dem oberen Ende des Konturbildes wird detektiert, um Positionen des linken und rechten Endes und oberen Endes im dreidimensionalen Raum zu berechnen, indem die Detektionsdistanz Z des Objekts und die oben erwähnten Gleichungen (3) und (4) verwendet werden. Als Ergebnis kann die Breite des Gegenstandes durch die Positionen vom linken und rechten Ende gewonnen werden, und die Höhe des Objekts kann aus der Lage des oberen Endes gewonnen werden. In Fig. 20 ist es möglich, zu ermitteln, daß der Gegenstand eine Breite von 1,7 m und eine Höhe von 1,3 m aufweist.

Ferner ist die Funktion des Seitenwanddetektors 140 durch den Mikroprozessor 120b weiter in eine Konstruktionsdatenextraktionseinrichtung 141, einen Seitenwand-Geradliniendetektor 142 und einen Seitenwandbereichsdetektor 143 unterteilt, in dem eine Unterscheidung der Seitenwand von der Straße durch die Höhe von der Straßenoberfläche unterschieden wird, und die Unterscheidung der Seitenwand vom entfernten Hintergrund wird durch die Distanz vor und hinter dem Fahrzeug und die benachbarte Distanz durchgeführt. Folglich extrahiert der Detektor 140 nur Daten um die Seitenwand herum, die als vorhanden vorausgesetzt wird, und die extrahierten Seitenwanddaten werden durch die Hough-Transformation im Hinblick auf die Charakteristiken detektiert, die entlang der geraden Linie in der horizontalen Richtung angeordnet sind, um die Position der Konstruktion zu gewinnen.

Folglich extrahiert die Konstruktionsdatenextraktionseinrichtung 141 nur die Daten über der vorbestimmten Straßenoberfläche, die vorab festgelegt wurde, aus den Distanzverteilungsdaten, und der Seitenwandgeradliniendetektor 142 extrahiert nur die Daten innerhalb einer zuvor festgelegten Seitenwandsuchregion, und die extrahierten Daten werden durch die Hough-Transformation verarbeitet, wodurch eine lineare Gleichung detektiert wird, die das Vorhandensein oder Fehlen der Seitenwand und die Position der Seitenwand anzeigt. Der Seitenwandbereichsdetektor 143 setzt eine abgeschätzte Seitenwandregion fest, in der die Seitenwand als vorhanden angenommen wird, auf der Grundlage der geraden Linie, die die Position der Seitenwand anzeigt, und detektiert die Position von Enden vor und hinter der Seitenwand in Abhängigkeit vom Verteilungszustand der Konstruktionsdaten in der abgeschätzten Seitenwandregion.

Da die Seitenwand ein Teil der Konstruktion ist, extrahiert die Konstruktionsdatenextraktionseinrichtung 141 im Detail die Daten der Konstruktion über der Straßenoberfläche aus den Distanzbildern. Da die eine Höhe unter 0,1 m aufweisende Konstruktionen als weiße Linie, Stein oder Schatten auf der Straße behandelt werden, werden zu diesem Zeitpunkt derartige Daten verworfen. Da die Konstruktionen mit einer Höhe oberhalb des Fahrzeugdachs als Fußgängerüberführung und Verkehrszeichen oder Verkehrsschild identifiziert werden, werden auch diese Daten verworfen. Folglich extrahiert die Extraktionseinrichtung nur die Daten der jeweiligen Konstruktion auf der Straße.

Obgleich die Konstruktionsdaten-Extraktionseinrichtung 141 die Daten der Konstruktion mit einem weiten auf dem Bildschirm abgebildeten Bereich extrahiert, wird im Seitenwand-Geradliniendetektor 142 eine Grenze für den Seitenwandsuchbereich gesetzt, da eine Verarbeitung über den gesamten Datenumfang im Seitenbereich nicht vernünftig ist.

Überblickt man den Bereich, in dem das Bild aufgenommen wird, ist das Sichtfeld der CCD-Kamera 11 auf die in Fig. 21 dargestellte Vogelschauperspektive beschränkt. Fährt das Fahrzeug normal auf der Straße, so liegen Seitenwände auf der linken und rechten Seite des Fahrzeugs 1 im wesentlichen entlang des Fahrzeugs vor. Andererseits ist eine Seitenwand in großem Abstand schwierig zu detektieren, und zwar hinsichtlich der Präzision der Distanzdaten, und beinhaltet auch nur eine geringe Notwendigkeit der Detektion. Folglich werden im Hinblick auf diese Bedingungen zwei Suchbereiche SL und SR auf der linken und rechten Seite festgelegt, und es werden speziell die Seitenwände auf der rechten Seite und linken Seite detektiert.

Mit anderen Worten setzt zur Detektion der Seitenwände auf der linken und rechten Seite der Seitenwand-Geradliniendetektor 142 zunächst den Suchbereich auf der linken Seite fest, um die Seitenwand-Geradlinienextraktionsverarbeitung und die Seitenwanddetektionsverarbeitung so durchzuführen, daß die linke Seitenwand erfaßt wird, und dann setzt der Detektor 142 wieder den Suchbereich auf der rechten Seite fest, um die obengenannten Verarbeitungsvorgänge zur Detektion der rechten Seitenwand auszuführen.

Um die Konstruktionsdaten, die in den Suchbereichen SL und SR enthalten sind, zu extrahieren, wird die dreidimensionale Position (X- und Z-Koordinaten) des Objekts jeder durch die Konstruktionsdatenextraktionseinrichtung 141 extrahierten Date berechnet, um die dreidimensionale Position (X, Z) und jeden der Suchbereiche SR und SL zu vergleichen und zu beurteilen.

Beispielsweise kann im in Fig. 22 gezeigten Zustand jeder der Suchbereiche SR und SL durch eine gepunktete Linie auf dem Bild dargestellt werden, wobei hier verschiedene Konstruktionen im Suchbereich zusätzlich zur Seitenwand als Gegenstand vorliegen. Da ferner noch Pseudodaten einschließlich Rauschen im Distanzbild enthalten sind, liegen nur verteilte Daten in dem Raum vor, in dem tatsächlich kein Gegenstand vorliegt. In Fig. 23, die diese Daten als Modell zeigt, weist die Seitenwand die Charakteristik auf, bei der die Daten auf einer geraden Linie angeordnet sind. Entsprechend wird die Seitenwand detektiert, indem die lineare Gleichung des Datenzuges unter Verwendung einer Hough Transformation berechnet wird.

Hier wird eine Detektion der linearen Gleichung durch Hough Transformation beschrieben. Es wird vorausgesetzt, daß eine gerade Linie F_i sich durch Konstruktionsdaten im Punkt P_i erstreckt (Koordinate X_i, Z_i), wie in Fig. 24 gezeigt ist. Die lineare Gleichung ergibt sich dann folgendermaßen:

X=afi × Z+bfi (8).

Darauffolgend wird, wie in Fig. 25 gezeigt ist, ein Parameterraum mit einer Neigung afi der Gleichung (8) als vertikale Achse gesetzt und einem Bruchstück bfi (Achsenabschnitt) als horizontale Achse. Ferner erfolgt eine Abstimmung oder Auswahl an der Position entsprechend den Parametern afi und bfi in der Gleichung nach Art einer Votierung.

Eine Variationsbreite der Neigung afi im Bereich von ±20° (afi: ±0,36) ist praktisch ausreichend, da die Seitenwand als im wesentlichen parallel zum Fahrzeug 1 betrachtet wird. Ein Wert für das Bruchstück bfi ist auf den Bereich X=-1 bis -10 m beschränkt, als linke Seite des Fahrzeugs, wenn die linke Seitenwand detektiert wird, und auf einen Bereich von X=+1 bis +10 m für die rechte Seite, wenn die rechte Seitenwand detektiert wird. Der Grund für diesen begrenzten Bereich von ±10 m ist darin begründet, daß die Detektion einer vom Fahrzeug weit abgelegenen Seitenwand nur eine geringe Notwendigkeit für die Praxis aufweist.

Eine derartige Einschränkung führt dazu, daß der Abstimmbereich oder Auswahlbereich auf dem Parameterraum zu einem rechtwinkligen Bereich gemäß Darstellung in Fig. 25 wird und diese rechtwinklige Fläche ferner in eine Vielzahl von Rasterbereichen unterteilt wird, bei denen jeweils eine Auswahl erfolgt. Die Neigung afi in Gleichung (8) liegt innerhalb eines vorbestimmten Änderungsbereichs (beispielsweise ±10° bis ±20°) und wird bei jedem Intervall Δaf des Rasters mit einer Variation von eins um eins festgelegt. Das Bruchstück bfi wird durch Substituieren einer festgelegten Neigung afi und einer Koordinate (Xi, Zi) der Konstruktionsdaten P_i für Gleichung (8) berechnet, und die Auswahl wird für das Raster entsprechend dem Parameterraum ausgeführt, falls der berechnete Wert innerhalb des Beschränkungsbereichs liegt.

Die detektierte Position der Seitenwand, explizit die Detektionsgenauigkeit der Neigung und des Abschnitts oder Bruchstücks in der linearen Gleichung, wird durch die Rasterintervalle Δaf und Δbf festgelegt, die durch ein Erfordernis der externen Vorrichtung unter Verwendung der Seitenwanddaten festgelegt werden. Beispielsweise sollte das Rasterintervall Δaf zwischen 1 bis 2° liegen und das Rasterintervall Δbf 0,3 bis 0,6 m betragen, um als Meßeinrichtung für eine gefährliche Situation wie eine Kollision verwendet werden zu können, wenn das Fahrzeug normal auf der Straße fährt.

Wie oben beschrieben, erfolgt die Votierung des Parameterraums mit den gesamten Konstruktionsdaten im Suchbereich. Existieren dann, wie in Fig. 24 gezeigt ist, die entlang einer geraden Linie angeordneten Daten, so liefert das Raster entsprechend den Parametern afi und bfi der geraden Linie, die auf eine Weite festgelegt werden, daß sie mit dem Datenzug koinzidieren, zahlreiche Mehrheitsauswahlen oder Votierungen, die lokal als Maximumwerte in jeder der linken und rechten Auswahlregionen SL und SR erscheinen.

Der lokale Maximumwert wird zu einem großen Wert, wenn die Seitenwand existiert und ein deutlicher Konstruktionsdatenzug vorliegt, wohingegen der lokale Maximumwert einen geringen Wert annimmt, wenn die Seitenwand nicht vorliegt und eine Mehrzahl von Gegenständen sporadisch existiert. Folglich werden die lokalen Maximumwerte in jedem der linken und rechten Votierbereiche SL und SR im Parameterraum detektiert, wodurch das Vorhandensein der Seitenwand geschlossen wird, falls das detektierte lokale Maximum über einem Beurteilungswert liegt. Der Beurteilungswert wird unter der Berücksichtigung der Größe der festgelegten Suchregion und der Distanz zwischen den Rasterlinien festgelegt.

Wenn der Seitenwandgeradliniendetektor 142 ermittelt, daß die Seitenwand vorhanden ist, detektiert der Seitenwandbereichsdetektor 143 die Positionen der vorderen und hinteren Enden der Seitenwand. Wenn die Parameter af und bf aus den entsprechenden Rastern der lokalen Maximumwerte ausgelesen werden, wird die Seitenwand anhand der unteren linearen Gleichung (9) abgeschätzt, und zwar als die gerade Linie F_f gemäß Darstellung in Fig. 26, wenn die detektierte lineare Gleichung beispielsweise in Fig. 24 dargestellt ist.

X=af × Z+bf (9).

Wenn die Region einer Breite von 0,3 bis 1,0 m an der Mitte der geraden Linie F_f als eine Seitenwandkandidaten-Region T_f angesetzt wird, wird diese Region in der Z-Richtung gemäß Darstellung in Fig. 26 unterteilt. Die Breite der Seitenwandkandidatenregion T_f wird aus der Rasterdistanz Δbf des Parameterraums unter der Berücksichtigung von Datenfehlern und dergleichen festgesetzt.

Darauffolgend werden die Konstruktionsdaten in der Suchregion sequentiell begutachtet, wobei nur die Daten innerhalb der Seitenwandkandidatenregion T_f extrahiert werden. Anschließend wird die Anzahl von Konstruktionsdaten in jeder Sektion zur Bildung eines Histogramms gezählt. Das in Fig. 27 als Modell dargestellte Histogramm umfaßt einen Abschnitt, der von einer Seitenwand eingenommen wird und einen hohen Häufigkeitsgrad aufweist. Folglich ist es möglich, zu schließen, daß die Seitenwand in der Region vorliegt, indem der Abschnitt ermittelt wird, in dem der Grad auf oder über dem Beurteilungswert liegt, wobei die Positionen vom vorderen und hinteren Ende durch Berechnen der dreidimensionalen Position der Seitenwand festgelegt werden. Im in Fig. 24 gezeigten Beispiel wird ein oberes Ende der Suchregion SR als die Position des hinteren Endes der Seitenwand (Leitplanke 400) angesehen.

Fig. 28 zeigt die durch die obige Verarbeitung detektierte Seitenwand als Rahmenlinie. In diesem Beispiel kann die Seitenplanke an der rechten Seite detektiert werden.

Wie oben erläutert ist es möglich, Parameter wie Position und Form jedes Gegenstandes auf der Straße in Abhängigkeit vom Distanzbild zu gewinnen, das in den Konstruktionsparameterspeicherabschnitt 150 zu schreiben ist. Dann berechnet die Zwischenraumdistanzberechnungseinrichtung 160, gebildet vom Mikroprozessor 120c, die Zwischenraumdistanz auf der linken und rechten Seite zwischen dem Fahrzeug und dem detektierten Gegenstand.

Ist beispielsweise in der Abbildung der Fig. 9 eine X-Koordinate X_L eine Seite des parkenden Fahrzeugs 200, eine X-Koordinate X_R eine Seite des parkenden Fahrzeugs 300 und eine X-Koordinate X_WR ein Ende der Leitplanke 400 aus Fig. 29, wird eine Distanz D_L zwischen der verlängerten Linie der linken Seite des Fahrzeugs 1 und dem parkenden Fahrzeug 200 auf der linken Seite aus Gleichung (10) berechnet, ferner wird eine Distanz D_R zwischen der verlängerten Linie der rechten Seite des Fahrzeugs 1 zum parkenden Fahrzeug 300 auf der rechten Seite aus Gleichung (11) berechnet, und es wird eine Distanz D_WR zwischen der verlängerten Linie der rechten Seite des Fahrzeugs 1 und der Leitplanke 400 auf der rechten Seite aus Gleichung (12) berechnet, wenn die Breite des Fahrzeugs 1 W beträgt.

D_L= |X_L| -W/2 (10)

D_R= |X_R| -W/2 (11)

D_WR= |X_WR| -W/2 (12).

Es erfolgt an jeder Kante eine Berechnung durch die Gleichungen (10), (11) und (12), um so die Minimumwerte auf der linken und rechten Seite zu gewinnen. Die Minimumwerte werden zur nächsten Distanz, nämlich der Zwischenraumdistanz. Zur Zwischenraumdistanz wird ein kleiner Raum für einen Rückspiegel des Gegenstandfahrzeugs entsprechend der Darstellung in Fig. 3 hinzuaddiert.

Da im in Fig. 9 gezeigten Beispiel die Distanz D_R zwischen dem parkenden Fahrzeug und dem Fahrzeug 1 geringer als die Distanz D_WR zwischen der Leitplanke 400 und dem Fahrzeug 1 ist, wird die Distanz D_R als rechte Zwischenraumdistanz zur Ausgabe auf dem Display 3 aufgegriffen.

Ein Schwellwert wie beispielsweise 1 m wird für den numerischen Wert der auf dem Display 3 darzustellenden Zwischenraumdistanz vorgesehen, wobei ein numerischer Wert oberhalb dieses Schwellwerts nicht dargestellt ist, und zwar deshalb, weil es keinen Sinn macht, den numerischen Wert noch darzustellen, wenn der Zwischenraum ausreichend groß ist.

Im folgenden wird die Funktionsweise des Bildprozessors 20 und des Distanzbildverarbeitungscomputers 120 erläutert.

Fig. 30 ist ein Flußdiagramm, das den Funktionsfluß des Bildprozessors 20 zeigt. Im Schritt S101 werden die durch die CCD-Kameras 11a und 11b auf der linken und rechten Seite aufgenommenen Bilder eingegeben. Im Schritt S102 führen, nachdem die eingegebenen analogen Bilder durch die A/D-Wandler 31a und 31b in digitale Bilder umgesetzt worden sind, die eine vorbestimmte Leuchtdichtegradation aufweisen, die LUT's 32a und 32b eine Kompensation der Eigenschaften der CCD-Kameras 11a und 11b auf der linken und rechten Seite durch und erhöhen den Kontrast einer Komponente niedriger Leuchtdichte, um dann die Bilddaten in den Bildspeichern 33a und 33b zu speichern.

Die in den Speichern 33a und 33b gespeicherten Bilder sind nur Linien, die für die Verarbeitung in den folgenden Schritten erforderlich sind, innerhalb aller Zeilen (Linien) der CCD-Elemente der CCD-Kameras 11a und 11b, und werden erneut eingeschrieben mit einer Rate von einmal pro 0,1 s (eine Rate von einmal pro 3 im TV-Bild).

Darauffolgend werden im Schritt S103 die Daten des linken und rechten Bildes, die vier Linien oder Zeilen umfassen, aus den Bildspeichern 33a und 33b für die linken und rechten Bilder über den gemeinsamen Bus 80 in die Eingangspufferspeicher 41a, 41b, 42a und 42b gelesen, um so eine Übereinstimmung oder Abstimmung, nämlich eine Koinzidenz zwischen den zuvor eingelesenen linken und rechten Bildern abzuschätzen.

Zu diesem Zeitpunkt werden Lese- und Schreiboperationen alternierend wiederholt, wobei der Lesevorgang von den Bildspeichern 33a und 33b zu den Eingangspufferspeichern 41a, 41b, 42a und 42b durchgeführt wird und der Schreibvorgang zu den Schieberegistern 43a, 43b, 44a und 44b erfolgt. Beispielsweise werden im linken Bild, während die Bilddaten aus dem Bildspeicher 33a in den Pufferspeicher 41a auf einer Seite eingelesen werden, die Bilddaten aus dem Eingangspuffer auf der anderen Seite in das Schieberegister 43b geschrieben. Im rechten Bild werden, während die Bilddaten aus dem Bildspeicher 33b in den Pufferspeicher 42a auf einer Seite eingelesen werden, die Bilddaten aus dem Pufferspeicher 42b auf der anderen Seite in das Schieberegister 44b geschrieben.

Wie in Fig. 31 gezeigt ist, speichern die Schieberegister 43a, 43b, 44a und 44b Bilddaten (1, 1) bis (4, 4) der kleinen Regionen von 4×4 Pixeln im linken und rechten Bild, in denen die Schieberegister 43a (44a) Daten der ersten und zweiten Zeile und die Schieberegister 43b (44b) Daten der dritten und vierten Zeile in der Reihenfolge der ungerade numerierten Zeile und der geraden numerierten Zeile für jedes Pixel speichern. Jedes der Schieberegister 43a, 43b, 44a und 44b weist eine unabhängige Übertragungszeile auf, und die Daten von 4×4 Pixeln werden beispielsweise durch acht Takte übertragen.

Der Inhalt der geraden Stufen innerhalb der acht Stufen wird augenblicklich aus den Schieberegistern 43a, 43b, 44a, 44b in die City-Block-Distanzberechnungsschaltung 45 übergeben. Wenn die Berechnung der City-Block-Distanz H beginnt, werden die rechten Bilddaten in den Schieberegistern 44a und 44b gespeichert, und es werden die Daten ungerader Zeilen und die Daten gerader Zeilen abwechselnd mit jedem Takt ausgegeben. Andererseits werden die linken Bilddaten fortgesetzt in die Schieberegister 43a und 43b übertragen und dann die Daten ungerader Zeilen und die Daten gerader Zeilen alternierend ausgegeben, und es werden die Daten jeweils ein Pixel pro zwei Takte nach rechts verschoben und ersetzt. Dieser Vorgang wird wiederholt, bis die Ersetzung von 100 Pixeln (200 Takte) erfolgt ist.

Anschließend, wenn die Übertragung bezüglich einer kleinen Region abgeschlossen ist, beginnt der Prozeß in der nächsten kleinen Region durch Setzen des Inhalts (eine Anfangsadresse in der kleinen Region von 4×4 Pixeln) im rechten Bildadreßzähler in den linken Bildadreßzähler in einer Nr. 2-A Adressensteuereinrichtung 87.

In der City-Block-Distanzberechnungsschaltung 45 werden, wie im Zeitdiagramm der Fig. 32 gezeigt, die Daten für die acht Pixel zunächst in einen Absolutwertberechner in der ersten Stufe der Pyramidenkonstruktion eingegeben, um einen Absolutwert der Leuchtdichtedifferenz zwischen dem linken und rechten Bild zu berechnen, wobei die Leuchtdichte des linken Bildes von der Leuchtdichte des entsprechenden rechten Bildes subtrahiert wird. Wenn das Subtraktionsergebnis negativ ist, erfolgt die Subtraktion erneut, indem die Subtraktionspositionen ausgetauscht werden, um den Absolutwert zu berechnen. Folglich gibt es einmal eine Gelegenheit, bei der zwei Subtraktionen in der Anfangsstufe ausgeführt werden.

Nachdem die Anfangsstufe abgeschlossen ist, werden zwei augenblickliche Eingangsdaten durch die ersten bis dritten Addierer der zweiten bis vierten Stufe addiert, um Additionsdaten auszugeben. Dann addiert der Gesamtsummenaddierer in der Endstufe zwei kontinuierliche, zusammenhängende Daten zueinander, um die gesamte Summe zu berechnen, so daß die City-Block-Distanz H für erforderliche 16 Pixelkomponenten alle zwei Takte zum Minimum- und Maximumwertdetektor 50 ausgegeben wird.

Darauffolgend werden im Schritt S104 der Maximumwert H_MAX und der Minimumwert H_MIN für die City-Block-Distanz H ermittelt, die im Schritt S103 berechnet worden ist. Wie oben erwähnt, entsprechen die Ermittlungen von Maximumwert H_MAX und Minimumwert H_MIN einander mit Ausnahme der entgegengesetzten Logik und einer Speicherung des Abweichungsbetrags. Folglich wird weiter unten die Detektion des Minimumwerts H_MIN als repräsentativ dargelegt.

Zunächst wird die City-Block-Distanz H (der Abweichungsbetrag x=0) des ersten Ausgangssignals durch die C-Latchschaltung 53 der Minimumwertdetektorschaltung 51 aus Fig. 8 zum B-Register 46b des Rechners 46 zugeführt. Die City-Block-Distanz H (Abweichungsbetrag δ=1), die im nächsten Takt ausgegeben wird, wird der C-Latchschaltung 53 und dem Rechner 46 zugeführt. Der Rechner 46 beginnt mit der Vergleichsberechnung mit dem B-Register 46b gleichzeitig mit der Eingabe der City-Block-Distanz H.

Als Ergebnis der Vergleichsberechnung im Rechner 46 wird, falls der Inhalt im A-Register 46a geringer als der Inhalt im B-Register 46b ist, der Inhalt in der C-Latchschaltung 53 (nämlich der Inhalt im A-Register 46a) beim nächsten Takt zum B-Register 46b übertragen, und der Abweichungsbetrag δ zu diesem Zeitpunkt wird in der D-Latchschaltung 55 gespeichert. Gleichzeitig mit diesem Takt wird die nächste City-Block-Distanz H (Abweichungsbetrag δ=2) dem A-Register 46a und der C-Latchschaltung 53 zugeführt, um die Vergleichsberechnung wieder zu starten.

Auf diese Weise wird, während der Minimumwert in der Mitte der Berechnung gewöhnlich im B-Register 46b gespeichert wird und der Abweichungsbetrag δ zu diesem Zeitpunkt in der D-Latchschaltung 55 gespeichert wird, die Berechnung fortgesetzt, bis der Abweichungsbetrag 100 wird. Wenn die Berechnung abgeschlossen ist (nämlich einen Takt nach Ausgabe der letzten City-Block-Distanz H), wird der Inhalt im B-Register 46b und der D-Latchschaltung 55 in die Abweichungsbetragbestimmungseinrichtung 60 gelesen.

Während dieser Verarbeitung liest die oben erwähnte City-Block-Distanzberechnungsschaltung 45 den Anfangswert der nächsten kleinen Region, um die Erzeugung einer Totzeit zu vermeiden. Obgleich vier Takte für die Berechnung einer City-Block-Distanz H in Anspruch genommen werden können, da die Schaltung 45 eine Pipelinekonstitution aufweist, neue Berechnungsergebnisse alle zwei Takte gewonnen werden.

Wenn der Minimumwert H_MIN und der Maximumwert H_MAX der City-Block-Distanz H im Schritt S104 erstellt sind, prüft die Abweichungsbetrag- oder kurz Diskrepanzbestimmungseinrichtung 60 die oben erwähnten drei Bedingungen zur Ermittlung des Abweichungsbetrags x im Schritt S105.

Folglich wird gemäß Darstellung in Fig. 33 der Minimumwert H_MIN über den B-Bus 62b in das B-Register 62 gegeben und dort gespeichert, und der Schwellwert H_A, der mit dem Wert im B-Register 72 verglichen wird, wird über den A-Bus 62a in das A-Register 71 gegeben und dort gespeichert. Dann vergleicht die ALU 70 beide Werte. Wenn der Minimumwert H_MIN größer als der Schwellwert H_A ist, wird die Schaltstufe 65 so zurückgestellt, daß sie gewöhnlich "0" trotz irgendeiner späteren Prüfung ausgibt.

Daraufhin wird der Maximumwert H_MAX durch das A-Register 71 gespeichert, und die Differenz zwischen dem Maximumwert H_MAX, der im A-Register 71 gespeichert ist, und dem Minimumwert H_MIN, der im B-Register 72 gespeichert wird, wird zur Ausgabe des Berechnungsergebnisses an das F-Register 73 berechnet. Das A-Register 71 speichert den Schwellwert H_B beim nächsten Takt und vergleicht ihn mit dem Wert im F-Register 73. Die Schaltstufe 65 wird auf dieselbe Weise zurückgesetzt, wenn der Inhalt im F-Register 73 kleiner als der Schwellwert H_B ist, der im A-Register 71 gespeichert ist.

Vom nächsten Takt an wird mit der Berechnung der Leuchtdich 28787 00070 552 001000280000000200012000285912867600040 0002004446452 00004 28668tedifferenz zwischen benachbarten Pixeln begonnen. Zwei Schieberegister 64a und 64b weisen einen jeweils zehnstufigen Aufbau auf zur Speicherung der Leuchtdichtedaten und sind mit den hinteren Stufen der Schieberegister 44a und 44b der City-Block-Distanzberechnungseinheit 40 verbunden, in der das Schieberegister 44a für die erste und zweite Zeile dient und das Schieberegister 44b für die dritte und vierte Zeile. Die Ausgänge der Schieberegister 64a und 64b werden von der Endstufe abgegriffen, und zwei vor der Endstufe zur Ausgabe an den A-Bus 62a bzw. an den B-Bus 62b.

Wenn die Berechnung der Leuchtdichtedifferenz beginnt, speichert jede Stufe in den Schieberegistern 64a und 64b die Leuchtdichtedaten jeder Stelle in den kleinen Regionen, und das A-Register 71 und das B-Register 72 im Rechner 61 speichern zunächst die Leuchtdichtedaten in der vierten Spalte in der ersten Reihe der vorhergehenden kleinen Region und die Leuchtdichtedaten in der ersten Spalte der ersten Reihe der gegenwärtigen kleinen Region.

Der Rechner 61 berechnet einen Absolutwert der Differenz zwischen dem Inhalt im A-Register 71 und dem Inhalt im B-Register 72 zur Speicherung des berechneten Ergebnisses im F-Register 73. Das A-Register 71 speichert den Schwellwert H_C beim nächsten Takt zum Vergleich dieses Werts mit dem Wert im F-Register 73.

Ist als Ergebnis im Rechner 61 der Inhalt (der Absolutwert der Leuchtdichtedifferenz) im F-Register 73 größer als der Inhalt (Schwellwert H_C) des A-Registers 71, so gibt die Schaltstufe 65 den Abweichungsbetrag x oder "0" aus. Ist demgegenüber der Inhalt im F-Register 73 kleiner als der Inhalt im A-Register 71, so gibt die Schaltstufe 65 "0" zur Einschreibung an der Position in der ersten Spalte der ersten Reihe der kleinen Region entsprechend den Ausgangspuffern 66a und 66b aus.

Während der Rechner 61 die Leuchtdichtedifferenz zwischen den benachbarten Pixeln mit dem Schwellwert H_C vergleicht, verschieben die Schieberegister 64a bzw. 64b jeweils eine Stufe. Dann beginnt der Rechner 61 mit der Berechnung der Leuchtdichtedaten in der vierten Spalte in der zweiten Reihe in der vorhergehenden kleinen Region und der Leuchtdichtedaten in der ersten Spalte in der zweiten Reihe der gegenwärtigen kleinen Region. Auf diese Weise wird nach Durchführung der wechselweisen Berechnung für die erste und zweite Reihe der kleinen Region dieselbe Berechnung bezüglich der dritten und vierten Reihe ausgeführt.

Während der Berechnung wird durch Verbinden der Endstufe des Schieberegisters 64a mit der ersten Stufe des Schieberegisters 64b ein Ringregister gebildet. Wenn zwei Schiebetakte nach der Berechnung für die Gesamtheit der kleinen Regionen hinzugefügt bzw. addiert sind, geht der Inhalt im Register auf den Zustand vor der Berechnung zurück. Wenn die Leuchtdichtedaten in der nächsten kleinen Region für die Übertragung vervollständigt sind, werden die Daten in der vierten Reihe in der gegenwärtigen kleinen Region in der Endstufe und vorausgehenden Stufe beibehalten.

Da auf diese Weise die nächsten Daten im A-Bus 62a und B-Bus 62b vorgesehen werden und die Berechnungsergebnisse dort eingeschrieben werden und zwar während der Berechnung zur Ermittlung des Abweichungsbetrages, wird eine Date nur durch zwei für die Berechnung erforderliche Takte verarbeitet. Infolgedessen wird die gesamte Berechnung innerhalb 43 Takte abgeschlossen, obgleich die Anfangsprüfung für den Minimumwert H_MIN und den Maximumwert H_MAX eingeschlossen ist, und es ist ausreichend Zeit vorhanden, um den Minimumwert H_MIN und den Maximumwert H_MAX der City-Block-Distanz H hinsichtlich einer kleinen Region zu ermitteln, wodurch hierbei die Möglichkeit der Hinzufügung einer weiteren Funktion besteht.

Es wird im Schritt S106 der Abweichungsbetrag ermittelt, wobei der Abweichungsbetrag x als Distanzverteilungsinformation aus den Ausgangspufferspeichern 66a und 66b zum Dualportspeicher 90 ausgegeben wird, um so die Verarbeitung im Bildprozessor 20 zu beenden.

Die Ausgangspufferspeicher 66a und 66b weisen beispielsweise eine Kapazität von vier Zeilen wie im Fall der oben erwähnten Eingangspufferspeicher 41a, 41b, 42a und 42b auf. Während die Distanzverteilungsdaten in ein Paar von zwei Paaren eingeschrieben werden, werden die Daten von einem weiteren Paar zweier Paare zum Dualportspeicher 90 übertragen.

Es ist möglich, die dreidimensionale Position im XYZ-Raum des Gegenstandes entsprechend jedem Pixel aus der Distanzverteilungsinformation zu berechnen, die in den Dualportspeicher 90 eingeschrieben ist, und zwar in Abhängigkeit vom Linsenparameter wie einer Anbringungsposition und einer Brennweite und dem Brennpunkt der CCD-Kameras 11 und 12, wodurch es möglich ist, die Distanz des Gegenstandes außerhalb des Fahrzeugs ohne Verschlechterung der Datenmenge präzise zu ermitteln.

Es wird nun die gesamte Zeitsteuerung des Bildprozessors 20 entsprechend der Zeittabelle in Fig. 34 erläutert.

Zunächst schreiben die Bildspeicher 33a und 33b jeweils das Teilbildsignal (field-signal) von der linken und rechten CCD-Kamera 11a und 11b ein, die einander mit einer Zeitsteuerung von jeweils 0,1 s synchronisieren (mit einer Rate von einem Bild pro drei Bildern).

Daraufhin wird ein Block bei jeweils vier Zeilen nach Empfang eines Aufnahmeendsignals übertragen. Die Übertragung erfolgt durch Übertragen von drei Blöcken des rechten Bildes, linken Bildes und des Distanzverteilungsbildes als Ergebnis in dieser Reihenfolge.

Währenddessen erfolgt die Berechnung bezüglich eines Abweichungsbetrages δ für einen der Eingangs- und Ausgangspufferspeicher. Nach Verstreichen einer vorbestimmten Zeit unter Berücksichtigung der Berechnungszeit für den Abweichungsbetrag δ erfolgt eine Übertragung in den anderen der Eingangs- und Ausgangspufferspeicher.

Hundert Berechnungen werden für die City-Block-Distanz H hinsichtlich einer kleinen Region von 4×4 Pixeln eines rechten Bildes durchgeführt, da die Berechnung durch Verschieben von 100 Pixeln über das linke Bild ausgeführt wird. Während die Berechnung bezüglich der City-Block-Distanz H in einer Region ausgeführt wird, wird der Abweichungsbetrag δ in der vorausgehenden Region als die Distanzverteilung nach jeder Prüfung ausgegeben.

Beträgt die zu verarbeitende Zeilenzahl 200, wird eine Verarbeitung für vier Zeilen 50mal wiederholt, wodurch eine Verarbeitungszeit von acht Zeilen erforderlich ist, und zwar vier Zeilen, um die Anfangsdaten beim Starten der Berechnung zu übertragen, und von vier Zeilen, um das Endergebnis nach Abschluß der Berechnung zum Bilderkennungsabschnitt zu übertragen.

Im Ergebnis ist eine Zeit 0,076 s für die tatsächliche Operation der Schaltung vom Beginn der Übertragung der anfänglichen Eingangsbildzeile bis zum Ende der Übertragung der Enddistanzverteilung erforderlich.

Ferner zeigen die Flußdiagramme der Fig. 35 und 36 eine Gegenstanddetektions-Verarbeitung, die im Mikroprozessor 120a erfolgt. Im Schritt S201 wird eine Position der Straßenoberfläche gesetzt. Im Schritt S202 wird das Distanzbild vom Bildprozessor 20 in rasterförmige Regionen aufgeteilt. Im Schritt S203 werden die Daten aus der Anfangsregion gelesen.

Darauffolgend fährt das Verfahren mit Schritt S204 fort, und die Anfangsdaten in der Region werden gesetzt. Im Schritt S205 erfolgt die Berechnung hinsichtlich der dreidimensionalen Position (X, Y, Z) des Gegenstandes, nämlich der Distanz und Höhe. Nachdem die Höhe der Straßenoberfläche im Schritt S206 für die Distanz Z berechnet worden ist, werden die Daten über der Straßenoberfläche im Schritt S207 selektiert.

Im Schritt S208 werden die Daten dahingehend überprüft, ob die Daten Enddaten sind oder nicht. Wenn die Daten keine endgültigen Daten sind, werden im Schritt S209 die nächsten Daten in der Region gesetzt, um den Prozeß zum obenerwähnten Schritt S205 zum Fortsetzen der Verarbeitung zurückzuführen. Wenn die Daten endgültige Daten sind, schreitet der Prozeß vom Schritt S208 mit Schritt S210 fort.

Im Schritt S210 wird ein Histogramm gebildet. Im Schritt S211 wird die Sektion detektiert, in der der Grad des Histogramms über dem Beurteilungswert liegt und einen Maximalwert annimmt. Wenn die Sektion detektiert ist, in der der Grad des Histogramms über dem Beurteilungswert liegt und den Maximalwert annimmt, existiert der Gegenstand in dieser Sektion, und es wird im Schritt S212 die Distanz zum Gegenstand bestimmt.

Im Schritt S213 wird untersucht, ob die Region eine Endregion ist oder nicht. Handelt es sich nicht um eine Endregion, so werden die Daten in der nächsten Region im Schritt S214 gelesen, um zum Schritt S204 zurückzukehren und dieselbe Verarbeitung fortzusetzen. Ist die Region endgültig, so schreitet der Prozeß zum Schritt S215 fort, um die Distanz und die vorhandene Region des Gegenstandes zu detektieren, um so die Detektion zu beenden und zum Schritt S216 überzugehen.

Im Schritt S216 wird ein Parameter für den Anfangsgegenstand gesetzt. Im Schritt S217 wird das dreidimensionale Fenster WD₃ für die Höhe seines unteren Endes und den Distanzbereich gesetzt. Im Schritt S218 wird die Form des zweidimensionalen Fensters WD₂ abhängig vom dreidimensionalen Fenster WD₃ berechnet, um dann mit dem Schritt S219 fortzufahren.

Im Schritt S219 werden die Daten aus dem zweidimensionalen Fenster WD₂ gelesen. Nach Berechnen der dreidimensionalen Position des Gegenstandes im Schritt S220 werden die Daten im Schritt S221 selektiert und aus dem dreidimensionalen Fenster WD₃ extrahiert.

Anschließend, wenn die Daten im Schritt S221 extrahiert sind, erfolgt eine Projektion dieser Daten auf das zweidimensionale Bild im Schritt S222, und anschließend wird durch Verbinden aller Daten durch Linien im Schritt S223 ein Konturbild erzeugt. Daraufhin werden im Schritt S224 die Form, Größe, Position und Geschwindigkeit des Gegenstandes berechnet. Im Schritt S225 wird geprüft, ob der Gegenstand ein Endgegenstand ist oder nicht.

Ist der Gegenstand kein Endgegenstand, wird der Parameter des nächsten Gegenstandes im Schritt S226 gesetzt, um dann auf Schritt S217 zurückzugehen. Handelt es sich um einen Endgegenstand, so werden im Schritt S227 Parameter wie Position, Form, Geschwindigkeit, Beschleunigung und Möglichkeit einer Kollision des Gegenstandes in den Ausgangsspeicher 125 gelesen, um den Prozeß abzuschließen.

Darüber hinaus führt der Mikroprozessor 120b die Seitenwanddetektion gemäß Darstellung in den Fig. 37 und 38 parallel zur Objektdetektion durch den Mikroprozessor 120a aus. Bei dieser Seitenwanddetektion werden, wenn die Straßenoberflächenposition im Schritt S301 gesetzt wird, die Anfangsdistanzdaten im Schritt S302 aus dem Distanzbild gelesen.

Darauffolgend werden im Schritt S303 die Position (X, Z Koordinaten) und die Höhe (Y-Koordinate) des Gegenstandes berechnet. Im Schritt S304 wird die Höhe H (Y-Koordinate) berechnet, bezogen auf die Straßenoberfläche in der Distanz Z. Im Schritt S305 werden die Daten über der Straßenoberfläche und unter der Höhe des Fahrzeugs als die Konstruktionsdaten extrahiert.

Im Schritt S306 werden die Daten dahingehend untersucht, ob sie Enddaten darstellen oder nicht. Sind die Daten nicht Enddaten, wird die nächste Distanzrate im Schritt S307 gelesen, und der Prozeß geht zurück auf Schritt S303, um das oben dargelegte Verfahren zu wiederholen. Wenn die Daten Enddaten sind, geht der Prozeß von S306 auf S308.

Im Schritt S308 werden die anfänglichen Konstruktionsdaten gelesen, und im Schritt S309 wird die Position (X, Z Koordinaten) des Gegenstandes berechnet. Im Schritt S310 wird die berechnete Position (X, Z Koordinaten) dahingehend untersucht, ob sie sich in der Suchregion befindet oder nicht.

Liegt die berechnete Position (X, Z Koordinate) außerhalb der Suchregion, so springt der Prozeß vom Schritt S310 zum Schritt S312. Liegt die Position innerhalb der Suchregion, so schreitet der Prozeß von Schritt S310 mit Schritt S311 fort, um eine Auswahl in dem Parameterraum auszuführen und dann mit Schritt S312 fortzufahren.

Im Schritt S312 werden die verarbeiteten Konstruktionsdaten daraufhin geprüft, ob sie Enddaten darstellen oder nicht. Wenn die Daten nicht endgültig sind, werden die nächsten Konstruktionsdaten im Schritt S313 gelesen, um denselben Vorgang vom Schritt S309 an zu wiederholen. Sind die Daten endgültig, so schreitet der Prozeß mit Schritt S314 fort, um den lokalen Maximumwert im Parameterraum zu detektieren.

Darauffolgend wird mit Schritt S315 fortgefahren, um zu ermitteln, ob der lokale Maximumwert über dem Beurteilungswert liegt oder nicht. Liegt der Wert unter dem Beurteilungswert, so wird ermittelt, daß die Seitenwand fehlt (Schritt S316). Liegt der Wert über dem Beurteilungswert, so wird geschlossen, daß eine Seitenwand vorliegt (S317). Dann wird mit Schritt S318 fortgefahren.

Im Schritt S318 erfolgt ein Leseprozeß nach einem Parameter entsprechend dem Raster des lokalen Maximumwerts aus Schritt S314, nämlich einem Parameter (af, bf) der linearen Gleichung, die den lokalen Maximumpunkt zeigt. Darauffolgend wird im Schritt S319 die Seitenwandkandidatenregion gesetzt.

Im Schritt S320 werden die anfänglichen Strukturdaten aus der Suchregion gelesen. Nach Berechnen der Position (X, Z Koordinate) des Gegenstandes im Schritt S321, werden die im Seitenwand-Abschätzungsbereich enthaltenen Daten im Schritt S322 extrahiert. Anschließend werden im Schritt S323 die Daten daraufhin untersucht, ob sie Enddaten innerhalb der Suchregion sind oder nicht.

Handelt es sich nicht um Enddaten, so zweigt der Prozeß von Schritt S323 zum Schritt S324 ab, um die nächsten Strukturdaten in der Suchregion zu lesen und zum Schritt S321 zurückzukehren. Sind die Daten in der Suchregion Enddaten, d. h. liegen sie am Ende dieser Region, so schreitet der Prozeß von Schritt S323 zum Schritt S325 fort, um das Histogramm unter Verwendung der Daten in dem Seitenwandabschätzungsbereich zu bilden.

Im folgenden Schritt S326 wird der Häufigkeitsgrad des gebildeten Histogramms untersucht, und festgestellt, wo die Sektion liegt, in der der Grad über dem Beurteilungswert liegt, wobei dann mit Schritt S327 fortgefahren wird. Im Schritt S327 wird die dreidimensionale Position beider Enden dieser Sektion bestimmt, in der der Grad des Histogramms über dem Beurteilungswert liegend berechnet wurde. Im Schritt S328 wird das Programm abgeschlossen, indem die Parameter, wie das Vorliegen oder Fehlen, die Position und die Richtung der Seitenwand und die Position des vorderen und hinteren Endes, in den Ausgangsspeicher 125 eingeschrieben werden. Das Programm wird zunächst bezüglich einer linken Seitenwand und dann bezüglich einer rechten Seitenwand durchgeführt.

Durch den obigen Prozeß ist es möglich, die Position und Größe einer Vorderwand und eines geparkten Fahrzeugs bezüglich des in Frage stehenden Fahrzeugs 1 festzustellen, und es ist möglich, das Programm zur Verarbeitung der Zwischenraumdistanzberechnung gemäß Fig. 39 durch den Mikroprozessor 120c durchzuführen.

In diesem Zwischenraumdistanzberechnungsprozeß werden im Schritt S401 die Position der Kante oder des Randes vom Objekt auf der Fahrzeugseite und die Position des Endes der Seitenwand eingegeben. Dann werden im Schritt S402 die rechte und linke Distanz jeweils für die X-Richtung zwischen dem Ende der Seitenwand oder jedem Rand oder jeder Kante des Gegenstandes und der verlängerten Linie des Seitenbereichs vom Fahrzeug 1 ermittelt.

Im darauffolgenden Schritt S403 werden jeweils der rechte und linke Minimumwert für jede der im Schritt S402 gewonnenen Distanzen ermittelt. Im Schritt S404 wird ein kleiner Spielraum als die Zwischenraumdistanz zu jedem der linken und rechten Minimumwerte hinzuaddiert, um dann den numerischen Wert über die Displaysteuereinrichtung 126 auf der Anzeige oder dem Display 3 anzuzeigen.

Bezugszeichenliste

Fig. 1
15 Stereoskopische Bildverarbeitungseinrichtung
100 Objektdetektoreinrichtung
110 Zwischenraumdistanz-Berechnungseinrichtung

Fig. 2
20 Bildprozessor
20a Distanzdetektorschaltung
20b Distanzbildspeicher
4 Geschwindigkeitssensor
5 Lenkwinkelsensor
6 Modussetzschalter
3 Displayeinrichtung
120a bis 120c Mikroprozessor
126 Displaysteuereinrichtung
127 Interfaceschaltung
125 Ausgangsspeicher
124 RAM
123 ROM
122 Interfaceschaltung

Fig. 3
3e Linksseitiger Zwischenraum 30 cm und rechtsseitiger Zwischenraum 10 cm
Cruise Fahren
3b Leiten
Assist Hilfe
Check Prüfen

Fig. 5
Left Camera = Linke Kamera
Right Camera = Rechte Kamera
Camera Position = Kameraposition
Projecting Surface = Projektionsfläche

Fig. 6
33a Bildspeicher
33b Bildspeicher
41a-42b Speicher
86 Nr. 1 Adreß-Steuereinrichtung
85 Taktgeneratorschaltung
90 Dualportspeicher
87 Nr. 2 Adreß-Steuereinrichtung
66a, 66b Speicher
65 Schaltstufe
70 ALU
51 Minimumwertdetektorschaltung
52 Maximumwertdetektorschaltung
45 City-Block-Distanzberechnungsschaltung
32 LUT

Fig. 7
Total sum = Gesamtsumme
Addition = Addition
46 Absolutwertberechnung
unten: Links 1,1; Rechts 1,1 usw.

Fig. 8
Discrepancy amount = Abweichungsbetrag
Clock = Takt
MSB bleibt
unten = Ausgang der City-Block-Distanzberechnungsschaltung

Fig. 10
Coordinate = Koordinate

Fig. 13
20b Distanzbildspeicher
133 Objektkonturbildextraktionseinrichtung
131 Objektdetektor
132 Erzeugungseinrichtung für dreidimensionales Fenster
141 Objektdatenextraktionseinrichtung
142 Seitenwand-Geradliniendetektor
143 Seitenwandbereichsdetektor
150 Objektparameterspeicherabschnitt
160 Zwischenraumdistanzberechnungseinrichtung

Fig. 15
Degree = Grad
Distanz = Distanz
Maximum value = Maximalwert
Judge value = Beurteilungswert

Fig. 16
(Detected distance) = (Detektierte Distanz)

Fig. 21
Linksseitiger Suchbereich S_L
Rechtsseitiger Suchbereich S_R
Sichtfeld der Kamera

Fig. 22
Linksseitiger Suchbereich S_L
Rechtsseitiger Suchbereich S_R

Fig. 33
Noise shape data = Rauschformdaten
Data of parked car = Daten vom geparkten Fahrzeug
Data of guardrail = Leitplankendaten
Visual field of camera = Sichtfeld der Kamera
Left side search region S_L = Linksseitiger Suchbereich S_L
Right side search region S_R = Rechtsseitiger Suchbereich S_R
Data of building = Gebäudedaten
Data of thicket = Dickichtdaten
Data of grassland on hill = Grasbewuchsdaten von Anhöhe

Fig. 24
Set region of slant afi = Festgelegter Bereich der Neigung afi
Straight line Fi = Gerade Linie Fi
Limit range of cut piece bfi = Grenzbereich für Abschnitt bfi
Object data Pi = Objektdaten Pi
Visual field of camera = Sichtfeld der Kamera

Fig. 25
Left side voting region = Linksseitiger Votierbereich
Right side voting region = Rechtsseitiger Votierbereich
Grating = Raster

Fig. 26
Section = Sektion
Straight line Ff = Gerade Linie Ff
Visual field of camera = Sichtfeld der Kamera
Side wall candidate region Tf = Seitenwandkandidatenregion Tf

Fig. 27
Degree = Grad
Section = Sektion
Judge value = Beurteilungswert
Side wall existing area = Seitenwandexistenzbereich

Fig. 28
Detected guardrail = Detektierte Leitplanke
Leftside search region S_L = Linksseitiger Suchbereich S_L
Rightside search region S_R = Rechtsseitiger Suchbereich S_R

Fig. 30
Start = Start
End = Ende
S101 = Bildeingabe
S102 = A/D-Wandlung
S103 = Suche nach einer Position entsprechender linker und rechter Bilder (Abstimmung durch City-Block-Distanz)
S104 = Detektion von Minimum- und Maximumwerten der City-Block-Distanz
S105 = Bestimmung vom Abweichungsbetrag von Positionen, die linken und rechten Bildern entsprechen
S106 = Distanzverteilungsausgabe

Fig. 31
Small regions = Kleine Regionen
Shift direction = Verschiebungsrichtung
For 1st and 2nd lines = Für erste und zweite Zeile
For 3rd and 4th lines = Für dritte und vierte Zeile
Output = Ausgang

Fig. 32
Clock = Takt
Input latch of first adder = Eingabe in latch vom Absolutwert-Berechner
darunter
Eingabe in latch vom ersten Addierer
Eingabe in latch vom zweiten Addierer
Eingabe in latch vom dritten Addierer
Eingabe in latch vom Gesamtsummenaddierer
Eingabe in latch der Minimum- und Maximumwertdetektorschaltung
First subtraction = Erste Subtraktion
Second subtraction = Zweite Subtraktion
I_o = Geradzahl-Zeilendaten vom Abweichungsbetrag "0"
I_e = Ungeradzahl-Zeilendaten vom Abweichungsbetrag "0"
II_o = Geradzahlzeilendaten vom Abweichungsbetrag "1"
II_e = Ungeradzahl-Zeilendaten vom Abweichungsbetrag "1"
unten steht: Erstellung der City-Block-Distanz vom Abweichungsbetrag "0"
unten steht: Erstellung der City-Block-Distanz vom Abweichungsbetrag "1"

Fig. 33
Clock = Takt
A Bus
B Bus
Calculation = Berechnung
Switch circuit = Schaltstufe
Writing to . . . = Schreiben in Ausgang vom Pufferspeicher
In Zeile von A Bus steht: Leuchtdichte von (1,4) Pixel in der vorhergehenden kleinen Region
In Zeile von A Bus steht: Leuchtdichte von (2,4) Pixel in der vorhergehenden kleinen Region
In Zeile von A Bus steht: Leuchtdichte von (2,1) Pixel
In Zeile von B Bus steht: Leuchtdichte von (1,1) Pixel
In Zeile von B Bus steht: Leuchtdichte von (2,1) Pixel
In Zeile von B Bus steht: Leuchtdichte von (1,2) Pixel
In Zeile von B Bus steht: Leuchtdichte von (2,2) Pixel
In Zeile von Berechnung: Frühere kleine Region . . .
In Zeile von Schaltstufe: Reset - Reset Ausgabe
Ausgabe von Abweichungsbetrag oder "0"
Ausgabe von Abweichungsbetrag oder "0"
letzte Zeile: Schreib in (1,1) Schreib in (1,2)

Fig. 34
CCD Field signal = CCD Teilbildsignal
Picture input = Bildeingabe
Stand-by = Standby
Processing = Verarbeitung
Transfer = Transfer
darunter:
Vier Zeilen vom rechten Bild
Vier Zeilen vom linken Bild
Vier Zeilen vom Ergebnis
Calculation = Berechnung
darunter: Vier Zeilen vom Berechnungsprozeß wie bei der City-Block-Distanz
darunter: City-Block-Distanz Berechnung 4×4 Pixel
darunter: Prüfe hinsichtlich Differenz und Ergebnis
No work: Keine Arbeit

Fig. 35
S201 = Setze Position von Straßenoberfläche
S202 = Teile Distanzbild in Regionen
S203 = Lies Daten aus Anfangsregion
S214 = Lies Daten aus der nächsten Region
S204 = Setze Anfangsdaten
S209 = Setze nächste Daten
S205 = Berechne Distanz und Höhe vom Gegenstand
S206 = Berechne Höhe der Straßenoberfläche
S207 = Selektierte Daten auf oder über Straßenoberfläche
S208 = Enddate?
S210 = Bildung des Histogramms
S211 = Detektiere Sektion, in der der Grad über Beurteilungswert und Maximalwert liegt
S212 = Detektiere Vorhandensein oder Fehlen und Distanz vom Objekt
S213 = Endregion?
S215 = Detektiere Distanz und Existenzregion von jedem Gegenstand

Fig. 36
S216 = Setze Parameter von erstem Gegenstand
S226 = Setze Parameter von nächstem Gegenstand
S217 = Setze Höhe vom unteren Ende und Distanzbereich vom dreidimensionalen Fenster
S218 = Berechne zweidimensionale Fensterform
S219 = Lies Daten im zweidimensionalen Fenster
S220 = Berechne dreidimensionale Position vom Gegenstand
S221 = Selektion von im dreidimensionalen Fenster enthaltenen Daten
S222 = Projektion auf zweidimensionalen Schirm
S223 = Bilde Konturbild durch Verbinden von Daten durch Linien
S224 = Berechnung von Form, Größe, Position und Geschwindigkeit vom Gegenstand
S225 = Endgegenstand?
S227 = Schreib Parameter vom Gegenstand in Speicher
End = Ende

Fig. 37
S301 = Setze Position von Straßenoberfläche
S302 = Lies erste Distanzdaten
S307 = Lies nächste Distanzdaten
S303 = Berechne Position (X,Z-Koordinate) und Höhe (Y-Koordinate) vom Gegenstand
S304 = Berechne Höhe H (Y-Koordinate) von Straßenoberfläche
S305 = Extrahiere als Konstruktionsdaten die, die über der Straßenoberfläche und unterhalb der Höhe des Fahrzeugs liegen
S306 = Enddaten?
S308 = Lies Anfangskonstruktionsdaten
S313 = Lies nächste Konstruktionsdaten
S309 = Berechnung von Position (X,Z-Koordinate) vom Gegenstand
S310 = In Suchregion?
S311 = Votierung auf Parameterraum
S312 = Enddaten?
S314 = Detektion vom lokalen Maximumwert auf Parameterraum
S315 = Über Beurteilungswert?
S317 = Bestimme Vorhandensein von Seitenwand
S316 = Bestimme Fehlen von Seitenwand

Fig. 38
S318 = Lies Parameter (af, bf) von Geradlinien-Gleichung, gezeigt von lokalem Maximumpunkt
S319 = Setze Seitenwand Kandidatenregion
S320 = Lies Anfangsobjektdaten in Suchregion
S324 = Lies nächste Objektdaten in Suchregion
S321 = Berechne Position (X,Z-Koordinate) vom Gegenstand
S322 = Extraktion von Daten in Seitenwandkandidatenregion
S323 = Enddaten?
S325 = Bilde Histogramm aus Daten in Seitenwandkandidatenregion
S326 = Detektiere Sektion, in der der Grad über dem Beurteilungswert liegt
S327 = Berechne vordere und hintere Endposition von Seitenwand
S328 = Schreib Parameter von Seitenwand in Speicher

Fig. 39
S401 = Eingabe von Position einer Kante vom Gegenstand und Seitenwand
S402 = Ermittle jeweils linke und rechte Distanzen zwischen Verlängerungslinien des Fahrzeugs und Kanten des Gegenstandes oder Seitenwandende
S403 = Bestimme jeweils linken und rechten Minimumwert
S404 = Anzeige von linkem und rechtem Minimumwert als Zwischenraumdistanz auf Display

Claims

1. Fahrleitvorrichtung für ein Fahrzeug, in dessen vorderem Bereich zwei Kameras zur Aufnahme einer dreidimensionalen Abbildung von sich vor dem Fahrzeug befindenden Gegenständen und zur Erzeugung eines Bildsignals angebracht sind, aufweisend:
eine stereoskopische Bildverarbeitungseinrichtung (15), die abhängig vom Bildsignal ein Paar stereoskopischer Bilder des Gegenstandes außerhalb des Fahrzeugs verarbeitet und ein Distanzsignal durch Ermitteln einer Distanzverteilung über ein gesamtes Bild in Abhängigkeit von durch Abweichungsbeträge (x) gekennzeichneten Positionen entsprechend dem Paar stereoskopischer Bilder gemäß einem Triangulationsprinzip liefert;
eine Objektdetektoreinrichtung (100), die abhängig von diesem Distanzsignal mehrere verschiedene Gegenstände durch Heranziehen von dreidimensionalen Positionsdaten detektiert, die für einen jeden Abschnitt des jeweiligen Gegenstandes entsprechend der Distanzverteilung berechnet werden, und die ein Distanzsignal erzeugt;
eine Zwischenraumdistanz-Berechnungseinrichtung (110), die abhängig von einem Verteilungssignal jeweils eine nächste Distanz linker und rechter Zwischenraumdistanzen, die jeweils von einer verlängerten Linie der linken oder rechten Seite des Fahrzeugs und jedem Ende der Fahrzeugseite zu den mehreren verschiedenen Gegenständen bestimmt sind, berechnet und ein Distanzsignal erzeugt; und
eine Informationseinrichtung (3; 115), die abhängig von diesem Distanzsignal einem Fahrer sich auf die rechten und linken Zwischenraumdistanzdaten beziehende Daten derart vermittelt, daß die Umgebungsbedingungen des Fahrzeugs vollständig und exakt angezeigt werden und die dem Fahrer auferlegte Last beim Fahren auf einem engen Fahrweg deutlich herabgesetzt ist.

2. Fahrleitvorrichtung nach Anspruch 1, ferner gekennzeichnet durch
zwei Paare (11, 12) von (CCD-) Kameras in Form ladungsgekoppelter Bausteine, die jeweils als das Abbildungssystem (10) an einer Vorderseite des Fahrzeugs (1) unter einem vorbestimmten Abstand angeordnet sind, wobei ein Paar (12) für große Distanzen und ein Paar (11) für kurze Distanzen vorgesehen ist und jedes Paar über eine linke und rechte Kamera verfügt;
einen in der stereoskopischen Bildverarbeitungseinrichtung (15) vorgesehenen Bildprozessor (20) mit einer Distanzdetektoreinrichtung (20a) zum Aufsuchen eines Bereichs, in dem derselbe Gegenstand in jeder von kleinen Regionen des Paares stereoskopischer Bilder von den CCD-Kameras abgebildet ist, und zum Berechnen einer Distanz zum Gegenstand durch Ermitteln eines Abweichungsbetrages (x) einer diesem Bereich entsprechenden Position, und mit einem Distanzbildspeicher (20b) zum Speichern der von der Distanzdetektoreinrichtung (20a) ausgegebenen Distanzdaten;
einen Distanzbild-Verarbeitungscomputer (120), der als die Objektdetektoreinrichtung und die Zwischenraumdistanz-Berechnungseinrichtung dient und als Multi-Mikroprozessorsystem ausgelegt ist mit einem ersten Mikroprozessor (120a) zur hauptsächlichen Detektionsverarbeitung individueller Gegenstände, einem zweiten Mikroprozessor (120b) zur hauptsächlichen Detektionsverarbeitung einer Seitenwandung, einem dritten Mikroprozessor (120c) zur hauptsächlichen Berechnungsverarbeitung einer Zwischenraumdistanz und einem Systembus (121) zum parallelen Verbinden des ersten bis dritten Mikroprozessors; und
einer Displayeinrichtung (3) als die Informationseinrichtung (115) zur Anzeige von durch die Berechnungsverarbeitung der Zwischenraumdistanzen gewonnenen Zwischenraumdaten für den Fahrer.

3. Fahrleitvorrichtung nach Anspruch 2, ferner gekennzeichnet durch
eine Objekterkennungseinrichtung (130), die durch den ersten Mikrocomputer (120a) vorgesehen ist;
einen Seitenwanddetektor (140), der durch den zweiten Mikroprozessor (120b) vorgesehen ist;
einen Zwischenraumdistanz-Berechner (160), der durch den dritten Mikroprozessor (120c) vorgesehen ist;
einen Konstruktionsparameterspeicher (150) zum Speichern eines Verarbeitungsergebnisses von der Objekterkennungseinrichtung (130) und dem Seitenwanddetektor zur Ausgabe an den Zwischenraumdistanz-Berechner (160).

4. Fahrleitvorrichtung nach Anspruch 3, ferner gekennzeichnet durch
einen Objektdetektor (131), der das Distanzbild vom Distanzbildspeicher (20b) des Bildprozessors in vorbestimmte streifenförmige Intervallabschnitte aufteilt und zur Berechnung der detektierten Distanz nur Konstruktionsdaten selektiert, die als Gegenstand eine Gefahr für die Weiterfahrt darstellen;
eine Erzeugungseinrichtung (132) für ein dreidimensionales Fenster zur Festlegung einer dreidimensionalen Raumregion rechtwinkliger solider Raumform bezüglich der jeweiligen durch den Objektdetektor detektierten Gegenstände und zum Berechnen, wie sich das festgelegte dreidimensionale Fenster auf einem zweidimensionalen Bild darstellt, um so den detektierten Gegenstand nur bezüglich Daten innerhalb der Fensterumrißlinie gemäß dem zweidimensionalen Fenster festzulegen; und
eine Objektkontur-Extraktionseinrichtung (133), die Date um Date im zweidimensionalen Fenster begutachtet, um dann nur Daten zu selektieren, die im dreidimensionalen Fenster enthalten sind, die ein Konturbild des detektierten Gegenstandes extrahiert und die positionelle Beziehung zwischen dem detektierten Gegenstand und der fahrzeugeigenen Karosserie bestimmt.

5. Fahrleitvorrichtung nach Anspruch 4, ferner gekennzeichnet durch
eine Objektdaten-Extraktionseinrichtung (141), die nur Daten über einer vorbestimmten Straßenoberfläche selektiert, die vorab aus den Distanzverteilungsdaten festgelegt ist, die vom Distanzbildspeicher (20b) des Bildprozessors zugeführt wurden;
einen Seitenwand-Geradliniendetektor (143), der nur Daten innerhalb einer vorab festgesetzten Seitenwandsuchregion extrahiert, zur Verbreitung der extrahierten Daten durch die Hough-Transformation, wodurch eine lineare Gleichung erfaßt wird, die das Vorhandensein oder Fehlen einer Seitenwand und deren Position anzeigt; und
einen Seitenwandbereichsdetektor (143), der eine Seitenwandkandidatenregion festlegt, wobei das Vorliegen einer Seitenwand auf der Grundlage einer geraden, die Position der Seitenwand zeigenden Linie abgeschätzt wird, und der die Positionen von vorderen und hinteren Enden der Seitenwand abhängig vom Verteilungszustand der Konstruktionsdaten in der Seitenwandkandidatenregion detektiert.

6. Fahrleitverfahren für ein Fahrzeug, in dessen vorderem Bereich zwei Kameras zur Aufnahme einer dreidimensionalen Abbildung von sich vor dem Fahrzeug befindenden Gegenständen und zur Erzeugung eines Bildsignals angebracht werden, beinhaltend:
einen Schritt der Verarbeitung eines Paares stereoskopischer Bilder des Gegenstandes außerhalb des Fahrzeugs und der Erzeugung eines Distanzsignals durch Ermitteln einer Distanzverteilung über ein gesamtes Bild in Abhängigkeit von durch Abweichungsbeträge gekennzeichneten Positionen entsprechend dem Paar stereoskopischer Bilder gemäß einem Triangulationsprinzip;
einen Schritt der Detektion mehrerer verschiedener Gegenstände durch Heranziehen von dreidimensionalen Positionsdaten, die für einen jeden Abschnitt des jeweiligen Gegenstandes entsprechend der Distanzverteilung berechnet werden, und der Erzeugung eines Distanzsignals;
einen Schritt der Berechnung einer nächsten Distanz linker und rechter Zwischenraumdistanzen, die jeweils von einer verlängerten Linie der linken oder rechten Seite des Fahrzeugs und jedem Ende der Fahrzeugseite zu den mehreren verschiedenen Gegenständen bestimmt werden; und
einen Schritt der Information eines Fahrers über sich auf die rechten und linken Zwischenraumdistanzdaten beziehenden Daten derart, daß die Umgebungsbedingungen des Fahrzeugs vollständig und exakt angezeigt werden und die dem Fahrer auferlegte Last beim Fahren auf einem engen Fahrweg deutlich herabgesetzt ist.

7. Fahrleitverfahren nach Anspruch 6, ferner gekennzeichnet durch
einen Schritt der Gewinnung von Daten großer Entfernung in einem Bild vor dem Fahrzeug;
einen Schritt der Gewinnung von Daten kleiner Entfernung in einem Bild vor dem Fahrzeug;
einen Schritt zum Aufsuchen eines Bereichs, in dem derselbe Gegenstand in jeder von kleinen Regionen des Paares stereoskopischer Bilder der CCD-Kameras abgebildet ist;
einen Schritt zum Berechnen einer Distanz zum Gegenstand durch Ermitteln eines Abweichungsbetrages einer diesem Bereich entsprechenden Position, und zum Speichern der von einer Distanzdetektoreinrichtung ausgegebenen Distanzdaten;
einen Schritt der Detektionsverarbeitung einer Seitenwand, der Zwischenraumdistanz-Berechnung, der Gegenstandsdetektionsverarbeitung und der parallelen Verbindung entsprechender Mikroprozessoren über einen Systembus; und
einen Schritt der Anzeige von durch die Berechnungsverarbeitungen der Zwischenraumdistanzen gewonnenen Zwischenraumdaten für den Fahrer.

8. Fahrleitverfahren nach Anspruch 7, ferner gekennzeichnet durch
einen Schritt, der das Distanzbild von einem Distanzbildspeicher eines Bildprozessors in vorbestimmte streifenförmige Intervallabschnitte aufteilt;
einen Schritt, der zur Berechnung der detektierten Distanz nur Konstruktionsdaten selektiert, die als Gegenstand eine Gefahr für die Weiterfahrt darstellen;
einen Schritt der Festlegung einer dreidimensionalen Raumregion rechtwinkliger solider Raumform bezüglich der jeweiligen durch einen Objektdetektor detektierten Gegenstände;
einen Schritt zum Berechnen, wie sich das festgelegte dreidimensionale Fenster auf einem zweidimensionalen Bild darstellt, um so den detektierten Gegenstand nur bezüglich Daten innerhalb der Fensterumrißlinie als das zweidimensionale Fenster festzulegen;
einen Schritt, der die Date um Date im zweidimensionalen Fenster begutachtet;
einen Schritt, um nur Daten zu selektieren, die im dreidimensionalen Fenster enthalten sind;
einen Schritt, der ein Konturbild des detektierten Gegenstandes extrahiert; und
einen Schritt, der die positionelle Beziehung zwischen dem detektierten Gegenstand und der fahrzeugeigenen Karosserie bestimmt.

9. Fahrleitverfahren nach Anspruch 8, ferner gekennzeichnet durch
einen Schritt, der nur Daten über einer vorbestimmten Straßenoberfläche extrahiert, die vorab aus den Distanzverteilungsdaten festgelegt ist, die vom Distanzbildspeicher des Bildprozessors zugeführt wurden;
einen Schritt, der nur Daten innerhalb einer vorab festgesetzten Seitenwandsuchregion extrahiert;
einen Schritt zur Verarbeitung der extrahierten Daten durch die Hough-Transformation, wodurch eine lineare Gleichung erfaßt wird, die das Vorhandensein oder Fehlen einer Seitenwand und deren Position anzeigt;
einen Schritt, der eine Seitenwandkandidatenregion festlegt, wobei das Vorliegen einer Seitenwand auf der Grundlage einer geraden, die Position der Seitenwand zeigenden Linie abgeschätzt wird; und
einen Schritt, der die Positionen von vorderen und hinteren Enden der Seitenwand abhängig vom Verteilungszustand der Konstruktionsdaten in der Seitenwandkandidatenregion detektiert.