DE102005036782A1

DE102005036782A1 - Operation method for image evaluation system, involves determination of image shift vector from image difference of object feature images whereby camera movement vector and image shift vector are fed to computer unit as input data

Info

Publication number: DE102005036782A1
Application number: DE102005036782A
Authority: DE
Inventors: Christian Schmidt
Original assignee: Magna Donnelly GmbH and Co KG
Current assignee: Magna Donnelly GmbH and Co KG
Priority date: 2005-08-02
Filing date: 2005-08-02
Publication date: 2007-02-15

Abstract

Method involves determination of image shift vector from the image difference of the images of the object features identified in the first and the second image. Derivative of the distance between vehicle (1) and the identified object features in an electronic computer is taken. The camera movement vector (8) and the image shift vector are transmitted to the computer unit as input data. The method involves taking up of a receiving region (4) in the vehicle surroundings with a camera as a first image, in the first time. A relative motion between camera (2) and vehicle surroundings is executed between the first time and a second time and measured with the measuring sensory mechanism. A camera movement vector is determined from the measured data of the measuring sensory mechanism. A receiving region in the vehicle surroundings is taken up with a camera as a second image, in the second time. The image of object features in the first image is identified, after the first time or the second time.

Description

Die Erfindung betrifft ein Verfahren zum Betrieb eines Bildauswertesystems nach dem Oberbegriff des Anspruchs 1.The The invention relates to a method for operating an image evaluation system according to the preamble of claim 1.

Gattungsgemäße Systeme zur Entfernungsmessung finden häufig zur Messung der Entfernung zwischen einem Fahrzeug und Hindernissen jeglicher Art Verwendung. Derartige Entfernungsmessungen sind beispielsweise bei Einparkvorgängen oder zur Überwachung des Fahrzeugabstands während der Fahrt zum vorderen und/oder hinteren Fahrzeug üblich. Die gattungsgemäßen Systeme weisen zumeist ein erhebliches Verbesserungspotential hinsichtlich ihres Aufwands und ihrer Prozesssicherheit auf.Generic systems to find the distance measurement frequently to measure the distance between a vehicle and obstacles of any kind use. Such distance measurements are for example during parking operations or for monitoring the vehicle distance during the Drive to the front and / or rear vehicle usual. The generic systems usually have a considerable potential for improvement with regard to their effort and process reliability.

Aufgabe der vorliegenden Erfindung ist es, ein neues Verfahren zum Betrieb eines Bildauswertesystems zur Entfernungsmessung vorzuschlagen.task It is the object of the present invention to provide a new method of operation to propose an image evaluation system for distance measurement.

Diese Aufgabe wird durch die vorliegende Erfindung nach der Lehre des Hauptanspruchs gelöst.These The object is achieved by the present invention according to the teaching of Main claim solved.

Vorteilhafte Ausführungsformen der Erfindung sind Gegenstand der Unteransprüche.advantageous embodiments The invention are the subject of the dependent claims.

Beansprucht wird ein Verfahren zum Betrieb eines Bildauswertesystems zur Messung der Entfernung zwischen einem Fahrzeug und Hindernissen in der Fahrzeugumgebung, wobei das Bildauswertesystem eine Kamera, zumindest eine Bildauswerteeinheit und eine Messsensorik umfasst, und wobei mit der Messsensorik die Relativbewegung zwischen Kamera und Fahrzeugumgebung gemessen werden kann.claimed is a method for operating an image evaluation system for measurement the distance between a vehicle and obstacles in the vehicle environment, wherein the image evaluation system is a camera, at least one image evaluation unit and a measuring sensor system comprises, and wherein with the measuring sensors, the Relative movement between camera and vehicle environment can be measured.

Das Bildauswertesystem wird vorzugsweise in ein Fahrzeug integriert und benötigt zur Abtastung der Fahrzeugumgebung lediglich eine Kamera. Dies bietet zunächst hinsichtlich der Prozesssicherheit besondere Vorteile, da im Gegensatz zur Abtastung der Fahrzeugumgebung mittels akustischer Wellen nicht mit einer Störung beispielsweise durch Regen gerechnet werden zu braucht. Weiterhin lässt sich eine Kamera leichter in das Design eines Fahrzeugs integrieren als mehrere Fahrzeugumgebungssensoren einer beliebigen Art. Nicht zuletzt weist das Bildauswertesystem dadurch auch einen einfachen Aufbau auf und ist wesentlich kostengünstiger herzustellen als herkömmliche Bildauswertesysteme der gattungsgemäßen Art.The Image evaluation system is preferably integrated in a vehicle and needed to scan the vehicle environment only a camera. This offers first in terms of process safety special advantages, as opposed to for scanning the vehicle environment by means of acoustic waves not with a fault For example, be expected by rain to need. Farther let yourself to integrate a camera into the design of a vehicle more easily than several vehicle environment sensors of any kind. Not least As a result, the image evaluation system also has a simple structure and is much cheaper to produce as conventional Image evaluation systems of the generic type.

Weitere Vorteile ergeben sich durch Funktionenintegration. So kann nämlich beispielsweise auch eine Kamera eines anderen im Fahrzeug integrierten Systems Verwendung finden, oder es können sogar die für einen anderen Zweck akquirierten Bilder vom erfindungsgemäßen Verfahren benutzt werden. Besondere Vorteile bietet die Kombination des erfindungsgemäßen Verfahrens mit einer Rückfahrkamera.Further Benefits result from function integration. For example, for example also a camera of another system integrated in the vehicle Find use, or it can even the for acquired a different purpose images of the inventive method to be used. Particular advantages are offered by the combination of the method according to the invention with a reversing camera.

Mittels des erfindungsgemäßen Verfahrens lässt sich die Entfernung zwischen einem Fahrzeug und Hindernissen in der Fahrzeugumgebung messen. Hindernisse können dabei sämtliche im Straßenverkehr möglichen Hindernisse sein, so beispielsweise Gegenstände, Dinge und Sachen aller Art, Menschen und Tiere.through the process of the invention can be the distance between a vehicle and obstacles in the vehicle environment measure up. Obstacles can all of them in traffic potential Obstacles, such as objects, things and things of all kinds, Humans and animals.

Die Messung der Entfernung kann sich ebenfalls beliebig manifestieren. So ist beispielsweise die Ableitung der absoluten und/oder relativen Entfernung denkbar. Es könnte aber auch eine Detektion der Hindernisse im dreidimensionalen Raum durchgeführt werden.The Measurement of the distance can also manifest itself arbitrarily. For example, the derivation of the absolute and / or relative Distance conceivable. It could but also a detection of the obstacles in three-dimensional space carried out become.

In einem ersten Verfahrensschritt wird zu einem ersten Zeitpunkt (T1) ein Aufnahmebereich in der Fahrzeugumgebung mit der Kamera als erstes Bild aufgenommen. Dabei ist die Art und Weise der Aufnahme grundsätzlich beliebig. Es kann beispielsweise einerseits ein einzelnes Bild zum Zeitpunkt T1 aufgenommen werden, aber andererseits auch ein Bild aus einer Videosequenz zum Zeitpunkt T1 extrahiert werden.In a first step is performed at a first time (T1) a recording area in the vehicle environment with the camera as the first image added. The way of recording is basically arbitrary. For example, it can be a single image at the time T1, but on the other hand also a picture from a Video sequence to be extracted at time T1.

Der Aufnahmebereich ist ebenfalls grundsätzlich beliebig. Es kann sich dabei beispielsweise um den rückwärtigen Fahrzeugbereich, den vorderen Fahrzeugbereich oder einen seitlichen Fahrzeugbereich handeln. Zumindest sollte jedoch das Hindernis durch den Aufnahmebereich erfasst werden.Of the Recording area is also basically arbitrary. It may be for example, the rear vehicle area, the front vehicle area or a lateral vehicle area act. At least, however, the obstacle should be through the receiving area be recorded.

Die Anordnung der Kamera im Fahrzeug ist grundsätzlich beliebig. Sie kann innerhalb des Fahrzeuginnenraums oder außerhalb des Fahrzeuginnenraums angebracht sein. Vorteile ergeben sich insbesondere aus einer Anbringung der Kamera auf der Innenseite einer Scheibe, im Kofferraumbereich und/oder im Bereich der Stoßstange. Weiterhin kann auch eine bereits vorhandene Kamera, insbesondere eine Rückfahrkamera, zur Aufnahme des Bildes Verwendung finden.The Arrangement of the camera in the vehicle is basically arbitrary. She can be inside of the vehicle interior or outside be mounted in the vehicle interior. Advantages arise in particular from a mounting of the camera on the inside of a pane, in the trunk area and / or in the bumper area. Furthermore, too an existing camera, in particular a reversing camera, to use for the image.

In einem weiteren Verfahrensschritt wird zwischen dem ersten Zeitpunkt (T1) und einem zweiten Zeitpunkt (T2) eine Relativbewegung zwischen Kamera und Fahrzeugumgebung ausgeführt und mit der Messsensorik gemessen, wobei aus den Messdaten der Messsensorik ein Kamerabewegungsvektor bestimmt wird.In Another step is between the first time (T1) and a second time (T2) a relative movement between Camera and vehicle environment executed and with the measuring sensors measured, wherein from the measurement data of the measurement sensor system, a camera motion vector is determined.

Der Zeitabstand zwischen den zwei Zeitpunkten ist grundsätzlich beliebig. Er liegt insbesondere jedoch im Bereich von wenigen Sekunden bruchteilen oder Sekunden bis zu wenigen Minuten. Um eine Entfernungsmessung zwischen dem Fahrzeug und dem Hindernis erzielen zu können, ist es notwendig, dass zwischen dem Zeitpunkt T1 und T2 eine Relativbewegung zwischen Kamera und Fahrzeugumgebung stattgefunden hat. Es ist dabei grundsätzlich zunächst irrelevant, ob das Fahrzeug selbst an dieser Bewegung teilnimmt.Of the Time interval between the two times is basically arbitrary. However, it is especially in the range of a few seconds fractions or seconds to a few minutes. To a distance measurement to be able to achieve between the vehicle and the obstacle is it is necessary that between the time T1 and T2 a relative movement between camera and vehicle environment has taken place. It is fundamentally irrelevant, whether the vehicle itself participates in this movement.

Die Relativbewegung zwischen T1 und T2 zwischen der Kamera und der Fahrzeugumgebung wird dabei mit der Messsensorik gemessen. Es sind alle Arten der Bewegung denkbar. So kann diese Bewegung beispielsweise gradlinig oder kurvig verlaufen. Die Messsensorik misst währenddessen die Relativbewegung. Dabei ist die Art und Weise der Messung ebenfalls grundsätzlich beliebig. Es können einerseits ausgewählte markante Punkte der Bahnkurve festgehalten werden und andererseits kann auch eine kontinuierliche Messung der Bahnkurve vorgenommen werden.The Relative movement between T1 and T2 between the camera and the vehicle environment becomes measured with the measuring sensor. They are all types of movement conceivable. For example, this movement can be straight or curvy run. Meanwhile, the measuring sensor measures the relative movement. The way of the measurement is basically also arbitrary. It can on the one hand selected striking points of the trajectory are recorded and on the other hand can also make a continuous measurement of the trajectory become.

Die Ausführung der Messsensorik ist grundsätzlich ohne Belang. Sie kann beispielsweise zur Messung der Relativbewegung vorgesehen sein, andererseits aber auch bereits für andere Funktionen im Fahrzeug vorhanden sein. Bei Vorhandensein einer Messsensorik für ursprünglich andere Funktionen kann diese vorhandene Messsensorik ebenfalls zur Messung der Relativbewegung benutzt werden. Unabhängig davon, welche Messsensorik zum Einsatz kommt, können während der Messung der Relativbewegung sämtliche Größen, die eine Information über die Relativbewegung beinhalten, gemessen werden. Dies kann beispielsweise die Kameraposition zum Zeitpunkt T1 und zum Zeitpunkt T2 in absoluter oder relativer Angabe sein, und auch die Geschwindigkeit und das Beschleunigungsverhalten der Kamera zwischen den zwei Zeitpunkten T1 und T2 kann gemessen werden.The execution the measuring sensor is basically irrelevant. It can, for example, for measuring the relative movement be provided on the other hand, but already for others Functions in the vehicle be present. In the presence of a measuring sensor for originally others Functions, this existing measurement sensor also for measurement the relative movement can be used. Regardless of which measuring sensors can be used while the measurement of relative movement all sizes that provide information about the Include relative movement, be measured. This can be, for example the camera position at time T1 and time T2 in absolute or relative indication, and also the speed and the Acceleration behavior of the camera between the two times T1 and T2 can be measured.

Zum Zeitpunkt T2 oder zu einem beliebigen späteren Zeitpunkt wird aus den Messdaten der Messsensorik zumindest ein Kamerabewegungsvektor bestimmt. Bei kurvigem Verlauf der Relativbewegung können auch mehrere Kamerabewegungsvektoren, beispielsweise in Form eines Polygonzugs, bestimmt werden. Der Kamerabewegungsvektor enthält Informationen über die Position der Kamera zum Zeitpunkt T1 als Startpunkt und über die Position der Kamera zum Zeitpunkt T2 als Endpunkt des Kamerabewegungsvektors. Die Länge des Vektors gibt Aufschluss über die von der Kamera zwischen den Zeitpunkten T1 und T2 zurückgelegte Strecke.To the Time T2 or at any later time will be out of the Measurement data of the measuring sensor determines at least one camera motion vector. If the relative movement is curved, several camera motion vectors, For example, in the form of a polygon, be determined. The camera motion vector contains information about the position of the camera at time T1 as the starting point and over the Position of the camera at time T2 as the end point of the camera motion vector. The length of the vector gives information the distance traveled by the camera between times T1 and T2 Route.

In einem weiteren Verfahrensschritt zum zweiten Zeitpunkt T2 wird der Aufnahmebereich in der Fahrzeugumgebung mit der Kamera als zweites Bild aufgenommen. Das zweite Bild wird mit der Kamera aufgenommen, mit der auch das erste Bild aufgenommen wurde. Die Kamera hat jedoch zwischen dem Aufnahmezeitpunkt T1 des ersten Bildes und dem Aufnahmezeitpunkt T2 des zweiten Bildes die oben beschriebene Relativbewegung vollzogen. Daher unterscheidet sich der Aufnahmebereich des ersten Bildes zum Zeitpunkt T1 vom Aufnahmebereich des zweiten Bildes zum Zeitpunkt T2 zumindest durch seinen Blickwinkel und/oder die Perspektive und/oder die Entfernung zum Hindernis. Die Aufnahmebereiche zu den zwei Zeitpunkten T1 und T2 werden jedoch in aller Regel vergleichbar sein. Die Art und Weise der Aufnahme des zweiten Bildes ist ebenfalls grundsätzlich ohne Belang. Es kann als einzelnes Bild zum Zeitpunkt T2 oder als Bild einer Videosequenz zum Zeitpunkt T2 aufgenommen werden.In a further method step at the second time T2 is the Shooting area in the vehicle environment with the camera as a second image added. The second picture is taken with the camera, with which also the first picture was taken. The camera does, however between the recording time T1 of the first picture and the recording time T2 of the second image completed the relative movement described above. Therefore, the shooting range of the first picture differs from the one to the first Time T1 from the recording area of the second image at the time T2 at least by his perspective and / or the perspective and / or the distance to the obstacle. The reception areas at the two times However, T1 and T2 will usually be comparable. The kind and Way of recording the second image is also basically without Concern. It can be as a single image at time T2 or as a picture a video sequence recorded at time T2.

In einem nächsten Verfahrensschritt erfolgt eine Identifikation der Abbildung zumindest eines Objektmerkmals im ersten Bild, wobei die Identifikation nach dem ersten Zeitpunkt (T1) oder nach dem zweiten Zeitpunkt (T2) stattfindet. Der genaue Zeitpunkt der Identifikation ist grundsätzlich ohne Belang. Die Identifikation kann beispielsweise direkt im Anschluss an die Aufnahme des ersten Bildes nach dem ersten Zeitpunkt T1 erfolgen, die Identifikation kann aber auch beispielsweise erst nach der Aufnahme des zweiten Bildes zum zweiten Zeitpunkt T2 erfolgen. Eine Identifikation bereits nach dem ersten Zeitpunkt T1 kann beispielsweise den Vorteil aufweisen, dass das Ergebnis der Identifikation zum zweiten Zeitpunkt T2 vorliegt und zu weiteren Zwecken, insbesondere für eine Auswertung des zweiten Bildes, benutzt werden kann.In one next Process step takes place an identification of the figure at least an object feature in the first image, the identification of the first time (T1) or after the second time (T2) takes place. The exact time of identification is basically without Concern. The identification can, for example, directly after take the picture of the first picture after the first time T1, but the identification can also, for example, only after the recording of the second image at the second time T2. An identification for example, after the first time T1, for example, the advantage show that the result of the identification at the second time T2 is present and for further purposes, in particular for an evaluation of the second picture, can be used.

Die Art und Weise der Identifikation ist grundsätzlich beliebig. Das erste Bild wird in der Regel eine Vielzahl von Abbildungen der im Aufnahmebereich befindlichen Objekte beinhalten. Zumindest eine Teilmenge dieser Objekte wird in der Regel ein Hindernis darstellen. Das Bild selbst enthält lediglich zweidimensionale Abbildungen der Objekte. Jede Abbildung dieser Objekte weist charakteristische Merkmale auf, wodurch die Objekte voneinander unterscheidbar sind. Zumindest eine Abbildung eines Objektmerkmals wird während der Identifikation identifiziert. Es können aber auch mehrere Abbildungen mehrerer Objektmerkmale identifiziert werden. Es kann sowohl das gesamte als auch ein Teil des Bildes in die Identifikation mit einbezogen werden.The The method of identification is basically arbitrary. The first Picture will usually be a variety of pictures of the shooting area Include objects. At least a subset of these objects will usually an obstacle. The picture itself contains only two-dimensional images of the objects. Every picture of this Objects has characteristic features that make the objects distinguishable from each other. At least one picture of one Object feature is during identified the identification. It can also be several illustrations of several Object features are identified. It can be both the whole as well as part of the image involved in the identification become.

Weiterhin kommt es auf eine eindeutige dingliche Identifikation nicht an. Es kann zwar versucht werden, über die Identifikation Aufschluss darüber zu erlangen, was ein Objekt in der Realität darstellt, dies ist bei der erfindungsgemäßen Identifikation jedoch nicht unbedingt erforderlich. Beispielsweise würde beim erfindungsgemäßen Verfahren eine Identifikation zur Wiedererkennung des Objektmerkmals in einem anderen Bild, insbesondere durch charakteristische Merkmale, ausreichen, ohne zu wissen, was das betreffende Objekt in der Realität darstellt. Diese Ausführungsform bietet unter anderem den Vorteil, dass eine geringere Rechenkapazität benötigt wird.Furthermore, it does not depend on a clear identification. Although it can be attempted to obtain information about the identification of what an object represents in reality, this is not absolutely necessary in the identification according to the invention. For example, in the method according to the invention an identifier would on for the recognition of the object feature in another image, in particular by characteristic features, sufficient, without knowing what the object in question represents in reality. This embodiment offers, inter alia, the advantage that a lower computing capacity is required.

In einem weiteren Verfahrensschritt erfolgt eine Identifikation der Abbildung des im ersten Bild identifizierten Objektmerkmals auch im zweiten Bild, wobei die Identifikation nach dem zweiten Zeitpunkt T2 stattfindet. Diese Identifikation ist ebenfalls grundsätzlich beliebig.In a further process step, an identification of the Illustration of the object feature identified in the first image also in the second image, the identification after the second time T2 takes place. This identification is also basically arbitrary.

In einer ersten Ausführungsform erfolgt diese Identifikation nach den gleichen Grundsätzen wie die Identifikation betreffend das erste Bild.In a first embodiment this identification follows the same principles as the Identification regarding the first picture.

Nach dieser zweiten Identifikation liegen demnach einerseits identifizierte Abbildungen zumindest eines Objektmerkmals im ersten Bild vor und andererseits identifizierte Abbildungen zumindest eines Objektmerkmals im zweiten Bild vor. Über einen Vergleich erfolgt dann eine Zuordnung der Abbildungen der identifizierten Objektmerkmale aus den zwei Bildern zu jeweils einem Objekt in der Realität.To This second identification is therefore identified on the one hand Mappings of at least one object feature in the first image before and on the other hand identified mappings of at least one object feature in the second picture. about a comparison then takes place an assignment of the images of identified object features from the two images to one each Object in reality.

In einer zweiten Ausführungsform kann die Identifikation der Abbildungen des im ersten Bild identifizierten Objektmerkmals im zweiten Bild dadurch vereinfacht werden, dass das Ergebnis der Identifikation der Abbildung zumindest eines Objektmerkmals im ersten Bild für die Identifikation betreffend das zweite Bild unterstützend verwendet wird.In a second embodiment can identify the images of the images identified in the first image Object feature in the second image can be simplified by the result of identifying the mapping of at least one object feature in the first picture for using the identification regarding the second image becomes.

Die Erscheinungsform einer Abbildung eines Objektmerkmals ist grundsätzlich beliebig. Vorteilhafterweise hat eine Abbildung eines Objektmerkmals jedoch eine geringe Ausdehnung im Bild. Im Wesentlichen punktförmige Abbildungen, insbesondere Ecken, eignen sich besonders. Bildverarbeitungstechnisch bedingt können die identifizierten Abbildungen der Objektmerkmale aber auch aus bestimmten Mustern, beispielsweise aus charakteristisch angeordneten Pixelanhäufungen, bestehen.The The appearance of a picture of an object feature is basically arbitrary. Advantageously, however, an image of an object feature has a small extent in the picture. Essentially punctiform images, especially corners, are particularly suitable. Image processing Technically conditionally but also the identified mappings of the object features certain patterns, for example, from characteristically arranged Pixel clusters, consist.

In einem weiteren Verfahrensschritt erfolgt die Bestimmung eines Abbildungsverschiebungsvektors aus der Abbildungsdifferenz der Abbildungen des identifizierten Objektmerkmals im ersten und zweiten Bild. Dadurch, dass die Kamera zwischen den zwei Aufnahmezeitpunkten T1 und T2 der zwei Bilder einer Relativbewegung ausgesetzt war, erscheint die Abbildung ein und desselben Objekts und somit auch die Abbildungen der zu diesem Objekt gehörigen Objektmerkmale im zweiten Bild an anderer Position als im ersten Bild. Zwischen jeder Abbildung eines Objektsmerkmals im ersten Bild und der Abbildung des zugehörigen Objektmerkmals im zweiten Bild kann ein Abbildungsverschiebungsvektor bestimmt werden. Dessen Richtung und Länge ergeben sich dabei aus der Position der Abbildung des im ersten Bild identifizierten Objektmerkmals und der Position der Abbildung des zugehörigen, im zweiten Bild identifizierten Objektmerkmals. Als Position der Abbildung eines identifizierten Objektmerkmals kann beispielsweise das betreffende Bildpixel dienen oder beispielsweise ein aus einer Pixelanhäufung oder Muster bestimmter Schwerpunkt oder Mittelpunkt.In a further method step, the determination of a mapping shift vector from the picture difference of the pictures of the identified one Object feature in the first and second image. Because of the camera between the two recording times T1 and T2 of the two pictures was exposed to a relative movement, the figure appears and the same object and thus also the pictures of this Belonging to the object Object features in the second image at a different position than in the first Image. Between every image of a feature in the first image and the picture of the associated one Object feature in the second image may be an image shift vector be determined. Its direction and length result from this the position of the image of the object feature identified in the first image and the position of the image of the associated, identified in the second image Object feature. As a position of the figure of an identified Object feature can serve, for example, the image pixel in question or, for example, one of a pixel aggregation or pattern Center of gravity or center.

In einem weiteren Verfahrensschritt erfolgt die Ableitung der Entfernung zwischen Fahrzeug und dem identifizierten Objektmerkmal in einer elektronischen Recheneinheit, wobei der Rechnereinheit der Kamerabewegungsvektor und der Abbildungsverschiebungsvektor als Eingangsdaten zugeleitet werden. Dabei kann mit dem bekannten Abbildungsverschiebungsvektor der Abbildungen eines identifizierten Merkmals in beiden Bildern das identifizierte Objektmerkmal in der Realität eindeutig einer bestimmten Höhe und Entfernung absolut oder relativ zugeordnet werden. Dies kann beispielsweise nach den Grundsätzen der Photogrammetrie und Transformationsmethoden betreffend eine Zentralprojektion erfolgen.In a further process step, the derivative of the distance takes place between the vehicle and the identified object feature in one electronic processing unit, wherein the computer unit of the camera movement vector and the map shift vector is supplied as input data become. It can with the known image shift vector the images of an identified feature in both images the identified object feature in reality clearly a particular one Height and Distance can be assigned absolutely or relative. This can be, for example according to the principles photogrammetry and transformation methods concerning a Central projection done.

In einer weiteren Ausführungsform erfolgt diese Ableitung über einen Vergleich mit der Relativbewegung der Kamera, die in dem Kamerabewegungsvektor enthalten ist. Beispielsweise lässt sich aus der bekannten Relativbewegung der Kamera – also dem bekannten Kamerabewegungsvektor – eindeutig ein Abbildungsverschiebungsvektor einer Abbildung eines Objektmerkmals in der 0-Ebene (am Boden) identifizieren. Ein Abbildungsverschiebungsvektor einer Abbildung eines Objektmerkmals in einer bestimmten Höhe über dem Boden lässt sich entsprechend unterscheiden und kann einer bestimmten Höhe und Entfernung zugeordnet werden.In a further embodiment this derivation takes place via a comparison with the relative motion of the camera included in the camera motion vector is included. For example, let from the known relative movement of the camera - so the known camera motion vector - clearly an image shift vector identify an image of an object feature in the 0-plane (on the ground). An image shift vector of an image of an object feature at a certain height above the Ground leaves can differ accordingly and can be of a certain height and distance be assigned.

Das erfindungsgemäße Verfahren ist nicht zwingend auf in der Realität unbewegte Objekte im zu messenden Bereich angewiesen. Insbesondere kann der Weg eines bewegten Objektmerkmals durch den Vergleich mit Objektmerkmalen auf dem Boden (0-Ebene) bestimmt werden, wenn Objekte dem Boden zugeordnet werden können.The inventive method is not necessarily on immobile objects in reality to be measured Instructed area. In particular, the path of a moving object feature by the comparison with object features on the ground (0-level) determined when objects can be assigned to the ground.

In einer speziellen Ausführungsform wird mit der Kamera zumindest ein Aufnahmebereich in der rückwärtigen Fahrzeugumgebung aufgenommen. Insbesondere zur Entfernungsmessung bei Einparkvorgängen oder Kopplung der Entfernungsmessung mit dem Einparkvorgang bietet diese Ausführungsform besondere Vorteile.In a special embodiment With the camera at least one recording area in the rear vehicle environment added. In particular for distance measurement during parking operations or Coupling the distance measurement with the parking process offers this embodiment special advantages.

In einer weiteren Ausführungsform wird die Relativbewegung zumindest zwischen dem ersten Zeitpunkt T1 und dem zweiten Zeitpunkt T2 zwischen dem Fahrzeug und der Fahrzeugumgebung ausgeführt, während die Kamera relativ zum Fahrzeug unbewegt bleibt. Dies ist insbesondere dann der Fall, wenn die Kamera fest am oder im Fahrzeug installiert ist. Dann nämlich ist die Kamera mit dem Fahrzeug stationär verbunden und die Relativbewegung wird auch im Ergebnis zwischen Kamera und Fahrzeugumgebung ausgeführt.In a further embodiment, the relative movement between at least between the first time T1 and the second time T2 between the vehicle and the vehicle environment is issued while the camera remains stationary relative to the vehicle. This is especially the case when the camera is firmly installed on or in the vehicle. For then the camera is stationary connected to the vehicle and the relative movement is also executed as a result between the camera and the vehicle environment.

In einer weiteren Ausführungsform wird die Relativbewegung zumindest zwischen dem ersten Zeitpunkt T1 und dem zweiten Zeitpunkt T2 zwischen der Kamera und dem Fahrzeug ausgeführt, während das Fahrzeug relativ zur Fahrzeugumgebung unbewegt bleibt. Die Kamera ist dann nicht fest am oder im Fahrzeug befestigt, sondern kann relativ zum Fahrzeug und somit auch relativ zur Fahrzeugumgebung bewegt werden. Insbesondere kann ein Schienensystem am oder im Fahrzeug installiert sein, auf dem sich die Kamera bewegt. Dieses Schienensystem kann über Messsensoren verfügen, mit denen die Relativbewegung der Kamera gemessen wird. Besonderer Vorteil dieser Ausführungsform ist es, dass auch bei stehendem Fahrzeug eine Entfernungsmessung ermöglicht wird.In a further embodiment is the relative movement at least between the first time T1 and the second time T2 between the camera and the vehicle executed while that Vehicle remains stationary relative to the vehicle environment. The camera is then not firmly attached to or in the vehicle, but can relative to the vehicle and thus also relative to the vehicle environment to be moved. In particular, a rail system on or in the vehicle be installed, on which the camera moves. This rail system can over Have measuring sensors, with which the relative movement of the camera is measured. special Advantage of this embodiment It is that even when the vehicle is a distance measurement allows becomes.

Die Identifikation der Abbildung des Objektmerkmals ist grundsätzlich beliebig. In einer besonderen Ausführungsform erfolgt die Identifikation der Abbildung des Objektmerkmals basierend auf einer Kantendetektion. Solche Kantendetektionsalgorithmen können harte Farb- oder Helligkeitsunterschiede, wie sie beispielsweise an den Kanten der Abbildung eines Objekts vorkommen, detektieren.The Identification of the mapping of the object feature is basically arbitrary. In a particular embodiment the identification of the image of the object feature is based on an edge detection. Such edge detection algorithms can be hard Color or brightness differences, such as those on the Occur edges of the image of an object, detect.

In einer weiteren Ausführungsform erfolgt die Identifikation der Abbildung des Objektmerkmals basierend auf einer Formanalyse. Dabei werden beispielsweise die geometrischen Formen der Abbildungen der Objekte betrachtet. Dies kann auch über die zuvor mittels einer Kantendetektion gefunden Kanten unterstützt werden. Zudem kann eine Pixelzusammenfassung (Clusterbildung) auf Grundlage von Farben und Kanten durchgeführt und somit die Form und Farbe von Objekten erfasst und beschrieben werden.In a further embodiment the identification of the image of the object feature is based on a shape analysis. In this case, for example, the geometric Looking at forms of pictures of objects. This can also be about the previously be supported by means of edge detection found edges. In addition, a pixel summary (clustering) based on performed by colors and edges and thus captures and describes the shape and color of objects become.

In einer weiteren Ausführungsform wird die Identifikation der Abbildung des Objektmerkmals durch Vergleich mit im Straßenverkehr üblichen Formen, insbesondere von Fahrzeugkennzeichen, Rädern, Scheinwerfern, Schildern und/oder Straßenmarkierungen, unterstützt. Dabei können die Ergebnisse einer vorhergegangenen Formanalyse mit einbezogen werden.In a further embodiment becomes the identification of the mapping of the object feature by comparison with usual on the road Molds, in particular vehicle license plates, wheels, headlights, signs and / or road markings, supported. It can included the results of a previous form analysis become.

Die Messung der Relativbewegung zwischen Kamera und Fahrzeugumgebung kann auf Grundlage einer Fahrzeugbewegungssensorik, insbesondere einer Geschwindigkeitssensorik und/oder einer Wegstreckensensorik und/oder einer Lenkeinschlagsensorik, erfolgen. Derartige Sensoren sind zumeist in einem Fahrzeug bereits vorhanden. Somit würde sich das erfindungsgemäße Verfahren besonders einfach in einem Fahrzeug implementieren lassen.The Measurement of the relative movement between camera and vehicle environment can based on a vehicle motion sensor, in particular a speed sensor and / or a Wegstreckensensorik and / or a steering angle sensor. Such sensors are usually already present in a vehicle. Thus it would become the inventive method particularly easy to implement in a vehicle.

Die Entfernungsmessung kann in einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens auch zwischen dem Fahrzeug und dem Hindernis simultan zu einem Einparkvorgang durchgeführt werden. Dabei können besondere Synergieeffekte bei der Kombination der erfindungsgemäßen Entfernungsmessung und einem Einparkvorgang ausgenutzt werden. So können nämlich die Ergebnisse der Entfernungsmessung zur Berechnung von optimalen Fahrtmanövern Verwendung finden, und es könnte eine anvisierte Parklücke vermessen werden. Die Entfernungsmessung mittels des erfindungsgemäßen Verfahrens kann dabei auf Grundlage der Bilder erfolgen, die mittels einer Rückfahrkamera zur Kontrolle des rückwärtigen Einparkraums aufgenommen werden.The Distance measurement can in a further embodiment of the method according to the invention also between the vehicle and the obstacle simultaneously to a parking operation carried out become. It can special synergy effects in the combination of the distance measurement according to the invention and a parking operation to be exploited. For example, the results of the distance measurement for calculating optimal driving maneuvers use, and it could a targeted parking space be measured. The distance measurement by means of the method according to the invention can be done on the basis of the images, which by means of a backup camera recorded to control the rear parking space become.

Eine Ausführungsform der Erfindung ist in den Zeichnungen dargestellt, und wird nachfolgend beispielhaft erläutert.A embodiment The invention is illustrated in the drawings and will be exemplified below explained.

Es zeigen:It demonstrate:

1 ein Fahrzeug mit Kamera in Aufnahmeposition des ersten Bildes in Ansicht von oben; 1 a vehicle with camera in the recording position of the first image in top view;

2 ein Fahrzeug mit Kamera in Aufnahmeposition des zweiten Bildes in Ansicht von oben; 2 a vehicle with camera in the recording position of the second image in top view;

3 ein erstes Bild mit zwei Abbildungen eines Objektsmerkmals in perspektivischer Ansicht; 3 a first image with two images of a feature object in perspective view;

4 ein zweites Bild mit zwei Abbildungen eines Objektmerkmals in perspektivischer Ansicht; 4 a second image with two images of an object feature in perspective view;

5 Abbildungsverschiebungsvektoren der Abbildungen der Objektmerkmale gemäß 3 und 4. 5 Image shift vectors of the images of the object features according to 3 and 4 ,

1 zeigt ein Fahrzeug 01 mit einer Kamera 02 in seinem rückwärtigen Bereich und einem Objekt 03, welches ein Hindernis darstellt, im rückwärtigen Bereich des Fahrzeugs 01. Das Fahrzeug 01 befindet sich hier zum ersten Zeitpunkt T1. Die Kamera 02 nimmt den Aufnahmebereich 04 auf, der durch die Aufnahmebereichsgrenzen 05 begrenzt wird. Die Größe des Aufnahmebereichs 04 wird in der Regel von der Geometrie der Linse der Kamera 02 abhängen. Zu diesem Zeitpunkt ist die Entfernung zwischen dem Fahrzeug 01 und dem Objekt 03 unbekannt. 1 shows a vehicle 01 with a camera 02 in its rear area and an object 03 , which is an obstacle, in the rear area of the vehicle 01 , The vehicle 01 is here for the first time T1. The camera 02 takes the reception area 04 on that through the reception area borders 05 is limited. The size of the recording area 04 is usually determined by the geometry of the lens of the camera 02 depend. At this time, the distance between the vehicle 01 and the object 03 unknown.

2 zeigt das Fahrzeug 01 mit der Kamera 02 zum zweiten Zeitpunkt T2. Die Kamera 02 ist mit dem Fahrzeug 01 verbunden und hat eine Relativbewegung von der ersten Standlinie 06 zur zweiten Standlinie 07 ausgeführt. Das Objekt 03 erscheint deshalb relativ zur Kameranähe. Die Relativbewegung der Kamera 02 kann als Kamerabewegungsvektor 08 dargestellt werden. 2 shows the vehicle 01 with the camera 02 at the second time T2. The camera 02 is with the vehicle 01 connected and has a relative movement of the first line of stability 06 to the second line 07 executed. The object 03 appear therefore relative to camera proximity. The relative movement of the camera 02 can as a camera motion vector 08 being represented.

3 zeigt das erste Bild 09 zum ersten Zeitpunkt T1. Erkennbar sind der Horizont 10 und die in einem Punkt 11 nach den Gesetzen der Zentralprojektion zusammenlaufenden Linien. Das ein Hindernis darstellende Objekt 03 weist mehrere Objektmerkmale auf. Die Abbildung eines ersten Objektmerkmals 12 stellt eine erste Ecke des Objekts 03 dar. Die Abbildung eines zweiten Objektmerkmals 13 stellt eine andere Ecke des Objekts 03 dar. 3 shows the first picture 09 at the first time T1. The horizon is recognizable 10 and in one point 11 according to the laws of central projection converging lines. The object representing an obstacle 03 has several object features. The illustration of a first object feature 12 represents a first corner of the object 03 The illustration of a second object feature 13 represents another corner of the object 03 represents.

4 zeigt das zweite Bild 14 zum Zeitpunkt T2. Die Aufnahmebereiche beinhalten im Wesentlichen die gleichen Informationen. Das Objekt 03 erscheint näher, da sich das Fahrzeug 01 mit Kamera 02 dem Objekt 03 zwischen dem Zeitpunkt T1 und T2 genähert hat. Auch erscheint das Objekt 03 im Vergleich zum ersten Bild im zweiten Bild zum Zeitpunkt T2 größer. Das erste Objektmerkmal 12 und das zweite Objektmerkmal 13 haben sich in ihrer Position vom ersten Bild 09 zum zweiten Bild 14 verschoben. 4 shows the second picture 14 at time T2. The recording areas contain essentially the same information. The object 03 appears closer as the vehicle 01 with camera 02 the object 03 between the time T1 and T2 has approached. Also, the object appears 03 larger compared to the first image in the second image at time T2. The first object feature 12 and the second object feature 13 have their position from the first picture 09 to the second picture 14 postponed.

5 zeigt den Abbildungsverschiebungsvektor 15 des ersten Objektmerkmals 12 und den zweiten Abbildungsverschiebungsvektor 16 des zweiten Objektmerkmals 13. Dabei wird der Anfangspunkt des jeweiligen Abbildungsverschiebungsvektors 15, 16 durch die Position des ersten bzw. zweiten Objektmerkmals 12, 13 im ersten Bild gebildet, und der Endpunkt des jeweiligen Abbildungsverschiebungsvektors 15, 16 wird durch die Position des ersten bzw. zweiten Objektmerkmals 12, 13 im zweiten Bild gebildet. Der Abbildungsverschiebungsvektor 16 des zweiten Objektmerkmals 13 liegt dabei in der 0-Ebene (auf dem Boden). Der Abbildungsverschiebungsvektor 15 des ersten Objektmerkmals 12 liegt in einer bestimmten höheren Ebene. Richtung und Größe der Abbildungsverschiebungsvektoren 15, 16 sowie deren Vergleich mit dem Kameraverschiebungsvektor 08 (der Kamerarelativbewegung) bestimmen dabei die genaue Höhe und Entfernung des ersten Objektmerkmals. 5 shows the image shift vector 15 of the first object feature 12 and the second image shift vector 16 of the second object feature 13 , In this case, the starting point of the respective image shift vector 15 . 16 by the position of the first or second object feature 12 . 13 formed in the first image, and the end point of the respective image shift vector 15 . 16 is determined by the position of the first or second object feature 12 . 13 formed in the second picture. The image shift vector 16 of the second object feature 13 lies in the 0-level (on the ground). The image shift vector 15 of the first object feature 12 lies in a certain higher level. Direction and size of the image shift vectors 15 . 16 and their comparison with the camera shift vector 08 (the camera relative movement) determine the exact height and distance of the first object feature.

Claims

Method for operating an image evaluation system for measuring the distance between a vehicle ( 01 ) and obstacles ( 03 ) in the vehicle environment, wherein the image evaluation system is a camera ( 02 ), at least one electronic computer unit and a measuring sensor system, and wherein with the measuring sensor system the relative movement ( 08 ) between camera ( 02 ) and vehicle environment, with the following method steps: a) At a first point in time (T1), a receiving area ( 04 ) in the vehicle environment with the camera ( 02 ) as the first picture ( 09 b) between the first time (T1) and a second time (T2) a relative movement ( 08 ) between camera ( 02 ) and vehicle environment and measured with the measuring sensor system, wherein from the measured data of the measuring sensor system at least one camera movement vector ( 08 c) at the second time (T2) the receiving area ( 04 ) in the vehicle environment with the camera ( 02 ) as a second image ( 14 d) identification of the image of at least one object feature ( 12 . 13 ) in the first picture ( 09 ), wherein the identification takes place after the first time (T1) or after the second time (T2), e) identification of the image of the object feature identified in the first image (FIG. 12 . 13 ) In the second picture ( 14 ), wherein the identification takes place after the second time (T2), f) determination of an image shift vector ( 15 . 16 ) from the image difference of the images of the identified object feature ( 12 . 13 ) in the first picture ( 09 ) and second image ( 14 ), g) derivation of the distance between the vehicle ( 01 ) and the identified object feature ( 12 . 13 ) in an electronic computer unit, wherein the computer unit of the camera movement vector ( 08 ) and the image shift vector ( 15 . 16 ) are supplied as input data.

Method for operating an image evaluation system according to claim 1, characterized in that at least one receiving area ( 04 ) in the rear vehicle environment with the camera ( 02 ) is recorded.

Method for operating an image evaluation system according to claim 1 or 2, characterized in that the relative movement ( 08 ) at least between the first time (T1) and the second time (T2) between the vehicle ( 01 ) and the vehicle environment while the camera ( 02 ) relative to the vehicle ( 01 ) remains unmoved.

Method for operating an image evaluation system according to claim 1 or 2, characterized in that the relative movement ( 08 ) at least between the first time (T1) and the second time (T2) between the camera ( 02 ) and the vehicle ( 01 ) while the vehicle ( 01 ) remains stationary relative to the vehicle environment.

Method for operating an image evaluation system according to one of claims 1 to 4, characterized in that the identification of the image of the object feature ( 12 . 13 ) takes place at least partially based on an edge detection.

Method for operating an image evaluation system tems according to one of claims 1 to 5, characterized in that the identification of the image of the object feature ( 12 . 13 ) is at least partially based on a shape analysis.

Method for operating an image evaluation system according to one of claims 1 to 6, characterized in that the identification of the image of the object feature ( 12 . 13 ) is supported by comparison with forms common in road traffic, in particular vehicle license plates, wheels, headlights, signs and / or road markings.

Method for operating an image evaluation system according to one of claims 1 to 7, characterized in that the measurement of the relative movement ( 08 ) between camera ( 02 ) and vehicle environment on the basis of a vehicle motion sensor, in particular a speed sensor and / or a Wegstreckensensorik and / or a steering angle sensor, takes place.

Method for operating an image evaluation system according to one of claims 1 to 8, characterized in that the distance measurement between the vehicle ( 01 ) and the obstacle ( 03 ) is performed simultaneously to a parking operation.