DE102014213397A1

DE102014213397A1 - Method for color reconstruction in a camera-based driver assistance system

Info

Publication number: DE102014213397A1
Application number: DE102014213397.1A
Authority: DE
Inventors: Boris Werthessen
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2014-07-10
Filing date: 2014-07-10
Publication date: 2016-01-14

Abstract

Die Erfindung betrifft eine Farbrekonstruktion in einem kamerabasierten Fahrerassistenzsystem. Die beiden Module einer Stereokamera werden mit unterschiedlichen Farbpattern betrieben und diese unterschiedlichen Farbinformationen aus den bereits überlagerten Objektbereichen werden zu einer präzisen Farbrekonstruktion genutzt, wobei gleichzeitig die hohe Empfindlichkeit von monochromen Pixeln genutzt wird. Durch das Kombinieren von verfügbarer Farbinformation aus dem ersten Bild der Stereokamera mit verfügbarer Farbinformation aus dem zweiten Bild der Stereokamera wird vollständige, oder zumindest erhöhte Farbinformation, beispielsweise vollständige RGB-Farbinformation, erhalten. Dies kann eine verbesserte Farbrekonstruktion im Fahrzeug realisieren.The invention relates to a color reconstruction in a camera-based driver assistance system. The two modules of a stereo camera are operated with different Farbpattern and this different color information from the already superimposed object areas are used for a precise color reconstruction, while the high sensitivity of monochrome pixels is used. By combining available color information from the first image of the stereo camera with available color information from the second image of the stereo camera, complete, or at least increased, color information, for example, complete RGB color information, is obtained. This can realize an improved color reconstruction in the vehicle.

Description

Technisches GebietTechnical area

Die Erfindung betrifft kamerabasierte Fahrerassistenzsysteme. Insbesondere betrifft die vorliegende Erfindung ein Verfahren zur Farbrekonstruktion in einem kamerabasierten Fahrerassistenzsystem sowie ein Fahrerassistenzsystem zur Farbrekonstruktion in einem Fahrzeug. The invention relates to camera-based driver assistance systems. In particular, the present invention relates to a method for color reconstruction in a camera-based driver assistance system and to a driver assistance system for color reconstruction in a vehicle.

Technischer Hintergrund Technical background

Moderne Kraftfahrzeuge werden zunehmend mit Fahrerassistenzsystemen ausgestattet, welche eine gewisse Fahrkontrolle gewährleisten können, die weniger Interventionen eines Fahrzeugführers bzw. eines Fahrers des Kraftfahrzeuges erfordern kann. Auch können derartige Fahrerassistenzsysteme die Sicherheit beim Führen von Kraftfahrzeugen erhöhen, beispielsweise durch Ausgabe von Warnsignalen und/oder Warnhinweisen. Fahrerassistenzsysteme können beispielsweise Geschwindigkeitsregelvorrichtungen aufweisen, sogenannte „Cruise Control-Systeme“, die ohne Betätigen eines Gaspedals durch einen Fahrer eine voreingestellte Geschwindigkeit halten können. Auch können Fahrerassistenzsysteme etwa eine autonome Lenkkontrolle zum Parken des Kraftfahrzeugs aufweisen. Modern motor vehicles are increasingly equipped with driver assistance systems, which can ensure a certain driving control, which may require less intervention of a driver or a driver of the motor vehicle. Also, such driver assistance systems can increase the safety when driving motor vehicles, for example by issuing warning signals and / or warnings. Driver assistance systems may include, for example, speed control devices, so-called "cruise control systems," which may maintain a preset speed without a driver depressing an accelerator pedal. Driver assistance systems may also have an autonomous steering control for parking the motor vehicle.

Zunehmend werden in Fahrerassistenzsystemen auch Funktionen zur Objekterkennung eingesetzt, welche typischerweise kamerabasiert sind. Dabei werden Farbfiltermuster, so genannte Farbpattern, wie zum Beispiel das Bayer-RGB Farbfiltermuster eingesetzt, die eine gute Farbrekonstruktion ermöglichen. Die Patentanmeldung US 3971065 A beschreibt im Detail verschieden Aspekte des Bayer-Filters. Ebenso werden im Stand der Technik Photosensoren ohne Farbfiltermuster verwendet, welche eine höhere Bildschärfe und Empfindlichkeit aufweisen. Increasingly, driver assistance systems also use functions for object recognition, which are typically camera-based. In this case, color filter patterns, so-called color patterns, such as the Bayer RGB color filter pattern are used, which allow a good color reconstruction. The patent application US 3971065 A describes in detail different aspects of the Bayer filter. Also, in the prior art photosensors without color filter patterns are used, which have higher image sharpness and sensitivity.

Bei der möglichen Kombination von Pixeln mit Farbfiltern und monochromen Pixeln fällt entweder ein Farbfilter weg. Dies bedingt einen Verlust bei der Genauigkeit der Farbrekonstruktion. Eine andere Möglichkeit ist es, monochrome Pixel den Grundfarben (zum Beispiel RGB) hinzuzufügen, was zusätzlich eine Verminderung der räumlichen Auflösung von Farbe bedingt und diese eventuell auch unmöglich macht, da das farbige Objekt auf einen recht großen Pixelbereich fallen muss, um alle Farbfilter einmalig zu treffen. The possible combination of pixels with color filters and monochrome pixels will either eliminate a color filter. This causes a loss in the accuracy of the color reconstruction. Another possibility is to add monochrome pixels to the primary colors (for example, RGB), which additionally causes a reduction of the spatial resolution of color and possibly makes it impossible, since the colored object must fall on a fairly large pixel area to all color filters unique hold true.

Ebenso werden bisher in Fahrzeugen Stereokameras eingesetzt, um Objekte mittels des rechten und linken Imager-Moduls aufzunehmen. Anschließend werden die Objekte präzise einander zugeordnet und überlagert, um eine Abschätzung der Entfernung des Objektes zu bestimmen.Likewise, in vehicles used to stereo cameras to record objects by means of the right and left imager module. Thereafter, the objects are precisely mapped and superimposed to determine an estimate of the distance of the object.

Zusammenfassung der ErfindungSummary of the invention

Es kann als eine Aufgabe der vorliegenden Erfindung betrachtet werden, eine verbesserte Farbrekonstruktion in Fahrzeugen bereitzustellen. It may be considered an object of the present invention to provide improved color reconstruction in vehicles.

Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Weitere Ausführungsformen ergeben sich aus den abhängigen Ansprüchen sowie der nachfolgenden Beschreibung.This object is solved by the subject matters of the independent claims. Further embodiments emerge from the dependent claims and the following description.

Gemäß einem Ausführungsbeispiel der Erfindung ist ein Verfahren zur Farbrekonstruktion in einem kamerabasierten Fahrerassistenzsystem eines Fahrzeuges angegeben. Das Verfahren weist den Schritt des Erzeugens eines ersten Bildes eines Objektes und eines zweiten Bildes mittels einer Stereokamera auf Dabei befindet sich das Objekt in der Umgebung des Fahrzeuges. Weiterhin ist das erste Bild durch einen ersten Photosensor der Stereokamera und das zweite Bild durch einen zweiten Photosensor der Stereokamera erzeugt. Weiterhin wird der erste Photosensor mit einem Farbfiltermuster betrieben und der zweite Photosensor wird mit einem zweiten, von dem ersten Farbfiltermuster unterschiedlichen Farbfiltermuster betrieben. Das erste Farbfiltermuster ist ein Muster mit monochromen Pixeln und mit mindestens einer ersten Farbe. Das zweite Farbfiltermuster ist ein Muster mit mindestens einer zweiten Farbe. Weiterhin weist das Verfahren den Schritt Zuordnen des Objektes in dem ersten Bild zu dem Objekt in dem zweiten Bild auf. Ebenso weist das Verfahren den Schritt des Kombinierens von Farbinformation aus dem ersten Bild mit Farbinformation aus dem zweiten Bild zur Farbrekonstruktion des Objektes auf. Dadurch wird also die Farbe des Objektes in dem kamerabasierten Fahrerassistenzsystem unter Verwendung zweier unterschiedlicher Farbfiltermuster in der Stereokamera rekonstruiert.According to one exemplary embodiment of the invention, a method for color reconstruction in a camera-based driver assistance system of a vehicle is specified. The method comprises the step of generating a first image of an object and a second image by means of a stereo camera. The object is located in the surroundings of the vehicle. Furthermore, the first image is generated by a first photosensor of the stereo camera and the second image by a second photosensor of the stereo camera. Furthermore, the first photosensor is operated with a color filter pattern, and the second photosensor is operated with a second color filter pattern different from the first color filter pattern. The first color filter pattern is a pattern of monochrome pixels and at least one first color. The second color filter pattern is a pattern of at least one second color. Furthermore, the method comprises the step of associating the object in the first image with the object in the second image. Likewise, the method comprises the step of combining color information from the first image with color information from the second image for color reconstruction of the object. As a result, the color of the object is reconstructed in the camera-based driver assistance system using two different color filter patterns in the stereo camera.

Dabei ist in diesem und in jedem anderen Ausführungsbeispiel die erste Farbe unterschiedlich zu der zweiten Farbe, insofern nichts Gegenteiliges genannt ist. Here, in this and in any other embodiment, the first color is different from the second color, unless otherwise stated.

Mit anderen Worten wird mittels der Erfindung verfügbare Farbinformation aus dem ersten Bild kombiniert mit verfügbarer Farbinformation aus dem zweiten Bild, wodurch vollständige Farbinformation, beispielsweise vollständige RGB-Farbinformation oder vollständige YMCK-Farbinformation, erhalten wird. Dies wird anhand exemplarischer Ausführungsbeispiele im Folgenden näher erläutert und beschrieben werden. Das erfindungsgemäße Verfahren ermöglicht eine verbesserte Farbrekonstruktion von Objekten, welche durch die Stereokamera des Fahrzeuges aufgenommen und detektiert werden. In other words, color information available from the first image is combined with available color information from the second image by means of the invention, whereby complete color information, for example complete RGB color information or complete YMCK color information, is obtained. This will be explained and described in more detail below with reference to exemplary embodiments. The method according to the invention enables improved color reconstruction of objects which are picked up and detected by the stereo camera of the vehicle.

Im Vergleich zur reinen Verwendung von RGB-Farbfiltermustern wird damit auch eine erhöhte Lichtempfindlichkeit realisiert. Es kann daher als Teil der vorliegenden Erfindung angesehen werden, die beiden Bildmodule, insbesondere die beiden Photosensoren, der Stereokamera mit unterschiedlichen Farbfiltermustern zu bestücken und diese unterschiedliche Farbinformation aus den bereits überlagerten Objektbereichen zu einer präzisen Farbrekonstruktion zu nutzen bei gleichzeitigem Nutzen der hohen Lichtempfindlichkeit der verwendeten monochromen Pixel. In comparison to the pure use of RGB color filter patterns, an increased photosensitivity is thus realized. It can therefore be regarded as part of the present invention to equip the two image modules, in particular the two photosensors of the stereo camera with different color filter patterns and to use this different color information from the already superimposed object areas for a precise color reconstruction while taking advantage of the high photosensitivity of the used monochrome pixels.

Dabei kann im Kontext der vorliegenden Erfindung der Begriff „Farbfiltermuster“ auch als Farbmatrix oder als Farbpattern verstanden werden. Dabei kann es sich bei dem Farbfiltermuster um ein während des Produktionsprozesses des Photosensors festgelegtes Farbmuster handeln, das beispielsweise durch eine farbige Kunststoffschicht, die auf dem jeweiligen Pixel angeordnet ist, erzeugt wird. Weiterhin soll im Kontext der vorliegenden Erfindung der Begriff „Photosensor“ als Bildsensor, bildgebendes Element, bildgebender Sensor oder Imager verstanden werden.In the context of the present invention, the term "color filter pattern" can also be understood as a color matrix or as a color pattern. In this case, the color filter pattern may be a color pattern determined during the production process of the photosensor, which is produced for example by a colored plastic layer arranged on the respective pixel. Furthermore, in the context of the present invention, the term "photosensor" should be understood as an image sensor, imaging element, imaging sensor or imager.

Dieses Verfahren kann in unterschiedlichsten Fahrerassistenzsystemen zum Einsatz kommen. Insbesondere in dem Fahrerassistenzsystem, welches eine Recheneinheit aufweist und welches im Folgenden näher beschrieben werden wird, kann das erfindungsgemäße Verfahren durchgeführt werden. Beispielsweise kann das Verfahren in einem Fernlichtassistenten, in einer Verkehrsschildererkennung oder in einer Fahrspurerkennung zum Einsatz kommen. Jedoch ist die Erfindung nicht auf diese beispielhaften Fahrerassistenzsysteme beschränkt. This method can be used in a wide variety of driver assistance systems. In particular, in the driver assistance system, which has a computing unit and which will be described in more detail below, the inventive method can be performed. For example, the method can be used in a high-beam assistant, in a traffic sign recognition or in a lane recognition. However, the invention is not limited to these exemplary driver assistance systems.

Dabei kann die Recheneinheit als Prozessor oder als Central Processing Unit (CPU) verstanden werden. In this case, the arithmetic unit can be understood as a processor or as a central processing unit (CPU).

Im Folgenden werden bekannte Farbfiltermuster wiedergegeben, die für die vorliegende Erfindung eingesetzt werden können. Die Erfindung ist jedoch natürlich nicht auf diese Farbfiltermuster beschränkt.

Tabelle 1 Hereinafter, known color filter patterns which can be used for the present invention are shown. Of course, the invention is not limited to these color filter patterns.

Table 1

In weiteren, beispielhaften Ausführungsformen können für das linke und rechte Imagermodul, also für den ersten und zweiten Photosensor die folgenden Kombinationen an Farbfiltermustern verwendet werden: French-Italian (CRBC-CRGC), French-Lesotho (CRBC-CGBC), Italian-Lesotho (CRBC-CGBC), RCCC-Lesotho (RCCC-CGBC, GCCC-French (GCCC-CRBC), oder BCCC-Italian (BCCC-CGBC). In further exemplary embodiments, the following combinations of color filter patterns can be used for the left and right image module, ie for the first and second photosensor: French-Italian (CRBC-CRGC), French-Lesotho (CRBC-CGBC), Italian-Lesotho (CRBC-CGBC), RCCC-Lesotho (RCCC-CGBC, GCCC-French (GCCC-CRBC), or BCCC-Italian (BCCC -CGBC).

Oder mit Cyan, Magenta, Yellow und Schwarz (CYMK) seien beispielhaft die folgenden Kombinationen an Farbfiltermustern genannt: CCyMC-CCyYC, CCyMC-CMYC, CCyYC-CMYC, CyCCC-CMYC, MCCC-CCyYC, YCCC-CCyMC. Dabei werden hier die folgenden Abkürzungen benutzt: C=Clear, Cy=Cyan, M=Magenta, Y=Yellow.Cyan, magenta, yellow and black (CYMK) are examples of the following combinations of color filter patterns: CCyMC-CCyYC, CCyMC-CMYC, CCyYC-CMYC, CyCCC-CMYC, MCCC-CCyYC, YCCC-CCyMC. The following abbreviations are used here: C = Clear, Cy = Cyan, M = Magenta, Y = Yellow.

Natürlich sind auch Kombinationen aus R, G, B, C, Cy, M und Y möglich und Teil der Erfindung.Of course, combinations of R, G, B, C, Cy, M and Y are possible and part of the invention.

Weitere mögliche Pixel-Filter, die im Kontext der vorliegenden Erfindung eingesetzt werden können sind: Tageslichtfilter (nur IR), Bandpass IR, der nur etwa bei 630 nm bis 800 nm filtert. Auch andere gefilterte Wellenlängenbereiche sind möglich. Weiterhin können jegliche Fotofilter aus der Fotografie, wie zum Beispiel Polfilter, Graufilter, UV-Filter oder Farbfilter verwendet werden.Other possible pixel filters that can be used in the context of the present invention are: daylight filter (IR only), bandpass IR, which filters only at about 630 nm to 800 nm. Other filtered wavelength ranges are possible. Furthermore, any photo filters from photography, such as polarizing filters, gray filters, UV filters or color filters can be used.

Das erfindungsgemäße Verfahren kann gemäß einem konkreten Ausführungsbeispiel folgendermaßen durchgeführt werden. Auf der rechten Seite der Stereokamera wird das Farbfiltermuster „French“, wie zuvor in Tabelle 1 angegeben, verwendet und auf der linken Seite der Stereokamera wird das Farbfiltermuster „Italian“ verwendet. Mit dieser Konfiguration wird mittels der Stereokamera ein Bild im rechten und linken Photosensor der Stereokamera erzeugt. Dabei wird das photographierte Objekt in leicht unterschiedlichen Bildbereichen dargestellt. In der Farbinformation des rechten Bildes fehlt die Komponente grün. In der Farbinformation des linken Bildes fehlt die Komponente blau. In einem weiteren Schritt werden die Objekte überlagert, i.e. gematcht, was durch einen sogenannten dem Fachmann bekannten Stereoalgorithmus erfolgen kann. The method according to the invention can be carried out in accordance with a specific embodiment as follows. The right side of the stereo camera uses the "French" color filter pattern as shown in Table 1 above, and the left side of the stereo camera uses the "Italian" color filter pattern. With this configuration, the stereo camera creates an image in the right and left photosensor of the stereo camera. The photographed object is displayed in slightly different image areas. In the color information of the right image the component is missing green. In the color information of the left image the component is missing blue. In a further step, the objects are superimposed, i. matched, which can be done by a so-called stereo algorithm known in the art.

Ein solcher Stereoalgorithmus kann als Teil der vorliegenden Erfindung betrachtet werden. Aufgabe des Stereoalgorithmus ist es, Objektpunkte in beiden Bildern zu finden, beispielsweise durch das Suchen gleicher Grauwertmuster, und einander zuzuordnen. Der Versatz der Objektpunktlagen ergibt über die Geometrie der Kamera die ermittelte Distanz des Objektes. Die Farbe kann dann rekonstuiert werden, wenn das Objekt zugeordnet ist, da es sich vor der Zuordnung an unterschiedlichen Stellen im rechten und linken Bild befindet.Such a stereo algorithm may be considered part of the present invention. The task of the stereo algorithm is to find object points in both images, for example by searching for identical gray value patterns, and to assign them to one another. The offset of the object point positions results in the determined distance of the object via the geometry of the camera. The color can then be reconstituted if the object is assigned, as it is located in different places in the right and left image before the assignment.

Anschließend kann die Lage des Objektes auf dem jeweiligen Photosensor ermittelt werden. Weiterhin wird der Farbfilter zur Objektlage auf dem Photosensor zugeordnet. Anschließend kann mittels einer Kombination der rechts verfügbaren Information aus dem „French“-Farbfiltermuster und der links verfügbaren Farbinformation aus dem „Italian“-Farbfiltermuster vollständige RGB-Farbinformation erhalten werden. Subsequently, the position of the object can be determined on the respective photosensor. Furthermore, the color filter is assigned to the object position on the photosensor. Subsequently, complete RGB color information can be obtained by combining the right available information from the "French" color filter pattern and the left available color information from the "Italian" color filter pattern.

Dabei sei angemerkt, dass neben den RGB-Farbfiltermustern wie Bayer, Monochrom, French, Italian, RGBC und RGB+Clear auch andere Farbfiltermuster, beispielsweise YMCK-Farbfiltermuster verwendet werden können, ohne den Schutzbereich des vorliegenden Erfindung zu verlassen. It should be noted that in addition to RGB color filter patterns such as Bayer, Monochrome, French, Italian, RGBC and RGB + Clear, other color filter patterns, such as YMCK color filter patterns, can be used without departing from the scope of the present invention.

Die Farbe eines Objektes kann für folgende Anwendungen verwendet werden. Verkehrszeichen können verifiziert und unterschieden werden. Ebenso kann eine Unterscheidung von Tempolimits und Ausfahrtnummer oder Gebotsschildern oder auch Ortsschildern erfolgen. Auch für die Frage welche Spur relevant ist kann die rekonstruierte Farbe im Fahrzeug verwendet werden. Im Fall eines Fernlichtassistenten kann bei Detektion einer Rückleuchte ein Abblenden veranlasst werden. In all diesen Fällen ist eine gute Farbrekonstruktion hilfreich.The color of an object can be used for the following applications. Traffic signs can be verified and distinguished. Likewise, a distinction can be made between speed limits and exit numbers or bid signs or town signs. Also for the question which lane is relevant, the reconstructed color can be used in the vehicle. In the case of a high beam assistant, dimming may be initiated upon detection of a tail lamp. In all these cases, good color reconstruction is helpful.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist das erste Farbfiltermuster „RGB+Clear“ und das zweite Farbfiltermuster ist „RGB-French“ oder „RGB-Italian“, oder das Farbfiltermuster ist „RGB-French“ und das zweite Farbfiltermuster ist „RGB Italian“. According to another embodiment of the invention, the first color filter pattern is "RGB + Clear" and the second color filter pattern is "RGB-French" or "RGB-Italian", or the color filter pattern is "RGB-French" and the second color-filter pattern is "RGB Italian" ,

Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist das Verfahren den Schritt Überlagern des Objektes des ersten Bildes mit dem Objekt des zweiten Bildes auf.According to a further embodiment of the invention, the method comprises the step of superposing the object of the first image with the object of the second image.

Gemäß einem Ausführungsbeispiel der Erfindung weist der Schritt des Überlagerns die Schritte Ermitteln einer ersten Lage des Objektes aus dem ersten Bild auf dem ersten Photosensor auf und weist den Schritt Ermitteln einer zweiten Lage des Objektes aus dem zweiten Bild auf dem zweiten Photosensor auf. According to an exemplary embodiment of the invention, the step of overlaying comprises the steps of determining a first position of the object from the first image on the first photosensor, and comprising the step of determining a second position of the object from the second image on the second photosensor.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist das Verfahren weiterhin die Schritte Zuordnen von Farbfiltern des ersten Farbfiltermusters zur ermittelten ersten Lage des Objektes auf dem ersten Photosensor auf. Weiterhin ist in dem Verfahren der Schritt Zuordnen von Farbfiltern des zweiten Farbfiltermusters zur ermittelten zweiten Lage des Objektes auf dem zweiten Photosensor. According to a further embodiment of the invention, the method further comprises the steps of assigning color filters of the first color filter pattern to the determined first position of the object on the first Photosensor on. Furthermore, in the method, the step of associating color filters of the second color filter pattern with the determined second position of the object on the second photosensor.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung verwenden sowohl das erste als auch das zweite Farbfiltermuster monochrome Pixel zur Erzeugung des jeweiligen Bildes.According to another embodiment of the invention, both the first and second color filter patterns use monochrome pixels to produce the respective image.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung weist das Verfahren den Schritt des Eingreifens in eine Fahrdynamik des Kraftfahrzeuges basierend auf der rekonstruierten Farbe des Objektes auf.According to a further exemplary embodiment of the invention, the method comprises the step of intervention in a driving dynamics of the motor vehicle based on the reconstructed color of the object.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist ein Fahrerassistenzsystem zur Farbrekonstruktion in einem Fahrzeug angegeben, welches das hierin beschriebene Verfahren zur Rekonstruktion durchführt. According to a further exemplary embodiment of the invention, a driver assistance system for color reconstruction in a vehicle is specified which carries out the method of reconstruction described herein.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist ein Fahrerassistenzsystem angegeben, welches eine Recheneinheit aufweist. Die Recheneinheit ist zum Empfangen eines ersten Bildes eines Objektes von einem ersten Photosensor einer Stereokamera und zum Empfangen eines zweiten Bildes des Objektes von einem zweiten Photosensor der Stereokamera ausgeführt. Der erste Photosensor weist ein erstes Farbfiltermuster auf und der zweite Photosensor weist ein vom ersten Farbfiltermuster unterschiedliches, zweites Farbfiltermuster auf. Wobei das erste Farbfiltermuster ein Muster mit monochromen Pixeln und mit mindestens einer ersten Farbe ist. Das zweite Farbfiltermuster ist ein Muster mit mindestens einer zweiten Farbe, wobei die erste und die zweite Farbe unterschiedlich sind. Weiterhin ist die Recheneinheit zum Zuordnen des Objektes in dem ersten Bild zu dem Objekt in dem zweiten Bild ausgeführt. Ebenso ist die Recheneinheit zum Kombinieren von Farbinformation aus dem ersten Bild mit Farbinformation aus dem zweiten Bild zur Farbrekonstruktion des Objektes ausgeführt. Mit anderen Worten kann das Fahrerassistenzsystem ein detektiertes Objekt einer Farbe zuordnen. According to a further exemplary embodiment of the invention, a driver assistance system is specified, which has a computing unit. The arithmetic unit is designed to receive a first image of an object from a first photosensor of a stereo camera and to receive a second image of the object from a second photosensor of the stereo camera. The first photosensor has a first color filter pattern, and the second photosensor has a second color filter pattern different from the first color filter pattern. Wherein the first color filter pattern is a pattern with monochrome pixels and at least one first color. The second color filter pattern is a pattern having at least a second color, wherein the first and second colors are different. Furthermore, the arithmetic unit for assigning the object in the first image to the object in the second image is executed. Likewise, the arithmetic unit for combining color information from the first image with color information from the second image for color reconstruction of the object is executed. In other words, the driver assistance system can assign a detected object to a color.

In einem weiteren Ausführungsbeispiel der Erfindung ist ein kamerabasiertes Fahrerassistenzsystem angegeben, welches weiterhin die Stereokamera mit dem ersten und dem zweiten Photosensor und dem ersten und zweiten Farbfiltermuster aufweist. Die Stereokamera ist dazu ausgeführt die Daten der von Ihr erzeugten Bilder an die Recheneinheit des Fahrerassistenzsystems zu senden. Dies kann drahtgebunden oder drahtlos erfolgen. In a further embodiment of the invention, a camera-based driver assistance system is provided, which further comprises the stereo camera with the first and second photosensor and the first and second color filter patterns. The stereo camera is designed to send the data of your generated images to the computing unit of the driver assistance system. This can be wired or wireless.

Dabei kann es als Teil der Erfindung angesehen werden, die beiden Bildmodule der Stereokamera mit unterschiedlichen Farbpattern, also Farbfiltermustern, zu bestücken und diese unterschiedlichen Farbinformationen aus den bereits überlagerten Objektbereichen zu einer präzisen Farbrekonstruktion zu nutzen bei gleichzeitigem Nutzen der hohen Empfindlichkeit der monochromen Pixel. It can be regarded as part of the invention to equip the two image modules of the stereo camera with different Farbpattern, ie color filter patterns, and to use these different color information from the already superimposed object areas for a precise color reconstruction while taking advantage of the high sensitivity of the monochrome pixels.

In einem Ausführungsbeispiel wird der erste Photosensor mit dem Farbfiltermuster „RGB+Clear“ verwendet. Dies hat die Vorteile einer hohen Ortsauflösung und hohen Empfindlichkeit. Dieses Farbfiltermuster wird mit einem „RGB French“ oder „RGB-Italian“ Farbfiltermuster kombiniert. In einer beispielhaften Ausführungsform wird ein „RGB-Italian“ Farbfiltermuster mit einem „RGB French“ Farbfiltermuster kombiniert. Beide weisen einzeln zwar Schwächen bei der Farbrekonstruktion auf. Jedoch kann gemäß diesem Ausführungsbeispiel durch die Kombination der Muster in der Stereokamera und der anschließenden Verarbeitung ein vollaufgelöstes RGB-Farbfiltermuster erhalten werden bei gleichzeitiger Beibehaltung der Erhöhung der Empfindlichkeit durch einen Anteil von 50% monochromen Pixeln. In one embodiment, the first photosensor is used with the color filter pattern "RGB + Clear". This has the advantages of high spatial resolution and high sensitivity. This color filter pattern is combined with an "RGB French" or "RGB-Italian" color filter pattern. In an exemplary embodiment, an "RGB Italian" color filter pattern is combined with an "RGB French" color filter pattern. Both have individual weaknesses in color reconstruction. However, according to this embodiment, by combining the patterns in the stereo camera and the subsequent processing, a full-resolution RGB color filter pattern can be obtained while maintaining the increase in sensitivity by a proportion of 50% monochrome pixels.

Gemäß einem Ausführungsbeispiel der Erfindung ist ein Fahrzeug, beispielsweise ein Pkw, ein Lkw oder ein Bus, angegeben, wobei das Fahrzeug ein Fahrerassistenzsystem gemäß einem Ausführungsbeispiel der Erfindung aufweist.According to one exemplary embodiment of the invention, a vehicle, for example a passenger car, a truck or a bus, is specified, the vehicle having a driver assistance system according to an exemplary embodiment of the invention.

Das Eingreifen in die Dynamik des Kraftfahrzeugs kann dabei ein Erstellen eines Warnsignales und/oder eines Warnhinweises umfassen. Das Warnsignal kann entweder ein optisches und/oder akustisches Signal sein, welches einen Fahrer des Kraftfahrzeugs beispielsweise auf ein Überschreiten einer Spurmarkierung aufmerksam machen kann oder welches einen durch die Fahrspurerkennungsvorrichtung bestimmten Fahrbahnverlauf anzeigen kann. Auch kann das Eingreifen in die Dynamik des Kraftfahrzeuges ein Erzeugen eines Steuersignals für ein Steuergerät des Kraftfahrzeuges umfassen, wie etwa eines Lenkbefehls, eines Beschleunigungsbefehls oder eines Bremsbefehls, wobei die entsprechenden Befehle für ein autonomes Lenken, Beschleunigen oder Bremsen des Kraftfahrzeuges durch die Fahrspurerkennungsvorrichtung bzw. das Steuergerät des Kraftfahrzeuges als Teil der Erfindung verwendet werden können. Dabei ist die Fahrspurerkennungsvorrichtung als beispielhaftes Fahrerassistenzsystem gemäß der vorliegenden Erfindung zu sehen. Weiterhin können natürlich auch andere Fahrerassistenzsysteme, wie beispielsweise ein Fernlichtassistent, die hierin genannten verschiedenen Verfahren verschiedene Ausführungsbeispiele der Erfindung durchführen. The intervention in the dynamics of the motor vehicle may include creating a warning signal and / or a warning. The warning signal can either be an optical and / or acoustic signal which can alert a driver of the motor vehicle, for example, to an exceeding of a lane marking or which can indicate a lane course determined by the lane recognition device. Also, the intervention in the dynamics of the motor vehicle may include generating a control signal for a control unit of the motor vehicle, such as a steering command, an acceleration command or a brake command, the corresponding commands for autonomous steering, acceleration or braking of the motor vehicle by the lane recognition device or the control unit of the motor vehicle can be used as part of the invention. In this case, the lane recognition device is to be seen as an exemplary driver assistance system according to the present invention. Further, of course, other driver assistance systems, such as a high beam assistant, may also perform various embodiments of the invention as described herein.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung ist ein Programmelement, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Schritte des hierin beschriebenen Verfahrens durchzuführen.In accordance with another embodiment of the invention, a program element that, when executed on a processor, directs the processor to perform the steps of the method described herein.

Es ist darüber hinaus zu verstehen, dass Merkmale des Verfahrens, so wie obenstehend und untenstehend beschrieben, auch als Merkmale des Fahrerassistenzsystems gesehen werden können, und umgekehrt.It is further understood that features of the method as described above and below may also be considered features of the driver assistance system, and vice versa.

Ferner wird darauf hingewiesen, dass möglicherweise Merkmale und Vorteile von Ausführungsformen der Erfindung hierin mit Bezug auf unterschiedliche Ausgestaltungen eines Verfahrens für Farbrekonstruktion sowie für das Fahrerassistenzsystem selbst beschrieben sind. Ein Fachmann erkennt, dass die beschriebenen Schritte des Verfahrens und die Merkmale der Vorrichtung in geeigneter Weise kombiniert bzw. ausgetauscht werden können, um zu weiteren Ausführungsformen und gegebenenfalls auch Synergieeffekten zu gelangen. It is further noted that features and advantages of embodiments of the invention may be described herein with respect to different embodiments of a color reconstruction method as well as the driver assistance system itself. A person skilled in the art recognizes that the described steps of the method and the features of the device can be suitably combined or exchanged in order to arrive at further embodiments and, if appropriate, also synergy effects.

Im Folgenden werden Ausführungsbeispiele mit Bezug auf die beiliegenden Figuren detailliert beschrieben.Embodiments will now be described in detail with reference to the accompanying drawings.

Kurze Beschreibung der FigurenBrief description of the figures

1 zeigt ein Flussdiagramm für ein Verfahren zur Farbrekonstruktion in einem kamerabasierten Fahrerassistenzsystem gemäß einem Ausführungsbeispiel der Erfindung. 1 shows a flowchart for a method for color reconstruction in a camera-based driver assistance system according to an embodiment of the invention.

2 zeigt ein Fahrerassistenzsystem mit einer Recheneinheit gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. 2 shows a driver assistance system with a computing unit according to an embodiment of the present invention.

Grundsätzlich sind identische oder ähnliche Schritte bzw. Elemente mit gleichen Bezugszeichen versehen. Die Darstellungen in den Figuren sind lediglich schematisch und nicht zwingend maßstabsgetreu.Basically, identical or similar steps or elements are provided with the same reference numerals. The illustrations in the figures are only schematic and not necessarily true to scale.

Detaillierte Beschreibung von AusführungsbeispielenDetailed description of embodiments

1 zeigt ein Flussdiagramm für ein Verfahren zur Farbrekonstruktion in einem kamerabasierten Fahrerassistenzsystem eines Fahrzeuges. Im Schritt S1 wird ein erstes Bild eines Objektes und eines Bildes des Objektes aus einer Umgebung des Fahrzeuges mittels einer Stereokamera erzeugt. Das erste Bild wird durch einen ersten Photosensor der Stereokamera und das zweite Bild durch einen zweiten Photosensor der Stereokamera erzeugt. Der erste Photosensor wird mit einem ersten Farbfiltermuster betrieben und der zweite Photosensor wird mit einem zweiten Farbfiltermuster betrieben. Das erste Farbfiltermuster ist ein Muster mit monochromen Pixeln und mit mindestens einer ersten Farbe. Das zweite Farbfiltermuster ist ein Muster mit einer zweiten Farbe. 1 shows a flowchart for a method for color reconstruction in a camera-based driver assistance system of a vehicle. In step S1, a first image of an object and an image of the object is generated from an environment of the vehicle by means of a stereo camera. The first image is generated by a first photosensor of the stereo camera and the second image by a second photosensor of the stereo camera. The first photosensor is operated with a first color filter pattern and the second photosensor is operated with a second color filter pattern. The first color filter pattern is a pattern of monochrome pixels and at least one first color. The second color filter pattern is a pattern with a second color.

Das Verfahren der 1 weist weiterhin den Schritt S2 auf, in dem das Objekt in dem ersten Bild zu dem Objekt in dem zweiten Bild zugeordnet wird. Dazu kann das Verfahren der 1 den weiteren Schritt aufweisen, dass die Objekte überlagert werden, i.e. gematcht werden, was durch einen Stereoalgorithmus erfolgen kann. Im folgenden Schritt S3 wird Farbinformation Farbinformation des gematchten Objektes aus dem ersten Bild mit Farbinformation des gematchten Objektes aus dem zweiten Bild kombiniert, um die Farbe des Objektes, das fotografiert wurde, zu rekonstruieren. The procedure of 1 also has the step S2, in which the object in the first image is assigned to the object in the second image. For this the procedure of the 1 have the further step that the objects are superimposed, ie be matched, which can be done by a stereo algorithm. In the following step S3, color information color information of the matched object from the first image is combined with color information of the matched object from the second image to reconstruct the color of the object that was photographed.

Im Verfahren der 1 wird die verfügbare Farbinformation aus dem ersten Bild mit verfügbarer Farbinformation aus dem zweiten Bild kombiniert, wodurch vollständige Farbinformation, beispielsweise vollständige RGB-Farbinformation oder vollständige YMCK-Farbinformation, erhalten wird. Das Verfahren der 1 kann beispielsweise durch eine Fahrzeugstereokamera in Kombination mit einer Recheneinheit, einem Prozessor oder einer CPU durchgeführt werden. Dies wird anhand der 2 näher erläutert. Das Verfahren der 1 ermöglicht dabei eine verbesserte Farbrekonstruktion von Objekten, welche durch die Stereokamera des Fahrzeuges aufgenommen und detektiert werde. In the process of 1 the available color information from the first image is combined with available color information from the second image, whereby complete color information, for example complete RGB color information or complete YMCK color information, is obtained. The procedure of 1 can be performed for example by a vehicle stereo camera in combination with a computing unit, a processor or a CPU. This is based on the 2 explained in more detail. The procedure of 1 allows an improved color reconstruction of objects, which is recorded and detected by the stereo camera of the vehicle.

Gemäß einem weiteren Ausführungsbeispiel der Erfindung zeigt 2 ein Fahrzeug 200 mit einem erfindungsgemäßen Fahrerassistenzsystem 201. Das Fahrzeug weist eine Stereokamera 204 auf, welche über Kommunikationsverbindungen 203, entweder drahtgebunden oder drahtlos, mit dem Fahrerassistenzsystem 201 verbunden ist. Die Stereokamera 204 weist einen ersten Photosensor 205 und einen zweiten Photosensor 206 auf. Stereokameras sind in der Regel im Fahrzeug hinter der Windschutzscheibe angeordnet und die beiden Photosensoren sind räumlich nebeneinander angeordnet. In 2 sind die beiden Photosensoren 205, 206 jedoch aus Darstellungsgründen übereinander angeordnet gezeigt, um beide Komponenten in 2 zeigen zu können. Das Fahrerassistenzsystem 201 weist darüber hinaus eine Recheneinheit 202 auf, welche ausgeführt ist, die verschiedenen Ausführungsbeispiele des erfindungsgemäßen Verfahrens durchzuführen. According to a further embodiment of the invention shows 2 a vehicle 200 with a driver assistance system according to the invention 201 , The vehicle has a stereo camera 204 on, which via communication links 203 either wired or wireless, with the driver assistance system 201 connected is. The stereo camera 204 has a first photosensor 205 and a second photosensor 206 on. Stereo cameras are usually located in the vehicle behind the windshield and the two photosensors are spatially arranged side by side. In 2 are the two photosensors 205 . 206 However, for illustrative purposes, shown superimposed to show both components 2 to be able to show. The driver assistance system 201 also has an arithmetic unit 202 which is executed to perform the various embodiments of the method according to the invention.

Der erste Photosensor 205 weist erstes Farbfiltermuster auf und der zweite Photosensor weist ein vom ersten Farbfiltermuster unterschiedliches, zweites Farbfiltermuster auf. Das erste Farbfiltermuster ist ein Muster mit monochromen Pixeln und mit mindestens einer ersten Farbe, und das zweite Farbfiltermuster ist ein Muster mit einer zweiten Farbe. Weiterhin ist die Recheneinheit 202 zum Zuordnen des Objektes in dem ersten Bild zu dem Objekt in dem zweiten Bild ausgeführt. Auch ist die Recheneinheit 202 zum Kombinieren von Farbinformation aus dem ersten Bild mit Farbinformation aus dem zweiten Bild zur Farbrekonstruktion des Objektes ausgeführt.The first photosensor 205 has first color filter pattern and the second photosensor has a second color filter pattern different from the first color filter pattern. The first color filter pattern is a pattern of monochrome pixels and at least a first color, and the second color filter pattern is a pattern of a second color. Furthermore, the arithmetic unit 202 for associating the object in the first image with the object in the second image. Also, the arithmetic unit 202 for combining color information from the first image with color information from the second image for color reconstruction of the object.

Ergänzend ist darauf hinzuweisen, dass „umfassend“ keine anderen Elemente oder Schritte ausschließt und „eine“ oder „ein“ keine Vielzahl ausschließt. Ferner sei darauf hingewiesen, dass Merkmale oder Schritte, die mit Verweis auf eines der obigen Ausführungsbeispiele beschrieben worden sind, auch in Kombination mit anderen Merkmalen oder Schritten anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen. In addition, it should be noted that "encompassing" does not exclude other elements or steps, and "a" or "an" does not exclude a multitude. It should also be appreciated that features or steps described with reference to any of the above embodiments may also be used in combination with other features or steps of other embodiments described above. Reference signs in the claims are not to be considered as limiting.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 3971065 A [0003]

Claims

A method of color reconstruction in a camera-based driver assistance system of a vehicle, the method comprising the steps Generating a first image of an object and a second image of the object from an environment of the vehicle by means of a stereo camera (S1), wherein the first image is generated by a first photosensor of the stereo camera and the second image by a second photosensor of the stereo camera, wherein the first photosensor is operated with a first color filter pattern and the second photosensor is operated with a second color filter pattern different from the first color filter pattern, wherein the first color filter pattern is a pattern of monochrome pixels and at least one first color, wherein the second color filter pattern is a pattern having at least one second color, the method further comprising the steps Associating the object in the first image with the object in the second image (S2), and Combining color information from the first image with color information from the second image for color reconstruction of the object (S3).

The method of claim 1, the method further comprising the step of superimposing the object of the first image on the object of the second image (S4).

The method of claim 2, wherein the step of the overlay (S2) comprises the steps of: Determining a first location of the object from the first image on the first photosensor, and Determining a second location of the object from the second image on the second photosensor.

Method according to one of claims 1 to 3, wherein the first color filter pattern is "RGB + clear" and the second color filter pattern is "RGB-French" or "RGB-Italian", or wherein the first color filter pattern is "RGB-French" and the second color filter pattern is "RGB-Italy".

Method according to one of claims 1 to 4, the method further comprising the steps Assigning color filters of the first color filter pattern to the determined first position of the object on the first photosensor, and Assigning color filters of the second color filter pattern to the determined second position of the object on the second photosensor.

The method of any one of claims 1 to 5, wherein each of the first and second color filter patterns uses monochrome pixels to produce the respective image.

Driver assistance system for color reconstruction in a vehicle having the driver assistance system a computing unit, wherein the arithmetic unit is adapted to receive a first image of an object from a first photosensor of a stereo camera and to receive a second image of the object from a second photosensor of the stereo camera, wherein the first photosensor has a first color filter pattern and the second photosensor has a second color filter pattern different from the first color filter pattern, wherein the first color filter pattern is a pattern of monochrome pixels and at least one first color, wherein the second color filter pattern is a second color pattern, wherein the arithmetic unit is adapted to associate the object in the first image with the object in the second image, and wherein the arithmetic unit is adapted to combine color information from the first image with color information from the second image for color reconstruction of the object.

A camera-based driver assistance system according to claim 7, further comprising the stereo camera with the first and second photosensor.