DE102008047413A1 - Motor vehicle object detection system has a stereo camera with two gray image sensors and a mono camera with a color image sensor - Google Patents

Motor vehicle object detection system has a stereo camera with two gray image sensors and a mono camera with a color image sensor Download PDF

Info

Publication number
DE102008047413A1
DE102008047413A1 DE102008047413A DE102008047413A DE102008047413A1 DE 102008047413 A1 DE102008047413 A1 DE 102008047413A1 DE 102008047413 A DE102008047413 A DE 102008047413A DE 102008047413 A DE102008047413 A DE 102008047413A DE 102008047413 A1 DE102008047413 A1 DE 102008047413A1
Authority
DE
Germany
Prior art keywords
image
camera system
sensors
sensor
board
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102008047413A
Other languages
German (de)
Inventor
Matthias Dipl.-Ing. Hoffmeier
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hella GmbH and Co KGaA
Original Assignee
Hella KGaA Huek and Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hella KGaA Huek and Co filed Critical Hella KGaA Huek and Co
Priority to DE102008047413A priority Critical patent/DE102008047413A1/en
Publication of DE102008047413A1 publication Critical patent/DE102008047413A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/18—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with one observation point at each end of the base
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects

Abstract

The system for the detection of objects, for a motor vehicle, has a stereo camera with at least two gray value image sensors (2,3) and at least one mono camera with at least one color image sensor (4). The assembly (9) has a circuit board (1) with the sensors in fixed an immovable positions. An evaluation unit (5) is mounted on the circuit board.

Description

Die Erfindung betrifft eine Vorrichtung zur Detektion von Objekten mit mehreren Bilderfassungssensoren, die jeweils mindestens ein Bild der Abbildung eines Erfassungsbereiches der Vorrichtung aufnehmen und dem Bild entsprechende Bilddaten erzeugen. Ferner betrifft die Erfindung ein Verfahren zur Detektion von Objekten.The The invention relates to a device for detecting objects with several image acquisition sensors, each with at least one image record the mapping of a detection range of the device and generate image data corresponding to the image. Furthermore, the Invention a method for the detection of objects.

Bekannte Vorrichtungen zur Detektion von Objekten umfassen entweder eine Stereokamera oder eine Monokamera, wobei diese Kameras abhängig von den verwendeten Bilderfassungssensoren Grauwertkamera oder Farbkamera sind. Mit Hilfe einer Grauwertkamera können Objekte in einer größeren Entfernung detektiert werden als mit einer gleichartigen Farbkamera, da bei der Grauwertkamera auch die bei der Farbkamera zur Erfassung der Farbe verwendeten Bildpunkterfassungselemente/Pixel zur Objektdetektion zur Verfügung stehen. Nachteil einer Graubildkamera dagegen ist, dass keine Farbinformationen über ein detektiertes Objekt ermittelt werden kann. Eine Farbkamera dagegen liefert die gewünschten Farbinformationen über ein zu detektierendes Objekt, kann diese Farbinformation aber erst dann erfassen, wenn sich das Objekt nah genug an der Farbkamera befindet, da für die Bestimmung der Farbinformation mindestens drei Bildpunkterfassungelemente beleuchtet werden müssen.Known Devices for detecting objects comprise either one Stereo camera or a mono camera, these cameras depending from the image capture sensors used, grayscale camera or color camera are. With the help of a gray scale camera, objects in be detected at a greater distance than with a similar color camera, as with the gray scale camera too the pixel detection elements / pixels used in the color camera to detect the color are available for object detection. Disadvantage of a Gray picture camera on the other hand is that no color information about a detected object can be determined. A color camera against it delivers the desired color information an object to be detected, but this color information can only then capture if the object is close enough to the color camera is there, as for the determination of the color information at least three pixel detection elements must be illuminated.

Aus dem Dokument EP 1758783 B1 ist eine Überwachungseinheit für den Außenraum in Fahrtrichtung eines Kraftfahrzeuges mit wenigstens einem Kamerasystem bekannt. Das Kamerasystem umfasst einen Bildaufnahmesensor, welcher in partiellen Bereichen Farbcodierungen besitzt und in anderen Bereichen monochrome Codierungen aufweist. Somit können mit nur einer Aufnahmeeinheit sowohl Farb- als auch Grauwertinformationen eines detektierten Objektes erzeugt werden.From the document EP 1758783 B1 is a monitoring unit for the exterior in the direction of travel of a motor vehicle with at least one camera system known. The camera system comprises an image sensor which has color codings in partial areas and monochrome codings in other areas. Thus, both color and gray level information of a detected object can be generated with only one recording unit.

Ein solches Kamerasystem hat den Nachteil, dass durch die Verwendung nur einer Bildaufnahmeeinheit nicht die Entfernung zwischen dem detektierten Objekt und dem Kamerasystem bestimmt werden kann. Um die Entfernung des detektierten Objektes von dem Kamerasystem zu bestimmen, ist ein Stereokamerasystem erforderlich, das mindestens zwei Bilderfassungssensoren umfasst.One Such camera system has the disadvantage that by the use only one image capture unit does not remove the distance between the detected object and the camera system can be determined. Around the removal of the detected object from the camera system A stereo camera system is required that at least comprises two image acquisition sensors.

Aus dem Dokument DE 196 33 868 A1 und dem parallelen Dokument EP 009 189 79 B1 ist ein Stereokamerasystem für digitale Fotogrammetrie bekannt. Das Stereokamerasystem umfasst eine Eingangsoptik und in der Fokalebene der Eingangsoptik angeordnete optische Detektoren. Die Ausgangssignale der optischen Detektoren werden in eine Auswerteeinrichtung zu einer Bildinformation verarbeitet. In der Fokalebene sind eine Vielzahl von optischen Detektoren angeordnet, wobei mindestens zwei der optischen Detektoren wahlweise zusammen ansteuerbar sind.From the document DE 196 33 868 A1 and the parallel document EP 009 189 79 B1 is a stereo camera system for digital photogrammetry known. The stereo camera system comprises an input optics and optical detectors arranged in the focal plane of the input optics. The output signals of the optical detectors are processed in an evaluation device for image information. In the focal plane a plurality of optical detectors are arranged, wherein at least two of the optical detectors are selectively controllable together.

Aus dem Dokument DE 197 27 999 A1 ist ein Stereokamerasystem durch elektrische Kopplung von zwei vollelektronischen Kameras durch Parallelschaltung der Zielkontakte der ersten Kamera und der Zielkontakte der zweiten Kamera bekannt.From the document DE 197 27 999 A1 a stereo camera system is known by electrical coupling of two fully electronic cameras by parallel connection of the target contacts of the first camera and the target contacts of the second camera.

Aus dem Dokument DE 199 05 452 A1 ist eine digitale Stereokamera mit zwei horizontal nebeneinander um eine Basislange versetzt angeordneten Objektiven zur Bildung eines Bildpaares eines Objektes, einer zwei Einzelverschlüsse enthaltenden Verschlusseinrichtung und einer elektronischen Bildsensoreinrichtung bekannt. Die Bildsensoreinrichtung nimmt die beiden über die beiden Objektive und Einzelverschlüsse synchron erfassten Bilder auf und gibt die elektronischen Bildsignale an einen Analog-Digital-Wandler zur wei teren elektrischen Verarbeitung aus. Das Stereokamerasystem umfasst ein Hauptkamerateil und ein Nebenkamerateil. Das Nebenkamerateil ist mechanisch mit dem Hauptkamerateil verbunden. Das Hauptkamerateil umfasst den Analog-Digital-Wandler und eine Schnittstelle und/oder eine Speichereinrichtung mit einem Speichermedium zum Abspeichern der digitalen Bilddaten. Das Nebenkamerateil weist keine digitale Schnittstelle bzw. Speichereinrichtung auf. Das Nebenkamerateil ist über eine optische Strahlverbindung oder eine elektrische Signalleitungsverbindung mit dem Hauptkamerateil verbunden.From the document DE 199 05 452 A1 is a digital stereo camera with two horizontally juxtaposed offset by a base length lenses arranged to form a pair of images of an object, a closure containing two individual closures and an electronic image sensor device. The image sensor device receives the two images synchronously acquired via the two objectives and individual shutters and outputs the electronic image signals to an analog-to-digital converter for further electrical processing. The stereo camera system includes a main camera part and a sub camera part. The slave camera part is mechanically connected to the main camera part. The main camera part comprises the analog-to-digital converter and an interface and / or a memory device with a storage medium for storing the digital image data. The slave camera part has no digital interface or memory device. The sub camera part is connected to the main camera part via an optical beam connection or an electrical signal line connection.

Aus dem Dokument DE 100 33 355 A1 ist ein Stereokamerasystem mit einem rechten Bildsensor und einem linken Bildsensor sowie mit einer die Bildsensoren Pixelweise auslesenden Ausleseanordnung, welche die vom rechten und die vom linken Bildsensor kommende Bildsignalfolge parallel an eine Auswerteeinheit übergibt, bekannt. Sowohl der rechte als auch der linke Bildsensor umfassen jeweils mindestens ein ortsfestes Markierungspixel, um Bildsignalausleseschwankungen und Bildsignallaufzeitschwankungen korrigieren zu können.From the document DE 100 33 355 A1 is a stereo camera system with a right image sensor and a left image sensor and a pixel-wise reading the image sensors readout arrangement, which passes from the right and the left image sensor coming image signal sequence in parallel to an evaluation known. Both the right and left image sensors each include at least one stationary marker pixel to correct for image signal read-out variations and image signal propagation time variations.

Aus dem Dokument EP 01 842 382 A2 sind ein Verfahren und eine Vorrichtung zum Bestimmen einer Objekteigenschaft eines Objektes mit Hilfe von Bildern, die mit Hilfe einer Kamera erfasst werden, bekannt. Ferner wird ein Verfahren zum Ermitteln eines Kalibrierparameters für eine Stereokamera beschrieben. Zum Bestimmen einer Objekteigenschaft eines Objektes wird das Objekt in einem ersten mit Hilfe der Kamera erfassten Bild detektiert und die Helligkeit eines bestimmten Objektes ermittelt. Jeweils in einem voreingestellten Zeitintervall wird ein weiteres Bild mit Hilfe der Kamera erfasst. Das Objekt wird in jedem der weiteren Bilder detektiert und jeweils die Helligkeit des detektierten Objektes in jedem Bild ermittelt. Abhängig vom Verlauf der Helligkeit wird dem Objekt eine Objekteigenschaft zugewiesen.From the document EP 01 842 382 A2 For example, a method and an apparatus for determining an object property of an object by means of images acquired with the aid of a camera are known. Furthermore, a method for determining a calibration parameter for a stereo camera is described. To determine an object property of an object, the object is detected in a first image captured with the aid of the camera, and the brightness of a specific object is determined. In each case at a preset time interval another image is captured with the help of the camera. The object is detected in each of the further images and in each case the brightness of the detected object in each case determined the image. Depending on the gradient of the brightness, the object is assigned an object property.

Aus dem Dokument EP 00 174 091 A1 ist eine Stereokamera mit zwei Linsen bekannt, bei der jede Linse in einer Haltevorrichtung angeordnet ist und die Haltevorrichtungen fest auf zwei parallel angeordneten biegsamen Platten gelagert sind. Die simultane Fokussierung und Konvergenz der Linsen wird über eine Nocke erreicht, durch die die Platten gebogen werden. Hierdurch wird erreicht, dass die beiden Linsen entlang der gewünschten geraden Ortslinien blicken.From the document EP 00 174 091 A1 is known a stereo camera with two lenses, in which each lens is arranged in a holding device and the holding devices are fixedly mounted on two parallel flexible plates. The simultaneous focusing and convergence of the lenses is achieved via a cam, through which the plates are bent. This ensures that the two lenses look along the desired straight local lines.

Aufgabe der Erfindung ist es, eine Vorrichtung zur Detektion von Objekten anzugeben, bei der die Objekte auf einfache Weise bei geringem Verarbeitungsaufwand sicher detektiert werden können.task The invention is an apparatus for detecting objects specify the objects in a simple way with low processing overhead can be reliably detected.

Diese Aufgabe wird durch eine Vorrichtung mit den Merkmalen des Patentanspruchs 1 und durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 17 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.These The object is achieved by a device having the features of the patent claim 1 and by a method having the features of the independent claim 17 solved. Advantageous developments of the invention are specified in the dependent claims.

Durch eine Vorrichtung mit den Merkmalen des Patentanspruches 1 wird erreicht, dass mit nur einer Vorrichtung sowohl mindestens ein Bildpaar mit schwarzweißen Einzelbildern mit Abbildungen des zu detektierenden Objektes und ein Farbbild mit Abbildung des zu detektierenden Objektes erzeugbar sind. Sowohl die aus den Schwarzweißbildern als auch die aus den Farbbild gewonnenen Informationen können bei der Detektion und/oder Klassifizierung von Objekten berücksichtigt werden. Da die Vorrichtung ein Stereokamerasystem mit mindestens zwei Grauwertbilderfassungssensoren umfasst, kann sowohl die Entfernung eines Objekts zur Vorrichtung als auch eine Farbinformation über eine Farbe des Objekts ermittelt werden.By an apparatus with the features of claim 1 is achieved that with only one device both at least one image pair with black and white Single images with images of the object to be detected and a color image with image of the object to be detected can be generated. Both the black and white images and the The color information obtained in the detection can and / or classification of objects. As the device is a stereo camera system having at least two gray level image sensing sensors includes, both the removal of an object to the device as also determines a color information about a color of the object become.

Vorzugsweise sind die Grauwertbilderfassungssensoren des Stereokamerasystems und der Farbbilderfassungssensor des Monokamerasystems derart angeordnet, dass der Erfassungsbereich des Farbbilderfassungssensors und der Erfassungsbereich des Stereokamerasystems sich schneiden. Hierdurch kann zeitgleich ein Schwarzweißbildpaar mit Abbildungen des detektierten Objektes und ein Farbbild mit einer Abbildung des detektierten Objektes erzeugt werden.Preferably are the grayscale imaging sensors of the stereo camera system and the color image detection sensor of the monocamera system arranged such that the detection area of the color image sensor and the Intersect coverage of the stereo camera system. hereby can at the same time a black and white picture pair with pictures of the detected object and a color image with a picture of the detected object can be generated.

Ferner ist es vorteilhaft, dass die Vorrichtung eine Platine hat, wobei die Bilderfassungssensoren jeweils fest mit der Platine verbunden sind, so dass die Lage der Bilderfassungssensoren zueinander fix und unveränderbar ist. Durch die fixe Position der Bilderfassungssensoren zueinander wird der Kalibrierungsaufwand reduziert. Es ist nur ein einmaliges Kalibrieren bei der Montage der Bilderfassungssensoren notwendig, ein Nachkalibrieren während des Betriebes der Vorrichtung ist nicht notwendig.Further it is advantageous that the device has a circuit board, wherein the image acquisition sensors each firmly connected to the board are, so the location of the image acquisition sensors fixed to each other and is unchangeable. Due to the fixed position of the image acquisition sensors to each other, the calibration effort is reduced. It is only one one-time calibration when mounting the image acquisition sensors necessary to recalibrate during operation of the Device is not necessary.

Als Bilderfassungssensoren werden insbesondere optische Halbleitersensoren, CCD-Bilderfassungssensoren und/oder CMOS-Bilderfassungssensoren eingesetzt.When Image acquisition sensors are in particular optical semiconductor sensors, CCD image capture sensors and / or CMOS image capture sensors used.

Ferner ist es vorteilhaft, dass die Vorrichtung mindestens eine Auswerteeinheit hat und mindestens ein Bauteil dieser Auswerteeinheit fest mit der Platine verbunden ist. In der Auswerteeinheit wird insbesondere mindestens ein Bildverarbeitungsprogramm zur Verarbeitung der von den Bilderfassungssensoren erzeugten Bilddaten abgearbeitet.Further it is advantageous that the device has at least one evaluation unit has and at least one component of this evaluation firmly with the board connected is. In the evaluation unit is in particular at least an image processing program for processing the image acquisition sensors processed image data processed.

Die Bilderfassungssensoren und/oder das mindestens ein Bauelement der Auswerteeinheit sind vorteilhafterweise mit der Platine durch eine Lötverbindung, Steckverbindung und/oder Pressverbindung verbunden.The Image acquisition sensors and / or the at least one component of Evaluation unit are advantageously connected to the board by a Solder connection, plug connection and / or press connection connected.

Die Bilderfassungssensoren haben jeweils einen Bilderfassungsbereich. Der Abstand zwischen den Mittelpunkten der Bilderfassungsbereiche der Grauwertbilderfassungssensoren des Stereokamerasystems hat vorteilhafterweise einen Wert im Bereich zwischen 80 mm und 300 mm. Hierdurch wird eine ausreichend genaue Messung der Entfernung eines Objektes zur Vorrichtung sichergestellt.The Image capture sensors each have an image capture area. The distance between the centers of the image capture areas the grayscale imaging sensor of the stereo camera system has advantageously a value in the range between 80 mm and 300 mm. This will be a sufficiently accurate measurement of the distance of an object to the device ensured.

Ferner ist es besonders vorteilhaft, wenn die Bilderfassungssensoren derart angeordnet sind, dass die Mittelpunkte der Bilderfassungsbereiche der Bilderfassungssensoren auf einer ersten Gerade liegen und eine Randlinie des Bilderfassungsbereiches des ersten Grauwertbilderfassungssensors und einer Randlinie des Bilderfassungsbereiches des zweiten Grauwertbilderfassungssensors auf einer zweiten Geraden liegen und eine Randlinie des Bilderfassungsbereiches des Farbbilderfassungssensor auf der zweiten Geraden liegt oder auf einer parallel zur zweiten Geraden angeordneten dritten Geraden liegt und der Abstand des Mittelpunktes des Bilderfassungsbereiches des Farbbilderfassungssensors zum Mittelpunkt des Bilderfassungsbereiches des ersten Grauwertbilderfassungssensors und der Abstand des Mittelpunktes des Bilderfassungsbereiches des Farbbilderfassungssensors zum Mittelpunkt des Bilderfassungsbereiches des zweiten Grauwertbilderfassungssensors gleich sind. Durch eine derartige Anordnung der Bilderfassungssensoren wird zum Einen der Montageaufwand und zum Anderen der Rechenaufwand reduziert. Die Randlinien der Bilderfassungsbereiche der Bilderfassungssensoren werden jeweils durch Bildpunkterfassungselemente gebildet.Further it is particularly advantageous if the image sensing sensors such are arranged that the centers of the image acquisition areas the image acquisition sensors lie on a first straight line and a Edge line of the image capture area of the first gray level image capture sensor and an edge line of the image sensing area of the second gray level image detection sensor lie on a second line and an edge line of the image capture area the color image detection sensor is on the second straight line or on a third straight line parallel to the second straight line is and the distance of the center of the image capture area of the color image sensor to the center of the image capture area of the first gray scale image acquisition sensor and the distance of the center point of the image capture area of the color imaging sensor to the center the image capture area of the second gray level image capture sensor are the same. By such an arrangement of image sensing sensors On the one hand, the assembly effort and on the other hand, the computational effort reduced. The border lines of the image acquisition areas of the image acquisition sensors are each formed by pixel detection elements.

Ferner ist es vorteilhaft, dass die Bilderfassungssensoren so auf der Platine angeordnet sind, dass die Bilderfassungsbereiche der Bilderfassungssensoren in einer Ebene liegen.Furthermore, it is advantageous that the Bildfas tion sensors are arranged on the board so that the image sensing areas of the image sensing sensors lie in one plane.

Außerdem umfasst die Vorrichtung vorzugsweise mindestens zwei Objektive, die so mit der Platine verbunden und/oder zur Platine angeordnet sind, dass jeweils eine Abbildung eines Erfassungsbereiches des Stereokamerasystems auf jeweils einen Bilderfassungsbereich der Grauwertbilderfassungssensoren abgebildet und/oder fokussiert sind. Ferner hat die Vorrichtung mindestens ein Objektiv, das so mit der Platine verbunden und/oder so zur Platine angeordnet ist, dass eine Abbildung des Erfassungsbereiches des Monokamerasystems auf den Bilderfassungsbereich des Farbbilderfassungssensors abgebildet und/oder fokussiert ist. Über die Wahl der Objektive kann eine Anpassung des Stereokamerasystems und/oder des Monofarbkamerasystems an die gewünschte Brennweite, Lichtstärke und/oder optische Apertur erfolgen. Durch die Verbindung der Objektive mit der Platine wird die Lage der Objektive zum Bilderfassungsbereich des jeweiligen Bilderfassungssensors auf einfache Weise festgelegt. Es ist besonders vorteilhaft, wenn die optische Achse eines jeden Objektivs durch den Mittelpunkt des Bilderfassungsbereiches des zugehörigen Bilderfassungssensors oder in der Nähe des Bildmittelpunkts durch den Bilderfassungsbereich verläuft. Dadurch kann das Erfassen von zur Weiterverarbeitung geeigneter Bilder sichergestellt werden.Furthermore the device preferably comprises at least two objectives, the so connected to the board and / or arranged to the board are that in each case an illustration of a detection range of Stereo camera system on each one image capture area of the Grayscale imaging sensors are imaged and / or focused. Furthermore, the device has at least one lens, so with the Board connected and / or so arranged to the board that a Illustration of the detection range of the mono camera system on the Image capture area of the color image capture sensor imaged and / or is focused. About the choice of lenses can be an adjustment the stereo camera system and / or the monochrome camera system to the desired Focal length, light intensity and / or optical aperture. By connecting the lenses to the board becomes the location the lenses to the image capture area of the respective image capture sensor set in a simple way. It is especially advantageous if the optical axis of each lens through the center of the Image capture area of the associated image capture sensor or near the center of the image through the image capture area runs. This allows the detection of for further processing appropriate images are ensured.

Des Weiteren ist es vorteilhaft, dass die Objektive des Stereokamerasystems eine größere Brennweite als das Objektiv des Monokamerasystems haben. Hierdurch können in den mit Hilfe des Stereokamerasystems erzeugten Bildpaaren Abbildungen von Objekten bereits dann detektiert werden, wenn sich das Objekt in großer Entfernung zur Vorrichtung befindet. Mit Hilfe der durch das Monokamerasystem erzeugten Farbbilder kann die Farbe des detektierten Objekts ermittelt werden, sobald sich das detektierte Objekt in ausreichender Nähe zur Vorrichtung befindet.Of Furthermore, it is advantageous that the lenses of the stereo camera system a larger focal length than the lens of the mono camera system to have. This can be done in the using the stereo camera system generated image pairs images of objects already detected when the object is located far away from the device. With the help of the color images generated by the mono camera system can the color of the detected object can be determined as soon as the detected object in sufficient proximity to the device located.

Eine größere Brennweite der Objektive der Stereokamerasystems im Vergleich zu dem Objektiv des Monokamerasystems kann dadurch erreicht werden, dass die Objektive des Stereokamerasystems Teleobjektive und das Objektiv des Monokamerasystems ein Normalobjektiv sind, oder dadurch, dass die Objektive des Stereokamerasystems Teleobjektive sind und das Objektiv des Monokamerasystems ein Weitwinkelobjektiv ist, oder dadurch, dass die Objektive des Stereokamerasystems Normalobjektive und das Objektiv des Monokamerasystems ein Weitwinkelobjektiv sind.A larger focal length of the lenses of the stereo camera system compared to the lens of the mono camera system can thereby can be achieved that the lenses of the stereo camera system telephoto lenses and the lens of the mono camera system are a normal lens, or by the fact that the lenses of the stereo camera system are telephoto lenses and the lens of the mono camera system is a wide-angle lens, or by the fact that the lenses of the stereo camera system normal lenses and the lens of the mono camera system are a wide-angle lens.

Darüber hinaus ist es vorteilhaft, dass mit Hilfe des Stereokamerasystems mehrere Bildpaare mit Abbildungen des Erfassungsbereiches nacheinander als Bildfolge erfasst werden und in mindestens einem Einzelbild eines ersten Bildpaares mindestens eine Abbildung mindestens eines Objektes detektiert wird. Anschießend wird die Position des detektierten Objektes in mindestens einem Einzelbild eines zweiten Bildpaares der nacheinander als Bildfolge aufgenommenen Bildpaare ermittelt. Hierdurch ist ein Tracking des detektierten Objekts möglich.About that In addition, it is advantageous that with the help of the stereo camera system several image pairs with images of the coverage area in succession as Image sequence can be captured and in at least one frame of a first image pair at least one image of at least one object is detected. Anschießend the position of the detected Object in at least one frame of a second image pair determined in succession as image sequence recorded image pairs. As a result, a tracking of the detected object is possible.

Besonders vorteilhaft ist es, wenn auf der Platine Elemente einer Infrarotbeleuchtungsvorrichtung angeordnet sind. Insbesondere sind Infrarotleuchtdioden auf der Platine angeordnet und über Lötverbindungen mit dieser verbunden. Dadurch ist eine Beleuchtung des Erfassungsbereichs des Stereokamerasystems mit Hilfe dieser Infrarotleuchtdioden möglich, so dass auch bei Dunkelheit verwertbare Bilder mit Hilfe des Stereokamerasystems aufgenommen werden können.Especially It is advantageous if on the board elements of an infrared lighting device are arranged. In particular, infrared LEDs are on the Board arranged and soldered with this connected. This is a lighting of the detection area of the stereo camera system with the help of these infrared light emitting diodes possible, so that even in the dark usable images with the help of the stereo camera system can be included.

Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zur Detektion von mindestens einem Objekt. Mit Hilfe eines Stereokamerasystems, das mindestens zwei Grauwertbilderfassungssensoren hat, wird mindestens ein erstes Bildpaar mit jeweils einer Abbildung eines Erfassungsbereiches erfasst. In mindestens einem Einzelbild dieses erfassten Bildpaares wird mindestens eine Abbildung mindestens eines Objekts detektiert. Ferner wird mit Hilfe eines Farbbilderfassungssensors eines Monokamerasystems mindestens ein Bild mit einer Abbildung eines Erfassungsbereiches erfasst und in diesem durch den Farbbilderfassungssensor aufgenommenen Bild mindestens eine Abbildung des im ersten Bildpaar detektierten Objekts detektiert. Des Weiteren wird mindestens eine Farbe des detektierten Objekts ermittelt.One Another aspect of the invention relates to a method for detection of at least one object. With the help of a stereo camera system, which has at least two grayscale imaging sensors, becomes at least a first pair of images, each with an image of a detection area detected. In at least one frame of this captured image pair At least one image of at least one object is detected. Further, by means of a color image detection sensor of a monocamera system at least one image with an image of a detection area detected and recorded in this by the color image sensor Image at least one image of the detected in the first pair of images Object detected. Furthermore, at least one color of the Detected object determined.

Es ist vorteilhaft, mit Hilfe des Grauwertstereokamerasystems mehrere Bildpaare mit Abbildungen des Erfassungsbereichs nacheinander als Bildfolge zu erfassen, in mindestens einem Einzelbild des ersten Bildpaares mindestens eine Abbildung mindestens eines Objektes zu detektieren und die Position des detektierten Objektes in mindestens einem Einzelbild eines zweiten Bildpaares der nacheinander als Bildfolge aufgenommenen Bildpaare zu ermitteln. Hierdurch ist ein Tracking des detektierten Objekts möglich.It is advantageous with the help of the gray level stereo camera system several Image pairs with images of the coverage area in succession as Capture sequence in at least one frame of the first Picture pair at least one image of at least one object detect and the position of the detected object in at least a frame of a second image pair of successively as an image sequence to determine recorded image pairs. This is a tracking the detected object possible.

Ferner ist vorteilhaft, dass das mit Hilfe des Stereokamerasystems aufgenommene Bildpaar und das mit Hilfe des Monokamerasystems aufgenommene Bild gleichzeitig erfasst werden.Further is advantageous that the recorded with the help of the stereo camera system Picture pair and the picture taken with the help of the monocamera system be recorded at the same time.

Das durch den unabhängigen Verfahrensanspruch spezifizierte Verfahren kann in gleicher Weise weitergebildet werden wie die Vorrichtung nach Anspruch 1. Insbesondere kann das Verfahren mit den in den auf die Vorrichtung rückbezogenen abhängigen Patentansprüchen angegebenen Merkmalen bzw. den entsprechenden Verfahrensmerkmalen weitergebildet werden.The method specified by the independent method claim can be developed in the same way as the device according to claim 1. In particular, the method with the be further developed in the referenced to the device dependent claims characteristics or the corresponding features of the method.

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung, welche in Verbindung mit den beigefügten Figuren die Erfindung anhand von Ausführungsbeispielen näher erläutert.Further Features and advantages of the invention will become apparent from the following Description, which in conjunction with the attached Figures the invention based on embodiments explained in more detail.

Es zeigen:It demonstrate:

1 eine Draufsicht auf eine schematisch dargestellte Vorrichtung zur Detektion von Objekten; und 1 a plan view of a schematically illustrated device for the detection of objects; and

2 eine perspektivische Draufsicht auf die Vorrichtung nach 1 und drei mit der Platine koppelbare Objektive. 2 a perspective top view of the device according to 1 and three lenses coupleable to the board.

In 1 ist eine Draufsicht auf eine schematisch dargestellte Vorrichtung 9 zur Detektion von Objekten dargestellt. Die Vorrichtung 9 hat eine Platine 1 und weitere mit der Platine 1 verbundene Bauteile 2 bis 5, 8a bis 8d. Die Platine 1 umfasst einen Träger aus isolierendem Material, der elektrisch leitende Verbindungen hat, die die elektrischen Anschlüsse der mit der Platine 1 verbundenen Bauteile 2 bis 5, 8a bis 8d elektrisch miteinander verbinden. Die elektrisch leitende Verbindungen sind vorzugsweise als Leiterbahnen in Form einer gedruckten Schaltung ausgeführt. Die Platine 1 ist beispielsweise aus Phenolharz und Papier, aus Epoxydharz und Papier oder aus Epoxydharz und Glasfasergewebe und Leiter bahnen aus Kupfer hergestellt. Eine solche Platine 1 wird auch als Leiterplatte bezeichnet. Sowohl die Signalanschlüsse als auch die Anschlüsse zur Stromversorgung der Bauteile 2 bis 5, 8a bis 8d sind mit elektrischen Verbindungen der Platine 1 verbunden. Zusätzlich zu den durch die Platine 1 bereitgestellten elektrischen Verbindungen können elektrische Verbindungen über Verbindungsleitungen zur elektrischen Verbindung von Bauteilen 2 bis 5, 8a bis 8d auf der Platine 1 und/oder zum Verbinden der Platine 1 mit weiteren Baueinheiten vorgesehen sein.In 1 is a plan view of a schematically illustrated device 9 presented for the detection of objects. The device 9 has a board 1 and more with the board 1 connected components 2 to 5 . 8a to 8d , The board 1 includes a support of insulating material having electrically conductive connections that connect the electrical connections to the board 1 connected components 2 to 5 . 8a to 8d connect electrically. The electrically conductive connections are preferably designed as printed conductors in the form of a printed circuit. The board 1 is for example made of phenolic resin and paper, of epoxy resin and paper or of epoxy resin and glass fiber fabric and conductor tracks made of copper. Such a board 1 is also referred to as a printed circuit board. Both the signal connections and the connections for the power supply of the components 2 to 5 . 8a to 8d are with electrical connections of the board 1 connected. In addition to the through the board 1 provided electrical connections can electrical connections via connecting lines for the electrical connection of components 2 to 5 . 8a to 8d on the board 1 and / or for connecting the board 1 be provided with other units.

Auf der Platine 1 sind drei Bilderfassungssensoren 2 bis 4 angeordnet und über geeignete Verbindungen mit den Leiterbahnen der Platine 1 elektrisch verbunden. Die beiden äußeren Bilderfassungssensoren 2, 3 sind Grauwertbilderfassungssensoren. Der mittlere Bilderfassungssensor 4 ist ein Farbbilderfassungssensor. Die Grauwertbilderfassungssensoren 2, 3 sind vorzugsweise identisch. Die Abstände 6, 7 zwischen Bilderfassungssensoren 2 bis 4 sind durch die gedruckte Schaltung der Platine 1 vorgebeben. Der Abstand 6 zwischen den Grauwertbilderfassungssensoren 2, 3 hat vorzugsweise einen Wert im Bereich von 80 mm bis 300 mm. Der Abstand 7 zwischen dem Farbbilderfassungssensor 4 und einem der Grauwertbilderfassungssensoren 2, 3 ist vorzugsweise halb so groß wie der Abstand 6 zwischen den Grauwertbilderfassungssensoren 2, 3. Der Abstand des Farbbilderfassungssensors 4 zu dem Grauwertbilderfassungssensor 2 und der Abstand zwischen dem Farbbilderfassungssensor 4 und dem Grauwertbilderfassungssensor 3 sind somit identisch. Die Bilderfassungssensoren 2 bis 4 sind mit der Platine 1 über mindestens eine Lötverbindung verbunden. Alternativ können die Bilderfassungssensoren 2 bis 4 in jeweils einem mit der Platine 1 jeweils über mindestens eine Lötverbindung verbundenen Sockel gesteckt sein. Durch die fixe Position der Bilderfassungssensoren 2 bis 4 zueinander ist der Kalibrierungsaufwand zur Kalibrierung der Vorrichtung 9 reduziert. Es ist nur ein einmaliges Kalibrieren bei der Montage der Bilderfassungssensoren 2 bis 4 notwendig. Ein Nachkalibrieren während des Betriebes der Vorrichtung 9 ist nicht notwendig. Die Bilderfassungssensoren 2 bis 4 sind vorzugsweise optische Halbleitersensoren. Als Bilderfassungssensoren 2 bis 4 eigenen sich beispielsweise CCD-Bilderfassungssensoren oder CMOS-Bilderfassungssensoren.On the board 1 are three image acquisition sensors 2 to 4 arranged and via suitable connections with the tracks of the board 1 electrically connected. The two outer image acquisition sensors 2 . 3 are grayscale imaging sensors. The middle image acquisition sensor 4 is a color image sensor. The grayscale imaging sensors 2 . 3 are preferably identical. The distances 6 . 7 between image acquisition sensors 2 to 4 are through the printed circuit of the board 1 pre shake. The distance 6 between the gray scale image detection sensors 2 . 3 preferably has a value in the range of 80 mm to 300 mm. The distance 7 between the color image sensor 4 and one of the gray scale imaging sensors 2 . 3 is preferably half the distance 6 between the gray scale image detection sensors 2 . 3 , The distance of the color image sensor 4 to the gray scale image detection sensor 2 and the distance between the color image detection sensor 4 and the gray value image detection sensor 3 are therefore identical. The image capture sensors 2 to 4 are with the board 1 connected via at least one solder joint. Alternatively, the image acquisition sensors 2 to 4 in each case one with the board 1 be plugged in each case connected via at least one solder joint socket. Due to the fixed position of the image acquisition sensors 2 to 4 to each other is the calibration effort to calibrate the device 9 reduced. It is only a one-time calibration when mounting the image acquisition sensors 2 to 4 necessary. A recalibration during operation of the device 9 is not necessary. The image capture sensors 2 to 4 are preferably optical semiconductor sensors. As image acquisition sensors 2 to 4 are suitable for example CCD image acquisition sensors or CMOS image acquisition sensors.

Die Bilderfassungssensoren 2 bis 4 sind so auf der Platine 1 angeordnet und mit dieser verbunden, dass zumindest die Bilderfassungsbereiche der Grauwertbilderfassungssensoren 2, 3 abgesehen von geringen Fertigungstoleranzen in einer Ebene angeordnet sind. Vorzugsweise sind alle Bilderfassungsbereiche der Bilderfassungssensoren 2 bis 4 in einer Ebene angeordnet. Die Mittelpunkte der durch Bildpunkterfassungselemente gebildeten Bilderfassungsbereiche der Bilderfassungssensoren 2 bis 4 liegen im in 1 dargestellten Ausführungsbeispiel auf einer ersten Geraden. Ferner liegen die durch die Bildpunkterfassungselemente gebildeten oberen Randlinien der Bilderfassungsbereiche der Bilderfassungssensoren 2 bis 4 auf einer zweiten Geraden, die parallel zur ersten Geraden verläuft. Sowohl die erste Gerade als auch die zweite Gerade verlaufen parallel zur oberen Kante der Platine 1. Alternativ sind auch andere Anordnungen der Bilderfassungssensoren 2 bis 4 möglich. Insbesondere kann der Farbbilderfassungssensor 4 eine von der Größe der Grauwertbilderfassungssensoren 2, 3 abweichende Größe haben. Die Bilderfassungsbereiche der Bilderfassungssensoren 2 bis 4 befinden sich auf der der Platine 1 abgewandten Seite des jeweiligen Bilderfassungssensors 2 bis 4.The image capture sensors 2 to 4 are so on the board 1 arranged and connected to that at least the image sensing areas of the gray scale image sensing sensors 2 . 3 are arranged apart from low manufacturing tolerances in a plane. Preferably, all image capture areas are the image capture sensors 2 to 4 arranged in a plane. The centers of the image sensing areas of the image sensing sensors formed by pixel detection elements 2 to 4 lie in the 1 illustrated embodiment on a first straight line. Further, the upper boundary lines of the image detection areas of the image detection sensors formed by the pixel detection elements are located 2 to 4 on a second straight that runs parallel to the first straight. Both the first straight line and the second straight line run parallel to the upper edge of the board 1 , Alternatively, other arrangements of image sensing sensors are also possible 2 to 4 possible. In particular, the color image detection sensor 4 one of the size of the grayscale imaging sensors 2 . 3 have different size. The image capture areas of the image acquisition sensors 2 to 4 are on the board 1 opposite side of each image acquisition sensor 2 to 4 ,

Ferner ist auf der Platine 1 ein Bauelement 5 einer Auswerteeinheit angeordnet, zu der die von den Bilderfassungssensoren 2 bis 4 erzeugten Bild daten über die von der Platine 1 bereitgestellten elektrische Verbindung übertragen werden. Die Verarbeitung der Bilddaten in der Auswerteeinheit erfolgt mit Hilfe von durch ein Bildverarbeitungsprogramm bereitgestellten Bildverarbeitungsalgorithmen. Hierzu ist in der Auswerteeinheit mindestens ein Bildverarbeitungsprogramm gespeichert und wird von der Auswerteeinheit beim Betrieb der Vorrichtung 9 abgebildet. Für die Bildverarbeitung können beispielsweise Digitalsignalprozessoren (DSP), ASIC's, FPGA's, und/oder Vektorprozessoren als Auswerteeinheit eingesetzt und insbesondere auf der Platine 1 angeordnet werden. Zusätzlich oder alternativ können zur Bildverarbeitung auch sogenannte Logik Arrays, wie Programable Logic Devices (PLD), eingesetzt werden.Further, on the board 1 a component 5 an evaluation unit, to which of the image acquisition sensors 2 to 4 generated image data about that from the board 1 provided electrical connection are transmitted. The processing of the image data in the evaluation unit takes place with the aid of image processing algorithms provided by an image processing program. This is in the Evaluation unit stored at least one image processing program and is the evaluation unit during operation of the device 9 displayed. For image processing, for example, digital signal processors (DSP), ASICs, FPGAs, and / or vector processors can be used as an evaluation unit and in particular on the board 1 to be ordered. Additionally or alternatively, so-called logic arrays, such as programmable logic devices (PLD) can be used for image processing.

Der erste Grauwertbilderfassungssensoren 2 bildet zusammen mit einem dem ersten Grauwertbilderfassungssensoren 2 zugeordneten, nicht dargestellten ersten Objektiv eine erste Einzelkamera eines Stereokamerasystems. Der zweite Grauwertbilderfassungssensoren 3 bildet zusammen mit einem dem zweiten Grauwertbilderfassungssensoren 3 zugeordneten, nicht dargestellten zweiten Objektiv eine zweite Einzelkamera des Stereokamerasystems. Der Farbbilderfassungssensor 4 bildet zusammen mit einem dem Farbbilderfassungssensor 4 zugeordneten, nicht dargestellten dritten Objektiv und der Auswerteeinheit ein Monokamerasystem.The first gray scale imaging sensor 2 forms together with a first gray level image sensor 2 associated, not shown first lens a first single camera of a stereo camera system. The second grayscale imaging sensor 3 forms together with a second gray level image detection sensors 3 associated second lens, not shown, a second single camera of the stereo camera system. The color image sensor 4 forms together with a color image detection sensor 4 associated, not shown third lens and the evaluation a mono camera system.

Ferner sind auf der Platine 1 Bauteile 8a bis 8d einer Infrarotbeleuchtungsvorrichtung angeordnet. Die Bauteile 8a bis 8d sind insbesondere Infrarotleuchtdioden. Durch die Verwendung von Infrarotlicht kann die Vorrichtung 9 auch bei Dunkelheit zur Bilderfassung genutzt werden, da der Erfassungsbereich des Monokamerasystems und die Erfassungsbereiche der Einzelkameras der Stereokamerasystems mit Hilfe der Infrarotbeleuchtungsvorrichtung zumindest teilweise beleuchtet werden können.Further, on the board 1 components 8a to 8d an infrared illuminating device arranged. The components 8a to 8d are in particular infrared light emitting diodes. By using infrared light, the device can 9 be used in the dark for image capture, since the detection range of the monocamera system and the detection ranges of the individual cameras of the stereo camera system using the infrared illumination device can be at least partially illuminated.

In 2 ist eine perspektivische Draufsicht auf die Vorrichtung 9 nach 1 mit drei mit der Platine 1 koppel- und entkoppelbaren Objektiven 10 bis 12 dargestellt. Elemente mit gleichem Aufbau oder gleicher Funktion haben dieselben Bezugszeichen. Die Objektive 10 bis 12 sind so mit der Platine 1 koppelbar, dass jeweils die optische Achse eines Objektives 10 bis 12 durch den Mittelpunkt des Bilderfassungsbereiches eines Bilderfassungssensors 2 bis 4 verläuft oder den Bilderfassungsbereich nahe des Mittelpunkts schneidet. Die Objektive 10 bis 12 werden beispielsweise auf die Platine 1 geklebt, mit der Platine 1 verschraubt, über geeignete Rastelemente mit der Platine 1 verbunden oder über geeignete Klemmverbindungen mit der Platine 1 verbunden.In 2 is a perspective top view of the device 9 to 1 with three with the board 1 coupling and decoupled lenses 10 to 12 shown. Elements with the same structure or the same function have the same reference numerals. The lenses 10 to 12 are like that with the board 1 coupled, that in each case the optical axis of an objective 10 to 12 through the center of the image capture area of an image capture sensor 2 to 4 runs or intersects the image capture area near the midpoint. The lenses 10 to 12 for example, on the board 1 glued, with the board 1 screwed, via suitable locking elements with the board 1 connected or via suitable clamping connections with the board 1 connected.

Alternativ können die Objektive 10 bis 12 auch in ein nicht dargestelltes Gehäuse integriert sein. Die Lage der Objektive 10 bis 12 zu den Bilderfassungsbereichen der Bilderfassungssensoren 2 bis 4 ist in diesem Fall über die Lage des Gehäuses zu der Platine 1 festgelegt. Das Gehäuse kann zum dauerhaften Schutz der Vorrichtung 9, beispielsweise gegen Umwelteinflüsse, wie Spritzwasser, Kälte, Regen und/oder Vandalismus, dienen. Die Grauwertbilderfassungssensoren 2, 3 bilden zusammen mit den den Grauwertbilderfassungssensoren 2, 3 zugeordneten Objektiven 10, 11 und der Auswerteeinheit ein Stereokamerasystem. Der Farbbilderfassungssensor 4 bildet zusammen mit dem dem Farbbilderfassungssensor 4 zugeordneten Objektiv 12 und der Auswerteeinheit ein Monokamerasystem. Die Kombination eines Stereokamerasystems und eines Monokamerasystems zu einer Vorrichtung 9 wird auch als Kombikamerasystem bezeichnet.Alternatively, the lenses can 10 to 12 be integrated into a housing, not shown. The location of the lenses 10 to 12 to the image acquisition areas of the image acquisition sensors 2 to 4 is in this case about the location of the housing to the board 1 established. The housing can be used to permanently protect the device 9 , For example, against environmental influences, such as spray, cold, rain and / or vandalism serve. The grayscale imaging sensors 2 . 3 together with the gray scale image acquisition sensors 2 . 3 assigned lenses 10 . 11 and the evaluation unit a stereo camera system. The color image sensor 4 forms together with the color image detection sensor 4 associated lens 12 and the evaluation unit a monocamera system. The combination of a stereo camera system and a monocamera system to a device 9 is also referred to as combined camera system.

Die Objektive 10 bis 12 haben jeweils eine oder mehrere Linsen und/oder weitere optische Elemente und dienen insbesondere zur Fokussierung von Abbildungen auf die Bilderfassungsbereiche der Bilderfassungssensoren 2 bis 4. Über die Wahl der Objektive 10 bis 12 kann eine Anpassung des Stereokamerasystems und des Monokamerasystems an die gewünschte Brennweite, Lichtstärke und/oder optische Apertur erfolgen. Die Objektive 10, 11, die den Grauwertbilderfassungssensoren 2, 3 des Stereokamerasystems zugeordnet sind, sind vorzugsweise identisch. Ferner haben die Objektive 10, 11 des Stereokamerasystems vorzugsweise eine größere Brennweite als das Objektiv 12 des Monokamerasystems. Um dies zu erreichen sind drei Alternativen möglich:

  • 1. Die Objektive 10, 11 des Stereokamerasystems sind Teleobjektive und das Objektiv 12 des Monokamerasystems ist ein Weitwinkelobjektiv.
  • 2. Die Objektive 10, 11 des Stereokamerasystems sind Normalobjektive und das Objektiv 12 des Monokamerasystems ist ein Weitwinkelobjektiv.
  • 3. Die Objektive 10, 11 des Stereokamerasystems sind Teleobjektive und das Objektiv 12 des Monokamerasystems ist ein Normalobjektiv.
The lenses 10 to 12 each have one or more lenses and / or other optical elements and are used in particular for focusing images on the image capture areas of the image acquisition sensors 2 to 4 , About the choice of lenses 10 to 12 An adaptation of the stereo camera system and the monocamera system to the desired focal length, light intensity and / or optical aperture can take place. The lenses 10 . 11 , which are the gray level image sensing sensors 2 . 3 of the stereo camera system are preferably identical. Furthermore, the lenses have 10 . 11 of the stereo camera system, preferably a larger focal length than the lens 12 of the mono camera system. To achieve this, three alternatives are possible:
  • 1. The lenses 10 . 11 of the stereo camera system are telephoto lenses and the lens 12 of the mono camera system is a wide-angle lens.
  • 2. The lenses 10 . 11 of the stereo camera system are normal lenses and the lens 12 of the mono camera system is a wide-angle lens.
  • 3. The lenses 10 . 11 of the stereo camera system are telephoto lenses and the lens 12 of the mono camera system is a normal lens.

Mit Hilfe der Einzelbildkameras des Stereokamerasystems wird mindestens ein erstes Bildpaar mit jeweils einer Abbildung des jeweiligen Erfassungsbereiches erfasst. In mindestens einem Einzelbild dieses erfassten Bildpaares wird mindestens eine Abbildung mindestens eines Objektes detektiert. Vorteilhafterweise werden durch die Stereokamera mehrere Bildpaare mit Abbildung des Erfassungsbereiches nacheinander als Bildfolge erfasst. Mit Hilfe einer in der Auswerteeinheit hinterlegten Trackingfunktion wird die Position des im ersten Bildpaar detektierten Objekts in Einzelbildern weiterer der als Bildfolge aufgenommenen Bildpaare ermittelt.With Help of the still camera of the stereo camera system becomes at least a first image pair, each with an image of the respective detection area detected. In at least one frame of this captured image pair At least one image of at least one object is detected. advantageously, through the stereo camera several pairs of images with illustration of the Detection area sequentially recorded as image sequence. With the help of a The tracking function stored in the evaluation unit becomes the position of the object detected in the first image pair in individual images determines the image pairs recorded as image sequence.

Ferner wird mit Hilfe des Monokamerasystems ein Farbbild des Erfassungsbereichs des Monokamerasystems erfasst. In dem Farbbild des Monokamerasystems wird eine Abbildung des in dem Bildpaar des Grauwertstereokamerasystems detektierten Objektes detektiert. In dem Farbbild können eine oder mehrere Farben des detektierten Objekts und/oder ein Farbverlauf ermittelt werden.Further becomes a color image of the detection area with the aid of the mono camera system of the monocamera system. In the color image of the mono camera system becomes an image of the in the image pair of the gray level stereo camera system detected object detected. In the color image can one or more colors of the detected object and / or a color gradient be determined.

Im beschriebenen Ausführungsbeispiel wird durch die Kombination eines Grauwertstereokamerasystems und eines Farbmonokamerasystems zu einem Kombikamerasystem erreicht, dass das Kombikamerasystem die große Brennweite und hohe Auflösung und somit einen großen Erfassungsbereich eines Grauwertstereokamerasystems hat und zusätzlich mit Hilfe des Farbmonokamerasystems Farbinformationen über das Objekt ermittelt werden können, sobald das detektierte Objekt sich ausreichend nah vor dem Kombikamerasystem im Erfassungsbereich des Monokamerasystems befindet. Diese zusätzlich gewonnenen Farbinformationen können beispielsweise bei der Klassifizierung des detektierten Objektes genutzt werden oder es kann eine bereits anhand der durch das Grauwertstereokamerasystems aufgenommenen Bildpaaren erfolgte Klassifizierung des detektierten Objektes anhand der durch das Farbmonokamerasystem gewonnenen Farbinformationen verifiziert werden. Mit Hilfe des Stereokamerasystems kann zusätzlich die Entfernung des detektierten Objektes zur Vorrichtung 9 ermittelt werden. Mit Hilfe des Grauwertstereokamerasystems können Objekte vorteilhafterweise in einem Bereich bis zu einer Entfernung von 500 m bis 1000 m erfasst werden. Der Erfassungsbereich des Farbmonokamerasystems erstreckt sich vorzugsweise bis zu einer Entfernung zwischen 50 m und 80 m.In the described embodiment, the combination of a gray level stereo camera system and a color camera system to a combined camera system ensures that the combination camera system has the large focal length and high resolution and thus a large detection range of a gray level stereo camera system and color information about the object can be determined with the help of the color camera system as soon as the detected object is sufficiently close in front of the combined camera system in the detection range of the monocamera system. This additionally obtained color information can be used, for example, in the classification of the detected object, or it is possible to verify a classification of the detected object already based on the image pairs taken by the gray level stereo camera system on the basis of the color information obtained by the color camera system. With the help of the stereo camera system can additionally remove the detected object to the device 9 be determined. With the aid of the gray scale stereo camera system, objects can advantageously be detected in a range up to a distance of 500 m to 1000 m. The detection range of the color camera system preferably extends to a distance of between 50 m and 80 m.

Das beschriebene Verfahren wird zur Erfassung, zur Aufzeichnung, zur Bewertung und zum Zählen von statischen oder bewegten Objekten sowie zur Verfolgung und zur Analyse des Bewegungsverhaltens von Personen und/oder Objekten und zur Vermessung von Objekten und/oder Personen, genutzt. Die Vorrichtung 9 kann zur Objekterkennung in Kraftfahrzeugen, für Kraftfahrzeugassistenzsysteme, im Straßenverkehr, in Fertigungseinrichtungen, in Veranstaltungseinrichtungen, im Fern- und Nahverkehr, in landwirtschaftlichen Betrieben, in öffentlichen Einrichtungen, in Einrichtungen zum Kontrollieren von Massenflüssen und in Industrieprozessen zum Einsatz kommen. Insbesondere eignen sich die Vorrichtung und das Verfahren für die Überwachung von Räumen mit vielen Objekten, insbesondere mit einer großen Anzahl von Menschen, speziell Bahnhöfen, Stadien und Shopping-Centern. Insbesondere bei der Verfolgung von Objekten in Abläufen mit einer Vielzahl verschiedener Objekte erleichtert die durch die mit Hilfe der Farbmonokamera aufgenommenen Bilddaten ermittelte Farbe des zu verfolgenden Objektes die Verfolgung erheblich.The method described is used for recording, recording, evaluating and counting static or moving objects and for tracking and analyzing the movement behavior of persons and / or objects and for measuring objects and / or persons. The device 9 It can be used for object recognition in motor vehicles, for motor vehicle assistance systems, in road traffic, in manufacturing facilities, in event facilities, in long-distance and local traffic, on farms, in public facilities, in facilities for controlling mass flows and in industrial processes. In particular, the apparatus and method are suitable for monitoring rooms with many objects, especially a large number of people, especially railway stations, stadiums and shopping centers. In particular, when tracking objects in sequences with a large number of different objects, the color of the object to be tracked determined by the image data recorded with the aid of the color camera makes the tracking considerably easier.

11
Platinecircuit board
2 bis 42 to 4
BilderfassungssensorImage Sensor
55
Bauelementmodule
6, 76 7
Abständedistances
8a bis 8d8a to 8d
InfrarotbeleuchtungsvorrichtungInfrared illuminator
99
Vorrichtungcontraption
10 bis 1210 until 12
Objektivlens

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • - EP 1758783 B1 [0003] - EP 1758783 B1 [0003]
  • - DE 19633868 A1 [0005] - DE 19633868 A1 [0005]
  • - EP 00918979 B1 [0005] EP 00918979 B1 [0005]
  • - DE 19727999 A1 [0006] DE 19727999 A1 [0006]
  • - DE 19905452 A1 [0007] - DE 19905452 A1 [0007]
  • - DE 10033355 A1 [0008] - DE 10033355 A1 [0008]
  • - EP 01842382 A2 [0009] EP 01842382 A2 [0009]
  • - EP 00174091 A1 [0010] EP 00174091 A1 [0010]

Claims (19)

Vorrichtung zur Detektion mindestens eines Objekts, mit einem Stereokamerasystem, das mindestens zwei Grauwertbilderfassungssensoren (2, 3) umfasst, und mit mindestens einem Monokamerasystem, das mindestens einen Farbbilderfassungssensor (4) umfasst.Device for detecting at least one object, comprising a stereo camera system comprising at least two gray value image acquisition sensors ( 2 . 3 ) and at least one monocamera system comprising at least one color image sensor ( 4 ). Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass sich Erfassungsbereich des Farbbilderfassungssensors (4) und der Erfassungsbereiches des Stereokamerasystems schneiden.Device according to claim 1, characterized in that the detection area of the color image sensor ( 4 ) and the detection range of the stereo camera system. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die relative Position der Bilderfassungssensoren (2 bis 4) zueinander fest ist.Device according to one of the preceding claims, characterized in that the relative position of the image acquisition sensors ( 2 to 4 ) is fixed to each other. Vorrichtung einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung (9) eine Platine (1) hat, wobei die Bilderfassungssensoren (2 bis 4) jeweils fest mit der Platine (1) verbunden sind, so dass die Lage der Bilderfassungssensoren (2 bis 4) zueinander fix und unveränderbar ist.Device according to one of the preceding claims, characterized in that the device ( 9 ) a board ( 1 ), wherein the image acquisition sensors ( 2 to 4 ) each fixed to the board ( 1 ), so that the position of the image acquisition sensors ( 2 to 4 ) is fixed to each other and unchangeable. Vorrichtung einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilderfassungssensoren (2 bis 4) optische Halbleitersensoren, CCD-Bilderfassungssensoren und/oder CMOS-Bilderfassungssensoren sind.Device according to one of the preceding claims, characterized in that the image acquisition sensors ( 2 to 4 ) are semiconductor optical sensors, CCD image sensing sensors and / or CMOS image sensing sensors. Vorrichtung nach einem der Ansprüche 4 oder 5, dadurch gekennzeichnet, dass die Vorrichtung (9) mindestens eine Auswerteeinheit umfasst und dass auf der Platine (1) mindestens ein Bauelement (5) der Auswerteeinheit angeordnet ist.Device according to one of claims 4 or 5, characterized in that the device ( 9 ) comprises at least one evaluation unit and that on the board ( 1 ) at least one component ( 5 ) of the evaluation unit is arranged. Vorrichtung nach einem Anspruch 6, dadurch gekennzeichnet, dass die Auswerteeinheit mindestens ein Bildverarbeitungsprogramm zur Verarbeitung von den Bilderfassungssensoren (2 bis 4) erzeugter Bilddaten abarbeitet.Device according to claim 6, characterized in that the evaluation unit comprises at least one image processing program for processing by the image acquisition sensors ( 2 to 4 ) processed image data. Vorrichtung nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, dass die Bilderfassungssensoren (2 bis 4) und/oder das Bauelement (5) der Auswerteeinheit mit der Platine (1) durch eine Lötverbindung, Steckverbindung, Klemmverbindung und/oder Pressverbindung verbunden sind.Device according to one of claims 6 or 7, characterized in that the image acquisition sensors ( 2 to 4 ) and / or the component ( 5 ) of the evaluation unit with the board ( 1 ) are connected by a solder connection, plug connection, clamp connection and / or press connection. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilderfassungssensoren (2 bis 4) jeweils einen Bilderfassungsbereich haben.Device according to one of the preceding claims, characterized in that the image acquisition sensors ( 2 to 4 ) each have an image capture area. Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, dass der Abstand zwischen den Mittelpunkten der Bilderfassungsbereiche der Grauwertbilderfassungssensoren (2, 3) des Stereokamerasystems einen Wert im Bereich zwischen 80 mm und 300 mm hat.Device according to Claim 9, characterized in that the distance between the centers of the image-capturing regions of the gray-scale image acquisition sensors ( 2 . 3 ) of the stereo camera system has a value in the range between 80 mm and 300 mm. Vorrichtung nach einem der Ansprüche 9 oder 10, dadurch gekennzeichnet, dass die Bilderfassungssensoren (2 bis 4) derart angeordnet sind, dass die Mittelpunkte der Bilderfassungsbereiche der Bil derfassungssensoren (2 bis 4) auf einer ersten Geraden liegen und eine Randlinie des Bilderfassungsbereichs des ersten Grauwertbilderfassungssensors (2) und eine Randlinie des Bilderfassungsbereichs des zweiten Grauwertbilderfassungssensors (3) auf einer zweiten. Geraden liegen und eine Randlinie des Bilderfassungsbereichs des Farbbilderfassungssensors (4) auf der zweiten Geraden liegt oder auf einer parallel zur zweiten Geraden angeordneten dritten Geraden liegt und der Abstand des Mittelpunktes des Bilderfassungsbereichs des Farbbilderfassungssensors (4) zum Mittelpunkt des Bilderfassungsbereiches des ersten Grauwertbilderfassungssensors (2) und der Abstand des Mittelpunktes des Bilderfassungsbereichs des Farbbilderfassungssensors (4) zum Mittelpunkt des Bilderfassungsbereiches des zweiten Grauwertbilderfassungssensors (3) gleich sind.Device according to one of claims 9 or 10, characterized in that the image acquisition sensors ( 2 to 4 ) are arranged such that the centers of the image sensing areas of the image acquisition sensors ( 2 to 4 ) lie on a first straight line and an edge line of the image capture area of the first gray scale image acquisition sensor ( 2 ) and an edge line of the image capture area of the second gray scale image acquisition sensor ( 3 ) on a second. Lines and an edge line of the image capture area of the color image acquisition sensor ( 4 ) lies on the second straight line or lies on a third straight line arranged parallel to the second straight line, and the distance of the center point of the image capture region of the color image sensor ( 4 ) to the center of the image capture area of the first gray level image capture sensor ( 2 ) and the distance of the center of the image-capturing area of the color image sensor ( 4 ) to the center of the image capture area of the second gray scale image acquisition sensor ( 3 ) are the same. Vorrichtung nach Anspruch 12, dadurch gekennzeichnet, dass die Randlinien jeweils durch Bildpunkterfassungselemente des Bilderfassungsbereiche des jeweiligen Bilderfassungssensors (2 bis 4) gebildet sind.Apparatus according to claim 12, characterized in that the boundary lines in each case by pixel detection elements of the image detection areas of the respective image detection sensor ( 2 to 4 ) are formed. Vorrichtung nach einem der Ansprüche 4 bis 12, dadurch gekennzeichnet, dass die Bilderfassungssensoren (2 bis 4) so auf der Platine (1) angeordnet sind, dass die Bilderfassungsbereiche der Bilderfassungssensoren (2 bis 4) in einer Ebene liegen.Device according to one of claims 4 to 12, characterized in that the image acquisition sensors ( 2 to 4 ) so on the board ( 1 ) are arranged such that the image capture areas of the image acquisition sensors ( 2 to 4 ) lie in one plane. Vorrichtung nach einem der Ansprüche 4 bis 13, dadurch gekennzeichnet, dass mindestens zwei Objektive (10, 11) so mit der Platine (1) verbunden und/oder so zur Platine (1) angeordnet sind, dass jeweils eine Abbildung eines Erfassungsbereichs des Stereokamera systems auf jeweils einen Bilderfassungsbereich der Grauwertbilderfassungssensoren (2, 3) abgebildet und/oder fokussiert sind, und dass mindestens ein Objektiv (12) so mit der Platine (1) verbunden und/oder so zur Platine (1) angeordnet ist, dass eine Abbildung des Erfassungsbereichs des Monokamerasystems auf den Bilderfassungsbereich des Farbbilderfassungssensors (4) abgebildet und/oder fokussiert ist.Device according to one of claims 4 to 13, characterized in that at least two lenses ( 10 . 11 ) so with the board ( 1 ) and / or so to the board ( 1 ) are arranged so that in each case an image of a detection range of the stereo camera system in each case an image detection range of the gray scale image sensing sensors ( 2 . 3 ) are imaged and / or focused, and that at least one lens ( 12 ) so with the board ( 1 ) and / or so to the board ( 1 ) is arranged such that an image of the detection range of the monocular camera system on the image capture area of the color image sensor ( 4 ) is imaged and / or focused. Vorrichtung nach Anspruch 14, dadurch gekennzeichnet, dass die Objektive (10 bis 12) derart angeordnet sind, dass jeweils die optische Achse eines Objektivs (10 bis 12) durch den Mittelpunkt des Bilderfassungsbereiches eines Bilderfassungssensors (2 bis 4) verläuft.Device according to claim 14, characterized in that the lenses ( 10 to 12 ) are arranged such that in each case the optical axis of a lens ( 10 to 12 ) through the center of the Image capture area of an image capture sensor ( 2 to 4 ) runs. Vorrichtung nach einem der Ansprüche 14 oder 15, dadurch gekennzeichnet, dass die Objektive (10, 11) des Stereokamerasystems eine größere Brennweite als das Objektiv (12) des Monokamerasystems haben.Device according to one of claims 14 or 15, characterized in that the objectives ( 10 . 11 ) of the stereo camera system has a larger focal length than the objective ( 12 ) of the mono camera system. Verfahren zur Detektion mindestens eines Objekts, bei dem mit Hilfe eines Stereokamerasystems, das mindestens zwei Grauwertbilderfassungssensoren (2, 3) hat, mindestens ein erstes Bildpaar mit jeweils einer Abbildung eines Erfassungsbereichs erfasst wird, in mindestens einem Einzelbild des erfassten Bildpaars mindestens eine Abbildung mindestens eines Objekts detektiert wird, mit Hilfe mindestens eines Farbbilderfassungssensors (4) eines Monokamerasystems mindestens ein Bild mit einer Abbildung eines Erfassungsbereichs erfasst wird, im durch den Farbbilderfassungssensors (4) aufgenommenen Bild mindestens eine Abbildung des im ersten Bildpaar detektierten Objekts detektiert wird, und bei dem mindestens eine Farbe des detektierten Objekts ermittelt wird.Method for detecting at least one object in which, with the aid of a stereo camera system, the at least two gray scale image acquisition sensors ( 2 . 3 ), at least one first image pair, each having an image of a detection area, detects at least one image of at least one object in at least one individual image of the captured image pair, with the aid of at least one color image sensor ( 4 ) of a monocamera system, at least one image with an image of a detection area is detected, detected by the color image sensor ( 4 ) is detected at least one image of the object detected in the first image pair, and in which at least one color of the detected object is determined. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass mit Hilfe des Grauwert-Stereokamerasystems mehrere Bildpaare mit Abbildungen des Erfassungsbereichs nacheinander als Bildfolge erfasst werden, dass in mindestens einem Einzelbild des ersten Bildpaars mindestens eine Abbildung mindestens eines Objekts detektiert wird, und dass die Position des detektierten Objekts in mindestens einem Einzelbild eines zweiten Bildpaars der nacheinander als Bildfolge aufgenommenen Bildpaare ermittelt wird.Method according to claim 17, characterized in that that with the help of the gray-scale stereo camera system several image pairs with images of the detection area sequentially captured as a sequence of images be that in at least one frame of the first image pair at least one image of at least one object is detected, and that the position of the detected object in at least one Single image of a second pair of images in succession as a sequence of images recorded image pairs is determined. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass das mit Hilfe des Stereokamerasystems aufgenommene Bildpaar und das mit Hilfe des Monokamerasystems aufgenommene Bild gleichzeitig erfasst werden.Method according to claim 17, characterized in that that the image pair taken with the aid of the stereo camera system and the image taken by the mono camera system simultaneously be recorded.
DE102008047413A 2008-09-16 2008-09-16 Motor vehicle object detection system has a stereo camera with two gray image sensors and a mono camera with a color image sensor Withdrawn DE102008047413A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102008047413A DE102008047413A1 (en) 2008-09-16 2008-09-16 Motor vehicle object detection system has a stereo camera with two gray image sensors and a mono camera with a color image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008047413A DE102008047413A1 (en) 2008-09-16 2008-09-16 Motor vehicle object detection system has a stereo camera with two gray image sensors and a mono camera with a color image sensor

Publications (1)

Publication Number Publication Date
DE102008047413A1 true DE102008047413A1 (en) 2010-04-15

Family

ID=41820981

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008047413A Withdrawn DE102008047413A1 (en) 2008-09-16 2008-09-16 Motor vehicle object detection system has a stereo camera with two gray image sensors and a mono camera with a color image sensor

Country Status (1)

Country Link
DE (1) DE102008047413A1 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012044619A1 (en) * 2010-09-27 2012-04-05 Apple, Inc. Image capture using three-dimensional reconstruction
EP2636359A1 (en) * 2011-08-15 2013-09-11 Olympus Medical Systems Corp. Imaging device
DE102012014994A1 (en) * 2012-07-28 2014-01-30 Volkswagen Aktiengesellschaft Image processing method for digital stereo camera arrangement, involves detecting two images of object with respective image sensors, where distance between object and digital stereo camera arrangement is determined as function of images
CN103808305A (en) * 2012-11-07 2014-05-21 原相科技股份有限公司 Detection system
EP2630802A4 (en) * 2010-10-22 2015-03-18 Univ New Brunswick Camera imaging systems and methods
DE102014226291A1 (en) 2014-12-17 2016-06-23 Bayerische Motoren Werke Aktiengesellschaft Device and method for warning against surface damage to vehicles
US9684840B2 (en) 2012-10-31 2017-06-20 Pixart Imaging Inc. Detection system
US10354413B2 (en) 2013-06-25 2019-07-16 Pixart Imaging Inc. Detection system and picture filtering method thereof
US10372191B2 (en) 2011-05-12 2019-08-06 Apple Inc. Presence sensing
US10402624B2 (en) 2011-05-12 2019-09-03 Apple Inc. Presence sensing
US10817594B2 (en) 2017-09-28 2020-10-27 Apple Inc. Wearable electronic device having a light field camera usable to perform bioauthentication from a dorsal side of a forearm near a wrist
US10904513B2 (en) 2010-10-22 2021-01-26 University Of New Brunswick Camera image fusion methods
DE112015002290B4 (en) 2014-05-15 2022-02-24 Symbol Technologies, Llc IMAGE MODULE, READER AND METHOD FOR ILLUMINATING AND IMAGING TARGETS TO BE READ OVER AN EXTENDED RANGE OF WORKING DISTANCES

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0174091A1 (en) 1984-08-29 1986-03-12 United Kingdom Atomic Energy Authority Stereo Camera
DE19633868A1 (en) 1996-08-16 1998-04-23 Deutsch Zentr Luft & Raumfahrt Stereo camera for photogrammetry
DE19727999A1 (en) 1997-07-01 1999-01-07 Guenther Richter Stereo camera using two full electronic cameras
DE19905452A1 (en) 1999-02-09 2000-08-17 Deutsch Zentr Luft & Raumfahrt Digital stereo-camera with two mutually horizontally displaced units for forming image pair of object has additional camera unit connected via electrical signaling line for formation of second image using own surface sensor
DE10033355A1 (en) 2000-07-08 2002-01-17 Zeiss Carl Stereo camera includes marker pixels in left and right image sensors, enabling correction of image read-out and of image signal timing
US6377700B1 (en) * 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
US20030190073A1 (en) * 2002-04-03 2003-10-09 Exploitation Of Next Generation Co., Ltd. Image processing device for stereo image processing
DE10326425A1 (en) * 2003-06-10 2005-01-13 Bayerische Motoren Werke Ag Stereoscopic imaging device for optical monitoring of automobile passenger compartment uses reflective surfaces for obtaining 2 images of each of 2 spatial zones at image sensor
DE10353212A1 (en) * 2003-11-13 2005-06-23 Db Netz Ag Method and device for detecting and measuring vegetation in the vicinity of traffic routes
US20060028552A1 (en) * 2004-07-28 2006-02-09 Manoj Aggarwal Method and apparatus for stereo, multi-camera tracking and RF and video track fusion
US20060076472A1 (en) * 2004-10-08 2006-04-13 Dialog Semiconductor Gmbh Single chip stereo imaging system with dual array design
DE102004061998A1 (en) * 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereo camera for a motor vehicle
EP1842382A2 (en) 2004-12-23 2007-10-10 Hella KGaA Hueck & Co. Method and device for determining a calibrating parameter of a stereo camera
EP1758783B1 (en) 2004-05-25 2008-04-16 VDO Automotive AG Monitoring unit in addition to an assist system for motor vehicles
US20080143829A1 (en) * 2006-12-18 2008-06-19 Matsushita Electric Industrial Co., Ltd. Solid-state imaging device, camera, vehicle, surveillance device and driving method for solid state imaging device

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0174091A1 (en) 1984-08-29 1986-03-12 United Kingdom Atomic Energy Authority Stereo Camera
DE19633868A1 (en) 1996-08-16 1998-04-23 Deutsch Zentr Luft & Raumfahrt Stereo camera for photogrammetry
EP0918979B1 (en) 1996-08-16 2001-10-24 DLR Deutsches Zentrum für Luft- und Raumfahrt e.V. Stereocamera for photogrammetry
DE19727999A1 (en) 1997-07-01 1999-01-07 Guenther Richter Stereo camera using two full electronic cameras
US6377700B1 (en) * 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
DE19905452A1 (en) 1999-02-09 2000-08-17 Deutsch Zentr Luft & Raumfahrt Digital stereo-camera with two mutually horizontally displaced units for forming image pair of object has additional camera unit connected via electrical signaling line for formation of second image using own surface sensor
DE10033355A1 (en) 2000-07-08 2002-01-17 Zeiss Carl Stereo camera includes marker pixels in left and right image sensors, enabling correction of image read-out and of image signal timing
US20030190073A1 (en) * 2002-04-03 2003-10-09 Exploitation Of Next Generation Co., Ltd. Image processing device for stereo image processing
DE10326425A1 (en) * 2003-06-10 2005-01-13 Bayerische Motoren Werke Ag Stereoscopic imaging device for optical monitoring of automobile passenger compartment uses reflective surfaces for obtaining 2 images of each of 2 spatial zones at image sensor
DE10353212A1 (en) * 2003-11-13 2005-06-23 Db Netz Ag Method and device for detecting and measuring vegetation in the vicinity of traffic routes
EP1758783B1 (en) 2004-05-25 2008-04-16 VDO Automotive AG Monitoring unit in addition to an assist system for motor vehicles
US20060028552A1 (en) * 2004-07-28 2006-02-09 Manoj Aggarwal Method and apparatus for stereo, multi-camera tracking and RF and video track fusion
US20060076472A1 (en) * 2004-10-08 2006-04-13 Dialog Semiconductor Gmbh Single chip stereo imaging system with dual array design
DE102004061998A1 (en) * 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereo camera for a motor vehicle
EP1842382A2 (en) 2004-12-23 2007-10-10 Hella KGaA Hueck & Co. Method and device for determining a calibrating parameter of a stereo camera
US20080143829A1 (en) * 2006-12-18 2008-06-19 Matsushita Electric Industrial Co., Ltd. Solid-state imaging device, camera, vehicle, surveillance device and driving method for solid state imaging device

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8760517B2 (en) 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
US9536362B2 (en) 2010-09-27 2017-01-03 Apple Inc. Polarized images for security
WO2012044619A1 (en) * 2010-09-27 2012-04-05 Apple, Inc. Image capture using three-dimensional reconstruction
EP2630802A4 (en) * 2010-10-22 2015-03-18 Univ New Brunswick Camera imaging systems and methods
US10904513B2 (en) 2010-10-22 2021-01-26 University Of New Brunswick Camera image fusion methods
US10372191B2 (en) 2011-05-12 2019-08-06 Apple Inc. Presence sensing
US10402624B2 (en) 2011-05-12 2019-09-03 Apple Inc. Presence sensing
EP2636359A1 (en) * 2011-08-15 2013-09-11 Olympus Medical Systems Corp. Imaging device
EP2636359A4 (en) * 2011-08-15 2015-03-25 Olympus Medical Systems Corp Imaging device
DE102012014994A1 (en) * 2012-07-28 2014-01-30 Volkswagen Aktiengesellschaft Image processing method for digital stereo camera arrangement, involves detecting two images of object with respective image sensors, where distance between object and digital stereo camera arrangement is determined as function of images
DE102012014994B4 (en) 2012-07-28 2024-02-22 Volkswagen Aktiengesellschaft Image processing method for a digital stereo camera arrangement
US10255682B2 (en) 2012-10-31 2019-04-09 Pixart Imaging Inc. Image detection system using differences in illumination conditions
US9684840B2 (en) 2012-10-31 2017-06-20 Pixart Imaging Inc. Detection system
US10755417B2 (en) 2012-10-31 2020-08-25 Pixart Imaging Inc. Detection system
CN103808305A (en) * 2012-11-07 2014-05-21 原相科技股份有限公司 Detection system
US10354413B2 (en) 2013-06-25 2019-07-16 Pixart Imaging Inc. Detection system and picture filtering method thereof
DE112015002290B4 (en) 2014-05-15 2022-02-24 Symbol Technologies, Llc IMAGE MODULE, READER AND METHOD FOR ILLUMINATING AND IMAGING TARGETS TO BE READ OVER AN EXTENDED RANGE OF WORKING DISTANCES
DE102014226291A1 (en) 2014-12-17 2016-06-23 Bayerische Motoren Werke Aktiengesellschaft Device and method for warning against surface damage to vehicles
US10817594B2 (en) 2017-09-28 2020-10-27 Apple Inc. Wearable electronic device having a light field camera usable to perform bioauthentication from a dorsal side of a forearm near a wrist
US11036844B2 (en) 2017-09-28 2021-06-15 Apple Inc. Wearable electronic device having a light field camera

Similar Documents

Publication Publication Date Title
DE102008047413A1 (en) Motor vehicle object detection system has a stereo camera with two gray image sensors and a mono camera with a color image sensor
DE102008035150A1 (en) Stereo Camera System
EP2800984B1 (en) Camera arrangement for measuring distance
DE60208894T2 (en) RAIN SENSOR WITH STEREOSCOPIC PICTURE SYSTEM
DE102009012758A1 (en) Device and method for detecting at least one object
EP1018839A2 (en) Method and apparatus for inspecting the rear observation space of a vehicle
DE102009030644B4 (en) Non-contact detection device
DE102010028904A1 (en) Motion analysis and / or tracking system
DE102012105436B4 (en) Vehicle camera for distance measurement
DE102019121340A1 (en) METHOD AND DEVICE FOR DETERMINING MALFUNCTION AND SENSOR SYSTEM
DE102017003634A1 (en) Apparatus and method for calibrating optical sensors
DE102011077398A1 (en) Vehicle camera system for providing a complete picture of the vehicle environment and corresponding method
DE102006028622B4 (en) Rear vision system
DE102008006373B4 (en) Velocity determination using two light sensor arrays
DE102012106030A1 (en) Camera system for detecting the condition of a vehicle window
DE10248416B4 (en) Device and method for determining a relative movement of a vehicle
DE102018218745B4 (en) Camera device, driver assistance system and vehicle
DE10326425B4 (en) Device for spatial image acquisition
DE10205184A1 (en) Device for automatically adjusting the luminance of the light beam emitted by at least one rear lighting device of a vehicle
AT512220B1 (en) METHOD AND A RECORDING APPARATUS FOR RECORDING MULTIPLE PICTURES
DE102012105435A1 (en) Camera system connected with driver assistance system of vehicle for determining object distance, has main unit to detect partial images for generating image of observed scene in light field area, so as to determine object distance
WO2012052308A1 (en) Determination of the base width of a stereo image capture system
DE4128039A1 (en) Precipitation detection equipment for traffic control - includes camera forming image of reference surface at distance and pattern recognition evaluation unit
DE10018312C2 (en) Method and device for focusing an image
DE102012014994B4 (en) Image processing method for a digital stereo camera arrangement

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20140401