WO2015074915A1 - Filter arrangement and method for producing a filter arrangement - Google Patents

Filter arrangement and method for producing a filter arrangement Download PDF

Info

Publication number
WO2015074915A1
WO2015074915A1 PCT/EP2014/074269 EP2014074269W WO2015074915A1 WO 2015074915 A1 WO2015074915 A1 WO 2015074915A1 EP 2014074269 W EP2014074269 W EP 2014074269W WO 2015074915 A1 WO2015074915 A1 WO 2015074915A1
Authority
WO
WIPO (PCT)
Prior art keywords
filter
elements
light
group
assigned
Prior art date
Application number
PCT/EP2014/074269
Other languages
German (de)
French (fr)
Inventor
Alexander Rieger
Stefan Lehnert
Andre MEYER-DAMCKE
Original Assignee
Takata AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Takata AG filed Critical Takata AG
Publication of WO2015074915A1 publication Critical patent/WO2015074915A1/en

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14683—Processes or apparatus peculiar to the manufacture or treatment of these devices or parts thereof
    • H01L27/14685—Process for coatings or optical elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Definitions

  • the invention relates to a filter arrangement for an image sensor according to the preamble of claim 1 and to a method for producing a filter arrangement for an image sensor according to the preamble of claim 13.
  • Cameras with image sensors eg in the form of CCD chips
  • the image sensors have a plurality of photosensitive elements whose signals are evaluated to be e.g. Detecting objects in the image, to track across multiple images and to allow a scene understanding.
  • assistance functions for tracking, traffic sign recognition, high beam control and collision warning can be implemented with such image sensor cameras.
  • the photosensitive elements of an image sensor are sensitive in particular to visible wavelength range and infrared range light.
  • the infrared component of the light may be usable or have a disturbing effect.
  • pedestrians wearing black clothing at night reflect light mainly in the infrared range.
  • Halogen boogie throwers also have a high infrared content, which, however, can lead to saturation effects in the images (ie in the light-sensitive elements of the image sensor) with direct irradiation and also with reflections.
  • the light directed onto the photosensitive elements of the image sensor can be filtered with an infrared cut filter.
  • the determined colors can also be interpolated via an algorithm ("demosaic algorithm") over a plurality of photosensitive elements, so that color information can be assigned to each of the photosensitive elements, but the use of color filters can be associated with disadvantages, for example achieved by the filtering
  • the light produced by the light-sensitive elements of the image sensor is such that the signal generated by the photosensitive elements may fall into the noise region in low-light conditions.
  • the problem underlying the invention is to provide a filter arrangement which can be used efficiently for a large number of applications.
  • a filter arrangement for an image sensor which comprises a plurality of arranged in a grid of photosensitive elements, with
  • the filter elements comprise at least two different groups of filter elements, wherein the filter elements of the first group each pass light of a first wavelength range, and the filter elements of the second group each pass light of a second wavelength range
  • the filter elements of the first and the second group are each arranged in a grid, that after arranging the filter assembly to the image sensor between each of the photosensitive elements, which is a filter element of the first Group is assigned, and each of the (in particular in the plane of the filter assembly adjacent) photosensitive elements, which is associated with a filter element of the second group, at least one photosensitive element to which no filter element is assigned.
  • the inventive filter arrangement is designed for different applications of an image sensor due to the different types of filter elements and the areas that have no filter properties.
  • the sensitivity of the camera is reduced as little as possible due to the relatively high number of photosensitive elements of the image sensor, to which no filter element is assigned.
  • the photosensitive elements without filter element can e.g. be used at low intensity of the light incident on the image sensor (for example, for object recognition at night).
  • color information can be obtained, in particular by comparison of the signals from adjacent photosensitive elements, which differ in their associated filter element.
  • the filter arrangement according to the invention can be used in particular for an image sensor of a camera used in driver assistance systems.
  • the invention is not limited to this application. Rather, the filter assembly according to the invention can also be used together with image sensors for other applications, e.g. in other surveillance systems or scientific applications (such as microscopy).
  • the filter elements of the first group are z. B. each formed as a color filter, that is, as a filter, each passing through a portion of the visible wavelength range. It is conceivable that at least some of the color filters are red, green or blue filters in particular filters which have a high transmission for wavelengths of these colors and a low transmission for the other wavelengths of visible light. It is also possible that at least some of these color filters are also designed as infrared blocking filters or combined with an infrared blocking filter, ie as filters which transmit light of a specific color, but have a low (eg essentially no) transmission for light of the infrared wavelength range.
  • the filter elements of the first group are designed as color filters which allow a wider wavelength range to pass through, e.g. several (about two) colors.
  • the color is then determined in particular by subtraction of the intensity transmitted through the filter and the transmitted intensity of an unfiltered portion of the filter assembly or other multi-color filter element.
  • the filter element is transparent to the colors green and blue, whereby the color red can be detected by comparison with the unfiltered light (or with the intensity transmitted through a green-red and / or blue-red filter).
  • the advantage of this variant is that the intensity of the filtered light and accordingly the signals generated by the respective photosensitive elements are higher.
  • the filter elements of the second group are e.g. each designed as a pure infrared blocking filter, d. H. the filter elements of the second group have low transmission for infrared wavelengths, but transmit the (e.g., complete) visible spectral range.
  • the infrared blocking filters serve, in particular, to avoid saturation of the light-sensitive elements assigned to them, since the light incident on the image sensor usually also contains infrared components in addition to the visible light, as already mentioned above.
  • the filter elements of the first and second groups are arranged in rows extending along a first direction and in columns extending along a second direction such that they extend along the first and the second Forming direction repeating pattern.
  • the rows and the columns are oriented perpendicular to each other, which corresponds to the usual arrangement of the photosensitive elements of the image sensor.
  • the rows and the columns are oriented at a different angle to each other.
  • the filter elements of the first and the second group are arranged alternately along the first direction, such that a filter element is associated between a photosensitive element of the image sensor, which is assigned a filter element of the first group, and a photosensitive element is associated with the second group, in each case at least one (eg exactly one) photosensitive element is located, which is assigned no filter element.
  • the filter elements of the first and the second group along the second direction are alternately arranged so that between see a photosensitive element of the image sensor, which is assigned a filter element of the first group, and a photosensitive element, the a filter element is assigned to the second group, in each case at least one (eg exactly one) photosensitive element is located, to which no filter element is assigned.
  • the filter elements of the first and the second group are arranged along the second direction so that no filter element is associated with every other row of the photosensitive elements of the image sensor.
  • the filter elements are arranged as separate elements in each case in front of a photosensitive element. Those photosensitive elements, to which no filter element is assigned, are accordingly not provided with a filter element. In this example, the filter arrangement according to the invention therefore does not form a continuous element. It is conceivable in particular that the filter elements are each formed in the form of a coating of their associated photosensitive element.
  • the first group of filter elements is realized by a first filter layer and the second group of filter elements by a second filter layer, wherein the first filter layer is arranged on the second filter layer.
  • the filter layers are each formed as coatings, the z. B. be generated successively on the grid of the photosensitive elements of the image sensor.
  • the invention also relates to an image sensor with a filter arrangement as described above, wherein the filter elements of the filter arrangement are each arranged on a photosensitive element of the image sensor (eg as already mentioned above in the form of a coating).
  • the invention relates to a method for producing a filter arrangement, with the steps:
  • the filter elements comprising at least two different groups of filter elements, wherein the filter elements of the first group each pass light of a first wavelength range and the
  • Filter elements of the second group each light of a second wavelength range
  • the filter elements of the first and the second group are each arranged in a grid on the photosensitive elements, that between each of the photosensitive elements, which is assigned a filter element of the first group, and each of the photosensitive elements, a filter element of the second group is associated, at least one photosensitive element is located to which no filter element is assigned.
  • the filter elements are each arranged in the form of a coating on the light-sensitive elements.
  • FIG. 1 shows schematically a scene to be detected by an image sensor of a camera
  • FIG. 2 shows a known filter arrangement for an image sensor
  • FIG. 3 shows a filter arrangement arranged on an image sensor according to an exemplary embodiment
  • 4 and 5 different filter layers of the filter assembly of Figure 3 and
  • FIG. 6 is an illustration to explain the operation of the filter assembly according to the embodiment of Figures 3 to 5.
  • Figure 1 serves to illustrate the task of a camera for controlling driver assistance systems of a motor vehicle. Shown schematically is a typical street scene from the perspective of a driver of a motor vehicle.
  • the roadway 1 is delimited by a laterally along the roadway 1 extending areas (such as a footpath), on the roadway 1 itself are road markings (in this case, a central line 1 1).
  • Next to the lane 1 stand or move other road users (pedestrians 23, cyclists 24) and there are obstacles and means for influencing the road traffic (traffic lights 12, traffic signs 13).
  • an image sensor of the camera of the driver assistance system must reliably detect at least some of the objects shown, if they are in the effective range of the motor vehicle or if they can act on the motor vehicle, and this in particular both statically (ie comprising determining the Location of the object at a given time) as well as dynamically (ie comprising determining a location and / or state change of the object) and in different light and weather conditions.
  • Figure 2 shows schematically a section of a known image sensor 3 (in particular in the form of a CCD chip) of a camera (not shown), which can be used for example for the above-mentioned driver assistance systems.
  • the image sensor 3 comprises a plurality of photosensitive elements 31 arranged in a rectangular grid are.
  • the photosensitive elements 31 Upon exposure to electromagnetic radiation, the photosensitive elements 31 generate an electrical signal from which an image signal can be obtained in a manner known per se.
  • the image sensor 3 is provided with a filter arrangement 4 comprising a plurality of filter elements 41 each associated with one of the photosensitive elements 31.
  • the filter arrangement shown in FIG. 2 consists of a known regular arrangement of red, green and blue filters R, G, B, which are arranged in a repeating pattern in the manner of the so-called Bayer matrix (Bayer pattern).
  • Bayer matrix Bayer matrix
  • a red, green and blue filter is meant a filter which passes the corresponding wavelength range of the visible light spectrum, i. has high transparency in this area.
  • the color filters R, G, B are arranged to transmit also wavelengths of an infrared range. This is indicated by the addition + IR after the filter designations (e.g., R + IR).
  • the photosensitive elements 31 are each irradiated only with light transmitted by the respective associated filter element, so that each photosensitive element 31 provides only information for a particular color component at a location (pixel).
  • the photosensitive elements 31 only detect brightness values, i.
  • the desired color information can be obtained from the comparison of the intensities registered by (in the view plane) adjacent elements 31 (with the same and / or different assigned filter elements R, G, B). For example, by interpolating the color information of two adjacent elements 31, which are assigned the same filter elements, the color of the incident on an intermediate photosensitive element light can be concluded.
  • FIG. 3 schematically shows a detail of an image sensor 30 on which a filter arrangement 40 according to an exemplary embodiment of the invention is arranged.
  • the filter assembly 40 includes a plurality of filter elements R ', W and is at the Image sensor 30 is arranged such that each filter element R ', W at exactly one of the photosensitive elements (photocells) 301 of the image sensor 30 is arranged.
  • the filter elements R 'of the first group are each a color filter in the form of a red filter, ie a filter which has visible light in the
  • the filter elements W of the second group are designed as pure infrared blocking filters, ie s They block the passage of infrared radiation.
  • the design of the color filter elements R 'as a red filter is only an example. At least some of the red filter elements R 'could also be designed in the form of another color filter, for example a green or blue filter.
  • the filter arrangement 40 is constructed from two filter layers, one layer forming the filter elements W and another layer of filter elements R + IR which also allow infra-red light to pass in addition to the red visible light.
  • a part of the filter elements W is arranged congruently with the filter elements R + IR, so that the filter elements R 'are formed of a combination of filter elements R + IR with filter elements (hence the filter elements R' are sometimes also referred to as "filter combination").
  • the light-sensitive elements 301 associated with the filter elements R ' are not acted upon by infrared radiation, which is illustrated by the fact that the suffix "+ IR" behind the filter designations (R') is missing in comparison to FIG.
  • the filter elements R, W are arranged according to the arrangement of the photosensitive elements 301, 302 in lines extending along a first (horizontal) direction and in columns extending along a second (vertical) direction, such that they form a pattern repeating along the first and second directions.
  • the filter elements R, W of the first and second groups are alternately arranged along the horizontal direction so as to be sandwiched between a photosensitive member 301 of the image sensor 30 associated with a filter element R of the first group and an adjacent photosensitive member 301
  • Filter element W is assigned to the second group, exactly one photosensitive element 302 is located, the filter element R, W is not assigned.
  • This also applies to the arrangement of the filter elements R, W along the vertical direction, wherein the filter elements R, W along this direction are arranged so that every other row consists of photosensitive elements 302 of the image sensor 30, that is, photosensitive elements no filter element is assigned.
  • Each second row and every second column of the matrix formed by the photosensitive elements 301, 302 thus consists of photosensitive elements 302 which generate image information from light which comprises both the complete visible region and infrared fractions.
  • the rows and columns of the image sensor 30 formed from the photosensitive elements 302 form a regular grid with equally spaced intersecting lines.
  • In the interstices (meshes) of the grid are those photosensitive elements 301 (which the filter elements R ', W are assigned), which are not acted upon by light from the infrared range.
  • the filter elements R ', W are assigned
  • the filter assembly 40 used in Figure 3 thus consists of repeating segments, the (two) filter elements of the first group (filter elements R ') and the second group (filter elements W), (two) filter elements of the second group (filter elements W) and several Include regions C (associated with the photosensitive elements 302) without filter properties.
  • the filter assembly can meet different requirements that arise in particular when using the image sensor 30 equipped with the filter arrangement according to the invention in a driver assistance system of a motor vehicle.
  • the filter arrangement 40 enables color detection with one-eighth of the image resolution, while the photosensitive elements 302, which are preceded by no filter element, make up three quarters of the image resolution. Nevertheless, the step size between the filter elements R, W is low, so that the most homogeneous color resolution results.
  • the filter arrangement 40 allows an infrared detection with one-eighth of the image resolution by the difference between the signals of the photosensitive elements 302 and the light-sensitive elements 301, which only one filter element W of the second group (and no filter element R of the second group) assigned is.
  • the filter arrangement 40 according to the invention can be formed, for example, from two filter layers (for example in the form of two filter layers).
  • a first filter layer 41 is shown in FIG. 4.
  • the filter layer 41 has filter elements arranged in rows and columns comprising a grid.
  • R + IR which are designed as a color filter (eg as a red filter), so let pass a certain visible spectral range.
  • the filter elements R + IR also transmit infrared light.
  • the filter layer 41 of FIG. 4 is combined with a second filter layer 42, which is shown in FIG.
  • the second filter layer 42 has, in addition to regions C without filter element (ie without filter properties) only filter elements in the form of an infrared blocking filter W.
  • the infrared blocking filters W are used in particular to avoid saturation of the photosensitive elements of the image sensor.
  • the infrared blocking filters W of the filter layer 41 are arranged alternately with the vacancies C " both in the horizontal and in the vertical direction, wherein, as in the first filter layer 41, every second row and every second column comprises only blank spaces C " .
  • At least part of the filter elements W is arranged congruently with the filter elements R + IR of the first filter layer 41, so that the filter elements R 'are formed from a filter combination of the filter elements W and the filter elements R + IR.
  • the filter arrangement 40 shown in FIG. 3 is finally produced.
  • the filter layers 41, 42 can be generated approximately by superimposed coatings. It is therefore possible that filter elements of a first group, here the red filter R + IR, and filter elements of a second group, here the infrared blocking filter W, in a direction perpendicular to the filter layers 41, 42 directly adjoin one another.
  • the filter arrangement 40 according to the invention does not necessarily have to be constructed from a plurality of filter layers. Rather, it is also conceivable that it only consists of one layer (eg a single-layer coating).
  • FIG. 6 illustrates the intensities of light of different wavelengths (ie, different colors) registered by the image sensor 30 shown in FIG.
  • the one traffic sign 51 shows a permissible maximum speed of 30 km / h on (black numbers 51 1 on white background 512 in a red border 51 3), while the other traffic sign 52 announces a motorway exit (blue background with white numbers and characters).
  • the values of at least two adjacent photosensitive elements 301 of the image sensor 30 are compared with one another. No infrared light strikes the photosensitive elements 301, since they are covered either by a filter element W (ie an infrared blocking filter) or by a filter combination R 'consisting of a color filter (in the present case a red filter R) and a filter element W (infrared blocking filter).
  • a filter element W ie an infrared blocking filter
  • a filter combination R 'consisting of a color filter in the present case a red filter R
  • a filter element W infrared blocking filter
  • the intensity IR registered by this photosensitive element 301 is therefore substantially lower than the intensity lw detected by the adjacent element 301 with the infrared blocking filter W. Both values, however, are greater than zero (lw>IR> 0).
  • the reflected light from the black numbers 51 1 on the image sensor 30 contains almost no red components. Therefore, the intensity IR of the light registered by the element 301 with red filter R is approximately zero.
  • an adjacent photosensitive element 301 with only one infrared blocking filter W receives a wider visible wavelength range and thus a higher light intensity (lw »IR, where IR ⁇ 0).
  • the infrared portion of the light reflected from the numbers 51 1 for detecting the black numbers 51 1, in particular by comparing (for example by subtraction) the signal of a photosensitive element 301 with only one infrared blocking filter W with the signal of an adjacent photosensitive Element 302 without filter element.

Abstract

The invention relates to a filter arrangement for an image sensor which comprises a plurality of photosensitive elements arranged in a grid, said filter arrangement comprising a plurality of filter elements (R', W) which are each to be assigned to one of the photosensitive elements (301) and which comprise at least two different groups of filter elements (R', W), wherein the filter elements (R') of the first group each permit the passage of light of a first wavelength range and the filter elements (W) of the second group each permit the passage of light of a second wavelength range. According to the invention, the filter elements (R', W) of the first and second group are each arranged in a grid in such a way that, once the filter arrangement (40) is arranged on the image sensor (30), at least one photosensitive element (C) which is not assigned any filter element (R', W) is located between each of the photosensitive elements (301) assigned a filter element (R') of the first group and each of the photosensitive elements (301) assigned a filter element (W) of the second group. The invention also relates to a method for producing a filter arrangement.

Description

Filteranordnung und Verfahren zum Herstellen einer Filteranordnung  Filter assembly and method of making a filter assembly
Beschreibung description
Die Erfindung betrifft eine Filteranordnung für einen Bildsensor gemäß dem Oberbegriff des Anspruchs 1 sowie ein Verfahren zum Herstellen einer Filteranordnung für einen Bildsensor gemäß dem Oberbegriff des Anspruchs 13. Kameras mit Bildsensoren (z. B. in Form von CCD-Chips) werden in vielen Bereichen der Technik eingesetzt. Beispielsweise verwenden Fahrerassistenzsysteme von Kraftfahrzeugen derartige Kameras. Die Bildsensoren weisen eine Mehrzahl lichtempfindlicher Elemente auf, deren Signale ausgewertet werden, um z.B. Objekte im Bild zu detektieren, über mehrere Bilder hinweg zu verfolgen und ein Szenenverständnis zu ermöglichen. Bei- spielsweise lassen sich mit derartigen Bildsensorkameras Assistenzfunktionen zur Spurhaltung, Verkehrszeichenerkennung, Fernlichtregelung und Kollisionswarnung realisieren. The invention relates to a filter arrangement for an image sensor according to the preamble of claim 1 and to a method for producing a filter arrangement for an image sensor according to the preamble of claim 13. Cameras with image sensors (eg in the form of CCD chips) are used in many fields the technique used. For example, driver assistance systems of motor vehicles use such cameras. The image sensors have a plurality of photosensitive elements whose signals are evaluated to be e.g. Detecting objects in the image, to track across multiple images and to allow a scene understanding. For example, assistance functions for tracking, traffic sign recognition, high beam control and collision warning can be implemented with such image sensor cameras.
Die lichtempfindlichen Elemente eines Bildsensors sind empfindlich insbesondere für Licht des sichtbaren Wellenlängenbereichs und des Infrarotbereichs. Abhängig von der Anwen- dung (etwa der Art der gewünschten Fahrerassistenzfunktion) und den Lichtbedingungen kann der Infrarotanteil des Lichtes nutzbar sein oder störend wirken. Zum Beispiel reflektieren Fußgänger mit schwarzer Bekleidung bei Nacht Licht hauptsächlich im Infrarotbereich. Halogenschweinwerfer haben ebenfalls einen hohen Infrarotanteil, der jedoch in den Bildern (d.h. bei den lichtempfindlichen Elementen des Bildsensors) zu Sättigungseffekten bei Direkteinstrahlung und auch bei Reflektionen führen kann. Zur Vermeidung von Sättigungseffekten kann das auf die lichtempfindlichen Elemente des Bildsensors gerichtete Licht mit einem Infrarotsperrfilter gefiltert werden. Die Erkennung unterschiedlicher Bildfarben erfolgt z.B. durch die Verwendung von Farbfiltern. Bei einer Farbkamera werden abwechselnd Rot-, Grün-, und Blaufilter in einer regelmäßigen Anordnung (z.B. in Form eines„Bayer-Musters" -„Bayer-Pattern") vor die lichtempfindlichen Elemente gesetzt, was die Ermittlung von Farbkomponenten des einfallen- den Lichtes ermöglicht. Eine derartige Filterung ist z.B. aus der US 3,971 ,065 bekannt. Die ermittelten Farben können zudem über einen Algorithmus („Demosaic-Algorithmus") über mehrere lichtempfindliche Elemente interpoliert werden, so dass jedem der lichtempfindlichen Elemente eine Farbinformation zugeordnet werden kann. Die Verwendung von Farbfiltern kann jedoch mit Nachteilen verbunden sein. Beispielsweise erreicht durch die Filterung weniger Licht die lichtempfindlichen Elemente des Bildsensors, so dass das von den lichtempfindlichen Elementen generierte Signal bei wenig Licht in den Rauschbereich abfallen kann. Das der Erfindung zugrunde liegende Problem besteht darin, eine Filteranordnung zu schaffen, die für eine Vielzahl von Anwendungen effizient einsetzbar ist. The photosensitive elements of an image sensor are sensitive in particular to visible wavelength range and infrared range light. Depending on the application (such as the type of driver assistance function desired) and the lighting conditions, the infrared component of the light may be usable or have a disturbing effect. For example, pedestrians wearing black clothing at night reflect light mainly in the infrared range. Halogen boogie throwers also have a high infrared content, which, however, can lead to saturation effects in the images (ie in the light-sensitive elements of the image sensor) with direct irradiation and also with reflections. To avoid saturation effects, the light directed onto the photosensitive elements of the image sensor can be filtered with an infrared cut filter. The recognition of different image colors is done, for example, by the use of color filters. In a color camera, alternating red, green and blue filters are placed in front of the photosensitive elements in a regular arrangement (eg in the form of a "Bayer pattern" - "Bayer pattern"), which determines the color components of the incident light allows. Such filtering is known for example from US 3,971,065. The determined colors can also be interpolated via an algorithm ("demosaic algorithm") over a plurality of photosensitive elements, so that color information can be assigned to each of the photosensitive elements, but the use of color filters can be associated with disadvantages, for example achieved by the filtering The light produced by the light-sensitive elements of the image sensor is such that the signal generated by the photosensitive elements may fall into the noise region in low-light conditions. The problem underlying the invention is to provide a filter arrangement which can be used efficiently for a large number of applications.
Dieses Problem wird durch die Bereitstellung der Filteranordnung mit den Merkmalen des Anspruchs 1 sowie durch das Verfahren mit den Merkmalen des Anspruchs 13 gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben. This problem is solved by providing the filter assembly having the features of claim 1 and by the method having the features of claim 13. Further developments of the invention are specified in the dependent claims.
Danach wird eine Filteranordnung für einen Bildsensor bereitgestellt, der eine Mehrzahl in einem Raster angeordneter lichtempfindlicher Elemente umfasst, mit Thereafter, a filter arrangement for an image sensor is provided which comprises a plurality of arranged in a grid of photosensitive elements, with
- einer Mehrzahl von Filterelementen, die jeweils einem der lichtempfindlichen Elemente zuzuordnen sind;  - A plurality of filter elements, which are each assigned to one of the photosensitive elements;
- wobei die Filterelemente mindestens zwei verschiedene Gruppen von Filterelementen umfassen, wobei die Filterelemente der ersten Gruppe jeweils Licht eines ersten Wel- lenlängenbereiches passieren lassen und die Filterelemente der zweiten Gruppe jeweils Licht eines zweiten Wellenlängenbereiches, wobei  wherein the filter elements comprise at least two different groups of filter elements, wherein the filter elements of the first group each pass light of a first wavelength range, and the filter elements of the second group each pass light of a second wavelength range
- die Filterelemente der ersten und der zweiten Gruppe jeweils so in einem Raster angeordnet sind, dass sich nach einem Anordnen der Filteranordnung an dem Bildsensor zwischen jedem der lichtempfindlichen Elemente, dem ein Filterelement der ersten Gruppe zugeordnet ist, und jedem der (insbesondere in der Ebene der Filteranordnung benachbarten) lichtempfindlichen Elemente, dem ein Filterelement der zweiten Gruppe zugeordnet ist, mindestens ein lichtempfindliches Element befindet, dem kein Filterelement zugeordnet ist. - The filter elements of the first and the second group are each arranged in a grid, that after arranging the filter assembly to the image sensor between each of the photosensitive elements, which is a filter element of the first Group is assigned, and each of the (in particular in the plane of the filter assembly adjacent) photosensitive elements, which is associated with a filter element of the second group, at least one photosensitive element to which no filter element is assigned.
Die erfindungsgemäße Filteranordnung ist aufgrund der verschiedenen Typen der Filterelemente und der Bereiche, die keine Filtereigenschaften aufweisen, für unterschiedliche Anwendungen eines Bildsensors ausgelegt. Beispielsweise wird bei Verwendung der erfindungsgemäßen Filteranordnung an einem Bildsensor einer Kamera die Empfindlich- keit der Kamera aufgrund der relativ hohen Anzahl der lichtempfindlichen Elemente des Bildsensors, denen kein Filterelement zugeordnet ist, möglichst wenig reduziert. Die lichtempfindlichen Elemente ohne Filterelement können z.B. bei geringer Intensität des auf den Bildsensor einfallenden Lichtes (etwa zur Objekterkennung bei Nacht) herangezogen werden. Darüber hinaus mittels der Filterung durch die Filterelemente der ersten und der zwei- ten Gruppe eine Farbinformation gewonnen werden, insbesondere durch Vergleich der Signale von benachbarten lichtempfindlichen Elementen, die sich durch das ihnen zugeordnete Filterelement unterscheiden. The inventive filter arrangement is designed for different applications of an image sensor due to the different types of filter elements and the areas that have no filter properties. For example, when using the filter arrangement according to the invention on an image sensor of a camera, the sensitivity of the camera is reduced as little as possible due to the relatively high number of photosensitive elements of the image sensor, to which no filter element is assigned. The photosensitive elements without filter element can e.g. be used at low intensity of the light incident on the image sensor (for example, for object recognition at night). In addition, by means of the filtering by the filter elements of the first and the second group, color information can be obtained, in particular by comparison of the signals from adjacent photosensitive elements, which differ in their associated filter element.
Die erfindungsgemäße Filteranordnung kann insbesondere für einen Bildsensor einer Ka- mera, die in Fahrerassistenzsystemen eingesetzt wird, verwendet werden. Die Erfindung ist jedoch selbstverständlich nicht auf diese Anwendung beschränkt. Vielmehr kann die erfindungsgemäße Filteranordnung auch zusammen mit Bildsensoren für andere Anwendungen verwendet werden, z.B. in anderen Überwachungssystemen oder wissenschaftlichen Anwendungen (etwa zur Mikroskopie). The filter arrangement according to the invention can be used in particular for an image sensor of a camera used in driver assistance systems. Of course, the invention is not limited to this application. Rather, the filter assembly according to the invention can also be used together with image sensors for other applications, e.g. in other surveillance systems or scientific applications (such as microscopy).
Es wird darauf hingewiesen, dass sich die von den Filterelementen der beiden Gruppen transmittierten Wellenlängenbereiche durchaus auch überlappen können, sie sind jedoch nicht identisch. Die Filterelemente der ersten Gruppe sind z. B. jeweils als Farbfilter ausgebildet, d. h. als Filter, die jeweils einen Teil des sichtbaren Wellenlängenbereichs passieren lassen. Denkbar ist, dass es sich zumindest bei einigen der Farbfilter um Rot-, Grün- oder Blaufilter handelt, d. h. insbesondere um Filter, die für Wellenlängen dieser Farben eine hohe Transmission und für die übrigen Wellenlängen des sichtbaren Lichtes eine niedrige Transmission aufweisen. Möglich ist auch, dass zumindest einige dieser Farbfilter gleichzeitig auch als Infrarotsperrfilter ausgebildet oder mit einem Infrarotsperrfilter kombiniert sind, d. h. als Filter, die Licht einer bestimmten Farbe transmittieren, für Licht des infraroten Wellenlängenbereichs jedoch eine geringe (z.B. im Wesentlichen gar keine) Transmission besitzen. It should be noted that the wavelength ranges transmitted by the filter elements of the two groups may well overlap, but they are not identical. The filter elements of the first group are z. B. each formed as a color filter, that is, as a filter, each passing through a portion of the visible wavelength range. It is conceivable that at least some of the color filters are red, green or blue filters in particular filters which have a high transmission for wavelengths of these colors and a low transmission for the other wavelengths of visible light. It is also possible that at least some of these color filters are also designed as infrared blocking filters or combined with an infrared blocking filter, ie as filters which transmit light of a specific color, but have a low (eg essentially no) transmission for light of the infrared wavelength range.
Denkbar ist auch, dass zumindest einige der Filterelemente der ersten Gruppe als Farbfilter ausgebildet sind, die eine breiteren Wellenlängenbereich passieren lassen, z.B. mehrere (etwa zwei) Farben. Die Farbermittlung erfolgt dann insbesondere durch Differenzbildung der durch den Filter transmittierten Intensität und der transmittierten Intensität eines ungefilterten Bereiches der Filteranordnung oder eines anderen Mehrfarbfilterelementes. Beispielsweise ist das Filterelement für die Farben Grün und Blau durchlässig, wobei durch Vergleich mit dem ungefilterten Licht (oder mit der durch einen Grün-Rot- und/oder Blau- Rot-Filter transmittierten Intensität) die Farbe Rot detektiert werden kann. Der Vorteil dieser Variante ist, dass die Intensität des gefilterten Lichtes und entsprechend die von den jeweiligen lichtempfindlichen Elementen erzeugten Signale höher sind. It is also conceivable that at least some of the filter elements of the first group are designed as color filters which allow a wider wavelength range to pass through, e.g. several (about two) colors. The color is then determined in particular by subtraction of the intensity transmitted through the filter and the transmitted intensity of an unfiltered portion of the filter assembly or other multi-color filter element. For example, the filter element is transparent to the colors green and blue, whereby the color red can be detected by comparison with the unfiltered light (or with the intensity transmitted through a green-red and / or blue-red filter). The advantage of this variant is that the intensity of the filtered light and accordingly the signals generated by the respective photosensitive elements are higher.
Die Filterelemente der zweiten Gruppe sind z.B. jeweils als reiner Infrarotsperrfilter ausge- bildet, d. h. die Filterelemente der zweiten Gruppe weisen eine geringe Transmission für infrarote Wellenlängen auf, transmittieren jedoch den (z.B. kompletten) sichtbaren Spektralbereich. Die Infrarotsperrfilter dienen insbesondere dazu, eine Sättigung der ihnen zugeordneten lichtempfindlichen Elemente zu vermeiden, da das auf den Bildsensor einfallende Licht üblicherweise neben dem sichtbaren Licht auch Infrarotanteile enthält, wie oben bereits erwähnt. The filter elements of the second group are e.g. each designed as a pure infrared blocking filter, d. H. the filter elements of the second group have low transmission for infrared wavelengths, but transmit the (e.g., complete) visible spectral range. The infrared blocking filters serve, in particular, to avoid saturation of the light-sensitive elements assigned to them, since the light incident on the image sensor usually also contains infrared components in addition to the visible light, as already mentioned above.
Gemäß einer weiteren Ausgestaltung der Erfindung sind die Filterelemente der ersten und zweiten Gruppe in Zeilen, die sich entlang einer ersten Richtung erstrecken, und in Spalten, die sich entlang einer zweiten Richtung erstrecken, derart angeordnet, dass sie ein sich entlang der ersten und der zweiten Richtung wiederholendes Muster bilden. Insbesondere sind die Zeilen und die Spalten senkrecht zueinander orientiert, was der üblichen Anordnung der lichtempfindlichen Elemente des Bildsensors entspricht. Denkbar ist jedoch auch, dass die Zeilen und die Spalten unter einem anderen Winkel zueinander orientiert sind. Gemäß einer Weiterbildung dieser Ausgestaltung der Erfindung sind die Filterelemente der ersten und der zweiten Gruppe entlang der ersten Richtung derart abwechselnd angeordnet, dass sich zwischen einem lichtempfindlichen Element des Bildsensors, dem ein Filterelement der ersten Gruppe zugeordnet ist, und einem lichtempfindlichen Element, dem ein Filterelement der zweiten Gruppe zugeordnet ist, jeweils mindestens ein (z.B. genau ein) lichtempfindliches Element befindet, dem kein Filterelement zugeordnet ist. According to a further embodiment of the invention, the filter elements of the first and second groups are arranged in rows extending along a first direction and in columns extending along a second direction such that they extend along the first and the second Forming direction repeating pattern. In particular, the rows and the columns are oriented perpendicular to each other, which corresponds to the usual arrangement of the photosensitive elements of the image sensor. However, it is also conceivable that the rows and the columns are oriented at a different angle to each other. According to a development of this embodiment of the invention, the filter elements of the first and the second group are arranged alternately along the first direction, such that a filter element is associated between a photosensitive element of the image sensor, which is assigned a filter element of the first group, and a photosensitive element is associated with the second group, in each case at least one (eg exactly one) photosensitive element is located, which is assigned no filter element.
Darüber hinaus ist denkbar, dass die Filterelemente der ersten und der zweiten Gruppe entlang auch der zweiten Richtung derart abwechselnd angeordnet sind, dass sich zwi- sehen einem lichtempfindlichen Element des Bildsensors, dem ein Filterelement der ersten Gruppe zugeordnet ist, und einem lichtempfindlichen Element, dem ein Filterelement der zweiten Gruppe zugeordnet ist, jeweils mindestens ein (z.B. genau ein) lichtempfindliches Element befindet, dem kein Filterelement zugeordnet ist. Beispielsweise sind die Filterelemente der ersten und der zweiten Gruppe entlang der zweiten Richtung so angeordnet, dass jeder zweiten Zeile der lichtempfindlichen Elemente des Bildsensors kein Filterelement zugeordnet ist. Somit wird bei Verwendung der erfindungsgemäßen Filteranordnung mit einem Bildsensor ein relativ hoher Anteil an ungefilterten lichtempfindlichen Elementen bereitgestellt, wodurch die Filteranordnung die Emp- findlichkeit der Bilddetektion möglichst wenig beeinflusst. In addition, it is conceivable that the filter elements of the first and the second group along the second direction are alternately arranged so that between see a photosensitive element of the image sensor, which is assigned a filter element of the first group, and a photosensitive element, the a filter element is assigned to the second group, in each case at least one (eg exactly one) photosensitive element is located, to which no filter element is assigned. For example, the filter elements of the first and the second group are arranged along the second direction so that no filter element is associated with every other row of the photosensitive elements of the image sensor. Thus, when using the filter arrangement according to the invention with an image sensor, a relatively high proportion of unfiltered photosensitive elements is provided, as a result of which the filter arrangement influences the sensitivity of the image detection as little as possible.
Möglich ist insbesondere, dass die Filterelemente als separate Elemente jeweils vor einem lichtempfindlichen Element angeordnet sind. Diejenigen lichtempfindlichen Elemente, denen kein Filterelement zugeordnet ist, werden entsprechend nicht mit einem Filterelement versehen. In diesem Beispiel bildet die erfindungsgemäße Filteranordnung demnach kein durchgehendes Element. Denkbar ist insbesondere, dass die Filterelemente jeweils in Form einer Beschichtung der ihnen zugeordneten lichtempfindlichen Elementes ausgebildet sind. Gemäß einer anderen Ausführungsform der Erfindung ist die erste Gruppe der Filterelemente durch eine erste Filterlage und die zweite Gruppe der Filterelemente durch eine zweite Filterlage realisiert, wobei die erste Filterlage an der zweiten Filterlage angeordnet ist. Beispielsweise werden die Filterlagen jeweils als Beschichtungen ausgebildet, die z. B. nacheinander an dem Raster der lichtempfindlichen Elemente des Bildsensors erzeugt werden. It is possible in particular that the filter elements are arranged as separate elements in each case in front of a photosensitive element. Those photosensitive elements, to which no filter element is assigned, are accordingly not provided with a filter element. In this example, the filter arrangement according to the invention therefore does not form a continuous element. It is conceivable in particular that the filter elements are each formed in the form of a coating of their associated photosensitive element. According to another embodiment of the invention, the first group of filter elements is realized by a first filter layer and the second group of filter elements by a second filter layer, wherein the first filter layer is arranged on the second filter layer. For example, the filter layers are each formed as coatings, the z. B. be generated successively on the grid of the photosensitive elements of the image sensor.
Die Erfindung betrifft auch einen Bildsensor mit einer wie oben beschriebenen Filteranord- nung, wobei die Filterelemente der Filteranordnung jeweils an einem lichtempfindlichen Element des Bildsensors angeordnet sind (z. B. wie oben bereits angesprochen in Form einer Beschichtung). The invention also relates to an image sensor with a filter arrangement as described above, wherein the filter elements of the filter arrangement are each arranged on a photosensitive element of the image sensor (eg as already mentioned above in the form of a coating).
Des Weiteren betrifft die Erfindung ein Verfahren zum Herstellen einer Filteranordnung, mit den Schritten: Furthermore, the invention relates to a method for producing a filter arrangement, with the steps:
- Bereitstellen einer Mehrzahl lichtempfindlicher Elemente;  Providing a plurality of photosensitive elements;
- Bereitstellen einer Mehrzahl von Filterelementen und Anordnen der Filterelemente an den lichtempfindlichen Elementen, wobei die Filterelemente mindestens zwei verschiedene Gruppen von Filterelementen umfassen, wobei die Filterelemente der ersten Gruppe jeweils Licht eines ersten Wellenlängenbereiches passieren lassen und die Providing a plurality of filter elements and arranging the filter elements on the photosensitive elements, the filter elements comprising at least two different groups of filter elements, wherein the filter elements of the first group each pass light of a first wavelength range and the
Filterelemente der zweiten Gruppe jeweils Licht eines zweiten Wellenlängenbereiches, wobei Filter elements of the second group each light of a second wavelength range, wherein
- die Filterelemente der ersten und der zweiten Gruppe jeweils so in einem Raster an den lichtempfindlichen Elementen angeordnet werden, dass sich zwischen jedem der lichtempfindlichen Elemente, dem ein Filterelement der ersten Gruppe zugeordnet ist, und jedem der lichtempfindlichen Elementen, dem ein Filterelement der zweiten Gruppe zugeordnet ist, mindestens ein lichtempfindliches Element befindet, dem kein Filterelement zugeordnet ist.  - The filter elements of the first and the second group are each arranged in a grid on the photosensitive elements, that between each of the photosensitive elements, which is assigned a filter element of the first group, and each of the photosensitive elements, a filter element of the second group is associated, at least one photosensitive element is located to which no filter element is assigned.
Beispielsweise werden die Filterelemente jeweils in Form einer Beschichtung an den licht- empfindlichen Elementen angeordnet. For example, the filter elements are each arranged in the form of a coating on the light-sensitive elements.
Die Erfindung wird im Folgenden anhand von Ausführungsbeispielen unter Bezugnahme auf die Figuren näher erläutert. Es zeigen: Fig. 1 schematisch eine von einem Bildsensor einer Kamera zu erfassende Szenerie; The invention is explained in more detail below with reference to embodiments with reference to the figures. 1 shows schematically a scene to be detected by an image sensor of a camera;
Fig. 2 eine bekannte Filteranordnung für einen Bildsensor; Fig. 3 eine an einem Bildsensor angeordnete Filteranordnung gemäß einem Ausführungsbeispiel; Fig. 4 und 5 unterschiedliche Filterlagen der Filteranordnung aus Figur 3; und FIG. 2 shows a known filter arrangement for an image sensor; FIG. 3 shows a filter arrangement arranged on an image sensor according to an exemplary embodiment; 4 and 5 different filter layers of the filter assembly of Figure 3; and
Fig. 6 eine Darstellung zur Erläuterung der Funktionsweise der Filteranordnung gemäß dem Ausführungsbeispiel der Figuren 3 bis 5. Figur 1 dient der Verdeutlichung der Aufgabe einer Kamera zur Steuerung von Fahrerassistenzsystemen eines Kraftfahrzeuges. Gezeigt wird schematisch eine typische Straßenszene aus der Sicht eines Fahrers eines Kraftfahrzeuges. 6 is an illustration to explain the operation of the filter assembly according to the embodiment of Figures 3 to 5. Figure 1 serves to illustrate the task of a camera for controlling driver assistance systems of a motor vehicle. Shown schematically is a typical street scene from the perspective of a driver of a motor vehicle.
Dargestellt sind auf einer Fahrbahn 1 befindliche Kraftfahrzeuge 21 unterschiedlicher Aus- führung sowie andere Verkehrsteilnehmer (Radfahrer 22). Die Fahrbahn 1 ist von einem seitlich entlang der Fahrbahn 1 verlaufenden Bereichen (etwa einem Fu ßweg) abgegrenzt, auf der Fahrbahn 1 selbst befinden sich Fahrbahnmarkierungen (vorliegend eine Mittelline 1 1 ). Neben der Fahrbahn 1 stehen oder bewegen sich weitere Verkehrsteilnehmer (Fußgänger 23, Radfahrer 24) und es befinden sich dort Hindernisse und Mittel zur Beeinflus- sung des Straßenverkehrs (Lichtsignalanlagen 12, Verkehrsschilder 13). Shown are on a roadway 1 located motor vehicles 21 different version and other road users (cyclists 22). The roadway 1 is delimited by a laterally along the roadway 1 extending areas (such as a footpath), on the roadway 1 itself are road markings (in this case, a central line 1 1). Next to the lane 1 stand or move other road users (pedestrians 23, cyclists 24) and there are obstacles and means for influencing the road traffic (traffic lights 12, traffic signs 13).
In Abhängigkeit von der Art des Fahrerassistenzsystems muss ein Bildsensor der Kamera des Fahrerassistenzsystems zumindest einige der dargestellten Objekte, wenn sie sich im Wirkbereich des Kraftfahrzeuges befinden oder wenn sie auf das Kraftfahrzeug einwirken können, sicher erfassen und dies insbesondere sowohl statisch (d.h. umfassend ein Bestimmen des Standort des Objektes zu einem bestimmten Zeitpunkt) als auch dynamisch (d.h. umfassend ein Bestimmen einer Standort- und/oder Zustandsänderung des Objektes) und bei unterschiedlichen Licht- und Witterungsverhältnissen. Figur 2 zeigt schematisch einen Ausschnitt aus einem bekannten Bildsensor 3 (insbesondere in Form eines CCD-Chips) einer Kamera (nicht dargestellt), die z.B. für die oben erwähnten Fahrerassistenzsysteme verwendet werden kann. Der Bildsensor 3 umfasst eine Mehrzahl lichtempfindlicher Elemente 31 , die in einem rechtwinkligen Raster angeordnet sind. Die lichtempfindlichen Elemente 31 erzeugen beim Auftreffen von elektromagnetischer Strahlung ein elektrisches Signal, aus dem in an sich bekannter Weise ein Bildsignal gewonnen werden kann. Insbesondere um aus den von den lichtempfindlichen Elemente 31 erzeugten elektrischen Signalen auch eine Information über die Farbe (d.h. die Wellenlänge) des auf den Bildsensor 3 treffenden Lichts zu erhalten, wird der Bildsensor 3 mit einer Filteranordnung 4 versehen, die eine Mehrzahl von Filterelementen 41 aufweist, die jeweils einem der lichtempfindlichen Elemente 31 zugeordnet sind. Die in Fig. 2 dargestellte Filteranordnung be- steht aus einer bekannten regelmäßigen Anordnung von Rot-, Grün und Blaufiltern R, G, B, die in einem sich wiederholenden Muster nach Art der sog. Bayer-Matrix (Bayer- Pattern) angeordnet sind. Eine solche Filteranordnung ist z.B. aus der US 3,971 ,065 bekannt. Depending on the type of driver assistance system, an image sensor of the camera of the driver assistance system must reliably detect at least some of the objects shown, if they are in the effective range of the motor vehicle or if they can act on the motor vehicle, and this in particular both statically (ie comprising determining the Location of the object at a given time) as well as dynamically (ie comprising determining a location and / or state change of the object) and in different light and weather conditions. Figure 2 shows schematically a section of a known image sensor 3 (in particular in the form of a CCD chip) of a camera (not shown), which can be used for example for the above-mentioned driver assistance systems. The image sensor 3 comprises a plurality of photosensitive elements 31 arranged in a rectangular grid are. Upon exposure to electromagnetic radiation, the photosensitive elements 31 generate an electrical signal from which an image signal can be obtained in a manner known per se. In particular, in order to obtain information about the color (ie the wavelength) of the light striking the image sensor 3 from the electrical signals generated by the photosensitive elements 31, the image sensor 3 is provided with a filter arrangement 4 comprising a plurality of filter elements 41 each associated with one of the photosensitive elements 31. The filter arrangement shown in FIG. 2 consists of a known regular arrangement of red, green and blue filters R, G, B, which are arranged in a repeating pattern in the manner of the so-called Bayer matrix (Bayer pattern). Such a filter arrangement is known, for example, from US Pat. No. 3,971,065.
Unter einem Rot-, Grün und Blaufilter wird ein Filter verstanden, der den entsprechenden Wellenlängenbereich des sichtbaren Lichtspektrums passieren lässt, d.h. in diesem Bereich eine hohe Transparenz besitzt. Darüber hinaus sind die Farbfilter R, G, B so beschaffen, dass sie auch Wellenlängen eines Infrarotbereiches transmittieren. Gekennzeichnet ist dies durch den Zusatz +IR hinter den Filterbezeichnungen (z.B. R+IR). Die lichtempfindlichen Elemente 31 werden somit jeweils nur mit Licht bestrahlt, das von dem jeweils zugeordneten Filterelement durchgelassen wird, so dass jedes lichtempfindliche Element 31 nur Informationen für eine bestimmte Farbkomponente an einem Ort (Pixel) liefert. Die lichtempfindlichen Elemente 31 erfassen lediglich Helligkeitswerte, d.h. die Intensität des gefilterten, auf sie auftreffenden Lichtes, wobei jedoch aus dem Vergleich der von (in der Ansichtsebene) benachbarten Elementen 31 (mit gleichen und/oder verschiedenen zugeordneten Filterelementen R, G, B) registrierten Intensitäten die gewünschte Farbinformation gewonnen werden kann. Beispielsweise kann zudem durch Interpolation der Farbinformation zweier benachbarter Elemente 31 , denen gleiche Filterelemente zugeordnet sind, auf die Farbe des auf ein dazwischenliegendes lichtempfindliches Element treffenden Lichtes geschlossen werden. By a red, green and blue filter is meant a filter which passes the corresponding wavelength range of the visible light spectrum, i. has high transparency in this area. Moreover, the color filters R, G, B are arranged to transmit also wavelengths of an infrared range. This is indicated by the addition + IR after the filter designations (e.g., R + IR). Thus, the photosensitive elements 31 are each irradiated only with light transmitted by the respective associated filter element, so that each photosensitive element 31 provides only information for a particular color component at a location (pixel). The photosensitive elements 31 only detect brightness values, i. the intensity of the filtered light impinging on them, but the desired color information can be obtained from the comparison of the intensities registered by (in the view plane) adjacent elements 31 (with the same and / or different assigned filter elements R, G, B). For example, by interpolating the color information of two adjacent elements 31, which are assigned the same filter elements, the color of the incident on an intermediate photosensitive element light can be concluded.
Figur 3 zeigt schematisch einen Ausschnitt aus einem Bildsensor 30, an dem eine Filteranordnung 40 gemäß einem Ausführungsbeispiel der Erfindung angeordnet ist. Die Filteranordnung 40 umfasst eine Mehrzahl von Filterelementen R', W und ist so an dem Bildsensor 30 angeordnet, dass jedes Filterelement R', W an genau einem der lichtempfindlichen Elemente (Fotozellen) 301 des Bildsensors 30 angeordnet ist. Die lichtempfindlichen Elemente 301 , an denen eines der Filterelemente R', W angeordnet ist, registrieren entsprechend nur Licht, das von dem jeweiligen Filterelement R', W transmittiert wird. FIG. 3 schematically shows a detail of an image sensor 30 on which a filter arrangement 40 according to an exemplary embodiment of the invention is arranged. The filter assembly 40 includes a plurality of filter elements R ', W and is at the Image sensor 30 is arranged such that each filter element R ', W at exactly one of the photosensitive elements (photocells) 301 of the image sensor 30 is arranged. The photosensitive elements 301, to which one of the filter elements R ', W is arranged, accordingly register only light which is transmitted by the respective filter element R', W.
Die Filterelemente R', W bestehen aus einer ersten Gruppe von Filterelementen R' und einer zweiten Gruppe von Filterelementen W, wobei die Filterelemente der ersten und der zweiten Gruppe jeweils so an dem Bildsensor 30 angeordnet sind, dass sich zwischen jedem der lichtempfindlichen Elemente 301 , dem ein Filterelement R' der ersten Gruppe zugeordnet ist, und jedem der dazu benachbarten (in der Ansichtsebene, d.h. in der Ebene, in der sich die Filteranordnung 40 erstreckt, nächstliegenden) lichtempfindlichen Elemente 301 , dem lediglich ein Filterelement W der zweiten Gruppe zugeordnet ist, genau ein lichtempfindliches Element 302 befindet, dem kein Filterelement (C =„Clear") zugeordnet ist. Bei den Filterelementen R' der ersten Gruppe handelt es sich jeweils um einen Farbfilter in Form eines Rotfilters, d.h. um einen Filter, der sichtbares Licht im roten Spektralbereich passieren lässt. Die Filterelemente W der zweiten Gruppe sind als reine Infrarotsperrfilter ausgebildet, d.h. sie blockieren den Durchtritt infraroter Strahlung. Die Ausgestaltung der Farbfilterelemente R' als Rotfilter ist allerdings nur beispielhaft. Zumindest einige der Rot- filterelemente R' könnten auch in Form eines anderen Farbfilters, etwa eines Grün- oder Blaufilters, ausgestaltet sein. The filter elements R ', W consist of a first group of filter elements R' and a second group of filter elements W, wherein the filter elements of the first and the second group are respectively arranged on the image sensor 30 such that between each of the photosensitive elements 301, a filter element R 'is assigned to the first group, and each of the adjacent thereto (in the plane of view, ie in the plane in which the filter assembly 40 extends, closest) photosensitive elements 301, which is associated with only one filter element W of the second group is exactly one light-sensitive element 302, to which no filter element (C = "Clear") is assigned. The filter elements R 'of the first group are each a color filter in the form of a red filter, ie a filter which has visible light in the The filter elements W of the second group are designed as pure infrared blocking filters, ie s They block the passage of infrared radiation. The design of the color filter elements R 'as a red filter is only an example. At least some of the red filter elements R 'could also be designed in the form of another color filter, for example a green or blue filter.
Die Filteranordnung 40 ist wie weiter unten anhand der Fig. 4 und 5 erläutert werden wird aus zwei Filterlagen aufgebaut, wobei eine Lage die Filterelemente W ausbildet und eine andere Lage Filterelemente R+IR, die neben dem roten sichtbaren Licht auch infratrotes Licht passieren lassen. Ein Teil der Filterelemente W ist deckungsgleich mit den Filterelementen R+IR angeordnet, so dass die Filterelemente R' aus einer Kombination von Filterelementen R+IR mit Filterelementen gebildet sind (daher werden die Filterelemente R' gelegentlich jeweils auch als„Filterkombination" bezeichnet). Entsprechend werden die den Filterelementen R' zugeordneten lichtempfindlichen Elemente 301 nicht durch infrarote Strahlung beaufschlagt. Verdeutlicht wird dies dadurch, dass im Vergleich zu Fig. 2 der Zusatz„+IR" hinter den Filterbezeichnungen (R') fehlt. Die Filterelemente R, W sind entsprechend der Anordnung der lichtempfindlichen Elemente 301 , 302 in Zeilen, die sich entlang einer ersten (horizontalen) Richtung erstrecken, und in Spalten, die sich entlang einer zweiten (vertikalen) Richtung erstrecken angeordnet, und zwar so, dass sie ein sich entlang der ersten und der zweiten Richtung wiederholendes Muster bilden. As will be explained below with reference to FIGS. 4 and 5, the filter arrangement 40 is constructed from two filter layers, one layer forming the filter elements W and another layer of filter elements R + IR which also allow infra-red light to pass in addition to the red visible light. A part of the filter elements W is arranged congruently with the filter elements R + IR, so that the filter elements R 'are formed of a combination of filter elements R + IR with filter elements (hence the filter elements R' are sometimes also referred to as "filter combination"). Accordingly, the light-sensitive elements 301 associated with the filter elements R 'are not acted upon by infrared radiation, which is illustrated by the fact that the suffix "+ IR" behind the filter designations (R') is missing in comparison to FIG. The filter elements R, W are arranged according to the arrangement of the photosensitive elements 301, 302 in lines extending along a first (horizontal) direction and in columns extending along a second (vertical) direction, such that they form a pattern repeating along the first and second directions.
Dabei sind die Filterelemente R, W der ersten und zweiten Gruppe entlang der horizontalen Richtung derart abwechselnd angeordnet, dass sich zwischen einem lichtempfindlichen Element 301 des Bildsensors 30, dem ein Filterelement R der ersten Gruppe zugeordnet ist, und einem benachbarten lichtempfindlichen Element 301 , dem ein Filterelement W der zweiten Gruppe zugeordnet ist, genau ein lichtempfindliches Element 302 befindet, dem kein Filterelement R, W zugeordnet ist. Dies trifft auch auf die Anordnung der Filterelemente R, W entlang der vertikalen Richtung zu, wobei die Filterelemente R, W entlang dieser Richtung so angeordnet sind, dass jede zweiten Zeile aus lichtempfindlichen Ele- menten 302 des Bildsensors 30 besteht, also aus lichtempfindlichen Elementen denen kein Filterelement zugeordnet ist. Somit befindet sich auch in den diagonalen Richtungen zwischen zwei benachbarten lichtempfindlichen Elementen 301 (vorliegend identischer Ausführung), denen entweder Filterelemente R oder Filterelemente W zugeordnet sind, jeweils ein lichtempfindliches Element 302, dem kein Filterelement R, W zugeordnet ist und das entsprechend sowohl den kompletten sichtbaren Wellenlängenbereich als auch den Infrarotbereich des einfallenden Lichtes erfassen kann. At this time, the filter elements R, W of the first and second groups are alternately arranged along the horizontal direction so as to be sandwiched between a photosensitive member 301 of the image sensor 30 associated with a filter element R of the first group and an adjacent photosensitive member 301 Filter element W is assigned to the second group, exactly one photosensitive element 302 is located, the filter element R, W is not assigned. This also applies to the arrangement of the filter elements R, W along the vertical direction, wherein the filter elements R, W along this direction are arranged so that every other row consists of photosensitive elements 302 of the image sensor 30, that is, photosensitive elements no filter element is assigned. Thus, even in the diagonal directions between two adjacent photosensitive elements 301 (in the presently identical embodiment), to which either filter elements R or filter elements W are assigned, there is one photosensitive element 302 to which no filter element R, W is assigned, and the corresponding complete one visible wavelength range as well as the infrared range of the incident light can detect.
Jede zweite Zeile und jede zweite Spalte der von den lichtempfindlichen Elementen 301 , 302 gebildeten Matrix besteht somit aus lichtempfindlichen Elementen 302, die Bildinfor- mationen aus Licht generieren, welches sowohl den kompletten sichtbaren Bereich als auch Infrarotanteile umfasst. Die aus den lichtempfindlichen Elementen 302 gebildeten Zeilen und Spalten des Bildsensors 30 bilden ein regelmäßiges Gitternetz mit sich im gleichen Abstand schneidenden Linien. In den Zwischenräumen (Maschen) des Gitternetzes befinden sich diejenigen lichtempfindlichen Elemente 301 (denen die Filterelemente R', W zugeordnet sind), welche nicht durch Licht aus dem Infrarotbereich beaufschlagt werden. In diagonaler Richtung sind abwechselnd mit den„Leerstellen" C jeweils entweder nur Filterelemente R' der ersten Gruppe oder nur Filterelemente W der zweiten Gruppe angeordnet. Die in Figur 3 verwendete Filteranordnung 40 besteht also aus sich wiederholenden Segmenten, die jeweils (zwei) Filterelementen der ersten Gruppe (Filterelemente R') und der zweiten Gruppe (Filterelemente W), (zwei) Filterelemente der zweiten Gruppe (Filterelemente W) sowie mehrere Bereiche C (zugeordnet den lichtempfindlichen Elementen 302) ohne Filtereigenschaften umfassen. Somit kann die Filteranordnung unterschiedlichen Anforderungen gerecht werden, die sich insbesondere bei Verwendung des mit der erfindungsgemäßen Filteranordnung ausgestatteten Bildsensors 30 in einem Fahrerassistenzsystem eines Kraftfahrzeuges ergeben. Insbesondere ermöglicht die Filteranordnung 40 eine Farbdetektion mit einem Achtel der Bildauflösung, während die lichtempfindlichen Ele- mente 302, denen kein Filterelement vorgeschaltet ist, drei Viertel der Bildauflösung ausmachen. Dennoch ist die Schrittweite zwischen den Filterelementen R, W gering, so dass sich eine möglichst homogene Farbauflösung ergibt. Analog zur Farbdetektion ermöglicht die Filteranordnung 40 eine Infrarotdetektion mit einem Achtel der Bildauflösung durch die Differenzbildung zwischen den Signalen der lichtempfindlichen Elemente 302 und der licht- empfindlichen Elementen 301 , denen lediglich ein Filterelement W der zweiten Gruppe (und kein Filterelement R der zweiten Gruppe) zugeordnet ist. Each second row and every second column of the matrix formed by the photosensitive elements 301, 302 thus consists of photosensitive elements 302 which generate image information from light which comprises both the complete visible region and infrared fractions. The rows and columns of the image sensor 30 formed from the photosensitive elements 302 form a regular grid with equally spaced intersecting lines. In the interstices (meshes) of the grid are those photosensitive elements 301 (which the filter elements R ', W are assigned), which are not acted upon by light from the infrared range. In the diagonal direction, alternately with the "vacancies" C, either only filter elements R 'of the first group or only filter elements W of the second group are arranged. The filter assembly 40 used in Figure 3 thus consists of repeating segments, the (two) filter elements of the first group (filter elements R ') and the second group (filter elements W), (two) filter elements of the second group (filter elements W) and several Include regions C (associated with the photosensitive elements 302) without filter properties. Thus, the filter assembly can meet different requirements that arise in particular when using the image sensor 30 equipped with the filter arrangement according to the invention in a driver assistance system of a motor vehicle. In particular, the filter arrangement 40 enables color detection with one-eighth of the image resolution, while the photosensitive elements 302, which are preceded by no filter element, make up three quarters of the image resolution. Nevertheless, the step size between the filter elements R, W is low, so that the most homogeneous color resolution results. Analogous to the color detection, the filter arrangement 40 allows an infrared detection with one-eighth of the image resolution by the difference between the signals of the photosensitive elements 302 and the light-sensitive elements 301, which only one filter element W of the second group (and no filter element R of the second group) assigned is.
Beispielsweise werden zur Objektdetektion oder Stereoberechnung (bei Einsatz des Bildsensors in einer Stereokamera) nur Signale von lichtempfindlichen Elementen 302 ver- wendet, denen kein Filterelement zugeordnet ist. Auch bei schlechten Sichtverhältnissen (etwa zur Detektion von Verkehrsteilnehmern bei Nacht) können überwiegend oder ausschließlich Signale der lichtempfindlichen Elemente 302 verwendet werden. Eine Detektion von Fernlicht, das nur einen geringen oder gar keinen Infrarotanteil aufweist, kann hingegen insbesondere auf Signale der mit den Infrarotsperrfiltern W versehenen lichtempf indli- chen Elemente 301 zurückgegriffen werden. Zur Detektion der Farbe, insbesondere von rotem Licht (etwa bei der Detektion von Licht, das von Rücklichtern von Fahrzeugen erzeugt wird), werden Signale benachbarter lichtempfindlicher Elemente 301 , die unterschiedliche Filterelemente R, W aufweisen, verwendet. Dies wird ausführlicher anhand der Fig. 6 beschrieben. For example, for object detection or stereo calculation (when the image sensor is used in a stereo camera) only signals from photosensitive elements 302 are used, to which no filter element is assigned. Even in poor visibility conditions (such as for the detection of road users at night) can be used predominantly or exclusively signals of the photosensitive elements 302. On the other hand, a detection of high-beam light which has only a low or no infrared component can, in particular, be made use of signals of the light-sensitive elements 301 provided with the infrared blocking filters W. In order to detect the color, in particular of red light (for example in the detection of light generated by taillights of vehicles), signals of adjacent photosensitive elements 301 having different filter elements R, W are used. This will be described in more detail with reference to FIG. 6.
Die erfindungsgemäße Filteranordnung 40 kann z.B. aus zwei Filterlagen (etwa in Form zweier Filterschichten) ausgebildet sein. Eine erste Filterlage 41 ist in Fig. 4 gezeigt. Die Filterlage 41 weist in einem Zeilen und Spalten umfassenden Raster angeordnete Filterele- mente R+IR auf, die als Farbfilter (z.B. als Rotfilter) ausgebildet sind, die also einen bestimmten sichtbaren Spektralbereich passieren lassen. Darüber hinaus transmittieren die Filterelemente R+IR auch infrarotes Licht. In horizontaler Richtung befinden sich jeweils zwischen zwei Filterelementen R+IR drei „Leerstellen" C, d.h. ein Bereich, in dem sich kein Filterelement befindet, der der Ausdehnung von drei lichtempfindlichen Elementen des Bildsensors entspricht. Darüber hinaus besteht jede zweite Zeile und jede zweite Spalte der Filterlage 41 komplett aus "Leerstellen" C und weist somit gar kein Filterelement auf. Die Bereiche C ohne Filterelemente können insbesondere von Licht aus dem sichtbaren Lichtspektrum und aus dem Infrarotbereich durchdrungen werden. The filter arrangement 40 according to the invention can be formed, for example, from two filter layers (for example in the form of two filter layers). A first filter layer 41 is shown in FIG. 4. The filter layer 41 has filter elements arranged in rows and columns comprising a grid. R + IR, which are designed as a color filter (eg as a red filter), so let pass a certain visible spectral range. In addition, the filter elements R + IR also transmit infrared light. In the horizontal direction, there are three "vacancies" C between two filter elements R + IR, ie an area in which there is no filter element which corresponds to the extent of three photosensitive elements of the image sensor, and every other row and column the filter layer 41 is completely made up of "voids" C and thus has no filter element at all The regions C without filter elements can be penetrated in particular by light from the visible light spectrum and from the infrared range.
Um zur Filteranordnung 40 der Fig. 3 zu gelangen, wird die Filterlage 41 der Fig. 4 mit einer zweiten Filterlage 42 kombiniert, die in Fig. 5 dargestellt ist. Die zweite Filterlage 42 weist neben Bereichen C ohne Filterelement (d.h. ohne Filtereigenschaften) nur Filterelemente in Form eines Infrarotsperrfilters W auf. Die Infrarotsperrfilter W dienen insbesondere dazu, eine Sättigung der lichtempfindlichen Elemente des Bildsensors zu vermeiden. Die Infrarotsperrfilter W der Filterlage 41 sind sowohl in horizontaler als auch in vertikaler Richtung abwechselnd mit den Leerstellen C" angeordnet, wobei wie bei der ersten Filterlage 41 jede zweite Zeile und jede zweite Spalte ausschließlich Leerstellen C" umfasst. Zumindest ein Teil der Filterelemente W ist deckungsgleich mit den Filterelementen R+IR der ersten Filterlage 41 angeordnet, so dass die Filterelemente R' aus einer Filterkombination der Filterelemente W und der Filterelemente R+IR gebildet werden. In order to arrive at the filter arrangement 40 of FIG. 3, the filter layer 41 of FIG. 4 is combined with a second filter layer 42, which is shown in FIG. The second filter layer 42 has, in addition to regions C without filter element (ie without filter properties) only filter elements in the form of an infrared blocking filter W. The infrared blocking filters W are used in particular to avoid saturation of the photosensitive elements of the image sensor. The infrared blocking filters W of the filter layer 41 are arranged alternately with the vacancies C " both in the horizontal and in the vertical direction, wherein, as in the first filter layer 41, every second row and every second column comprises only blank spaces C " . At least part of the filter elements W is arranged congruently with the filter elements R + IR of the first filter layer 41, so that the filter elements R 'are formed from a filter combination of the filter elements W and the filter elements R + IR.
Durch Anordnen der ersten Filterlage 41 an der zweiten Filterlage 42 wird schließlich die in Fig. 3 gezeigte Filteranordnung 40 erzeugt. Die Filterlagen 41 , 42 können etwa durch übereinander angeordnete Beschichtungen generiert werden. Es ist demnach möglich, dass Filterelemente einer ersten Gruppe, hier die Rotfilter R+IR, und Filterelemente einer zweiten Gruppe, hier die Infrarotsperrfilter W, in einer Richtung senkrecht zu den Filterlagen 41 , 42 unmittelbar aneinander grenzen. Es wird darauf hingewiesen, dass die erfindungsgemäße Filteranordnung 40 nicht zwingend aus mehreren Filterlagen aufgebaut sein muss. Vielmehr ist auch denkbar, dass sie lediglich aus einer Lage (z.B. einer einlagigen Beschichtung) besteht. Figur 6 veranschaulicht die von dem in Fig. 3 dargestellten Bildsensor 30 mit der erfindungsgemäßen Filteranordnung 40 registrierten Intensitäten von Licht unterschiedlicher Wellenlänge (d.h. unterschiedlicher Farbe) anhand zweier verschiedener Verkehrsschilder 51 , 52. Das eine Verkehrsschild 51 zeigt eine zulässige Höchstgeschwindigkeit von 30 km/h an (schwarze Ziffern 51 1 auf wei ßem Grund 512 in einer roten Umrandung 51 3), während das andere Verkehrsschild 52 eine Autobahnabfahrt ankündigt (blauer Hintergrund mit wei ßen Ziffern und Zeichen). By arranging the first filter layer 41 on the second filter layer 42, the filter arrangement 40 shown in FIG. 3 is finally produced. The filter layers 41, 42 can be generated approximately by superimposed coatings. It is therefore possible that filter elements of a first group, here the red filter R + IR, and filter elements of a second group, here the infrared blocking filter W, in a direction perpendicular to the filter layers 41, 42 directly adjoin one another. It should be noted that the filter arrangement 40 according to the invention does not necessarily have to be constructed from a plurality of filter layers. Rather, it is also conceivable that it only consists of one layer (eg a single-layer coating). FIG. 6 illustrates the intensities of light of different wavelengths (ie, different colors) registered by the image sensor 30 shown in FIG. 3 with the filter arrangement 40 according to the invention on the basis of two different traffic signs 51, 52. The one traffic sign 51 shows a permissible maximum speed of 30 km / h on (black numbers 51 1 on white background 512 in a red border 51 3), while the other traffic sign 52 announces a motorway exit (blue background with white numbers and characters).
Für die Identifizierung der Farbe des von den Verkehrsschildern 51 , 52 kommenden und auf den Bildsensor 30 auftreffenden Lichtes werden die Werte mindestens zweier benach- barter lichtempfindlicher Elemente 301 des Bildsensors 30 miteinander verglichen. Auf die lichtempfindliche Elemente 301 trifft kein Infrarotlicht, da sie entweder mit einem Filterelement W (d.h. einem Infrarotsperrfilter) oder mit einer Filterkombination R', bestehend aus einem Farbfilter (vorliegend ein Rotfilter R) und einem Filterelement W (Infrarotsperrfilter), abgedeckt sind. Das von der roten Umrandung 51 3 des Verkehrszeichens 51 kommende rote Licht durchdringt sowohl die Infrarotsperrfilter W als auch die Filterkombination R', so dass die von den diesen Filtern zugeordneten lichtempfindlichen Elementen 301 registrierte Intensität lw und I R annähernd gleich hoch ist, wobei die Intensitäten grö ßer als Null sind, d.h. lw « I R > 0. Von dem Licht, das von dem wei ßen Untergrund 51 2 des Verkehrszeichens 51 reflektiert wird, gelangen die sichtbaren Wellenlängen zu den lichtempfindlichen Elementen 301 , die lediglich durch einen Infrarotsperrfilter W abgedeckt sind. Dagegen erreichen ein benachbartes lichtempfindliches Element 301 , das mit einer Filterkombination R' (Rotfilter + Infrarotsperrfilter W) versehen ist, lediglich die roten Anteile des vom wei ßen Untergrund 512 reflektierten Lichtes. Die durch dieses lichtempfindliche Element 301 registrierte Intensität I R ist deshalb wesentlich niedriger als die von dem benachbarten Element 301 mit dem Infrarotsperrfilter W detektierte Intensität lw. Beide Werte sind jedoch größer als Null (lw » I R > 0). Das von den schwarzen Ziffern 51 1 auf den Bildsensor 30 reflektierte Licht enthält nahezu keine roten Anteile. Deshalb ist die Intensität I R des Lichtes, das von dem Element 301 mit Rotfilter R registriert wird, annähernd Null. Ein benachbartes lichtempfindliches Element 301 mit lediglich einem Infrarotsperrfilter W empfängt jedoch einen breiteren sichtbaren Wellenlängenbereich und damit eine höhere Lichtintensität (lw » IR, wobei IR ~ 0). Denkbar ist auch, zur Detektion der schwarzen Ziffern 51 1 den Infrarotanteil des von den Ziffern 51 1 reflektierten Lichtes heranzuziehen, insbesondere durch Vergleich (etwa durch Differenzbildung) des Signals eines lichtempfindlichen Elementes 301 mit lediglich einem Infrarot- Sperrfilter W mit dem Signal eines benachbarten lichtempfindlichen Elementes 302 ohne Filterelement. To identify the color of the light coming from the traffic signs 51, 52 and incident on the image sensor 30, the values of at least two adjacent photosensitive elements 301 of the image sensor 30 are compared with one another. No infrared light strikes the photosensitive elements 301, since they are covered either by a filter element W (ie an infrared blocking filter) or by a filter combination R 'consisting of a color filter (in the present case a red filter R) and a filter element W (infrared blocking filter). The red light coming from the red border 51 3 of the traffic sign 51 penetrates both the infrared blocking filters W and the filter combination R ', so that the intensity lw and IR registered by the light-sensitive elements 301 associated with these filters is approximately equal, the intensities being greater than or equal to Of the light reflected from the white background 51 2 of the traffic sign 51, the visible wavelengths reach the photosensitive elements 301, which are covered only by an infrared cut filter W. In contrast, reach an adjacent photosensitive element 301, which is provided with a filter combination R '(red filter + infrared blocking filter W), only the red portions of the reflected white background 512 light. The intensity IR registered by this photosensitive element 301 is therefore substantially lower than the intensity lw detected by the adjacent element 301 with the infrared blocking filter W. Both values, however, are greater than zero (lw>IR> 0). The reflected light from the black numbers 51 1 on the image sensor 30 contains almost no red components. Therefore, the intensity IR of the light registered by the element 301 with red filter R is approximately zero. However, an adjacent photosensitive element 301 with only one infrared blocking filter W receives a wider visible wavelength range and thus a higher light intensity (lw »IR, where IR~0). It is also conceivable to use the infrared portion of the light reflected from the numbers 51 1 for detecting the black numbers 51 1, in particular by comparing (for example by subtraction) the signal of a photosensitive element 301 with only one infrared blocking filter W with the signal of an adjacent photosensitive Element 302 without filter element.
Beim blauen Hintergrund des zweiten Verkehrsschilds 52 herrschen ähnliche Verhältnisse wie bei den schwarzen Ziffern 51 1 des ersten Verkehrsschilds 51 . Auch das von dem blauen Hintergrund reflektierte Licht enthält nahezu keine roten Anteile. Das Verhältnis der Intensitäten I R, lw des von zwei benachbarten lichtempfindlichen Elementen 301 mit der Filterkombination R' bzw. dem Filterelement W registrierten Lichtes ist deshalb identisch, d.h. es gilt ebenfalls lw » I R, wobei I R ~ 0. In the blue background of the second traffic sign 52 prevail similar conditions as in the black numerals 51 1 of the first traffic sign 51st Even the light reflected from the blue background contains almost no red components. The ratio of the intensities IR, lw of the light registered by two adjacent photosensitive elements 301 with the filter combination R 'or the filter element W is therefore identical, ie it also holds lw »IR, where IR ~ 0.
1 Fahrbahn 1 lane
3, 30 Bildsensor  3, 30 image sensor
4, 40 Filteranordnung  4, 40 filter arrangement
1 1 Mittelline  1 1 center line
12 Lichtsignalanlage  12 traffic signal system
13, 51 , 52 Verkehrsschild  13, 51, 52 road sign
21 Kraftfahrzeug  21 motor vehicle
22, 24 Radfahrer  22, 24 cyclists
23 Fu ßgänger  23 pedestrians
31 , 301 , 302 lichtempfindliches Element  31, 301, 302 photosensitive element
41 erste Filterlage  41 first filter layer
42 zweite Filterlage  42 second filter layer
51 1 schwarze Ziffer  51 1 black numeral
512 weißer Untergrund  512 white background
513 rote Umrandung  513 red border
R+IR Rotfilter  R + IR red filter
R' Filterkombination aus Rotfilter und Infrarotsperrfilter R 'Filter combination of red filter and infrared cut filter
B+IR Blaufilter B + IR blue filter
G+IR Grünfilter  G + IR green filter
W Infrarotsperrfilter  W Infrared blocking filter
c, Bereiche ohne Filtereigenschaften c, areas without filter properties

Claims

Patentansprüche Patent claims
1 . Filteranordnung für einen Bildsensor, der eine Mehrzahl in einem Raster angeordneter lichtempfindlicher Elemente umfasst, mit 1 . Filter arrangement for an image sensor, which comprises a plurality of light-sensitive elements arranged in a grid
- einer Mehrzahl von Filterelementen (R', W), die jeweils einem der lichtempfindlichen Elemente (301 ) zuzuordnen sind und die mindestens zwei verschiedene Gruppen von Filterelementen (R', W) umfassen, - a plurality of filter elements (R', W), each of which can be assigned to one of the light-sensitive elements (301) and which comprise at least two different groups of filter elements (R', W),
- wobei die Filterelemente (R') der ersten Gruppe jeweils Licht eines ersten Wellenlängenbereiches passieren lassen und die Filterelemente (W) der zweiten Gruppe je- weils Licht eines zweiten Wellenlängenbereiches, dadurch gekennzeichnet, dass die Filterelemente (R', W) der ersten und der zweiten Gruppe jeweils so in einem Raster angeordnet sind, dass sich nach einem Anordnen der Filteranordnung (40) an dem Bildsensor (30) zwischen jedem der lichtempfindlichen Elemente (301 ), dem ein Filterelement (R') der ersten Gruppe zugeordnet ist, und jedem der lichtempfindlichen Elemente (301 ), dem ein Filterelement (W) der zweiten Gruppe zugeordnet ist, mindestens ein lichtempfindliches Element (302) befindet, dem kein Filterelement (R', W) zugeordnet ist. - wherein the filter elements (R') of the first group each allow light of a first wavelength range to pass and the filter elements (W) of the second group each allow light of a second wavelength range, characterized in that the filter elements (R', W) of the first and of the second group are each arranged in a grid so that after arranging the filter arrangement (40) on the image sensor (30) between each of the light-sensitive elements (301) to which a filter element (R ') of the first group is assigned, and each of the light-sensitive elements (301) to which a filter element (W) of the second group is assigned, there is at least one light-sensitive element (302) to which no filter element (R', W) is assigned.
2. Filteranordnung nach Anspruch 1 , dadurch gekennzeichnet, dass die Filterelemente (R') der ersten Gruppe jeweils als Farbfilter ausgebildet sind, der einen Teil des sichtbaren Wellenlängenbereichs passieren lässt. 2. Filter arrangement according to claim 1, characterized in that the filter elements (R ') of the first group are each designed as a color filter which allows part of the visible wavelength range to pass.
3. Filteranordnung nach Anspruch 2, dadurch gekennzeichnet, dass es sich bei zumindest einigen der Farbfilter um Rot-, Grün- oder Blaufilter handelt. 3. Filter arrangement according to claim 2, characterized in that at least some of the color filters are red, green or blue filters.
4. Filteranordnung nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass zumindest einige der Farbfilter gleichzeitig als Infrarotsperrfilter ausgebildet oder mit einem Infra- rotsperrfilter kombiniert sind. 4. Filter arrangement according to claim 2 or 3, characterized in that at least some of the color filters are simultaneously designed as infrared blocking filters or are combined with an infrared blocking filter.
5. Filteranordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Filterelemente (W) der zweiten Gruppe jeweils als Infrarotsperrfilter ausgebildet sind. 5. Filter arrangement according to one of the preceding claims, characterized in that the filter elements (W) of the second group are each designed as infrared blocking filters.
6. Filteranordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Filterelemente (R', W) der ersten und zweiten Gruppe in Zeilen, die sich entlang einer ersten Richtung erstrecken, und in Spalten, die sich entlang einer zweiten Richtung erstrecken, derart angeordnet, dass sie ein sich entlang der ersten und der zweiten Richtung wiederholendes Muster bilden. 6. Filter arrangement according to one of the preceding claims, characterized in that the filter elements (R ', W) of the first and second groups in rows that extend along a first direction and in columns that extend along a second direction, such arranged to form a repeating pattern along the first and second directions.
7. Filteranordnung nach Anspruch 6, dadurch gekennzeichnet, dass die Filterelemente (R', W) der ersten und zweiten Gruppe entlang der ersten Richtung derart abwechselnd angeordnet sind, dass sich zwischen einem lichtempfindlichen Element (301 ) des Bildsensors (30), dem ein Filterelement (R') der ersten Gruppe zugeordnet ist, und einem lichtempfindlichen Element (301 ), dem ein Filterelement (W) der zweiten Gruppe zugeordnet ist, jeweils mindestens ein lichtempfindliches Element (302) befindet, dem kein Filterelement (R', W) zugeordnet ist. 7. Filter arrangement according to claim 6, characterized in that the filter elements (R ', W) of the first and second groups are arranged alternately along the first direction in such a way that between a light-sensitive element (301) of the image sensor (30), the Filter element (R ') is assigned to the first group, and a light-sensitive element (301), to which a filter element (W) of the second group is assigned, there is in each case at least one light-sensitive element (302) to which no filter element (R', W) is assigned. assigned.
8. Filteranordnung nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Filterelemente (R', W) der ersten und zweiten Gruppe entlang der zweiten Richtung derart abwechselnd angeordnet sind, dass sich zwischen einem lichtempfindlichen Element (301 ) des Bildsensors (30), dem ein Filterelement (R') der ersten Gruppe zugeordnet ist, und einem lichtempfindlichen Element (301 ), dem ein Filterelement (W) der zweiten Gruppe zugeordnet ist, jeweils mindestens ein lichtempfindliches Element (302) befindet, dem kein Filterelement (R', W) zugeordnet ist. 9. Filteranordnung nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass die Filterelemente (R', W) der ersten und zweiten Gruppe entlang der zweiten Richtung so angeordnet sind, dass jeder zweiten Zeile der lichtempfindlichen Elemente (301 ) des Bildsensors (30) kein Filterelement (R', W) zugeordnet ist. 10. Filteranordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste Gruppe der Filterelemente (R') durch eine erste Filterlage (41 ) und die zweite Gruppe der Filterelemente (W) durch eine zweite Filterlage (42) realisiert sind, wobei die erste Filterlage (41 ) an der zweiten Filterlage (42) angeordnet ist. Filteranordnung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Filterelemente (R', W) jeweils als Beschichtung ausgebildet sind. 8. Filter arrangement according to claim 6 or 7, characterized in that the filter elements (R ', W) of the first and second groups are arranged alternately along the second direction in such a way that between a light-sensitive element (301) of the image sensor (30), to which a filter element (R') of the first group is assigned, and a light-sensitive element (301) to which a filter element (W) of the second group is assigned, there is in each case at least one light-sensitive element (302) to which no filter element (R', W) is assigned. 9. Filter arrangement according to one of claims 6 to 8, characterized in that the filter elements (R ', W) of the first and second groups are arranged along the second direction so that every second row of the light-sensitive elements (301) of the image sensor (30 ) no filter element (R', W) is assigned. 10. Filter arrangement according to one of the preceding claims, characterized in that the first group of filter elements (R ') are realized by a first filter layer (41) and the second group of filter elements (W) by a second filter layer (42), the first filter layer (41) is arranged on the second filter layer (42). Filter arrangement according to one of the preceding claims, characterized in that the filter elements (R', W) are each designed as a coating.
Bildsensor mit einer Filteranordnung gemäß einem der vorhergehenden Ansprüche, wobei die Filterelemente (R', W) der Filteranordnung (40) jeweils an einem lichtempfindlichen Element (301 ) des Bildsensors (30) angeordnet sind. Image sensor with a filter arrangement according to one of the preceding claims, wherein the filter elements (R', W) of the filter arrangement (40) are each arranged on a light-sensitive element (301) of the image sensor (30).
Verfahren zum Herstellen einer Filteranordnung für einen Bildsensor, insbesondere gemäß einem der Ansprüche 1 bis 1 1 , mit den Schritten Method for producing a filter arrangement for an image sensor, in particular according to one of claims 1 to 1 1, with the steps
- Bereitstellen einer Mehrzahl lichtempfindlicher Elemente (301 , 302); - Providing a plurality of photosensitive elements (301, 302);
- Bereitstellen einer Mehrzahl von Filterelementen (R, W) und Anordnen der Filterelemente (R', W) an den lichtempfindlichen Elementen (301 ), wobei die Filterelemente mindestens zwei verschiedene Gruppen von Filterelementen (R', W) umfassen, wobei die Filterelemente (R') der ersten Gruppe jeweils Licht eines ersten Wellenlängenbereiches passieren lassen und die Filterelemente (W) der zweiten Gruppe jeweils Licht eines zweiten Wellenlängenbereiches, - Providing a plurality of filter elements (R, W) and arranging the filter elements (R', W) on the light-sensitive elements (301), the filter elements comprising at least two different groups of filter elements (R', W), the filter elements ( R') of the first group each allow light of a first wavelength range to pass through and the filter elements (W) of the second group each allow light of a second wavelength range,
dadurch gekennzeichnet, dass die Filterelemente (R', W) der ersten und der zweiten Gruppe jeweils so in einem Raster an den lichtempfindlichen Elementen (301 ) angeordnet werden, dass sich zwischen jedem der lichtempfindlichen Elemente (301 ), dem ein Filterelement (R') der ersten Gruppe zugeordnet ist, und jedem der benachbarten lichtempfindlichen Elementen (301 ), dem ein Filterelement (W) der zweiten Gruppe zugeordnet ist, mindestens ein lichtempfindliches Element (302) befindet, dem kein Filterelement (R', W) zugeordnet ist. characterized in that the filter elements (R', W) of the first and second groups are each arranged in a grid on the light-sensitive elements (301) such that there is a filter element (R') between each of the light-sensitive elements (301). ) is assigned to the first group, and each of the adjacent light-sensitive elements (301), to which a filter element (W) of the second group is assigned, there is at least one light-sensitive element (302) to which no filter element (R ', W) is assigned.
14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass die Filterelemente (R', W) jeweils in Form einer Beschichtung an den lichtempfindlichen Elementen (301 ) an- geordnet werden. 14. The method according to claim 13, characterized in that the filter elements (R ', W) are each arranged in the form of a coating on the light-sensitive elements (301).
PCT/EP2014/074269 2013-11-20 2014-11-11 Filter arrangement and method for producing a filter arrangement WO2015074915A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013223699.9A DE102013223699A1 (en) 2013-11-20 2013-11-20 Filter assembly and method of making a filter assembly
DE102013223699.9 2013-11-20

Publications (1)

Publication Number Publication Date
WO2015074915A1 true WO2015074915A1 (en) 2015-05-28

Family

ID=52011156

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2014/074269 WO2015074915A1 (en) 2013-11-20 2014-11-11 Filter arrangement and method for producing a filter arrangement

Country Status (2)

Country Link
DE (1) DE102013223699A1 (en)
WO (1) WO2015074915A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111447423A (en) * 2020-03-25 2020-07-24 浙江大华技术股份有限公司 Image sensor, imaging apparatus, and image processing method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015226011A1 (en) * 2015-12-18 2017-06-22 Robert Bosch Gmbh Detection device for detecting at least one reflective element in a detection area, vehicle and method for detecting a detection area by means of a detection device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US20080128598A1 (en) * 2006-03-31 2008-06-05 Junichi Kanai Imaging device camera system and driving method of the same
DE102009000001A1 (en) * 2009-01-02 2010-07-08 Robert Bosch Gmbh Image sensor and method of manufacturing an image sensor
US20130193311A1 (en) * 2010-09-27 2013-08-01 Panasonic Corporation Solid-state imaging device and imaging apparatus
WO2014170359A1 (en) * 2013-04-17 2014-10-23 Photonis France Device for acquiring bimodal images

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006064564A1 (en) * 2004-12-16 2006-06-22 Fujitsu Limited Imaging device, imaging element, and image processing method
DE102010063960A1 (en) * 2010-12-22 2012-06-28 Carl Zeiss Microlmaging Gmbh Camera with a color image sensor and recording method with such a camera
DE102012021736B4 (en) * 2012-03-22 2021-08-05 Volkswagen Aktiengesellschaft Image sensor for visible and infrared light and camera system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US20080128598A1 (en) * 2006-03-31 2008-06-05 Junichi Kanai Imaging device camera system and driving method of the same
DE102009000001A1 (en) * 2009-01-02 2010-07-08 Robert Bosch Gmbh Image sensor and method of manufacturing an image sensor
US20130193311A1 (en) * 2010-09-27 2013-08-01 Panasonic Corporation Solid-state imaging device and imaging apparatus
WO2014170359A1 (en) * 2013-04-17 2014-10-23 Photonis France Device for acquiring bimodal images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111447423A (en) * 2020-03-25 2020-07-24 浙江大华技术股份有限公司 Image sensor, imaging apparatus, and image processing method

Also Published As

Publication number Publication date
DE102013223699A1 (en) 2015-05-21

Similar Documents

Publication Publication Date Title
DE102007040114B4 (en) Color mask for an image sensor of a vehicle camera
EP1758783B1 (en) Monitoring unit in addition to an assist system for motor vehicles
WO2004070449A1 (en) Method and device for visualizing a motor vehicle environment with environment-dependent fusion of an infrared image and a visual image
EP2895816A1 (en) Adaptive visual camouflage
DE102011051583A1 (en) Image pickup device for a vehicle
DE102011100350A1 (en) Image sensor with adjustable resolution
DE102012108861A1 (en) Method for calibrating a color-resolving vehicle camera
DE102007034608A1 (en) camera
EP1339228A1 (en) Method and device for visualization of a detail of a vehicle's environment and calibration unit for calibrating the device
DE10220825A1 (en) Image pickup device for motor vehicle driver assistance system, has image pickup element corresponding to pixel of image detection device
DE102012110092A1 (en) Sensor arrangement for image acquisition
DE102014110282A1 (en) Lighting device for vehicles
DE102012021736B4 (en) Image sensor for visible and infrared light and camera system
WO2015074915A1 (en) Filter arrangement and method for producing a filter arrangement
DE102014218460B4 (en) Assistance system of a motor vehicle, with a camera and image sensor
DE102012110094A1 (en) Image capturing sensor arrangement of image sensor for camera mounted on vehicle, has first type sensing elements which are designed with infrared band elimination filter for electromagnetic radiation in non-visible spectral region
DE102016223671A1 (en) Illumination system for the determination of geometric properties as well as driver assistance system and method
DE102014224903A1 (en) Optical environment sensor for vehicles
DE102016105579A1 (en) Optical filter for a camera of a motor vehicle, camera for a driver assistance system, driver assistance system and motor vehicle train with a driver assistant system
DE19549216C2 (en) Process for image evaluation
WO2008116812A1 (en) Optical sensor comprising an adaptive color filter
DE102014216421A1 (en) Assistance system of a motor vehicle with a camera and method for adjusting a camera
DE102019006911A1 (en) Device and method for the automated detection of a destination area
EP0779993B1 (en) Device and process for recognising objects
WO2015090997A1 (en) Optical sensor system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14808524

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14808524

Country of ref document: EP

Kind code of ref document: A1