WO2012084531A1 - Camera with a colour image sensor and recording method with such a camera - Google Patents

Camera with a colour image sensor and recording method with such a camera Download PDF

Info

Publication number
WO2012084531A1
WO2012084531A1 PCT/EP2011/072201 EP2011072201W WO2012084531A1 WO 2012084531 A1 WO2012084531 A1 WO 2012084531A1 EP 2011072201 W EP2011072201 W EP 2011072201W WO 2012084531 A1 WO2012084531 A1 WO 2012084531A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
image
cells
pixels
image sensor
Prior art date
Application number
PCT/EP2011/072201
Other languages
German (de)
French (fr)
Inventor
Markus Cappellaro
Original Assignee
Carl Zeiss Microimaging Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microimaging Gmbh filed Critical Carl Zeiss Microimaging Gmbh
Publication of WO2012084531A1 publication Critical patent/WO2012084531A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene

Definitions

  • the present invention relates to a camera with a color image sensor and a recording method with such a camera.
  • GFP green fluorescent protein
  • the object is achieved by a camera having a color image sensor which has a plurality of in-plane pixels and a color mask covering the pixels, and a moving unit with which the color image sensor is movable in the plane, wherein the color mask for each pixel is a filter cell contains, which is formed either as a color cell for color filtering for one of at least three color channels or as a transparency cell, which does not cause color filtering, and wherein the color mask has color cells for all of the at least three color channels and transparency cells.
  • the color sensor of the camera according to the invention has not only the color cells but also transparency cells in the color mask, in addition to the color information, it is also possible to record monochrome image information which is not adversely affected (for example, attenuated) by any color filters. Due to the moving unit, it is possible to perform various shots of a sample having different positions of the color image sensor. These different images can then be used for image generation. Thus, for example, an increase in resolution and / or sensitivity can be achieved.
  • a possibly provided IR filter can be swung out, whereby spectral restrictions are eliminated.
  • the exposure of the pixels takes place simultaneously, regardless of whether the associated filter cell is a color cell or a transparency cell.
  • the color image sensor may also be referred to as a multispectral sensor.
  • the color mask can be in one piece or in several parts.
  • the color mask can be made transparent in the region of the transparency cells or can have a corresponding opening.
  • the camera according to the invention may include a control unit which is designed to a) after a first recording of a sample (or of an object) by means of the color image sensor Move unit to move the color image sensor in the plane, b) trigger a second image of the sample by means of the color image sensor in the displaced position, and c) generate an image of the sample based on the images.
  • the shift may be performed by always shifting the size of a pixel (pixel shift). In this case, the full resolution is present in each spectral field.
  • a combination of pixel and subpixel shift is possible.
  • the control unit may be wholly or partly formed in the camera itself. However, it is also possible that the control unit is wholly or partly formed as a separate unit which can cooperate with the camera in the manner described.
  • the control unit and the camera may e.g. be housed in separate housings and together form e.g. a camera system.
  • the control unit can also be designed to achieve a higher resolution in at least one of the color channels or a monochrome channel of the transparency cells in step c) compared to the number of corresponding color or transparency cells.
  • control unit can be designed to generate a color image in step c), in which the image data of the pixels covered by transparency cells are taken into account.
  • image data of the pixels covered by transparency cells are taken into account.
  • luminance values of the pixels covered by transparency cells can be taken into account. If the pixels covered by transparency cells are sensitive to wavelengths outside the visible spectrum, these signals can also be taken into account.
  • the control unit may be designed to perform step b) several times with different positions of the color image sensor in order to perform a plurality of second images with the different positions of the color image sensor. These several second images can then be taken into account in step c) during the generation of the image, in particular for improving the spatial resolution. In particular, pixel and subpixel shift can be combined.
  • the control unit may further be configured to generate a color image and a monochrome image based on the image data of a single shot or a single shot, taking into account for the color image image data of the color cell covered pixels and for the monochrome image image data of the pixels covered by transparency cells ,
  • the camera according to the invention can be used in particular in a microscope, so that a microscope, e.g. an imaging optics for magnifying imaging of a sample on the color image sensor is provided with a camera according to the invention.
  • a control module of the microscope which generates an image based on the image data of the camera, also be designed as a control unit of the camera or together with the control unit of the camera cause the control of the camera for recording and image generation.
  • the camera or the microscope can selectively be converted into a color image mode in which a color image of the sample is generated based on the image data of the color cell covered pixels, and a monochrome image mode in which a monochrome image of the sample based on the image data the pixel covered by transparency cells is generated.
  • a color image mode in which a color image of the sample is generated based on the image data of the color cell covered pixels
  • a monochrome image mode in which a monochrome image of the sample based on the image data the pixel covered by transparency cells is generated.
  • the modes differ essentially by the electrical control of the color image sensor and / or the evaluation of the provided image data to generate the desired color image or monochrome image.
  • multiple images with different positions of the color image sensor can be used to generate the desired image.
  • the camera or the microscope can still be switched to a combined image mode in which both a color image and a monochrome image of the sample is generated, preferably for the color image image data of the pixels covered by color cells and for the monochrome image image data by the transparency cells covered pixels are taken into account.
  • an infrared cut filter can be arranged in the beam path (for example, from the sample to the color image sensor) in order, for example, to ensure correct color reproduction.
  • the infrared cut filter of a Position in the beam path are moved to a position outside the beam path and vice versa. This makes it possible to selectively provide an infrared cut filter in the beam path, if desired or required for color fast shooting.
  • the camera according to the invention and the microscope a hitherto unattainable universally usable applicability for color and fluorescence images with variable resolution and speed is provided without additional requirements for the microscope, such as colored lighting or additional components in the beam path, must be provided .
  • the camera according to the invention or the microscope is therefore equally suitable for colored specimens (eg in pathology) and for monochrome fluorescence preparations (eg for the uptake of living cells). All this can be achieved with the camera or the microscope according to the invention with low cost and effort.
  • the camera or the microscope according to the invention it is thus possible to react very flexibly to the corresponding requirements of the respective sample. Only a suitable shooting mode (e.g., color picture mode, monochrome picture mode, composite picture mode) or camera mode needs to be selected. Camera mode is understood to mean in particular the combination of the execution of the at least one recording and the corresponding image generation. The camera according to the invention or the microscope can therefore be easily adapted to different recording conditions. Essentially, the control of the color image sensor, the scanning unit and / or the evaluation of the image data must be changed.
  • a suitable shooting mode e.g., color picture mode, monochrome picture mode, composite picture mode
  • Camera mode is understood to mean in particular the combination of the execution of the at least one recording and the corresponding image generation.
  • the camera according to the invention or the microscope can therefore be easily adapted to different recording conditions. Essentially, the control of the color image sensor, the scanning unit and / or the evaluation of the image data must be changed.
  • the microscope with the camera according to the invention can be embodied as a fluorescence microscope, as a multichannel fluorescence microscope, as a phase contrast microscope, as a transmitted light, incident light and / or bright field microscope or else as another microscope.
  • a fluorescence microscope as a multichannel fluorescence microscope
  • phase contrast microscope as a transmitted light, incident light and / or bright field microscope or else as another microscope.
  • all conventional contrasting techniques can be implemented, such as e.g. Bright field, dark field, phase contrast, differential interference contrast, polarization, fluorescence, etc., and any combinations thereof.
  • the control unit in the camera according to the invention can be constructed as a single control unit or also from two or more control submodules. The same applies to the control module of the microscope.
  • the sample to be magnified may be in particular a medical and / or biological sample or other materials.
  • colored, fluorescent or non-colored material samples eg ground steels
  • the color image sensor can be a CCD sensor or a CMOS sensor and can be designed, for example, as an HDTV sensor with 1920 ⁇ 1080 image pixels. Further, the color image sensor may be capable of taking approximately 50-60 frames per second and outputting the corresponding image data.
  • a recording method with the camera according to the invention (including its developments), in which a) a first image of the sample is performed by means of the color image sensor, b) then the color image sensor is displaced in the plane, c) a second image of the sample the color image sensor is performed in the shifted position, and d) an image of the sample is generated based on the images.
  • the image can be generated with a higher resolution in at least one of the color channels or a monochrome channel of the transparency cells in comparison to the number of corresponding color or transparency cells.
  • the recording method of the invention it is possible to simultaneously record a color image and a monochrome image.
  • the exposure of the pixels takes place simultaneously, regardless of whether the associated filter cell is a color cell or a transparency cell.
  • the image data of the pixels covered by transparency cells may be taken into account in the generation of the color image, e.g. to improve the contrast range of the color image and the color interpolation.
  • the image can be generated as a color image, wherein in the image generation the image data of the pixels covered by transparency cells are taken into account, e.g. to improve the contrast range of the color image and the color interpolation.
  • steps b) and c) may be performed a plurality of times to perform a plurality of second pickups with different positions of the color image sensor.
  • a color image and a monochrome image can be generated based on the image data of a single image, wherein for the Color image image data of the pixels covered by the color cells and for the monochrome image image data of the pixels covered by transparency cells are taken into account.
  • the recording method according to the invention can be designed in particular as Mikrokopierbacter.
  • the camera according to the invention or the microscope according to the invention can be developed so that steps of the recording or microscopy method according to the invention can be realized with it or with it.
  • the microscopy method according to the invention can also be developed in such a way that it has steps which can be carried out or carried out with the camera according to the invention or the microscope according to the invention.
  • FIG. 1 shows a schematic view of the use of the camera according to the invention in a microscope
  • Fig. 2 is a schematic plan view of a part of the color image sensor 7 in Fig. 1;
  • Fig. 3 is a schematic plan view of an embodiment of the moving unit 8 in Fig. 1; 4 shows a further embodiment of the movement unit 8;
  • Fig. 5 is a schematic representation of a portion of the sample
  • FIG. 6 shows a schematic representation for the assignment of the filter cells to the image cells of the sample
  • FIG. 7 shows a schematic representation with a further assignment of the filter cells to the image cells of the sample
  • Fig. 1 1 and 12 possible unit cells in the formation of the filter mask as
  • Fig. 13 is a schematic diagram for explaining the sensitivity of color and transparency pixels.
  • FIGS. 14 and 15 are further illustrations for explaining the spectral sensitivity of color and transparency pixels.
  • a camera according to the invention is used in a microscope 1 which has a sample table 2 carrying a sample 3, a receiving unit 4 which is connected to the sample table 2 via a schematically illustrated stand 5, and a control unit 6 having.
  • the recording unit 4 contains a color image sensor 7, a movement unit 8 for moving the color image sensor 7, and imaging optics 9 for magnifying imaging of the sample 3 or part of the sample 3 on the color image sensor 7.
  • the color image sensor 7 forms a camera according to the invention together with the movement unit 8 according to one embodiment.
  • the control unit 6 may be part of the camera and / or part of the microscope.
  • the distance (in the z direction) between the imaging optics 9 and the sample table 3 and thus the sample 2 can be adjusted by means of the stand 5 under the control of the control unit 6. Furthermore, the sample table 3 can be moved in the x-direction and perpendicular to the plane of the drawing in the y-direction in order to position the sample 2.
  • the color image sensor 7 comprises a plurality of pixels 10 arranged in rows and columns (of which only three are shown in phantom in Figure 2) and a pixel 1 0th covering color mask 1 1 on.
  • the color mask 1 1 comprises filter cells 12, which are arranged in the same way as the pixels 10 in rows and columns, wherein in each case exactly one filter cell 12 is associated with a pixel 10 and covers it.
  • the filter cells 12 are shown schematically as squares, wherein the filtering effect is described by the letters contained in each filter cell 12. The letters are only for the description of the filter effect and are of course not included in the actual filter mask 1 1.
  • the letters R, G and B stand for color filters, where the letter R describes the red channel, the letter G the green channel and the letter B the blue channel.
  • the filter cells of these three color channels can be referred to as color cells.
  • the filter cells 12 with the letter W stand for filter cells in which no color filtering takes place. These filter cells can therefore also be referred to as transparency cells.
  • the color and transparency cells are arranged in a regular pattern, wherein in the embodiment described here there is a unit cell 13 of 4x4 filter cells 12, as indicated schematically in FIG.
  • the unit cell 13 is repeated in the x and y directions arranged so as to give the indicated in Figure 2 filter cell distribution.
  • Fig. 2 only a part of the color filter 7 is shown schematically, which is designed here as an HDTV sensor with 1920 x 1080 pixels 10.
  • half of the filter cells 12 are transparency cells and arranged such that a displacement of the color image sensor 7 in the x or y direction by exactly one filter cell 12 leads to complete area coverage with transparency cells. Such a shift can be carried out, for example, by means of the movement unit 8.
  • FIG. 8 An embodiment of the movement unit 8 is shown schematically in plan view in FIG.
  • the color image sensor 7 is seated on a carrier 20 which is connected to a frame 25 via four piezo elements 21, 22, 23 and 24.
  • the desired displacement in the x and y direction can then be carried out. If, for example, the piezo elements 21 and 23 are driven, a shift in the y direction will take place.
  • FIG. 4 schematically shows a further embodiment of the movement unit 8.
  • This embodiment differs essentially from the embodiment of Figure 3 in that only two piezo elements 21 and 22 are necessary.
  • the carrier 20 spring elements 26 and 27 are provided, via which the carrier 20 is connected to the frame 25.
  • a shift in the x-direction can be performed.
  • the piezoelectric element 22 is driven.
  • the desired region of the sample 3 is magnified on the color image sensor 7 by means of the imaging optics 9.
  • the color image sensor 7 picks up the enlarged image and supplies the corresponding image data to the control unit 6.
  • the intensity information of the pixels 10 which are below the transparency cells and hereinafter also referred to as transparency pixels may be used to interpolate the image data of the pixels below the color cells and subsequently also as color pixels serve to produce an interpolated color image.
  • the intensity information is the intensity of the entire spectrum detectable with the pixels. That interpolated Color image may, for example, have an increased contrast range, in particular in low-light areas. Thus, an improvement in the overall photosensitivity of the color image can be achieved.
  • the image data of the transparency pixels can also be used to generate a monochrome image that was taken simultaneously with the color image.
  • the generation of the desired images from the image data is carried out by the control unit 6 or by a computer, not shown, to which the image data of the color image sensor are supplied.
  • the generated image (s) may be e.g. on an output unit 15 (e.g., a screen) and / or stored.
  • an output unit 15 e.g., a screen
  • the color image sensor 7 can be operated to generate a live image in color and / or a monochrome live image, e.g. be displayed on the screen 15 or is. It can e.g. 60 shots per second are made.
  • the color image sensor in the xy plane is correspondingly displaced by means of the movement unit 8.
  • a shift of the color image sensor 7 between the two images by the size of a pixel in the x or y direction can be performed.
  • the two images achieve full resolution in the monochrome channel and improved resolution in the color channels with increased contrast.
  • full resolution is understood to mean, in particular, that based on the at least two images, a photograph can be composed which has image data of the same pixel type (for example transparency pixels, red, green or blue color pixels) for all pixel positions of the color image sensor 7. It can e.g. a monochrome image with 1920 x 1080 pixels are generated.
  • sample 3 The full resolution can also be understood with reference to sample 3 as follows.
  • part of the sample 3, which can be assigned to a unit cell 13 of the color image sensor 7, is shown schematically, it being possible to divide the corresponding region of the sample 3 into 4 ⁇ 4 image cells 30 due to the above-mentioned assignment are shown with rounded corners.
  • FIG. 6 shows how the assignment of the filter cells 12 to the image cells 30 of the sample 3 is at a first position of the color image sensor 7, wherein the color mask 11 is a Unit cell 13 and a left adjacent column with four further filter cells 12 is shown.
  • FIG. 7 shows a position offset by one pixel width in the x-direction (relative to the position according to FIG. 6) of the color image sensor 7.
  • FIG. 7 shows a position offset by one pixel width in the x-direction (relative to the position according to FIG. 6) of the color image sensor 7.
  • the two figures 6 and 7 are covered by two cells for all image cells 30, the corresponding intensity values by means of the two shown in Fig. 6 and 7 positions of the color mask 1 1 all the image cells 30 by transparency cells Transparency cells covered pixels can be detected. There is thus the aforementioned full resolution.
  • an identical resolution in all three color channels is understood to mean, in particular, that there are 30 pixel values for each of the three color channels for the same number of image cells, or that the number of pixel values of the individual color channels corresponds to the ratio of the color filters of the color mask 11. In the color filter mask described here, this would mean that the number of pixels for red and blue is the same and exactly half the number of pixels is green.
  • the moving unit 8 can also effect a displacement in the x or y direction, which is smaller than the size of a pixel 10.
  • a displacement in the x or y direction which is smaller than the size of a pixel 10.
  • the imaging optics 9 may include an infrared cut-off filter 14 to prevent infrared radiation from hitting the color pixels 10, which would distort color picking, as the pixels are often also sensitive to infrared radiation.
  • the infrared blocking filter 14 is in particular movably mounted and can be removed from the beam path from the sample 3 to the color image sensor 7.
  • a monochrome recording in which the image data of the monochrome pixels are evaluated, a higher sensitivity can be achieved.
  • the distribution of the filter cells 12 shown in FIG. 2 is only to be understood as an example. Of course, any other suitable distribution can be chosen. Examples are in Figures 8, 9 and 10 are shown. From these it can also be seen that the unit cell 13 can be of different sizes.
  • the filter mask 1 1 must not be designed as an RGB filter mask. It can also be designed, for example, as a CMY complementary filter mask.
  • Figures 1 and 12 show examples of CYGM and CMYW filter masks, again showing only a unit cell, where C is cyan, Y is yellow, G is green, M is magenta, and W is a transparency cell. The already explained advantage of the transparency cells with respect to the color cells is to be clarified by the sensitivity curves shown by way of example in FIG.
  • the relative sensitivity (y-axis) is measured over the wavelength in nm (x-axis) for pixels which are covered by color cells (in which case an infrared filter is connected upstream), and for pixels which are covered by transparency cells, curve 31 represents the relative sensitivity of a blue pixel (ie, a pixel covered by a blue color filter), curve 32 the relative sensitivity of a green pixel, curve 33 the relative sensitivity of a red pixel, and curve 34 the relative sensitivity of a red pixel Transparency pixels shows.
  • the spectral sensitivity range is much wider for a transparency pixel than for color pixels.
  • the quantum efficiency and thus the detection probability for photons at transparency pixels in the visible wavelength range (400 nm - 700 nm) is higher and steadier than the color pixels.
  • the color pixels are not sensitive and can not detect photons, while the transparency pixel still generates a signal.
  • the transparency pixels are superior to the color pixels for fluorescent signals.
  • the microscope according to the invention can therefore be used very flexibly for different recording modes with excellent quality.
  • Figs. 14 and 15 the principal difference between color and transparency pixels is shown quantitatively in the manner that the same sensor (once with color filter and once without color filter) was illuminated and the output signal was measured.
  • bars 35, 36 and 37 show the output of the color masked sensor and thus the output of a color pixel when illuminated at different wavelengths.
  • the bar 35 shows the signal response (in arbitrary units) at 625 nm
  • the bar 36 at 565 nm illumination
  • the bar 37 at 430 nm illumination.
  • the signal response without color filter at the same illumination wavelength
  • the intensity is always much higher.
  • the signal response of the color cell is only 52 to 66% of the signal response of the transparency cell.
  • This can be used, for example, for very short exposure times in monochrome images by means of the microscope according to the invention.
  • the microscope 1 according to the invention can furthermore also have a light source, not shown, as well as further elements which are necessary for the operation of the microscope 1 and are known to the person skilled in the art.
  • the camera according to the invention has been described here as part of the microscope 1.
  • the camera according to the invention is not limited to this and can generally be designed as a camera (for example a camera and / or video camera), wherein it then preferably has its own imaging optics.

Abstract

Provision is made of a camera with a colour image sensor (7), which has a plurality of pixels (10) arranged in a plane and a colour mask (11) covering the pixels (10), and a movement unit (8), by means of which the colour image sensor (7) is movable in the plane, wherein the colour mask (11) contains a filter cell (12) for each pixel (10), said filter cell being embodied either as a colour cell for colour filtering for one of at least three colour channels or as a transparency cell, which brings about no colour filtering, and wherein the colour mask (11) has colour cells for all of the at least three colour channels and transparency cells.

Description

Kamera mit einem Farbbildsensor sowie Aufnahmeverfahren mit einer solchen Kamera  Camera with a color image sensor and recording method with such a camera
Die vorliegende Erfindung betrifft eine Kamera mit einem Farbbildsensor sowie ein Aufnahmeverfahren mit einer solchen Kamera. The present invention relates to a camera with a color image sensor and a recording method with such a camera.
In der Mikroskopie müssen häufig farbige Präparate mit hoher Farbqualität sehr realitätsgetreu dokumentiert werden, um aus den Farbinformationen exakte Schlüsse ziehen zu können (z.B. Pathologie, Zytologie etc.). Dazu werden Kameras mit einem Farbbildsensor benötigt. In microscopy, colored preparations with high color quality often have to be documented very realistically in order to be able to draw exact conclusions from the color information (for example, pathology, cytology, etc.). This requires cameras with a color image sensor.
Gleichzeitig besteht aber häufig die Anforderung, Fluoreszenzaufnahmen von transgenen, z.B. GFP gefärbten (GFP = green fluorescent protein) lebenden Zellen aufzunehmen. Dazu eignen sich monochrome Kameras deutlich besser, da sie eine höhere Empfindlichkeit als Farbkameras aufweisen, ein eventuell verwendeter Farbfilter einer Einzelchip-Farbkamera keine dramatische Reduktion der Auflösung verursacht und das Empfindlichkeitsspektrum nicht auf den sichtbaren Bereich des Lichtes beschränkt ist. At the same time, however, there is often a requirement to obtain fluorescence images of transgenic, e.g. GFP-colored (GFP = green fluorescent protein) to record living cells. This monochrome cameras are much better, since they have a higher sensitivity than color cameras, any color filter used in a single-chip color camera causes no dramatic reduction in resolution and the sensitivity spectrum is not limited to the visible range of light.
In der Praxis wird aus Kostengründen häufig nur in eine Kamera investiert, so daß mit dieser beide Aufnahmearten (mehrfarbige Aufnahme und Monochromaufnahme) durchzuführen sind, so daß dann eine Farbkamera angeschafft wird, mit der natürlich Farbbilder aufgezeichnet werden können. Für die Monochrom-Aufnahmen wird aus dem Farbbild die Farbinformation rechnerisch entfernt. Technisch bleibt die Kamera aber eine Farbkamera und erfordert nachteilige Kompromisse bei der Aufnahme von Fluoreszenzproben. Insbesondere bei der Abbildung von lebenden Zellen sind diese Kompromisse von Nachteil, da lebende Zellen oft sehr empfindlich sind. Da eine Farbkamera deutlich weniger lichtempfindlich ist als eine Monochrom-Kamera und daher längere Belichtungszeiten erfordert, ist eine verlängerte Bestrahlung mit Fluoreszenz-Anregungslicht notwendig, was den lebenden Zellen schadet und deren Lebensdauer verkürzt. Selbst eine nachträgliche Umwandlung des Farbbildes in ein Monochrombild über eine entsprechende Formel (z.B. gewichtete Summe aus RGB-Anteilen) kann diesen Nachteil nicht beheben, da die optisch spektralen Verhältnisse bereits bei der Aufnahme festgelegt waren. Ausgehend hiervon ist es Aufgabe der Erfindung, eine Kamera bereitzustellen, mit dem unterschiedliche Aufnahmearten möglich sind und gleichzeitig die eingangs beschriebenen Schwierigkeiten möglichst vermieden werden können. Ferner soll ein Aufnahmeverfahren mit einer solchen Kamera bereitgestellt werden. In practice, often invested only in a camera for cost reasons, so that with this two types of recording (multi-color recording and monochrome recording) are carried out, so that then a color camera is purchased with the course color images can be recorded. For monochrome images, color information is mathematically removed from the color image. Technically, however, the camera remains a color camera and requires disadvantageous compromises in the recording of fluorescence samples. Particularly in the imaging of living cells, these trade-offs are disadvantageous because living cells are often very sensitive. Since a color camera is much less sensitive to light than a monochrome camera and therefore requires longer exposure times, prolonged exposure to fluorescent excitation light is necessary, harming the living cells and shortening their life. Even a subsequent conversion of the color image into a monochrome image via a corresponding formula (eg weighted sum of RGB components) can not eliminate this disadvantage, since the optical spectral ratios were already determined during recording. Proceeding from this, it is an object of the invention to provide a camera, with the different recording modes are possible and at the same time the difficulties described above can be avoided as possible. Furthermore, a recording method with such a camera is to be provided.
Die Aufgabe wird gelöst durch eine Kamera mit einem Farbbildsensor, der eine Mehrzahl von in einer Ebene angeordneten Pixeln sowie eine die Pixel überdeckende Farbmaske aufweist, und einer Bewegungseinheit, mit der der Farbbildsensor in der Ebene bewegbar ist, wobei die Farbmaske für jedes Pixel eine Filterzelle enthält, die entweder als Farbzelle zur Farbfilterung für einen von zumindest drei Farbkanälen oder als Transparenzzelle, die keine Farbfilterung bewirkt, ausgebildet ist, und wobei die Farbmaske Farbzellen für alle der zumindest drei Farbkanälen und Transparenzzellen aufweist. The object is achieved by a camera having a color image sensor which has a plurality of in-plane pixels and a color mask covering the pixels, and a moving unit with which the color image sensor is movable in the plane, wherein the color mask for each pixel is a filter cell contains, which is formed either as a color cell for color filtering for one of at least three color channels or as a transparency cell, which does not cause color filtering, and wherein the color mask has color cells for all of the at least three color channels and transparency cells.
Da der Farbbildsensor der erfindungsgemäßen Kamera neben den Farbzellen auch Transparenzzellen in der Farbmaske aufweist, können neben den Farbinformationen auch monochrome Bildinformationen aufgenommen werden, die nicht in nachteiliger Weise durch etwaige Farbfilter beeinflußt (z.B. abgeschwächt) sind. Aufgrund der Bewegungseinheit ist es möglich, verschiedene Aufnahmen einer Probe mit unterschiedlichen Positionen des Farbbildsensors durchzuführen. Diese verschiedenen Aufnahmen können dann zur Bilderzeugung genutzt werden. Damit läßt sich beispielsweise eine Steigerung der Auflösung und/oder der Empfindlichkeit erreichen. Since the color sensor of the camera according to the invention has not only the color cells but also transparency cells in the color mask, in addition to the color information, it is also possible to record monochrome image information which is not adversely affected (for example, attenuated) by any color filters. Due to the moving unit, it is possible to perform various shots of a sample having different positions of the color image sensor. These different images can then be used for image generation. Thus, for example, an increase in resolution and / or sensitivity can be achieved.
Ferner kann ein eventuell vorgesehener IR-Filter ausgeschwenkt werden, wodurch spektrale Einschränkungen aufgehoben sind. Somit ist es möglich, je nach gewünschter Art der Aufnahme die Bilddaten des Farbbildsensors geeignet auszuwerten und dadurch das gewünschte Bild zu erstellen. Insbesondere ist es möglich, mittels dem Farbbildsensor gleichzeitig ein Farbbild und ein Monochrom-Bild aufzunehmen. Unter gleichzeitig wird hier insbesondere verstanden, daß die Belichtung der Pixel unabhängig davon, ob die zugeordnete Filterzelle eine Farbzelle oder eine Transparenzzelle ist, gleichzeitig erfolgt. Furthermore, a possibly provided IR filter can be swung out, whereby spectral restrictions are eliminated. Thus, it is possible to suitably evaluate the image data of the color image sensor depending on the desired type of recording and thereby to form the desired image. In particular, it is possible to simultaneously record a color image and a monochrome image by means of the color image sensor. At the same time, it is understood here in particular that the exposure of the pixels takes place simultaneously, regardless of whether the associated filter cell is a color cell or a transparency cell.
Der Farbbildsensor kann auch als Multispektralsensor bezeichnet werden. The color image sensor may also be referred to as a multispectral sensor.
Die Farbmaske kann einteilig oder mehrteilig sein. Insbesondere kann die Farbmaske im Bereich der Transparenzzellen transparent ausgebildet sein oder eine entsprechende Öffnung aufweisen. The color mask can be in one piece or in several parts. In particular, the color mask can be made transparent in the region of the transparency cells or can have a corresponding opening.
Die erfindungsgemäße Kamera kann eine Steuereinheit enthalten, die dazu ausgebildet ist, a) nach einer ersten Aufnahme einer Probe (bzw. eines Objektes) mittels dem Farbbildsensor die Bewegungseinheit so anzusteuern, daß der Farbbildsensor in der Ebene verschoben wird, b) eine zweite Aufnahme der Probe mittels dem Farbbildsensor in der verschobenen Position auszulösen, und c) basierend auf den Aufnahmen ein Bild der Probe zu generieren. Die Verschiebung kann beispielsweise so durchgeführt werden, daß stets um die Größe eines Pixels (Pixel-Verschiebung) verschoben wird. In diesem Fall liegt die volle Auflösung in jedem spektralen Teilbild vor. Alternativ ist es möglich, eine Verschiebung (Subpixel-Verschiebung) durchzuführen, die kleiner ist als die Größe eines Pixels. Damit können Zwischenpixelpositionen aufgenommen werden, so daß Bildinformationen aus Positionen zwischen den Pixeln aufgenommen werden, die sonst nicht zur Bildentstehung beitragen. Auch eine Kombination von Pixel- und Subpixelverschiebung ist möglich. The camera according to the invention may include a control unit which is designed to a) after a first recording of a sample (or of an object) by means of the color image sensor Move unit to move the color image sensor in the plane, b) trigger a second image of the sample by means of the color image sensor in the displaced position, and c) generate an image of the sample based on the images. For example, the shift may be performed by always shifting the size of a pixel (pixel shift). In this case, the full resolution is present in each spectral field. Alternatively, it is possible to perform a shift (sub-pixel shift) smaller than the size of a pixel. This allows inter-pixel positions to be captured so that image information is captured from positions between the pixels that would otherwise not contribute to image formation. A combination of pixel and subpixel shift is possible.
Die Steuereinheit kann ganz oder teilweise in der Kamera selbst ausgebildet sein. Es ist jedoch auch möglich, daß die Steuereinheit ganz oder teilweise als separate Einheit ausgebildet ist, die in der beschriebenen Art und Weise mit der Kamera zusammenwirken kann. Die Steuereinheit und die Kamera können z.B. in separaten Gehäusen untergebracht sein und bilden zusammen z.B. ein Kamerasystem. The control unit may be wholly or partly formed in the camera itself. However, it is also possible that the control unit is wholly or partly formed as a separate unit which can cooperate with the camera in the manner described. The control unit and the camera may e.g. be housed in separate housings and together form e.g. a camera system.
Die Steuereinheit kann ferner dazu ausgebildet sein, im Schritt c) im generierten Bild eine höhere Auflösung in zumindest einem der Farbkanäle oder einem Monochromkanal der Transparenzzellen zu erzielen im Vergleich zur Anzahl der entsprechenden Färb- bzw. Transparenzzellen. The control unit can also be designed to achieve a higher resolution in at least one of the color channels or a monochrome channel of the transparency cells in step c) compared to the number of corresponding color or transparency cells.
Des weiteren kann die Steuereinheit dazu ausgebildet sein, im Schritt c) ein Farbbild zu generieren, bei dem die Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt sind. Insbesondere können die Luminanzwerte der durch Transparenzzellen überdeckten Pixel berücksichtigt werden. Wenn die durch Transparenzzellen überdeckten Pixel sensitiv für Wellenlängen außerhalb des sichtbaren Spektrums sind, können auch diese Signale berücksichtigt werden. Furthermore, the control unit can be designed to generate a color image in step c), in which the image data of the pixels covered by transparency cells are taken into account. In particular, the luminance values of the pixels covered by transparency cells can be taken into account. If the pixels covered by transparency cells are sensitive to wavelengths outside the visible spectrum, these signals can also be taken into account.
Die Steuereinheit kann dazu ausgebildet sein, den Schritt b) mehrmals mit verschiedenen Positionen des Farbbildsensors durchzuführen, um mehrere zweite Aufnahmen mit den verschiedenen Positionen des Farbbildsensors durchzuführen. Diese mehreren zweiten Aufnahmen können dann im Schritt c) bei der Generierung des Bildes berücksichtigt werden, insbesondere zur Verbesserung der Ortsauflösung. Insbesondere können Pixel- und Subpixelverschiebung kombiniert werden. Die Steuereinheit kann des weiteren dazu ausgebildet sein, basierend auf den Bilddaten einer einzelnen Aufnahme oder eines einzelnen Aufnahmevorgangs ein Farbbild und ein Monochrombild zu generieren, wobei für das Farbbild Bilddaten der durch Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden. The control unit may be designed to perform step b) several times with different positions of the color image sensor in order to perform a plurality of second images with the different positions of the color image sensor. These several second images can then be taken into account in step c) during the generation of the image, in particular for improving the spatial resolution. In particular, pixel and subpixel shift can be combined. The control unit may further be configured to generate a color image and a monochrome image based on the image data of a single shot or a single shot, taking into account for the color image image data of the color cell covered pixels and for the monochrome image image data of the pixels covered by transparency cells ,
Die erfindungsgemäße Kamera kann insbesondere bei einem Mikroskop eingesetzt werden, so daß ein Mikroskop, das z.B. eine Abbildungsoptik zum vergrößernden Abbilden einer Probe auf den Farbbildsensor aufweist, mit einer erfindungsgemäßen Kamera bereitgestellt wird. In diesem Fall kann z.B. ein Steuermodul des Mikroskopes, das basierend auf den Bilddaten der Kamera ein Bild generiert, auch gleichzeitig als Steuereinheit der Kamera ausgebildet sein oder zusammen mit der Steuereinheit der Kamera die Steuerung der Kamera zur Aufnahme und Bilderzeugung bewirken. In einer Weiterbildung kann mittels der Steuereinheit die Kamera oder das Mikroskop selektiv in einen Farbbildmodus, in dem ein Farbbild der Probe basierend auf den Bilddaten der durch Farbzellen überdeckten Pixel generiert wird, und in ein Monochrombildmodus, in dem ein Monochrombild der Probe basierend auf den Bilddaten der durch Transparenzzellen überdeckten Pixel generiert wird, geschaltet werden. Für die Auswahl des entsprechenden Modus muß vorteilhafter Weise keine Änderung der Hardware des Mikroskops durchgeführt werden. Die Modi unterscheiden sich im wesentlichen durch die elektrische Ansteuerung des Farbbildsensors und/oder die Auswertung der bereitgestellten Bilddaten, um das gewünschte Farbbild oder Monochrombild zu generieren. Natürlich können sowohl in dem Farbbildmodus als auch in dem monochromen Bildmodus mehrere Aufnahmen mit unterschiedlichen Positionen des Farbbildsensors genutzt werden, um das gewünschte Bild zu generieren. Diese Durchführung der mehreren Aufnahmen kann in der beschriebenen Art und Weise erfolgen. Ferner kann mittels der Steuereinheit die Kamera oder das Mikroskop noch in einen Kombibildmodus geschaltet werden, in dem sowohl ein Farbbild als auch ein Monochrombild der Probe generiert wird, wobei bevorzugt für das Farbbild Bilddaten der durch Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden. The camera according to the invention can be used in particular in a microscope, so that a microscope, e.g. an imaging optics for magnifying imaging of a sample on the color image sensor is provided with a camera according to the invention. In this case, e.g. a control module of the microscope, which generates an image based on the image data of the camera, also be designed as a control unit of the camera or together with the control unit of the camera cause the control of the camera for recording and image generation. In a further development, by means of the control unit, the camera or the microscope can selectively be converted into a color image mode in which a color image of the sample is generated based on the image data of the color cell covered pixels, and a monochrome image mode in which a monochrome image of the sample based on the image data the pixel covered by transparency cells is generated. For the selection of the corresponding mode advantageously no change of the hardware of the microscope must be performed. The modes differ essentially by the electrical control of the color image sensor and / or the evaluation of the provided image data to generate the desired color image or monochrome image. Of course, in both the color image mode and the monochrome image mode, multiple images with different positions of the color image sensor can be used to generate the desired image. This implementation of the multiple recordings can be done in the manner described. Further, by means of the control unit, the camera or the microscope can still be switched to a combined image mode in which both a color image and a monochrome image of the sample is generated, preferably for the color image image data of the pixels covered by color cells and for the monochrome image image data by the transparency cells covered pixels are taken into account.
Bei der erfindungsgemäßen Kamera bzw. dem Mikroskop kann ein Infrarotsperrfilter im Strahlengang (z.B. von der Probe bis zum Farbbildsensor) angeordnet sein, um z.B. eine korrekte Farbwiedergabe zu gewährleisten. Insbesondere kann der Infrarotsperrfilter von einer Position im Strahlengang zu einer Position außerhalb des Strahlengangs und umgekehrt bewegt werden. Damit ist es möglich, selektiv einen Infrarotsperrfilter im Strahlengang vorzusehen, wenn dies gewünscht oder für farbechte Aufnahmen erforderlich ist. Mit der erfindungsgemäßen Kamera bzw. dem Mikroskop wird eine bisher unerreichte universell nutzbare Anwendbarkeit für Färb- und Fluoreszenz-Aufnahmen mit variabler Auflösung und Geschwindigkeit bereitgestellt, ohne daß zusätzliche Anforderungen an das Mikroskop, wie z.B. farbige Beleuchtung oder zusätzliche Komponenten im Strahlengang, gestellt werden müssen. Die erfindungsgemäße Kamera bzw. das Mikroskop ist somit in gleicher Weise für farbige Präparate (z.B. in der Pathologie) und für monochrome Fluoreszenzpräparate (z.B. bei der Aufnahme von lebenden Zellen) geeignet. All dies kann bei der erfindungsgemäßen Kamera bzw. dem Mikroskop mit geringen Kosten und Aufwand erreicht werden. In the case of the camera or the microscope according to the invention, an infrared cut filter can be arranged in the beam path (for example, from the sample to the color image sensor) in order, for example, to ensure correct color reproduction. In particular, the infrared cut filter of a Position in the beam path are moved to a position outside the beam path and vice versa. This makes it possible to selectively provide an infrared cut filter in the beam path, if desired or required for color fast shooting. With the camera according to the invention and the microscope a hitherto unattainable universally usable applicability for color and fluorescence images with variable resolution and speed is provided without additional requirements for the microscope, such as colored lighting or additional components in the beam path, must be provided , The camera according to the invention or the microscope is therefore equally suitable for colored specimens (eg in pathology) and for monochrome fluorescence preparations (eg for the uptake of living cells). All this can be achieved with the camera or the microscope according to the invention with low cost and effort.
Bei der erfindungsgemäßen Kamera bzw. dem Mikroskop kann somit sehr flexibel auf die entsprechenden Anforderungen der jeweiligen Probe reagiert werden. Es muß lediglich ein geeigneter Aufnahmemodus (z.B. Farbbildmodus, Monochrombildmodus, Kombibildmodus) bzw. Kameramodus ausgewählt werden. Unter Kameramodus wird hier insbesondere die Kombination von der Durchführung der zumindest einen Aufnahme und der entsprechenden Bilderzeugung verstanden. Die erfindungsgemäße Kamera bzw. das Mikroskop kann daher leicht an unterschiedliche Aufnahmebedingungen angepaßt werden. Es muß im wesentlichen die Ansteuerung des Farbbildsensors, der Scanning-Einheit und/oder die Auswertung der Bilddaten geändert werden. In the case of the camera or the microscope according to the invention, it is thus possible to react very flexibly to the corresponding requirements of the respective sample. Only a suitable shooting mode (e.g., color picture mode, monochrome picture mode, composite picture mode) or camera mode needs to be selected. Camera mode is understood to mean in particular the combination of the execution of the at least one recording and the corresponding image generation. The camera according to the invention or the microscope can therefore be easily adapted to different recording conditions. Essentially, the control of the color image sensor, the scanning unit and / or the evaluation of the image data must be changed.
Das Mikroskop mit der erfindungsgemäßen Kamera kann als Fluoreszenzmikroskop, als Mehrkanal-Fluoreszenzmikroskop, als Phasenkontrastmikroskop, als Durchlicht-, Auflicht- und/oder Hellfeld-Mikroskop oder auch als sonstiges Mikroskop ausgebildet sein. Natürlich können alle üblichen Kontrastverfahren realisiert sein, wie z.B. Hellfeld, Dunkelfeld, Phasenkontrast, Differential-Interferenzkontrast, Polarisation, Fluoreszenz, etc. und beliebige Kombinationen davon. The microscope with the camera according to the invention can be embodied as a fluorescence microscope, as a multichannel fluorescence microscope, as a phase contrast microscope, as a transmitted light, incident light and / or bright field microscope or else as another microscope. Of course, all conventional contrasting techniques can be implemented, such as e.g. Bright field, dark field, phase contrast, differential interference contrast, polarization, fluorescence, etc., and any combinations thereof.
Die Steuereinheit bei der erfindungsgemäßen Kamera kann als einzelne Steuereinheit oder auch aus zwei oder mehreren Steuersubmodulen aufgebaut sein. Gleiches gilt für das Steuermodul des Mikroskops. Bei der Probe, die vergrößert abzubilden ist, kann es sich insbesondere um eine medizinische und/oder biologische Probe oder sonstige Materialien handeln. Es sind z.B. farbige, fluoreszierende oder nicht-farbige Materialproben (z.B. geschliffene Stähle) sehr gut mit dem erfindungsgemäßen Mikroskop untersuchbar. Der Farbbildsensor kann insbesondere ein CCD-Sensor oder ein CMOS-Sensor sein und z.B. als HDTV-Sensor mit 1920 x 1080 Bildpixeln ausgebildet sein. Ferner kann der Farbbildsensor geeignet sein, ca. 50-60 Bilder pro Sekunde aufzunehmen und die entsprechenden Bilddaten auszugeben. The control unit in the camera according to the invention can be constructed as a single control unit or also from two or more control submodules. The same applies to the control module of the microscope. The sample to be magnified may be in particular a medical and / or biological sample or other materials. For example, colored, fluorescent or non-colored material samples (eg ground steels) can be examined very well with the microscope according to the invention. In particular, the color image sensor can be a CCD sensor or a CMOS sensor and can be designed, for example, as an HDTV sensor with 1920 × 1080 image pixels. Further, the color image sensor may be capable of taking approximately 50-60 frames per second and outputting the corresponding image data.
Es wird ferner bereitgestellt ein Aufnahmeverfahren mit der erfindungsgemäßen Kamera (einschließlich ihrer Weiterbildungen), bei dem a) eine erste Aufnahme der Probe mittels dem Farbbildsensor durchgeführt wird, b) danach der Farbbildsensor in der Ebene verschoben wird, c) eine zweite Aufnahme der Probe mittels dem Farbbildsensor in der verschobenen Position durchgeführt wird, und d) basierend auf den Aufnahmen ein Bild der Probe generiert wird. It is further provided a recording method with the camera according to the invention (including its developments), in which a) a first image of the sample is performed by means of the color image sensor, b) then the color image sensor is displaced in the plane, c) a second image of the sample the color image sensor is performed in the shifted position, and d) an image of the sample is generated based on the images.
Es können somit sowohl mehrfarbige als auch monochrome Bilder hoher Auflösung generiert werden. Thus, both multicolor and monochrome high resolution images can be generated.
Ferner kann das Bild mit einer höheren Auflösung in zumindest einem der Farbkanäle oder einem Monochromkanal der Transparenzellen im Vergleich zur Anzahl der entsprechenden Färb- bzw. Transparenzzellen generiert werden. Mit dem erfindungsgemäßen Aufnahmeverfahren ist es beispielsweise möglich, ein Farbbild und ein Monochrombild gleichzeitig aufzunehmen. Unter gleichzeitig wird hier insbesondere verstanden, daß die Belichtung der Pixel unabhängig davon, ob die zugeordnete Filterzelle eine Farbzelle oder eine Transparenzzelle ist, gleichzeitig erfolgt. Ferner können beispielsweise die Bilddaten der durch Transparenzzellen überdeckten Pixel bei der Generierung des Farbbildes berücksichtigt werden, um z.B. den Kontrastumfang des Farbbildes und der Farbinterpolation zu verbessern. Furthermore, the image can be generated with a higher resolution in at least one of the color channels or a monochrome channel of the transparency cells in comparison to the number of corresponding color or transparency cells. For example, with the recording method of the invention, it is possible to simultaneously record a color image and a monochrome image. At the same time, it is understood here in particular that the exposure of the pixels takes place simultaneously, regardless of whether the associated filter cell is a color cell or a transparency cell. Further, for example, the image data of the pixels covered by transparency cells may be taken into account in the generation of the color image, e.g. to improve the contrast range of the color image and the color interpolation.
Bei dem erfindungsgemäßen Aufnahmerverfahren kann das Bild als Farbbild generiert werden, wobei bei der Bildgenerierung die Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden, um z.B. den Kontrastumfang des Farbbildes und der Farbinterpolation zu verbessern. In the recording method according to the invention, the image can be generated as a color image, wherein in the image generation the image data of the pixels covered by transparency cells are taken into account, e.g. to improve the contrast range of the color image and the color interpolation.
Ferner können bei dem erfindungsgemäßen Aufnahmerverfahren die Schritte b) und c) mehrmals durchgeführt werden, um mehrere zweite Aufnahmen mit verschiedenen Positionen des Farbbildsensors durchzuführen. Further, in the picking method of the present invention, steps b) and c) may be performed a plurality of times to perform a plurality of second pickups with different positions of the color image sensor.
Bei dem erfindungsgemäßen Aufnahmeverfahren können basierend auf den Bilddaten einer einzelnen Aufnahme ein Farbbild und ein Monochrombild generiert werden, wobei für das Farbbild Bilddaten der durch die Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden. In the recording method according to the invention, a color image and a monochrome image can be generated based on the image data of a single image, wherein for the Color image image data of the pixels covered by the color cells and for the monochrome image image data of the pixels covered by transparency cells are taken into account.
Das erfindungsgemäße Aufnahmeverfahren kann insbesondere als Mikrokopierverfahren ausgebildet sein. The recording method according to the invention can be designed in particular as Mikrokopierverfahren.
Es versteht sich, daß die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. Insbesondere kann die erfindungsgemäße Kamera bzw. das erfindungsgemäße Mikroskop so weitergebildet werden, daß mit ihr bzw. ihm Schritte des erfindungsgemäßen Aufnahme- bzw. Mikroskopierverfahrens realisiert werden können. Auch das erfindungsgemäße Mikroskopierverfahren kann so weitergebildet werden, daß es Schritte aufweist, die mit der erfindungsgemäßen Kamera bzw. dem erfindungsgemäßen Mikroskop durchführbar sind oder durchgeführt werden. It is understood that the features mentioned above and those yet to be explained below can be used not only in the specified combinations but also in other combinations or alone, without departing from the scope of the present invention. In particular, the camera according to the invention or the microscope according to the invention can be developed so that steps of the recording or microscopy method according to the invention can be realized with it or with it. The microscopy method according to the invention can also be developed in such a way that it has steps which can be carried out or carried out with the camera according to the invention or the microscope according to the invention.
Nachfolgend wird die Erfindung beispielsweise anhand der beigefügten Zeichnungen, die auch erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Es zeigen: Fig. 1 eine schematische Ansicht der Verwendung der erfindungsgemäßen Kamera bei einem Mikroskop; The invention will be explained in more detail for example with reference to the accompanying drawings, which also disclose characteristics essential to the invention. 1 shows a schematic view of the use of the camera according to the invention in a microscope;
Fig. 2 eine schematische Draufsicht eines Teils des Farbbildsensors 7 in Fig. 1 ;  Fig. 2 is a schematic plan view of a part of the color image sensor 7 in Fig. 1;
Fig. 3 eine schematische Draufsicht einer Ausführungsform der Bewegungseinheit 8 in Fig. 1 ; Fig. 4 eine weitere Ausführungsform der Bewegungseinheit 8; Fig. 3 is a schematic plan view of an embodiment of the moving unit 8 in Fig. 1; 4 shows a further embodiment of the movement unit 8;
Fig. 5 eine schematische Darstellung eines Teiles der Probe; Fig. 5 is a schematic representation of a portion of the sample;
Fig. 6 eine schematische Darstellung zur Zuordnung der Filterzellen zu den Bildzellen der Probe;  6 shows a schematic representation for the assignment of the filter cells to the image cells of the sample;
Fig. 7 eine schematische Darstellung mit einer weiteren Zuordnung der Filterzellen zu den Bildzellen der Probe;  7 shows a schematic representation with a further assignment of the filter cells to the image cells of the sample;
Fig. 8-10 Einheitszellen anderer Verteilungen der Filterzellen der Farbmaske; 8-10 show unit cells of other distributions of the filter cells of the color mask;
Fig. 1 1 und 12 mögliche Einheitszellen bei der Ausbildung der Filtermaske als Fig. 1 1 and 12 possible unit cells in the formation of the filter mask as
Komplementärfiltermaske; Complementary filter mask;
Fig. 13 eine schematische Darstellung zur Erläuterung der Empfindlichkeit von Färb- und Transparenzpixeln, und Fig. 13 is a schematic diagram for explaining the sensitivity of color and transparency pixels, and
Fig. 14 und 15 weitere Darstellungen zur Erläuterung der spektralen Empfindlichkeit von Farb- und Transparenzpixeln. Bei der in Figur 1 gezeigten Ausführungsform wird eine erfindungsgemäße Kamera bei einem Mikroskop 1 verwendet, das einen Probentisch 2, der eine Probe 3 trägt, eine Aufnahmeeinheit 4, die über ein schematisch dargestelltes Stativ 5 mit dem Probentisch 2 verbunden ist, sowie eine Steuereinheit 6 aufweist. FIGS. 14 and 15 are further illustrations for explaining the spectral sensitivity of color and transparency pixels. In the embodiment shown in FIG. 1, a camera according to the invention is used in a microscope 1 which has a sample table 2 carrying a sample 3, a receiving unit 4 which is connected to the sample table 2 via a schematically illustrated stand 5, and a control unit 6 having.
Die Aufnahmeeinheit 4 enthält einen Farbbildsensor 7, eine Bewegungseinheit 8 zum Bewegen des Farbbildsensors 7 sowie eine Abbildungsoptik 9 zum vergrößernden Abbilden der Probe 3 bzw. eines Teils der Probe 3 auf den Farbbildsensor 7. Der Farbbildsensor 7 bildet zusammen mit der Bewegungseinheit 8 eine erfindungsgemäße Kamera gemäß einer Ausführungsform. Die Steuereinheit 6 kann Teil der Kamera und/oder Teil des Mikroskops sein. The recording unit 4 contains a color image sensor 7, a movement unit 8 for moving the color image sensor 7, and imaging optics 9 for magnifying imaging of the sample 3 or part of the sample 3 on the color image sensor 7. The color image sensor 7 forms a camera according to the invention together with the movement unit 8 according to one embodiment. The control unit 6 may be part of the camera and / or part of the microscope.
Der Abstand (in z-Richtung) zwischen der Abbildungsoptik 9 und dem Probentisch 3 und somit der Probe 2 ist mittels dem Stativ 5 unter Steuerung der Steuereinheit 6 einstellbar. Ferner kann der Probentisch 3 in x-Richtung und senkrecht zur Zeichenebene in y-Richtung bewegt werden, um die Probe 2 zu positionieren. The distance (in the z direction) between the imaging optics 9 and the sample table 3 and thus the sample 2 can be adjusted by means of the stand 5 under the control of the control unit 6. Furthermore, the sample table 3 can be moved in the x-direction and perpendicular to the plane of the drawing in the y-direction in order to position the sample 2.
Wie der vergrößerten schematischen Draufsicht eines Teils des Farbbildsensors 7 in Figur 2 zu entnehmen ist, weist der Farbbildsensor 7 eine Mehrzahl von in Zeilen und Spalten angeordneten Pixeln 10 (von denen in Figur 2 schematisch nur drei gestrichelt dargestellt sind) sowie eine die Pixel 1 0 überdeckende Farbmaske 1 1 auf. As the enlarged schematic plan view of a portion of the color image sensor 7 can be seen in Figure 2, the color image sensor 7 comprises a plurality of pixels 10 arranged in rows and columns (of which only three are shown in phantom in Figure 2) and a pixel 1 0th covering color mask 1 1 on.
Die Farbmaske 1 1 umfaßt Filterzellen 12, die in gleicher Weise wie die Pixel 10 in Zeilen und Spalten angeordnet sind, wobei jeweils genau eine Filterzelle 12 einem Pixel 10 zugeordnet ist und dieses überdeckt. In Figur 2 sind die Filterzellen 12 schematisch als Quadrate dargestellt, wobei die Filterwirkung durch den in jeder Filterzelle 12 enthaltenen Buchstaben beschrieben ist. Die Buchstaben dienen nur zur Beschreibung der Filterwirkung und sind in der tatsächlichen Filtermaske 1 1 natürlich nicht enthalten. The color mask 1 1 comprises filter cells 12, which are arranged in the same way as the pixels 10 in rows and columns, wherein in each case exactly one filter cell 12 is associated with a pixel 10 and covers it. In Figure 2, the filter cells 12 are shown schematically as squares, wherein the filtering effect is described by the letters contained in each filter cell 12. The letters are only for the description of the filter effect and are of course not included in the actual filter mask 1 1.
Die Buchstaben R, G und B stehen für Farbfilter, wobei der Buchstabe R den Rotkanal, der Buchstabe G den Grünkanal und der Buchstabe B den Blaukanal beschreibt. Die Filterzellen dieser drei Farbkanäle können als Farbzellen bezeichnet werden. The letters R, G and B stand for color filters, where the letter R describes the red channel, the letter G the green channel and the letter B the blue channel. The filter cells of these three color channels can be referred to as color cells.
Die Filterzellen 12 mit dem Buchstaben W stehen für Filterzellen, in denen keine Farbfilterung stattfindet. Diese Filterzellen können daher auch als Transparenzzellen bezeichnet werden. The filter cells 12 with the letter W stand for filter cells in which no color filtering takes place. These filter cells can therefore also be referred to as transparency cells.
Die Färb- und Transparenzzellen sind in einem regelmäßigen Muster angeordnet, wobei bei der hier beschriebenen Ausführungsform eine Einheitszelle 13 von 4x4 Filterzellen 12 vorliegt, wie in Figur 2 schematisch angedeutet ist. Die Einheitszelle 13 ist in x- und y-Richtung wiederholt angeordnet, so daß sich die in Figur 2 angedeutete Filterzellenverteilung ergibt. In Fig. 2 ist nur ein Teil des Farbfilters 7 schematisch dargestellt, der hier als HDTV-Sensor mit 1920 x 1080 Pixeln 10 ausgebildet ist. Wie der Darstellung in Figur 2 zu entnehmen ist, sind die Hälfte der Filterzellen 12 Transparenzzellen und so angeordnet, daß eine Verschiebung des Farbbildsensors 7 in x- oder y-Richtung um genau eine Filterzelle 12 zu einer vollständigen Flächenabdeckung mit Transparenzzellen führt. Eine solche Verschiebung kann beispielsweise mittels der Bewegungseinheit 8 durchgeführt werden. The color and transparency cells are arranged in a regular pattern, wherein in the embodiment described here there is a unit cell 13 of 4x4 filter cells 12, as indicated schematically in FIG. The unit cell 13 is repeated in the x and y directions arranged so as to give the indicated in Figure 2 filter cell distribution. In Fig. 2, only a part of the color filter 7 is shown schematically, which is designed here as an HDTV sensor with 1920 x 1080 pixels 10. As can be seen in the illustration in FIG. 2, half of the filter cells 12 are transparency cells and arranged such that a displacement of the color image sensor 7 in the x or y direction by exactly one filter cell 12 leads to complete area coverage with transparency cells. Such a shift can be carried out, for example, by means of the movement unit 8.
In Figur 3 ist in Draufsicht schematisch eine Ausführungsform der Bewegungseinheit 8 dargestellt. Der Farbbildsensor 7 sitzt auf einem Träger 20, der über vier Piezoelemente 21 , 22, 23 und 24 mit einem Rahmen 25 verbunden ist. Durch entsprechende Ansteuerung der jeweils gegenüberliegenden Piezoelemente kann dann die gewünschte Verschiebung in x- und y- Richtung durchgeführt werden. Werden beispielsweise die Piezoelemente 21 und 23 angesteuert, wird eine Verschiebung in y-Richtung erfolgen. An embodiment of the movement unit 8 is shown schematically in plan view in FIG. The color image sensor 7 is seated on a carrier 20 which is connected to a frame 25 via four piezo elements 21, 22, 23 and 24. By appropriate control of the respective opposite piezo elements, the desired displacement in the x and y direction can then be carried out. If, for example, the piezo elements 21 and 23 are driven, a shift in the y direction will take place.
In Figur 4 ist eine weitere Ausführungsform der Bewegungseinheit 8 schematisch dargestellt. Diese Ausführungsform unterscheidet sich im wesentlichen von der Ausführungsform von Figur 3 dadurch, daß nur noch 2 Piezoelemente 21 und 22 notwendig sind. An den den Piezoelementen 21 und 22 gegenüberliegenden Seiten des Trägers 20 sind Federelemente 26 und 27 vorgesehen, über die der Träger 20 mit dem Rahmen 25 verbunden ist. Durch Ansteuerung des Piezoelementes 21 kann eine Verschiebung in x-Richtung durchgeführt werden. Für eine Verschiebung in y-Richtung wird das Piezoelement 22 angesteuert. FIG. 4 schematically shows a further embodiment of the movement unit 8. This embodiment differs essentially from the embodiment of Figure 3 in that only two piezo elements 21 and 22 are necessary. At the piezoelectric elements 21 and 22 opposite sides of the carrier 20 spring elements 26 and 27 are provided, via which the carrier 20 is connected to the frame 25. By controlling the piezoelectric element 21, a shift in the x-direction can be performed. For a displacement in the y-direction, the piezoelectric element 22 is driven.
Im Betrieb des erfindungsgemäßen Mikroskops 1 bzw. der erfindungsgemäßen Kamera wird der gewünschte Bereich der Probe 3 mittels der Abbildungsoptik 9 vergrößert auf den Farbbildsensor 7 abgebildet. Der Farbbildsensor 7 nimmt das vergrößerte Bild auf und liefert die entsprechenden Bilddaten an die Steuereinheit 6. During operation of the microscope 1 according to the invention or the camera according to the invention, the desired region of the sample 3 is magnified on the color image sensor 7 by means of the imaging optics 9. The color image sensor 7 picks up the enlarged image and supplies the corresponding image data to the control unit 6.
Wenn nur eine Einzelaufnahme gemacht wird, kann beispielsweise die Intensitäts-Information der Pixel 10, die unter den Transparenzzellen liegen und nachfolgend auch als Transparenzpixel bezeichnet werden, zur Stützung bei einer Interpolation der Bilddaten der Pixel, die unter den Farbzellen liegen und nachfolgend auch als Farbpixel bezeichnet werden, dienen, um ein interpoliertes Farbbild zu erzeugen. Bei der Intensitätsinformation handelt es sich um die Intensität aus dem gesamten mit den Pixeln erfaßbaren Spektrum. Das interpolierte Farbbild kann z.B. einen gesteigerten Kontrastumfang, insbesondere in lichtarmen Bereichen aufweisen. Somit kann eine Verbesserung der Gesamtlichtempfindlichkeit des Farbbildes erreicht werden. Ferner können die Bilddaten der Transparenzpixel auch noch dazu genutzt werden, eine Monochromaufnahme zu generieren, die gleichzeitig mit der Farbaufnahme gemacht wurde. If only a single shot is taken, for example, the intensity information of the pixels 10 which are below the transparency cells and hereinafter also referred to as transparency pixels may be used to interpolate the image data of the pixels below the color cells and subsequently also as color pixels serve to produce an interpolated color image. The intensity information is the intensity of the entire spectrum detectable with the pixels. That interpolated Color image may, for example, have an increased contrast range, in particular in low-light areas. Thus, an improvement in the overall photosensitivity of the color image can be achieved. Furthermore, the image data of the transparency pixels can also be used to generate a monochrome image that was taken simultaneously with the color image.
Die Erzeugung der gewünschten Aufnahmen aus den Bilddaten erfolgt durch die Steuereinheit 6 oder durch einen nicht gezeigten Rechner, dem die Bilddaten des Farbbildsensors zugeführt werden. The generation of the desired images from the image data is carried out by the control unit 6 or by a computer, not shown, to which the image data of the color image sensor are supplied.
Das erzeugte Bild bzw. die erzeugten Bilder können z.B. auf einer Ausgabeeinheit 1 5 (z.B. ein Bildschirm) dargestellt und/oder abgespeichert werden. The generated image (s) may be e.g. on an output unit 15 (e.g., a screen) and / or stored.
Ferner kann der Farbbildsensor 7 so betrieben werden, daß ein Livebild in Farbe und/oder ein Monochrom-Livebild erzeugt und z.B. auf dem Bildschirm 15 dargestellt werden bzw. wird. Es können z.B. 60 Aufnahmen pro Sekunde gemacht werden. Further, the color image sensor 7 can be operated to generate a live image in color and / or a monochrome live image, e.g. be displayed on the screen 15 or is. It can e.g. 60 shots per second are made.
Ferner ist es möglich, zumindest zwei Aufnahmen so nacheinander durchzuführen, daß die einzelnen Aufnahmen mit unterschiedlichen Positionen des Farbbildsensors 7 in der xy-Ebene durchgeführt werden. Dazu wird mittels der Bewegungseinheit 8 der Farbbildsensor in der xy- Ebene entsprechend verschoben. So kann beispielsweise eine Verschiebung des Farbbildsensors 7 zwischen den beiden Aufnahmen um die Größe eines Pixels in x- oder y- Richtung durchgeführt werden. In diesem Fall wird mit den beiden Aufnahmen eine volle Auflösung im Monochromkanal und eine verbesserte Auflösung in den Farbkanälen mit gesteigertem Kontrastumfang erreicht. Unter einer vollen Auflösung wird hier insbesondere verstanden, daß basierend auf den zumindest zwei Aufnahmen eine Aufnahme zusammengesetzt werden kann, die Bilddaten desselben Pixeltyps (z.B. Transparenzpixel, rotes, grünes oder blaues Farbpixel) für alle Pixelpositionen des Farbbildsensors 7 aufweist. Es kann z.B. ein Monochrombild mit 1920 x 1080 Pixeln generiert werden. Further, it is possible to perform at least two shots successively so that the individual shots are performed with different positions of the color image sensor 7 in the xy plane. For this purpose, the color image sensor in the xy plane is correspondingly displaced by means of the movement unit 8. For example, a shift of the color image sensor 7 between the two images by the size of a pixel in the x or y direction can be performed. In this case, the two images achieve full resolution in the monochrome channel and improved resolution in the color channels with increased contrast. In this case, full resolution is understood to mean, in particular, that based on the at least two images, a photograph can be composed which has image data of the same pixel type (for example transparency pixels, red, green or blue color pixels) for all pixel positions of the color image sensor 7. It can e.g. a monochrome image with 1920 x 1080 pixels are generated.
Die volle Auflösung kann auch unter Bezug auf die Probe 3 wie folgt verstanden werden. In Figur 5 ist ein Teil der Probe 3, der einer Einheitszelle 13 des Farbbildsensors 7 zugeordnet werden kann, schematisch dargestellt, wobei aufgrund der erwähnten Zuordnung der entsprechende Bereich der Probe 3 in 4 x 4 Bildzellen 30 aufgeteilt werden kann, die hier zur besseren Darstellbarkeit mit abgerundeten Ecken gezeigt sind. The full resolution can also be understood with reference to sample 3 as follows. In FIG. 5, part of the sample 3, which can be assigned to a unit cell 13 of the color image sensor 7, is shown schematically, it being possible to divide the corresponding region of the sample 3 into 4 × 4 image cells 30 due to the above-mentioned assignment are shown with rounded corners.
In Figur 6 ist dargestellt, wie die Zuordnung der Filterzellen 12 zu den Bildzellen 30 der Probe 3 bei einer ersten Position des Farbbildsensors 7 ist, wobei von der Farbmaske 1 1 eine Einheitszelle 13 und eine daran links angrenzende Spalte mit vier weiteren Filterzellen 12 dargestellt ist. FIG. 6 shows how the assignment of the filter cells 12 to the image cells 30 of the sample 3 is at a first position of the color image sensor 7, wherein the color mask 11 is a Unit cell 13 and a left adjacent column with four further filter cells 12 is shown.
In Figur 7 ist eine um eine Pixelbreite in x-Richtung versetzte Position (relativ zur Position gemäß Fig. 6) des Farbbildsensors 7 dargestellt. Wie aus den beiden Figuren 6 und 7 ersichtlich ist, sind durch die beiden in Fig. 6 und 7 gezeigten Positionen der Farbmaske 1 1 alle Bildzellen 30 durch Transparenzzellen W abgedeckt, so daß mit zwei Aufnahmen für alle Bildzellen 30 die entsprechenden Intensitätswerte mittels der von Transparenzzellen überdeckten Pixeln erfaßt werden können. Es liegt somit die erwähnte volle Auflösung vor. FIG. 7 shows a position offset by one pixel width in the x-direction (relative to the position according to FIG. 6) of the color image sensor 7. As can be seen from the two figures 6 and 7, are covered by two cells for all image cells 30, the corresponding intensity values by means of the two shown in Fig. 6 and 7 positions of the color mask 1 1 all the image cells 30 by transparency cells Transparency cells covered pixels can be detected. There is thus the aforementioned full resolution.
Natürlich können auch mehr als zwei Aufnahmen mit unterschiedlichen Positionen durchgeführt werden. Damit ist es zum Beispiel möglich, eine identische Auflösung in allen drei Farbkanälen und insbesondere eine volle Auflösung in allen drei Farbkanälen zu erzielen. Unter einer identischen Auflösung in allen drei Farbkanälen wird hier insbesondere verstanden, daß für die gleiche Anzahl von Bildzellen 30 Pixelwerte für jeden der drei Farbkanäle vorliegen oder daß die vorliegende Anzahl von Pixelwerten der einzelnen Farbkanäle dem Verhältnis der Farbfilter der Farbmaske 1 1 entsprechen. Dies würde bei der hier beschriebenen Farbfiltermaske bedeuten, daß die Pixelanzahl für rot und blau gleich ist und genau die Hälfte der Pixelanzahl für grün beträgt. Of course, more than two shots with different positions can be performed. This makes it possible, for example, to achieve an identical resolution in all three color channels and in particular a full resolution in all three color channels. Here, an identical resolution in all three color channels is understood to mean, in particular, that there are 30 pixel values for each of the three color channels for the same number of image cells, or that the number of pixel values of the individual color channels corresponds to the ratio of the color filters of the color mask 11. In the color filter mask described here, this would mean that the number of pixels for red and blue is the same and exactly half the number of pixels is green.
Ferner kann die Bewegungseinheit 8 auch eine Verschiebung in x- oder y-Richtung bewirken, die kleiner ist als die Größe eines Pixels 10. Damit werden Aufnahmen an Zwischenpositionen möglich, wodurch die Auflösung des aufgenommenen Bildes gesteigert werden kann. Es ist in diesem Fall eine Subpixelauflösung möglich. Furthermore, the moving unit 8 can also effect a displacement in the x or y direction, which is smaller than the size of a pixel 10. Thus, images are possible at intermediate positions, whereby the resolution of the recorded image can be increased. In this case, a subpixel resolution is possible.
Ferner kann die Abbildungsoptik 9 einen Infrarotsperrfilter 14 aufweisen, um zu verhindern, daß Infrarotstrahlung auf die Farbpixel 10 trifft, was die Farbaufnahme verfälschen würde, da die Pixel häufig auch im Infrarotbereich empfindlich sind. Further, the imaging optics 9 may include an infrared cut-off filter 14 to prevent infrared radiation from hitting the color pixels 10, which would distort color picking, as the pixels are often also sensitive to infrared radiation.
Der Infrarotsperrfilter 14 ist insbesondere beweglich montiert und kann aus dem Strahlengang von der Probe 3 bis zum Farbbildsensor 7 entfernt werden. Damit kann bei einer Monochromaufnahme (bei der die Bilddaten der Monochrompixel ausgewertet werden) eine höhere Empfindlichkeit erreicht werden. The infrared blocking filter 14 is in particular movably mounted and can be removed from the beam path from the sample 3 to the color image sensor 7. Thus, in a monochrome recording (in which the image data of the monochrome pixels are evaluated), a higher sensitivity can be achieved.
Die in Figur 2 dargestellte Verteilung der Filterzellen 12 ist nur beispielhaft zu verstehen. Natürlich kann auch jede andere geeignete Verteilung gewählt werden. Beispiele sind in Figuren 8, 9 und 10 gezeigt. Aus diesen ist auch ersichtlich, daß die Einheitszelle 13 unterschiedlich groß sein kann. The distribution of the filter cells 12 shown in FIG. 2 is only to be understood as an example. Of course, any other suitable distribution can be chosen. Examples are in Figures 8, 9 and 10 are shown. From these it can also be seen that the unit cell 13 can be of different sizes.
Auch muß die Filtermaske 1 1 nicht als RGB-Filtermaske ausgebildet sein. Sie kann beispielsweise auch als CMY-Komplementärfiltermaske ausgebildet sein. In Figuren 1 1 und 12 sind Beispiele für CYGM- und CMYW-Filtermasken gezeigt, wobei wiederum nur eine Einheitszelle dargestellt ist, wobei C für cyan, Y für gelb, G für grün, M für magenta und W für eine Transparenzzelle steht. Der bereits erläuterte Vorteil der Transparenzzellen gegenüber den Farbzellen soll an den beispielhaft in Figur 13 eingezeichneten Empfindlichkeitskurven verdeutlicht werden. Also, the filter mask 1 1 must not be designed as an RGB filter mask. It can also be designed, for example, as a CMY complementary filter mask. Figures 1 and 12 show examples of CYGM and CMYW filter masks, again showing only a unit cell, where C is cyan, Y is yellow, G is green, M is magenta, and W is a transparency cell. The already explained advantage of the transparency cells with respect to the color cells is to be clarified by the sensitivity curves shown by way of example in FIG.
In Figur 13 ist die relative Empfindlichkeit (y-Achse) über der Wellenlänge in nm (x-Achse) für Pixel, die von Farbzellen überdeckt sind (wobei hier noch ein Infrarotfilter vorgeschaltet ist), und für Pixel, die von Transparenzzellen überdeckt sind, dargestellt, wobei die Kurve 31 die relative Empfindlichkeit eines blauen Pixels (also eines von einem blauen Farbfilter überdeckten Pixels), die Kurve 32 die relative Empfindlichkeit eines grünen Pixels, die Kurve 33 die relative Empfindlichkeit eines roten Pixels und die Kurve 34 die relative Empfindlichkeit eines Transparenzpixels zeigt. In FIG. 13, the relative sensitivity (y-axis) is measured over the wavelength in nm (x-axis) for pixels which are covered by color cells (in which case an infrared filter is connected upstream), and for pixels which are covered by transparency cells, curve 31 represents the relative sensitivity of a blue pixel (ie, a pixel covered by a blue color filter), curve 32 the relative sensitivity of a green pixel, curve 33 the relative sensitivity of a red pixel, and curve 34 the relative sensitivity of a red pixel Transparency pixels shows.
Aus der Darstellung von Figur 13 kann entnommen werden, daß der Bereich der spektralen Empfindlichkeit bei einem Transparenzpixel viel breiter ist als bei Farbpixeln. So reicht der Bereich vom blauen Spektrum bei ca. 400 nm bis zum nahen Infrarot bei ca. 1000 nm. Ferner ist der Quantenwirkungsgrad und damit die Detektionswahrscheinlichkeit für Photonen bei Transparenzpixeln im sichtbaren Wellenlängenbereich (400 nm - 700 nm) höher und stetiger als bei den Farbpixeln. It can be seen from the illustration of Figure 13 that the spectral sensitivity range is much wider for a transparency pixel than for color pixels. Thus, the range from the blue spectrum at about 400 nm to the near infrared at about 1000 nm. Furthermore, the quantum efficiency and thus the detection probability for photons at transparency pixels in the visible wavelength range (400 nm - 700 nm) is higher and steadier than the color pixels.
Im Bereich über 700 nm sind die Farbpixel nicht sensitiv und können keine Photonen detektieren, während das Transparenzpixel noch ein Signal erzeugt. In the range above 700 nm, the color pixels are not sensitive and can not detect photons, while the transparency pixel still generates a signal.
Somit sind die Transparenzpixel den Farbpixeln für Fluoreszenzsignale überlegen. Das erfindungsgemäße Mikroskop kann daher sehr flexibel für unterschiedliche Aufnahmemodi mit ausgezeichneter Qualität eingesetzt werden. Thus, the transparency pixels are superior to the color pixels for fluorescent signals. The microscope according to the invention can therefore be used very flexibly for different recording modes with excellent quality.
In Figuren 14 und 15 ist der prinzipielle Unterschied zwischen Färb- und Transparenzpixeln quantitativ in der Art und Weise dargestellt, daß derselbe Sensor (einmal mit Farbfilter und einmal ohne Farbfilter) beleuchtet wurde und das Ausgangssignal gemessen wurde. Dabei zeigen die Balken 35, 36 und 37 das Ausgangssignal des Sensors mit Farbmaske und somit das Ausgangssignal eines Farbpixels bei der Beleuchtung mit unterschiedlichen Wellenlängen. Der Balken 35 zeigt die Signalantwort (in beliebigen Einheiten) bei 625 nm, der Balken 36 bei einer Beleuchtung mit 565 nm und der Balken 37 bei einer Beleuchtung mit 430 nm. Unmittelbar rechts daneben ist jeweils die Signalantwort ohne Farbfilter (bei gleicher Beleuchtungswellenlänge) dargestellt. Wie diesen Balken 38 bis 40 zu entnehmen ist, ist die Intensität stets deutlich höher. So beträgt die Signalantwort der Farbzelle nur 52 bis 66% der Signalantwort der Transparenzzelle. In Figur 1 5 sind die Signalantworten für den Fall gezeigt, daß die Beleuchtung mit einer weiß emittierenden Leuchtdiode durchgeführt wurde. Wie aus den Balken 35 bis 40 ersichtlich ist, erreicht ein Farbpixel im Rotkanal nur 27% der Aussteuerung des Transparenzpixels. Die starke Signalintensität des Transparenzpixels erklärt sich dadurch, daß das Transparenzpixel die gesamte über das Spektrum verteilte Energie empfängt, während ein Farbpixel nur den Energieanteil aus dem entsprechenden zugeordneten Wellenbereich in ein Signal wandeln kann. In Figs. 14 and 15, the principal difference between color and transparency pixels is shown quantitatively in the manner that the same sensor (once with color filter and once without color filter) was illuminated and the output signal was measured. there For example, bars 35, 36 and 37 show the output of the color masked sensor and thus the output of a color pixel when illuminated at different wavelengths. The bar 35 shows the signal response (in arbitrary units) at 625 nm, the bar 36 at 565 nm illumination and the bar 37 at 430 nm illumination. Immediately to the right is the signal response without color filter (at the same illumination wavelength) , As can be seen from these bars 38 to 40, the intensity is always much higher. Thus, the signal response of the color cell is only 52 to 66% of the signal response of the transparency cell. In Figure 1 5, the signal responses are shown for the case that the illumination was performed with a white emitting light emitting diode. As can be seen from the bars 35 to 40, a color pixel in the red channel reaches only 27% of the modulation of the transparency pixel. The high signal intensity of the transparency pixel is explained by the fact that the transparency pixel receives all of the energy distributed across the spectrum, while a color pixel can only convert the energy portion from the corresponding associated waveband to a signal.
Dies kann beispielsweise für sehr kurze Belichtungszeiten bei monochromen Aufnahmen mittels des erfindungsgemäßen Mikroskopes genutzt werden. This can be used, for example, for very short exposure times in monochrome images by means of the microscope according to the invention.
Das erfindungsgemäße Mikroskop 1 kann ferner noch eine nicht gezeigte Lichtquelle sowie weitere Elemente aufweisen, die zum Betrieb des Mikroskops 1 notwendig und dem Fachmann bekannt sind. The microscope 1 according to the invention can furthermore also have a light source, not shown, as well as further elements which are necessary for the operation of the microscope 1 and are known to the person skilled in the art.
Die erfindungsgemäße Kamera wurde hier als Teil des Mikroskopes 1 beschrieben. Die erfindungsgemäße Kamera ist jedoch darauf nicht beschränkt und kann ganz allgemein als Kamera (z.B. Foto- und/oder Videokamera) ausgebildet sein, wobei sie dann bevorzugt eine eigene Abbildungsoptik aufweist. The camera according to the invention has been described here as part of the microscope 1. However, the camera according to the invention is not limited to this and can generally be designed as a camera (for example a camera and / or video camera), wherein it then preferably has its own imaging optics.

Claims

Patentansprüche claims
1 . Kamera mit 1 . Camera with
einem Farbbildsensor (7), der eine Mehrzahl von in einer Ebene angeordneten Pixeln (10) sowie eine die Pixel (1 0) überdeckende Farbmaske (1 1 ) aufweist, a color image sensor (7) having a plurality of in-plane pixels (10) and a color mask (1 1) covering the pixels (10),
und einer Bewegungseinheit (8), mit der der Farbildsensor (7) in der Ebene bewegbar ist, wobei die Farbmaske (1 1 ) für jedes Pixel (10) eine Filterzelle (12) enthält, die entweder als Farbzelle zur Farbfilterung für einen von zumindest drei Farbkanälen oder als Transparenzzelle, die keine Farbfilterung bewirkt, ausgebildet ist und and a moving unit (8), with which the color image sensor (7) is movable in the plane, wherein the color mask (1 1) for each pixel (10) contains a filter cell (12), either as a color cell for color filtering for one of at least three color channels or as a transparency cell, which does not cause color filtering, is formed and
wobei die Farbmaske (1 1 ) Farbzellen für alle der zumindest drei Farbkanälen und Transparenzzellen aufweist. wherein the color mask (1 1) has color cells for all of the at least three color channels and transparency cells.
2. Kamera nach Anspruch 1 , mit einer Steuereinheit (6), die dazu ausgebildet ist, a) nach einer ersten Aufnahme einer Probe (3) mittels dem Farbbildsensor (7) die Bewegungseinheit (8) so anzusteuern, daß der Farbbildsensor (7) in der Ebene verschoben wird, 2. Camera according to claim 1, with a control unit (6), which is designed to a) after a first recording of a sample (3) by means of the color image sensor (7) to control the movement unit (8) so that the color image sensor (7) being moved in the plane,
b) eine zweite Aufnahme der Probe (3) mittels dem Farbbildsensor (7) in der verschobenen Position auszulösen, und b) trigger a second image of the sample (3) by means of the color image sensor (7) in the shifted position, and
c) basierend auf den Aufnahmen das Bild der Probe zu generieren. c) generate the image of the sample based on the images.
3. Kamera nach Anspruch 2, bei der die Steuereinheit (6) dazu ausgebildet ist, im Schritt c) im generierten Bild eine im Vergleich zur Anzahl der entsprechenden Färb- bzw. Transparenzzellen höhere Auflösung in zumindest einem der Farbkanäle oder einem Monochromkanal der Transparenzzellen zu erzielen. 3. Camera according to claim 2, wherein the control unit (6) is adapted to in step c) in the generated image in comparison to the number of corresponding color or transparency cells higher resolution in at least one of the color channels or a monochrome channel of the transparency cells achieve.
4. Kamera nach Anspruch 2 oder 3, bei dem die Steuereinheit (6) dazu ausgebildet ist, im Schritt c) ein Farbbild zu generieren, bei dem die Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt sind. 4. Camera according to claim 2 or 3, wherein the control unit (6) is adapted to generate in step c) a color image in which the image data of the transparency cells covered by pixels are taken into account.
5. Kamera nach einem der Ansprüche 2 bis 4, bei dem die Steuereinheit (6) dazu ausgebildet ist, den Schritt b) mehrmals mit verschiedenen Positionen des Farbbildsensors (3) durchzuführen, um mehrere zweite Aufnahmen mit den verschiedenen Positionen des Farbbildsensors (7) durchzuführen. 5. Camera according to one of claims 2 to 4, wherein the control unit (6) is adapted to perform step b) several times with different positions of the color image sensor (3) to several second images with the different positions of the color image sensor (7). perform.
6. Kamera nach einem der Ansprüche 2 bis 5, bei dem die Steuereinheit (6) dazu ausgebildet ist, basierend auf den Bilddaten einer einzelnen Aufnahme ein Farbbild und Monochrombild zu generieren, wobei für das Farbbild Bilddaten der durch Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden. 6. A camera according to any one of claims 2 to 5, wherein the control unit (6) is adapted to generate a color image and monochrome image based on the image data of a single shot, wherein for the color image image data of the color cell covered pixels and the monochrome image Image data of the pixels covered by transparency cells are taken into account.
7. Kamera nach einem der Ansprüche 2 bis 6, bei dem mittels der Steuereinheit (6) die Kamera (1 ) selektiv in einen Farbbildmodus, in dem ein Farbbild der Probe basierend auf den Bilddaten der durch Farbzellen überdeckten Pixel generiert wird, und in ein Monochrombildmodus, in dem ein Monochrombild der Probe basierend auf den Bilddaten der durch Transparenzzellen überdeckten Pixel generiert wird, geschaltet werden kann. 7. A camera according to any one of claims 2 to 6, wherein by means of the control unit (6), the camera (1) selectively in a color image mode, in which a color image of the sample is generated based on the image data of the color cells covered by pixels, and in a Monochrome image mode in which a monochrome image of the sample can be switched based on the image data of the pixels covered by transparency cells.
8. Mikroskop nach einem der obigen Ansprüche, mit einem Infrarotsperrfilter (14) im Strahlengang, wobei der Infrarotsperrfilter (14) von der Position im Strahlengang zu einer Position außerhalb des Strahlegangs und umgekehrt bewegt werden kann. 8. Microscope according to one of the above claims, comprising an infrared blocking filter (14) in the beam path, wherein the infrared blocking filter (14) from the position in the beam path to a position outside the beam path and vice versa can be moved.
9. Verwendung der Kamera nach einem der obigen Ansprüche in einem Mikroskop mit einer Abbildungsoptik (9) zum vergrößernden Abbilden einer Probe (3) auf den Farbbildsensor (7) und einem Steuermodul, das basierend auf den Bilddaten des Farbbildsensors (8) ein Bild generiert. 9. Use of the camera according to one of the above claims in a microscope with imaging optics (9) for magnifying imaging of a sample (3) on the color image sensor (7) and a control module, which generates an image based on the image data of the color image sensor (8) ,
10. Aufnahmeverfahren, bei dem eine Probe mit einer Kamera nach einem der Ansprüche 1 bis 8 aufgenommen wird, wobei 10. A recording method in which a sample is taken with a camera according to one of claims 1 to 8, wherein
a) eine erste Aufnahme einer Probe mittels dem Farbbildsensor durchgeführt wird, a) a first image of a sample is taken by means of the color image sensor,
b) danach der Farbbildsensor in der Ebene verschoben wird, b) after that the color image sensor is shifted in the plane,
c) eine zweite Aufnahme der Probe mittels dem Farbbildsensor in der verschobenen Position durchgeführt wird, und c) performing a second photograph of the sample by means of the color image sensor in the shifted position, and
d) basierend auf den Aufnahmen ein Bild der Probe generiert wird. d) an image of the sample is generated based on the images.
1 1 . Aufnahmeverfahren nach Anspruch 10, bei dem das Bild mit einer höheren Auflösung in zumindest einem der Farbkanäle oder einem Monochromkanal der Transparenzzellen im Vergleich zur Anzahl der entsprechenden Färb- bzw. Transparenzzellen generiert wird. 1 1. Recording method according to claim 10, wherein the image is generated with a higher resolution in at least one of the color channels or a monochrome channel of the transparency cells in comparison to the number of corresponding color or transparency cells.
12. Aufnahmeverfahren nach Anspruch 1 0 oder 1 1 , bei dem das Bild als Farbbild generiert wird, bei dem die Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden. 12. Recording method according to claim 10 or 11 in which the image is generated as a color image in which the image data of the pixels covered by transparency cells are taken into account.
13. Aufnahmeverfahren nach einem der Ansprüche 10 bis 12, bei dem die Schritte b) und c) mehrmals durchgeführt werden, um mehrere zweite Aufnahmen mit verschiedenen Positionen des Farbbildsensors durchzuführen. 13. Recording method according to one of claims 10 to 12, wherein the steps b) and c) are performed several times to perform a plurality of second shots with different positions of the color image sensor.
14. Aufnahmeverfahren nach einem der Ansprüche 10 bis 13, bei dem basierend auf den Bilddaten einer einzelnen Aufnahme ein Farbbild und Monochrombild generiert wird, wobei für das Farbbild Bilddaten der durch Farbzellen überdeckten Pixel und für das Monochrombild Bilddaten der durch Transparenzzellen überdeckten Pixel berücksichtigt werden. 14. The recording method according to claim 10, wherein a color image and a monochrome image are generated based on the image data of a single image, taking into account for the color image image data of the color cell covered pixels and for the monochrome image image data of the pixels covered by the transparency cells.
PCT/EP2011/072201 2010-12-22 2011-12-08 Camera with a colour image sensor and recording method with such a camera WO2012084531A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010063960.5 2010-12-22
DE102010063960A DE102010063960A1 (en) 2010-12-22 2010-12-22 Camera with a color image sensor and recording method with such a camera

Publications (1)

Publication Number Publication Date
WO2012084531A1 true WO2012084531A1 (en) 2012-06-28

Family

ID=45406702

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2011/072201 WO2012084531A1 (en) 2010-12-22 2011-12-08 Camera with a colour image sensor and recording method with such a camera

Country Status (2)

Country Link
DE (1) DE102010063960A1 (en)
WO (1) WO2012084531A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170118453A1 (en) * 2015-10-27 2017-04-27 Samsung Electronics Co., Ltd. Image processing device and operational method thereof
EP3413557A1 (en) * 2017-06-08 2018-12-12 IMEC vzw A method, an image sensor and a device for acquiring an image of an object
CN112804435A (en) * 2021-03-05 2021-05-14 京东方科技集团股份有限公司 Camera module and electronic equipment

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013223699A1 (en) * 2013-11-20 2015-05-21 Takata AG Filter assembly and method of making a filter assembly
DE102019213812A1 (en) * 2019-09-11 2021-03-11 Robert Bosch Gmbh Optical sensor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5402171A (en) * 1992-09-11 1995-03-28 Kabushiki Kaisha Toshiba Electronic still camera with improved picture resolution by image shifting in a parallelogram arrangement
US7236650B1 (en) * 1999-06-04 2007-06-26 Sony Corporation Signal processing apparatus, method of the same, an image processing apparatus and method of same
EP2199842A1 (en) * 2008-12-17 2010-06-23 Carl Zeiss Surgical GmbH Surgical microscope for observing an infrared fluorescence and corresponding method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4437112A (en) * 1980-02-15 1984-03-13 Canon Kabushiki Kaisha Solid-state color imaging apparatus
CA1194987A (en) * 1981-09-30 1985-10-08 Yasuo Takemura Solid-state color television camera
JPH0628450B2 (en) * 1983-01-28 1994-04-13 松下電器産業株式会社 Solid-state imaging device
DE3837063C1 (en) * 1988-10-31 1990-03-29 Reimar Dr. 8000 Muenchen De Lenz
EP0804039A4 (en) * 1995-11-10 1999-06-09 Techno Media Co Ltd Method and device for picking up color still image
DE19702837C1 (en) * 1997-01-27 1998-07-16 Reimar Dr Lenz Digital color camera for electronic photography
TW423252B (en) * 1998-07-30 2001-02-21 Intel Corp Infrared correction system
US7767949B2 (en) * 2005-01-18 2010-08-03 Rearden, Llc Apparatus and method for capturing still images and video using coded aperture techniques
JP5359465B2 (en) * 2009-03-31 2013-12-04 ソニー株式会社 Solid-state imaging device, signal processing method for solid-state imaging device, and imaging device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5402171A (en) * 1992-09-11 1995-03-28 Kabushiki Kaisha Toshiba Electronic still camera with improved picture resolution by image shifting in a parallelogram arrangement
US7236650B1 (en) * 1999-06-04 2007-06-26 Sony Corporation Signal processing apparatus, method of the same, an image processing apparatus and method of same
EP2199842A1 (en) * 2008-12-17 2010-06-23 Carl Zeiss Surgical GmbH Surgical microscope for observing an infrared fluorescence and corresponding method

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170118453A1 (en) * 2015-10-27 2017-04-27 Samsung Electronics Co., Ltd. Image processing device and operational method thereof
KR20170048792A (en) * 2015-10-27 2017-05-10 삼성전자주식회사 Image processing apparatus and operating method thereof
CN108353152A (en) * 2015-10-27 2018-07-31 三星电子株式会社 Image processing equipment and its operating method
EP3342161A4 (en) * 2015-10-27 2018-09-12 Samsung Electronics Co., Ltd. Image processing device and operational method thereof
US10432904B2 (en) 2015-10-27 2019-10-01 Samsung Electronics Co., Ltd Image processing device and operational method thereof
KR102469426B1 (en) * 2015-10-27 2022-11-22 삼성전자주식회사 Image processing apparatus and operating method thereof
EP3413557A1 (en) * 2017-06-08 2018-12-12 IMEC vzw A method, an image sensor and a device for acquiring an image of an object
US10924696B2 (en) 2017-06-08 2021-02-16 Imec Vzw Hyperspectral imager for snapshot and line-scan modes
CN112804435A (en) * 2021-03-05 2021-05-14 京东方科技集团股份有限公司 Camera module and electronic equipment
CN112804435B (en) * 2021-03-05 2022-09-13 京东方科技集团股份有限公司 Camera module and electronic equipment

Also Published As

Publication number Publication date
DE102010063960A1 (en) 2012-06-28

Similar Documents

Publication Publication Date Title
DE60026201T2 (en) Scanning method for a photosensor with several differently sized scanning surfaces
EP0878091B1 (en) Colour image sensor for short-time exposure
DE112013003464B4 (en) Coloring element and imaging device
DE112013003422B4 (en) Color image pickup element and image pickup device
DE102012016675A1 (en) Method for color calibration of a color monitor with LED backlight
DE102010031535A1 (en) An image pickup device and method for picking up an image
DE102010045856A1 (en) Optical imaging system for multispectral imaging
DE3931934A1 (en) IMAGE INPUT / OUTPUT DEVICE
WO2011038817A1 (en) Method for generating a microscopic image and microscope
DE102014214750B3 (en) Image acquisition system with fast-vibrating global shutter CMOS sensor
WO2012084531A1 (en) Camera with a colour image sensor and recording method with such a camera
DE102021116512A1 (en) SPECTRAL SENSOR SYSTEM WITH OPTICAL FILTER SUB-ARRAYS
DE112015006389T5 (en) imaging device
DE102018129833A1 (en) Microscope system, microscope system detection unit and method for microscopically imaging a sample
DE102007051889A1 (en) Electronic endoscope
DE3230552A1 (en) SOLID-COLOR IMAGE RECORDING SYSTEM
DE112019004373T5 (en) SPECTROSCOPIC IMAGING DEVICE AND FLUORESCENCE MONITORING DEVICE
WO2020120278A1 (en) Lidar system and motor vehicle
WO2012084530A1 (en) Microscope with a colour image sensor and microscopy method with a colour image sensor
DE102007051888A1 (en) Electronic endoscope
LU102084B1 (en) Imaging system, in particular for a camera
DE102020214802A1 (en) Method and device for taking infrared and color images
DE19702837C1 (en) Digital color camera for electronic photography
DE102004018182B4 (en) Apparatus and method for generating an image of an object scene
DE102019123356A1 (en) Sensor arrangement, method for calculating a color image and a hyperspectral image, method for carrying out a white balance and use of the sensor arrangement in medical imaging

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11801666

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11801666

Country of ref document: EP

Kind code of ref document: A1