DE19619186C1

DE19619186C1 - Spatial image recording method

Info

Publication number: DE19619186C1
Application number: DE19619186A
Authority: DE
Inventors: Emil Dr Ott
Original assignee: PCO COMPUTER OPTICS GmbH
Current assignee: PCO COMPUTER OPTICS GmbH
Priority date: 1996-05-02
Filing date: 1996-05-11
Publication date: 1998-01-02
Anticipated expiration: 2016-05-12

Abstract

The image recording method involves using at least one light source (6) for illuminating a space. There is an image detection system with a video camera (2) having a CCD image sensor (7), providing an electrical image as a number of pixels with respective pixel values, corresponding to the reflected light. The light source is pulsed, with the emission of light of a given wavelength for a number of light pulse periods, with the corresponding pixel images being summed to provide an overall image. The phase position of each successive light pulse, in the light pulse sequence, is varied in accordance with a given program.

Description

Die Erfindung bezieht sich auf ein Verfahren gemäß Oberbegriff Patentanspruch 1 sowie auf ein System gemäß Oberbegriff Patentanspruch 18.The invention relates to a method according to the preamble of claim 1 and to a system according to the preamble of claim 18.

Das Verfahren zum Erstellung von Bildern sowie zugehörige Systeme, insbesondere auch Bilderfassungssysteme sind bekannt.The method of creating images and related systems, in particular Image acquisition systems are also known.

Unter Bilderfassungssystem sind im Sinne der Erfindung u. a. auch Kameras mit CCD-Sensoren oder wenigstens eine solche Kamera aufweisende Systeme zu verstehen. Bilderfassungssysteme gemäß der Erfindung sind aber auch andere Systeme, die wenigstens einen CCD-Sensor besitzen, mit dem ein auf seiner Bildebene erzeugtes optisches Bild in elektrischen Bildsignale umgesetzt werden soll. CCD-Sensoren, insbesondere auch in ihrer Ausbildung als Interline-Transfer-Sensoren sind dem Fachmann bekannt.Under image acquisition system are in the context of the invention u. a. also cameras with CCD sensors or at least understand such systems having a camera. However, imaging systems according to the invention are also other systems that have at least one CCD sensor with which a generated on its image plane optical image is to be converted into electrical image signals. CCD sensors, especially in their training as interline transfer sensors are the Specialist known.

CCD-Bildsensoren sind bekannt (DE-OS 40 01 072 und EP-OS 0 501 333) und zeichnen sich durch eine Reihe von Vorteilen aus, beispielsweise durch die Möglichkeit einer relativ preiswerten Herstellung, durch eine robuste Bauform usw. CCD-Bildsensoren werden hauptsächlich in Kamera-Systemen verwendet, und zwar in der Weise, daß die an den Belichtungsbereichen erzeugten Ladungen jeweils am Ende einer Bildphase, die beispielsweise bei nach der CCIR-Norm arbeitenden bekannten Systemen ein Halbbild ist, durch Aktivierung entsprechender Transferkanäle an den zugehörigen Speicherbereich eines vertikalen Schieberegisters weitergeleitet werden. Im Anschluß daran werden die Ladungen vertikal und zeilenweise in ein Ausleseregister geschoben, aus dem sie dann jeweils seriell ausgelesen werden. Es besteht hierbei die Möglichkeit, die Belichtungszeit (Verschlußöffnungszeit), d. h. diejenige Zeit, in der an den Belichtungsbereichen Ladungen erzeugt werden, zu verändern, und zwar dadurch, daß in einem dieser Belichtungszeit entsprechenden zeitlichen Abstand vor dem Transfer der Ladungen von den Belichtungsbereichen in die abgedunkelten Speicherbereiche sämtliche Ladungen an den Belichtungsbereichen durch einen Substrat-Steuerimpuls zunächst gelöscht werden, so daß dann nur noch die nach Beendigung dieses Substrat-Steu erimpulses und vor dem Beginn des Transfer-Signals verbleibende Zeit für die Bildung von Ladungen an den Belichtungsbereichen zur Verfügung steht.CCD image sensors are known (DE-OS 40 01 072 and EP-OS 0 501 333) and draw by a number of advantages, for example, the possibility of a Relatively inexpensive production, through a robust design, etc. CCD image sensors are mainly used in camera systems, in such a way that the charges generated at the exposure areas at the end of each image phase, the for example, in known systems operating according to the CCIR standard, one field is, by activation of appropriate transfer channels to the associated Memory area of a vertical shift register are forwarded. In connection the charges are pushed vertically and line by line into a read-out register, from which they are then read serially. There is the possibility the exposure time (shutter open time), d. H. the time in which the Exposure areas are generated to change, namely, that in a time interval corresponding to this exposure time before the transfer the charges from the exposure areas into the darkened storage areas all charges at the exposure areas by a substrate control pulse are first deleted, so that then only after completion of this substrate STEU erimpulses and before the start of the transfer signal remaining time for the Forming charges at the exposure areas is available.

Bekannt ist es insbesondere auch, die vorstehend erwähnten CCD-Bildsensoren so anzusteuern, daß die Entladung der Belichtungsbereiche jeweils periodisch durch Impulse während des horizontalen Bildrücklaufes erfolgt, wobei diese Entladung für die Dauer der jeweiligen Belichtungszeit unterbrochen ist. Durch die Verlegung der Entladungsimpulse in den horizontalen Zeilenrücklauf wird die im bekannten Fall angestrebte kontinuierliche Videowiedergabe nicht gestört. Auch bei dieser Ansteuerung werden die während der Belichtungszeit gesammelten Ladungen durch Aktivierung des jeweiligen Transferkanals erst nach der Belichtungszeit an den zugehörigen Speicherbereich des vertikalen Schieberegisters weitergeleitet.In particular, it is also known, the above-mentioned CCD image sensors so to control that the discharge of the exposure areas each periodically Pulses during the horizontal picture rewind, this discharge for the Duration of the respective exposure time is interrupted. By laying the Discharge pulses in the horizontal line return is the in the known case desired continuous video playback is not disturbed. Also with this control The charges collected during the exposure time are activated by activating the respective transfer channel only after the exposure time to the associated Memory area of the vertical shift register forwarded.

Mit diesen bekannten Systemen lassen sich allerdings keine Belichtungszeiten oder kurzzeitige Änderungen der Empfindlichkeit unter 1 µs erreichen. In vielen Anwendungen sind wesentlich kürzere Belichtungszeiten oder Änderungen der Lichtempfindlichkeit eines Bilderfassungssystems erwünscht. Hierfür mußten bisher aufwendige Systeme mit Bildverstärkern usw. verwendet werden.With these known systems, however, no exposure times or Transient changes in sensitivity below 1 μs. In many Applications are much shorter exposure times or changes in the Photosensitivity of an image acquisition system desired. For this had so far elaborate systems with image intensifiers, etc. are used.

Bekannt ist weiterhin ein Verfahren bzw. System der gattungsgemäßen Art (DE-OS 33 38 708) zur Erzeugung von Bildern unter Verwendung einer Lichtquelle zum Ausleuchten eines Raumes sowie einer Videokamera, wobei von einem elektronischen Blitzgerät gebildete Lichtquelle für Einzelbelichtungen Lichtimpulse aussendet.Also known is a method or system of the generic type (DE-OS 33 38 708) for generating images using a light source for Illuminating a room and a video camera, whereby by an electronic Flash unit formed light source for single exposures emits light pulses.

Aufgabe der Erfindung ist es, ein Verfahren sowie ein System aufzuzeigen, mit welchem in besonders einfacher Weise Entfernungen im Raum erfaßt werden können.The object of the invention is to provide a method and a system with which Distances in space can be detected in a particularly simple manner.

Zur Lösung dieser Aufgabe ist ein Verfahren entsprechend dem kennzeichnenden Teil des Patentanspruches 1 bzw. ein System entsprechend dem kennzeichnenden Teil des Patentanspruches 18 ausgeführt. To solve this problem is a method according to the characterizing part of claim 1 or a system according to the characterizing part of Patent claim 18 executed.

Abweichend von herkömmlichen Verfahren und Systemen wird mit der Erfindung ein Entfernungsbild geschaffen, d. h. ein Bild, welches sich zwar auch aus einer Vielzahl von Bildpunkten oder Pixel zusammensetzt, die jeweils einen Pixel-Wert aufweisen, der aber abweichend von herkömmlichen Systemen nicht einen Grau- oder Helligkeitswert, sondern einem Entfernungswert entspricht. Aus diesem Pixelwert lassen sich somit sehr einfach Entfernungen im Raum bestimmen. Das erfindungsgemäße Verfahren bzw. System kann somit überall dort eingesetzt werden, wo Entfernungen gemessen und/oder erfaßt werden müssen, beispielsweise bei Fertigungsmaschinen, Robotern usw.Unlike conventional methods and systems with the invention Distance image created, d. H. a picture, which is also from a variety of Pixels or pixels, each having a pixel value, the but unlike conventional systems, not a gray or brightness value, but corresponds to a distance value. From this pixel value can be very much simply determine distances in the room. The inventive method or System can thus be used wherever distances measured and / or must be detected, for example, in manufacturing machines, robots, etc.

Bevorzugt verwendet die Erfindung als Bildsensor einen CCD-Sensor, der in einer besonderen Weise gesteuert wird, um die bei der Erfindung notwendigen kurzen Belichtungszeiten für die Einzelbelichtungen zu erzeugen, d. h. Belichtungszeiten, die in der Größenordnung von beispielsweise 10 bis 30 ns liegen.Preferably, the invention uses as an image sensor, a CCD sensor, which in a is controlled in a special way to the necessary in the invention short To create exposure times for the individual exposures, d. H. Exposure times in of the order of, for example, 10 to 30 ns.

Ein derartiger vorzugsweise als Interline-Transfer-Sensor ausgebildeter CCD-Sensor weist in einer Bildebene Bildpunkte oder Pixel bildende Belichtungsbereiche zur Umwandlung von Licht in elektrische Ladung auf. Diesen Belichtungsbereichen sind Speicherbereiche zugeordnet. Weiterhin sind steuerbare Transferkanäle vorgesehen, die für eine Übertragung der Ladungen aus jedem Belichtungsbereich an den zugehörigen Speicherbereich aktivierbar sind. Ferner ist ein Substrat vorgesehen, über welches bei einer Aktivierung der Entladung der Belichtungsbereiche deren Ladungen abführbar sind. Die Transferkanäle und das Substrat werden jeweils mit vorgegebener Zeitdauer und in vorgegebener Zeitfolge aktiviert.Such a preferably designed as an interline transfer sensor CCD sensor has in an image plane pixels or pixels forming exposure areas for conversion from light to electric charge. These exposure areas are storage areas assigned. Furthermore, controllable transfer channels are provided for a Transfer of charges from each exposure area to the associated one Memory area are activated. Further, a substrate is provided, via which at an activation of the discharge of the exposure areas whose charges can be dissipated. The transfer channels and the substrate are each given a predetermined period of time and in preset time sequence activated.

Die Besonderheit besteht dann darin, daß zur Erzielung der kurzen Belichtungszeiten für die Einzelbelichtungen die Entladung der Belichtungsbereiche zumindest während der Bildphase des Gesamtbildes ständig aktiviert und nur für die Dauer der jeweiligen kurzen Einzelbelichtungszeit deaktiviert bzw. unterbrochen wird. Die Transferkanäle sind dabei bereits vor der Deaktivierung der Ladung und während dieser Deaktivierung für eine Ladungsübertragung geöffnet bzw. aktiviert.The special feature is that to achieve the short exposure times for the single exposures discharge the exposure areas at least during the Image phase of the overall picture is constantly activated and only for the duration of the respective short Single exposure time is deactivated or interrupted. The transfer channels are included already before the deactivation of the charge and during this deactivation for one Charge transfer opened or activated.

Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.Further developments of the invention are the subject of the dependent claims.

Die Erfindung wird in Folgenden anhand der Figuren an einem Ausführungsbeispiel näher erläutert. Es zeigen: The invention will be described in more detail below with reference to the figures of an embodiment explained. Show it:

Fig. 1 in vereinfachter Darstellung ein Ranging-System mit Laser-Puls-Beleuchtung und einer einen CCD-Bildsensor aufweisenden Kamera; FIG. 1 is a simplified representation of a ranging system with laser-pulse illumination and a CCD image sensor having the camera;

Fig. 2 zur Erläuterung des Systems der Fig. 1 in vereinfachter Darstellung ein Zeitdiagramm eines vom Laser ausgesandten Lichtimpulses und des an die Kamera zurückgeführten Lichtes; Fig. 2 for explaining the system of Figure 1 in a simplified representation of a timing diagram of a light emitted by the laser light pulse and returned to the camera light.

Fig. 3 in sehr vereinfachter Darstellung eine Grundeinheit der Belichtungs- und Speicherbereiche eines Interline-Transfer-CCD-Sensors; FIG. 3 shows in a very simplified representation of a repeat unit of the exposure and storage areas of an interline transfer CCD sensor;

Fig. 4 in den Positionen a-c den grundsätzlichen Aufbau des Interline-Transfer-CCD-Sen sors mit Belichtungs- und Steuerbereichen sowie die grundsätzliche Arbeitsweise beim Verschieben der Ladungen aus den Belichtungsbereichen in das vertikale Schieberegister, beim Auslesen der Ladungen aus den vertikalen Schieberegistern in das horizontale Ausleseregister und beim seriellen Auslesen der Ladungen aus diesem Ausleseregister; Fig. 4 in the positions ac the basic structure of the interline transfer CCD Sen sensor with exposure and control areas and the basic operation when moving the charges from the exposure areas in the vertical shift register, when reading the charges from the vertical shift registers in the horizontal readout registers and the serial readout of the loads from this readout register;

Fig. 5 den zeitlichen Verlauf des die Transferkanäle sämtlicher aktivierter Pixeleinheiten ansteuerten Transfersignals TS sowie den zeitlichen Verlauf des das Entladen der Belichtungsbereiche über das Substrat des CCD-Sensors steuernden Substratsteuersignals S und die sich durch diese Ansteuerung ergebenden Belichtungszeiten bzw. Bildfenster Bt; Figure 5 shows the time course of the transfer channels of all activated pixels units headed for the transfer signal TS and the time profile of the discharging of the exposure areas on the substrate of the CCD sensor controlled substratum control signal S and the through this control exposure times and the image window Bt resulting.

Fig. 6 in zeitlicher Vergrößerung eine der Unterbrechungen des Substratsteuersignals; Fig. 6 in time magnification one of the interruptions of the substrate control signal;

Fig. 7 ein Diagramm, welches in Abhängigkeit von periodisch auftretenden Licht- bzw. Laserimpulsen L Belichtungszeiten der Videokamera bzw. des CCD-Sensors mit unterschiedlichen Verzögerungszeiten gegenüber dem zeitlich unmittelbar vorausgehenden Lichtimpuls wiedergibt, und zwar bei dem erfindungsgemäßen Verfahren zur Aufnahme eines Entfernungsbildes; Figure 7 is a diagram representing a function of intermittent light or laser pulses L exposure times of the video camera or CCD sensor with different delay times with respect to the immediately preceding time pulse of light, namely, in the inventive method for recording a distance image.

Fig. 8 und 9 eine erste Verteilungsfunktion oder Rampe und eine zu dieser komplementäre zweite Rampe, die jeweils die Verteilung der Häufigkeit oder Anzahl der Einzelbelichtungen bei den unterschiedlichen zeitlichen Verzögerungen wiedergeben; Figures 8 and 9 show a first distribution function or ramp and a second ramp complementary thereto, each representing the distribution of the frequency or number of individual exposures at the different time delays;

Fig. 10 ein Diagramm zur Erläuterung des zeitlichen Verlaufs bei der Erstellung der Gesamtbilder und der Fremdlichtbilder;10 is a diagram for explaining the time course in the preparation of full frames and the external light images.

Fig. 11 ein Diagramm einer Logik. Fig. 11 is a diagram of logic.

In der Fig. 1 ist ein System dargestellt, welches es ermöglicht, einen Körper 1 mit einer Videokamera 2 mit Ansteuerschaltung 3 zu erfassen, obwohl sich der Körper 1 in einer Umgebung oder in einem Medium 4 mit Licht reflektierenden Partikeln, beispielsweise in einer trüben Flüssigkeit oder im Nebel, und/oder vor einem reflektierenden Hintergrund 5 befindet.In Fig. 1, a system is shown, which makes it possible to detect a body 1 with a video camera 2 with drive circuit 3 , although the body 1 in an environment or in a medium 4 with light-reflecting particles, for example in a cloudy liquid or in the fog, and / or in front of a reflective background 5 .

Das System weist einen impuls-betriebenen Laser 6 auf, der in einer vorgegebenen Folge Lichtimpulse L (Fig. 2) zur Beleuchtung des Körpers 1 aussendet. Das an die Kamera 2 rückgeführte Licht ist in der Fig. 2 mit R bezeichnet und stammt nur zum Teil (Bereich r) von dem Körper 1. Zum größten Teil handelt es sich hierbei um Streu-Licht, welches von den Partikeln des Mediums 4 und vom Hintergrund 5 stammt und welches dem Bild des Körpers 1 überlagert ist, so daß dieser von einer normalen Videokamera nicht oder aber nur sehr gestört erfaßt werden könnte. Um diesen Nachteil zu beheben wird die Videokamera 2 bzw. deren CCD-Sensor 7, der als Interline-Transfer-Sensor ausgebildet ist, synchron mit den vom Laser gelieferten Lichtimpulse L bzw. deren Impulsfolge in der nachstehend noch näher beschriebenen Weise für extrem kurze Belichtungszeiten angesteuert.The system has a pulse-operated laser 6 which emits light pulses L ( FIG. 2) for illuminating the body 1 in a predetermined sequence. The light returned to the camera 2 is denoted by R in FIG. 2 and comes only partially (area r) from the body 1 . For the most part, this is scattered light, which comes from the particles of the medium 4 and the background 5 and which is superimposed on the image of the body 1 , so that this could not be detected by a normal video camera or only very disturbed , To remedy this disadvantage, the video camera 2 or its CCD sensor 7 , which is designed as an interline transfer sensor, synchronously with the light pulses L delivered by the laser or their pulse train in the manner described in more detail below for extremely short exposure times driven.

Die Fig. 3 zeigt in vereinfachter Funktionsdarstellung einen Teil des CCD-Sensors, dessen aktiver Bereich in Belichtungsbereiche 8 und Speicherbereiche 10 unterteilt ist, wobei bei der dargestellten Ausführungsform jedem Speicherbereich jeweils ein Belichtungsbereich 8 zugeordnet ist und zusammen mit diesem eine Grundeinheit 11 bildet. Diese sind in einer Zeilen-Reihen-Anordnung in horizontal er und vertikaler Richtung angeordnet, wobei die Speicherbereiche 10 in jeder vertikalen Reihe ein vertikales Schieberegister 12 bilden (hierzu auch Fig. 4). Fig. 3 shows in simplified functional representation of a portion of the CCD sensor, whose active area in exposure regions 8 and memory areas 10 is divided, wherein in the illustrated embodiment, each storage area is assigned to a respective exposure area 8 and forms together therewith a base unit 11. These are arranged in a row-row arrangement in horizontal he and vertical direction, wherein the memory areas 10 in each vertical row form a vertical shift register 12 (see also Fig. 4).

Die Belichtungsbereiche 8 sind in der Bildebene des Sensors 7 angeordnet und wandeln das auf sie auftreffende Licht in eine von der Intensität des Lichtes abhängige Ladung Q um.The exposure areas 8 are arranged in the image plane of the sensor 7 and convert the light incident on them into a charge Q dependent on the intensity of the light.

Über Steuerleitungen 13 sind die Belichtungsbereiche 8 bzw. diesen zugeordnete Transferkanäle 15 für eine Übertragung der Ladung Q aus dem jeweiligen Belichtungsbereich 8 an den zugehörigen Speicherbereich 10 steuerbar, und zwar durch ein Transfer-Signal TS. Die Ansteuerung erfolgt in der Weise, daß bei jeder Bildphase die Transferkanäle sämtlicher Belichtungsbereiche 8 des Sensors für eine Übertragung der Ladungen Q an die zugehörigen Speicherbereiche 10 aktiviert bzw. geöffnet werden. Für die nachfolgenden Erläuterungen wird davon ausgegangen, daß die Transferkanäle 15 für eine Ladungsübertragung von dem jeweiligen Belichtungsbereich 8 an den zugehörigen Speicherbereich 10 immer dann aktiviert oder geöffnet sind, wenn das Transfer-Signal einen positiven Signalwert H aufweist.Via control lines 13 , the exposure areas 8 or transfer channels 15 assigned to them for the purpose of transferring the charge Q from the respective exposure area 8 to the associated storage area 10 can be controlled, specifically by a transfer signal TS. The control takes place in such a way that the transfer channels of all exposure areas 8 of the sensor for a transfer of the charges Q to the associated memory areas 10 are activated or opened at each image phase. For the following explanations, it is assumed that the transfer channels 15 are activated or opened for a charge transfer from the respective exposure area 8 to the associated memory area 10 whenever the transfer signal has a positive signal value H.

Mit 16 ist ein für alle Pixel oder Belichtungsbereiche 8 gemeinsames Substrat 16 bezeichnet. Dieses ist über eine Steuerleitung 17 mit einem Substrat-Steuersignal S ansteuerbar, welches die beispielsweise als Dioden ausgebildeten Belichtungsbereiche 8 in einen leitenden Zustand überführt, so daß dann, wenn dieses Substrat-Steuersignal S anliegt, also beispielsweise einen positiven Signalwert H aufweist, die Ladungen Q der Belichtungsbereiche 8 unmittelbar an das Substrat 16 über einen niederohmigen Strompfad abgeführt werden oder sich Ladungen Q an den Belichtungsbereiche 8 überhaupt nicht bilden können. 16 with a common for all pixels or exposure regions 8 substrate 16 is referred to. This can be controlled via a control line 17 with a substrate control signal S, which converts the exposure regions 8, for example formed as diodes, into a conductive state, so that when this substrate control signal S is applied, that is, for example, has a positive signal value H, the charges Q of the exposure areas 8 are discharged directly to the substrate 16 via a low-resistance current path or charges Q at the exposure areas 8 can not form at all.

Die Ansteuerung des Substrates 16 mit dem Substrat Steuersignal S erfolgt wiederum für sämtliche Pixel oder Belichtungsbereiche 8 gleichzeitig.The control of the substrate 16 with the substrate control signal S takes place again for all pixels or exposure areas 8 simultaneously.

Bestandteil des CCD-Sensors 7 ist auch noch ein Ausleseregister 18 (Fig. 4). Wie dort in den Positionen b und c angedeutet ist, ist die grundsätzliche Arbeitsweise des CCD-Sensors 7 so, daß die Ladungen Q, die während der Belichtungszeit, also bei nicht anliegendem Substratsteuersignal S in einer Bildphase an den Belichtungsbereichen 8 erzeugt wurden, am Ende dieser Bildphase an den jeweiligen Speicherbereichen 10 zur Verfügung stehen, dann Zeile für Zeile in das Ausleseregister 18 geschoben (Position b der Fig. 4) und dabei seriell aus dem Ausleseregister 18 ausgelesen werden.Part of the CCD sensor 7 is also a read-out register 18 ( Fig. 4). As indicated there in the positions b and c, the basic operation of the CCD sensor 7 is such that the charges Q, which were generated in an imaging phase at the exposure areas 8 during the exposure time, ie when the substrate control signal S is not present, at the end This image phase at the respective memory areas 10 are available, then pushed line by line in the readout register 18 (position b of FIG. 4) and thereby read out from the readout register 18 in series.

Bei der herkömmlichen Ansteuerung des CCD-Sensors 7, beispielsweise entsprechend CCIR-Norm, wird erst am Ende jeder Bildphase (in diesem Fall Halbbild) durch Aktivieren der entsprechenden Transferkanäle 15 ein paralleles Übertragen der Ladungen Q an die Speicherbereiche 10 durchgeführt (Dauer ca. 2,5 µs). Die Belichtungszeit kann bei dieser herkömmlichen Ansteuerung nur dadurch geändert werden, daß in jeder Bildphase die für das Erzeugen der Ladungen Q zur Verfügung stehende Zeit entsprechend geändert wird, und zwar durch Anlegen des Substrat-Steuersignales S vor dem Aktivieren der Transferkanäle 15. Extrem kurze Belichtungszeiten lassen sich hiermit allerdings nicht erreichen.In the conventional control of the CCD sensor 7 , for example, according to CCIR standard, only at the end of each image phase (in this case, field) by activating the corresponding transfer channels 15, a parallel transfer of the charges Q to the memory areas 10 performed (duration about 2 , 5 μs). The exposure time can be changed in this conventional control only in that in each image phase, the time available for the generation of the charges Q is changed accordingly, by applying the substrate control signal S before activating the transfer channels 15th Extremely short exposure times, however, can not be achieved hereby.

Überraschenderweise sind aber solche extrem kurze Belichtungs- oder Verschlußöffnungszeiten, und zwar Zeiten bis zu 10 ns mit einer Folgefrequenz bis zu 40 MHz mit der in der Fig. 5 angedeuteten erfindungsgemäßen Ansteuerung des CCD-Sensors 7 möglich. Bei dieser Betriebsweise sind während jeder Bildphase die den Belichtungsbereich 8 zugeordneten Transferkanäle 15 ständig oder aber periodisch während einer größeren Zeit T, beispielsweise während einer Zeitdauer von 1 - ms geöffnet oder aktiviert. Weiterhin liegt das Substratsteuersignal S ständig an und wird lediglich kurzzeitig, beispielsweise periodisch unterbrochen (Unterbrechung u) bzw. abgeschaltet, und zwar jeweils für eine sehr kurze Zeitdauer. Das Transfersignal TS und das Substratsteuersignal S sind derart synchronisiert, daß bereits vor und auch während der Unterbrechung u die Transferkanäle 15 geöffnet sind.Surprisingly, however, such extremely short exposure or shutter opening times, namely times up to 10 ns with a repetition frequency up to 40 MHz with the direction indicated in FIG. 5 according to the invention control of the CCD sensor 7 possible. In this mode of operation, the transfer channels 15 assigned to the exposure area 8 are opened or activated continuously or periodically during a larger time T, for example during a period of 1 ms, during each image phase. Furthermore, the substrate control signal S is constantly present and is only briefly interrupted, for example periodically (interruption u) or switched off, in each case for a very short period of time. The transfer signal TS and the substrate control signal S are synchronized such that the transfer channels 15 are already open before and also during the interruption u.

Nur während der Unterbrechungen u können die Belichtungsbereiche 8 dem auftreffenden Licht entsprechende Ladungen Q erzeugen, die dann über die aktivierten Transferkanäle 15 sofort an die Speicherbereiche 10 weitergeleitet werden. Mit dem Ende jeder Unterbrechung u und mit dem dann wieder anliegenden Substrat-Steuersignal S wird die Erzeugung von elektrischen Ladungen Q an den Belichtungsbereichen 8 sofort beendet, so daß dann auch die Übertragung weiterer Ladungen Q aus den Belichtungsbereichen 8 an die Speicherbereiche 10 nicht mehr möglich ist.Only during the interruptions u can the exposure areas 8 generate the incident light corresponding charges Q, which are then forwarded via the activated transfer channels 15 immediately to the memory areas 10 . With the end of each interruption u and with the substrate control signal S applied again, the generation of electrical charges Q at the exposure areas 8 is immediately terminated so that the transfer of further charges Q from the exposure areas 8 to the storage areas 10 is then no longer possible is.

Durch diese Arbeitsweise, bei der die Transferkanäle 15 während der Belichtungszeiten bzw. Unterbrechungen u ständig aktiviert sind, lassen sich die vorstehend genannten extrem kurzen Belichtungszeiten bis zu 10 ns bei hohen Folgefrequenzen bis zu 40 Mhz erreichen.By this mode of operation, in which the transfer channels 15 are constantly activated during the exposure times or interruptions u, the abovementioned extremely short exposure times of up to 10 ns can be achieved at high repetition frequencies of up to 40 MHz.

Auch bei den erfindungsgemäßen System erfolgt am Ende jeder Bildphase das Auslesen der Ladungen Q aus den von den Speicherbereichen 10 gebildeten vertikalen Schieberegistern 12 jeweils zeilenweise in das Ausleseregister 18 und das serielle Auslesen der Zeilen aus diesen Ausleseregister.Also in the system according to the invention, at the end of each image phase, the readings of the charges Q from the vertical shift registers 12 formed by the memory areas 10 take place line by line in the readout register 18 and the serial readout of the lines from these readout registers.

Erfolgt bei dem erfindungsgemäßen System während einer Bildphase eine mehrfache Unterbrechung des Substratsteuersignales S, wie dies in der Fig. 5 dargestellt ist, so werden die während jeder Unterbrechung u unmittelbar an den zugehörigen Speicherbereich 10 übertragenden Ladung Q dort gesammelt bzw. addiert.If, in the system according to the invention, a multiple interruption of the substrate control signal S occurs during an image phase, as shown in FIG. 5, the charge Q transferred directly to the associated memory area 10 during each interruption u is collected or added there.

In der Fig. 5 sind mit B die Bildfenster bzw. Belichtungszeiten angegeben. Für das in der Fig. 1 dargestellte System bedeutet dies, daß durch entsprechende Synchronisation zwischen dem Laser 6 und den von der Ansteuerschaltung 3 erzeugten Signalen, insbesondere auch der Transfersignale TS und des Substratsteuersignals S, sichergestellt ist, daß jedes Bildfenster Bt zeitlich mit dem Bereich r zusammenfällt, so daß mit der Videokamera 2 tatsächlich der Körper 1 erfaßt wird, und zwar trotz des diesen Körper umgebenden lichtreflektierenden Mediums 4 und Hintergrundes 5. Die Synchronisation erfolgt beispielsweise über einen Kanal, der ein einstellbares Verzögerungsglied 19 enthält, so daß die Bildfenster Bt genau auf den Bereich r eingestellt werden können.In FIG. 5, the image windows or exposure times are indicated by B. For the system shown in Fig. 1, this means that it is ensured by appropriate synchronization between the laser 6 and the signals generated by the drive circuit 3 , in particular also the transfer signals TS and the substrate control signal S, that each image window Bt with the time r collapses so that the body 1 is actually detected with the video camera 2 , in spite of the light-reflecting medium 4 and background 5 surrounding this body. The synchronization takes place for example via a channel which contains an adjustable delay element 19 , so that the image window Bt can be set exactly to the range r.

Eine Besonderheit der Erfindung besteht auch darin, daß die Transferkanäle 15 nur langsam geschaltet werden müssen, die kurzen Belichtungszeiten aber durch das schnelle Schalten des Substrates 16 erreicht werden, und daß auch der zeitliche Versatz zwischen der Erzeugung der Ladungen Q an den Belichtungsbereichen 8 und dem Übertragen der Ladungen Q an die Speicherbereiche 10 entfällt.A special feature of the invention is also that the transfer channels 15 only have to be switched slowly, but the short exposure times are achieved by the rapid switching of the substrate 16 , and that also the time offset between the generation of the charges Q at the exposure areas 8 and Transferring the charges Q to the storage areas 10 is omitted.

Die Erfindung wurde voranstehend an einem Ausführungsbeispiel beschrieben. Es versteht sich, daß Änderungen oder Abwandlungen möglich sind. So ist es beispielsweise auch möglich, während der jeweiligen Bildphase die Transferkanäle 15 ständig zu aktivieren. Dies kann aber zu einer Bildverschlechterung insbesondere durch thermisches Rauschen der Transferkanäle 15 führen, so daß die in der Fig. 5 dargestellte periodische Aktivierung jeweils über eine Zeitdauer T von maximal 1-5 ms von Vorteil ist.The invention has been described above by means of an embodiment. It is understood that changes or modifications are possible. For example, it is also possible to activate the transfer channels 15 constantly during the respective image phase. However, this can lead to a picture deterioration, in particular due to thermal noise of the transfer channels 15 , so that the periodic activation shown in FIG. 5 is advantageous over a period T of a maximum of 1-5 ms.

Das erfindungsgemäße System eignet sich nicht nur für das in der Fig. 1 wiedergegebene Ranging-System-Laser-Puls-Beleuchtung, sondern auch andere Anwendungen, die kurze Belichtungszeiten oder Änderungen der Lichtempfindlichkeit erfordern, so beispielsweise 3D-Sehen, Fluoreszenz-Lifetime-Messungen, Hochgeschwindigkeitskameras usw.The system according to the invention is suitable not only for the ranging system laser pulse illumination shown in FIG. 1, but also other applications which require short exposure times or changes in photosensitivity, such as 3D vision, fluorescence lifetime measurements , High-speed cameras, etc.

"Bildphase" ist im Sinne der Erfindung ein Zeitbereich, beispielsweise das Halbbild der CCIR-Norm oder der RS170-Norm oder das Vollbild der VGA-Norm bzw. -Darstellung."Image phase" in the context of the invention is a time domain, for example, the field of CCIR standard or the RS170 standard or full frame of the VGA standard or presentation.

Durch die Möglichkeit des sehr schnellen Schaltens des CCD-Sensors 7 mit hoher Folgefrequenz erlaubt die Erfindung auch eine Steuerung der Empfindlichkeit dieses Sensors durch Impulsbreitenmodulation. Eine Beispiel für eine solche Steuerung ist in der Fig. 6 angedeutet, die eine der Unterbrechungen u des Substratsteuersignals nochmals in zeitlicher Vergrößerung wiedergibt. Mit den Linien 20 sind innerhalb dieser Unterbrechung u Impulse angedeutet, die eine im Vergleich zu der Unterbrechung u sehr kleine Impulsbreite bei hoher Impulsfolgefrequenzen besitzen und dem Substratsteuersignals derart überlagert sind, daß innerhalb der Unterbrechung u ein mehrfaches kurzzeitiges Schalten des Substratsteuersignals S zwischen 0 auf H mit der hohen Folgefrequenz erfolgt. Bei diesem Schalten werden jeweils Teilladungen von den Belichtungsbereichen an das Substrat abgeführt, so daß ohne Änderung der Belichtungszeit, ohne Änderung der Unterbrechung u durch Impulsbreitenmodulation der Impulse 20 die Teilentladungen und dadurch auch die Empfindlichkeit des CCD-Sensors gesteuert werden können.Due to the possibility of very fast switching of the CCD sensor 7 with high repetition frequency, the invention also allows control of the sensitivity of this sensor by pulse width modulation. An example of such a control is indicated in FIG. 6, which again reproduces one of the interruptions u of the substrate control signal in time magnification. With the lines 20 u pulses are indicated within this interruption, which have a very small pulse width at high pulse repetition frequencies compared to the interrupt u and the substrate control signal are superimposed such that within the interruption u a multiple short-time switching of the substrate control signal S between 0 to H with the high repetition rate. In this switching, each partial charges are removed from the exposure areas to the substrate, so that without changing the exposure time, without changing the interruption u by pulse width modulation of the pulses 20, the partial discharges and thus the sensitivity of the CCD sensor can be controlled.

Das Ausgangssignal der Videokamera 2 wird beispielsweise einem nicht dargestellten Bildspeicher bzw. dem am Eingang dieses Bildspeichers vorgesehenen Analog-Digital-Wand ler zugeführt, wobei dieser Bildspeicher dann an seinem Ausgang bzw. an den dortigen Digital-Analog-Wandler ein Bildsignal liefert, welches die unterschiedlichsten Normen erfüllen kann.The output signal of the video camera 2 , for example, supplied to an image memory, not shown, or provided at the input of this image memory analog-to-digital wall ler, this image memory then delivers an image signal at its output or to the local digital-to-analog converter, which the can meet a wide variety of standards.

Das vorbeschriebene Bilderfassungssystem bzw. die vorbeschriebene besondere Art der Ansteuerung des CCD-Sensors 7 eignet sich insbesondere auch für ein Verfahren bzw. für ein System zur Aufnahme eines Entfernungsbildes, d. h. zur Aufnahme eines Video-Bildes, bei dem die Grauwerte der einzelnen Bildpunkte in dem während einer Bildphase erstellten Gesamtbild nicht unterschiedlichen Helligkeiten der Bildpunkte des Originals bzw. des Körpers 1 bzw. der von der Kamera 2 erfaßten Szene entsprechen, sondern den Entfernungen zwischen den einzelnen Bereichen der von der Kamera 2 erfaßten Szene und dieser Kamera.The above-described image acquisition system or the above-described special type of control of the CCD sensor 7 is particularly suitable for a method or for a system for capturing a distance image, ie for capturing a video image in which the gray values of the individual pixels in the created during an image phase overall image does not correspond to different brightnesses of the pixels of the original or the body 1 or the scene detected by the camera 2 , but the distances between the individual areas of the captured by the camera 2 scene and this camera.

Für die Erzeugung von Entfernungsbildern wird wiederum das die Kamera 2 mit dem CCD-Sensor 7 aufweisende Bilderfassungssystem, welches durch kurzzeitige und mehrfache Belichtungen eine Aufakkumulierung von Teilbildern bzw. von durch die Mehrfachbelichtung an den Belichtungsbereichen 8 erzeugten Ladungen in den zugehörigen Speicherbereichen 10 ermöglicht, sowie der als Kurzzeitimpulslaser ausgebildete Laser 6 sowie eine Steuereinheit 21 mit Rechner verwendet, und zwar zur Erzeugung der notwendigen Steuerpulsfolgen für den Laser 6 sowie zur Erzeugung der Einzel-Belichtungen mit unterschiedlicher zeitlicher Verzögerung nach einem vorgegebenen Programm und einer vorgegebenen Verteilung.For the generation of distance images, in turn, the camera 2 with the CCD sensor 7 having imaging system, which allows by short-term and multiple exposures Aufakkumulierung of partial images or generated by the multiple exposure to the exposure areas 8 charges in the associated memory areas 10 , as well the formed as a short-time pulse laser laser 6 and a control unit 21 with computer used, namely for generating the necessary control pulse sequences for the laser 6 and for generating the individual exposures with different time delay according to a predetermined program and a predetermined distribution.

Die Optiken der Beleuchtung (Laser 6) und der Kamera 2 sind so abgestimmt, daß sie den gleichen räumlichen Bereich erfassen. Der Laser 6 ist bei dem Verfahren bzw. System zur Aufnahme eines Entfernungsbildes bevorzugt ein Diodenlaser im IR-Bereich (z. B. Wellenlänge 850 nm). Zur Unterdrückung von Fremdlicht weist die Kamera 2 vor dem CCD-Sensor 7 ein schmalbandiges Filter auf. Die Länge der vom Laser 6 ausgesandten Lichtimpulse beträgt beispielsweise 10 ns. Die Belichtungszeit Bt der Einzelbelichtungen bzw. die Unterbrechung u des Substratsteuersignales S sind bei der vorbeschriebenen Ansteuerung des CCD-Sensors 7 so eingestellt, daß sie etwa 30 ns betragen.The optics of the illumination (laser 6 ) and the camera 2 are tuned to capture the same spatial area. In the case of the method or system for acquiring a distance image, the laser 6 is preferably a diode laser in the IR range (for example, a wavelength of 850 nm). To suppress extraneous light, the camera 2 in front of the CCD sensor 7 on a narrow-band filter. The length of the light pulses emitted by the laser 6 is for example 10 ns. The exposure time Bt of the individual exposures or the interruption u of the substrate control signal S are set in the above-described control of the CCD sensor 7 so that they amount to about 30 ns.

Die Fig. 7-9 erläutern im Prinzip das Verfahren zur Erzeugung eines Entfernungsbildes. FIGS. 7-9 explain, in principle, the method for generating a distance image.

Für das Entfernungsbild werden zwei komplementäre Gesamtbilder Ba und Bb in jeweils einer Bildphase und mit jeweils eine vorgegebene Anzahl N von Einzel-Belichtungen erstellt. Bei einer Impulslänge der Lichtimpulse L von 10 ns und bei einem Tastverhältnis für die Ansteuerung des Lasers 6 von 1 : 200 ergeben sich - bei einer Gesamtbelichtungszeit von 16 ms für jedes Gesamtbild - eine Anzahl N = 8000 Einzel-Be lichtungen je Gesamtbild. Den Einzelbelichtungen sind unterschiedliche Verzögerungszeit Δt1, Δt2. . .Δtn zugeordnet, d. h. die Einzelbelichtungen erfolgen jeweils mit einer zeitlichen Verzögerung nach dem zugehörigen Lichtimpuls, wobei die zeitlichen Verzögerungen und die Häufigkeit der Einzelbelichtungen bei jeder zeitlichen Verzögerung nach einer vorgegebenen Verteilung gesteuert werden. Die Änderung der zeitlichen Verzögerung erfolgt hierbei in vorgegebenen Schritten. Weiterhin erfolgt jeweils bei jedem Laserimpuls L nur eine Einzel-Belichtung mit der vorgegebenen zeitlichen Verzögerung.For the distance image, two complementary overall images Ba and Bb are respectively created in one image phase and each with a predetermined number N of individual exposures. With a pulse length of the light pulses L of 10 ns and a duty cycle for the control of the laser 6 of 1: 200 result - with a total exposure time of 16 ms for each overall image - a number N = 8000 individual Be Lichtungen per overall image. The individual exposures have different delay times Δt1, Δt2. , .DELTA.tn, ie the individual exposures are each carried out with a time delay after the associated light pulse, the time delays and the frequency of the individual exposures at each time delay are controlled according to a predetermined distribution. The change of the time delay takes place here in predetermined steps. Furthermore, only one single exposure with the predetermined time delay takes place in each case with each laser pulse L.

Die Anzahl der Einzelbelichtungen, die mit jeder der vorgegebenen zeitlichen Verzögerungen oder Verzögerungszeiten durchgeführt werden, ist unterschiedlich derart gewählt, daß sich für diese Verteilung z. B. die in der Fig. 8 dargestellte Rampe R1 ergibt, bei der die Anzahl der Einzelbelichtungen mit den größeren Verzögerungszeiten jeweils größer ist als die Anzahl der Einzelbelichtungen mit den kürzeren Verzögerungszeiten. Zur Erzielung der Rampe R1 ist beispielsweise folgende Verteilung gegeben:The number of individual exposures, which are performed with each of the predetermined time delays or delay times, is chosen differently such that for this distribution z. Example , the ramp R1 shown in FIG. 8 results in which the number of individual exposures with the larger delay times is greater than the number of individual exposures with the shorter delay times. To achieve the ramp R1, for example, the following distribution is given:

zeitliche Verzögerungdelay Anzahl der EinzelbelichtungenNumber of individual exposures bei dieser Verzögerungat this delay 0 ns0 ns 00 1 ns1 ns 11 2 ns2 ns 11 3 ns3 ns 22 4 ns4 ns 22 . . ., , , . . ., , , 80 ns80 ns 5050 . . ., , , . . ., , , 160 ns160 ns 100100

Die angegebene Verteilung erfolgt so, daß insgesamt 8000 Einzelbelichtungen in der Rampe R1 enthalten sind.The specified distribution is such that a total of 8000 individual exposures in the Ramp R1 are included.

Da mit jeder Einzelbelichtung jeweils derjenige Bereich der von der Kamera 2 aufgenommenen Szene erfaßt wird, dessen Entfernung der jeweiligen zeitlichen Verzögerung Δt entspricht (bei gleichem Abstand der Videokamera 2 und des Lasers 6 vom Objekt etwa die halbe Verzögerung), da außerdem die Anzahl der Einzelbelichtungen bei den Verzögerungen unterschiedlich sind und da die durch die Einzelbelichtungen erzeugten Ladungen bzw. Teilbilder in dem CCD-Sensor 7 aufakkumuliert werden, könnte dann, wenn sämtliche Bereiche der mit der Videokamera 2 aufgenommenen Szene gleiche Farbgebung und/oder Helligkeit aufweisen, bereits aufgrund der Wertigkeit der Bildpunkte bzw. Pixel (Pixelwert ba) in dem mit der Rampe R1 erzeugten Gesamtbild Ba Abstand E ermittelt werden, den der einem Pixel entsprechende Bereich der Original-Szene von der Videokamera 2 aufweist.Since with each individual exposure in each case that portion of the scene recorded by the camera 2 is detected whose distance corresponds to the respective time delay .DELTA.t (for the same distance of the video camera 2 and the laser 6 from the object about half the delay), as well as the number of individual exposures are different in the delays and since the charges generated by the individual exposures or sub-images are accumulated in the CCD sensor 7 , then, if all areas of the scene recorded with the video camera 2 have the same color and / or brightness, could already due to the value the pixels or pixel (pixel value ba) are determined in the overall image Ba distance E generated by the ramp R1, which area of the original scene from the video camera 2 corresponds to one pixel.

Um aber die tatsächlichen unterschiedlichen Helligkeiten der Bereiche des Objektes 1 oder der aufgenommenen Szene zu berücksichtigen wird zusätzlich ein Gesamtbild Bb aufgenommen, bei dem die Verteilung der Einzelbelichtungen und der Verzögerungszeiten der Rampe R2 entsprechen, die komplementär zur Rampe R1 ist. Diese beiden Bilder Ba und Bb werden beispielsweise zeitlich nacheinander aufgenommen. Vorstehend wurde davon ausgegangen, daß die maximale Verzögerungszeit Δtn 160 ns ist. Dies würde bei jeweils gleichem Abstand der Videokamera 2 und des Lasers 6 vom Objekt 1 einer Entfernung Objekt Videokamera von etwa 26,7 Metern entsprechen.In order to take into account the actual different brightnesses of the areas of the object 1 or of the recorded scene, an overall picture Bb is additionally recorded, in which the distribution of the individual exposures and the delay times correspond to the ramp R2, which is complementary to the ramp R1. For example, these two images Ba and Bb are recorded one after another in time. It has been assumed above that the maximum delay time Δtn is 160 ns. This would correspond to the same distance of the video camera 2 and the laser 6 from the object 1 of a distance object video camera of about 26.7 meters.

Aus den beiden Rampen-Bildern kann für jedes Pixel der Reflexionsgrad und Grauwert sowie auch die Entfernung ermittelt werden. Wird ein Pixelwert belichtet nach der Rampe R1 als ba und ein Pixelwert belichtet nach der Rampe R2 als bb bezeichnet, so läßt sich für dieses Pixel bzw. für den entsprechenden Bereich des Originals die Entfernung E berechnen. Für diese Berechnung wird zunächst der Reflexionsgrad bzw. Grauwert des betreffenden Bereiches des Objektes 1 oder Originals benötigt. Dieser Grauwert ergibt sich zuFrom the two ramp images, the reflectance and gray value as well as the distance can be determined for each pixel. If a pixel value is exposed after the ramp R1 as ba and a pixel value exposed after the ramp R2 is designated as bb, the distance E can be calculated for this pixel or for the corresponding area of the original. For this calculation, the reflectance or gray value of the relevant area of the object 1 or original is first required. This gray value results too

G = ½ (ba + bb).G = ½ (ba + bb).

Die jeweilige Entfernung E des einem Pixel zugeordneten Bereichs des aufgenommen Objekts errechnet sich wie folgt:The respective distance E of the area of the pixel associated with a pixel is recorded The object is calculated as follows:

E = ba/2G = 1 - bb/(ba + bb) bzw. E = 1 - bb/2G = 1 - bb/(ba + bb)E = ba / 2G = 1 - bb / (ba + bb) or E = 1 - bb / 2G = 1 - bb / (ba + bb)

Dieses Meßergebnis kann durch Fremdlicht, d. h. durch Licht welches nicht von dem Laser 6 stammt, verfälscht werden, und zwar insbesondere dann, wenn dieses Fremdlicht eine im Vergleich zum Laser 6 nicht unerhebliche Lichtstärke aufweist. Fremdlicht ist beispielsweise Sonnenlicht, zeitlich gleichförmiges Licht, wie Licht von Halogenlampen, aber auch Licht, welches sich periodisch in seiner Lichtstärke ändert, wie z. B. Licht von Neonlampen, welches sich mit einer Frequenz von 100 Hz (in Europa) bzw. von 120 Hz (in den USA) ändert. Anstelle der Bilder Ba und Bb werden durch das Fremdlicht verfälschte Bilder Ba′ und Bb′ erhalten.This measurement result can be falsified by extraneous light, ie by light which does not originate from the laser 6 , in particular when this extraneous light has a not insignificant compared to the laser 6 light intensity. Ambient light is, for example, sunlight, temporally uniform light, such as light from halogen lamps, but also light, which changes periodically in its intensity, such. B. Light from neon lamps, which changes at a frequency of 100 Hz (in Europe) or 120 Hz (in the US). Instead of the images Ba and Bb, images Ba 'and Bb' which are distorted by the extraneous light are obtained.

Dieser Einfluß des Fremdlichtes wird dadurch eliminiert, daß zusätzlich zu den Bildern Ba′ und Bb′ Fremdlichtbilder Fa und Fb aufgenommen werden, mit welchen dann die durch das Fremdlicht verfälschten Werte ba′ und bb′ korrigiert werden. Die Aufnahme der Fremdlichtbilder Fa und Fb erfolgt in gleicher Weise wie die Aufnahme der Bilder Ba′ bzw. Bb′, d. h. das Fremdbild Fa mit der Rampe R1 und das Fremdbild Fb mit der Rampe R2, allerdings jeweils bei abgeschaltetem Laser 6 und zeitlich versetzt zur Belichtung der Bilden Ba′ und Bb′.This influence of the extraneous light is eliminated by taking in addition to the images Ba 'and Ba' extraneous light images Fa and Fb, with which then the values distorted by the extraneous light ba 'and bb' are corrected. The recording of the external light images Fa and Fb takes place in the same way as the recording of the images Ba 'or Bb', ie the foreign image Fa with the ramp R1 and the foreign image Fb with the ramp R2, but each with the laser off and 6 offset in time to Exposure of the Make Ba 'and Bb'.

Insbesondere in Fertigungsbereichen, in denen das Verfahren bzw. System zur Aufnahme des Entfernungsbildes beispielsweise für die Steuerung von Robotern und anderen Fertigungseinrichtungen bevorzugt eingesetzt werden kann, ist ein störender Einfluß durch dieses sich periodisch ändernde Fremdlicht, d. h. durch Licht von Lampen, die mit der Netzfrequenz betrieben werden, zu befürchten.Especially in manufacturing areas where the process or system for recording of the distance image, for example, for the control of robots and others Manufacturing equipment can be preferably used, is a disturbing influence by this periodically changing extraneous light, d. H. by light from lamps that come with the mains frequency are operated, to be feared.

Da die Bilder Ba′ und Bb′ entsprechend den Rampen R1 und R2 sowie die Fremdlichtbilder Fa und Fb bei Verwendung eines einzigen CCD-Sensors 7 zeitlich nacheinander aufgenommen werden müssen, ist dafür zu sorgen, daß diese Aufnahmen jeweils mit gleicher Phasenlage in Bezug auf die Änderung des Fremdlichtes erfolgen. Aus diesem Grunde erfolgt die Steuerung des CCD-Sensors 7 bzw. des zugehörigen Bilderfassungssystems derart, daß die Gesamtperiode (Belichten der Bilder Ba′, Bb′, Fa bzw. Fb und Auslesen der jeweiligen in den Speichern 10 gespeicherten Ladungen) jeweils 50 ms beträgt. Diese Zeit ist ein Vielfaches sowohl der Periodendauer einer in der Helligkeit mit 100 Hz schwankenden Fremdlichtquelle als auch der Periodendauer einer in der Helligkeit mit 120 Hz schwankenden Fremdlichtquelle.Since the images Ba 'and Bb' according to the ramps R1 and R2 and the extraneous light images Fa and Fb must be recorded in chronological succession when using a single CCD sensor 7 , it must be ensured that these recordings each with the same phase in relation to the Change of the extraneous light done. For this reason, the control of the CCD sensor 7 or the associated image acquisition system is such that the total period (exposure of the images Ba ', Bb', Fa or Fb and reading the respective stored in the memories 10 charges) is 50 ms each , This time is a multiple of both the period of a fluctuating in the brightness of 100 Hz extraneous light source as well as the period of a fluctuating in brightness with 120 Hz extraneous light source.

Für die Erzeugung des Entfernungsbildes bzw. der Fremdlicht korrigierten Werte ba und
bb gilt dann:
ba = ba′ - fa und
bb = bb′ - fb
wobei fa bzw. fb der jeweilige Pixelwert des Fremdlichtbildes Fa bzw. Fb ist.For the generation of the distance image or the extraneous light corrected values ba and
bb then applies:
ba = ba '- fa and
bb = bb '- fb
where fa or fb is the respective pixel value of the external light image Fa or Fb.

Bei der Aufnahme jedes Fremdbildes F wird die gleiche Belichtungszeit der Einzelbelichtungen wie bei der Aufnahme der Rampenbilder Ba und Bb verwendet. When recording each foreign image F, the same exposure time of the Single exposures used as in the recording of the ramp images Ba and Bb.

Der zeitliche Folge der Aufnahmen ist in der Abbildung der Fig. 10 wiedergegeben, d. h. auf die Aufnahme jedes Bildes Ba′ bzw. Bb′ entsprechen der Rampe R1 bzw. R2 mit den nicht korrigierten Pixelwerten ba′ bzw. bb′ erfolgt jeweils ein zugehöriges Fremdlichtbild Fa bzw. Fb.The chronological sequence of the recordings is reproduced in the illustration of FIG. 10, ie, an associated extraneous light image takes place in each case corresponding to the recording of each image Ba 'or Bb' of the ramp R1 or R2 with the non-corrected pixel values ba 'or bb' Fa or Fb.

Die Berechnung der Fremdlichtkorrektur sowie der Entfernung kann von dem an die Videokamera 2 angeschlossenen Steuerteil 21 bzw. von dem dortigen Rechner direkt zeitlich fortschreitend durchgeführt werden. Liegt nämlich nach der Aufnahme Ba′ ein neues Fremdlichtbild Fa vor, so kann hieraus das neue korrigierte ba berechnet werden. Parallel hierzu wird mit dem letzten verfügbaren korrigierten bb die Entfernung E berechnet usw.The computation of the extraneous light correction as well as the distance can be performed directly by the control unit 21 connected to the video camera 2 or by the computer there. If a new external light image Fa is present after the acquisition Ba ', the new corrected ba can be calculated therefrom. In parallel, the distance E is calculated with the last available corrected bb, and so on.

Ein einfaches Rechenwerk, welches diese Berechnung ermöglicht, ist in der Fig. 11 dargestellt. Dieses Rechenwerk bzw. diese Logik kann beispielsweise mit einfachen Memories sowie programmierbarer Logik aufgebaut werden.A simple arithmetic unit which makes this calculation possible is shown in FIG. 11. This calculator or this logic can be constructed, for example, with simple memories and programmable logic.

Die unterschiedlichen Verzögerungszeiten sind am einfachsten mit programmierbaren Delaylines (beispielsweise mit einer Abstufung mit 0,5 ns) und einer Ablaufsteuerung mit einem Speicher für die verschiedenen Verzögerungszeiten Δt1. . .Δtn durchzuführen.The different delay times are easiest with programmable ones Delay lines (for example with a gradation of 0.5 ns) and a sequence control with a memory for the different delay times .DELTA.t1. , Perform .Δtn.

Das beschriebene Verfahren bzw. System kann mit geringem Aufwand insbesondere auch mit geringem Aufwand an Hardware realisiert werden. Auch die Korrektur bzw. Kompensation von Fremdlicht ist ohne Probleme durchführbar.The method or system described can also be achieved with little effort be realized with little effort on hardware. Also, the correction or Compensation of extraneous light can be carried out without problems.

Claims

A method for capturing a spatial image using at least one light source ( 6 ) for illuminating a room and an image acquisition system, which comprises at least one video camera or an image sensor for generating an electrical image consisting of a plurality of pixels or pixels, each with a Pixel value corresponding to the amount of light reflected at the pixel during each exposure time, the light source for single exposures emitting light pulses for generating an image, characterized in that for generating a range image the light source ( 6 ) is for a plurality of temporally successive ones Single exposures periodically emitted light pulses (L) of predetermined length that a plurality of each generated by single exposure sub-images or their pixel values during a total exposure time to a total or sum image (Ba, Bb; Ba ', Bb') is accumulated, and that the exposure z (Bt) of the individual exposures are substantially shorter than the time interval between two successive light pulses (L) and during the total exposure time in their phase position or in a time delay (.DELTA.t) with respect to the respective individual exposure light pulse (L) after a predetermined Program are changed so that the frequency of the individual exposures (Bt), which is associated with each delay, a predetermined distribution (R1, R2) corresponds.

2. The method according to claim 1, characterized in that the temporal Delays (Δt) of the individual exposures and the number of each temporal Delay (.DELTA.t) associated with individual exposures in two simultaneously generated Whole pictures or in two temporally successive generated overall pictures a first distribution (R1) and after a first complementary second Distribution (R2) are controlled.

3. The method according to claim 1 or 2, characterized in that the distribution such is that the number of individual exposures with increasing temporal Delay (Δt) or phase shift steadily increases or decreases.

4. The method according to any one of the preceding claims, characterized in that the change of the phase shift or the time delay (.DELTA.t) in predetermined steps.

5. The method according to any one of the preceding claims, characterized in that from the partial images or their pixel values, preferably corrected from extraneous light Pixel values (ba, bb) of a first overall image (Ba) and a complementary one Gesamtbildes (Bb) the distance (E) for a pixel is determined by E = ba / (ba + bb) or E = 1 - bb / (ba + bb)

6. The method according to any one of the preceding claims, characterized in that the respective overall image (Ba, Bb) or its pixel values (ba, bb) by a External light image (Fa, Fb) or its pixel values (fa, fb) is corrected, namely preferably in that of the pixel value of each pixel of an overall image Pixel value of the corresponding pixel of the extraneous light image is subtracted.

7. The method according to any one of the preceding claims, characterized in that the sub-images of each overall image (Ba, Bb) during the total exposure time be accumulated by matching the pixel values (ba, bb) and for each pixel generated separately during the individual exposures during the Total exposure time for each pixel can be summed separately.

8. The method according to any one of the preceding claims, characterized in that the image acquisition system comprises at least one CCD sensor ( 7 ), preferably at least one designed as an interline transfer sensor CCD sensor ( 7 ), in an image plane more, the pixels or pixel-forming exposure areas ( 8 ) for converting light into electrical charge (Q), to each of which a memory area ( 10 ) is assigned to each of which via an activated transfer channel ( 15 ) the charges (Q) from the associated exposure area ( 8 ) be transmitted.

9. The method according to any one of the preceding claims, characterized in that to achieve the short individual exposure times (Bt) of the CCD sensor ( 7 ) is driven so that a discharge of the exposure areas ( 8 ) via a substrate ( 16 ) of the sensor at least during the image phase of each frame is constantly activated and deactivated only for the duration of the single exposure (Bt), and that the transfer channels ( 15 ) for the transfer of the charges from the exposure areas ( 8 ) to the associated memory areas ( 10 ) each already before the Deactivation of the discharge and during this deactivation, ie before the single exposure and during this single exposure are activated.

10. The method according to any one of the preceding claims, characterized in that for activating the transfer channels ( 15 ) a transfer signal (TS) and for activating the derivation of the charges to the substrate ( 16 ) a substrate control signal (S) each with a predetermined time and in predetermined Time sequence can be used, and that substrate control signal (S) is interrupted only during the respective short exposure time (Bt) and the transfer signal (TS) before the beginning of each interruption (u) of the substrate control signal (S) and during the entire duration such a break is pending.

11. The method according to any one of the preceding claims, characterized in that the exposure areas ( 8 ) form groups, each group having a plurality of such exposure areas ( 8 ) and associated memory areas ( 10 ) with transfer channels ( 15 ), wherein the memory areas ( 10 ) Each group forms a common shift register ( 12 ), from which the charges of the individual memory areas ( 10 ) are read in succession in succession.

12. The method according to any one of the preceding claims, characterized in that the transfer signal (TS) is always pending.

13. The method according to any one of the preceding claims, characterized in that the transfer channels ( 15 ) are activated periodically, in each case over a period of time (T) which is greater than the single exposure time (Bt).

14. The method according to any one of the preceding claims, characterized in that the discharge of the exposure areas ( 8 ) in each total exposure time or image phase is interrupted several times for the duration of the single exposure time (Bt).

15. The method according to any one of the preceding claims, characterized in that the discharge of the exposure areas ( 8 ) via the substrate ( 16 ) with the respective phase shift synchronously with the light pulses of the light source, for example a pulse laser ( 6 ).

16. The method according to any one of the preceding claims, characterized in that the shift registers ( 12 ) is assigned a common read-out register ( 18 ), in which the charges of the same memory areas ( 10 ) of the shift register ( 12 ) read line by line and from which the charges of each line read out serially.

17. The method according to any one of the preceding claims, characterized in that the photosensitivity of the CCD sensor ( 7 ) by pulse width modulation of the interruption (u) is controlled.

18. A system for recording a room image with at least one light source ( 6 ) for illuminating a room and with an image acquisition system, which at least one video camera or an image sensor for generating an electrical image consisting of a plurality of pixels or pixels each having a pixel Value, which corresponds to the amount of light reflected at the pixel during each exposure time, the light source for single exposures emitting light pulses for generating an image, characterized in that for generating a range image the light source ( 6 ) for the emission of a plurality of periodically successive formed in a plurality of temporally successive individual exposures that means are provided to a plurality of each generated by single exposure sub-images or their pixel values during a total exposure time to a total or Accumulate sum image, and that the exposure times (Bt) of the individual exposures are substantially shorter than the time interval between two successive light pulses (L) and during the total exposure time in their phase position or in a time delay (M) with respect to the light pulse associated with the respective individual exposure (L) are changed according to a predetermined program such that the frequency of the individual exposures (Bt) associated with each delay corresponds to a predetermined distribution (R1, R2).

19. System according to claim 18, characterized in that the temporal Delays (Δt) of the individual exposures and the number of each temporal Delay (.DELTA.t) associated with individual exposures in two simultaneously generated Whole pictures or in two temporally successive generated overall pictures a first distribution (R1) and after a first complementary second Distribution (R2) are controlled.

20. System according to claim 18 or 19, characterized in that the distribution such is that the number of individual exposures with increasing Phase shift or time delay (At) steadily increases or decreases.

21. System according to any one of the preceding claims, characterized in that the change of the phase shift or the time delay (.DELTA.t) in predetermined steps.

22. System according to any one of the preceding claims, characterized in that from the partial images or their pixel values, preferably corrected from extraneous light Pixel values (ba, bb) of a first overall image (Ba) and a complementary one Gesamtbildes (Bb) the distance (E) for a pixel is determined by E = ba / (ba + bb) or E = 1 - bb / (ba + bb)

23. System according to any one of the preceding claims, characterized in that the respective overall image (Ba, Bb) or its pixel values (ba, bb) by a External light image (Fa, Fb) or its pixel values (fa, fb) is corrected, namely preferably in that of the pixel value of each pixel of an overall image Pixel value of the corresponding pixel of the extraneous light image is subtracted.

24. System according to any one of the preceding claims, characterized in that the sub-images of each overall image (Ba, Bb) during the total exposure time be accumulated by matching the pixel values (ba, bb) and for each pixel generated separately during the individual exposures during the Total exposure time for each pixel can be summed separately.

25. System according to any one of the preceding claims, characterized in that the image acquisition system has at least one CCD sensor ( 7 ), preferably at least one designed as an interline transfer sensor CCD sensor ( 7 ), in an image plane more, the pixels or pixel-forming exposure areas ( 8 ) for converting light into electrical charge (Q), to each of which a memory area ( 10 ) is assigned to each of which via an activated transfer channel ( 15 ) the charges (Q) from the associated exposure area ( 8 ) be transmitted.

26. System according to any one of the preceding claims, characterized in that to achieve the short individual exposure times (Bt) of the CCD sensor ( 7 ) is driven so that a discharge of the exposure areas ( 8 ) via a substrate ( 16 ) of the sensor at least during the image phase of each frame is constantly activated and deactivated only for the duration of the single exposure (Bt), and that the transfer channels ( 15 ) for the transfer of the charges from the exposure areas ( 8 ) to the associated memory areas ( 10 ) each already before the Deactivation of the discharge and during this deactivation, ie before the single exposure and during this single exposure are activated.

27. System according to any one of the preceding claims, characterized in that for activating the transfer channels ( 15 ) a transfer signal (TS) and for activating the discharge of the charges to the substrate ( 16 ) a substrate control signal (S) each with a predetermined time and in predetermined Time sequence can be used, and that substrate control signal (S) is interrupted only during the respective short exposure time (Bt) and the transfer signal (TS) before the beginning of each interruption (u) of the substrate control signal (S) and during the entire duration such a break is pending.

28. System according to one of the preceding claims, characterized in that the exposure areas ( 8 ) form groups, each group having a plurality of such exposure areas ( 8 ) and associated memory areas ( 10 ) with transfer channels ( 15 ), the storage areas ( 10 ). Each group forms a common shift register ( 12 ), from which the charges of the individual memory areas ( 10 ) are read in succession in succession.

29. System according to one of the preceding claims, characterized in that the transfer signal (TS) is always pending.

30. System according to any one of the preceding claims, characterized in that the transfer channels ( 15 ) are activated periodically, in each case over a period of time (T) which is greater than the single exposure time (Bt).

31. System according to any one of the preceding claims, characterized in that the discharge of the exposure areas ( 8 ) in each total exposure time or image phase is interrupted several times for the duration of the single exposure time (Bt).

32. System according to one of the preceding claims, characterized in that the discharge of the exposure areas ( 8 ) via the substrate ( 16 ) with the respective phase shift or time delay (At) in synchronism with the light pulses of the light source, for example a pulse laser ( 6 ).

33. System according to one of the preceding claims, characterized in that the shift registers ( 12 ) is associated with a common read-out register ( 18 ), in which the charges of the same memory areas ( 10 ) of the shift register ( 12 ) read line by line and from which the charges of each line read out serially.

34. System according to one of vorhergehnden claims, characterized in that the photosensitivity of the CCD sensor ( 7 ) by pulse width modulation of the interruption (u) is controlled.