DE10138960A1

DE10138960A1 - Surveillance method for monitoring surveillance space uses different brightness values provided by different image data sets for providing distance information for given point

Info

Publication number: DE10138960A1
Application number: DE10138960A
Authority: DE
Inventors: Oliver Fuchs; Dieter Bittner; Martin Wendler; Dietmar Doettling
Original assignee: Pilz GmbH and Co KG
Current assignee: Pilz GmbH and Co KG
Priority date: 2001-08-03
Filing date: 2001-08-03
Publication date: 2003-02-27

Abstract

The surveillance method provides 2 different sets of image data for the same surveillance space (50), obtained using different aperture openings, for exhibiting different brightness values for at least one point, used for providing distance information for the latter point. An Independent claim for a surveillance device for monitoring a surveillance space is also included.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Beobachten, Vermessen oder Überwachen eines Raumbereichs, mit den Schritten:

- Aufnehmen von ersten Bilddaten des Raumbereichs,
- Aufnehmen von zweiten Bilddaten des Raumbereichs, wobei die ersten und die zweiten Bilddaten in Bezug zu mindestens einem Punkt des Raumbereichs unterschiedliche Helligkeitswerte aufweisen, und
- Bestimmen einer Entfernungsinformation zu dem Punkt des Raumbereichs, wobei die unterschiedlichen Helligkeitswerte des ersten und der zweiten Bilddaten verwendet werden.

The present invention relates to a method for observing, measuring or monitoring a spatial area, comprising the steps:

Recording first image data of the spatial area,
Recording second image data of the spatial area, the first and the second image data having different brightness values in relation to at least one point of the spatial area, and
- Determining a distance information to the point of the spatial area, the different brightness values of the first and the second image data being used.

Die Erfindung betrifft des weiteren eine entsprechende Vorrichtung mit zumindest einer Bildaufnahmeeinheit zum Aufnehmen von ersten und von zweiten Bilddaten des Raumbereichs, wobei die aufgenommenen ersten und zweiten Bilddaten in Bezug zu mindestens einem Punkt des Raumbereichs unterschiedliche Helligkeitswerte aufweisen, und mit einer ersten Auswerteeinheit, die unter Verwendung der unterschiedlichen Helligkeitswerte der ersten und zweiten Bilddaten eine Entfernungsinformation zu dem Punkt des Raumbereichs bestimmt. The invention further relates to a corresponding one Device with at least one image recording unit for recording first and second image data of the spatial area, the recorded first and second image data in relation to different at least one point of the spatial area Have brightness values, and with a first evaluation unit, the using the different brightness values of the first and second image data a distance information to the Point of the space area determined.

Ein solches Verfahren und eine entsprechende Vorrichtung sind aus der US 5,930,383 bekannt. Such a method and a corresponding device are known from US 5,930,383.

Seit einiger Zeit werden Versuche unternommen, aus den aufgenommenen Bilddaten einer Bildaufnahmeeinheit Entfernungsinformationen zu einzelnen Punkten oder ganzen Objekten innerhalb des aufgenommenen Raumbereichs zu bestimmen. Dabei werden unterschiedliche Verfahren vorgeschlagen, insbesondere Triangulationsverfahren, Interferometrie oder Laufzeitmessungen. Jedes dieser Verfahren besitzt naturgemäß Stärken und Schwächen, so daß je nach beabsichtigtem Anwendungsgebiet einzelne oder mehrere dieser Verfahren nicht geeignet sind. Dies gilt insbesondere im Hinblick auf die Verwendung solcher Verfahren im Bereich der Sicherheitstechnik im Sinne von Maschinensicherheit (Arbeitsplatzsicherheit), also beispielsweise beim Überwachen von Gefahrenbereichen automatisiert arbeitender Maschinenanlagen. Bei derartigen Anwendungen muß sicher ausgeschlossen sein, daß systembedingte Fehlfunktionen oder äußere Störeinflüsse zu einem Versagen des Beobachtungssystems führen, da ansonsten die Gesundheit und sogar das Leben von Personen gefährdet sind. Attempts have been made for some time from the recorded image data of an image recording unit Distance information to individual points or entire objects within of the recorded area. In doing so different procedures proposed, in particular Triangulation method, interferometry or transit time measurements. each this process naturally has strengths and weaknesses that depending on the intended field of application, individual or several of these methods are not suitable. this applies especially with regard to the use of such methods in Area of safety technology in the sense of machine safety (Job security), for example when monitoring of danger areas working automatically Machinery. In such applications, it must certainly be ruled out that that system-related malfunctions or external interference failure of the observation system, otherwise the Health and even people's lives are at risk.

In der eingangs genannten US 5,930,383 beruht die Bestimmung von Entfernungsinformationen aus den Bilddaten auf dem Prinzip, daß die Helligkeit diffus reflektierender Oberflächen mit dem Quadrat der Entfernung von der Lichtquelle, die die Oberfläche beleuchtet, abnimmt. Bei doppeltem Abstand erhält man somit nur ein Viertel der Helligkeit. Bei dem beschriebenen Verfahren werden mindestens vier Lichtquellen an unterschiedlichen Positionen und in bekannter Entfernung zu einer Bildaufnahmeeinheit angeordnet. Anschließend werden vier Aufnahmen des Raumbereichs gemacht, wobei jeweils eine andere Lichtquelle den Raumbereich beleuchtet. Die Entfernung eines Objektpunktes zu der Bildaufnahmeeinheit kann dann anhand der Helligkeitsunterschiede der Bilddaten an diesem Punkt sowie anhand der bekannten Positionen der Lichtquellen berechnet werden. The determination is based on the aforementioned US 5,930,383 of distance information from the image data on the principle, that the brightness of diffusely reflecting surfaces with the Square of the distance from the light source that the surface illuminated, diminishes. With double the distance you only get a quarter of the brightness. In the procedure described are at least four light sources at different Positions and at a known distance from an image acquisition unit arranged. Then four shots of the room area made, each with a different light source the room area illuminated. The distance of an object point to the Image acquisition unit can then on the basis of the differences in brightness Image data at this point and based on the known positions of the light sources are calculated.

Dieses bekannte Verfahren besitzt jedoch zumindest im Hinblick auf eine Verwendung im Bereich der Maschinensicherheit mehrere Nachteile. Zum einen funktioniert das Verfahren nicht hinreichend sicher genug, wenn die zu vermessenden Objekte im Raumbereich nicht diffus reflektierend sind. Das Verfahren versagt somit insbesondere bei spiegelnden oder retroreflektierenden Oberflächen. Des weiteren ist das Verfahren empfindlich gegenüber Störungen durch Umgebungslicht sowie durch Staubentwicklungen und dergleichen. Gerade derartige Störungen treten jedoch im Bereich von Maschinenanlagen häufig auf. Außerdem sind mindestens vier zeitlich aufeinanderfolgende Messungen erforderlich, um genügend Informationen zu erhalten, damit unerwünschte Meßparameter und Einflüsse eliminiert werden können. Damit ist die Überwachung einer Maschinenanlage in Echtzeit nicht oder allenfalls sehr schwierig zu realisieren. However, this known method has at least in view for one use in the field of machine safety Disadvantage. For one thing, the process does not work Sufficiently safe if the objects to be measured in the Area are not diffusely reflective. The procedure fails thus especially with reflecting or retroreflective Surfaces. The process is also sensitive against interference from ambient light as well as from Dust and the like. Such disorders occur however, frequently in the area of machine systems. Also are at least four measurements in succession required to get enough information so unwanted measurement parameters and influences can be eliminated. This is the monitoring of a machine system in real time not or at best very difficult to implement.

Andere Verfahren zum Bestimmen von Entfernungsinformationen aus Bilddaten, teilweise auch zum optischen Überwachen von Gefahrenbereichen von Maschinenanlagen, sind aus EP 1 065 521 A2, EP 1 065 522 A2, EP 1 061 487 A1, WO 00/55642 oder WO 99/34235 bekannt. Diese Verfahren beruhen darauf, daß der Raumbereich mit mehreren Kameras aus verschiedenen Richtungen aufgenommen wird (Triangulation, EP 1 061 487 A1), daß künstliche Ziele wie beispielsweise ein komplexes Beleuchtungsmuster erzeugt werden (EP 1 065 521 A2) oder daß Laufzeitmessungen durchgeführt werden (EP 1 065 522 A2, WO 00/55642, WO 99/ 34235). Die Verfahren sind jedoch im Hinblick auf die technische Realisierung aufwendig und schwierig. Teilweise läßt sich auch keine ausreichende Sicherheit für eine Anwendung im Bereich der Maschinensicherheit erreichen, und zwar insbesondere keine ausreichende Erkennungssicherheit. Other methods for determining distance information from image data, in some cases also for optically monitoring danger zones of machine systems, are known from EP 1 065 521 A2, EP 1 065 522 A2, EP 1 061 487 A1, WO 00/55642 or WO 99/34235. These methods are based on the fact that the spatial area is recorded with several cameras from different directions (triangulation, EP 1 061 487 A1), that artificial targets such as a complex lighting pattern are generated (EP 1 065 521 A2) or that runtime measurements are carried out (EP 1065522 A2, WO 00/55642, WO 99/34235). However, the processes are complex and difficult in terms of technical implementation. In some cases, it is also not possible to achieve sufficient security for an application in the field of machine security, in particular inadequate detection security.

Vor diesem Hintergrund ist es eine Aufgabe der vorliegenden Erfindung, ein alternatives Verfahren der eingangs genannten Art anzugeben, das in der praktischen Realisierung einen einfachen und trotzdem vor allem erkennungssicheren Aufbau erlaubt. Außerdem soll die Bestimmung der Entfernungsinformation sehr schnell, möglichst in Echtzeit erfolgen können. Es ist ferner eine Aufgabe der vorliegenden Erfindung, eine entsprechende Vorrichtung anzugeben. Against this background, it is a task of the present Invention, an alternative method of the type mentioned to indicate that in the practical implementation a simple and above all, it allows for a recognition-safe set-up. In addition, the determination of the distance information should be very can be done quickly, if possible in real time. It is further an object of the present invention, a corresponding one Specify device.

Die Aufgabe wird hinsichtlich des eingangs genannten Verfahrens dadurch gelöst, daß die ersten und die zweiten Bilddaten mit derart voneinander verschiedenen Blendenöffnungen aufgenommen werden, daß sich die unterschiedlichen Helligkeitswerte ergeben. The task is performed with regard to the procedure mentioned at the beginning solved in that the first and the second image data with such different apertures included that the different brightness values result.

Die Aufgabe wird ferner durch eine Vorrichtung der eingangs genannten Art gelöst, die erste Mittel aufweist, um die ersten und die zweiten Bilddaten mit derart voneinander verschiedenen Blendenöffnungen aufzunehmen, daß sich die unterschiedlichen Helligkeitswerte ergeben. The task is further achieved by a device of the beginning mentioned type, which has the first means to the first and the second image data with such mutually different ones Apertures that accommodate the different Brightness values result.

Das erfindungsgemäße Verfahren und die entsprechende Vorrichtung beruhen auf der Erkenntnis, daß der aufgenommene Helligkeitswert eines Punktes im Raumbereich in erster Näherung nur von der tatsächlichen Objekthelligkeit des Punktes, von der Blendenöffnung bei der Aufnahme und vom Abstand des Punktes zur Bildaufnahmeeinheit abhängt. Würde man die tatsächliche Objekthelligkeit des Punktes kennen, könnte man aus dem gemessenen Helligkeitswert und der verwendeten Blendenöffnung den Abstand bestimmen. Leider ist die tatsächliche Objekthelligkeit in der Regel nicht bekannt. Führt man jedoch zwei Messungen mit verschiedenen Blendenöffnungen durch, läßt sich aus dem Verhältnis der gemessenen Helligkeitswerte die gesuchte Entfernungsinformation bestimmen. Mathematisch gesehen handelt es sich dabei um ein System von zwei Gleichungen mit zwei Unbekannten. The method according to the invention and the corresponding one Device are based on the knowledge that the recorded Brightness value of a point in the spatial area in a first approximation only from the actual object brightness of the point, from the Aperture opening when shooting and from the distance of the point to Image acquisition unit depends. Would you be the real one The object brightness of the point could be known from the measured Brightness value and the aperture used the distance determine. Unfortunately, the actual object brightness is in the Usually not known. However, two measurements are carried out different aperture openings can be determined from the ratio of the measured brightness values Determine distance information. Mathematically speaking, it is about a system of two equations with two unknowns.

Das erfindungsgemäße Verfahren besitzt vor allem im Hinblick auf die Verwendung im Bereich der Maschinensicherheit eine Reihe von Vorteilen. Zunächst sind handelsübliche Bildsensoren verwendbar, was eine kostengünstige technische Realisierung ermöglicht. Außerdem ist der Auswertealgorithmus erheblich einfacher als beispielsweise bei bekannten Stereo- oder Triangulationsverfahren, was sowohl den Aufbau vereinfacht als auch eine schnelle Auswertung der Meßergebnisse ermöglicht. Des weiteren ist die Bestimmung der Entfernung unabhängig vom Remissionsgrad der betrachteten Objekte und zumindest in erster Näherung auch unabhängig vom Raumwinkel zu dem Objekt möglich. Daher sind auch Spiegel und Retroreflektoren im aufgenommenen Raumbereich unproblematisch. Das Verfahren kann ferner ohne gezielte (determinierte) Beleuchtung durchgeführt werden, was den Aufbau weiter vereinfacht und außerdem die Robustheit gegen Staub etc. und auch gegen Manipulationen erhöht. Verschmutzungen im Bereich des Objektivs der Bildaufnahmeeinheit, beispielsweise durch Staubpartikel oder Insekten, können aufgrund der Entfernungsinformation erkannt und eliminiert werden. The method according to the invention is particularly important on use in the field of machine safety Number of advantages. First, there are commercially available image sensors usable, which is an inexpensive technical implementation allows. The evaluation algorithm is also significant easier than for example with known stereo or Triangulation process, which both simplifies the structure and one enables quick evaluation of the measurement results. Furthermore the determination of the distance is independent of the degree of remission of the objects considered and at least in a first approximation possible regardless of the solid angle to the object. Therefore are also mirrors and retroreflectors in the recorded area unproblematic. The method can also be targeted without (Determined) lighting can be carried out what the construction further simplified and also the robustness against dust etc. and also increased against manipulation. Contamination in the Area of the lens of the image recording unit, for example due to dust particles or insects, due to the Distance information can be recognized and eliminated.

Schließlich stehen zusätzlich zu den Entfernungsinformationen systembedingt auch noch die Bilddaten selbst zur Verfügung, so daß zur Überwachung des Raumbereichs redundante Informationen ausgewertet werden können. Dies erlaubt eine sehr hohe Fehlersicherheit bis hin zur Kategorie 4 im Sinne der Europäischen Norm EN 945-1. Zudem kommt das Verfahren auch ohne aufwendige Kalibrierungen aus. Finally, in addition to the distance information, the system itself also provides the image data itself, so that redundant information can be evaluated for monitoring the spatial area. This allows a very high level of error protection up to Category 4 in the sense of the European standard EN 945-1 . In addition, the method does not require any complex calibrations.

Insgesamt erlaubt das erfindungsgemäße Verfahren somit eine technisch einfache und kostengünstige Realisierung, die echtzeitfähige Entfernungsinformationen liefern kann. Damit ist die genannte Aufgabe gelöst. Overall, the method according to the invention thus allows one technically simple and inexpensive realization that can provide real-time distance information. So that's it mentioned task solved.

In einer Ausgestaltung der Erfindung werden die ersten und die zweiten Bilddaten zeitgleich miteinander aufgenommen. In one embodiment of the invention, the first and the second image data recorded simultaneously.

Alternativ hierzu wäre es grundsätzlich auch denkbar, die ersten und zweiten Bilddaten zeitlich nacheinander aufzunehmen. Die bevorzugte Ausgestaltung besitzt demgegenüber den Vorteil, daß kurzzeitige Schwankungen der Objekthelligkeit, die zwischen aufeinanderfolgenden Aufnahmen auftreten können, nicht gesondert kompensiert werden müssen. Hierdurch wird die technische Realisierung vereinfacht und die Genauigkeit und Zuverlässigkeit der Entfernungsinformationen erhöht. Alternatively, it would also be conceivable in principle that to record the first and second image data successively in time. In contrast, the preferred embodiment has the advantage that that short-term fluctuations in object brightness that occur between consecutive shots cannot occur must be compensated separately. This will make the technical Realization simplified and the accuracy and Reliability of distance information increased.

In einer weiteren Ausgestaltung werden die ersten und zweiten Bilddaten mit zwei Bildaufnahmeeinheiten aufgenommen. Dementsprechend besitzt die Vorrichtung in dieser Ausgestaltung zumindest zwei Bildaufnahmeeinheiten. In a further embodiment, the first and second Image data recorded with two image acquisition units. Accordingly, the device in this embodiment at least two image acquisition units.

Die Maßnahme ist besonders vorteilhaft im Hinblick auf die gerade genannte Problematik, da sie die zeitgleiche Aufnahme der ersten und zweiten Bilddaten auf konstruktiv sehr einfache Weise ermöglicht. Grundsätzlich könnten auch getrennte Bereiche eines gemeinsamen Bildsensors verwenden werden, wobei die Zuordnung der Bildpunkte zu den beiden Aufnahmen dann rechnerisch erfolgt. Derzeit ist es jedoch bevorzugt, zwei Bildaufnahmeeinheiten mit räumlich getrennten Bildsensoren zu verwenden, da dies die Auswertung vereinfacht und damit den Verarbeitungsaufwand senkt. The measure is particularly advantageous in terms of just mentioned problem, since it the simultaneous recording of the first and second image data on structurally very simple Way. In principle, there could also be separate areas will use a common image sensor, the Arithmetically assigning the pixels to the two images he follows. However, it is currently preferred to have two To use image acquisition units with spatially separate image sensors, because this simplifies the evaluation and thus the Processing costs are reduced.

In einer weiteren Ausgestaltung beinhalten die zwei Bildaufnahmeeinheiten jeweils zumindest einen Bildsensor, wobei die Bildsensoren pixelweise exakt zueinander ausgerichtet sind. In a further embodiment, the two include Image recording units each have at least one image sensor, the Image sensors are exactly aligned with each other pixel by pixel.

Eine pixelweise exakte Ausrichtung in diesem Sinne liegt vor, wenn jeweils genau ein Pixel des ersten Bildsensors und genau ein Pixel des zweiten Bildsensors exakt denselben Raumausschnitt aufnehmen. Die Maßnahme besitzt den Vorteil, daß die Zuordnung der aufgenommenen ersten und zweiten Bilddaten bereits durch die hardwaremäßige Ausrichtung der Bildsensoren erreicht wird. Rechnerisch aufwendige Transformationen und Abgleiche zwischen den ersten und zweiten Bilddaten können dadurch entfallen. Die Durchführung des Verfahrens wird beschleunigt und eine Echtzeitverarbeitung ist leichter realisierbar. A pixel-by-pixel exact alignment in this sense exists, if exactly one pixel each of the first image sensor and exactly a pixel of the second image sensor is exactly the same Record the room section. The measure has the advantage that the Allocation of the recorded first and second image data already through the hardware alignment of the image sensors is achieved. Computationally complex transformations and Comparisons between the first and second image data can thereby eliminated. The procedure will be carried out accelerated and real-time processing is easier to implement.

In einer weiteren Ausgestaltung weist der Strahlteiler ein unsymmetrisches Teilerverhältnis auf. In a further embodiment, the beam splitter has one asymmetrical division ratio.

Ein solches Teilerverhältnis liegt dann vor, wenn der Strahlteiler das einfallende Licht mit unterschiedlichen Intensitäten zu den beiden Bildaufnahmeeinheiten verteilt. Die Maßnahme ist besonders vorteilhaft im Hinblick darauf, daß bei unterschiedlichen Blendenöffnungen nicht nur die abstandsbedingten Helligkeitsänderungen auftreten. Zusätzlich läßt eine größere Blendenöffnung insgesamt mehr Licht durch als eine kleinere Blendenöffnung, so daß die Grundhelligkeit der aufgenommenen Bilddaten bei großer Blendenöffnung höher ist. Dieser Helligkeitsunterschied zwischen den ersten und zweiten Bilddaten, der für die Gewinnung der Entfernungsinformation nicht benötigt wird, wird hier auf einfache Weise ausgeglichen. Außerdem erfolgt der Ausgleich der Grundhelligkeiten hier ohne Verluste, da die einfallende Lichtintensität vollständig auf die beiden Bildaufnahmeeinheiten verteilt wird. Such a division ratio exists if the Beam splitter the incident light with different intensities distributed to the two image acquisition units. The measure is particularly advantageous in view of the fact that different aperture openings not only the distance-related Changes in brightness occur. In addition, leaves a larger one Aperture opening allows more light through than a smaller one Aperture so that the basic brightness of the recorded Image data is larger with a large aperture. This Difference in brightness between the first and second image data, the for the extraction of the distance information is not required, is easily compensated here. In addition, the Compensation of the basic brightness here without losses, since the incident light intensity completely on the two Image acquisition units is distributed.

In einer weiteren Ausgestaltung werden die Helligkeitswerte der zweiten Bilddaten reduziert. In a further embodiment, the brightness values of the second image data reduced.

Diese Maßnahme knüpft an die zuvor genannte Maßnahme an, wobei jedoch auch andere Möglichkeiten bestehen, um die Grundhelligkeit der ersten und zweiten Bilddaten aneinander anzugleichen. Die Durchführung dieses Schrittes bei dem erfindungsgemäßen Verfahren besitzt den generellen Vorteil, daß die anschließende Bestimmung der Entfernungsinformation einfacher und schneller erfolgen kann. This measure ties in with the previously mentioned measure, whereby however, there are other ways to do that Adjust the basic brightness of the first and second image data to each other. The implementation of this step in the inventive Process has the general advantage that the subsequent Determination of the distance information easier and faster can be done.

In einer weiteren Ausgestaltung werden die zweiten Bilddaten mit einer kürzeren Belichtungszeit als die ersten Bilddaten aufgenommen. In a further embodiment, the second image data with a shorter exposure time than the first image data added.

Diese Maßnahme ermöglicht eine Reduktion der Grundhelligkeit der zweiten Bilddaten ohne besondere konstruktive Elemente. Da bekannte Bildaufnahmeeinheiten zudem üblicherweise eine steuerbare Belichtungszeit aufweisen, läßt sich die gewünschte Reduktion der Grundhelligkeit hier sehr kostengünstig erreichen. This measure enables a reduction in the basic brightness the second image data without special constructive elements. There known image acquisition units also usually a have controllable exposure time, the desired Achieve a reduction in the basic brightness here very inexpensively.

In einer weiteren Ausgestaltung werden die zweiten Bilddaten durch ein optisches Verdunklungselement aufgenommen. Die erfindungsgemäße Vorrichtung besitzt in dieser Ausgestaltung ein optisches Verdunklungselement, das die Helligkeitswerte der zweiten Bilddaten reduziert. In a further embodiment, the second image data recorded by an optical darkening element. The In this embodiment, the device according to the invention has a optical darkening element that adjusts the brightness values of the second image data reduced.

Bevorzugt handelt es sich bei dem Verdunklungselement um einen an sich bekannten Graufilter, der bei der Aufnahme der zweiten Bilddaten vor der Blendenöffnung angeordnet ist. Die Maßnahme ist ebenfalls recht kostengünstig zu realisieren und ermöglicht eine noch schnellere Bestimmung der Entfernungsinformation, da die Anzahl der ansonsten durchzuführenden Rechenoperationen mit dem Graufilter reduziert werden kann. Außerdem ist die unterschiedliche Steuerung der Belichtungszeiten entbehrlich, was den Verarbeitungsaufwand ebenfalls reduziert. The darkening element is preferably one per se known gray filter, which when recording the second Image data is arranged in front of the aperture. The measure is also quite inexpensive to implement and enable an even faster determination of the distance information because the number of other arithmetic operations to be performed the gray filter can be reduced. Besides, that is different control of exposure times can be dispensed with what the processing effort is also reduced.

In einer weiteren Ausgestaltung werden die Helligkeitswerte der zweiten Bilddaten rechnerisch reduziert. In a further embodiment, the brightness values of the second image data computationally reduced.

Diese Maßnahme besitzt den Vorteil, daß weder eine unterschiedliche Steuerung der Belichtungszeiten noch zusätzliche Hardware erforderlich sind. Die Maßnahme kann jedoch auch in Kombination mit einer oder mehreren der zuvor genannten Maßnahmen verwendet werden, um verbleibende Unterschiede zwischen den Grundhelligkeiten auszugleichen, so daß eine optimale Lösung im Hinblick auf erforderlichen Rechenaufwand, Hardwareaufwand und Verarbeitungsgeschwindigkeit erreicht werden kann. This measure has the advantage that neither different control of exposure times and additional hardware required are. However, the measure can also be combined used with one or more of the aforementioned measures to see any remaining differences between the Balancing basic brightnesses, so that an optimal solution with regard on required computing effort, hardware expenditure and Processing speed can be achieved.

In einer weiteren Ausgestaltung werden die ersten und die zweiten Bilddaten mit jeweils gleichen Abbildungsmaßstäben aufgenommen. In a further embodiment, the first and the second image data with the same image scales added.

Diese Maßnahme ist besonders vorteilhaft, wenn die ersten und zweiten Bilddaten mit verschiedenen Bildaufnahmeeinheiten aufgenommen werden. Die Maßnahme besitzt den Vorteil, daß die aufgenommenen ersten und zweiten Bilddaten direkt miteinander vergleichbar sind, was eine noch schnellere und genauere Bestimmung der Entfernungsinformation ermöglicht. Konstruktiv lassen sich gleiche Abbildungsmaßstäbe besonders einfach durch die Verwendung von jeweils gleichen Abbildungsoptiken erreichen. This measure is particularly advantageous if the first and second image data with different image acquisition units be included. The measure has the advantage that the recorded first and second image data directly with each other are comparable to what is an even faster and more accurate Determination of the distance information enables. constructive same mapping scales can be particularly easily the use of the same imaging optics to reach.

In einer weiteren Ausgestaltung werden die ersten und die zweiten Bilddaten zeitweise mit einer zusätzlichen Beleuchtung aufgenommen. Die entsprechende Vorrichtung weist in dieser Ausgestaltung eine steuerbare Beleuchtungseinrichtung auf. In a further embodiment, the first and the second image data temporarily with additional lighting added. The corresponding device points in this Design a controllable lighting device.

Der Begriff "zeitweise" bezieht sich dabei auf einzelne Zeitabschnitte innerhalb des laufenden Einsatzbetriebs der erfindungsgemäßen Vorrichtung. Die Maßnahme besitzt den Vorteil, daß die aufgenommenen ersten und zweiten Bilddaten gezielt dynamisiert werden, was eine sehr zuverlässige Funktionskontrolle (Selbsttest) der Vorrichtung ermöglicht. Dies ist besonders im Hinblick auf die Verwendung im Bereich der Maschinensicherheit von Vorteil. Darüber hinaus kann die Beleuchtungseinrichtung natürlich auch verwendet werden, um eine unzureichende Beleuchtung in dem zu beobachtenden Raumbereich gezielt und nach Bedarf auszugleichen. The term "at times" refers to individuals Periods of time in the ongoing operations of the device according to the invention. The measure has the advantage that the recorded first and second image data are targeted be made dynamic, which is a very reliable function control (Self test) of the device. This is especially true in the With regard to use in the field of machine safety advantageous. In addition, the lighting device of course also used to be an inadequate Lighting in the area to be observed specifically and after Balance needs.

In einer weiteren Ausgestaltung der bevorzugten Vorrichtung sind die zwei Bildaufnahmeeinheiten ortsfest in einem gemeinsamen Gerätegehäuse angeordnet. In a further embodiment of the preferred device the two image acquisition units are stationary in one arranged common device housing.

Diese Maßnahme ermöglicht es, die Bildaufnahmeeinheiten bereits bei der Produktion der Vorrichtung exakt zueinander zu positionieren, so daß spätere Kalibrierungen und Justierungen bei der Installation am Einsatzort entfallen können oder zumindest auf ein Minimum reduziert sind. Die Installation der erfindungsgemäßen Vorrichtung wird dadurch einfacher und der Betrieb ist zuverlässiger. Außerdem wird die Möglichkeit von Manipulationen weiter reduziert. This measure already enables the image recording units in the production of the device exactly to each other position so that later calibrations and adjustments at the Installation on site can be omitted or at least are reduced to a minimum. The installation of the The device according to the invention is thereby simpler and Operation is more reliable. In addition, the possibility of Manipulations further reduced.

In einer weiteren Ausgestaltung weist die erfindungsgemäße Vorrichtung eine zweite Auswerteeinheit auf, die die Entfernungsinformation zu dem Punkt mit einem zugehörigen Referenzwert vergleicht, so daß eine Veränderung in dem Raumbereich detektierbar ist. Dementsprechend wird bei dem erfindungsgemäßen Verfahren dieser Ausgestaltung die Entfernungsinformation zu dem Punkt mit einem zugehörigen Referenzwert verglichen, um eine Veränderung in dem Raumbereich zu detektieren. In a further embodiment, the inventive Device on a second evaluation unit, the Distance information to the point with an associated reference value compares so that a change in the space area is detectable. Accordingly, in the invention Method of this embodiment to the distance information compared to an associated reference value detect a change in the space area.

Diese Maßnahme ermöglicht eine sehr einfache und schnelle (echtzeitfähige) Überwachung des Raumbereichs. Damit kann die erfindungsgemäße Vorrichtung besonders vorteilhaft zur Absicherung von automatisiert arbeitenden Maschinenanlagen verwendet werden. This measure enables a very simple and quick (Real-time capable) monitoring of the room area. So that Device according to the invention is particularly advantageous for Protection of automated machine systems used become.

In einer weiteren Ausgestaltung werden ferner auch die Bilddaten mit zugehörigen Referenzwerten verglichen, um eine Veränderung in dem Raumbereich zu detektieren. In a further embodiment, the Image data with associated reference values compared to a To detect changes in the spatial area.

Diese Maßnahme führt zu einer vorteilhaften Redundanz bei der Beobachtung des Raumbereichs. Bevorzugt wird das Eindringen eines Objektes in den Raumbereich bereits angenommen, wenn sich entweder die Entfernungsinformationen oder die aufgenommenen Helligkeitswerte gegenüber ihren jeweils zugeordneten Referenzwerten zu stark verändern. Die systembedingte, sogar diversitäre Redundanz ermöglicht eine besonders hohe Zuverlässigkeit und Sicherheit. Gleichzeitig ist diese sehr hohe Sicherheit ohne zusätzlichen Hardwareaufwand möglich, was besonders im Hinblick auf die Herstellungskosten von Vorteil ist. This measure leads to advantageous redundancy in the Observation of the area. Penetration is preferred of an object in the room area already assumed if either the distance information or the recorded one Brightness values compared to their respectively assigned Change reference values too much. The systemic, even Diverse redundancy enables particularly high reliability and Safety. At the same time, this very high level of security is without additional hardware expenditure possible, which is particularly important on the manufacturing cost is beneficial.

Es versteht sich, daß die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. It is understood that the above and the Features to be explained below not only in each case specified combination, but also in other combinations or can be used alone without the scope of the to leave the present invention.

Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden in der nachfolgenden Beschreibung näher erläutert. Es zeigen: Embodiments of the invention are in the drawing are shown and are described in more detail in the following description explained. Show it:

Fig. 1 eine schematische Darstellung des Bildaufnahmeteils einer erfindungsgemäßen Vorrichtung, Fig. 1 is a schematic representation of the image pickup part of an apparatus according to the invention,

Fig. 2 eine Anordnung mit einer erfindungsgemäßen Vorrichtung zur Absicherung einer automatisiert arbeitenden Maschine, Fig. 2 shows an arrangement with an inventive device for securing an automatically operating machine,

Fig. 3 und 4 zwei Beispiele von virtuellen Schutzflächen, die mit dem erfindungsgemäßen Verfahren gebildet werden können, FIGS. 3 and 4, two examples of virtual protective surfaces, which can be formed with the inventive method,

Fig. 5 einen überwachten Raumbereich sowie ein zu dem Raumbereich gehörendes Entfernungsbild, Fig. 5 shows a monitored space as well as a range belonging to the space portion distance image,

Fig. 6 den Raumbereich aus Fig. 5, wobei ein Fremdobjekt eingedrungen ist, und Fig. 6 shows the space area of Fig. 5, wherein a foreign object has invaded, and

Fig. 7 ein Flußdiagramm zur Erläuterung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens. Fig. 7 is a flow chart for explaining an embodiment of the method according to the invention.

In Fig. 1 ist der Bildaufnahmeteil einer erfindungsgemäßen Vorrichtung in seiner Gesamtheit mit der Bezugsziffer 10 bezeichnet. Der Einfachheit halber wird der Bildaufnahmeteil im Nachfolgenden als Kamera bezeichnet, wenngleich die Kamera 10 hier genau genommen zwei getrennte Bildaufnahmeeinheiten 12 und 14 aufweist. In Fig. 1, the image recording part of a device according to the invention is designated in its entirety with the reference number 10 . For the sake of simplicity, the image recording part is referred to below as a camera, although the camera 10 here has, strictly speaking, two separate image recording units 12 and 14 .

Die beiden Bildaufnahmeeinheiten 12, 14 sind ortsfest in einem gemeinsamen Gerätegehäuse 16 angeordnet. Nach vorne, d. h. in Blickrichtung der Kamera 10 hin, besitzt das Gerätegehäuse 16 ein Fenster 18, durch das die beiden Bildaufnahmeeinheiten 12, 14 gemeinsam "hindurchsehen". The two image recording units 12 , 14 are arranged in a fixed position in a common device housing 16 . Towards the front, ie in the direction of view of the camera 10 , the device housing 16 has a window 18 through which the two image recording units 12 , 14 jointly "see through".

Die beiden Bildaufnahmeeinheiten 12, 14 sind in dem Gerätegehäuse 16 um 90° versetzt zueinander angeordnet. In einem 45°- Winkel zu jeder der Bildaufnahmeeinheiten 12, 14 verläuft ein Strahlteiler 20 derart, daß er Licht, das durch das Fenster 18 in das Kameragehäuse 16 eintritt, jeder der beiden Bildaufnahmeeinheiten 12, 14 zuführt. Dies erfolgt hier in an sich bekannter Weise dadurch, daß der Strahlteiler 20 ein teildurchlässiger Spiegel ist. The two image recording units 12 , 14 are arranged in the device housing 16 offset from one another by 90 °. A beam splitter 20 extends at a 45 ° angle to each of the image recording units 12 , 14 in such a way that it feeds light which enters the camera housing 16 through the window 18 to each of the two image recording units 12 , 14 . This is done here in a manner known per se in that the beam splitter 20 is a partially transparent mirror.

Jede der beiden Bildaufnahmeeinheiten 12, 14 besitzt jeweils einen Bildsensor 22, 24, wobei es sich hier um handelsübliche Bildsensoren für Digitalkameras handelt. Die Bildsensoren 22, 24 können in CMOS, CCD oder jeder anderen geeigneten Technologie hergestellt sein. Aus Kostengründen können einfacher aufgebaute punkt- oder zeilenförmige Sensoren verwendet werden. Im vorliegenden Ausführungsbeispiel werden jedoch matrixförmige Bildsensoren verwendet, um einen maximalen Raumbereich beobachten zu können. Each of the two image recording units 12 , 14 each has an image sensor 22 , 24 , which are commercially available image sensors for digital cameras. The image sensors 22 , 24 can be made in CMOS, CCD or any other suitable technology. For cost reasons, more simple point or line sensors can be used. In the present exemplary embodiment, however, matrix-shaped image sensors are used in order to be able to observe a maximum spatial area.

Vor jedem der beiden Bildsensoren 22, 24 ist jeweils eine Blende 26, 28 angeordnet. Die Blendenöffnung der Blende 26 ist dabei größer als die Blendenöffnung der Blende 28. Vor jeder Blende ist des weiteren jeweils eine Abbildungsoptik 30, 32 angeordnet, die hier schematisch die gesamte Abbildungsoptik der beiden Bildaufnahmeeinheiten 12, 14 darstellt. Bei der Bildaufnahmeeinheit 12 ist des weiteren im Bereich der Abbildungsoptik 30 ein zusätzliches Graufilter 34 angeordnet. Ein entsprechendes Graufilter fehlt bei diesem Ausführungsbeispiel der Erfindung bei der zweiten Bildaufnahmeeinheit 14. An aperture 26 , 28 is arranged in front of each of the two image sensors 22 , 24 . The aperture of the aperture 26 is larger than the aperture of the aperture 28 . Imaging optics 30 , 32 are also arranged in front of each aperture, which here schematically represents the entire imaging optics of the two image recording units 12 , 14 . In the image recording unit 12 , an additional gray filter 34 is also arranged in the region of the imaging optics 30 . A corresponding gray filter is missing in this exemplary embodiment of the invention in the second image recording unit 14 .

Mit den Bezugsziffern 36, 38 und 40 sind drei beispielhafte Strahlengänge bezeichnet, die den Lichteinfall durch das Fenster 18 auf die Bildsensoren 22, 24 andeuten. Der Strahlengang 36 tritt senkrecht zum Fenster 18 ein und verläuft somit parallel zur optischen Achse der Bildaufnahmeeinheit 14. Die Strahlengänge 38 und 40 fallen von schräg oben bzw. schräg unten ein und symbolisieren somit die seitlichen Grenzen des gesamten Blickfeldes der Kamera 10. The reference numbers 36 , 38 and 40 designate three exemplary beam paths which indicate the incidence of light through the window 18 onto the image sensors 22 , 24 . The beam path 36 enters perpendicular to the window 18 and thus runs parallel to the optical axis of the image recording unit 14 . The beam paths 38 and 40 are incident obliquely from above and obliquely from below and thus symbolize the lateral limits of the entire field of view of the camera 10 .

Die Kamera 10 dient in der dargestellten Ausführung dazu, zeitgleich zueinander erste und zweite Bilddaten eines beobachteten Raumbereichs (hier nicht dargestellt) aufzunehmen. Der Bildsensor 24 nimmt dabei die ersten Bilddaten in der hier gewählten Terminologie und der Bildsensor 22 die zweiten Bilddaten auf. Da die beiden Bildaufnahmeeinheiten 12 und 14 aufgrund des Strahlteilers 20 den identischen Raumbereich betrachten und da die beiden Blenden 26, 28 mit unterschiedliche Blendenöffnungen besitzen, unterscheiden sich die Helligkeitswerte der ersten und zweiten Bilddaten voneinander hinsichtlich der einzelnen Punkte des Raumbereichs. Dabei besteht zum einen ein gleichmäßiger Helligkeitsunterschied zwischen den ersten und zweiten Bilddaten, der im vorliegenden Ausführungsbeispiel jedoch durch das Graufilter 34 eliminiert wird. In anderen Ausführungsbeispielen der Erfindung eliminiert das Graufilter 34 diesen Helligkeitsunterschied nur teilweise und es erfolgt ein weiterer Ausgleich rechnerisch bei der nachfolgenden Datenverarbeitung. Dabei wird von den Helligkeitswerten der zweiten Bilddaten jeweils ein konstanter Wert abgezogen. In the embodiment shown, the camera 10 serves to simultaneously record first and second image data of an observed spatial area (not shown here). The image sensor 24 records the first image data in the terminology selected here and the image sensor 22 the second image data. Since the two image recording units 12 and 14 look at the identical spatial area due to the beam splitter 20 and since the two apertures 26 , 28 have different aperture openings, the brightness values of the first and second image data differ from one another with regard to the individual points of the spatial area. On the one hand, there is a uniform difference in brightness between the first and second image data, which, however, is eliminated by the gray filter 34 in the present exemplary embodiment. In other exemplary embodiments of the invention, the gray filter 34 only partially eliminates this difference in brightness and there is a further computational compensation in the subsequent data processing. A constant value is subtracted from the brightness values of the second image data.

In einem noch weiteren Ausführungsbeispiel besitzt der Strahlteiler 20 ein ungleiches Teilerverhältnis, d. h. er verteilt das einfallende Licht in einem ungleichen (unsymmetrischen) Verhältnis auf die beiden Bildsensoren 22, 24. In einem derzeit bevorzugten Ausführungsbeispiel wird 92% der Lichtintensität zum Bildsensor 24 und nur 8% der Lichtintensität zum Bildsensor 22 gelenkt. In yet another exemplary embodiment, the beam splitter 20 has an uneven splitter ratio, ie it distributes the incident light in an uneven (asymmetrical) ratio to the two image sensors 22 , 24 . In a currently preferred embodiment, 92% of the light intensity is directed to the image sensor 24 and only 8% of the light intensity is directed to the image sensor 22 .

In noch weiteren Ausführungsbeispielen werden die Belichtungszeiten der beiden Bildsensoren 22, 24 unterschiedlich gewählt, um durch eine kürzere Belichtungszeit ebenfalls den konstanten Unterschied in den Grundhelligkeitswerten auszugleichen. Je nach den konkreten Anwendungsfällen und -verhältnissen ist auch eine Kombination einzelner oder aller der zuvor genannten Maßnahmen sinnvoll. In still further exemplary embodiments, the exposure times of the two image sensors 22 , 24 are selected differently, in order likewise to compensate for the constant difference in the basic brightness values by means of a shorter exposure time. Depending on the specific application cases and circumstances, a combination of individual or all of the above-mentioned measures is also useful.

Zusätzlich zu dem gleichförmigen Unterschied zwischen den Helligkeitswerten der ersten und zweiten Bilddaten besteht ein weiterer Helligkeitsunterschied, der jedoch abstandsabhängig ist. Dies bedeutet, daß der zweite Helligkeitsunterschied um so größer ist, je weiter der beobachtete Punkt von der Kamera 10 entfernt ist. Dieser zweite Helligkeitsunterschied wird in Verbindung mit den bekannten Blendenöffnungen der Blenden 26, 28 sowie den gemessenen Helligkeitswerten der ersten und zweiten Bilddaten dazu verwendet, um den Abstand des beobachteten Punktes zur Kamera 10, d. h. eine Entfernungsinformation, zu bestimmen. Es versteht sich, daß diese Information in andere Entfernungsinformationen, beispielsweise zu anders definierten Referenzpunkten, umgerechnet werden kann. In addition to the uniform difference between the brightness values of the first and second image data, there is a further difference in brightness, which is, however, dependent on the distance. This means that the further the observed point is from the camera 10 , the greater the second difference in brightness. This second brightness difference is used in conjunction with the known aperture openings of the apertures 26 , 28 and the measured brightness values of the first and second image data in order to determine the distance of the observed point from the camera 10 , ie a distance information. It goes without saying that this information can be converted into other distance information, for example to differently defined reference points.

Der genaue Zusammenhang zwischen den gesuchten und bekannten Größen ist bei der Entwicklung der Kamera 10 experimentell festgestellt worden. Mit einer Versuchsanordnung entsprechend dem in Fig. 1 dargestellten Aufbau lassen sich die gewonnenen Erkenntnisse nachvollziehen. The exact relationship between the sought and known quantities was determined experimentally during the development of the camera 10 . The knowledge gained can be understood with a test arrangement corresponding to the structure shown in FIG. 1.

Bei den hier bevorzugten Ausführungsbeispielen sind die Bildsensoren 22 und 24 pixelweise exakt zueinander ausgerichtet, und zwar so, daß jeweils ein Pixel des Bildsensors 22 und ein Pixel des Bildsensors 24 denselben Bildpunkt aus dem beobachteten Raumbereich aufnehmen. Die Bestimmung der Entfernungsinformation kann daher durch einen einfachen, pixelweisen Grauwertvergleich unter Berücksichtigung der experimentell gewonnenen Kenntnisse der Zusammenhänge erfolgen. In the exemplary embodiments preferred here, the image sensors 22 and 24 are aligned exactly to one another pixel by pixel, in such a way that one pixel each of the image sensor 22 and one pixel of the image sensor 24 record the same image point from the observed spatial area. The distance information can therefore be determined by a simple, pixel-by-pixel gray value comparison taking into account the experimentally gained knowledge of the relationships.

In Fig. 2 ist eine bevorzugte Anwendung für die Kamera 10 schematisch dargestellt. Dabei bezeichnen gleiche Bezugszeichen dieselben Elemente wie zuvor. A preferred application for the camera 10 is shown schematically in FIG. 2. The same reference numerals designate the same elements as before.

Die Kamera 10 dient hier zum Absichern des Gefahrenbereiches einer automatisiert arbeitenden Maschine. Dabei beobachtet die Kamera 10 einen Raumbereich 50, der hier ein quaderförmiger Bereich mit den Kantenlängen a, b und c ist. Die abzusichernde Maschine ist ein Industrieroboter, der sich selbständig in Richtung der Pfeile 54, 56, 58 bewegen kann. Würde sich eine Person während der Arbeit des Roboters 52 innerhalb Raumbereichs 50 aufhalten, besteht die Gefahr, daß die Person durch den Roboter 52 verletzt wird. Dies kann mit der Kamera 10 in der hier dargestellten Anwendung zuverlässig verhindert werden. The camera 10 is used here to secure the danger zone of an automated machine. The camera 10 observes a spatial area 50 , which here is a cuboid area with the edge lengths a, b and c. The machine to be protected is an industrial robot that can move independently in the direction of arrows 54 , 56 , 58 . If a person were to stay within the area 50 while the robot 52 was working , there is a risk that the person would be injured by the robot 52 . This can be reliably prevented with the camera 10 in the application shown here.

Die Kamera 10 ist zu diesem Zweck mit einer ersten Auswerteeinheit 60 verbunden, die anhand des zuvor beschriebenen Verfahrens die Entfernungsinformation zu jedem Punkt des Raumbereichs 50 bestimmt. Diese Daten werden dann zusammen mit den ersten und zweiten aufgenommenen Bilddaten an eine zweite Auswerteeinheit 62 weitergegeben. Die zweite Auswerteeinheit 62 ist hier in die erste Auswerteeinheit 60 integriert. Alternativ könnte sie jedoch auch getrennt von der ersten Auswerteeinheit 60 angeordnet sein. Ferner ist es auch möglich, daß die Auswerteeinheiten 60 und/oder 62 in dem Gerätegehäuse 16 der Kamera 10 mit untergebracht sind, was dann ein kompaktes Gerät ergibt, das besonders einfach zu installieren ist. For this purpose, the camera 10 is connected to a first evaluation unit 60 , which uses the previously described method to determine the distance information to each point in the spatial area 50 . These data are then forwarded to a second evaluation unit 62 together with the first and second recorded image data. The second evaluation unit 62 is integrated in the first evaluation unit 60 here. Alternatively, however, it could also be arranged separately from the first evaluation unit 60 . Furthermore, it is also possible for the evaluation units 60 and / or 62 to be accommodated in the device housing 16 of the camera 10 , which then results in a compact device which is particularly easy to install.

Die zweite Auswerteeinheit 62 ist mit einem Steuerteil (hier nicht gesondert dargestellt) für den Roboter 52 verbunden und kann diesen daher abschalten oder gesteuert stillsetzen. The second evaluation unit 62 is connected to a control part (not shown separately here) for the robot 52 and can therefore switch it off or shut it down in a controlled manner.

Generell sind sowohl die Kamera 10 als auch die beiden Auswerteeinheiten 60, 62 fehlersicher aufgebaut, und zwar zumindest im Sinne der Kategorie 3, bevorzugt sogar der Kategorie 4, der Europäischen Norm EN 945-1. Dies wird durch redundante Auslegung der Komponenten und interne Selbsttest und Funktionskontrollen erreicht. In general, both the camera 10 and the two evaluation units 60 , 62 are designed to be fail-safe, at least in the sense of category 3 , preferably even category 4 , of the European standard EN 945-1 . This is achieved through the redundant design of the components and internal self-tests and functional checks.

Mit der Bezugsziffer 64 ist eine steuerbare Lichtquelle bezeichnet, die von der ersten Auswerteeinheit 60 ein- und ausgeschaltet werden kann. Die Lichtquelle 64 erzeugt ein moduliertes Lichtsignal, beispielsweise gepulst oder phasenmoduliert, so daß Fremdlichteinflüsse, die nicht die gewählte Modulation aufweisen, leicht unterdrückt werden können. Des weiteren liegt das Licht der Lichtquelle in einem definierten Frequenzbereich, so daß Fremdlichteinwirkungen auch durch entsprechend angepaßte Bandpaßfilter unterdrückt werden können. Reference number 64 denotes a controllable light source which can be switched on and off by the first evaluation unit 60 . The light source 64 generates a modulated light signal, for example pulsed or phase-modulated, so that extraneous light influences that do not have the selected modulation can be easily suppressed. Furthermore, the light from the light source lies in a defined frequency range, so that extraneous light effects can also be suppressed by appropriately adapted bandpass filters.

Mit den aufgenommenen ersten und zweiten Bilddaten sowie den daraus bestimmten Entfernungsinformationen steht eine redundante Menge an Informationen zur Verfügung, mit denen das Eindringen von Personen oder Gegenständen in den Raumbereich 50 festgestellt werden kann. Dabei ist es aufgrund der vorhandenen Daten leicht möglich, den Raumbereich 50 in unterschiedliche Schutz- und/oder Überwachungszonen aufzuteilen und somit individuell an die Schutzanforderungen anzupassen. With the recorded first and second image data and the distance information determined therefrom, a redundant amount of information is available with which the penetration of people or objects into the spatial area 50 can be determined. On the basis of the data available, it is easily possible to divide the room area 50 into different protection and / or monitoring zones and thus to adapt it individually to the protection requirements.

Beispielhaft sind in Fig. 3 und 4 zwei Schutzflächen dargestellt, die anhand der gewonnenen Daten definiert werden können. In Fig. 3 ist eine vertikal verlaufende Schutzfläche 70 gezeigt, die den Raumbereich 50 virtuell in zwei Hälften trennt. Die Schutzfläche 70 kann in Richtung des Pfeils 72 beliebig verschoben werden. Des weiteren ist es möglich, die Schutzfläche 70 in Richtung des Pfeils 72 aufzuweiten, um somit einen dreidimensionalen Schutzraum innerhalb des Raumbereichs 50 zu definieren. As an example, two protective areas are shown in FIGS. 3 and 4, which can be defined on the basis of the data obtained. FIG. 3 shows a vertically extending protective surface 70 which virtually divides the room area 50 into two halves. The protective surface 70 can be moved as desired in the direction of the arrow 72 . Furthermore, it is possible to widen the protective surface 70 in the direction of the arrow 72 , in order thus to define a three-dimensional protective space within the spatial area 50 .

In Fig. 4 ist ein weiteres Ausführungsbeispiel gezeigt, wobei eine Schutzfläche 74 in Richtung des Pfeils 76, d. h. in horizontaler Richtung bewegt werden kann. Anhand dieser beiden einfachen Beispiele wird deutlich, daß allein mit rechnerischen Mitteln durch Programmierung der Auswerteeinheit 62 beliebige, auch anders geformte Schutzflächen gebildet werden können. Damit ist es möglich, den Gefahrenbereich des Roboters 52 individuell gegen unbefugtes Eintreten abzusichern. A further exemplary embodiment is shown in FIG. 4, wherein a protective surface 74 can be moved in the direction of the arrow 76 , ie in the horizontal direction. On the basis of these two simple examples, it becomes clear that any desired, also differently shaped, protective surfaces can be formed solely with computational means by programming the evaluation unit 62 . This makes it possible to individually protect the danger area of the robot 52 against unauthorized entry.

Fig. 5 zeigt den überwachten Raumbereich 50, wobei hier beispielhaft ein Objekt 80 vorhanden ist. Rechts daneben ist eine Graphik 82 gezeigt, die in dreidimensionaler Darstellung eine Höhenkarte des Raumbereichs 50 zeigt. Die Graphik 82 enthält an den Stellen, die der Oberfläche des Objektes 80 entsprechen, Höhenwerte, die anhand der mit der Kamera 10 gewonnenen Entfernungsinformationen sowie anhand der bekannten Position der Kamera 10 berechnet sind. Die Graphik 82 symbolisiert hier ein Referenzbild, das den überwachten Raumbereich 50 zeigt, wenn außer dem Objekt 80 keine Personen oder Gegenstände anwesend sind. Fig. 5 shows the monitored space area 50, here by way of example an object is present 80th To the right of this is shown a graphic 82 which shows a three-dimensional representation of a height map of the spatial area 50 . The graphic 82 contains, at the locations that correspond to the surface of the object 80 , height values that are calculated on the basis of the distance information obtained with the camera 10 and on the basis of the known position of the camera 10 . The graphic 82 here symbolizes a reference image which shows the monitored room area 50 if no people or objects are present apart from the object 80 .

In Fig. 6 ist dieselbe Szene wie in Fig. 5 dargestellt, wobei sich in dem Raumbereich 50 nun jedoch ein zweites Objekt 84 befindet. Beispielsweise ist das Objekt 84 eine Person, die sich dem Objekt 80, beispielsweise eine Maschine, nähert. Die Anwesenheit des Objekts 84 in dem Raumbereich 50 kann mit Hilfe der Kamera 10 anhand der gewonnenen Entfernungsinformationen detektiert werden. Bildlich gesprochen, stellt die Auswerteeinheit 62 die Anwesenheit des Objekts 84 durch einen Vergleich der Meßwerte fest, die in den beiden Graphiken 82 und 84 symbolisiert sind. Die Graphik 82 ist somit ein Referenzbild, mit dem die Graphik 86 verglichen wird, wobei Abweichungen zwischen den beiden Graphiken auf die Anwesenheit eines vorher nicht dagewesenen Objektes 84 hindeuten. In dem bevorzugten Anwendungsfall würde dies zum Abschalten oder zumindest zum gesteuerten Stillsetzen der Maschine führen. Aufgrund der Entfernungsinformationen, die mit dem beschriebenen Verfahren gewonnen werden, können dabei auch Manipulationen, wie beispielsweise eine Veränderung der Kameraposition etc. erkannt und berücksichtigt werden. FIG. 6 shows the same scene as in FIG. 5, but there is now a second object 84 in the spatial area 50 . For example, object 84 is a person approaching object 80 , for example a machine. The presence of the object 84 in the spatial area 50 can be detected with the aid of the camera 10 on the basis of the distance information obtained. Metaphorically speaking, the evaluation unit 62 determines the presence of the object 84 by comparing the measured values, which are symbolized in the two graphics 82 and 84 . The graphic 82 is thus a reference image with which the graphic 86 is compared, with deviations between the two graphics indicating the presence of an object 84 not previously seen. In the preferred application, this would lead to the machine being switched off or at least to a controlled shutdown. On the basis of the distance information obtained with the described method, manipulations such as a change in the camera position etc. can also be recognized and taken into account.

In dem Flußdiagramm gemäß Fig. 7 ist das Verfahren zum Absichern der Maschine nochmals schematisch dargestellt. Nach der Inbetriebnahme der Vorrichtung in Schritt 90 werden in den Schritten 94, 96 zeitgleich zueinander die ersten und zweiten Bilddaten eingelesen. Optional kann vorher die Lichtquelle 64 eingeschaltet werden, was im Schritt 92 symbolisiert ist. Ein gezieltes Ein- und Ausschalten der Lichtquelle 64 führt zu einer Zwangsdynamisierung der beobachteten Szene, was in an sich bekannter Weise zu Selbsttests verwendet wird. In dem optionalen Schritt 98 werden die Helligkeitswerte der zweiten Bilddaten gleichmäßig reduziert, um den Unterschied in den Grundhelligkeiten auszugleichen. Bei Verwendung eines Graufilters, unterschiedlicher Belichtungszeiten und/oder eines unsymmetrischen Strahlteilers kann dieser Schritt auch entfallen. The process for securing the machine is shown again schematically in the flow chart according to FIG. 7. After the device has been started up in step 90 , the first and second image data are read in simultaneously in steps 94 , 96 . Optionally, the light source 64 can be switched on beforehand, which is symbolized in step 92 . A targeted switching on and off of the light source 64 leads to a forced dynamization of the observed scene, which is used for self-tests in a manner known per se. In the optional step 98 , the brightness values of the second image data are reduced uniformly in order to compensate for the difference in the basic brightnesses. This step can also be omitted when using a gray filter, different exposure times and / or an asymmetrical beam splitter.

In Schritt 100 erfolgt die Bestimmung der Entfernungsinformationen zu jedem gewünschten Punkt innerhalb des beobachteten Raumbereichs, und zwar nach dem zuvor beschriebenen Verfahren. Aus den erhaltenen Meßwerten wird eine Höhenkarte berechnet, wie sie beispielhaft in den Fig. 5 und 6 dargestellt ist. In Schritt 102 wird die Höhenkarte dann mit einer Referenz verglichen, um Veränderungen in dem beobachteten Raumbereich festzustellen. Des weiteren werden hier optional auch die ersten und zweiten Bilddaten für sich mit entsprechend zugehörigen Referenzdaten verglichen, so daß hier insgesamt ein dreifacher Vergleich erfolgt. Die beiden zuletzt genannten Vergleichsschritte sind in den Blöcken 104 bzw. 106 symbolisiert. Im Schritt 108 erfolgt die Abfrage, ob die neu aufgenommenen Daten gegenüber den zugeordneten Referenzwerten Unterschiede aufweisen. Ist dies der Fall, wird gemäß Schritt 110 ein Warnsignal erzeugt. Des weiteren wird die überwachte Maschine in einen sicheren Zustand gebracht. Liegen keine hinreichenden Veränderungen in den aufgenommenen Bilddaten und Entfernungsinformationen vor, beginnt ein neuer Überwachungszyklus mit den Schritten 92, 94 und 96. In step 100 , the determination of the distance information to each desired point within the observed spatial area takes place, specifically according to the previously described method. A height map is calculated from the measured values obtained, as is shown by way of example in FIGS. 5 and 6. In step 102 , the height map is then compared to a reference to determine changes in the observed area. Furthermore, the first and second image data are also compared here by themselves with corresponding reference data, so that a total of three comparisons are made here. The last two comparison steps mentioned are symbolized in blocks 104 and 106 , respectively. In step 108 , the query is made as to whether the newly recorded data differ from the assigned reference values. If this is the case, a warning signal is generated in accordance with step 110 . The monitored machine is also brought into a safe state. If there are no sufficient changes in the recorded image data and distance information, a new monitoring cycle begins with steps 92 , 94 and 96 .

Abschließend sei angemerkt, daß die Beschreibung der Ausführungsbeispiele hier nur eine derzeit bevorzugte Anwendung des erfindungsgemäßen Verfahrens darstellen. Darüber hinaus sind weitere Anwendungsgebiete auch in anderen Bereichen der Sicherheitstechnik und darüber hinaus denkbar, beispielsweise die Absicherung von fahrerlosen Fahrzeugen in Hochregallagern, die dreidimensionale Größenvermessung von Gütern für Kontroll- und Sortierzwecke, die Lageerkennung oder die Überstandskontrolle von Gütern. Des weiteren kann die Kamera 10 auch außerhalb der Sicherheitstechnik als Range-Kamera, für 3D- Television oder Ähnliches verwendet werden. In conclusion, it should be noted that the description of the exemplary embodiments represents only a currently preferred application of the method according to the invention. In addition, other areas of application are also conceivable in other areas of security technology and beyond, for example the protection of driverless vehicles in high-bay warehouses, the three-dimensional size measurement of goods for control and sorting purposes, the position detection or the overhang control of goods. Furthermore, the camera 10 can also be used outside of security technology as a range camera, for 3D television or the like.

Außerdem kann der überwachte Raumbereich über den maximalen Blickwinkel der Kamera 10 hinaus einfach erweitert werden, indem mehrere Kameras 10 mit aneinander angrenzenden Sichtfeldern kombiniert werden. In addition, the monitored area can be easily expanded beyond the maximum viewing angle of the camera 10 by combining a plurality of cameras 10 with adjacent fields of view.

Claims

1. A method for observing, measuring or monitoring a spatial area ( 50 ), comprising the steps:

Recording first image data ( 94 ) of the spatial area ( 50 ),

- Recording second image data ( 96 ) of the spatial area ( 50 ), the first and the second image data having different brightness values in relation to at least one point of the spatial area ( 50 ), and

- determining distance information ( 82 , 86 , 100 ) to the point of the spatial region ( 50 ), the different brightness values of the first and second image data ( 94 , 96 ) being used,
characterized by
that the first and the second image data ( 94 , 96 ) are recorded with diaphragm openings ( 26 , 28 ) which are so different from one another that the different brightness values result.

2. The method according to claim 1, characterized in that the first and the second image data ( 94 , 96 ) are recorded simultaneously with one another.

3. The method according to claim 1 or 2, characterized in that the first and second image data ( 94 , 96 ) with two image recording units ( 12 , 14 ) are recorded.

4. The method according to claim 3, characterized in that the first and second image data ( 94 , 96 ) with two separate image sensors ( 22 , 24 ) are recorded, which are exactly aligned pixel by pixel.

5. The method according to claim 3 or 4, characterized in that the first and the second image data ( 94 , 96 ) are supplied to the two image recording units ( 12 , 14 ) via a beam splitter ( 20 ).

6. The method according to claim 5, characterized in that the beam splitter ( 20 ) has an asymmetrical divider ratio.

7. The method according to any one of claims 1 to 6, characterized characterized in that the brightness values of the second Image data (96) can be reduced.

8. The method according to claim 7, characterized in that the brightness values of the second image data ( 96 ) are reduced by the second image data ( 96 ) being recorded with a shorter exposure time than the first image data ( 94 ).

9. The method according to claim 7 or 8, characterized in that the brightness values of the second image data ( 96 ) are reduced by the second image data ( 96 ) being recorded by an optical darkening element ( 34 ).

10. The method according to any one of claims 7 to 9, characterized in that the brightness values of the second image data (96) are reduced arithmetically ( 98 ).

11. The method according to any one of claims 1 to 10, characterized in that the first and the second image data ( 94 , 96 ) with the same image scales ( 30 , 32 ) are recorded.

12. The method according to any one of claims 1 to 11, characterized in that the first and the second image data ( 94 , 96 ) are recorded temporarily with additional lighting ( 92 ).

13. The method according to any one of claims 1 to 12, characterized in that the distance information ( 86 ) to the point is compared with an associated reference value ( 82 ) in order to detect a change in the spatial area ( 50 ).

14. The method according to claim 13, characterized in that for detecting the change also the image data ( 94 , 96 ) are compared with associated reference values ( 104 , 106 ).

15. Device for observing, measuring or monitoring a spatial area ( 50 ), with at least one image capturing unit ( 12 , 14 ) for capturing first and second image data ( 94 , 96 ) of the spatial area ( 50 ), the captured first and second image data ( 94 , 96 ) have different brightness values with respect to at least one point of the spatial area ( 50 ), and with a first evaluation unit ( 60 ) which uses the different brightness values of the first and second image data (94, 96) to provide distance information ( 82 , 86 , 100 ) to the point of the spatial region ( 50 ), characterized in that the device has means ( 26 , 28 ) for recording the first and second image data ( 94 , 96 ) with diaphragm openings which are so different from one another that the result in different brightness values.

16. The apparatus according to claim 15, characterized in that it has at least two image recording units ( 12 , 14 ) for recording the first and the second image data ( 94 , 96 ).

17. The apparatus according to claim 16, characterized in that the two image recording units ( 12 , 14 ) each contain at least one image sensor ( 22 , 24 ), wherein the image sensors ( 22 , 24 ) are exactly aligned with each other pixel by pixel.

18. The apparatus according to claim 16 or 17, characterized in that it has a beam splitter ( 20 ), via which the first and second image data ( 94 , 96 ) are supplied to the image recording units ( 12 , 14 ).

19. The apparatus according to claim 18, characterized in that the beam splitter ( 20 ) has an asymmetrical divider ratio.

20. Device according to one of claims 15 to 19, characterized in that it has further means ( 34 ; 98 ) to reduce the brightness values of the second image data ( 96 ).

21. The apparatus according to claim 20, characterized in that the further means include an optical darkening element ( 34 ).

22. Device according to one of claims 16 to 21, characterized in that the at least two image recording units ( 12 , 14 ) each have the same imaging scale ( 30 , 32 ).

23. Device according to one of claims 16 to 22, characterized in that the two image recording units ( 12 , 14 ) are arranged in a fixed position in a common device housing ( 16 ).

24. Device according to one of claims 15 to 23, characterized in that it has a controllable lighting device ( 64 ).

25. Device according to one of claims 15 to 24, characterized in that it further comprises a second evaluation unit ( 62 ) which compares the distance information ( 86 ) to the point with an associated reference value ( 82 ), so that a change in the spatial area ( 50 ) is detectable.

26. The apparatus according to claim 25, characterized in that the second evaluation unit ( 62 ) for detecting a change in the spatial area ( 50 ) also compares the image data ( 94 , 96 ) with associated reference values.

27. Use of a method according to any one of claims 1 to 14 or a device according to any one of claims 15 to 26 to secure a danger zone automated system.