DE102009008893B4 - Optical sensor - Google Patents

Optical sensor Download PDF

Info

Publication number
DE102009008893B4
DE102009008893B4 DE200910008893 DE102009008893A DE102009008893B4 DE 102009008893 B4 DE102009008893 B4 DE 102009008893B4 DE 200910008893 DE200910008893 DE 200910008893 DE 102009008893 A DE102009008893 A DE 102009008893A DE 102009008893 B4 DE102009008893 B4 DE 102009008893B4
Authority
DE
Germany
Prior art keywords
optical sensor
area camera
pixels
barcodes
sensor according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE200910008893
Other languages
German (de)
Other versions
DE102009008893A1 (en
Inventor
Jörg Wörner
Will Shaffer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leuze Electronic GmbH and Co KG
Original Assignee
Leuze Electronic GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leuze Electronic GmbH and Co KG filed Critical Leuze Electronic GmbH and Co KG
Priority to DE200910008893 priority Critical patent/DE102009008893B4/en
Priority to CH1602010A priority patent/CH700361B1/en
Publication of DE102009008893A1 publication Critical patent/DE102009008893A1/en
Application granted granted Critical
Publication of DE102009008893B4 publication Critical patent/DE102009008893B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10722Photodetector array or CCD scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing

Abstract

Optischer Sensor (1) zur Erfassung von Barcodes (8), mit einer eine matrixfömige Anordnung von Pixeln aufweisenden Flächenkamera (3) und einer Auswerteeinheit (7), in welcher zur Dekodierung der Barcodes (8) Ausgangssignale der Pixel der Flächenkamera (3) ausgewertet werden, dadurch gekennzeichnet, dass Umschaltmittel vorgesehen sind, mittels derer eine dynamische Umschaltung zwischen unterschiedlichen Fenstern als Teilbereichen der Flächenkamera (3) erfolgt, wobei die Pixel innerhalb des Fensters selektiv auslesbar sind, und wobei die verschiedenen Fenster so dimensioniert sind, dass in diesen Barcodes (8) unterschiedlicher Orientierung erfassbar sind.Optical sensor (1) for detecting barcodes (8), comprising an area camera (3) having a matrix-shaped arrangement of pixels and an evaluation unit (7) in which output signals of the pixels of the area camera (3) are evaluated for decoding the barcodes (8) are provided, characterized in that switching means are provided by means of which a dynamic switching between different windows as sub-areas of the area camera (3), wherein the pixels are selectively readable within the window, and wherein the different windows are dimensioned so that in these bar codes (8) of different orientation can be detected.

Figure 00000001
Figure 00000001

Description

Die Erfindung betrifft einen optischen Sensor.The The invention relates to an optical sensor.

Optische Sensoren der in Rede stehenden Art werden zur Erfassung von Barcodes eingesetzt. Derartige Barcodelesegeräte bildende optische Sensoren werden in unterschiedlichsten industriellen Applikationen, wie zum Beispiel der Fördertechnik oder auch der Medizintechnik, insbesondere im Bereich der Blutanalysetechnik eingesetzt.optical Sensors of the type in question become for the detection of barcodes used. Such barcode readers form optical sensors are used in a wide variety of industrial applications, such as Example of conveyor technology or medical technology, especially in the field of blood analysis technology used.

Bekannte optische Sensoren bilden scannende Systeme, bei welchen ein von einer Laserdiode emittierter Laserstrahl über eine Ablenkeinheit in Form eines motorisch getriebenen Polygonspiegelrads innerhalb eines Abtastbereichs periodisch abgelenkt wird. In diesem Abtastbereich können dann Barcodes erfasst werden, indem der Laserstrahl über das Strichmuster des Barcodes geführt wird. Nachteilig bei derartigen optischen Sensoren ist, dass der Laserstrahl exakt zu den Strichmustern des Barcodes ausgerichtet sein muss, um den Barcode erfassen zu können. In vielen Applikationen ist eine derartige definierte Ausrichtung jedoch nicht gegeben. Weiterhin ist der hohe optomechanische Aufwand derartiger optischer Sensoren nachteilig. Insbesondere die für die Ablenkung und Ausrichtung des Laserstrahls benötigten Teile sind konstruktiv aufwändig. Schließlich führen die empfindliche Laserdiode zur Generierung des Laserstrahls und die bewegten Teile, die für die Ablenkung des Laserstrahls sorgen, zu einer geringen Lebensdauer des optischen Sensors und auch zu einer geringen Zuverlässigkeit bei der Barcodedetektion.Known Optical sensors form scanning systems in which one of a laser diode emitted laser beam via a deflection in shape a motor driven polygon mirror wheel within a scanning range is deflected periodically. In this sampling area can then Barcodes are captured by the laser beam across the barcode's barcode pattern guided becomes. A disadvantage of such optical sensors is that the laser beam must be aligned exactly with the bar patterns of the barcode, to capture the barcode. In many applications, such a defined orientation but not given. Furthermore, the high optomechanical effort such optical sensors disadvantageous. Especially for the distraction and alignment of the laser beam required parts are structurally complex. Finally, the lead sensitive laser diode for generating the laser beam and the moving Parts for the deflection of the laser beam ensure a short life of the optical sensor and also to a low reliability at the bar code detection.

Weiterhin sind optische Sensoren zur Erfassung von Barcodes bekannt, die als Lichtempfangselement eine Flächenkamera einsetzen. Vorteilhaft hierbei ist, dass in diesem Fall eine stationäre Beleuchtungseinheit ausreicht und auf einen Scanner mit bewegten Teilen zur Lichtablenkung verzichtet werden kann.Farther are known optical sensors for the detection of barcodes, as Light receiving element an area camera deploy. The advantage here is that in this case a stationary lighting unit sufficient and on a scanner with moving parts for light deflection can be waived.

Probleme treten jedoch bei derartigen optischen Sensoren dann auf, wenn mit diesen in relativ kurzen Zeitabständen Barcodes gelesen werden müssen, die als Strichcodes mit hohen Dichten, das heißt einer hohen Anzahl von einzelnen Strichelementen, das heißt Modulen mit geringen Modulbreiten ausgebildet sind. Zur Erfassung derartiger Barcodes müssen Flächenkameras mit hohen Auflösungen, das heißt einer großen Anzahl von Pixeln eingesetzt werden. Jedoch weisen derartige Flächenkameras im Vergleich zu deren Auflösung relativ geringe Pixelleseraten auf. Damit ergeben sich für diese hoch auflösenden Flächenkameras entsprechend kleine Bildaufnahmeraten, die durch den Quotient der Pixelleserate und der Anzahl der Pixel definiert sind. Werden nun die zu detektierenden Barcodes mit größeren Geschwindigkeiten relativ zum optischen Sensor bewegt, ist die Bildaufnahmerate des optischen Sensors kleiner als die erforderliche Barcodeleserate, das heißt es können nicht alle der am optischen Sensor vorbei bewegten Barcodes erfasst werden.issues However, occur in such optical sensors when with These must be read in relatively short time barcodes, the as high-density bar codes, that is, a high number of individual ones Line elements, that is Modules are designed with small module widths. To capture of such barcodes area cameras with high resolutions, this means a big one Number of pixels can be used. However, such area cameras have in comparison to their resolution relatively low pixel readings. This results in high for this resolution area cameras correspondingly small image acquisition rates, which are determined by the quotient of Pixel reading and the number of pixels are defined. Become now the barcodes to be detected relative to higher speeds moved to the optical sensor, the image acquisition rate of the optical Sensors smaller than the required barcode reading rate, that is, they can not all of the barcodes moving past the optical sensor are detected.

Die DE 10 2004 018 404 A1 betrifft eine optoelektrische Vorrichtung mit einem Sensor und einem von Marken gebildeten Positionsmaßstab, welche relativ zueinander bewegbar sind, wobei der Sensor eine Beleuchtungseinheit zur Beleuchtung der Marken, eine Flächenkamera zur Erfassung der Marken und eine Auswerteeinheit zur Auswertung der Ausgangssignale der Flächenkamera aufweist. Durch Erfassung von in den Marken kodierten Positionsformationen und durch Ermittlung der Lage einer jeweils erfassten Marke innerhalb des von der Flächenkamera erfassten Bildes wird die Position des Sensors relativ zum Positionsmaßstab bestimmt.The DE 10 2004 018 404 A1 relates to an opto-electrical device having a sensor and a positional scale formed by marks, which are movable relative to each other, wherein the sensor comprises a lighting unit for illuminating the marks, an area camera for detecting the marks and an evaluation unit for evaluating the output signals of the area camera. The position of the sensor relative to the position scale is determined by detecting position information encoded in the marks and determining the position of each detected mark within the image captured by the area camera.

Aus der US 4 916 298 A ist ein Barcodelesegerät bekannt, dessen Empfänger in Form einer Flächenkamera mit einer matrixförmigen Anordnung von Pixeln ausgebildet ist.From the US 4,916,298 A a barcode reader is known, the receiver is designed in the form of a surface camera with a matrix-shaped arrangement of pixels.

Der Erfindung liegt die Aufgabe zugrunde, einen optischen Sensor der eingangs genannten Art so auszubilden, dass dieser bei geringem konstruktivem Aufwand bei hoher Auflösung gleichzeitig eine hohe Bildaufnahmerate aufweist.Of the Invention is based on the object, an optical sensor of The type mentioned above in such a way that this at low Constructive effort at high resolution at the same time a high image acquisition rate having.

Zur Lösung dieser Aufgabe sind die Merkmale des Anspruchs 1 vorgesehen. Vorteilhafte Ausführungsformen und zweckmäßige Weiterbildungen der Erfindung sind in den Unteransprüchen beschrieben.to solution This object, the features of claim 1 are provided. advantageous embodiments and appropriate training The invention are described in the subclaims.

Der erfindungsgemäße optische Sensor dient zur Erfassung von Barcodes und umfasst eine eine matrixförmige Anordnung von Pixeln aufweisende Flächenkamera und eine Auswerteeinheit, in welcher zur Dekodierung der Barcodes Ausgangssignale der Pixel der Flächenkamera ausgewertet werden. Weiter sind Umschaltmittel vorgesehen, mittels derer eine dynamische Umschaltung zwi schen unterschiedlichen Fenstern als Teilbereichen der Flächenkamera erfolgt. Die Pixel sind innerhalb des Fensters selektiv auslesbar. Die verschiedenen Fenster sind so dimensioniert, dass in diesen Barcodes unterschiedlicher Orientierung erfassbar sind.Of the according to the invention optical Sensor is used to detect bar codes and includes a matrix-like arrangement pixelated area camera and an evaluation unit, in which for decoding the barcodes Output signals of the pixels of the area camera be evaluated. Furthermore, switching means are provided by means of derer a dynamic switching between different windows as subareas of the area camera he follows. The pixels are selectively readable within the window. The different windows are dimensioned in that way Barcodes of different orientation can be detected.

Die Flächenkamera des erfindungsgemäßen optischen Sensors weist eine hohe Auflösung, das heißt eine hohe Anzahl von Pixeln auf. Damit ist eine Voraussetzung erfüllt, dass mit dem optischen Sensor Barcodes hoher Dichte erfasst werden können.The Areascan of the optical according to the invention Sensor has a high resolution, this means a high number of pixels. This fulfills a condition that can be detected with the optical sensor barcodes high density.

Ein wesentlicher Vorteil des erfindungsgemäßen optischen Sensors besteht darin, dass auch bei hohen Barcoderaten, das heißt bei einer großen Anzahl von per Zeiteinheit in den Erfassungsbereich der Flächenkamera eintretenden Barcodes, alle Barcodes sicher und zuverlässig detektiert werden können, und zwar auch dann, wenn diese Barcodes in unterschiedlichen Richtungen relativ zum optischen Sensor orientiert sind.A significant advantage of the optical sensor according to the invention is that also At high barcode rates, that is to say for a large number of bar codes entering the area of coverage of the area camera per time unit, all barcodes can be reliably and reliably detected, even if these barcodes are oriented in different directions relative to the optical sensor.

Dies wird erfindungsgemäß durch die dynamische Fensterung der Flächenkamera erzielt. Zu dieser dynamischen Fensterung werden mittels des Umschaltmittels, angepasst an die Fördergeschwindigkeit der Barcodes, selektiv Fenster als Teilbereiche der Flächenkamera definiert, wobei bei einer solchen Fensterung immer nur die Pixel in dem jeweiligen Fenster ausgelesen und für die Bildauswertung in der Auswerteeinheit verwendet werden, nicht jedoch die außerhalb des Fensters liegenden Pixel. Damit kann die Bildausleserate des optischen Sensors gegenüber dem herkömmlichen Betrieb des optischen Sensors, bei welchem alle Pixel der Flächenkamera ausgelesen werden müssen, erheblich gesteigert werden. Dadurch wird erreicht, dass die Bildausleserate des optischen Sensors erheblich größer ist als die Barcoderate, wodurch gewährleistet ist, dass sämtliche der am optischen Sensor vorbei bewegten Barcodes sicher detektiert werden können.This is inventively the dynamic windowing of the area camera achieved. To this dynamic fenestration by means of the switching means, adapted to the conveying speed of the barcodes, selectively windows as parts of the area camera defined, whereby in such a windowing only the pixels in the respective window and for the image analysis in the Evaluation unit can be used, but not the outside of the window lying pixels. Thus the image readout rate of the optical sensor opposite the conventional one Operation of the optical sensor, in which all pixels of the area camera have to be read out, be increased considerably. This ensures that the image readout rate of the optical sensor is considerably larger than the barcode rate, ensuring that that all the detected past the optical sensor moving barcodes safely detected can be.

Die Größen und Lagen der Fenster innerhalb der Gesamtfläche der Flächenkamera sind dabei an die Größe und aktuellen Orientierungen der Barcodes relativ zum optischen Sensor derart angepasst, dass mit dem jeweils aktivierten Fenster der gerade zu detektierende Barcode vollständig erfasst werden kann. Umgekehrt ist das jeweilige Fenster so dimensioniert, dass im wesentlichen nur der zu detektierende Barcode erfasst wird, das heißt das jeweilige Fenster wird so klein wie möglich gewählt, um die vollständige Erfassung des Barcodes noch zu gewährleisten. Dadurch kann die größtmögliche Bildaufnahmerate erhalten werden.The Sizes and Layers of the windows within the total area of the area camera are attached to the Size and current Orientations of the barcodes relative to the optical sensor such adapted that with the in each case activated window the straight to Detecting barcode completely can be detected. Conversely, the respective window is dimensioned that essentially only the barcode to be detected is detected, this means the respective window is chosen as small as possible to complete the capture of the bar code still to guarantee. This allows the highest possible image acquisition rate to be obtained.

Bei dem erfindungsgemäßen optischen Sensor wird der Umstand ausgenutzt, dass durch Speicherung der Folge von zu detektierenden Barcodes oder durch Ermittlung der zeitlichen Abfolge der zu detektierenden Barcodes in einem Einlernvorgang diese Abfolge bekannt ist. Dann kann durch ein externes Triggersignal das Umschaltmittel im optischen Sensor derart gesteuert werden, dass die Aktivierung der einzelnen Fenster bei der dynamischen Fensterung an den Transport der Barcodes so abgestimmt ist, dass für jeden der in den Erfassungsbereich des optischen Sensors eintauchenden Barcodes zeitgenau das Fenster mit der an die Position und Orientierung angepassten Größe und Lage aktiviert wird.at the optical inventive Sensor is exploited the fact that by storing the sequence of barcodes to be detected or by determining the temporal Sequence of barcodes to be detected in a learning process these Sequence is known. Then can by an external trigger signal the switching means in the optical sensor are controlled in such a way that activation of individual windows in dynamic fenestration tuned to the transport of barcodes so that for everyone the immersed in the detection range of the optical sensor Barcodes timely the window with the to the position and orientation adjusted size and location is activated.

Dadurch wird mit dem optischen Sensor ein getriggertes System bereitgestellt, bei welchem der Takt der dynamischen Fensterung an die Barcoderate exakt angepasst ist.Thereby is provided with the optical sensor, a triggered system, where the clock of the dynamic windowing to the barcode rate is exactly adjusted.

Die Flächenkamera ist besonders vorteilhaft von einem CCD- oder CMOS-Array gebildet. Mit derartigen Flächenkameras können die erforderlichen hohen Auflösungen zur Detektion von Barcodes hoher Dichte erzielt werden.The Areascan is particularly advantageously formed by a CCD or CMOS array. With such surface cameras can the required high resolutions be achieved for the detection of high-density barcodes.

In einer weiteren vorteilhaften Ausgestaltung weist der erfindungsgemäße optische Sensor eine eigene Beleuchtungseinheit in Form einer Anordnung von Leuchtdioden auf.In a further advantageous embodiment, the inventive optical Sensor own lighting unit in the form of an array of LEDs on.

Die Belichtungszeiten der Pixel werden besonders vorteilhaft elektronisch gesteuert.The Exposure times of the pixels become particularly advantageous electronically controlled.

Gemäß einer ersten Variante kann hierzu ein sogenannter Rolling Shutter vorgesehen sein. Mit diesem Rolling Shutter werden die einzelnen Pixel-Zeilen der Flächenkamera rollierend einzeln nacheinander belichtet. Um Fehldetektionen zu vermeiden, muss hierbei mittels der Beleuchtungseinheit das zu detektierende Objekt für die komplette Bildaufnahmezeit, das heißt für die Zeitspanne über welche alle Pixel-Zeilen der Flächenkamera belichtet werden, beleuchtet werden.According to one first variant, a so-called rolling shutter provided for this purpose be. With this rolling shutter are the individual pixel lines the area camera rolling one by one illuminated one after the other. To misdetections too Avoid this, by means of the lighting unit to be detected Object for the complete picture recording time, that is for the time period over which all pixel lines of the area camera be illuminated.

Gemäß einer zweiten Variante kann ein sogenannter Global Shutter vorgesehen sein. Bei diesem Global Shutter werden alle Pixel der Flächenkamera zeitgleich belichtet, was die Bildaufnahmezeit erheblich verkürzt.According to one second variant, a so-called global shutter provided be. With this global shutter, all pixels of the area camera become exposed at the same time, which considerably reduces the image acquisition time.

Die Erfindung wird im Folgenden anhand der Zeichnungen erläutert. Es zeigen:The The invention will be explained below with reference to the drawings. It demonstrate:

1: Schematische Darstellung eines Ausführungsbeispiels des erfindungsgemäßen optischen Sensors. 1 : Schematic representation of an embodiment of the optical sensor according to the invention.

2a: Darstellung der lichtempfindlichen Fläche des optischen Sensors gemäß 1 ohne Fensterung. 2a : Representation of the photosensitive surface of the optical sensor according to 1 without fenestration.

2b: Darstellung der lichtempfindlichen Fläche des optischen Sensors gemäß 1 mit einer ersten Fensterung. 2 B : Representation of the photosensitive surface of the optical sensor according to 1 with a first fenestration.

2c: Darstellung der lichtempfindlichen Fläche des optischen Sensors gemäß 1 mit einer zweiten Fensterung. 2c : Representation of the photosensitive surface of the optical sensor according to 1 with a second fenestration.

3: Darstellung des optischen Sensors gemäß 1 an einer Förderstrecke zur Erfassung von Barcodes auf Teströhrchen, welche in einem Einschub an der Förderstrecke gefördert werden. 3 : Representation of the optical sensor according to 1 on a conveyor line for detecting bar codes on test tubes, which are conveyed in a slot on the conveyor line.

4: Darstellung des optischen Sensors gemäß 1 an der Förderstrecke gemäß 4 zur Erfassung von Barcodes auf einer Microtiterplatte, die an der Förderstrecke gefördert wird. 4 : Representation of the optical sensor according to 1 at the conveyor line according to 4 for capturing barcodes on a microtiter plate, which is conveyed on the conveyor line.

1 zeigt schematisch den Aufbau eines Ausführungsbeispiels des erfindungsgemäßen optischen Sensors 1. Der optische Sensor 1 weist ein Sensorgehäuse 2 auf, in welchem als Sensorkomponenten eine Flächenkamera 3 und eine Beleuchtungseinheit in Form einer Anordnung von Leuchtdioden 4 angeordnet sind. Der Flächenkamera 3 und der Beleuchtungseinheit können zudem Optikelemente zugeordnet sein, die in 1 nicht gesondert dargestellt sind. Die Flächenkamera 3 ist an einer Aufnahme 5 im Sensorgehäuse 2 gelagert und besteht aus einer matrixförmigen Anordnung von lichtempfindlichen Elementen bildenden Pixeln. Die Flächenkamera 3 besteht dabei bevorzugt aus einem CCD- oder CMOS-Array. Die die Beleuchtungseinheit bildenden Leuchtdioden 4 sind der Flächenkamera 3 vorgeordnet und befinden sich im Randbereich der Flächenkamera 3, so dass mit der von den Leuchtdioden 4 emittierten Lichtstrahlen 6 eine Erfassungsebene E, in welcher zu detektierende Objekte angeordnet sind, vollständig ausgeleuchtet wird. Die von der Erfassungsebene rückreflektierten Lichtstrahlen 6 treffen auf die Flächenkamera 3. Die dadurch in den einzelnen Pixeln generierten Ausgangssignale werden aus der Flächenkamera 3 ausgelesen und in eine Auswerteeinheit 7 übertragen, in welcher die Auswertung der Ausgangssignale erfolgt. Im vorliegenden Fall ist die Auswerteeinheit 7 im Sensorgehäuse 2 integriert, prinzipiell kann die Auswerteeinheit 7 auch außerhalb des Sensorgehäuses 2 angeordnet sein. Die Auswerteeinheit 7 besteht aus einem Mikroprozessor oder einer Anordnung von Mikroprozessoren. 1 shows schematically the structure of an embodiment of the optical sensor according to the invention 1 , The optical sensor 1 has a sensor housing 2 on, in which as sensor components a surface camera 3 and a lighting unit in the form of an array of light-emitting diodes 4 are arranged. The area camera 3 and the lighting unit can also be associated with optical elements, which in 1 not shown separately. The area camera 3 is at a recording 5 in the sensor housing 2 stored and consists of a matrix-shaped arrangement of photosensitive elements forming pixels. The area camera 3 consists preferably of a CCD or CMOS array. The lighting unit forming light-emitting diodes 4 are the area camera 3 upstream and are located in the edge area of the area camera 3 so that with the of the light emitting diodes 4 emitted light rays 6 a detection plane E, in which objects to be detected are arranged, is completely illuminated. The light rays reflected back from the detection plane 6 meet on the surface camera 3 , The output signals generated thereby in the individual pixels become out of the area camera 3 read out and into an evaluation unit 7 transmitted, in which the evaluation of the output signals. In the present case, the evaluation unit 7 in the sensor housing 2 integrated, in principle, the evaluation 7 also outside the sensor housing 2 be arranged. The evaluation unit 7 consists of a microprocessor or an array of microprocessors.

Der optische Sensor 1 bildet ein Barcodelesegerät, das heißt einen Sensor zur Detektion von Barcodes 8. Dementsprechend ist in der Auswerteeinheit 7 eine Dekodiereinheit implementiert, in welcher das von einer Folge von hellen und dunklen Modulen, das heißt Strichelementen gebildete Barcodemuster dekodiert werden kann.The optical sensor 1 forms a barcode reader, that is a sensor for the detection of barcodes 8th , Accordingly, in the evaluation unit 7 implements a decoding unit in which the barcode pattern formed by a sequence of light and dark modules, that is to say bar elements, can be decoded.

Die Auswerteeinheit 7 dient weiterhin auch zur Steuerung der Funktionen der Flächenkamera 3 und der Beleuchtungseinheit. Insbesondere wird die Belichtungszeit der Flächenkamera 3 elektronisch gesteuert. Im vorliegenden Fall ist zur Steuerung der Belichtungszeiten ein sogenannter Rolling Shutter vorgesehen. Mit dem Rolling Shutter werden rollierend die Pixel-Zeilen der Flächenkamera 3 einzeln nacheinander belichtet. Dabei ist die Beleuchtungseinheit für die komplette Bildaufnahmezeit der Flächenkamera 3 aktiviert und beleuchtet dabei die zu erfassende Objektstruktur. Prinzipiell könnte auch ein sogenannter Global Shutter vorgesehen sein. In diesem Fall werden alle Pixel der Flächenkamera 3 gleichzeitig belichtet.The evaluation unit 7 also serves to control the functions of the area camera 3 and the lighting unit. In particular, the exposure time of the area camera 3 electronically controlled. In the present case, a so-called rolling shutter is provided for controlling the exposure times. With the Rolling Shutter, the pixel lines of the area camera are rolling 3 individually exposed one after the other. The illumination unit for the complete image acquisition time is the area camera 3 activates and illuminates the object structure to be detected. In principle, a so-called global shutter could be provided. In this case, all pixels of the area camera 3 exposed simultaneously.

Die zu detektierenden Barcodes 8 können hohe Dichten aufweisen, das heißt sie bestehen aus einer Folge von Modulen geringer Breiten, die typischerweise im Bereich von 0,1 mm bis 0,2 mm liegen können, wobei ein Barcode 8 mehrere Hundert derartiger Module aufweisen kann. Um derartige Barcodes 8 hoher Dichte detektieren zu können, weist die Flächenkamera 3 eine entsprechend hohe Auflösung, das heißt eine hohe Anzahl von Pixel auf, die typischerweise mehr als eine Million beträgt.The barcodes to be detected 8th can have high densities, that is, they consist of a series of modules of small widths, which can typically be in the range of 0.1 mm to 0.2 mm, with a barcode 8th can have several hundred such modules. To such barcodes 8th To detect high density, has the area camera 3 a correspondingly high resolution, that is to say a high number of pixels, which is typically more than one million.

2a zeigt eine Draufsicht auf die rechteckige lichtempfindliche Fläche der Flächenkamera 3, die im vorliegenden Fall eine Länge von 110 mm, entsprechend einer Zahl von 2592 Pixeln, und eine Breite von 82,5 mm, entsprechend einer Zahl von 1944 Pixeln, aufweist. Die Gesamtzahl der Pixel der Flächenkamera 3 liegt damit etwa bei 5,03 MPixeln, das heißt 5,03·106 Pixeln. 2a shows a plan view of the rectangular photosensitive surface of the area camera 3 , which in the present case has a length of 110 mm, corresponding to a number of 2592 pixels, and a width of 82.5 mm, corresponding to a number of 1944 pixels. The total number of pixels of the area camera 3 is thus about 5.03 MPixeln, that is 5.03 · 10 6 pixels.

Die maximale Pixelleserate der Flächenkamera 3 liegt im vorliegenden Fall bei ca. 96 MPixel/sec. Damit ergibt sich für die Flächenkamera 3 gemäß 2a eine Bildaufnahmerate, die durch den Quotienten 96 MPixel/sec/5,03 MPixel definiert ist, in Höhe von ca. 13 fps (frames per second).The maximum pixel read rate of the area camera 3 is in the present case at about 96 MPixel / sec. This results for the area camera 3 according to 2a an image acquisition rate defined by the quotient 96 MPixel / sec / 5.03 MPixel, at approximately 13 fps (frames per second).

Müssen mit dem optischen Sensor 1 in einer schnellen Folge nacheinander unterschiedliche Barcodes 8 erfasst werden, die insbesondere in verschiedenen Orientierungen zum optischen Sensor 1 angeordnet sein können um alle Barcodes 8 erfassen zu können.Need with the optical sensor 1 consecutively different barcodes in a fast sequence 8th be detected, in particular in different orientations to the optical sensor 1 can be arranged around all barcodes 8th to be able to capture.

Um die Bildaufnahmerate des optischen Sensors 1 zu erhöhen, ist für diesen eine dynamische Fensterung der Flächenkamera 3 vorgesehen. Dies wird anhand des Beispiels gemäß den 2b und 2c veranschaulicht. 2b zeigt ein erstes Fenster F1 als Teilausschnitt der Flächenkamera 3. Dieses Fenster F1 bildet einen rechteckigen Ausschnitt der Länge 80 mm und der Breite 20 mm innerhalb der Flächenkamera 3, wobei die Längsachse des Fensters F1 entlang der Längsachse der Flächenkamera 3 verläuft. Das Fenster F1 umfasst etwa 0,9 MPixel. Das Fenster F1 bildet eine über die Auswerteeinheit 7 programmierbare und selektiv aktivierbare Teilfläche der Flächenkamera 3. Dies bedeutet, dass bei Aktivierung des Fensters F1 nur die Pixel dieses Fensters F1, nicht aber die restlichen Pixel der Flächenkamera 3 ausgelesen werden. Damit erhöht sich die Bildaufnahmerate gegenüber der Flächenkamera 3 ohne Fensterung von 13 fps auf etwa 63,2 fps.To the image acquisition rate of the optical sensor 1 To increase, is for this a dynamic fenestration of the area camera 3 intended. This is done by the example according to the 2 B and 2c illustrated. 2 B shows a first window F1 as a partial section of the area camera 3 , This window F1 forms a rectangular section of length 80 mm and width 20 mm within the area camera 3 , wherein the longitudinal axis of the window F1 along the longitudinal axis of the area camera 3 runs. The window F1 comprises about 0.9 MPixel. The window F1 forms a via the evaluation unit 7 programmable and selectively activatable subarea of the area camera 3 , This means that when the window F1 is activated only the pixels of this window F1, but not the remaining pixels of the area camera 3 be read out. This increases the image acquisition rate compared to the area camera 3 without windowing from 13 fps to about 63.2 fps.

2c zeigt ein zweites Fenster F2 als Teilausschnitt der Flächenkamera 3. Dieses Fenster F2 bildet einen rechteckigen Ausschnitt am linken Rand der Flächenkamera 3, wobei die Längsachse des Fensters F2 quer zur Längsachse der Flächenkamera 3 liegt. Das Fenster F2 weist eine Länge von 82,5 mm und eine Breite von 25 mm auf. Somit umfasst das Fenster F2 etwa 1,25 MPixel. Wird über die Auswerteeinheit 7 das Fenster F2 aktiviert, so werden nur die Pixel im Fenster F2, nicht jedoch die restlichen Pixel der Flächenkamera 3 ausgelesen. Damit erhöht sich die Bildaufnahmerate gegenüber der Flächenkamera 3 ohne Fensterung von 13 fps auf etwa 29,5 fps. 2c shows a second window F2 as a partial section of the area camera 3 , This window F2 forms a rectangular cutout on the left edge of the area camera 3 , wherein the longitudinal axis of the window F2 transverse to the longitudinal axis of the Flächenkame ra 3 lies. The window F2 has a length of 82.5 mm and a width of 25 mm. Thus, window F2 comprises about 1.25 MPixels. Is via the evaluation unit 7 If the window F2 is activated, only the pixels in window F2 are activated, but not the remaining pixels of the area camera 3 read. This increases the image acquisition rate compared to the area camera 3 without windowing from 13 fps to about 29.5 fps.

Durch in der Auswerteeinheit 7 vorgesehene Umschaltmittel kann eine dynamische Fensterung der Flächenkamera 3 derart erfolgen, dass fortlaufend eine Umschaltung zwischen den Fenstern F1 und F2 erfolgt. Die Umschaltung er folgt zweckmäßig in Abhängigkeit eines von einer übergeordneten Logik generierten Triggersignals. Das Triggersignal ist dabei applikationsspezifisch so gewählt, dass die Fenster F1, F2 an die Lage und Orientierung des aktuell zu erfassenden Barcodes 8 angepasst sind. Diese Anpassung ist dabei so ausgebildet, dass die Lagen und Orientierungen der Fenster F1, F2 derart beschaffen sind, dass der jeweils zu erfassende Barcode 8 vollständig innerhalb des Fensters erfasst wird.Through in the evaluation unit 7 provided switching means can dynamic windowing of the area camera 3 be done so that continuously switching between the windows F1 and F2 takes place. The switching he expediently follows depending on a generated by a higher-level logic trigger signal. The trigger signal is chosen application specific so that the windows F1, F2 to the location and orientation of the currently to be detected barcode 8th are adjusted. This adaptation is designed so that the positions and orientations of the windows F1, F2 are such that the respective barcode to be detected 8th completely within the window.

Ein spezifischer Anwendungsfall für den optischen Sensor 1 gemäß 1 mit einer dynamischen Fensterung der Flächenkamera 3 gemäß 2b, 2c ist in den 3 und 4 dargestellt. Die 3 und 4 zeigen dabei eine Applikation zur automatisierten Barcodedetektion im Bereich der Blutanalyse. Dabei ist, wie in den 3 und 4 dargestellt, eine lineare Förderstrecke 9 vorgesehen, auf welcher mit einer Geschwindigkeit v unterschiedliche Einheiten bewegt werden können.A specific application for the optical sensor 1 according to 1 with a dynamic windowing of the area camera 3 according to 2 B . 2c is in the 3 and 4 shown. The 3 and 4 show an application for automated barcode detection in the field of blood analysis. It is, as in the 3 and 4 represented, a linear conveyor line 9 provided on which at a speed v different units can be moved.

Bei der Anordnung gemäß 3 wird ein Einschub 10 mit Teströhrchen 11 auf der Förderstrecke 9 gefördert. Auf jedem Teströhrchen 11 ist ein Barcode 8 angeordnet. Diese Barcodes 8 müssen mit dem in Abstand zur Förderstrecke 9 angeordneten optischen Sensor 1 erfasst werden. In 3, wie auch in 4, ist nur die lichtempfindliche Fläche der Flächenkamera 3 des optischen Sensors 1 dargestellt, um die Orientierung der Flächenkamera 3 relativ zur Förderstrecke 9 zu zeigen.In the arrangement according to 3 becomes a slot 10 with test tube 11 on the conveyor line 9 promoted. On every test tube 11 is a barcode 8th arranged. These barcodes 8th must be with the distance to the conveyor line 9 arranged optical sensor 1 be recorded. In 3 as well as in 4 , is only the photosensitive surface of the area camera 3 of the optical sensor 1 shown to the orientation of the area camera 3 relative to the conveyor line 9 to show.

Wie aus 3 ersichtlich, sind die Teströhrchen 11 mit in vertikaler Richtung orientierten Längsachsen im Einschub 10 orientiert. Die Barcodes 8 auf den Teströhrchen 11 sind entsprechend in vertikaler Richtung orientiert. Um die Barcodes 8 auf den Teströhrchen 11 einzeln nacheinander erfassen zu können, wird durch die Umschaltmittel in der Auswerteeinheit 7 des optischen Sensors 1, wie in 3 dargestellt, durch die dynamische Fensterung das Fenster F1 gemäß 2b aktiviert. Damit erfolgt die Triggerung über die übergeordnete Logik derart, dass das Fenster F1 immer so aktiviert wird, dass ein Barcode 8 eines Teströhrchens 11 innerhalb des Fensters F1 liegt. Wie aus 3 ersichtlich, ist hierzu die Größe und Lage des Fensters F1 so an die Barcodes 8 auf dem Teströhrchen 11 angepasst, dass immer ein Barcode 8 eines Teströhrchens 11 gerade in das Fenster F1 passt.How out 3 As can be seen, the test tubes are 11 with longitudinal axes oriented in the vertical direction in the slot 10 oriented. The barcodes 8th on the test tube 11 are oriented accordingly in the vertical direction. To the barcodes 8th on the test tube 11 to be able to detect individually one after the other is controlled by the switching means in the evaluation unit 7 of the optical sensor 1 , as in 3 represented by the dynamic fenestration window F1 according to 2 B activated. Thus, the triggering via the superordinate logic is such that the window F1 is always activated so that a barcode 8th a test tube 11 within the window F1. How out 3 can be seen, this is the size and location of the window F1 so to the barcodes 8th on the test tube 11 adapted that always a barcode 8th a test tube 11 just fits into the F1 window.

Der Abstand zwischen zwei Teströhrchen 11 beträgt im vorliegenden Fall ca. 20 mm, die Einschubgeschwindigkeit der Teströhrchen 11 liegt etwa bei 0,5 m/s. Damit müssen mit dem optischen Sensor 1 etwa 25 Barcodes 8 pro Sekunde erfasst werden. Mit der Bildaufnahmerate bei der Flächenkamera 3 ohne Fensterung, die bei 13 fps liegt, wäre dies nicht möglich. Durch die Fensterung der Flächenkamera 3 wird jedoch eine Bildaufnahmerate von 63 fps erzielt, die weit oberhalb der erforderlichen Barcoderate von 25 Barcodes/Sekunde liegt, so dass eine sichere Erfassung aller Barcodes 8 auf dem Teströhrchen 11 gewährleistet ist.The distance between two test tubes 11 in the present case is about 20 mm, the insertion speed of the test tube 11 is about 0.5 m / s. This must be done with the optical sensor 1 about 25 barcodes 8th be detected per second. With the image acquisition rate of the area camera 3 without windowing, which is 13 fps, this would not be possible. Through the fenestration of the area camera 3 However, an image acquisition rate of 63 fps is achieved, which is well above the required barcode rate of 25 barcodes / second, allowing for secure capture of all barcodes 8th on the test tube 11 is guaranteed.

Bei der Anordnung gemäß 4 wird eine Microtiterplatte 12 auf der Förderstrecke 9 gefördert. Auf der Microtiterplatte 12 sind in horizontaler Richtung verlaufende Barcodes 8 angeordnet. Um diese Barcodes 8 mit den optischen Sensoren 1 erfassen zu können wird in diesem Fall über die Umschaltmittel das zweite Fenster F2 für die Flächenkamera 3 aktiviert. Dieses zweite Fenster F2 ist hinsichtlich Lage und Größe an die Größen und Orientierungen der Barcodes 8 auf der Microtiterplatte 12 angepasst. Über das Triggersignal wird die dynamische Fensterung so durchgeführt, dass jeder Barcode 8 auf der Microtiterplatte 12 exakt in das Fenster F2 fällt und so vollständig erfasst werden kann.In the arrangement according to 4 becomes a microtiter plate 12 on the conveyor line 9 promoted. On the microtiter plate 12 are horizontal barcodes 8th arranged. To these barcodes 8th with the optical sensors 1 In this case the second window F2 for the area camera can be detected via the switching means 3 activated. This second window F2 is in terms of location and size of the sizes and orientations of the barcodes 8th on the microtiter plate 12 customized. The dynamic windowing is carried out via the trigger signal in such a way that each barcode 8th on the microtiter plate 12 exactly in the window F2 falls and can be fully detected.

Durch die Fensterung der Flächenkamera 3 mit dem Fenster F2 werden Bildaufnahmeraten in Höhe von 29,5 fps erzielt, die wiederum oberhalb der Barcoderate liegen, so dass sämtliche Barcodes 8 auf der Microtiterplatte 12 sicher erfasst werden können.Through the fenestration of the area camera 3 The F2 window achieves image capture rates of 29.5 fps, which in turn are above the barcode rate, so all barcodes 8th on the microtiter plate 12 can be safely detected.

11
Optischer Sensoroptical sensor
22
Sensorgehäusesensor housing
33
FlächenkameraAreascan
44
LeuchtdiodenLEDs
55
Aufnahmeadmission
66
Lichtstrahlenlight rays
77
Auswerteeinheitevaluation
88th
Barcodebarcode
99
Förderstreckeconveyor line
1010
Einschubinsertion
1111
Teströhrchentest tube
1212
Microtiterplattemicrotiter
Ee
ErfassungsebeneInput level
F1F1
Fensterwindow
F2F2
Fensterwindow

Claims (10)

Optischer Sensor (1) zur Erfassung von Barcodes (8), mit einer eine matrixfömige Anordnung von Pixeln aufweisenden Flächenkamera (3) und einer Auswerteeinheit (7), in welcher zur Dekodierung der Barcodes (8) Ausgangssignale der Pixel der Flächenkamera (3) ausgewertet werden, dadurch gekennzeichnet, dass Umschaltmittel vorgesehen sind, mittels derer eine dynamische Umschaltung zwischen unterschiedlichen Fenstern als Teilbereichen der Flächenkamera (3) erfolgt, wobei die Pixel innerhalb des Fensters selektiv auslesbar sind, und wobei die verschiedenen Fenster so dimensioniert sind, dass in diesen Barcodes (8) unterschiedlicher Orientierung erfassbar sind.Optical sensor ( 1 ) for capturing barcodes ( 8th ), with a surface-mounted camera having a matrix-shaped arrangement of pixels ( 3 ) and an evaluation unit ( 7 ), in which the decoding of the barcodes ( 8th ) Output signals of the pixels of the area camera ( 3 ) are evaluated, characterized in that switching means are provided by means of which a dynamic switching between different windows as subregions of the area camera ( 3 ), wherein the pixels within the window are selectively readable, and wherein the different windows are dimensioned such that in these bar codes ( 8th ) of different orientation can be detected. Optischer Sensor nach Anspruch 1, dadurch gekennzeichnet, dass mit dem Umschaltmittel eine Umschaltung zwischen zwei unterschiedlichen Fenstern erfolgt, wobei das erste Fenster einen Teilbereich der Flächenkamera (3) bildet, der so dimensioniert ist, dass waagerecht zum optischen Sensor (1) orientierte Barcodes (8) in diesem erfassbar sind, und wobei das zweite Fenster einen Teilbereich der Flächenkamera (3) bildet, der so dimensioniert ist, dass senkrecht zum optischen Sensor (1) orientierte Barcodes (8) in diesem erfassbar sind.Optical sensor according to claim 1, characterized in that the switching means is a switching between two different windows, wherein the first window a portion of the area camera ( 3 ), which is dimensioned so that horizontally to the optical sensor ( 1 ) oriented barcodes ( 8th ) are detectable in this, and wherein the second window, a portion of the area camera ( 3 ) which is dimensioned so that perpendicular to the optical sensor ( 1 ) oriented barcodes ( 8th ) are detectable in this. Optischer Sensor nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Umschaltmittel durch ein externes Triggersignal steuerbar sind.Optical sensor according to one of claims 1 or 2, characterized in that the switching means by an external Trigger signal are controllable. Optischer Sensor nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Flächenkamera (3) von einem CMOS- oder CCD-Array gebildet ist.Optical sensor according to one of claims 1 to 3, characterized in that the area camera ( 3 ) is formed by a CMOS or CCD array. Optischer Sensor nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Belichtungszeiten der Pixel der Flächenkamera (3) elektronisch steuerbar sind.Optical sensor according to one of claims 1 to 4, characterized in that the exposure times of the pixels of the area camera ( 3 ) are electronically controllable. Optischer Sensor nach Anspruch 5, dadurch gekennzeichnet, dass die Pixel der Flächenkamera (3) zeilenweise rollierend einzeln nacheinander belichtet werden.Optical sensor according to claim 5, characterized in that the pixels of the area camera ( 3 ) are exposed line by line rolling one at a time. Optischer Sensor nach Anspruch 5, dadurch gekennzeichnet, dass alle Pixel der Flächenkamera (3) gleichzeitig belichtet werden.Optical sensor according to claim 5, characterized in that all pixels of the area camera ( 3 ) are exposed simultaneously. Optischer Sensor nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass dieser eine Beleuchtungseinheit aufweist.Optical sensor according to one of claims 1 to 7, characterized in that this is a lighting unit having. Optischer Sensor nach Anspruch 8, dadurch gekennzeichnet, dass die Beleuchtungseinheit von einer Anordnung von Leuchtdioden (4) gebildet ist.Optical sensor according to claim 8, characterized in that the illumination unit of an array of light emitting diodes ( 4 ) is formed. Optischer Sensor nach einem der Ansprüche 8 oder 9, dadurch gekennzeichnet, dass die Beleuchtungseinheit jeweils über die komplette Belichtungszeit der Flächenkamera (3) aktiviert ist.Optical sensor according to one of claims 8 or 9, characterized in that the illumination unit in each case over the entire exposure time of the area camera ( 3 ) is activated.
DE200910008893 2009-02-13 2009-02-13 Optical sensor Active DE102009008893B4 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE200910008893 DE102009008893B4 (en) 2009-02-13 2009-02-13 Optical sensor
CH1602010A CH700361B1 (en) 2009-02-13 2010-02-10 Optical sensor.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE200910008893 DE102009008893B4 (en) 2009-02-13 2009-02-13 Optical sensor

Publications (2)

Publication Number Publication Date
DE102009008893A1 DE102009008893A1 (en) 2010-10-28
DE102009008893B4 true DE102009008893B4 (en) 2010-12-23

Family

ID=42556536

Family Applications (1)

Application Number Title Priority Date Filing Date
DE200910008893 Active DE102009008893B4 (en) 2009-02-13 2009-02-13 Optical sensor

Country Status (2)

Country Link
CH (1) CH700361B1 (en)
DE (1) DE102009008893B4 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012104582A1 (en) * 2012-05-29 2013-12-05 Leuze Electronic Gmbh & Co. Kg Optical sensor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4916298A (en) * 1987-11-06 1990-04-10 Sgs-Thomson Microelectronics Sa Method for the optical reading of bar codes
DE102004018404A1 (en) * 2004-04-16 2005-11-03 Leuze Electronic Gmbh & Co Kg Optoelectronic device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4916298A (en) * 1987-11-06 1990-04-10 Sgs-Thomson Microelectronics Sa Method for the optical reading of bar codes
DE102004018404A1 (en) * 2004-04-16 2005-11-03 Leuze Electronic Gmbh & Co Kg Optoelectronic device

Also Published As

Publication number Publication date
CH700361B1 (en) 2014-08-15
CH700361A2 (en) 2010-08-13
DE102009008893A1 (en) 2010-10-28

Similar Documents

Publication Publication Date Title
EP1586866B1 (en) Optoelectronic method of determining the postion of a sensor for compensating adjustment errors
EP1989659B1 (en) Analytic consumable means and device for reading information
EP2546776B1 (en) Camera-based code reader and method for its adjusted manufacture
DE102018105301A1 (en) Camera and method for capturing image data
EP3663963B1 (en) Reading of optical codes
EP2620894B1 (en) Optoelectronic sensor and method for recording object information
DE202006020599U1 (en) Optical detection of moving objects and device
EP3892955B1 (en) Camera and method for detecting image data
DE3524806A1 (en) DEVICE FOR DETECTING OPTICAL BRANDS ON A FILM CARRIER RELATIVELY MOVING TO THE DEVICE
EP3893051B1 (en) Detection of image data of a moving object
EP2622536A1 (en) Apparatuses and methods for detecting optical barcodes
DE102004056698B3 (en) Inspection device for a substrate having at least one printed layer
DE102009008893B4 (en) Optical sensor
EP3139309B1 (en) Sensor arrangement for the detection of specimen containers
EP2202075A2 (en) Method and device for monitoring pressure by means of line scan camera
DE102012105100B4 (en) Optical sensor
EP4075394B1 (en) Detecting moving flows of objects
CH706778B1 (en) Method for detecting codes applied to sample carriers and sample tubes by means of a sensor arrangement.
DE202012101809U1 (en) Optical sensor
DE202015100438U1 (en) Opto-electronic sensor for the acquisition of object information
DE202012101803U1 (en) Optical sensor
EP3875218B1 (en) Method and device for determining the relative position between an object and a detector
EP4102293B1 (en) Camera and method for detecting objects moving through a surveillance area
DE202018103537U1 (en) Optical sensor
EP3399336B1 (en) Positioning device

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8364 No opposition during term of opposition
R020 Patent grant now final

Effective date: 20110323