DE19606819A1

DE19606819A1 - Combination scanner

Info

Publication number: DE19606819A1
Application number: DE19606819A
Authority: DE
Inventors: Joachim Schwarzkopf; Heinz Dr Sommer
Original assignee: Wincor Nixdorf International GmbH
Current assignee: Wincor Nixdorf International GmbH
Priority date: 1996-02-23
Filing date: 1996-02-23
Publication date: 1997-08-28
Also published as: WO1997031328A1

Abstract

The invention concerns an arrangement for determining the number of an article, according to which the article in question is identified from a common video image of the article (21), from a code (22) applied thereto and by determining the article type (13). The number of the article is determined by combining (14) the results.

Description

Technical field

Das Verfahren betrifft die Feststellung der Art eines Gegenstands, insbesondere von Artikelnummer bei Kassen systemen.The procedure concerns the determination of the type of a Item, in particular of article number at cash registers systems.

State of the art

Insbesondere im Einzelhandel zu verkaufende Waren sind mit einem Strichcode versehen, der beim Kassiervorgang abgetastet wird und die Art des Artikels angibt, worauf hin die Kassiereinrichtung den aktuell gültigen Preis aus einer elektronischen Tabelle ermittelt und entsprechend addiert.Goods to be sold in particular in retail provided with a barcode that is used during the checkout process is scanned and the type of item indicates what towards the cashier the current price determined in an electronic table and accordingly added.

In der DE 38 13 725 A1 wird eine entsprechende Einrichtung beschrieben, in der eine Videokamera den zu klassifizie renden Gegenstand erfaßt und den Strichcode zu erkennen versucht. Geht dieser Versuch fehl, so wird das Bild der Videokamera zu einer Zentrale geleitet, die manuell oder automatisch den Gegenstand bestimmt oder anderswie über ihn disponiert. Diese Anordnung erfordert eine Unterbre chung, wenn der Strichcode nicht lesbar ist, und hat ins besondere keine Sicherheiten gegen unrichtige Strichcodes, beispielsweise veränderte Etiketten.A corresponding device is described in DE 38 13 725 A1 described in which a video camera to classify detects the object and recognize the bar code tries. If this attempt is unsuccessful, the picture of Video camera directed to a central, which can be done manually or automatically determines the object or otherwise scheduled him. This arrangement requires an undersize if the barcode is not legible, and has ins special no security against incorrect barcodes, for example changed labels.

Es ist Aufgabe der Erfindung, diese Nachteile zu reduzie ren. It is an object of the invention to reduce these disadvantages ren.

Diese Aufgabe wird dadurch gelöst, daß das Bild einer Vi deokamera gleichzeitig auf das Bild eines Strichcodes hin untersucht als auch einer Mustererkennung unterworfen wird. Liefert einer der beiden, auf dasselbe Videosignal bzw. gespeicherte Videobild wirkende Detektoren eine si chere Erkennung, wird diese verwendet. Liefern beide ein Signal für eine sichere Erkennung, so muß der erkannte Code gleich sein oder einer der beiden Detektoren muß melden, daß einer Erkennung nicht möglich war.This object is achieved in that the image of a Vi deokamera simultaneously on the image of a bar code examined as well as subjected to a pattern recognition becomes. Returns one of the two on the same video signal or stored video image detectors a si recognition, it is used. Deliver both Signal for a safe detection, so the recognized Code must be the same or one of the two detectors report that detection was not possible.

Es handelt sich also um eine Anordnung zur Bestimmung ei ner Gegenstandsnummer, bei aus einem gemeinsamen Video bild des Gegenstand sowohl ein an dem Gegenstand ange brachter Code als auch durch Mustererkennung der Gegen stand an sich bestimmt wird und durch Kombination der Er gebnisse die Nummer des Gegenstands bestimmt wird.It is therefore an arrangement for determining egg ner item number, from a shared video picture of the object and one attached to the object brought code as well as by pattern recognition of the counter was determined in itself and by combining the Er results the number of the item is determined.

Brief description of the drawings

Es zeigenShow it

Fig. 1 die Anordnung der Komponenten, Fig. 1 shows the arrangement of the components,

Fig. 2 eine Anwendung mit mehreren Videokameras. Fig. 2 shows an application with several video cameras.

Detailed description of the invention

Fig. 2 zeigt auf einer Unterlage 20 einen Gegenstand 21, durch eine Schachtel symbolisiert, auf den eine optisch maschinenlesbare Codierung 22, hier durch einen Strich code symbolisiert, aufgebracht ist. Der Gegenstand 21 wird durch eine oder mehrere Videokameras 24a . . . d abgeta stet, die beispielsweise an Ständern 23a . . . d befestigt sind. Ferner kann die Unterlage 20 auch beweglich gestal tet sein, so daß der Gegenstand 21 verschoben oder ge dreht werden kann, ohne daß dies für die Erfindung not wendig ist. Fig. 2 shows on a substrate 20 an object 21, symbolized by a box on which an optically machine readable code 22, symbolized here by a line code, is applied. The object 21 is through one or more video cameras 24 a. . . d abgeta stet, for example on stands 23 a. . . d are attached. Furthermore, the pad 20 can also be movably designed, so that the object 21 can be moved or rotated without this being necessary for the invention.

Fig. 1 zeigt ein Blockschaltbild für die Verarbeitung des Videobildes, das von einer Videokamera 10, die eine der in Fig. 2 gezeigten Videokameras 24a . . . d sein kann, aufge nommen wird. Das Signal der Videokamera wird in einer Di gitalisiereinrichtung 11 in ein für die weitere Verarbei tung sinnvolles Format umgewandelt und beispielsweise als digitalisiertes Bild in einem Speicher abgelegt. Dieses Bild oder auch ein aufbereitetes Videosignal wird einer seits einem Decoder 12 zugeführt, welcher aus den Bildda ten die Codierung 22 zu ermitteln versucht. Dies ge schieht beispielsweise, indem eine Strichcodeerkennung auf die Zeilen des Bildsignals angewendet wird und ein Strichcode als erkannt angesehen wird, wenn in mindestens drei aufeinanderfolgenden Zeilen derselbe Strichcode de codiert wurde. Andere Verfahren sind beliebig einsetzbar, sofern sie auf einem, ggf. digitalisierten, Videobild aufbauen und entweder einen erkannten Code liefern oder ein Signal, welches meldet, daß kein Code erkannt wurde. Dieses kann selbstverständlich ein spezieller Code wie Null sein. Fig. 1 shows a block diagram for the processing of the video image by a video camera 10 , one of the video cameras 24 a shown in Fig. 2. . . d can be recorded. The signal of the video camera is converted in a digitizing device 11 into a format useful for further processing and is stored, for example, as a digitized image in a memory. This image or a processed video signal is supplied on the one hand to a decoder 12 , which tries to determine the coding 22 from the image data. This happens, for example, by applying a bar code recognition to the lines of the image signal and a bar code being regarded as recognized if the same bar code has been decoded in at least three successive lines. Other methods can be used as long as they are based on a possibly digitized video image and either deliver a recognized code or a signal which reports that no code has been recognized. Of course, this can be a special code such as zero.

Das dem Decoder 12 zugeführte Signal wird gleichzeitig einer Mustererkennung 13 zugeführt, die eine Korrelation mit vorgegebenen Mustern durchführt. Hierfür haben sich neuronale Netze bewährt. Auch diese Mustererkennung lie fert eine Code für das erkannte Muster oder ein Signal, daß keines der bekannten Muster erkannt wurde.The signal supplied to the decoder 12 is simultaneously fed to a pattern recognition 13 , which carries out a correlation with predetermined patterns. Neural networks have proven successful for this. This pattern recognition also provides a code for the recognized pattern or a signal that none of the known patterns has been recognized.

Zweckmäßig, aber nicht notwendig, verwenden beide, der Decoder und die Mustererkennung, denselben Coderaum, in dem einerseits die Codes enthalten sind, die der Decoder liest. Zusätzlich sind, wie weiter unten noch erläutert wird, Codes für Artikelformen enthalten. Zweckmäßig ist eine Unterscheidung z. B. an erster Stelle der Codenummer. Wird die Nummer "Null" für "ungültig" verwendet, so ver einfachen sich die nachfolgenden Schritte, wie bekannt und leicht ersichtlich ist.Appropriate, but not necessary, use both of the Decoder and pattern recognition, the same code space, in which on the one hand contains the codes that the decoder read. In addition, as explained below will contain codes for article forms. Is expedient a distinction z. B. in the first place the code number. If the number "zero" is used for "invalid", then ver follow the simple steps, as is known and is easy to see.

Die Ausgangssignale des Decoders 12 und der Mustererken nung 13 werden einem Zuordner 14 zugeführt, welcher aus den beiden Signalen ein neues Signal kombiniert. Dabei arbeitet ein einfacher Zuordner 14 wie folgt:
Wenn weder der Decoder 12 noch die Mustererkennung 13 ein gültiges Signal erkennen, gibt der Zuordner 14 gleich falls eine Meldung aus, das kein gültiges Signal erkannt wurde. Liefert der Decoder 12 einen gültigen Code und die Musterkennung 13 keinen gültigen Code, so wird der Code des Decoders ausgegeben. Liefert der Decoder 12 einen gültigen Code und die Mustererkennung 13 einen gültigen Code, so wird festgestellt, ob der Code der Mustererken nung 13 zu dem Code des Decoders 12 paßt. Hierbei wird be rücksichtigt, daß eine Anzahl von Artikeln nur schwer durch das Bild zu unterscheiden sind, beispielsweise zwei Flaschen Wein unterschiedlicher Herkunft, die nur durch die Schrift auf dem Etikett unterscheidbar sind. Dies be deutet, daß die von der Mustererkennungseinrichtung be reitgestellte Codes danach zu unterscheiden sind, ob sie eindeutig eine einzelne Waren bestimmen oder nur eine Klasse von Waren. Im ersteren Fall wird zweckmäßig der selbe Code weitergegeben, den die Decodiereinrichtung für diesen Gegenstand auch ermitteln würde. Damit wird der Zuordner insofern vereinfacht, als gleiche Codes ohne weitere Verarbeitung weitergegeben werden können. Je nach Leistungsfähigkeit der Mustererkennung kann die Anzahl der Waren, die eindeutig zu erkennen sind, variieren.The output signals of the decoder 12 and the pattern recognition 13 are fed to an assignor 14 , which combines a new signal from the two signals. A simple allocator 14 works as follows:
If neither the decoder 12 nor the pattern recognition 13 recognize a valid signal, the allocator 14 also issues a message that no valid signal was recognized. If the decoder 12 supplies a valid code and the pattern identifier 13 does not provide a valid code, the code of the decoder is output. If the decoder 12 supplies a valid code and the pattern recognition 13 a valid code, it is determined whether the code of the pattern recognition 13 matches the code of the decoder 12 . It is taken into account that a number of articles are difficult to distinguish by the picture, for example two bottles of wine of different origins, which can only be distinguished by the writing on the label. This means that the codes provided by the pattern recognition device must be distinguished according to whether they uniquely identify a single item or only a class of items. In the former case, the same code is expediently passed on, which the decoding device would also determine for this object. This simplifies the assignment in that the same codes can be passed on without further processing. Depending on the performance of the pattern recognition, the number of goods that can be clearly recognized can vary.

Insbesondere wird der Code des Decoders 12 dazu benutzt, um mittels einer Tabelle die zulässigen Codes der Mu stererkennung 13 zu korrelieren. Ist der Code der Mu stererkennung passend, so wird der Code des Decoders aus gegeben. Andernfalls muß die Erkennung als ungültig ge kennzeichnet werden. Damit wird insbesondere verhindert, daß ein Etikett mit einem Strichcode von einem billigen Gegenstand auf einen teuren Gegenstand übertragen wird, sofern diese Gegenstände ein unterschiedliches Bild ha ben.In particular, the code of the decoder 12 is used to correlate the permissible codes of the pattern recognition 13 by means of a table. If the code of the pattern recognition is suitable, the code of the decoder is output. Otherwise the detection must be marked as invalid. In particular, this prevents a label with a bar code from being transferred from a cheap item to an expensive item, provided that these items have a different image.

Liefert die Decodiereinrichtung keinen gültigen Code, je doch die Bildererkennung, so wird der Code der Bilderken nung weitergegeben. Dabei wird der gesamte Coderaum in die Codes für Artikelnummern und die Codes für Artikel formen unterteilt, wie oben beschrieben, so daß dem Er gebnis entnommen werden kann, ob es sich um eine Artikel nummer oder eine Gruppe von möglichen, gleich aussehenden Artikeln handelt. The decoder does not deliver a valid code, ever but the image recognition, this is the code of the images passed on. The entire code space is in the codes for article numbers and the codes for articles form divided, as described above, so that the Er result can be seen whether it is an article number or a group of possible, identical looking Articles.

Die Ausgabe des Zuordners kann, in einer Anwendung auf Kassenplätze, direkt von der Software der Kasse weiter verarbeitet werden, um über die Artikelnummer den Preis der Ware zu bestimmen und in bekannter Art weiterzuverar beiten. Sofern nur die mehrdeutige Artikelklasse erkannt wurde, kann eine Option vorgesehen werden, der eine Liste der möglichen Waren dem Kunden auf einer Anzeige anbietet und der Kunde die zutreffende Angabe auswählen kann.The output of the mapper can, in an application Cash desks directly from the cash register software processed to determine the price via the item number to determine the goods and to process them in a known manner work. If only the ambiguous article class is recognized an option can be provided, which is a list offers the possible goods to the customer on an advertisement and the customer can select the appropriate information.

Eine Verbesserung der Erfindung liegt darin, daß der De coder und die Mustererkennung zusätzlich zu dem Code auch ein Signal über die Güte der Erkennung liefert. Im Falle des Decoders kann dies beispielsweise die Anzahl der Scanlines des Videobildes sein, in denen die bereitge stellte Artikelnummer erkannt wurde. Im Falle einer Mu stererkennung sind die bekannten neuronalen Netze durch aus in der Lage, neben der Nummer des erkannten Musters auch eine Zahl für das Maß der Übereinstimmung mit auszu geben. Damit ist die oben genannte Verarbeitung ein Spe zialfall, bei dem diese Größen binäre Werte sind. Die Verarbeitung in dem Zuordner erfolgt in diesem Fall durch Schwellwertlogiken oder unscharfe (fuzzy) Logik in be kannter Art. Diese liefert dann auch an dem Ausgang ein Maß für die Zuverlässigkeit des Ergebnisses. Hierbei wird die Decodierung ein hohes Gewicht bekommen, ggf. mit ei nem nicht linearen Einfluß. Damit kann die nachfolgende Verarbeitung einen Schwellwert definieren, oberhalb des sen das Ergebnis weiterverarbeitet wird. Ferner kann ein Toleranzbereich definiert werden, innerhalb dessen eine Verbindung zu einer Aufsichtsperson geschaltet oder zur Benutzung eines Handscanners für den Artikelcode aufge fordert wird.An improvement of the invention is that the De coder and pattern recognition in addition to the code too provides a signal about the quality of the detection. In the event of of the decoder, for example, the number of Scanlines of the video image in which the ready provided article number was recognized. In the case of a Mu are the well-known neural networks through from being able to next to the number of the recognized pattern also a number for the degree of agreement with give. So the processing mentioned above is a Spe special case where these quantities are binary values. The In this case, processing in the allocator is carried out by Threshold logic or fuzzy logic in be known type. This then also delivers at the output Measure of the reliability of the result. Here will the decoding is heavy, possibly with an egg non linear influence. So that the following Processing define a threshold above which the result is processed further. Furthermore, a Tolerance range can be defined, within which one Connected to a supervisor or to Use a hand scanner for the item code is requested.

Für den in Fig. 2 angedeuteten Fall, daß mehrere Kameras 24a . . . d gleichzeitig ein Bild ein und desselben Objekts 21 aufnehmen, wird in einer Weiterbildung der Erfindung ein (nicht dargestellter) Entscheider verwendet, der die Aus gangssignale der Zuordner der einzelnen Kameras als Ein gang hat und ein gemeinsames Ausgangssignal liefert. Die ser Entscheider arbeitet ähnlich dem Zuordner, jedoch mit gleicher Gewichtung der Eingänge. In einer einfachen Form werden nur gültige Codes betrachtet und nur dann ein gül tiger Code ausgegeben, wenn die gültigen Codes alle über einstimmen. Auch hier ist eine unscharfe (fuzzy) Logik verwendbar, so daß ein weniger zuverlässiges Ergebnis an dere stützen kann. Wird beispielsweise eine fünfte Kamera oberhalb des Gegenstandes angebracht, so wird deren Ge wicht und auch die Gewichte innerhalb des Zuordners an ders als die der restlichen vier Kameras sein. Beispiels weise wird beobachtet, daß die Kunden, folgend einem Hin weis an der Kasse, die Artikel bevorzugt mit dem Strich code nach oben legen. Damit sollten derart erkannte Strichcodes ein hohes Gewicht erhalten. Umgekehrt ist ei ne Mustererkennung aus schräger Sicht meist zuverlässiger als ein Blick von oben, bei dem die Seiten meist nicht erkennbar sind. Damit wird der Zuordner für die Kamera oberhalb des Gegenstands ein geringes Gewicht auf die Bilderkennung legen. Wie bei dem Zuordner findet auch hier ein Überprüfung des von einer Kamera erkannten Codes durch die von den anderen Kameras gelieferten Musterer kennungs-Ergebnisse statt.For the case indicated in Fig. 2 that several cameras 24 a. . . d at the same time take an image of one and the same object 21 , in a further development of the invention a decision maker (not shown) is used, which has the output signals from the assignments of the individual cameras as an input and provides a common output signal. This decision maker works similarly to the allocator, but with the same weighting of the inputs. In a simple form, only valid codes are considered and a valid code is only issued if the valid codes all match. Here too, fuzzy logic can be used, so that a less reliable result can support others. If, for example, a fifth camera is attached above the object, its weight and the weights within the assignor will be different than that of the remaining four cameras. For example, it is observed that, following a notice at the checkout, customers prefer to put the items up with the bar code. Bar codes recognized in this way should therefore be given great weight. Conversely, a pattern recognition from an oblique view is usually more reliable than a view from above, where the sides are usually not recognizable. This means that the assignor for the camera above the object places little emphasis on image recognition. As with the allocator, the code recognized by one camera is checked by the pattern recognition results provided by the other cameras.

Bei einer Variante der Erfindung mit mehreren Kameras werden die Ausgangssignale aller Decoder und Mustererken ner auf eine gemeinsame Entscheidungslogik gelegt, die dann alle Ausgangswerte bei der Entscheidung, vorzugswei se mit unscharfer Logik, berücksichtigt.In a variant of the invention with several cameras the output signals of all decoders and patterns are recognized put on a common decision logic that then all initial values when deciding, preferably two with fuzzy logic.

Anstelle von mehreren Kameras kann auch eine einzelne Ka mera verwendet werden, deren Position relativ zum Gegen stand veränderbar ist und von der Videobilder gespeichert und sodann in der gleichen Art wie gleichzeitig ermittel te Bilder verarbeitet werden.Instead of several cameras, a single camera can also be used mera are used, their position relative to the opposite stand is changeable and saved from the video images and then determine in the same way as at the same time te images are processed.

Claims

1. Arrangement for the classification of objects ( 21 ) usually marked with an optically scannable code ( 22 ), with the features:

- At least one video image of the object ( 21 ) is captured by an electronic image recording device ( 10 , 11 ),
- The captured video image is fed to a decoder ( 12 ) for decoding the scannable code ( 22 ),
the same video image is fed to a pattern recognizer ( 13 ) which classifies the object from the video image of the external shape, possibly including the surface or the color,
- Decoder ( 12 ) and pattern recognizer ( 13 ) each provide a signal that indicates whether decoding or classification was possible and, if necessary, which is the code or class,
- The signals of both devices are supplied to a folder ( 14 ), which
* outputs the code if the code is recognized and does not contradict the class or no class is recognized,
* and outputs the class if it is recognized and no code is recognized,
* or otherwise outputs a code that represents the unrecognizability.

2. Arrangement according to claim 1, wherein at least two to different times or of different Directions processed video images who processed the and the output signals of the decoders and patterners connoisseurs of a common processing unit which are either a commodity code, a Goods class or issues a signal for invalidity.

3. Arrangement according to claim 2, wherein the processing unit corresponding to the number of video images Number of allocators includes, their output signals be linked by a decision maker who only if all recognized valid codes match and compatibility with recognized classes the code issues.

4. Arrangement according to one of claims 1 to 3, wherein zu folder or decision maker just the equality of determine valid codes.

5. Arrangement according to claim 1 or 2, wherein the signals both facilities combined with a quality value and assigners and possibly decision-makers by means of a suitable processing device, preferably fuzzy logic, a result with one form from certain quality value.

6. Arrangement according to one of the preceding claims, where the classes determined by the pattern recognition a superset of codes determined by the decoder is.

7. Use of an arrangement according to one of claims 1 to 6 in a cash register, the result for one Price determination will continue to be used.

8. Use of an arrangement according to claim 7 in one Cash register, the result for a price determination will continue to be used provided a given cabinet ke for the reliability value is exceeded.