Stand der TechnikState of the art
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Erkennen von Zeichen auf einer digitalen Anzeige, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogramm, insbesondere im Zusammenhang mit Datenfernübertragung, beispielsweise für telemedizinische Anwendungen.The present invention relates to a method for recognizing characters on a digital display, to a corresponding device and to a corresponding computer program, in particular in connection with remote data transmission, for example for telemedical applications.
Algorithmen zur optischen (Schrift-)Zeichenerkennung (OCR = Optical Character Recognition) sind weit verbreitet. Digitale Anzeigen sind beispielsweise im medizinischen Bereich als Teil von durch Patienten bedienbaren Messgeräten verbreitet, wobei im Rahmen von Telemedizin ein Anzeigeinhalt auch von nicht datenübertragungsfähigen Messgeräten an eine zentrale Stelle zu übermitteln ist. Die US 7 624 028 B1 beschreibt ein System zur gesundheitlichen bzw. medizinischen Fernüberwachung.Optical Character Recognition (OCR) algorithms are widely used. For example, digital displays are widely used in the medical field as part of patient-accessible gauges, with telemedicine also requiring the transmission of display content from non-datalectable gauges to a central location. The US Pat. No. 7,624,028 B1 describes a system for health or medical remote monitoring.
Offenbarung der ErfindungDisclosure of the invention
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Erkennen von Zeichen auf einer digitalen Anzeige, weiterhin eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.Against this background, with the approach presented here, a method for recognizing characters on a digital display, furthermore a device which uses this method, and finally a corresponding computer program according to the main claims are presented. Advantageous embodiments emerge from the respective subclaims and the following description.
Gemäß Ausführungsformen der vorliegenden Erfindung können Zeichen auf digitalen Anzeigen mittels eines Algorithmus erkannt werden, der insbesondere Positionen der Zeichen auf der digitalen Anzeige zur Zeichenerkennung nutzt. Für eine solche positionsbasierte bzw. koordinatenbasierte Zeichenerkennung können beispielsweise in Profildaten bzw. Referenzdaten erfasste Eigenschaften unterschiedlicher Typen bzw. Modelle von Anzeigen bzw. Anzeigegeräten verwendet werden. Somit kann insbesondere eine profilbasierte optische Zeichenerkennung für digitale Anzeigen bereitgestellt werden, beispielsweise für Anzeigen vom 7-Segment-Typ, insbesondere für eine Anwendung im Bereich der Telemedizin oder dergleichen.According to embodiments of the present invention, characters on digital displays can be recognized by means of an algorithm, which in particular uses positions of the characters on the digital display for character recognition. For such position-based or coordinate-based character recognition, for example, properties of different types or models of displays or display devices acquired in profile data or reference data can be used. Thus, in particular, a profile-based optical character recognition can be provided for digital displays, for example for displays of the 7-segment type, in particular for an application in the field of telemedicine or the like.
Vorteilhafterweise können gemäß Ausführungsformen der vorliegenden Erfindung insbesondere eine Leistungsfähigkeit, eine Genauigkeit und zusätzlich oder alternativ eine Geschwindigkeit einer Zeichenerkennung von Zeichen auf digitalen Anzeigen verbessert werden. Es kann beispielsweise ein zuverlässiger, generischer Erkennungsalgorithmus bereitgestellt werden, der in einem verkaufsbereiten Produkt verwendet werden kann. Auch kann ein Trainingsaufwand, um den Erkennungsalgorithmus auf unterschiedliche Typen digitaler Anzeigen abzustimmen, aufgrund der Verwendung von gerätespezifischen bzw. anzeigetypspezifischen Profilen bzw. Referenzdaten reduziert werden.Advantageously, according to embodiments of the present invention, in particular performance, accuracy and, additionally or alternatively, speed of character recognition of characters on digital displays can be improved. For example, a reliable, generic detection algorithm can be provided that can be used in a salable product. Also, a training effort to tune the recognition algorithm to different types of digital displays may be reduced due to the use of device specific or display type specific profiles or reference data.
Es wird ein Verfahren zum Erkennen von Zeichen auf einer digitalen Anzeige vorgestellt, wobei das Verfahren folgende Schritte aufweist:A method for recognizing characters on a digital display is presented, the method comprising the following steps:
Ermitteln von Koordinaten von Informationssegmenten der digitalen Anzeige in eingelesenen Bilddaten, die ein aufgenommenes Bild der digitalen Anzeige repräsentieren, unter Verwendung von anzeigetypspezifischen Referenzdaten, die eine vordefinierte Koordinatenkarte für die Informationssegmente aufweisen;Determining coordinates of information segments of the digital display in read image data representing a captured image of the digital display using display type specific reference data having a predefined coordinate map for the information segments;
Überprüfen, ob Pixel der Bilddaten an den Koordinaten der Informationssegmente einen Dunkel-Wert oder einen Hell-Wert aufweisen, um Segmentdaten über einen angezeigten oder ausgeblendeten Zustand der Informationssegmente zu bestimmen; undChecking whether pixels of the image data at the coordinates of the information segments have a dark value or a bright value to determine segment data about a displayed or hidden state of the information segments; and
Kombinieren der Segmentdaten der Informationssegmente der digitalen Anzeige, um die Zeichen auf der digitalen Anzeige zu erkennen.Combining the segment data of the information segments of the digital display to recognize the characters on the digital display.
Die digitale Anzeige kann mittels einer Anzeigeeinrichtung anzeigbar bzw. erzeugbar sein, wobei die Anzeigeeinrichtung Teil eines Peripheriegerätes bzw. Handgerätes sein kann, beispielsweise im Bereich Telemedizin oder dergleichen. Somit kann die digitale Anzeige mittels der Anzeigeeinrichtung an dem Peripheriegerät bzw. Handgerät anzeigbar sein. Die Bilddaten können automatisch oder durch einen Benutzer aufgenommen und bereitgestellt sein. Die Zeichen können Schriftzeichen und zusätzlich oder alternativ Bildsymbolzeichen aufweisen. Jedes Zeichen kann mittels zumindest eines Informationssegments darstellbar sein. Dabei können die Informationssegmente Teilflächen bzw. Teilabschnitte der digitalen Anzeige repräsentieren. Die anzeigetypspezifischen Referenzdaten können für einen spezifischen Typ, ein spezifisches Modell bzw. eine spezifische Baureihe einer digitalen Anzeige, einer Anzeigeeinrichtung, mittels der die digitale Anzeige anzeigbar ist, oder Gerätes, das die Anzeigeeinrichtung aufweist bzw. mittels dessen die digitale Anzeige anzeigbar ist, gültig sein. Die Koordinatenkarte der Referenzdaten kann vorgegebene Koordinaten der Informationssegmente der digitalen Anzeige aufweisen. Dabei können die vorgegebenen Koordinaten beispielsweise auf zentrale Pixel der Informationssegmente bezogen sein. Ein Dunkel-Wert eines Pixels der Bilddaten an Koordinaten eines Informationssegments kann einem auf bzw. in der digitalen Anzeige angezeigten Zustand dieses Informationssegments entsprechen. Ein Hell-Wert eines Pixels der Bilddaten an Koordinaten eines Informationssegments kann einem auf bzw. in der digitalen Anzeige ausgeblendeten Zustand dieses Informationssegments entsprechen. Der Dunkel-Wert und der Hell-Wert können auf Helligkeitswerte und zusätzlich oder alternativ auf Farbwerte eines Pixels bezogen sein.The digital display can be displayed or generated by means of a display device, wherein the display device can be part of a peripheral device or handheld device, for example in the field of telemedicine or the like. Thus, the digital display can be displayed by the display device on the peripheral device or handset. The image data may be recorded and provided automatically or by a user. The characters may include characters and, additionally or alternatively, icon symbols. Each character can be represented by means of at least one information segment. The information segments may represent subareas or subsections of the digital display. The display type-specific reference data may be valid for a specific type, a specific model or series of a digital display, a display device by means of which the digital display can be displayed, or a device which has the display device or by means of which the digital display can be displayed be. The coordinate map of the reference data may have predetermined coordinates of the information segments of the digital display. In this case, the given coordinates can be related, for example, to central pixels of the information segments. A dark value of a pixel of the image data Coordinates of an information segment can correspond to a state of this information segment displayed on or in the digital display. A bright value of a pixel of the image data at coordinates of an information segment may correspond to a state of this information segment hidden on or in the digital display. The dark value and the bright value can be related to brightness values and additionally or alternatively to color values of a pixel.
Gemäß einer Ausführungsform können im Schritt des Ermittelns Referenzdaten verwendet werden, die eine Umrissinformation und eine Rahmeninformation aufweisen. Hierbei kann zum Ermitteln der Koordinaten unter Verwendung der Umrissinformation ein Umriss der digitalen Anzeige in dem Bild lokalisiert werden und kann unter Verwendung der Rahmeninformation ein Bezugsrahmen in dem Bild bestimmt werden, dem der Umriss der digitalen Anzeige einbeschrieben ist. According to an embodiment, in the step of determining reference data may be used, which have an outline information and a frame information. Here, in order to obtain the coordinates using the outline information, an outline of the digital display can be located in the image, and using the frame information, a reference frame in the image to which the outline of the digital display is inscribed can be determined.
Dabei kann die Koordinatenkarte auf den Bezugsrahmen bezogen sein. Die Umrissinformation kann einen vorgegebenen Umriss bzw. eine vorgegebene Form der digitalen Anzeige repräsentieren, für welche die Referenzdaten gültig sind. Die Rahmeninformation kann einen vorgegebenen Bezugsrahmen der digitalen Anzeige repräsentieren, für welche die Referenzdaten gültig sind. Der Bezugrahmen kann zumindest einen Referenzpunkt für die Koordinatenkarte aufweisen. Eine solche Ausführungsform bietet den Vorteil, dass mittels des Umrisses und des Bezugsrahmens die Verwendung der Koordinatenkarte ein besonders zuverlässiges Auffinden und Treffen der Informationssegmente ermöglicht wird. Mittels lediglich einer Formerkennung hinsichtlich des Umrisses der digitalen Anzeige können die Informationssegmente mittels der Referenzdaten auf einfache Weise durch Evaluieren der Pixelwerte an den Koordinaten ermittelt werden.The coordinate map can be related to the frame of reference. The outline information may represent a predetermined outline or form of the digital display for which the reference data is valid. The frame information may represent a predetermined reference frame of the digital display for which the reference data is valid. The reference frame may have at least one reference point for the coordinate card. Such an embodiment offers the advantage that by means of the outline and the reference frame, the use of the coordinate map enables a particularly reliable finding and meeting of the information segments. By means of only one shape recognition with regard to the outline of the digital display, the information segments can be easily determined by means of the reference data by evaluating the pixel values at the coordinates.
Auch können im Schritt des Ermittelns unter Verwendung der Koordinatenkarte Zusatzkoordinaten zumindest eines von den Informationssegmenten beabstandeten Kontrastreferenzpunkts der digitalen Anzeige ermittelt werden. Hierbei können im Schritt des Überprüfens Werte von Pixeln der Bilddaten an den Koordinaten der Informationssegmente und an den Zusatzkoordinaten des zumindest einen Kontrastreferenzpunkts verglichen werden, um die Segmentdaten zu bestimmen. Die Koordinatenkarte kann auch vorgegebene Zusatzkoordinaten umfassen, unter Verwendung derer der zumindest eine Kontrastreferenzpunkt lokalisiert werden kann. Ein Kontrastreferenzpunkt kann einen Teilabschnitt der digitalen Anzeige außerhalb von Teilabschnitten der Informationssegmente umfassen. Werte von Pixeln des zumindest einen Kontrastreferenzpunktes können hierbei konstant sein, einen Hell-Wert aufweisen und zusätzlich oder alternativ einem ausgeblendeten Zustand von Informationssegmenten entsprechen. Eine solche Ausführungsform bietet den Vorteil, dass auf besonders einfache, effiziente, schnelle und zuverlässige Weise Segmentdaten bestimmt werden können und somit Aussagen darüber getroffen werden können, ob welche Informationssegmente angezeigt und welche ausgeblendet sind.Also, in the step of determining using the coordinate map, additional coordinates of at least one contrast reference point of the digital display spaced from the information segments can be determined. Herein, in the step of checking, values of pixels of the image data at the coordinates of the information segments and at the additional coordinates of the at least one contrast reference point may be compared to determine the segment data. The coordinate map may also include predetermined additional coordinates, using which the at least one contrast reference point can be located. A contrast reference point may comprise a subsection of the digital display outside subsections of the information segments. Values of pixels of the at least one contrast reference point may in this case be constant, have a bright value and additionally or alternatively correspond to a hidden state of information segments. Such an embodiment offers the advantage that segment data can be determined in a particularly simple, efficient, fast and reliable manner, and thus statements can be made as to which information segments are displayed and which are hidden.
Ferner können im Schritt des Kombinierens die Segmentdaten unter Verwendung von Referenzdaten, die eine Gruppierungsinformation hinsichtlich der Informationssegmente aufweisen, zu Informationseinheiten aus mindestens einem Informationssegment gruppiert werden. Dabei können die Segmentdaten des mindestens einen Informationssegments jeder Informationseinheit mit Vorgabedaten abgeglichen werden, um die Zeichen auf der digitalen Anzeige zu erkennen. Hierbei kann eine Informationseinheit zumindest einem zu erkennenden Zeichen der digitalen Anzeige entsprechen. Eine Informationseinheit kann dabei in Abhängigkeit von den Segmentdaten des mindestens einen Informationssegments der Informationseinheit zumindest eine Variante eines angezeigten Zeichens oder ein ausgeblendetes Zeichen repräsentieren. Die Gruppierungsinformation kann eine Definition von Gruppen von Koordinaten bzw. Informationssegmenten repräsentieren. Die Vorgabedaten können in einer Nachschlagtabelle oder dergleichen abgelegt sein. Dabei können die Vorgabedaten vorgegebene Segmentdaten des zumindest einen Informationssegments jeder Informationseinheit für Varianten von durch die Informationseinheit darstellbaren Zeichen aufweisen. Eine solche Ausführungsform bietet den Vorteil, dass eine Zeichenerkennung sowie eine damit verbundene Gewinnung von mittels der Zeichen angezeigten Informationen beschleunigt und vereinfacht werden können.Further, in the step of combining, the segment data may be grouped into information units of at least one information segment using reference data having grouping information regarding the information segments. In this case, the segment data of the at least one information segment of each information unit can be matched with default data in order to recognize the characters on the digital display. In this case, an information unit can correspond to at least one character of the digital display to be recognized. An information unit may represent at least one variant of a displayed character or a hidden character depending on the segment data of the at least one information segment of the information unit. The grouping information may represent a definition of groups of coordinates or information segments. The default data may be stored in a lookup table or the like. In this case, the default data may comprise predetermined segment data of the at least one information segment of each information unit for variants of characters that can be represented by the information unit. Such an embodiment offers the advantage that character recognition and associated extraction of information displayed by means of the characters can be speeded up and simplified.
Zudem kann das Verfahren einen Schritt des Einlesens der Bilddaten aufweisen. Auch kann das Verfahren hierbei entweder einen Schritt des Empfangens einer Hinweisinformation bezüglich zu verwendender Referenzdaten, die für einen Typ der digitalen Anzeige spezifisch sind, oder einen Schritt des Identifizierens der Referenzdaten, die für einen Typ der digitalen Anzeige spezifisch sind, aus einer Mehrzahl von verfügbaren anzeigetypspezifischen Kandidaten-Referenzdaten aufweisen, die für eine Mehrzahl von Typen digitaler Anzeigen spezifisch sind. Die Hinweisinformation kann automatisch oder durch einen Benutzer eines die digitale Anzeige umfassenden Gerätes bereitgestellt werden. Dabei kann die Hinweisinformation einen Typ der digitalen Anzeige spezifizieren. Unter Verwendung der Hinweisinformation können die für die digitale Anzeige gültigen Referenzdaten aus einer Datenbank mit Kandidaten-Referenzdaten ausgelesen werden. Wenn das Empfangen der Hinweisinformation ausbleibt, können die für die digitale Anzeige gültigen Referenzdaten mittels probeweisen, sequenziellen Durchführens der Schritte des Ermittelns, des Überprüfens und gegebenenfalls des Kombinierens aus einer Datenbank der verfügbaren Kandidaten-Referenzdaten identifiziert werden. Eine solche Ausführungsform bietet den Vorteil, dass entweder eine Angabe bezüglich der mit den eingelesenen Bilddaten zu verwendenden, für die aufgenommene digitale Anzeige gültigen Referenzdaten empfangen wird oder eine Suchstrategie durchgeführt werden kann, um die passenden Referenzdaten zu identifizieren. Somit können korrekte Referenzdaten für die jeweilige digitale Anzeige zuverlässig ausgewählt werden.In addition, the method may include a step of reading the image data. Also, the method may include either a step of receiving notification information regarding reference data to be used that is specific to a type of the digital display, or a step of identifying reference data specific to a type of the digital display, among a plurality of available ones display type specific candidate reference data specific to a plurality of types of digital displays. The notification information may be provided automatically or by a user of a device incorporating the digital display. In this case, the notification information may specify a type of the digital display. Using the hint information, the reference data valid for the digital display can be read from a database of candidate reference data. If there is no receiving of the indication information, the reference data valid for the digital display can be determined by performing the steps of determining, checking, and possibly combining from a database, in a trial and error manner of the available candidate reference data. Such an embodiment offers the advantage of either receiving an indication of the reference data to be used with the read-in image data for the recorded digital display, or of performing a search strategy to identify the appropriate reference data. Thus, correct reference data can be reliably selected for the respective digital display.
Gemäß einer Ausführungsform kann das Verfahren einen Schritt des Generierens von Referenzdaten aufweisen, die für einen Typ einer digitalen Anzeige spezifisch sind. Dabei können die Referenzdaten eine Umrissinformation der digitalen Anzeige, eine Rahmeninformation hinsichtlich eines Bezugsrahmens, dem ein Umriss der digitalen Anzeige einbeschreibbar ist, eine Koordinatenkarte hinsichtlich Koordinaten von Informationssegmenten der digitalen Anzeige relativ zu dem Bezugsrahmen und zusätzlich oder alternativ Zusatzkoordinaten zumindest eines Kontrastreferenzpunkts der digitalen Anzeige, eine Gruppierungsinformation hinsichtlich Informationseinheiten aus mindestens einem Informationssegment der digitalen Anzeige und zusätzlich oder alternativ Vorgabedaten hinsichtlich der Segmentdaten des mindestens einen Informationssegments jeder Informationseinheit aufweisen. Eine solche Ausführungsform bietet den Vorteil, dass auch für eine, beispielsweise neue bzw. unbekannte, digitale Anzeige, die noch nicht in Referenzdaten erfasst ist, spezifische bzw. gültige Referenzdaten generiert werden können. Somit kann eine Datenbank mit Kandidaten-Referenzdaten erweitert werden.According to one embodiment, the method may include a step of generating reference data specific to a type of digital display. The reference data may include outline information of the digital display, frame information regarding a reference frame inscribed with an outline of the digital display, a coordinate map regarding coordinates of information segments of the digital display relative to the reference frame, and additionally or alternatively additional coordinates of at least one contrast reference point of the digital display. grouping information regarding information units of at least one information segment of the digital display and additionally or alternatively default data regarding the segment data of the at least one information segment of each information unit. Such an embodiment offers the advantage that specific or valid reference data can also be generated for a, for example new or unknown, digital display that is not yet recorded in reference data. Thus, a database of candidate reference data can be extended.
Auch kann das Verfahren einen Schritt des Bereitstellens einer anzeigetypspezifischen Nutzerinformation hinsichtlich eines Aufnehmens des Bildes der digitalen Anzeige an einer Schnittstelle zu einem Gerät eines Nutzers der digitalen Anzeige aufweisen. Hierbei kann die Nutzerinformation geeignet sein, um den Nutzer anzuleiten, das Bild in einem definierten Winkel, in einem definierten Abstand und zusätzlich oder alternativ mit einer definierten Auflösung bezüglich der digitalen Anzeige aufzunehmen. Der Schritt des Bereitstellens kann ansprechend auf den Schritt des Empfangs einer Hinweisinformation ausgeführt werden. Eine solche Ausführungsform bietet den Vorteil, dass bei weitgehender Erfüllung der Aufnahmevorschriften somit Bilddaten bereitgestellt und eingelesen werden können, die mit weiter reduziertem Aufwand verarbeitbar sind, um die Zeichenerkennung zuverlässig durchzuführen.Also, the method may include a step of providing display type specific user information regarding capturing the image of the digital display at an interface to a device of a user of the digital display. Here, the user information may be suitable for guiding the user to record the image at a defined angle, at a defined distance and additionally or alternatively with a defined resolution with respect to the digital display. The providing step may be performed in response to the step of receiving notification information. Such an embodiment offers the advantage that image data can thus be provided and read in substantially full compliance with the recording regulations, which can be processed with further reduced complexity in order to perform the character recognition reliably.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden. The approach presented here also creates a device that is designed to perform the steps of a variant of a method presented here in appropriate facilities to drive or implement. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.In the present case, a device can be understood as meaning an electrical device which processes sensor signals and outputs control and / or data signals in dependence thereon. The device may have an interface, which may be formed in hardware and / or software. In the case of a hardware-based embodiment, the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device. However, it is also possible that the interfaces are their own integrated circuits or at least partially consist of discrete components. In a software training, the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.Also of advantage is a computer program product or computer program with program code which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out, implementing and / or controlling the steps of the method according to one of the embodiments described above is used, especially when the program product or program is executed on a computer or a device.
Der hier vorgestellte Ansatz wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:The approach presented here will be explained in more detail below with reference to the accompanying drawings. Show it:
1 eine schematische Darstellung eines Telemedizinsystems mit einer Zeichenerkennungsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 1 a schematic representation of a telemedicine system with a character recognition device according to an embodiment of the present invention;
2 eine schematische Darstellung einer Zeichenerkennungsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 2 a schematic representation of a character recognition device according to an embodiment of the present invention;
3 das Peripheriegerät aus 2 mit der digitalen Anzeige; 3 the peripheral device 2 with the digital display;
4 eine schematische Darstellung einer Informationseinheit zum Anzeigen eines alphanumerischen Zeichens aus 3; 4 a schematic representation of an information unit for displaying an alphanumeric character 3 ;
5 bis 8 ein aufgenommenes Bild der digitalen Anzeige aus 2 bzw. 3 in verschiedenen Stadien einer Verarbeitung durch die Zeichenerkennungsvorrichtung aus 2 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 5 to 8th a captured image of the digital display 2 respectively. 3 at various stages of processing by the character recognition device 2 according to an embodiment of the present invention;
9 Teilabbildungen hinsichtlich eines Anleitens eines Nutzers zur Aufnahme eines Bildes der digitalen Anzeige aus 2 bzw. 3 im richtigen Winkel in der richtigen Größe; 9 Partial images in terms of instructing a user to take a picture of the digital display 2 respectively. 3 at the right angle in the right size;
10 eine schematische Darstellung eines Algorithmus 1000 zur optischen Zeichenerkennung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung in Verbindung mit der Zeichenerkennungsvorrichtung aus 1 bzw. 2; 10 a schematic representation of an algorithm 1000 optical character recognition according to an embodiment of the present invention in connection with the character recognition device 1 respectively. 2 ;
11 eine schematische Darstellung eines optischen Zeichenerkennungsprozesses gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und 11 a schematic representation of an optical character recognition process according to an embodiment of the present invention; and
12 ein Ablaufdiagramm eines Verfahrens zum Erkennen von Zeichen auf einer digitalen Anzeige gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. 12 a flowchart of a method for recognizing characters on a digital display according to an embodiment of the present invention.
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.In the following description of favorable embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similar acting, with a repeated description of these elements is omitted.
1 zeigt eine schematische Darstellung eines Telemedizinsystems 100 mit einer Zeichenerkennungsvorrichtung 110 bzw. Vorrichtung zum Erkennen von Zeichen auf einer digitalen Anzeige gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Telemedizinsystem 100 umfasst eine Mehrzahl von Peripheriegeräten 120 und Patientenschnittstellen 125. Die Peripheriegeräte 120 und Patientenschnittstellen 125 sind beispielsweise einer Mehrzahl von Patienten zugeordnet, die in einer Mehrzahl von Häusern 130 bzw. Wohnungen leben. So ist in jedem der Häuser 130 eine Patientenschnittstelle 125 angeordnet, der beispielhaft eine Mehrzahl von Peripheriegeräten 120 zugeordnet ist. Jedes der Peripheriegeräte 120 weist beispielsweise eine digitale Anzeige auf. Gemäß dem 1 dargestellten Ausführungsbeispiel der vorliegenden Erfindung sind die Peripheriegeräte 120 von den Patientenschnittstellen 125 hinsichtlich einer Datenübertragung entkoppelt. 1 shows a schematic representation of a telemedicine system 100 with a character recognition device 110 or Device for recognizing characters on a digital display according to an embodiment of the present invention. The telemedicine system 100 includes a plurality of peripheral devices 120 and patient interfaces 125 , The peripherals 120 and patient interfaces 125 are associated, for example, with a plurality of patients living in a plurality of homes 130 or flats live. So in each of the houses 130 a patient interface 125 arranged, the example of a plurality of peripheral devices 120 assigned. Each of the peripherals 120 has, for example, a digital display. According to the 1 Illustrated embodiment of the present invention are the peripheral devices 120 from the patient interfaces 125 decoupled in terms of data transmission.
In 1 sind beispielsweise eine erste Gruppe 131 von Häusern und eine zweite Gruppe 132 von Häusern dargestellt. Auch wenn es in 1 nicht explizit gezeigt ist, so unterscheiden sich die Peripheriegeräte 120 in der ersten Gruppe 131 von Häusern von den Peripheriegeräten 120 in der zweiten Gruppe 132 von Häusern beispielsweise hinsichtlich eines Typs digitaler Anzeigen der Peripheriegeräte 120.In 1 are, for example, a first group 131 of houses and a second group 132 represented by houses. Even if it is in 1 is not explicitly shown, so differ the peripherals 120 in the first group 131 of houses from peripherals 120 in the second group 132 of houses, for example, in terms of one type of digital display of the peripherals 120 ,
Die Patientenschnittstellen 125 in den Häusern 130 sind datenübertragungsfähig mit einem Telemedizin-Datenzentrum 140 verbunden. Das Telemedizin-Datenzentrum 140 weist eine Telemedizin-Plattform 142 auf, welche die Zeichenerkennungsvorrichtung 110 umfasst. Das Telemedizin-Datenzentrum 140 weist gemäß dem in 1 dargestellten Ausführungsbeispiel der vorliegenden Erfindung auch Gesundheitsmanagementprogramme 144 bzw. Medizin Managementprogramme, eine Inventar- und Betriebsdatenbank 146 und eine medizinische Patientendatenbank 146 auf, die mit der Telemedizin-Plattform 142 datenübertragungsfähig verbunden sind.The patient interfaces 125 in the houses 130 are capable of transmitting data with a telemedicine data center 140 connected. The telemedicine data center 140 has a telemedicine platform 142 on which the character recognition device 110 includes. The telemedicine data center 140 according to the in 1 illustrated embodiment of the present invention also health management programs 144 or medicine management programs, an inventory and operating database 146 and a medical patient database 146 on that with the telemedicine platform 142 Data transfer capable connected.
Das Telemedizin-Datenzentrum 140 ist auch datenübertragungsfähig mit einem Telemedizin-Zentrum 150 verbunden. Das Telemedizin-Zentrum 150 umfasst gemäß dem in 1 dargestellten Ausführungsbeispiel der vorliegenden Erfindung eine Arbeitsplatzanwendung 152, eine Integration 154 mit einer elektronischen Gesundheitsakte und eine weitere Integration 156 mit Geschäftslösungen.The telemedicine data center 140 is also capable of transferring data with a telemedicine center 150 connected. The telemedicine center 150 comprises according to the in 1 illustrated embodiment of the present invention, a workplace application 152 , an integration 154 with an electronic health record and further integration 156 with business solutions.
Das Telemedizinsystem 100 bzw. Patientenüberwachungssystem ist ausgebildet, um Vitalfunktionen von Patienten zuhause bzw. in ihren Häusern 130 oder Wohnungen zu überwachen und somit eine medizinische Versorgung zu unterstützen. Beispielsweise misst ein Patient seine Vitalfunktionen und füllt optional einen elektronischen Fragebogen aus. Ein Datensatz, der solche gemessenen Vitalfunktionen sowie Antworten auf Fragen einer solchen Erhebung umfasst, wird eine Sitzung genannt. Eine solche Sitzung ist an das Telemedizin-Datenzentrum 140 eines Versorgungsanbieters über die Patientenschnittstelle 125 bzw. eine Basisstation übertragbar. Der Versorgungsanbieter kann sich bei einer netzbasierten Anwendung anmelden, um die von den Patienten gesendeten Daten zu überwachen, zu analysieren und auszuwerten. Automatische Algorithmen analysieren die Daten, um die Auswertung zu unterstützen, zum Beispiel können kritische Werte unter Verwendung unterschiedlicher Farben hervorgehoben oder markiert werden.The telemedicine system 100 or patient monitoring system is designed to vital functions of patients at home or in their homes 130 or to monitor apartments and thus to support medical care. For example, a patient measures his vital signs and optionally completes an electronic questionnaire. A record that includes such measured vital signs and answers to questions from such a survey is called a session. One such session is at the telemedicine data center 140 of a healthcare provider via the patient interface 125 or a base station transferable. The healthcare provider may log in to a network-based application to monitor, analyze, and evaluate the data sent by the patient. Automatic algorithms analyze the data to aid evaluation, for example, critical values can be highlighted or highlighted using different colors.
Nehmen Patienten an einem Telemedizinprogramm teil, so können sie aufgefordert werden, ihre Vitalfunktionen mit unterschiedlichen Peripheriegeräten 120 zu messen, beispielsweise einer Waage, einem Blutdruckmessgerät, einem Blutzuckermessgerät, etc. Einige Arten von Peripheriegeräten weisen eine Schnittstelle auf, um Messdaten an eine Patientenschnittstelle 125 zu übertragen, beispielsweise über Bluetooth, Infrarot, USB etc. Die Peripheriegeräte 120 in 1 jedoch sind nicht in der Lage, Messungen direkt an eine Patientenschnittstelle 125 zu übertragen. Herkömmlicherweise sollen Patienten die Messwerte unter Verwendung der Patientenschnittstellen 125 manuell eingeben, um einen sogenannten Eigenbericht zu erstellen.If patients participate in a telemedicine program, they may be asked to share their vital signs with different peripherals 120 For example, a scale, a sphygmomanometer, a blood glucose meter, etc. Some types of peripherals interface to provide measurement data to a patient interface 125 to transfer, for example, via Bluetooth, infrared, USB, etc. The peripherals 120 in 1 however, they are unable to take measurements directly to a patient interface 125 transferred to. Traditionally, patients should read the measurements using the Patient interfaces 125 Enter manually to create a so-called own report.
Gemäß dem in 1 dargestellten Ausführungsbeispiel der vorliegenden Erfindung ist der Eigenbericht durch Patienten durch Aufnehmen eines Bildes von digitalen Anzeigen der Peripheriegeräte 120 und anschließendes Übermitteln an die Zeichenerkennungsvorrichtung 110 erstellbar, wobei mittels der Zeichenerkennungsvorrichtung 110 Messdaten bzw. Patientendaten in einem geeigneten Format für das Telemedizin-Datenzentrum 140 und/oder das Telemedizin-Zentrum 150 bereitstellbar sind. Die Zeichenerkennungsvorrichtung 110 sowie deren Funktionsweise wird in der nachfolgenden Beschreibung unter Bezugnahme auf die 2 bis 12 detaillierter erläutert.According to the in 1 The illustrated embodiment of the present invention is the patient's own report by capturing an image of digital displays of the peripherals 120 and then transmitting to the character recognition device 110 producible, wherein by means of the character recognition device 110 Measurement data or patient data in a suitable format for the telemedicine data center 140 and / or the telemedicine center 150 are available. The character recognition device 110 and their operation will be described in the following description with reference to the 2 to 12 explained in more detail.
2 zeigt eine schematische Darstellung der Zeichenerkennungsvorrichtung 110 bzw. Vorrichtung zum Erkennen von Zeichen auf einer digitalen Anzeige gemäß einem Ausführungsbeispiel der vorliegenden Erfindung aus 1 sowie eines der Peripheriegeräte 120 aus 1. Dabei weist das Peripheriegerät 120 eine digitale Anzeige 220 auf. Die digitale Anzeige 220 ist mittels einer Anzeigeeinrichtung des Peripheriegerät des 120 anzeigbar. Auf der digitalen Anzeige 220 sind Zeichen darstellbar, bei denen es sich um Schriftzeichen, beispielsweise Buchstaben, Ziffern und/oder Sonderzeichen, und zusätzlich oder alternativ Bildsymbolzeichen handelt. 2 shows a schematic representation of the character recognition device 110 or device for recognizing characters on a digital display according to an embodiment of the present invention 1 and one of the peripherals 120 out 1 , In this case, the peripheral device 120 a digital ad 220 on. The digital display 220 is by means of a display device of the peripheral device of 120 displayable. On the digital display 220 characters are representable, which are characters, such as letters, numbers and / or special characters, and additionally or alternatively image symbol characters.
Ferner ist in 2 eine Bildaufnahmeeinrichtung 230 gezeigt, die ausgebildet ist, um ein Bild der digitalen Anzeige 220 des Peripheriegeräts 120 aufzunehmen. Die Bildaufnahmeeinrichtung 230 ist ferner ausgebildet, um Bilddaten 235, die das aufgenommene Bild der digitalen Anzeige 220 repräsentieren, zu erzeugen und der Zeichenerkennungsvorrichtung 110 bereitzustellen. Die Bildaufnahmeeinrichtung 230 kann Teil einer Patientenschnittstelle aus 1 oder eine mit der Patientenschnittstelle datenübertragungsfähig verbindbare, eigenständige Einrichtung sein, wie beispielsweise eine Digitalkamera, ein Mobiltelefon oder ein tragbarer Computer.Furthermore, in 2 an image pickup device 230 shown, which is adapted to an image of the digital display 220 of the peripheral device 120 take. The image capture device 230 is further adapted to image data 235 that the captured image of the digital display 220 represent, generate and the character recognition device 110 provide. The image capture device 230 can be part of a patient interface 1 or a self-contained device connectable to the patient interface, such as a digital camera, a mobile phone, or a portable computer.
Die Zeichenerkennungsvorrichtung 110 ist ausgebildet, um die Bilddaten 235 von der Bildaufnahmeeinrichtung 230 einzulesen. Gemäß dem in 2 dargestellten Ausführungsbeispiel der vorliegenden Erfindung ist die Zeichenerkennungsvorrichtung 110 auch ausgebildet, um anzeigetypspezifische Referenzdaten 245 von einer in 2 nicht gezeigten, externen Datenbank abzurufen. Dabei sind die Referenzdaten für einen Typ der digitalen Anzeige 220 spezifisch bzw. gültig oder passend. Alternativ kann die Zeichenerkennungsvorrichtung 110 ausgebildet sein, um die Referenzdaten 245 von einer internen Speichereinrichtung der Zeichenerkennungsvorrichtung 110 abzurufen. Die Zeichenerkennungsvorrichtung 110 weist eine Ermittlungseinrichtung 262, eine Überprüfungseinrichtung 264 und eine Kombinationseinrichtung 266 auf. Gemäß dem in 2 dargestellten Ausführungsbeispiel der vorliegenden Erfindung sind die Ermittlungseinrichtung 262, die Überprüfungseinrichtung 264 und die Kombinationseinrichtung 266 jeweils ausgebildet, um die Referenzdaten 245 abzurufen. Zusätzlich oder alternativ kann beispielhaft lediglich die Ermittlungseinrichtung 262 zum Abrufen der Referenzdaten 245 ausgebildet sein und können die Ermittlungseinrichtung 262, die Überprüfungseinrichtung 264 und die Kombinationseinrichtung 266 auch ausgebildet sein, um die Referenzdaten 245 einander weiterzuleiten. Dabei ist die Zeichenerkennungsvorrichtung 110 ausgebildet, um Zeichen auf der digitalen Anzeige 220 auf Basis der Bilddaten 235 sowie unter Verwendung der Referenzdaten 245 zu erkennen. Anders ausgedrückt ist die Zeichenerkennungsvorrichtung 110 ausgebildet, um an den Bilddaten 235, die ein aufgenommenes Bild der digitalen Anzeige 220 repräsentieren, einen Algorithmus zur optischen Zeichenerkennung unter Verwendung der Referenzdaten 245 durchzuführen.The character recognition device 110 is designed to handle the image data 235 from the image pickup device 230 read. According to the in 2 Illustrated embodiment of the present invention is the character recognition device 110 also designed to display type-specific reference data 245 from one in 2 not shown, external database to retrieve. The reference data for one type of digital display 220 specific or valid or appropriate. Alternatively, the character recognition device 110 be trained to the reference data 245 from an internal memory device of the character recognition device 110 retrieve. The character recognition device 110 has a determination device 262 , a verification device 264 and a combination device 266 on. According to the in 2 Illustrated embodiment of the present invention are the detection device 262 , the verification device 264 and the combination device 266 each trained to the reference data 245 retrieve. Additionally or alternatively, only the determination device can be used as an example 262 to retrieve the reference data 245 be formed and can the determination device 262 , the verification device 264 and the combination device 266 also be trained to the reference data 245 forward each other. Here is the character recognition device 110 trained to sign on the digital display 220 based on the image data 235 as well as using the reference data 245 to recognize. In other words, the character recognition device 110 trained to adapt to the image data 235 taking a captured image of the digital display 220 represent an algorithm for optical character recognition using the reference data 245 perform.
Die Ermittlungseinrichtung 262 ist ausgebildet, um in den eingelesenen Bilddaten Koordinaten von Informationssegmenten der digitalen Anzeige 220 zu ermitteln. Siehe hierzu auch 6. Unter einem Informationssegment ist eine Teilfläche der digitalen Anzeige 220 zu verstehen, die entweder hervorgehoben bzw. angezeigt oder aber ausgeblendet bzw. nicht hervorgehoben sein kann. Dabei ist die Ermittlungseinrichtung 262 ausgebildet, um die Koordinaten der Informationssegmente unter Verwendung der anzeigetypspezifischen Referenzdaten 245 zu ermitteln, die eine vordefinierte Koordinatenkarte für die Informationssegmente aufweisen. Auch ist die Ermittlungseinrichtung 262 ausgebildet, um Koordinatendaten 268, welche die ermittelten Koordinaten repräsentieren, an die Überprüfungseinrichtung 264 auszugeben.The determination device 262 is designed to be in the read image data coordinates of information segments of the digital display 220 to investigate. See also 6 , Below an information segment is a subarea of the digital display 220 to understand, which may be either highlighted or displayed or hidden or not highlighted. In this case, the determination device 262 formed to the coordinates of the information segments using the display type specific reference data 245 to determine which have a predefined coordinate map for the information segments. Also, the investigator 262 trained to coordinate data 268 , which represent the determined coordinates, to the checking device 264 issue.
Die Überprüfungseinrichtung 264 ist ausgebildet, um die Koordinatendaten 268 einzulesen. Ferner ist die Überprüfungseinrichtung 264 ausgebildet, um zu überprüfen, ob Pixel der Bilddaten 235 an den ermittelten Koordinaten der Informationssegmente einen Dunkel-Wert oder einen Hell-Wert aufweisen, um Segmentdaten 269 über einen angezeigten oder ausgeblendeten Zustand der Informationssegmente zu bestimmen. Dabei repräsentiert beispielsweise ein Dunkel-Wert ein Informationssegment, das hervorgehoben bzw. angezeigt ist, und repräsentiert beispielsweise ein Hell-Wert ein Informationssegment, das nicht hervorgehoben bzw. ausgeblendet ist. Die Überprüfungseinrichtung 264 ist auch ausgebildet, um die Segmentdaten 269 an die Kombinationseinrichtung 266 auszugeben.The checking device 264 is trained to get the coordinate data 268 read. Furthermore, the checking device 264 designed to check if pixels of the image data 235 at the determined coordinates of the information segments have a dark value or a bright value to segment data 269 determine a displayed or hidden state of the information segments. For example, a dark value represents an information segment that is highlighted or displayed, and, for example, a light value represents an information segment that is not highlighted or hidden. The checking device 264 is also trained to handle the segment data 269 to the combination device 266 issue.
Die Kombinationseinrichtung 266 ist ausgebildet, um die Segmentdaten 269 von der Überprüfungseinrichtung 264 zu empfangen. Ferner ist die Kombinationseinrichtung 266 ausgebildet, um die Segmentdaten der Informationssegmente der digitalen Anzeige 220 geeignet zu kombinieren, um die Zeichen auf der digitalen Anzeige 220 zu erkennen. The combination device 266 is designed to handle the segment data 269 from the verification device 264 to recieve. Furthermore, the combination device 266 formed to the segment data of the information segments of the digital display 220 suitable to combine the characters on the digital display 220 to recognize.
Optional ist die Zeichenerkennungsvorrichtung 110 bzw. die Kombinationseinrichtung 266 ausgebildet, um Zeichendaten 270 bereitzustellen, welche die auf der digitalen Anzeige 220 erkannten Zeichen repräsentieren. Anders ausgedrückt repräsentieren die Zeichendaten 270 eine auf der digitalen Anzeige 220 angezeigte Information. Dabei kann die Zeichenerkennungsvorrichtung 110 bzw. die Kombinationseinrichtung 266 ausgebildet sein, um die Zeichendaten 270 einer Schnittstelle bereitzustellen, beispielsweise einer Schnittstelle zu Einrichtungen des Telemedizin-Datenzentrums und/oder zu dem Telemedizin-Zentrum aus 1.Optional is the character recognition device 110 or the combination device 266 trained to draw character data 270 to provide that on the digital display 220 represent recognized characters. In other words, the character data represents 270 one on the digital display 220 displayed information. In this case, the character recognition device 110 or the combination device 266 be trained to the character data 270 an interface, for example an interface to facilities of the telemedicine data center and / or to the telemedicine center 1 ,
Gemäß einem Ausführungsbeispiel weisen die Referenzdaten 245 auch eine Umrissinformation und eine Rahmeninformation auf. Siehe hierzu auch 5. Hierbei ist die Ermittlungseinrichtung 262 ausgebildet, um unter Verwendung der Umrissinformation einen Umriss der digitalen Anzeige 220 in dem Bild bzw. den Bilddaten 235 zu lokalisieren. Ferner ist dabei die Ermittlungseinrichtung 262 ausgebildet, um unter Verwendung der Rahmeninformation einen Bezugsrahmen in dem Bild der digitalen Anzeige 220 zu bestimmen. Dem Bezugsrahmen ist dabei der lokalisierte Umriss der digitalen Anzeige 220 einbeschrieben. Ferner repräsentiert der Bezugsrahmen eine Positionsreferenz für die Koordinatenkarte.According to one embodiment, the reference data 245 also an outline information and a frame information. See also 5 , Here, the determination device 262 formed to use the outline information, an outline of the digital display 220 in the image or image data 235 to locate. Furthermore, the determination device is 262 formed using the frame information, a reference frame in the image of the digital display 220 to determine. The frame of reference is the localized outline of the digital display 220 inscribed. Further, the reference frame represents a position reference for the coordinate map.
Zusätzlich oder alternativ umfasst gemäß einem Ausführungsbeispiel die Koordinatenkarte auch eine Information über Zusatzkoordinaten von zumindest einem von den Informationssegmenten beabstandeten Kontrastreferenzpunkt auf der digitalen Anzeige 220. Siehe hierzu auch 7. Dabei ist die Ermittlungseinrichtung 262 ausgebildet, um unter Verwendung der Koordinatenkarte die Zusatzkoordinaten des zumindest einen Kontrastreferenzpunkts zu ermitteln. Ferner ist hierbei die Überprüfungseinrichtung 264 ausgebildet, um Werte von Pixeln der Bilddaten an den Koordinaten der Informationssegmente und an den Zusatzkoordinaten des zumindest einen Kontrastreferenzpunkts zu vergleichen, um die Segmentdaten 269 zu bestimmen.Additionally or alternatively, according to one embodiment, the coordinate map also includes information about additional coordinates of at least one contrast reference point spaced from the information segments on the digital display 220 , See also 7 , In this case, the determination device 262 designed to determine the additional coordinates of the at least one contrast reference point using the coordinate map. Furthermore, here is the verification device 264 adapted to compare values of pixels of the image data at the coordinates of the information segments and at the additional coordinates of the at least one contrast reference point to the segment data 269 to determine.
Optional umfassen die Referenzdaten 245 auch eine Gruppierungsinformation hinsichtlich dessen, welche Informationssegmente bzw. Koordinaten zu gruppieren sind. Die Kombinationseinrichtung 266 ist dabei ausgebildet, um die Segmentdaten 269 unter Verwendung der Gruppierungsinformation zu Informationseinheiten zu gruppieren. Siehe hierzu auch 7. Jede der Informationseinheiten umfasst hierbei mindestens ein Informationssegment. Ferner ist die Kombinationseinrichtung 266 dabei ausgebildet, um die Segmentdaten 169 des mindestens einen Informationssegments jeder Informationseinheit mit Vorgabedaten abzugleichen, um die Zeichen auf der digitalen Anzeige 220 zu erkennen.Optionally, the reference data includes 245 also grouping information as to which information segments or coordinates are to be grouped. The combination device 266 is designed to the segment data 269 grouping information units using the grouping information. See also 7 , Each of the information units here comprises at least one information segment. Furthermore, the combination device 266 thereby formed to the segment data 169 of the at least one information segment of each information unit with default data to match the characters on the digital display 220 to recognize.
Gemäß einem Ausführungsbeispiel weist die Zeichenerkennungsvorrichtung 110 eine Einleseeinrichtung 272 zum Einlesen der Bilddaten 235 auf. Die Einleseeinrichtung 272 ist ausgebildet, um die Bilddaten 235 von der Bildaufnahmeeinrichtung 230 einzulesen und an die Ermittlungseinrichtung 262 weiterzuleiten. Hierbei weist die Zeichenerkennungsvorrichtung 110 ferner eine Empfangseinrichtung 274 zum Empfangen einer Hinweisinformation 275 auf. Beispielsweise kann die Hinweisinformation 275 von der Patientenschnittstelle aus 1 oder von der Bildaufnahmeeinrichtung 230 stammen. Die Hinweisinformation 275 bezieht sich auf zu verwendende bzw. einzulesende Referenzdaten 245, die für einen Typ der digitalen Anzeige 220 spezifisch sind. Die Empfangseinrichtung 274 ist ausgebildet, um die Hinweisinformation 275 an die Ermittlungseinrichtung 262 weiterzuleiten. Optional weist die Zeichenerkennungsvorrichtung 110 auch eine Identifikationseinrichtung 276 auf, die ausgebildet ist, um passende bzw. für die digitale Anzeige 220 gültige bzw. für den Typ der digitalen Anzeige 220 spezifische Referenzdaten 245 zu identifizieren, insbesondere wenn ein Empfang der Hinweisinformation 275 ausbleibt. Dabei ist die Identifikationseinrichtung 276 ausgebildet, um verfügbare, infrage kommende Referenzdaten 245 bzw. Kandidaten-Referenzdaten beispielsweise nacheinander abzurufen und auf ihre Gültigkeit für die digitale Anzeige 220 zu testen. Auch ist die Identifikationseinrichtung 276 ausgebildet, um eine Ergebnisinformation 277 über die identifizierten Referenzdaten 245 an die Ermittlungseinrichtung 262 auszugeben.According to one embodiment, the character recognition device 110 a reading device 272 for reading the image data 235 on. The reading device 272 is designed to handle the image data 235 from the image pickup device 230 and to the investigator 262 forward. Here, the character recognition device 110 Furthermore, a receiving device 274 for receiving notification information 275 on. For example, the hint information 275 from the patient interface 1 or from the image capture device 230 come. The hint information 275 refers to reference data to be used or read in 245 that is for a type of digital display 220 are specific. The receiving device 274 is designed to be the hint information 275 to the investigator 262 forward. Optionally, the character recognition device 110 also an identification device 276 which is designed to be suitable or for the digital display 220 valid or for the type of digital display 220 specific reference data 245 to identify, especially if a receipt of the hint information 275 absent. In this case, the identification device 276 trained to available, eligible reference data 245 For example, to retrieve candidate reference data one after the other and their validity for the digital display 220 to test. Also, the identification device 276 trained to get a result information 277 about the identified reference data 245 to the investigator 262 issue.
Gemäß einem weiteren Ausführungsbeispiel weist die Zeichenerkennungsvorrichtung 110 eine Bereitstellungseinrichtung 278 zum Bereitstellen einer für einen Typ der aufzunehmenden digitalen Anzeige 220 spezifischen Nutzerinformation 279 an eine Schnittstelle zu der Bildaufnahmeeinrichtung 230. Die Nutzerinformation 279 bezieht sich darauf, wie das Bild der digitalen Anzeige 220 aufzunehmen ist. Dabei repräsentiert die Nutzerinformation 279 einem Nutzer anzeigbare Anweisungen, um den Nutzer anzuleiten, das Bild in einem definierten Winkel, in einem definierten Abstand und zusätzlich oder alternativ mit einer definierten Auflösung bezüglich der digitalen Anzeige 220 aufzunehmen. Siehe hierzu auch 9. Dabei ist die Bereitstellungseinrichtung 278 ausgebildet, um die Nutzerinformation 279 unter Verwendung der Hinweisinformation 275 von der Empfangseinrichtung 274 zu erzeugen.According to a further embodiment, the character recognition device 110 a provisioning device 278 for providing one for a type of the digital display to be recorded 220 specific user information 279 to an interface to the image capture device 230 , The user information 279 refers to how the image of the digital display 220 is to be included. This represents the user information 279 user-displayable instructions to guide the user, the image at a defined angle, at a defined distance, and additionally or alternatively at a defined resolution relative to the digital display 220 take. See also 9 , In this case, the provisioning device 278 trained to the user information 279 using the hint information 275 from the receiving device 274 to create.
Gemäß noch einem weiteren Ausführungsbeispiel weist die Zeichenerkennungsvorrichtung 110 eine Generiereinrichtung 280 zum Generieren von Referenzdaten 245 auf. Die Generiereinrichtung 280 ist ausgebildet, um unter Verwendung der Bilddaten 235 Referenzdaten 245 zu generieren, die für einen neuen Typ einer digitalen Anzeige spezifisch sind. Dabei ist die Generiereinrichtung 280 ausgebildet, um die generierten Referenzdaten 245 an eine externe Datenbank auszugeben. Zusätzlich oder alternativ kann die Generiereinrichtung 280 ausgebildet sein, um die generierten Referenzdaten 245 an eine in 2 nicht dargestellte Speichereinrichtung innerhalb der Zeichenerkennungsvorrichtung 110 auszugeben. According to yet another embodiment, the character recognition device 110 a generating device 280 for generating reference data 245 on. The generating device 280 is designed to be using the image data 235 reference data 245 generate that are specific to a new type of digital ad. In this case, the generating device 280 trained to generate the generated reference data 245 to an external database. Additionally or alternatively, the generating device 280 be trained to the generated reference data 245 to an in 2 not shown storage device within the character recognition device 110 issue.
Gemäß einem alternativen Ausführungsbeispiel kann die Zeichenerkennungsvorrichtung 110 ausgebildet sein, um Zeichen auf einer digitalen Anzeige eines beliebigen anderen Gerätes, auch außerhalb eines medizinischen Kontexts, zu erkennen, beispielsweise Zeichen auf einer digitalen Anzeige eines technischen Messgerätes für Industriezwecke, Überwachungszwecke oder dergleichen, eines Haushaltsgerätes, einer Anzeigetafel etc.According to an alternative embodiment, the character recognition device 110 be configured to recognize characters on a digital display of any other device, even outside a medical context, such as characters on a digital display of a technical instrument for industrial purposes, monitoring purposes or the like, a household appliance, a display panel, etc.
3 zeigt das Peripheriegerät 120 aus 2 mit der digitalen Anzeige 220. Bei dem Peripheriegerät 120 handelt es sich lediglich beispielhaft um ein medizinisches Peripheriegerät 120. Die digitale Anzeige 220 umfasst Informationseinheiten mit beispielhaft sieben Informationssegmenten für alphanumerische Zeichen 322 und Informationseinheiten mit beispielhaft einem Informationssegment für Bildsymbole bzw. unveränderliche Zeichen 324. Bilddaten aus 2 repräsentieren beispielsweise ein aufgenommenes Bild der digitalen Anzeige 220 mit den alphanumerischen Zeichen 322 und den unveränderlichen Zeichen 324. 3 shows the peripheral device 120 out 2 with the digital display 220 , In the peripheral device 120 it is merely an example of a medical peripheral device 120 , The digital display 220 comprises information units with, for example, seven information segments for alphanumeric characters 322 and information units with, for example, an information segment for icons or fixed characters 324 , Image data 2 For example, they represent a captured image of the digital display 220 with the alphanumeric characters 322 and the invariable sign 324 ,
4 zeigt eine schematische Darstellung einer Informationseinheit zum Anzeigen eines alphanumerischen Zeichens 322 aus 3. Das alphanumerische Zeichen 322 ist durch sieben Informationssegmente A, B, C, D, E, F und G welche die Informationseinheit umfasst, in verschiedenen Varianten anzeigbar. Zusätzlich ist in 4 ein Informationssegment DP dargestellt, das einen Dezimalpunkt repräsentiert, der gegebenenfalls zusätzlich angezeigt werden kann. 4 shows a schematic representation of an information unit for displaying an alphanumeric character 322 out 3 , The alphanumeric character 322 is displayed by seven information segments A, B, C, D, E, F and G which includes the information unit in various variants. Additionally is in 4 an information segment DP is represented, which represents a decimal point, which can be indicated additionally if necessary.
Wenn beispielsweise die Ziffer 9 als das alphanumerische Zeichen 322 auf einer digitalen Anzeige angezeigt werden soll, so kann beispielsweise das Informationssegment E ausgeblendet sein, wobei alle anderen Informationssegmente A, B, C, D, F und G angezeigt bzw. hervorgehoben sind. Wenn beispielsweise die Ziffer 3 als das alphanumerische Zeichen 322 auf einer digitalen Anzeige angezeigt werden soll, so können beispielsweise die Informationssegmente E und F ausgeblendet sein, wobei alle anderen Informationssegmente A, B, C, D und G angezeigt bzw. hervorgehoben sind.For example, if the number 9 as the alphanumeric character 322 is to be displayed on a digital display, so for example, the information segment E can be hidden, with all other information segments A, B, C, D, F and G are displayed or highlighted. For example, if the number 3 as the alphanumeric character 322 be displayed on a digital display, so for example, the information segments E and F can be hidden, with all other information segments A, B, C, D and G are displayed or highlighted.
5 zeigt ein aufgenommenes Bild 500 der digitalen Anzeige 220 aus 2 bzw. 3 in einem Stadium einer Verarbeitung durch die Zeichenerkennungsvorrichtung aus 2 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das aufgenommene Bild 500 der digitalen Anzeige 220 kann hierbei durch die Bilddaten aus 2 repräsentiert sein. Die digitale Anzeige 220 weist einen Umriss 520 bzw. eine Anzeigeform auf. Der Umriss 520 ist mittels der Zeichenerkennungsvorrichtung, insbesondere mittels der Ermittlungseinrichtung der Zeichenerkennungsvorrichtung, unter Verwendung der Umrissinformation der Referenzdaten in dem Bild 500 der digitalen Anzeige 220 lokalisierbar. Auch ist in 5 ein Bezugsrahmen 525 gezeigt, dem der Umriss 520 der digitalen Anzeige 220 einbeschrieben ist. Der Bezugsrahmen 525 ist gemäß dem in 5 dargestellten Ausführungsbeispiel der vorliegenden Erfindung rechteckig. Dabei ist der Umriss 520 dem Bezugsrahmen 525 maximal einbeschrieben. Der Bezugsrahmen 525 ist hierbei mittels der Zeichenerkennungsvorrichtung, insbesondere mittels der Ermittlungseinrichtung der Zeichenerkennungsvorrichtung, unter Verwendung der Rahmeninformation der Referenzdaten in dem Bild 500 der digitalen Anzeige 220 bestimmbar. Anders ausgedrückt ist in 5 eine Definition einer Anzeigeform bzw. des Umrisses 520 mit einer Ausrichtung dargestellt. 5 shows a picture taken 500 the digital display 220 out 2 respectively. 3 at a stage of processing by the character recognition device 2 according to an embodiment of the present invention. The picture taken 500 the digital display 220 can do this through the image data 2 be represented. The digital display 220 has an outline 520 or a display form. The outline 520 is by means of the character recognition device, in particular by means of the detection means of the character recognition device, using the outline information of the reference data in the image 500 the digital display 220 localizable. Also is in 5 a frame of reference 525 shown the outline 520 the digital display 220 is inscribed. The frame of reference 525 is according to the in 5 illustrated embodiment of the present invention rectangular. Here is the outline 520 the frame of reference 525 maximum inscribed. The frame of reference 525 is here by means of the character recognition device, in particular by means of the detection means of the character recognition device, using the frame information of the reference data in the image 500 the digital display 220 determinable. In other words, in 5 a definition of a display form or the outline 520 shown with an orientation.
6 zeigt das aufgenommene Bild 500 aus 5 in einem weiteren Stadium einer Verarbeitung durch die Zeichenerkennungsvorrichtung aus 2 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Hierbei ist auch der rechteckige Bezugsrahmen 525 dargestellt, dem die digitale Anzeige 220 einbeschrieben ist und der eine Positionsreferenz für die Koordinatenkarte der Referenzdaten repräsentiert. In 6 sind beispielsweise Koordinaten x und y eines Informationssegments der Informationssegmente der digitalen Anzeige 220 eingezeichnet. Die Koordinaten x und y beziehen sich somit auf den Bezugsrahmen 525 und ergeben ein Koordinatenpaar (x, y), durch das ein Punkt 601 bzw. ein Pixel und somit auch eine Position eines Informationssegments definiert und in den Bilddaten bzw. in dem Bild 500 lokalisierbar ist. Koordinaten x und y aller Informationssegmente der digitalen Anzeige 220 sind mittels der Ermittlungseinrichtung der Zeichenerkennungsvorrichtung unter Verwendung der Koordinatenkarte ermittelbar. Anders ausgedrückt zeigt 6 eine Definition relativer Koordinaten x und y eines Informationspunkts bzw. eines Punkts 601 eines Informationssegments. 6 shows the recorded picture 500 out 5 in a further stage processing by the character recognition device 2 according to an embodiment of the present invention. Here is also the rectangular frame of reference 525 presented to the digital display 220 is inscribed and represents a position reference for the coordinate map of the reference data. In 6 For example, coordinates x and y of an information segment of the information segments of the digital display 220 located. The coordinates x and y thus refer to the frame of reference 525 and give a coordinate pair (x, y), through which a point 601 or a pixel and thus also a position of an information segment defined and in the image data or in the image 500 is locatable. Coordinates x and y of all information segments of the digital display 220 are determinable by means of the detecting means of the character recognition apparatus using the coordinate map. In other words, shows 6 a definition of relative coordinates x and y of an information point or a point 601 an information segment.
7 zeigt das aufgenommene Bild 500 aus 5 bzw. 6 in noch einem weiteren Stadium einer Verarbeitung durch die Zeichenerkennungsvorrichtung aus 2 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Hierbei ist erneut der rechteckige Bezugsrahmen 525 dargestellt, dem die digitale Anzeige 220 einbeschrieben ist. Ferner sind in 7 eine Mehrzahl von durch Koordinaten ermittelten bzw. lokalisierten Punkten 601 bzw. Positionen angezeigter sowie ausgeblendeter Informationssegmente der digitalen Anzeige 220 gezeigt. 7 shows the recorded picture 500 out 5 respectively. 6 at yet another stage of processing by the character recognition device 2 according to an embodiment of the present invention. Here again is the rectangular frame of reference 525 presented to the digital display 220 is inscribed. Furthermore, in 7 a plurality of points determined by coordinates 601 or positions of displayed and hidden information segments of the digital display 220 shown.
Zudem zeigt 7 beispielhaft lediglich einen Kontrastreferenzpunkt 701. Der Kontrastreferenzpunkt 701 ist dabei von Informationssegmenten der digitalen Anzeige 220 beabstandet angeordnet. Dabei ist der Kontrastreferenzpunkt 701 mittels der Ermittlungseinrichtung der Zeichenerkennungsvorrichtung unter Verwendung der Koordinatenkarte ermittelbar. Hierbei sind Pixelwerte der Punkte 601 bzw. Positionen der Informationssegmente mit Pixelwerten des Kontrastreferenzpunktes 701 unter Verwendung der Überprüfungseinrichtung der Zeichenerkennungsvorrichtung vergleichbar, um die Segmentdaten zu bestimmen. Ein Pixelwert des Kontrastreferenzpunktes 701 repräsentiert hierbei einen Referenzwert.In addition shows 7 by way of example only a contrast reference point 701 , The contrast reference point 701 is of information segments of the digital display 220 spaced apart. Here is the contrast reference point 701 can be determined by means of the determination device of the character recognition device using the coordinate map. Here are pixel values of the points 601 or positions of the information segments with pixel values of the contrast reference point 701 using the recognizer of the character recognition device to determine the segment data. A pixel value of the contrast reference point 701 represents a reference value.
Auch sind in 7 eine Mehrzahl von beispielhaft lediglich drei unterschiedlichen Informationseinheiten 702 gezeigt, wobei jede Informationseinheit 702 zumindest ein anhand eines Punktes 601 lokalisiertes Informationssegment aufweist. Der in 7 gezeigte Kontrastreferenzpunkt 701 ist in einer der Informationseinheiten 702 angeordnet. Eine der beispielhaft eingezeichneten Informationseinheiten 702 repräsentiert hierbei eine Messinformation, eine andere der beispielhaft eingezeichneten Informationseinheiten 702 repräsentiert eine Ziffer und eine weitere der beispielhaft eingezeichneten Informationseinheiten 702 repräsentiert eine Einheitsinformation hinsichtlich einer physikalischen Größe.Also are in 7 a plurality of exemplarily only three different information units 702 shown, each information unit 702 at least one on the basis of one point 601 having a localized information segment. The in 7 shown contrast reference point 701 is in one of the information units 702 arranged. One of the exemplified information units 702 in this case represents a measurement information, another of the information units drawn by way of example 702 represents a digit and another of the exemplified information units 702 represents unit information regarding a physical quantity.
Informationssegmente bzw. Koordinaten sind mittels der Kombinationseinrichtung der Zeichenerkennungsvorrichtung unter Verwendung einer Gruppierungsinformation der Referenzdaten zu den Informationseinheiten 702 gruppierbar.Information segments or coordinates are by means of the combination means of the character recognition apparatus using grouping information of the reference data to the information units 702 assigned to groups.
8 zeigt das aufgenommene Bild 500 aus 5, 6 bzw. 7 in einem anderen Stadium einer Verarbeitung durch die Zeichenerkennungsvorrichtung aus 2 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Hierbei ist erneut der rechteckige Bezugsrahmen 525 dargestellt, dem die digitale Anzeige 220 einbeschrieben ist. Auch sind in 8 beispielhaft lediglich zwei Informationseinheiten 702 gezeigt. Diese beiden Informationseinheiten 702 sind zu einer Informationsgruppe 802 zusammengefasst. Anders ausgedrückt sind die beiden in 8 beispielhaft eingezeichneten Informationseinheiten 702 zu einer Informationsgruppe 802 gruppiert. Diese Informationsgruppe 802 repräsentiert beispielsweise eine Dezimalwertgruppe. Ferner sind in 8 beispielhaft weitere zwei Informationsgruppen 802 aus weiteren Informationseinheiten bzw. Zeichen dargestellt. Bei den weiteren Informationsgruppen 802 handelt es sich beispielsweise um eine Datumsgruppe und eine Uhrzeitgruppe. 8th shows the recorded picture 500 out 5 . 6 respectively. 7 at another stage of processing by the character recognition device 2 according to an embodiment of the present invention. Here again is the rectangular frame of reference 525 presented to the digital display 220 is inscribed. Also are in 8th by way of example only two information units 702 shown. These two information units 702 are to an information group 802 summarized. In other words, the two are in 8th exemplified information units 702 to an information group 802 grouped. This information group 802 for example, represents a decimal value group. Furthermore, in 8th By way of example, another two information groups 802 represented from further information units or characters. For the other information groups 802 For example, it is a date group and a time group.
9 zeigt Teilabbildungen hinsichtlich eines Anleitens eines Nutzers zur Aufnahme eines Bildes der digitalen Anzeige aus 2 bzw. 3 im richtigen Winkel in der richtigen Größe. Dabei sind in 9 beispielhaft drei Teilabbildungen a, b und c dargestellt, wobei in jeder der Teilabbildungen a, b und c das Peripheriegerät 120 aus 2 bzw. 3 mit der digitalen Anzeige 220 dargestellt ist. Dabei entsprechen die Teilabbildungen a, b und c einer Sicht eines Nutzers des Peripheriegerätes 120 bei einem Aufnahmevorgang des Bildes der digitalen Anzeige 220 unter Verwendung einer Bildaufnahmeeinrichtung. Mittels der Bereitstellungseinrichtung der Zeichenerkennungsvorrichtung aus 2 ist eine für einen Typ der aufzunehmenden digitalen Anzeige 220 spezifische Nutzerinformation 279 auf einem Bildschirm der Bildaufnahmeeinrichtung bereitstellbar. Dabei umfasst die spezifische Nutzerinformation 279 den aufgrund der Umrissinformation der Referenzdaten ermittelten Umriss 520. Hierbei dient der Umriss 520 dem Nutzer als eine visuelle Hilfestellung zum geeigneten Positionieren des Peripheriegerätes 120 für die Aufnahme des Bildes der digitalen Anzeige 220. 9 FIG. 12 shows partial illustrations of instructing a user to capture an image of the digital display. FIG 2 respectively. 3 at the right angle in the right size. Here are in 9 three sub-images a, b and c are shown by way of example, wherein in each of the sub-images a, b and c the peripheral device 120 out 2 respectively. 3 with the digital display 220 is shown. The partial images a, b and c correspond to a view of a user of the peripheral device 120 during a recording operation of the image of the digital display 220 using an image pickup device. By means of the providing device of the character recognition device 2 is one for a type of digital display to be recorded 220 specific user information 279 can be provided on a screen of the image recording device. In this case, the specific user information comprises 279 the outline determined on the basis of the outline information of the reference data 520 , This is the outline 520 the user as a visual aid for properly positioning the peripheral device 120 for taking the image of the digital display 220 ,
Teilabbildung a zeigt hierbei einen zu großen Abstand oder eine zu geringe Vergrößerung der digitalen Anzeige 220 bezüglich des Umrisses 520. Teilabbildung b zeigt verglichen mit Teilabbildung a einen verringerten Abstand bzw. eine stärkere Vergrößerung der digitalen Anzeige 220 bezüglich des Umrisses 520, jedoch einen Winkelversatz bzw. eine verdrehte Ausrichtung der digitalen Anzeige 220 bezüglich des Umrisses 520. Teilabbildung c zeigt eine korrekte Ausrichtung sowie einen korrekten Abstand der digitalen Anzeige 220 bezüglich des Umrisses 520.Part illustration a shows too great a distance or too low an enlargement of the digital display 220 regarding the outline 520 , Partial image b shows a reduced distance or a larger magnification of the digital display compared to partial image a 220 regarding the outline 520 However, an angular offset or a twisted orientation of the digital display 220 regarding the outline 520 , Part illustration c shows a correct orientation as well as a correct distance of the digital display 220 regarding the outline 520 ,
10 zeigt eine schematische Darstellung eines Algorithmus 1000 zur optischen Zeichenerkennung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung in Verbindung mit der Zeichenerkennungsvorrichtung aus 1 bzw. 2. Dabei ist der Algorithmus 1000 mittels der Zeichenerkennungsvorrichtung aus 1 bzw. 2 ausführbar. Als Eingangsdaten in den Algorithmus 1000 sind zum einen Bilddaten 235, die ein aufgenommenes Foto bzw. Bild einer digitalen Anzeige repräsentieren, und zum anderen Referenzdaten 245 bzw. Profilinformationen dargestellt. Als Ausgangsdaten aus dem Algorithmus 1000 sind Zeichendaten 270 bzw. extrahierte Informationen gezeigt, die erkannte Zeichen repräsentieren. 10 shows a schematic representation of an algorithm 1000 optical character recognition according to an embodiment of the present invention in connection with the character recognition device 1 respectively. 2 , Here is the algorithm 1000 by means of the character recognition device 1 respectively. 2 executable. As input data in the algorithm 1000 are on the one hand image data 235 which represent a photographed image of a digital display, and reference data 245 or profile information shown. As output data from the algorithm 1000 are character data 270 or extracted information representing recognized characters.
11 zeigt eine schematische Darstellung eines optischen Zeichenerkennungsprozesses 1100 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Der optische Zeichenerkennungsprozess 1100 ist hierbei mittels der Zeichenerkennungsvorrichtung aus 1 bzw. 2 ausführbar. Bei dem optischen Zeichenerkennungsprozess 1100 kann es sich um eine Variante des Algorithmus aus 10 handeln. 11 shows a schematic representation of an optical character recognition process 1100 according to an embodiment of the present invention. The optical character recognition process 1100 is here by means of the character recognition device 1 respectively. 2 executable. In the optical character recognition process 1100 it can be a variant of the algorithm 10 act.
In einem Block 1101 wird eine Übereinstimmung zwischen einer Form einer digitalen Anzeige und einem durch die Umrissinformation der Referenzdaten bestimmten Umriss der digitalen Anzeige gesucht bzw. hergestellt. In einem Block 1102 wird der Bezugsrahmen als eine rechteckige Referenz bestimmt. In einem Block 1103 werden Koordinaten der Informationssegmente bestimmt. In einem Block 1104 werden Pixelwerte bzw. Farbinformationen der Informationssegmente überprüft. In einem Block 1105 werden Informationseinheiten erkannt. In einem Block 1106 werden Informationsgruppenwerte zusammengefügt.In a block 1101 a match between a shape of a digital display and an outline of the digital display determined by the outline information of the reference data is searched for. In a block 1102 the frame of reference is determined as a rectangular reference. In a block 1103 coordinates of the information segments are determined. In a block 1104 pixel values or color information of the information segments are checked. In a block 1105 information units are detected. In a block 1106 are grouped together information group values.
12 zeigt ein Ablaufdiagramm eines Verfahrens 1200 zum Erkennen von Zeichen auf einer digitalen Anzeige gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren 1200 ist in Verbindung mit der Zeichenerkennungsvorrichtung aus 2 ausführbar. Auch ist das Verfahren 1200 ausführbar, um den Algorithmus aus 10 und/oder den Prozess aus 11 durchzuführen. 12 shows a flowchart of a method 1200 for recognizing characters on a digital display according to an embodiment of the present invention. The procedure 1200 is off in conjunction with the character recognition device 2 executable. Also, that's the procedure 1200 executable to the algorithm 10 and / or the process 11 perform.
Das Verfahren 1200 weist einen Schritt 1262 des Ermittelns von Koordinaten von Informationssegmenten der digitalen Anzeige in eingelesenen Bilddaten, die ein aufgenommenes Bild der digitalen Anzeige repräsentieren, unter Verwendung von anzeigetypspezifischen Referenzdaten auf, die eine vordefinierte Koordinatenkarte für die Informationssegmente aufweisen.The procedure 1200 has a step 1262 determining coordinates of information segments of the digital display in read-in image data representing a captured image of the digital display using display type-specific reference data having a predefined coordinate map for the information segments.
Ferner weist das Verfahren 1200 auch einen auf den Schritt 1262 des Ermittelns folgenden Schritt 1264 des Überprüfens auf, ob Pixel der Bilddaten an den Koordinaten der Informationssegmente einen Dunkel-Wert oder einen Hell-Wert aufweisen, um Segmentdaten über einen angezeigten oder ausgeblendeten Zustand der Informationssegmente zu bestimmen.Further, the method has 1200 also on the step 1262 determining step next 1264 checking whether pixels of the image data at the coordinates of the information segments have a dark value or a bright value to determine segment data about a displayed or hidden state of the information segments.
Auch weist das Verfahren 1200 einen auf den Schritt 1264 des Überprüfens folgenden Schritt 1266 des Kombinierens der Segmentdaten der Informationssegmente der digitalen Anzeige auf, um die Zeichen auf der digitalen Anzeige zu erkennen.Also, the procedure assigns 1200 one on the step 1264 checking the next step 1266 combining the segment data of the information segments of the digital display to recognize the characters on the digital display.
Das Verfahren 1200 kann gemäß einem weiteren Ausführungsbeispiel auch zumindest einen weiteren Schritt aufweisen, der unter Verwendung einer der Einrichtungen der Zeichenerkennungsvorrichtung aus 2 ausführbar ist.The procedure 1200 According to a further embodiment, it may also comprise at least one further step, which comprises using one of the devices of the character recognition device 2 is executable.
Unter Bezugnahme auf die 1 bis 12 werden im Folgenden Ausführungsbeispiele der vorliegenden Erfindung sowie deren Vorzüge nochmals zusammenfassend und mit anderen Worten erläutert.With reference to the 1 to 12 In the following embodiments of the present invention and their merits are summarized again and explained in other words.
Insbesondere um Patienten bei dem eigenständigen Berichten von Vitalfunktionen zu unterstützen, die mit einem Peripheriegerät 120 aufgenommen wurden, wird ein System vorgeschlagen, um Vitalfunktionsinformationen aus einem Foto zu extrahieren, das von einer Anzeigeeinheit des Peripheriegerätes 120 oder einer Anzeigeeinrichtung aufgenommen wurde. Insbesondere kann ein OCR-Algorithmus 1000, 1100 bzw. 1200 bereitgestellt werden, der im Hinblick auf digitale (7-Segment-)Anzeigen 220 zuverlässige Ergebnisse liefert. Es kann ein Trainingsaufwand für einen OCR-Algorithmus 1000, 1100 bzw. 1200 reduziert werden, um bei unterschiedlichen Arten, Modellen oder Typen von Peripheriegeräteanzeigen 220 zu funktionieren, und eine Erkennungsgenauigkeit kann erhöht werden. Somit kann ein zuverlässiger, generischer OCR-Algorithmus 1000, 1100 bzw. 1200 insbesondere für digitale 7-Segment-Anzeigen, der in einem verkaufsbereiten Produkt verwendet werden kann, bereitgestellt werden.In particular, to assist patients in independently reporting vital signs associated with a peripheral device 120 For example, a system is proposed to extract vital signs information from a photograph taken by a display unit of the peripheral device 120 or a display device was recorded. In particular, an OCR algorithm 1000 . 1100 respectively. 1200 provided with regard to digital (7-segment) displays 220 delivers reliable results. It can be a training effort for an OCR algorithm 1000 . 1100 respectively. 1200 can be reduced to display different types, models or types of peripherals 220 to work, and a recognition accuracy can be increased. Thus, a reliable, generic OCR algorithm can be used 1000 . 1100 respectively. 1200 especially for 7-segment digital displays that can be used in a salable product.
Der Aufwand kann von dem Trainieren eines herkömmlichen OCR-Algorithmus hinsichtlich einer spezifischen 7-Segment-Anzeige auch auf ein einfaches Hinzufügen eines neuen Profils mit den nötigen Informationen b Referenzdaten 245 zw. reduziert werden. Ein weiterer Vorteil des Verfahrens 1200 bzw. der Zeichenerkennungsvorrichtung 110 besteht auch in der Tatsache, dass keine Beschränkung auf 7-Segment-Ziffern bzw. -Stellen, sondern Gültigkeit für irgendeine Art von angezeigten Informationen vorliegt. Es ist auch möglich, mit spezifischen Symbolen angezeigte Informationen zu extrahieren, zum Beispiel eine Information für eine Blutzuckermessgeräteablesung bezüglich einer Messung vor oder nach einer Mahlzeit, wie es beispielsweise anhand der Apfelsymbole auf der digitalen Anzeige 220 in 3 oder eine der 5 bis 8 erkennbar ist. Im Gegensatz zu herkömmlichen, generischen Allzweck-OCR-Algorithmen kann diese Art von Information extrahiert werden, weil nicht versucht wird, eine Übereinstimmung mit einer existierenden Schriftart herzustellen, in der diese Art spezifischer Symbole allerdings nicht existiert.The effort may also be to simply add a new profile with the necessary information b reference data, from training a conventional OCR algorithm to a specific 7-segment display 245 zw. be reduced. Another advantage of the process 1200 or the character recognition device 110 It also consists in the fact that there is no restriction on 7-segment digits but validity for any kind of displayed information. It is also possible to extract information displayed with specific symbols, for example an information for a blood glucose meter reading with respect to a measurement before or after a meal, as for example using the apple symbols on the digital display 220 in 3 or one of the 5 to 8 is recognizable. In contrast to conventional general purpose generic OCR algorithms, this type of information can be extracted because it does not attempt to match an existing font in which this type of specific symbols does not exist.
Hinsichtlich der Profile bzw. Profildaten bzw. Referenzdaten 245 zur Zeichenerkennung für digitale Anzeigen 220, wie beispielsweise 7-Segment-Anzeigen, kann hierbei vorher bekannt sein, welche digitalen Anzeigen 220 unterstützt werden. Zumindest im medizinischen Umfeld ist eine Vorbekanntheit unterstützter Geräte gegebenenfalls sogar erwünscht, da lediglich Daten von vertrauenswürdigen Geräten 120 für klinische Zwecke von Interesse sind. Der Vorteil besteht darin, dass gemäß Ausführungsbeispielen der vorliegenden Erfindung mehr und/oder zuverlässigere Informationen als unter Verwendung eines herkömmlichen OCR-Algorithmus extrahiert werden können. Auch kann eine hohe Genauigkeit des Algorithmus 1000, 1100 bzw. 1200 erreicht werden.With regard to the profiles or profile data or reference data 245 for character recognition for digital ads 220 , such as 7-segment displays, it may be known in advance, which digital displays 220 get supported. At least in the medical environment is a precognition Supported devices may even be desirable, as only data from trusted devices 120 are of interest for clinical purposes. The advantage is that according to embodiments of the present invention, more and / or more reliable information can be extracted than using a conventional OCR algorithm. Also can be a high accuracy of the algorithm 1000 . 1100 respectively. 1200 be achieved.
Anders ausgedrückt kann gemäß Ausführungsbeispiel der vorliegenden Erfindung ein profilbasierter OCR-Algorithmus 1000, 1100 bzw. 1200 für digitale Anzeigen, insbesondere 7-Segment-Anzeigen, bereitgestellt werden. Indem Profile bzw. Referenzdaten für digitale Anzeigen 220, insbesondere 7-Segment-Anzeigen, definiert und verwendet werden, sind Bereiche, in denen Informationen innerhalb der digitalen Anzeige 220 angezeigt werden, d. h. die Informationssegmente oder Informationseinheiten 702, dem Algorithmus 1000, 1100 bzw. 1200 bekannt. Der Algorithmus 1000, 1100 bzw. 1200 prüft beispielsweise, ob ein spezifischer Bereich bzw. ein Informationssegment der digitalen Anzeige 220 gegenwärtig hervorgehoben ist und zum Darstellen von Informationen verwendet wird. Durch Überprüfen von Positionen bzw. Koordinaten x und y der beispielhaft sieben Informationssegment, die zum Anzeigen einer Ziffer bzw. Stelle verwendet werden, kann der Algorithmus 1000, 1100 bzw. 1200 bestimmen, welche Ziffer bzw. Stelle angezeigt wird.In other words, according to an embodiment of the present invention, a profile-based OCR algorithm 1000 . 1100 respectively. 1200 for digital ads, especially 7-segment ads. By profiles or reference data for digital ads 220 In particular, 7-segment displays, defined and used, are areas that contain information within the digital display 220 are displayed, ie the information segments or information units 702 , the algorithm 1000 . 1100 respectively. 1200 known. The algorithm 1000 . 1100 respectively. 1200 checks, for example, whether a specific area or an information segment of the digital display 220 is currently highlighted and used to present information. By checking positions or coordinates x and y of the exemplary seven information segment used to indicate a digit, the algorithm may 1000 . 1100 respectively. 1200 determine which digit or location is displayed.
Um ein Bild bzw. Foto einer digitalen Anzeige 220 verarbeiten und unter Verwendung eines OCR-Algorithmus Informationen extrahieren zu können, ist ein Profil für diese Art von digitaler Anzeige 220 zu erzeugen, d. h. es sind Referenzdaten 245 bereitzustellen. Die Form bzw. der Umriss 520 der digitalen Anzeige 220 wird als Umrissinformation der Referenzdaten 245 bzw. als Teil des Profils gespeichert und in der Bilddaten 235 ermittelbar, wie es in 5 gezeigt ist. Die digitale Anzeige 220 bzw. deren Umriss 520 wird dem Bezugsrahmen 525 bzw. rechteckigen Umriss so eng wie möglich ein beschrieben bzw. in demselben eingepasst, wie es ebenfalls in 5 zu erkennen ist. Der Bezugsrahmen 525 wird dann für die relativen Koordinaten x und y von Informationssegmenten innerhalb der digitalen Anzeige 220 verwendet, die hervorgehoben sein können, wie es in 6 dargestellt ist. Um zwischen einem hervorgehobenen Informationssegment und einem, das nicht hervorgehoben ist, unterscheiden zu können, wird ein Kontrastreferenzpunkt 701 angegeben, damit der Algorithmus 1000, 1100 bzw. 1200 beispielsweise eine Farbinformation eines Informationssegments mit einer Farbinformation an dem Kontrastreferenzpunkt 701 vergleichen kann, wie es in 7 veranschaulicht ist. Für jedes Informationssegment werden die relativen Koordinaten x und y einer Mitte des Informationssegments ermittelt und als Teil der Referenzdaten 245 gespeichert, wie es aus 6 und 7 ersichtlich ist. Der Koordinatensatz bzw. Satz von Koordinaten x und y für alle Informationssegmente einer logischen Informationseinheit 702, wie beispielsweise einer Ziffer bzw. Stelle oder eines Zeichens oder Schriftzeichens, wird gruppiert, wie es in 7 gezeigt ist, und mit einem Typ der Informationseinheit 702, zum Beispiel Ziffer bzw. Stelle, markiert, sodass eine Informationseinheit 702 generiert wird. Es können auch Informationseinheiten 702 untereinander gruppiert werden, um eine Informationsgruppe 802 für beispielsweise eine Dezimalzahl zu ergeben, wie es in 8 erkennbar ist.To take a picture or a photo of a digital display 220 processing and extracting information using an OCR algorithm is a profile for this type of digital display 220 to generate, ie they are reference data 245 provide. The shape or the outline 520 the digital display 220 is used as outline information of the reference data 245 or saved as part of the profile and in the image data 235 ascertainable, as it is in 5 is shown. The digital display 220 or its outline 520 becomes the frame of reference 525 or rectangular outline as closely as possible described or fitted in the same, as it is also in 5 can be seen. The frame of reference 525 is then calculated for the relative coordinates x and y of information segments within the digital display 220 used, which may be highlighted as it is in 6 is shown. To be able to distinguish between a highlighted information segment and one that is not highlighted, becomes a contrast reference point 701 specified, hence the algorithm 1000 . 1100 respectively. 1200 For example, color information of an information segment having color information at the contrast reference point 701 can compare how it is in 7 is illustrated. For each information segment, the relative coordinates x and y of a center of the information segment are determined and as part of the reference data 245 saved, like it out 6 and 7 is apparent. The set of coordinates x and y for all information segments of a logical information unit 702 , such as a digit or a character or character, is grouped as shown in FIG 7 and with one type of information unit 702 , For example, digit, marked, so that an information unit 702 is generated. It can also be information units 702 grouped together to form an information group 802 for example, to give a decimal number, as in 8th is recognizable.
Ein Nutzer kann ein Foto einer speziellen digitalen Anzeige 220 eines Peripheriegerätes 120 aufnehmen. Insbesondere bei Verwendung moderner mobiler Geräte, beispielsweise Smartphone oder Tablet, kann optional die Umrissinformation aus dem peripheriegerätespezifischen Profil bzw. die Referenzdaten 245 verwendet werden, um den Nutzer anzuleiten, um ein Foto im richtigen Winkel im richtigen Abstand mit der richtigen Auflösung zur späteren Verarbeitung aufzunehmen, wie es in 9 gezeigt ist. Wenn das Foto aufgenommen und zugeschnitten ist, können die Bilddaten 235 dem Algorithmus 1000, 1100 bzw. 1200 mit den zugehörigen Referenzdaten 245 bzw. der entsprechenden Profilinformation bereitgestellt werden. Der Algorithmus 1000, 1100 bzw. 1200 kennt somit die Umrissinformation der zu verarbeitenden digitalen Anzeige 220. Unter Verwendung der Umrissinformation kann der tatsächliche Umriss 520 der digitalen Anzeige 220 in dem Foto bzw. in den Bilddaten 235 lokalisiert werden. Basierend darauf kann der Bezugsrahmen 525 bzw. der rechteckige Referenzumriss berechnet und in dem Bild platziert werden, damit die Informationssegmente der digitalen Anzeige 220 lokalisiert werden können. Informationen der unterschiedlichen Informationseinheiten werden aus dem Profil verwendet. Unter Verwendung der relativen Koordinaten x und y und des Bezugsrahmens 525 bzw. des rechteckigen Referenzumrisses werden die in dem Bild zu erkennenden Informationsdienste bestimmt. Es wird beispielsweise eine Farbinformation an den Koordinaten x und y aufgenommen und mit jenen des Kontrastreferenzpunkts 701 verglichen. So lässt sich bestimmen, ob das definierte Informationssegment in dem Bild der digitalen Anzeige 220 hervorgehoben bzw. angezeigt ist oder nicht. Um eine Informationseinheit 702 zu erkennen, die zumindest einem der Informationssegmente besteht und beispielsweise eine Ziffer bzw. Stelle repräsentiert, werden alle, beispielhaft sieben, Segmentkoordinaten bzw. Koordinatenpaare (x, y) dieser Informationssegmente geprüft. Dies ermöglicht eine Bestimmung der angezeigten Ziffer bzw. Stelle. Alle Ziffern bzw. Stellen einer Dezimalzahl können auf diese Weise erkannt und zu dem Wert einer Informationsgruppe 802 zusammengefügt werden. Der Algorithmus 1000, 1100 bzw. 1200 extrahiert die Informationen für alle in dem Profil bzw. die Referenzdaten 245 definierten Informationsgruppen 802 und gibt die erkannten Werte für dieselben aus, falls sie erkannt werden konnten.A user can take a photo of a special digital ad 220 a peripheral device 120 take up. In particular, when using modern mobile devices, such as a smartphone or tablet, optionally the outline information from the peripheral device specific profile or the reference data 245 can be used to guide the user to take a photo at the correct angle at the correct distance with the correct resolution for later processing, as in 9 is shown. When the photo is taken and cropped, the image data may be 235 the algorithm 1000 . 1100 respectively. 1200 with the associated reference data 245 or the corresponding profile information. The algorithm 1000 . 1100 respectively. 1200 thus knows the outline information of the digital display to be processed 220 , Using the outline information, the actual outline 520 the digital display 220 in the photo or in the image data 235 be located. Based on this, the frame of reference 525 or the rectangular reference outline are calculated and placed in the image so that the information segments of the digital display 220 can be located. Information of the different information units is used from the profile. Using the relative coordinates x and y and the frame of reference 525 or the rectangular reference outline, the information services to be recognized in the image are determined. For example, a color information is recorded at the coordinates x and y and those of the contrast reference point 701 compared. Thus it can be determined whether the defined information segment in the image of the digital display 220 highlighted or displayed or not. To an information unit 702 to recognize, which consists of at least one of the information segments and, for example, represents a digit or place, all, exemplary seven, segment coordinates or coordinate pairs (x, y) of these information segments are checked. This allows a determination of the displayed digit or location. All digits or digits of a decimal number can be recognized in this way and the value of an information group 802 be joined together. The algorithm 1000 . 1100 respectively. 1200 extracts the information for everyone in the profile or reference data 245 defined information groups 802 and outputs the recognized values for them if they could be detected.
Alternativ können die Bilddaten 235 auch durch den Algorithmus 1000, 1100 bzw. 1200 bzw. die Zeichenerkennungsvorrichtung 110 verarbeitet werden, wenn Profilinformationen bzw. Referenzdaten 245 für den in dem Bild dargestellten Typ der digitalen Anzeige 220 bzw. Peripheriegeräteanzeige fehlen. In diesem Fall werden alle bekannten Profile bzw. Referenzdaten 245 ausgewertet. Zunächst versucht der Algorithmus 1000, 1100 bzw. 1200, den Umriss 520 einer digitalen Anzeige 220 mit einer Umrissinformation aus verfügbaren Referenzdaten 245 in Übereinstimmung zu bringen. Falls keine Übereinstimmung mit dem Umriss 520 gefunden wird, wird mit den nächsten verfügbaren Referenzdaten 245 fortgefahren. Wenn eine Übereinstimmung gefunden wird, so wird versucht, die definierten Informationsgruppen 802 zu verarbeiten. Falls keine Informationen extrahiert werden können, dann passen die probeweise gewählten Referenzdaten 245 wahrscheinlich nicht und es ist werden die nächsten verfügbaren Referenzdaten 245 geprüft. Dieser Prozess geht weiter, bis eine Übereinstimmung für die digitale Anzeige 220 gefunden wurde und sinnvolle Informationen extrahiert wurden; andernfalls kann der Algorithmus beispielsweise mit einem Fehler beendet werden.Alternatively, the image data 235 also by the algorithm 1000 . 1100 respectively. 1200 or the character recognition device 110 be processed if profile information or reference data 245 for the type of digital display shown in the picture 220 or peripheral device display is missing. In this case, all known profiles or reference data 245 evaluated. At first the algorithm tries 1000 . 1100 respectively. 1200 , the outline 520 a digital display 220 with an outline information from available reference data 245 to bring into line. If no match with the outline 520 will be found with the next available reference data 245 continued. If a match is found, it tries to find the defined information groups 802 to process. If no information can be extracted, the sample reference data will fit 245 probably not and it will be the next available reference data 245 checked. This process continues until a match for the digital display 220 was found and meaningful information was extracted; otherwise the algorithm may be terminated with an error, for example.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. The embodiments described and shown in the figures are chosen only by way of example. Different embodiments may be combined together or in relation to individual features. Also, an embodiment can be supplemented by features of another embodiment.
Ferner können die hier vorgestellten Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Furthermore, the method steps presented here can be repeated as well as executed in a sequence other than that described.
Umfasst ein Ausführungsbeispiel eine „und/oder“- Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.If an exemplary embodiment comprises an "and / or" link between a first feature and a second feature, then this is to be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment either only first feature or only the second feature.
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
-
US 7624028 B1 [0002] US 7624028 B1 [0002]
