DE3411939A1

DE3411939A1 - Verfahren und vorrichtung zur bildwiedergewinnung unter verwendung von annotationen als leitinformation

Info

Publication number: DE3411939A1
Application number: DE3411939A
Authority: DE
Inventors: Kuniaki Tabata; Susumu Tsuhara
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1983-04-01
Filing date: 1984-03-30
Publication date: 1984-10-31
Also published as: US4716404A; JPS59183458A; FR2543708B1; JPH0432427B2; FR2543708A1; DE3411939C2

Description

HITACHI, LTD., Tokyo,
Japan

Verfahren und Vorrichtung zur Bildwiedergewinnung unter Verwendung von Annotationen
als Leitinformation

Die Erfindung betrifft ein Verfahren und eine .Vorrichtung
zur Bildwiedergewinnung unter Verwendung von Annotationen
als Leitinformation, die sich zur Wiedergewinnung von Dokumentbilddaten eignen. Unter den bekannten Wiedergewinnungsverfahren für Bilddaten sollen an dieser Stelle zwei grundsätzliche Verfahren angeführt werden, ein Verfahren, das
direkt die wiederzugewinnenden Datennamen spezifiziert und
ein anderes Verfahren, das ein gewünschtes Bild aus
Daten auswählt, die entsprechend eines definierten Klassifikationscodes (der beispielsweise eine Haupt- oder eine
Mittelklassifikation darstellt), angezeigt werden. Aus der Druckschrift "Image Data Base under Advanced Research
Directed to Practical Utilization", Nikkei Computer, 31. Mai 1982, Seiten 40 - 49, ist ein neueres Bildwiedergewinnungsverfahren beispielsweise für eine Kartenbild-Datenbank, die topographische Darstellungen einer Karte betrifft, bekannt.

81-A8593-02/AtAl

EPO - COPY

-scia

Ein weiteres Verfahren ist aus der japanischen Offenlegungsschrift 57-109050 vom 7. Juli 1982 bekannt, bei dem eine Abfrage durch ein Bildbeispiel (QPE) erfolgt, wobei eine Bilddatei unter Verwendung eines Bildbeispiels wiedergewonnen wird. Somit stellen die beiden zuletzt genannten Wiedergewinnungsverfahren solche dar, bei denen eine graphische Informationsdarstellung, die von den wiederzugewinnenden Daten abhängt, verwendet wird.

Als ein weiteres bekanntes Verfahren sei hier das aus der japanischen Offenlegungsschrift 57-121767 vom 29. Juli 1982 bekannte Verfahren genannt, bei dem eine durch Assoziation von Dateninhalten nahegelegte Farbkorrespondenz verwendet wird.

Schließlich ist aus der Druckschrift "Retrieval of a Series of Chinese Character Patterns Using Feature Parameters", von Ohta et al, The Institute of Electronics and Communication Engineers of Japan, Research section, paper No. IE 80 - 120, Seiten 91 - 98, ein Verfahren bekannt, bei dem unter Verwendung von Merkmalparametern eine Reihe von chinesischen Zeichenmustern wiedergewonnen werden.

Aus der täglichen Erfahrung weiß man, daß eine von einem Benutzer einer Datei hinzugefügte Mitteilungsinformation einen wichtigen Hinweis oder eine Leitlinie„sein kann,um die Datei in der Zukunft rückzugewinnen. Außerdem ist erfahrungsgemäß die Entscheidung leicht zu treffen, welche Daten sich auf ein ursprüngliches Bild beziehen, in dem man sich auf ein spezifiziertes Teilbild des ursprünglichen Bildes bezieht (beispielsweise ein Porträt auf einer Scheckkarte oder ein Strukturdiagramm eines gekennzeichneten Teils eines Geräts). Bei einigen Anwendungen (beispielsweise die Rückgewinnung eines Ausschnitts einer Zeitschrift, eines Durchschußblatts eines Buchs oder einer unterstrichenen oder rot markierten Anmerkung) bezieht man sich nicht auf das gesamte Bild sondern stellt lediglich ein Teilbild möglichst gut dar. In der '

EPO - COPY

Vergangenheit gab es jedoch noch keine befriedigenden Verfahren, die eine möglichst gute Darstellung von Mitteilungsinformation, wie beispielsweise Bezugsinformation und Teilbildern zur Rückgewinnung einer Bilddatei ermöglichten. Damit war eine Beeinträchtigung des Betriebswirkungsgrades unvermeidbar.

Es ist Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung zur Bildrückgewinnung zu ermöglichen, wobei unter Verwendung von Führungs-information, wie Teilbilder und hinzugefügten Mitteilungen eine hohe Rückgewinnungseffizient erzielbar ist.

Die Lösung der obigen Aufgabe geschieht gemäß einem Merkmal der Erfindung durch folgende Schritte:

Speichern mehrerer Bilder,

Speichern einer Bezugsdatengruppe, die mit jedem der Bilder assoziativ verbun-

. ' den ist,

Kennzeichnung der Lage und der Größe eines Teilbildes, das mit jedem der Bilder assoziativ verbunden ist,

Herausziehen eines gewünschten Bezugsdatums aus der gespeicherten Bezugsdatengruppe, '

Herausschneiden des in Lage und Größe gekennzeichneten Teilbildes aus dem gespeicherten Bild abhängig vom herausgezogenen Bezugsdatum, "

Vermischung des herausgezogenen Bezugsdatums mit dem ausgeschnittenen Teilbild und

Rückgewinnung der Bilder auf der Basis des Mischergebnisses..

Die Erfindung wird im folgenden anhand der Zeichnung näher beschrieben. Es zeigen:

Fig. 1 eine graphische Erläuterung des Prinzips der Erfindung; ;

EPO - COPY

Fig..2 ein Blockschaltbild eines Schaltungsaufbaus einer

erfindungsgemäßen Vorrichtung zur Bildrückgewinnung;

Fig. 3 eine graphische Erläuterung eines ausgeschnittenen Teilbildes;

Fig. 4 ein Format einer Rückgewinnungstabelle; Fig. 5 eine Anweisungs-Verweistabelle;

Fig. 6 ■ ■ '■ ■

bis 11 Flußdiagramme von Rückgewinnungsabläufen oder

Schritten, und

Fig. 12 ein Blockschaltbild einer zum Ausschneiden von Teilbildern verwendeten Schaltung.

Bevor Ausführungsbeispiele der Erfindung beschrieben werden, wird anhand der Figur 1 das der Erfindung zugrundeliegende Prinzip beschrieben. Tn Figur 1 sind in einer Bilddatei 40 Bilddaten gespeichert, von denen ein gewünschtes Datum wiedergewonnen wird. Eine Mitteilungsdatei (Memodatei) 50 speichert Memo-Daten und die Position und die Größe eines auszuschneidenden Teilbildes in Verbindung mit jeweils einem Teil oder aller in der Bilddatei gespeicherten Bilddaten. Alle in der Memo-Datei 50 gespeicherten Memo-Daten können in eine Verweistabellenform aufbereitet werden und als Memo-Bild 30 an einem Anzeigeschirm angezeigt werden. Von den in der Memo-Datei 50 gespeicherten Daten können eine Mitteilung und.ein Teilbild eines gekennzeichneten Datums miteinander gemischt oder kombiniert und am Schirm als Ausschnitt-Teilbild 20 angezeigt werden. Das anzu^ zeigende Teilbild ist aus den Bilddaten (ganzes Bild), die in der Bilddatei 40 gespeichert sind herausgeschnitten und die Ausschnittlage und die Größe des Teilbildes sind in der Memo-Datei 50 gespeichert. Die Bilddaten (ganzes Bild) der Bilddaten 40 können auf dem Schirm als ganzes Bild 10 angezeigt werden.

EPO - COPY

Auf diese Weise ist erfindungsgemäß die Rückgewinnung der Bildda.tei durch Bezug auf die Mitteilungsdaten (Memo-Daten) und/oder das Teilbild aus den ursprünglichen Bilddaten vereinfacht möglich.

Nachfolgend wird die grundsätzliche Arbeitsweise der Erfindung ausführlich anhand der Figur 2 beschrieben·, die einen Söhaltungsaufbau zur Durchführung des erfindungsgemäßen Verfahrens zeigt. EinMikroprozessor 110, ein Hauptspeicher 120, eine Eingabetastatur 130, ein Bildschirm 140, eine Bildeingabeeinheit 150, eine Bilddatei 160, eine Memo-Datei 170 und ein Bildspeicher 180 bilden die Hauptkomponenten der erfindungsgemäßen Vorrichtung, wie sie in Figur 2 dargestellt ist. Die Bilddatei 160 ist eine Datei, die Bilddaten speichert (40 in Figur 1) und zu speichernde Bilddaten werden durch die Bildeingabeeinheit 150 eingegeben. Nach der obigen Beschreibung können ein Teil oder alle der in der Bilddatei 160 gespeicherten Daten als Teilbild gekennzeichnet werden. Dazu werden Lage und Größe des Teilbildes jeweils.durch X, Y-Koordinaten , eine Weite W und eine Höhe H wie in Figur 3 dargestellt ist, definiert. In der Memo-Datei 170 (50 in Figur 1) sind die Werte von X, Y, W und H gespeichert. Eine Rückgewinnungstabelle, die die Bilddaten der Bilddatei 160 steuert, ist im Hauptspeicher 120 gespeichert. Wie Figur 4 zeigt, speichert die Rückgewinnungstabelle 190 in Verbindung mit den jeweiligen Daten der Bilddatei einen Datennamen 191, eine Speicheradresse 192 für die Bilddatei, eine Datenlänge 193 sowie eine Weite 194 und eine Länge 195 der Bilddaten. .Der Bildschirm -140 zeigt das Memobild 30, das Teilbild 20 und das Gesamtbild 10 , wie — sie in Figur dargestellt sind, an. Der Bildspeicher 180 ist ein Arbeitsspeicher, der für Verarbeitungen, wie das Herausschneiden des Teilbildes und das Vermischen des Teilbildes mit den Memodaten- dient. Befehle und Parameter, die die Anweisung für eine Bildrückgewinnungsverarbeitung geben, werden über die Eingabetastatur 130 eingegeben. Der Mikroprozessor 110 steuert den Betrieb der jeweiligen Komponenten und der Dateirückge-

EPO - COPY

winnungsverarbeitung. Programme und Daten, wie die Rückgewinnungstabelle 190 sind im Hauptspeicher 120 gespeichert.

Figur 5 zeigt die Befehlsfunktionen. Anhand der Figur 6, die den Verarbeitungsfluß darstellt, wird die Ausführung der Befehle durch den Mikroprozessor 110 beschrieben.

!.-Bearbeitung 200:

Von den in Figur 5 dargestellten Befehlen wird ein gewünschter Befehl und seine Parameter an der Eingabetastatur eingegeben.

2. Bearbeitung 300:

Der eingegebene Befehl wird interpretiert und eines der Verarbeitungsprogramme 400 bis 900 entsprechend dem Befehlstyp gewählt.

3. Bearbeitung 400' Cim einzelnen in Figur 7 dargestellt):

Ein INPUT-Befehl wird gemäß der folgenden Prozedur ausge- - führt.

a) Ein zu speicherndes Bilddatum wird aus der Bildeingabe

einheit 150 so_; als ob es in den Bildspeicher 180 eingeschrieben werden soll, ausgelesen und dann in einen freien Bereich der Bilddatei 160 (Schritt 410) gespeichert.

b) Eine Speicheradresse der Bilddatei 160, eine Datenlänge der Bilddatei, ein von der Eingabetastatur 330 spezifizierter Datenname sowie eine Weite und Länge des Bildes werden in der Rückgewinnungstabelle 190 gespeichert (Schritt 420).

EPO - COPY

c) Die Prozedur kehrt zum Bearbeitungsprogramm 200 zurück.

4. Bearbeitung 500 (In Figur 8 detailliert dargestellt):

Ein FIND-Befehl wird gemäß der folgenden Prozedur ausgeführt:

a) Durch das Wiederauffinden eines von der Eingabetastatur 130 spezifizierten Datennamens in der Rückgewinnungstabelle 190 wird eine Speicheradresse der Bilddaten bestimmt (Schritt 510).

b) Die Bilddaten werden aus der Bilddatei 160 ausgelesen und. das entsprechende Ganzbild am Bildschirm 140 ange-

. zeigt. Die angezeigten Inhalte entsprechen zu dieser Zeit dem Ganzbild 10 (Schritt 520).

c) Die Prozedur kehrt zum Bearbeitungsprogramm 200 zurück.

5. Bearbeitung 600 (Im Detail in Figur 9 dargestellt):

Ein Memo-Befehl wird während der Anzeige des Ganzbildes 10 am.Bildschirm 140 angenommen (nämlich direkt nach dem FIND-Befehl) und spezifiziert ein aus den angezeigten Bilddaten herausgeschnittenes.Teilbild und eingegebene Memodaten. Der Memo-Befehl wird durch folgende Prozeduren ausgeführt:

a) Mittels einer Schreibmarkentaste der Eingabetastatur 130 wird eine Stelle (X, Y), eine Weite W und eine Länge H des aus den dargestellten Bilddaten herauszuschneidenden Teilbildes spezifiziert. In der Memodatei 50 werden die Werte X, Y, W und H zusammen mit einem Datennamen für das angezeigte Bild abgespeichert (Schritt 610).

EPO-COPY

b) Ein Memodatum wird mittels der Eingabetastatur 130 eingegeben und dann in die Memodatei 50 gespeichert (Schritt 620).

c) Die Prozedur kehrt dann zum Bearbeitungsprogramm 200 zurück.

6. Bearbeitung 700 (In Figur 10 genauer dargestellt):

Ein LIST-Befehl liest alle Daten im Datennamen und Memodatenfeld in der Memodatei und bereitet die ausgelesenen Daten in Form einer Verweistabelle zur Anzeige am Bildschirm 140 auf. Nach Ende der Verarbeitung kehrt die Prozedur zum Bearbeitungsprogramm 200 zurück (Schritt 710).

7. Bearbeitung 800 (Im Detail in Figur 11 dargestellt):

Ein ABSTRACT-Befehl dient zur Anzeige des ausgeschnittenen Teilbildes 20, das aus den gekennzeichneten Memodaten und dem Teilbild besteht. Dieser Befehl wird durch folgende Prozeduren ausgeführt:

a) Ein Datenname des Bildes, ein Memodatum und eine Position (X, Y), eine Weite W und eine Länge H des herausgeschnittenen Teilbildes werden aus der Memodatei 50 gelesen und in den Hauptspeicher 120 gespeichert (Schritt 810).

b) Durch einen Zugriff zur Rückgewinnungstabelle 190 werden eine Speicheradresse und eine Datenlänge der Bilddaten sowie Weite und Länge des Bildes bestimmt (Schritt 820).

c) Die Bilddaten werden aus der Bilddatei 40 ausgelesen und in den Bildspeicher 180 gespeichert (Schritt 830).

EPO - COPY

d) Das durch die Größen X, Y, W und H in Schritt a) definierte Teilbild wird von den Bilddaten aus dem Bildspeicher 180 herausgeschnitten (Schritt 840). Die zum Herausschneiden nötige Bearbeitung wird

im einzelnen in der japanischen Patentschrift No. 57-8499, die auf den gleichen Anmelder zurückgeht, beschrieben und wird später.im einzelnen abgehandelt.

e) Der Datenname des Bildes, die Memodaten und das in Schritt d) herausgeschnittene Teilbild werden am Bildschirm 140 angezeigt (Schritt 850).

f) Die Prozedur kehrt zum Bearbeitungsprogramm 200 zurück.

Figur 12 zeigt ein Blockschaltbild eines Ausführungsbeispiels einer fest verdrahteten Ausschneideverarbeitungseinrichtung für die Bilddaten im Bildspeicher 180.Ein Teilbild wird aus einer Bilddatei mittels einer Ausschneidesteuerung 54 ausgeschnitten. Dieser Bildausschnitt wird auf der Basis eines Signals von einer Formattabelle 53 ausgeführt. Die Tabelle speichert Daten, die die Position "und die Abmessung des Ausschnitt-Teilbildes betreffen. .

Die Ausschneidesteuerung 54 empfängt' die Bilddaten, die in Form von Abtastdaten für den Bildschirm vorliegen. Deshalb stellt die Ausschneidesteuerung 54 durch Zählen der Anzahl der Abtastzeilen und durch Zugriff zur Formattabelle 53 die Grenzen des herausgeschnittenen Teilbildes in Einheiten von Abtastzeilen fest. Die·Ausschneidesteuerung 54 öffnet ein Tor 55, sobald sie einen Startpunkt des Ausschnittrahmens erfaßt und schließt die Torschaltung 55, wenn sie einen Endpunkt erfaßt. Folglich werden nur Daten des Teilbildes in einem Pufferspeicher 56 gespeichert.

EPO-COPY

Die ausgelesenen Teilbilddaten werden einer Bildmischeinrichtung oder Bildverknüpfeinrichtung 57 zugeführt, die diese mit den Teilbilddaten, die im Pufferspeicher 56 gespeichert sind, mischt, so daß neue Teilbilddaten aufbereitet werden. Zur Ausführung der Bildmischung dient eine Mischsteuereinrichtung 58, die zu einem Rückgewinnungsinformationsspeicher 52 zugreift und entscheidet, an welche Stelle der ursprünglichen ^Teilbilddaten die herausgeschnittenen Teilbilddaten im Pufferspeicher 56 gesetzt werden.

8. Bearbeitung 900:

Ein END-Befehl beendet alle Prozeduren.

Die Erfindung wurde anhand von Ausführungsbeispielen beschrieben, jedoch ist eine breite Anwendbarkeit auf verschiedene '" Systeme und spezielle Verarbeitungsanlagen möglich. Insbesondere kann die vorliegende Erfindung vorteilhaft bei einem"Computersystem angewendet werden, bei dem eine Einheit aus der Bilddatei 160, dem Memospeicher 170 und dem Bildspeicher gemäß Figur 2 besteht sowie auf einen speziellen Prozessor, bei dem der Mikroprozessor 110, der Hauptspeicher 120 und die Datenspeicher eine Einheit sind.

Durch die Erfindung werden insbesondere folgende Vorteile erzielt:

1. Da zu den Bilddaten (insbesondere den Teilbilddaten) die Memodaten am Bildschirm angezeigt werden, erleichtert die mittels der Memodaten gegebene Information die Entscheidung, ob das am Bildschirm angezeigte Bild den gewünschten Daten entspricht;

2. Das zuvor spezifizierte Teilbild wird aus dem ursprünglichen Bild herausgeschnitten und angezeigt. Deshalb können, falls

EPO - COPY

die Bedienperson, ein Teilbild für wichtig erachtet, die Bilddaten des zuvor gesetzten Teilbildes schnell angezeigt werden. Insbesondere wenn das ganze Bild wegen durch die Bildauflösung des Bildschirms bedingten Beschränkungen nicht auf einem Bildschirm angezeigt werden kann, ist es bei herkömmlichen Verfahren nötig, daß der Bildschirminhalt wiederholt verschoben wird , um ein gewünschtes Teilbild anzuzeigen. Dagegen ist durch das erfindungsgemäße vorherige Definieren des Teilbildes eine schnelle Anzeige des Teilbildes (ohne daß eine wiederholte Verschiebung des Bildschirminhalts nötig wäre) möglich.

3. Die Position und die Abmessung des anzuzeigenden Ausschnittes kann vorher definiert oder verändert werden ohne daß die ursprünglichen Bilddaten in der Bilddatei und die Bilddatensteuerinformation neu geschrieben werden müssen. Deshalb ist die vorliegende Erfindung auch da anwendbar, wo kein Neubeschreiben ^esSpeichermediums möglich ist, wie z.B. bei Verwendung einer Bildplatte für die Bilddatei.

4. Die Anzahl der von der Bilddatei zum Bildschirm zu übertragenden Daten wächst mit der Menge der abgewickelten Bilddaten proportional an. Erfindungsgemäß benötigt jedoch das Memobild

■ und das ausgeschnittene. Teilbild weniger Daten als das gesamte Bild, wodurch' die Bildanzeige mit hoher Bildwechsel-, frequenz betrieben werden kann.Auf diese Weise kann das gesamte Bild nachdem mittels des wirkungsvollen Memobildes und des Ausschnitt-Teilbildes die das gewünschte Bild, betreffenden Daten ausgewählt sind , sofort angezeigt werden,

. was die Bildrückgewinnungszeit verringert.

EPO - COPY

- Leerseite. -

EPO - COPY

Claims

Patentansprüche

,,gekenn zeichnet durch ^SchrrtteV

a) b)

c) d) e) f) g)

Speichern' mehrerer Bilder;

Speichern von Bezugsdaten, die zu jedem Bild assoziativ sind;

Definition der Lage und der Größe eines mit einem jeweiligen Bild assoziierten Teilbildes;

Extraktion gewünschter Bezugsdaten.aus den für die jeweiligen Bilder gespeicherten Bezugsdaten;

Ausschneiden des in Schritt c) definierten Teilbildes aus dem Bild entsprechend den extrahierten Bezugsdaten;

Mischen der extrahierten Bezugsdaten mit dem herausgeschnittenen Teilbild; und

Wiedergewinnung der jeweiligen Bilder aufgrund des Mischergebnisses.
2. Verfahren zur Bildwiedergewinnung nach Anspruch 1, dadurch gekennzeichnet,

daß zumindest ein Teil der Bilder in einem Speichermedium gespeichert sind, das nicht neu beschreibbar ist.

81-A8593-02/AtAl ' '

EP-O - COPY
3. Vorrichtung zur Bildwiedergewinnung . gekennzeichnet durch

einen Bildspeicher (40, 160), der mehrere Bilder speichert;

eine Einrichtung (110, 130) mit der Lage und Größe eines mit einem jeweiligen gespeicherten Bild verbundenen Teilbildes definierbar sind;

_ eine Bildausschnitteinrichtung (110, 180), die das Teilbild mittels Extraktion des jeweiligen Bildes herausschneidet, Bildsignale, die die Grenzen des Teilbildes gemäß der definierten Lage und der definierten Größe erfaßt und die Bildsignale an der Grenze an- und ausschaltet;

eine Speichereinrichtung (50, 170), die eine Bezugsdatengruppe, die mit einem jeweiligen Bild assoziiert ist, speichert und · '

eine Mischeinrichtung (110, 180), die das ausgeschnittene Teilbild mit den entsprechenden Bezugsdaten mischt.
4. Verfahren zur Bildwiedergewinnung
gekennzeichnet durch folgende Schritte:

A Speichern von Bilddaten für "mehrere Bilder in einer

Bilddatei (40) und Speichern von Leitinformation (50), die Merkmale der jeweiligen Bilder enthält unabhängig von der Bilddatei, wobei die Leitinformation die Lage und der Größe eines aus einem Bild ausgeschnittenen Teilbildes und Mitteilungsdaten für die jeweiligen Bilder enthält und austauschbar ist,

B Bezeichnung einer gewünschten Leitinformation für ein jeweiliges Bild, um eine'Kopie eines ausgeschnittenen Teilbildes auf der Basis der bezeichneten Leitinformation aus dem jeweiligen Bild.zu extrahieren, und

C Kombination der in der bezeichneten Leitinformation enthaltenen Mitteilungsdaten mit dem extrahierten

EPO-COPY

ausgeschnittenen Teilbild und Anzeige des kombinierten Bildes an einem Bildschirm, um ein Leitbild für das wiederzugewinnende Bild zu erzeugen.
5. Verfahren nach Anspruch 4,
dadurch gekennzeichnet,

daß jedes Bild der Bilddatei bei der Bildwiedergewinnung in Form eines Teilbildes angezeigt wird und die Leitinformation· in einer von der Bilddatei unabhängigen Datei vorgesehen ist und entsprechend den Leitmerkmalen jedes Bildes in der Bilddatei neu schreibbar ist.
6. Vorrichtung nach Anspruch 3,
dadurch gekennzeichnet,

daß die Bildausschnitteinrichtung und die Mischeinrichtung einen Arbeitsspeicher aufweisen, in dem ein herausgeschnittenes Teilbild gespeichert und mit entsprechenden Mitteilungsdaten gemischt wird.

EPO - copy