DE60209572T2

DE60209572T2 - Verfahren und vorrichtung zur automatischen erkennung von datentypen für die datentypenabhängige verarbeitung

Info

Publication number: DE60209572T2
Application number: DE60209572T
Authority: DE
Inventors: Marco Winter; Dirk Gandolph; Jobst Hörentrup
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2001-12-28
Filing date: 2002-12-14
Publication date: 2006-08-24
Anticipated expiration: 2022-12-15
Also published as: US7359917B2; WO2003056454A1; KR100934537B1; KR20040068353A; JP2005513673A; CN1610905A; EP1459218B1; EP1459218A1; DE60209572D1; EP1324216A1; AU2002356657A1; JP4438413B2; US20050015402A1; CN1610905B; MXPA04006378A

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Klassifizierung, Organisation und Strukturierung verschiedener Datentypen, zur Benutzung z.B. für Datensortierung, Datenspeicherung oder Datenabruf.
Allgemeiner Stand der Technik
Die Kapazität digitaler Speichermedien wie etwa Festplatten oder mehrmals beschreibbare optische Datenträger zur persönlichen Aufzeichnung von Video- und anderen Daten wächst kontinuierlich. Dies führt zu neuen Konzepten wie z.B. dem sogenannten Homeserver, bei dem es sich um eine zentrale Speichereinrichtung mit großer Kapazität zum Aufzeichnen beliebiger Arten von Daten zu Hause handelt. Solche Anwendungen erfordern außerdem neue Arten der Organisation der aufgezeichneten Daten, der Suche nach Inhalt und des Zugriffs aus spezifische Aufzeichnungen.
Für diesen Zweck kann man Daten über Daten, die häufig als Metadaten bezeichnet werden, benutzen. Verschiedene Industriegruppen und Normengesellschaften haben Metadatennormen für verschiedene Zwecke und Anwendungen entwickelt. In Multimedia-Anwendungen sind Metadaten in der Regel Daten über audiovisuelle (AV)-Daten, wobei diese AV-Daten häufig als „Essenz" bezeichnet werden. Ein Datenbasisverwaltungssystem (DBMS), das in der Lage sein soll, korrekt mit Daten verschiedener Datentypen umzugehen, erfordert jedoch eine Definition von Datentypen und ein Verfahren zur Unterscheidung zwischen ihnen.
Erfindung
Die Erfindung basiert auf der Erkennung der im folgenden beschriebenen Tatsachen:
In Einrichtungen, die ein DBMS für den Umgang mit ankommenden Daten, einschließlich ankommender Metadaten, bereitstellen, ist es notwendig, die ankommenden Daten und insbesondere ankommende Metadaten zu klassifizieren, da für verschiedene Arten von Metadaten unterschiedliche Verarbeitung notwendig ist. Zum Beispiel eignet sich eine Textabfrage nicht für Metadaten, die ein Bild in dem wohlbekannten GIF-Format (Graphics Interchange Format) enthalten.
Das durch die Erfindung zu lösende Problem besteht darin, die Daten automatisch zu klassifizieren, so daß ein DBMS das Ergebnis der Klassifizierung für den korrekten Datenumgang verwenden kann. Dieses Problem wird durch das in Anspruch 1 offengelegte Verfahren und durch die in Anspruch 5 offengelegte Vorrichtung gelöst. Die Ausgabe einer solchen Vorrichtung kann zum Beispiel zu einem DBMS geleitet werden.
Gemäß der Erfindung können Metadaten als Datensätze definiert werden, die aus zwei Teilen bestehen, nämlich einem ersten Teil, der eine Verknüpfung ist, wobei die Verknüpfung zu einem Referenzdatensatz zeigt, und einem zweiten Teil, bei dem es sich um beliebige Daten handelt, die auf die Verknüpfung verweisen. Im folgenden wird der erste Teil als MD_LINK und der zweite Teil als MD_LOAD bezeichnet. Jeder Datenposten, der nicht mindestens ein MD_LINK und ein diesbezügliches MD_LOAD enthält, wird als Essenz definiert. Metadaten treten häufig zusammen mit anderen Metadaten oder anderer Essenz, kombiniert in einer logischen Entität wie z.B. einer Datei oder einer Festplatte, auf. Eine solche Mischung verschiedener Arten von Essenz und Metadaten wird im folgenden als Behälter bezeichnet. Populäre Beispiele für solche Behälter sind HTML-Dateien (Hypertext Markup Language) oder PDF-Dateien (Portable Document Format).
Ferner ist gemäß der Erfindung eine weitere Art von Klassifizierung möglich. Daten können eine Interpretation durch die Einrichtung erfordern, bevor sie benutzt werden können. In diesem Fall werden die Daten als physische Daten definiert, wenn bei der Einrichtung ein Verfahren zur Interpretation definiert ist, und andernfalls als abstrakte Daten. Wenn z.B. ein Bild im GIF-Format gespeichert ist und die Einrichtung das GIF-Format interpretieren und es als ein Bild anzeigen kann, wird es als physische Daten klassifiziert. Wenn die Einrichtung das GIF-Format nicht interpretieren kann, werden die Daten als abstrakte Daten klassifiziert. Weitere Beispiele für abstrakte Daten sind Textdateien und andere Dateien, die nicht durch die Einrichtung interpretiert werden können.
Die oben definierten beiden Typen der Klassifizierung schließen sich nicht aus, sondern ergänzen sich. Ferner ist die beschriebene Klassifizierung von Daten nicht absolut, sondern systemabhängig, und deshalb nur lokal relevant. Vorteilhafterweise ermöglicht diese Klassifizierung es der Einrichtung, korrekt mit verschiedenen Datentypen umzugehen, zwischen Metadaten, Essenz, Behälter, physischen Daten und abstrakten Daten zu unterscheiden und somit ein verallgemeinertes Zugriffsverfahren auf die Datentypen zu gestatten. Mit diesem Wissen kann die Einrichtung z.B. entscheiden, welcher Datenabfragetyp zu verwenden ist, wie Daten zu interpretieren sind und ob bestimmte Daten für eine bestimmte Abfrage ignoriert werden können.
Im folgenden Text und in den jeweiligen abhängigen Ansprüchen werden vorteilhafte zusätzliche Ausführungsformen der Erfindung offengelegt.
Zeichnungen
Beispielhafte Ausführungsformen der Erfindung werden mit Bezugnahme auf die beigefügten Zeichnungen beschrieben. Es zeigen:
1 die beiden Systeme oder Dimensionen der Datenklassifizierung;
2 ein Beispiel für einen Behälter, der Essenz und Metadaten enthält;
3 ein Beispiel für abstrakte Metadaten;
4 ein Beispiel für physische Metadaten;
5 ein beispielhaftes Flußdiagramm für das Verfahren gemäß der Erfindung.
Beispielhafte Ausführungsformen
Gemäß der Erfindung können die beiden Typen oder Systeme der Klassifizierung wie in 1 gezeigt als zwei Dimensionen verstanden werden. Ein Datenposten kann entweder Essenz E oder Metadaten M und entweder physische Daten PD oder abstrakte Daten AD sein. Die möglichen Datentypen sind deshalb physische Essenz PE, physische Metadaten PM, abstrakte Essenz AE oder abstrakte Metadaten AM. Ein Datenposten kann ferner außerdem ein Behälter C sein, wenn er andere Datenposten enthält.
Die Klassifizierung von Daten ist nicht absolut, sondern vom Standpunkt der Einrichtung aus gesehen subjektiv und deshalb nur innerhalb eines Systems, z.B. DBMS, relevant. Es kann geschehen, daß z.B. ein System eine Verknüpfung interpretieren kann, während ein anderes System dieselbe Verknüpfung nicht interpretieren kann. Deshalb kann es geschehen, daß z.B. ein System bestimmte Daten als Metadaten, die aus MD_LOAD und MD_LINK bestehen, klassifiziert, während ein anderes System dieselben Daten als Essenz klassifiziert, weil es die Verknüpfung nicht interpretieren kann. Ein anderes Beispiel ist, daß z.B. ein System eine mit MPEG Audiolayer 3 oder MP3 codierte Datei wiedergeben kann, während ein anderes System das MP3-Format nicht interpretieren kann. In diesem Fall klassifiziert das erste System eine MP3-codierte Datei als physische Daten, aber das zweite System klassifiziert dieselbe Datei als abstrakte Daten.
Text ist als abstrakte Daten anzusehen, weil Text immer ein Format zum Sichern von Daten ist. Formatierter Text kann eine direkte physische Repräsentation von Daten, z.B. das PDF-Format, repräsentieren. Die Formatinformationen repräsentieren nur Hilfsinformationen, d.h. wenn Formatinformationen aus einer PDF-Datei extrahiert werden, verbleibt der reine Text, der die Hauptinformationen darstellt. Wenn der Text extrahiert wird, gehen die Hauptinformationen verloren. Aufgrund des Umstands, daß der Text die Hauptinformationen repräsentiert, wird auch formatierter Text als abstrakte Daten betrachtet.
Eine Einrichtung gemäß Anspruch 5 führt beim Empfangen von Daten an ihrem Eingang die folgende Prozedur aus:
Wenn die Daten mehr als einen Datenposten enthalten, kann die Ausgabe folgendermaßen lauten: „Daten sind ein Behälter". Später werden weitere Einzelheiten angegeben. Die Klassifizierung kann hier aufhören oder kann auf bestimmte oder alle Blätter des hierarchisch strukturierten Datenbaums in dem Behälter erweitert werden. Wenn Daten Metadaten sind, kann die Ausgabe folgendermaßen lauten: „Daten sind Metadaten".
Andernfalls kann die Ausgabe folgendermaßen lauten: „Daten sind Essenz". Wenn Daten physische Daten sind, kann eine zusätzliche Ausgabe folgendermaßen lauten: „Daten sind physische Daten".
Andernfalls kann, wenn Daten abstrakte Daten sind, eine zusätzliche Ausgabe folgendermaßen lauten: „Daten sind abstrakte Daten". Vorteilhafterweise kann die Einrichtung den Typ physischer Daten erkennen und ausgeben, z.B. „Daten sind ein Farbbild (24 Bit) mit der Auflösung x = 200 Pixel und y = 400 Pixel".
Wenn das Datenformat der Einrichtung unbekannt ist und deshalb die Einrichtung die Daten nicht als Behälter, Metadaten, Essenz, abstrakte Daten oder physische Daten klassifizieren kann, kann die Ausgabe eine beliebige Ausgabe des Vorgabetyps sein, z.B. „Datentyp ist unbekannt" oder „Daten sind Essenz und abstrakte Daten".
Zusätzlich ist es hilfreich, wenn die Einrichtung erkennt, ob es sich bei Daten um Text handelt oder nicht:
Wenn es sich bei den Daten um abstrakte Daten und Text handelt, kann die Ausgabe zusätzlich folgendermaßen lauten: „Daten sind Text".
Dies läßt sich durch Suchen nach bekanten Wörtern, z.B. aus einem elektronischen Wörterbuch, oder durch Suchen nach Gruppen von durch Leerzeichen getrennten Zeichen implementieren.
Wenn die Eingangsdaten ein Behälter sind, kann eine zusätzliche Ausgabe folgendermaßen lauten: „Daten sind ein Behälter, d.h. es sind weitere Metadaten oder Essenz enthalten". Wahlweise können die folgenden genauen Einzelheiten erwähnt werden: „Der Behälter ENTHÄLT mindestens 1 Metadaten und 1 Essenz", oder „der Behälter ENTHÄLT überhaupt keine Metadaten" oder sogar „der Behälter ENTHÄLT genau N Metadatenposten", wobei N die Menge an in dem Behälter enthaltenen Metadaten ist.
Wenn die Einrichtung das Format der analysierten Daten erkennen kann, kann sie zusätzlich folgendes ausgeben: „Datenformat ist X". „X" ist das Format. Beispiele für „X" können z.B. „HTML" oder „JPEG" sein.
2 zeigt ein Beispiel für eine Datei, die eine Kombination von Essenz und Metadaten im wohlbekannten HTML-Format enthält. Im folgenden wird die Klassifizierung aller Elemente gemäß der Erfindung beschrieben.
Als erstes erkennt die Einrichtung, daß die erste Zeile <html> ist, und daß deshalb die Datei HTML-formatiert sein sollte. Es wird angenommen, daß die Einrichtung das HTML-Format interpretieren kann und deshalb Posten mit „href"-Attributen in HTML-Dateien als Verknüpfungen interpretiert. Da HTML-formatierte Dateien gewöhnlich eine hierarchische Struktur enthalten, werden zuerst die Blattelemente des Hierarchiebaums analysiert. Das erste Element aus 2
<title>This is the title</title>
wird als Essenz klassifiziert, weil keine Verknüpfung an das Element angebunden ist.
Das Element <a href=http://www.w3c.org>W3C HOME</a> wird als Metadaten klassifiziert, wobei die Zeichenkette „W3C HOME" die Essenz oder MD_LOAD ist und die Zeichenkette „href=://w3c.org" die diesbezügliche Verknüpfung oder MD_LINK ist.
Das nächste Blattelement
<p>This is a paragraph</p>
enthält keine Verknüpfung und wird deshalb als Essenz klassifiziert.
Das nächste Blattelement
<img src ="image.gif">
wird auch als Essenz klassifiziert, weil es nur eine Verknüpfung ist, d.h. es enthält kein MD_LINK mit diesbezüglichem MD_LOAD. Deshalb kann es sich nicht um Metadaten handeln. Der Zweck dieser Verknüpfung ist der Verweis auf weitere Essenz, nämlich die Bilddaten.
Wenn alle Elemente der ersten Ebene der Hierarchie analysiert wurden, wird die nächste Ebene untersucht. Das Element
<head>
<title>This is the title</title>
</head>
wird als Essenz klassifiziert, weil es keine Verknüpfung enthält, sondern nur ein Element, wobei das Element Essenz ist.
Das Element
<a href=http://www.w3c.org>
<img src="image.gif">
</a>
wird als Metadaten klassifiziert, wobei <img src="image.gif"> der MD_LOAD-Teil und das „href"-Attribut die diesbezügliche Verknüpfung ist.
Das nächste Element
<body>
...
</body>
wird als Behälter klassifiziert, weil es Metadatenposten und Essenzposten miteinander gruppiert.
Als letztes wird das Element
<html>
...
</html>
auch als Behälter klassifiziert. Es gruppiert ein Essenz-Element, nämlich das <head>-Element, und einen Behälter, nämlich das <body>-Element miteinander.
3 zeigt ein Beispiel für abstrakte Metadaten. Mehrere Datenposten 3R, 3M werden in einer Dateneinheit 3C gruppiert. Die Dateneinheit 3C könnte z.B. eine HTML-Datei sein. Für einen der Datenposten hat die Einrichtung erkannt, daß er eine Verknüpfung 3L enthält, was dadurch symbolisiert wird, daß der Cursor von einem Pfeil zu einer Hand wechselt, wenn auf den Text 3E gezeigt wird. Da der Text 3E und die Verknüpfung 3L zusammengehören und es sich bei dem Text 3E um Essenz handelt, bilden sie einen Metadatenposten 3M, und die Verknüpfung 3L ist eine Metadatenverknüpfung, die auf eine Referenz 3REF außerhalb der Dateneinheit 3C zeigt. Da die Essenz 3E des Metadatenpostens 3M Text ist und es sich bei Text um abstrakte Daten handelt, ist der Metadatenposten 3M ein abstrakter Metadatenposten. Die übrigen Datenposten 3R in der Dateneinheit 3C sind etwaiger Text und ein Bild. Die Dateneinheit 3C ist ein Behälter, da sie mindestens einen Metadatenposten 3M und weitere übrige Datenposten 3R enthält.
4 zeigt ein Beispiel für physische Metadaten. Mehrere Datenposten 4R, 4M sind in einer Dateneinheit 4C enthalten, wobei es sich bei der Einheit 4C z.B. um eine HTML-Datei handelt. In diesem Fall hat die Einrichtung erkannt, daß das Bild 4E mit einer Verknüpfung 4L assoziiert ist, was dadurch symbolisiert wird, daß der Cursor von einem Pfeil zu einer Hand wechselt. Die Verknüpfung 4L zeigt auf eine Referenz 4REF außerhalb der Dateneinheit 4C. Da das Bild 4E und die Verknüpfung 4L zusammengehören, bilden sie einen Metadatenposten 4M, wobei es sich bei dem Bild 4E um die Essenz dieser Metadaten handelt. Die Essenz 4E ist z.B. ein JPEG-formatiertes Bild und kann in der HTML-Datei z.B. als <img src=Anton.jpg width=108 height=73> referenziert werden. Da die Einrichtung sie anzeigen kann, ist sie physische Daten und der Metadatenposten 4M ist physische Metadaten. Die Dateneinheit 4C ist ein Behälter, weil er mindestens einen Metadatenposten 4M und andere Posten 4R enthält.
5 zeigt ein beispielhaftes Flußdiagramm des erfindungsgemäßen Verfahrens. Der Zweck der Erfindung ist das Klassifizieren verschiedener Arten ankommender Daten IN. Die ankommenden Daten IN werden analysiert und ein erster Entscheidungsblock D1 entscheidet, ob das Format der ankommenden Daten erkannt werden kann. Wenn nicht, wird als Ausgabe „Unbekannt" angezeigt und die Klassifizierung endet in einem Endzustand EX. Wenn das Format bekannt ist (z.B. HTML), kann ein zweiter Entscheidungsblock D2 entscheiden, ob die ankommenden Daten unklassifizierte Elemente enthalten. Wenn die Antwort „Ja" ist, wird der nächste unklassifizierte Datenposten genommen und zu einem dritten Entscheidungsblock D3 geleitet. Dieser Entscheidungsblock D3 kann entscheiden, ob es sich bei den Datenposten um einen Behälter C, Metadaten M oder Essenz E handelt. Die Entscheidung ist „Behälter", wenn der Datenposten einen weiteren Datenposten enthält, der bereits als Metadaten klassifiziert wurde. Die Entscheidung ist „Metadaten", wenn der Datenposten eine Verknüpfung mit Essenz mit Bezug auf diese Verknüpfung enthält. In allen anderen Fällen ist die Entscheidung „Essenz". Die im dritten Entscheidungsblock D3 getroffene Entscheidung wird am Ausgang angezeigt. Wenn der analysierte Datenposten ein Behälter C ist, kehrt die Prozedur wieder zu dem zweiten Entscheidungsblock D2 zurück, andernfalls wird in einen vierten Entscheidungsblock D4 eingetreten. Der vierte Entscheidungsblock D4 entscheidet, ob die Einrichtung den Datenposten interpretieren kann, so daß er dem Benutzer weitere Informationen offenlegen kann, z.B. ein anzeigbares Bild. Wenn die Antwort „Ja" ist, wird am Ausgang angezeigt, daß es sich bei dem Datenposten um physische Daten PD handelt, und andernfalls abstrakte Daten AD. Falls es sich bei dem Datenposten um physische Daten PD handelt, kann die Formaterkennung implizit in dem vierten Entscheidungsblock D4 stattgefunden haben. Ein fünfter Entscheidungsblock D5 kann dann Formateinzelheiten erkennen und entscheiden, ob das erkannte Format angezeigt werden soll, und wenn dies der Fall ist, kann das Format F1, ..., F3 am Ausgang angezeigt werden. Falls es sich bei dem Datenposten um abstrakte Daten AD handelt, kann ein sechster Entscheidungsblock D6 entscheiden, ob die Daten Text enthalten. Wenn dies der Fall ist, wird dies am Ausgang angezeigt. Wenn es sich bei dem Datenposten um abstrakte Daten AD und nicht um Text handelt, wird keine weitere Anzeige erzeugt. Die Prozedur wird dann von dem zweiten Entscheidungsblock D2 aus, der entscheidet, ob weitere unklassifizierte Elemente enthalten sind, aus wiederholt. Wenn dies nicht der Fall ist, wurde dieser Datenposten vollständig klassifiziert und es wird in den Endzustand EX eingetreten. Diese Ausführungsform der Erfindung analysiert alle Hierarchieebenen und Blattelemente der Behälter, andere Ausführungsformen können aber nur einen Teil der Hierarchieebenen oder Blattelemente von Behältern analysieren.
Vorteilhafterweise kann das beschriebene Verfahren zur Datenklassifizierung in Einrichtungen zum Datensortieren, zur Datenspeicherung z.B. DBMS, oder Datenabruf z.B. Browser, verwendet werden. Das beschriebene Verfahren kann benutzt werden, wenn verschiedene Klassen von Daten verschiedene Verarbeitung erfordern, z.B. verschiedene Suchalgorithmen, verschiedene Speichermethoden oder -bereiche, verschiedene Kompressionsverfahren oder verschiedene Präsentationsverfahren.
Die Erfindung kann in einer separaten Einrichtung implementiert werden, die ankommende Daten in bezug auf ihr Format, ihren Inhalt und in bezug auf andere Daten, z.B. Verknüpfung, klassifiziert und die Informationen über Daten bereitstellt. Diese Informationen sind besonders notwendig, wenn es zu erkennen ist, ob diese Daten Verknüpfungen enthalten oder diese Daten spezielle Abfragemethoden erfordern.
Die Einrichtung kann Teil einer anderen Einrichtung oder als Hardware oder Software, z.B. als Anwendung oder Plugin in einem PC realisiert werden. Ferner kann sie z.B. über das Internet oder über andere Quellen aktualisiert werden, so daß mehr und mehr Formate erkannt werden, so daß diese Einrichtung sich selbst aktualisiert und immer effizienter wird.

Claims

Verfahren zur automatischen Erkennung von Datentypen für die datentypabhängige Verarbeitung durch eine technische Einrichtung, wobei es sich bei den Datentypen um physische Essenz (PE), physische Metadaten (PM), abstrakte Essenz (AE) oder abstrakte Metadaten (AM) handelt, gekennzeichnet durch a) Empfangen ankommender Datenposten (IN), wobei ein Datenposten entweder als Metadaten (M), die als Datensätze definiert sind, die aus einer auf einen Referenzdatensatz zeigenden Verknüpfung und aus etwaigen auf die Verknüpfung verweisenden Daten bestehen, oder als Essenzdaten (E), wenn keine Verknüpfung angebunden ist, klassifiziert werden kann: und wobei ein Datenposten entweder als physische Daten (PD), die als für physische Repräsentation verwendete Daten definiert sind, oder als abstrakte Daten (AD) klassifiziert werden kann; b) Analysieren (D1) der ankommenden Daten, wenn das Format der Daten erkannt werden kann; c) Nach der Erkennung des Formats, Verwenden des erkannten Formats zur Auswertung (D3), ob die ankommenden Daten – nur Metadaten (M), – nur Essenz (E), – eine Mischung oder einen Behälter (C) der Metadaten (M) und Essenz (E) enthalten, d) Auswerten (D4), ob die technische Einrichtung in der Lage ist, die Essenz (E) und die Metadaten (M) zum Beispiel zur Wiedergabe einer physischen Repräsentation der Daten zu interpretieren, um so anzuzeigen, daß es sich bei dem Datenposten um physische Daten (PD) handelt, und andernfalls um anzuzeigen, daß es sich bei dem Datenposten um abstrakte Daten (AD) handelt; e) Zuführen des Ergebnisses der ersten Auswertung und des Ergebnisses der zweiten Auswertung der technischen Einrichtung für datentypabhängige Verarbeitung der Daten.
Verfahren nach Anspruch 1, wobei für durch die technische Einrichtung interpretierbare Daten (PD) außerdem angezeigt wird, ob der Formattyp der Daten einer von mehreren spezifizierten Formattypen (F1, ..., F3) ist.
Verfahren nach einem der Ansprüche 1–2, wobei für nicht durch die technische Einrichtung interpretierbare Daten (AD) außerdem angezeigt wird, ob es sich um Text handelt.
Verfahren nach einem der Ansprüche 1–3, wobei die technische Einrichtung eine Datensortiereinrichtung, ein Datenbasisverwaltungssystem oder ein Dateninhalts-Browser ist.
Vorrichtung zur automatischen Erkennung von Datentypen für datentypabhängige Verarbeitung, die so ausgelegt ist, daß sie das Verfahren nach einem der Ansprüche 1–4 ausführt.