DE4225872C2 - Verfahren zum Kennzeichnen und Identifizieren ausgewählter Gebiete in Bildern - Google Patents

Abstract

Das Verfahren dient zur Unterstützung der Identifikation von Objekten bei einer interaktiven Benutzerauswahl aus einer zeitlichen Sequenz von auf einer Anzeigeeinrichtung wiedergegebenen Bildern. Jedes Objekt ist durch ein Gebiet aus Pixeln eines Einzelbildes einer zeitlichen Folge von Einzelbildern definiert, wobei die zeitliche Folge als eine von mehreren zeitlich parallelen Datenspuren in einem Speicher gespeichert wird. Zusätzlich wird eine zeitlich parallele Treffer-Test-Datenspur zum Unterstützen der Identifikation von Objekten erzeugt und gespeichert, indem ein ein Objekt definierendes Gebiet identifiziert wird und dem Gebiet ein eindeutiger Gebietsidentifizierer zugeordnet wird, dann jedem Pixel in dem identifizierten Gebiet des Gebietsidentifizierers derart zugeordnet wird, daß auf den Gebietsidentifizierer mittels einer dem Pixelort entsprechenden Pixeladresse zugegriffen werden kann, die den Pixeln zugeordneten Gebietsidentifizierer in einem mit dem zugehörigen Objekt des Einzelbildes verbundenen Speicherbereich eines Treffer-Test-Einzelbildes gespeichert werden und diese drei Schritte für jedes zu identifizierende Gebiet eines Einzelbildes und nachfolgend für jedes Einzelbild der zeitlichen Folge wiederholt werden, wobei die Treffer-Test-Einzelbilder als Treffer-Test-Spur in einem entsprechend gekennzeichneten Speicherbereich gespeichert werden. Während einer Wiedergabe der Datenspur und einer Anzeige der Folge von Einzelbildern (70) wird mit Hilfe einer ...

Description

Objektauswahlverfahren gestatten es einem Benutzer, ein einzelnes Objekt aus einer Gruppe von Objekten in einem Bild auszuwählen. Eine Möglichkeit der Objektauswahl beruht auf der Bestimmung desjenigen Zeilensegments auf einer zweidi­ mensionalen Bildschirmabbildung, welches durch einen Benut­ zer ausgewählt wurde. Üblicherweise sind diese Zeilensegmen­ te unter Bildung eines Polygongebiets miteinander verbunden; aber sie können ebensogut voneinander getrennt sein. Ein "cursor picking" genanntes Verfahren, welches von J. D. Foley und A. Van Dam in "Fundamentals of Interactive Computer Graphics", Addison-Wesley Publishing Company, 1984, Seiten 200-204, beschrieben wurde, schafft umgrenzte Gebiete, die mit Hilfe einfacher Gleichungen überprüft werden können. Ein solches Schema gestattet es einem Benutzer beispielsweise, die Charakteristiken eines bestimmten Dreiecks auf einem Bildschirm auszuwählen und zu modifizieren, obwohl es viele andere Objekte, wie beispielsweise Kreise, Trapeze und be­ liebige Polygongebiete geben kann, die ebenfalls auf dem Bildschirm sichtbar sind. Ein anderes Verfahren der Objekt­ auswahl ist die Zuordnung eines Objektnamens zu jedem Objekt in einer Szene. Um ein Objekt durch Auswahl zu aktivieren, gibt der Benutzer einfach den Namen des Objekts, das er aus­ wählen möchte, ein. Dieses Verfahren hat keine geometrische Entsprechung.

Eine andere üblicherweise in interaktiven Systemen, wie beispielsweise dem HyperCard^TM-Programm von Apple Computer Inc., benutzte Technik gestattet es dem Benutzer, ein recht­ winklig begrenztes Gebiet auf dem Bildschirm mit einem be­ stimmten Objekt, wie beispielsweise einem Schaltknopf oder Feld zu identifizieren. Wenn eine Auswahl getroffen wird, sieht das HyperCard-Programm nach, an welcher Stelle sich der Cursor befindet und sucht gleichzeitig nach dem Objekt (wie beispielsweise einem Schaltknopf oder einem Feld), das an dieser Stelle ein Begrenzungsrechteck aufweist. Wenn kein Begrenzungsrechteck den Ort des Cursors einschließt, wird kein Objekt ausgewählt. Wenn andererseits ein das Objekt einschließendes Begrenzungsrechteck existiert, wird das ent­ sprechende Objekt ausgewählt. Sämtliche o. g. Techniken ge­ statten keine exakte Objektauswahl bei beliebig komplexen Begrenzungen und können schwierig anzuwenden sein, wenn ver­ sucht wird, Objektbegrenzungen präzise zu identifizieren.

Einzelheitenpuffer (item buffer) werden im allgemeinen benutzt, um Bildsynthesealgorithmen, wie beispielsweise das Ray-Tracing oder das Radiosity-Verfahren, zu beschleunigen. Sie können außerdem benutzt werden, um dreidimensionale Oberflächengebiete einzelner Objekte bei der Anwendung in interaktiven Zeichen- und Beleuchtungs-Systemen zu identifi­ zieren, welche zweidimensionale Abbildungen manipulieren. Bei der Berechnung von Radiosity-Formfaktoren wird üblicher­ weise ein Einheitshalbwürfel-Algorithmus benutzt, um die Be­ rechnung zu beschleunigen. In diesem Algorithmus werden fünf Seitenflächen eines Würfels als Einzelheitenpuffer darge­ stellt, welche Objekt-Kennzeichen bzw. -Tags enthalten. Durch Zählen der Anzahl der gekennzeichneten Pixeln der Sei­ tenflächen-Abbildung wird der Formfaktor für ein bestimmtes Polygon, gesehen vom Scheitelpunkt eines anderen Polygons, berechnet. Ein solches Systems wurde von Michael F. Cohen und Donald P. Greenberg in "The Hemi-Cube: A Radiosity Solution for Complex Environments", Computer Graphics, #19, Vol. 3, Juli 1985, Seiten 31-40 beschrieben.

Das Ray-Tracing kann durch Raster-Konvertieren eines "Objekt-Tag"-Bildes in einen Einzelheitenpuffer beschleunigt werden. Dabei wird für jedes Pixel angenommen, daß der dem Pixel entsprechende Kamerastrahl das Objekt schneidet, des­ sen Tag in dem Pixel ist. Durch Benutzen eines Einzelheiten­ puffers vermeidet der Algorithmus die Ausführung irgendeines primären Strahl-Objekt-Schnittlinientests. Auf diese Weise wird die Berechnung beim Ray-Tracing effizienter. Ein sol­ ches System wurde von Hank Weghorst, Gary Hooper und Donald P. Greenberg in "Improved Computational Methods for Ray Tracing", ACM Transactions an Graphics, Vol. 3, Nr. 1, Janu­ ar 1984, Seiten 52-69, beschrieben.

In "Direct WYSIWYG Painting and Texturing an 3D Shapes" von Pat Hanrahan und Paul Haeberli, Computer Graphics, Vol. 24, Nr. 4, August 1990, Seiten 215-223, wird ein einzelnes dreidimensionales Objekt in einen "ID-Puffer" gebracht, wel­ cher die u-v-Oberflächenwerte der sichtbaren Oberfläche in dem Pixel speichert. Wenn auf das Bild gezeichnet (paint) wird, werden die Oberflächenposition und die Normalenvekto­ ren der Oberfläche durch Überprüfen des Objekt-ID-Puffers bestimmt; dann wird das Ergebnis benutzt, um die Pixel so zu schattieren, wie die Textur-Speicherabbildungen modifiziert werden. Dieses Verfahren gestattet es dem Benutzer, auf ein Bild in zwei Dimensionen zu zeichnen, und erlaubt die Modi­ fikation der Objektgeometrie oder Beleuchtung im dreidimen­ sionalen Raum. Die sich ergebende Modifikation wird im drei­ dimensionalen Raum und dann als zweidimensionale Bildschirm­ pixel berechnet, welche selektiv in den Puffer des sichtba­ ren Schirms geschrieben werden.

Aus dem US-Patent 4,985,848 ist die parallele Verarbei­ tung mehrerer Ebenen von Bilddaten bekannt, wobei die Ebenen die drei Primärfarben Rot, Grün und Blau und zusätzlich eine monochrome Overlay-Ebene umfassen. Die Overlay-Ebene gestat­ tet die zusätzliche Einblendung von Textdaten über die Farb­ bilder.

Aufgabe der Erfindung ist es, ein Verfahren zum Unter­ stützen der Identifikation von Objekten bei einer interakti­ ven Benutzerauswahl von Objekten aus einer zeitlichen Se­ quenz von Bildern zu schaffen, das eine exakte Objektauswahl bei beliebig komplexen Umgrenzungen der Objekte ermöglicht.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst.

Bei einer bevorzugten Ausführungsform des erfindungsge­ mäßen Verfahrens werden die Pixel innerhalb eines ausgewähl­ ten sichtbaren Gebiets zumindest eines das sichtbare Gebiet enthaltenden Einzelbilds aus einer Folge von in einem Speicher gespeicherter und auf einem interaktiven Display an­ zeigbarer Einzelbilder bezeichnet (labelled), so daß ein Be­ nutzer nachfolgend das ausgewählte sichtbare Gebiet auf ei­ ner pixelgenauen, einzelbildgenauen Grundlage auswählen kann. Um das ausgewählte sichtbare Gebiet innerhalb eines Einzelbildes zu bezeichnen, wird die Szene innerhalb des Einzelbildes segmentiert, um das ausgewählte sichtbare Ge­ biet zu identifizieren; dann wird jedes Pixel innerhalb des ausgewählten sichtbaren Gebiets mit einem speziellen Ge­ bietskennzeichner für das ausgewählte sichtbare Gebiet be­ zeichnet und die die Gebietskennzeichner enthaltenden Pixel in einen Einzelheitenpuffer abgebildet. Dann wird der Ein­ zelheitenpuffer komprimiert und innerhalb eines gekennzeich­ neten (labelled) Speicherabschnitts gespeichert, der mit dem gespeicherten Einzelbild verknüpft ist, von welchem der Ein­ zelheitenpuffer abgeleitet wurde. Wenn ein Benutzer nachfol­ gend ein Pixel innerhalb irgendeines Einzelbildes der Folge von Einzelbildern auswählt, wird das Pixel innerhalb des dem Pixel in dem ausgewählten Einzelbild zugeordneten gekenn­ zeichneten Speicherbereichs dekomprimiert, um den Gebiets­ kennzeichner für das ausgewählte Pixel zu bestimmen. Dieser Gebietskennzeichner wird dann für eine Reihe von Zwecken be­ nutzt, wie beispielsweise zum Identifizieren eines Gebiets innerhalb des Einzelbildes, das dem ausgewählten Pixel ent­ spricht, oder um einige auf das ausgewählte Pixel bezogene Aktivitäten auszuführen.

Vorteilhafte Weiterbildungen des erfindungsgemäßen Ver­ fahrens sind in den Unteransprüchen gekennzeichnet.

Im folgenden wird die Erfindung anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläu­ tert. In der Zeichnung zeigen:

Fig. 1 eine Blockdarstellung eines in Verbindung mit dem bevorzugten Ausführungsbeispiel der Erfin­ dung benutzten Computers;

Fig. 2a ein Einzelbild einer Videospur;

Fig. 2b ein Einzelbild einer zur Videospur gemäß Fig. 2a korrespondierenden Treffer-Testspur;

Fig. 3a einen Satz von Videospuren und Tonspuren;

Fig. 3b die gleichen Mehrspur-Daten wie in Fig. 3b zu­ züglich einer Treffer-Testspur;

Fig. 4a die erforderlichen Inhalte des Benutzerdaten­ abschnitts einer Treffer-Testspur gemäß dem bevorzugten Ausführungsbeispiel der Erfindung;

Fig. 4b der wählbare Inhalt des Benutzerdatenab­ schnitts der Treffer-Testspur gemäß Fig. 4a;

Fig. 5 ein Ablaufdiagramm, das die interaktive Wie­ dergabe einer Filmszenenfolge unter Benutzung der erfindungsgemäßen Treffer-Testspuren dar­ stellt; und

Fig. 6 ein Ablaufdiagramm, das die erfindungsgemäße Erzeugung von Treffer-Testspuren für Mehrspur- Filme darstellt.

Der Personalcomputer wird ein zunehmend effektiveres Werkzeug zum Präsentieren von Multimedia-Arbeiten. Viele Verfahren zum Präsentieren und Benutzen von Multimedia-In­ formationen in solchen Computern werden durch Software aus­ geführt, obwohl Hardware-Produkte zur Ausführung der glei­ chen Funktionen ebenfalls entwickelt werden könnten, wenn auch mit viel größeren Kosten. Für das bevorzugte Ausfüh­ rungsbeispiel könnte auch eine Hardware zum Implementieren der Erfindung entwickelt werden. Aber Software-Techniken, die in Verbindung mit dem Computersystem 10 gemäß Fig. 1 arbeiten, werden hierbei bevorzugt benutzt, um die Erfindung am effektivsten zu implementieren.

Der Computer 10, wie beispielsweise ein Apple-Macintosh- Computer, weist eine CPU 12, eine Ein/Ausgabe-Einheit 14, einen Speicher 16, ein Zeigergerät 18 und eine Anzeige 20 auf. Vorzugsweise ist die CPU 12 leistungsfähig genug, um eine Daten-Kompression/Dekompression durch Software bei aus­ reichenden Geschwindigkeiten auszuführen, wie dies bei­ spielsweise mit einem Motorola-68020-Mikroprozessor bei einer Taktrate von mindestens 16 MHz möglich ist. Aber es kön­ nen auch andere Prozessoren geringerer Leistungsfähigkeit, die bei niedrigeren Taktraten arbeiten, mit einer akzepta­ blen Leistung benutzt werden, wenn zusätzliche Daten-Kom­ pressions/Dekompressions-Hardware in das Computersystem 10 eingebunden wird. Die Ein/Ausgabe-Einheit 14 verbindet die CPU 12 mit Zusatzgeräten, wie beispielsweise Lautsprechern, und zusätzlichen Datenquellen und Speichern, wie bespiels­ weise einem Festplattenspeichergerät, einem CD-ROM oder ei­ nem Netzwerk großer Bandbreite. Selbst mit hocheffektiven Kompressionstechniken sind noch beträchtliche Zusatzspeicher für die erfindungsgemäßen Audio-, Video- und Treffer-Test- Spuren erforderlich. Der Speicher 16 enthält üblicherweise einige Massenspeicherarten ebenso wie RAM, obwohl andere Speicherarten mit schnellem Zugriff ebenso benutzt werden können. Das Zeigergerät 18 kann beispielsweise eine Maus, ein Trackball oder ein Stift sein. Die Anzeige 20 ist vor­ zugsweise eine Anzeige mit einer ausreichenden Auflösung, um die Videoinformationen deutlich anzuzeigen.

Die in Multimedia-Arbeiten benutzten Videodaten werden üblicherweise aus einer Serie von Einzelbildern sichtbarer Informationen gebildet, die für eine Wiedergabe durch den Computer 10 sequentiell miteinander verkettet werden. Diese Videodaten werden typischerweise in einem Zusatzspeicherge­ rät als eine Videospur gemeinsam mit anderen Arten ihnen zu­ geordneter temporärer Daten, wie beispielsweise einer Ton­ spur, gespeichert. Fig. 2a veranschaulicht ein Einzelbild 30 einer Videospur, bestehend aus einer Anzahl von unterschied­ lichen Objekten 32, die einem Betrachter auf der Anzeige 20 erscheinen. Die Videospur kann entweder als synthetisches oder durch den Computer erzeugtes Bildwerk zuvor berechnet werden oder als eine Videofolge aus analogen Videodaten di­ gitalisiert werden. Diese Videobildsequenz kann entweder in einem komprimierten oder unkomprimierten Format vorliegen. Unter "Videoeinzelbild" wird im folgenden irgendein analoges Einzelbild oder irgendein digitalisiertes Einzelbild verstanden, das mit einem Scanner oder einer Kamera aufgenommen oder mit Hilfe eines Zeichen- oder Darstellungsprogramms ge­ schaffen wurde.

In Fig. 2b ist ein "Einzelheiten-Puffer" (item buffer) genanntes Einzelbild 34 einer Abbildung dargestellt, welches als komprimierter Einzelbild-Datensatz in einer dem Vi­ deoeinzelbild 30 gemäß Fig. 2a entsprechenden Treffer-Test­ spur gespeichert ist. Im Gegensatz zu dem Einzelbild 30 der Videospur ist das zur Treffer-Testspur korrespondierende Einzelbild 34 für einen Benutzer auf der Anzeige 20 nicht sichtbar. Vielmehr ist die Treffer-Testspur - wie unten nä­ her ausgeführt wird - eine der Videospur entsprechende zu­ sätzliche Datenspur, welche die Anordnung von Objekten bzw. benutzerdefinierten Gebieten innerhalb der Videospur auf ei­ ner Pixel- und Einzelbildbasis identifiziert (im Speicher abbildet). Obwohl Fig. 2b jedes der numerierten Objekte 36 im Einzelbild 34 entsprechend einem identisch geformten Ob­ jekt 32 im Einzelbild 30 darstellt, können in der Treffer- Testspur Objekte 36 erzeugt werden, welche irgendeinem ab­ strakten, durch den Benutzer definierten, sichtbaren oder unsichtbaren Gebiet in dem Einzelbild 30 entsprechen. Wenn beispielsweise das Einzelbild 30 einen Raum mit einigen Ge­ mälden, einer offenen Tür und einer Statue darstellt, kann es wünschenswert sein, ein Objekt 36 der Treffer-Testspur jedem der Gemälde, der Statue und dem abstrakten offenen Ge­ biet der Tür zuzuordnen. Unabhängig von den durch den Benut­ zer ausgewählten Objekten oder Gebieten ist die erfindungs­ gemäße zusätzliche Treffer-Testspur höchst nützlich für das sogenannte "Objekt-Picking", bei dem der Benutzer des Compu­ ters 10 ein Objekt auf der Anzeige 20 mit Hilfe des Zeiger­ geräts 18 in irgendeinem Einzelbild einer sich bewegenden Bildsequenz auswählen kann, wobei er das System veranlaßt, eine Aktivität auf der Grundlage des ausgewählten Objekts zu initiieren. Die initiierte Aktivität kann eine von vielen unterschiedlichen Aktivitäten, wie beispielsweise die Wie­ dergabe einer getrennten Multimedia-Arbeit oder das Ausfüh­ ren einer Subroutine sein. Wie unten näher ausgeführt wird, ist die Objektauswahl sehr präzise, da die Treffer-Testdaten den sichtbaren Objekten auf Pixel- und Einzelbild-Basis ent­ sprechen.

Die Erfindung ist ideal geeignet für eine Verwendung in einem Computer 10 zur Bearbeitung von Multimedia-Computer­ programmen, wie beispielsweise einem Programm zum Manipulie­ ren verschiedener Formen von Medien, die als eine Serie von zueinander in Beziehung stehenden zeitlichen Spuren von Da­ ten (wie beispielsweise Video, Ton, usw.) dargestellt sind, wobei jede dieser Spuren um eine feste Zeitdifferenz gegenüber den anderen Spuren verschiebbar ist. Ein Satz solcher Spuren soll hier als ein Mehrspur-Film bezeichnet werden. Fig. 3a zeigt eine Dar­ stellung eines schmalen Mehrspur-Films, welcher aus einem er­ sten Satz Video- und Tonspuren 40 und einem zweiten Satz Video- und Tonspuren 42 besteht. In jedem Fall ist die zeitliche Dauer der Videospur gleich der der Tonspur. Der zweite Satz Video- und Tonspuren hat eine kürzere Dauer als der erste Satz und be­ ginnt mit einer festen Zeitverzögerung nach dem Start des er­ sten Satzes. In Fig. 3b ist der gleiche Satz von Mehrspur-Film- Daten dargestellt; darüberhinaus gibt es hier außerdem eine in dem Film gespeicherte Treffer-Testspur 44. In diesem Fall ent­ spricht die Treffer-Testspur dem ersten Satz Video- und Tonspu­ ren. Sie hat die gleiche Dauer wie der erste Satz, enthält die gleiche Anzahl von Einzelbildern wie die Videospur des ersten Satzes und identifiziert die Lage von Objekten in der Bildfolge der Videospur des ersten Satzes.

Es sei angemerkt, daß die Videospur und die ihr entspre­ chende Treffer-Testspur im allgemeinsten Fall eine Folge von beweglichen Bildern sind. Es ist jedoch auch möglich, die er­ findungsgemäße Technik auf nur eine einzige Abbildung anzuwen­ den; in diesem Fall enthält jede Spur nur ein Einzelbild. Außerdem sei angemerkt, daß die Treffer-Testspur nicht mit den gleichen Kompressionstechniken wie die Videospur komprimiert und nicht mit genau der gleichen Auflösung wie die Videospur gespeichert zu werden braucht. Die Treffer-Testspur wird vor­ zugsweise mit Hilfe einer verlustlosen Daten- oder Bildkompres­ sionstechnik komprimiert, die nicht mit der der Videospur über­ einzustimmen braucht. Zusätzlich ist es sinnvoll, eine dazwi­ schen abgetastete bzw. mit einem gröberen Raster abgetastete Version der Treffer-Testspur (beispielsweise eine Unterabta­ stung in der Größenordnung von 2 : 1 oder 4 : 1) zu verwenden, wenn die Videospur hoch komprimiert ist. In einem solchen Falle wird bei der Wiedergabe der nächste erreichbare Objektkennzeichnungswert der grob gerasterten Version der Treffer-Testspur als Objektkennzeichner benutzt. Obwohl dieses alternative Ausfüh­ rungsbeispiel nicht den pixelgenauen Vorteil der Treffer-Test­ spur mit der vollen Auflösung hat, gestattet er noch dem Benut­ zer, die meisten Objekte in der Szene mit einem akzeptablen Präzisionsniveau auszuwählen.

Bei dem bevorzugten Ausführungsbeispiel der Erfindung hat jede beliebige Spur des Mehrspur-Films optional, einen zugeord­ neten Satz von zusätzlichen Treffer-Testspur-Informationen. Diese zusätzlichen Informationen werden üblicherweise gemeinsam mit der korrespondierenden Spur des Mehrspur-Films als ein Satz von Kennzeichnungs-(Tag-), Größen- und Datenfeldern gespei­ chert, die verwendet werden, um die Manipulation der in der Treffer-Testspur enthaltenen zeitlichen Daten zu erleichtern. Da diese Felder benutzer- oder anwendungsdefiniert sind, werden sie hier als "Benutzerdaten" bezeichnet. Diese Benutzerdaten sind statisch, d. h. sie verändern sich im Verlauf der Zeit nicht. Die Organisation und Inhalte der Benutzerdaten für eine Treffer-Testspur 50 sind in Fig. 4a dargestellt. Der Treffer- Test-Tag 52 ist ein Kennzeichner, der die Spur als eine Tref­ fer-Testspur kennzeichnet. Im gegenwärtig bevorzugten Ausfüh­ rungsbeispiel der Erfindung wird das vier Zeichen lange Tag- Feld durch die Zeichen "HIT_" repräsentiert, wobei "_" ein Leerzeichen darstellt. Die Treffer-Testspur wird mit diesem Tag-Feld markiert, um die Treffer-Testspur von den Videodaten zu unterscheiden. Folglich ist der Computer 10 beim Interpre­ tieren der Spurdaten in der Lage, nur die Treffer-Testspur zu benutzen, um in der Videoszene liegende Objekte zu identifizie­ ren. Das nächste Feld in der Treffer-Testspur 50 ist die Größe des Datenfelds 54, welche die Anzahl der Informationsbytes im Datenfeld anzeigt.

Die in der Treffer-Testspur 50 enthaltenen verbleibenden Informationsabschnitte befinden sich innerhalb des Datenfelds, welches vorzugsweise aus einem Videospur-Kennzeichner 56, einem Kompressionsformat 58, der Pixel-Bittiefe 60 und den Treffer- Testdaten 62 besteht. Der Videospur-Kennzeichner 56 beschreibt die mit der Treffer-Testspur 50 korrespondierende Videospur in einem Mehrspur-Film. Die Verwendung eines Videospur-Kennzeich­ ners 56 informiert den Computer 10, welche Videospur in Verbin­ dung mit der Treffer-Testspur benutzt wird. Solche Informatio­ nen können wichtig sein, wenn es mehrere Treffer-Testspuren gibt, welche sich auf die gleiche Videospur beziehen. Das Kom­ pressionsformat 58 zeigt das zur Kompression der Treffer-Test­ daten 60 benutzte Format an.

Wie bereits gesagt, benutzt das bevorzugte Ausführungsbei­ spiel die verlustlose Datencodierung für die Treffer-Testdaten 62, obwohl eine Mehrzahl von verschiedenen Kompressionsformaten sowohl für die Videospur als auch für die Treffer-Testdaten 62 benutzt werden können. Es gibt eine Mehrzahl von anwendbaren Verfahren zur verlustlosten Codierung, einschließlich der be­ kannten Lauflängen-Codierung oder der Huffmann-Codierung. Durch Anzeigen des Kompressionsformats kann der Computer 10 sofort bestimmen, wie die Treffer-Testdaten zu dekomprimieren sind. Die Pixel-Bittiefe 60 zeigt die Pixel-Bittiefe an, bis zu wel­ cher die komprimierten Daten zu dekomprimieren sind. Dieses Merkmal gestattet die korrekte Interpretation der Wortlänge der Treffer-Testdaten 62. Es sei angemerkt, daß in der Treffer- Testspur 50 andere kompakte Beschreibungen der Objekte als Kom­ pressionstechniken benutzt werden können. Beispielsweise kann es wünschenswert sein, eine geometrische Beschreibung der Ob­ jekte in der Treffer-Testspur 50 zu speichern. Diese Liste von geometrischen Grundstrukturen für Treffer-Testgebiete würde in gleicher Weise jedem Einzelbild der Original-Videospur entspre­ chen.

Es sei außerdem angemerkt, daß die Treffer-Testspur 50 nicht alle oben beschriebenen Abschnitte zu enthalten braucht, um voll arbeitsfähig zu sein. Anstelle der Anzeige des Kompres­ sionsformats 58 oder der Pixel-Bittiefe 60 kann ein durch den Computer 10 benutztes Standardkompressionsformat verwendet wer­ den, welches diese Informationen automatisch zur Verfügung stellt. Beispielsweise kann die Erfindung aus Kompressionforma­ ten Nutzen ziehen, die durch ein Softwareprogramm, welches Mehrspur-Filme manipuliert (einschließlich Kompression und De­ kompression), angeboten werden, wodurch der Computer 10 automa­ tisch weiß, wie verschiedene Datenarten in Übereinstimmung mit verschiedenen Kompressionsformaten zu handhaben sind.

Zusätzlich zu den oben beschriebenen, innerhalb des Daten­ felds der Treffer-Testspur 50 enthaltenen Informationsabschnit­ ten gibt es weitere Informationsanteile, die darin enthalten sein können. Zwei solcher Anteile werden im folgenden unter Be­ zugnahme auf Fig. 4b beschrieben. Eine Tabelle 64 zum Zuordnen von Zeichenkettennamen zu Objekten kann benutzt werden, um ASCII-Zeichenkettennamen bestimmten Objekten in der entspre­ chenden Video- oder Tonspur zuzuordnen. Beispielsweise kann es wünschenswert sein, den Namen "Würfel" entsprechend allen in einem Würfel enthaltenen Pixeln einer Videoabbildung in der Treffer-Testspur zu speichern. Eine ähnliche Tabellenkonstruk­ tion könnte eine Liste einer Serie von Nummern und zugeordneten Namenszeichenketten enthalten, wie beispielsweise ((1, Würfel), (2, Gemälde), (3, Stuhl), (4, Flag), usw.). Diese Namen können dann weitergeleitet werden zu einer Schriftumgebung für eine weitergehende Interpretation oder Benutzung. Eine Tabelle 66 zur Zuordnung von Objekten zu Ereignissen kann in ähnlicher Weise benutzt werden, um Ereignisse bestimmten Objekten zuzu­ ordnen. Beispielsweise kann es wünschenswert sein, das Ereignis "Spiele Filmszene 3" stets dann zu initiieren, wenn ein Benut­ zer mit Hilfe der Steuerung durch das Zeigergerät 18 den Cursor auf der Anzeige 20 benutzt, um ein in einem bestimmten Objekt enthaltenes Pixel auszuwählen. Eine ähnliche Tabellenkonstruk­ tion würde eine Liste einer Serie von Nummern und ihnen zuge­ ordneter Ereigniszeichenketten enthalten, wie beispielsweise ((1, "Spiele Film X"), (2, "Spiele Ton Y"), (3, "Gehe zum Bildschirm 10"), (4, "Spiele Film Z"), usw.). Auch diese Ereignisse können dann weitergeleitet werden zu einer interpretierbaren Schriftumgebung.

Obwohl näher anhand der Fig. 5 und 6 erörtert, soll jetzt die Arbeitsweise eines Computers 10, der ein Treffer- Testspuren als Teil eines Mehrspur-Films benutzendes Programm abarbeitet, kurz beschrieben werden. Um zu bestimmen, wann auf die Daten in der Treffer-Testspur zugegriffen werden soll, be­ stimmt das Programm des Computers 10, wann ein Benutzer eine Auswahl an einer bestimmten Position des Bildschirms der An­ zeige 20 getroffen hat, wo der Cursor angezeigt wird. Das Pro­ gramm bestimmt dann, welches Einzelbild der Videosequenz aktu­ ell angezeigt wird. An dieser Stelle befragt das Programm jede Spur des Mehrspur-Films, um zu ermitteln, welche Spur den Kenn­ zeichner besitzt, der anzeigt, daß sie eine Treffer-Testspur für die angezeigte bestimmte Videospur ist. Sobald die ge­ eignete Treffer-Testspur bestimmt worden ist, wird auf das dem aktuell angezeigten Video-Einzelbild entsprechende Einzelbild in der Treffer-Testspur zugegriffen und dieses entsprechend dem Kompressionsformat, in dem es gespeichert ist, dekomprimiert.

Während der Dekompression wird nur das Gebiet am oder in der Umgebung des interessierenden Pixels dekomprimiert. Wenn das exakte Pixel für die Objektauswahl identifiziert worden ist, wird sein dekomprimierter Wert an das Programm als Kenn­ zeichner des Objekts zurückgegeben. Der Objektkennzeichner kann dann benutzt werden, um in eine Namenstabelle oder Ereignista­ belle abzubilden (map), sofern dies gewünscht ist. Wenn mit Hilfe des Objektkennzeichners in einer Namenstabelle abgebildet worden ist, wird ein ASCII-Zeichenkettenname an das Programm zurückgegeben. Wenn mit Hilfe des Objektkennzeichners in eine Ereignistabelle abgebildet worden ist, wird das "Ereignis" an das System zurückgegeben, welches das Auftreten verschiedener Ereignisse auslösen kann, wie beispielsweise das Abspielen ei­ nes Tons, die Anzeige einer Sequenz von Videoeinzelbildern oder eine Abbildung auf dem Bildschirm der Anzeige 20. Wie oben er­ wähnt, ist das auszulösende und durch das Programm zu behan­ delnde Ereignis in Form von Daten in der Ereignistabelle ent­ halten. Die Bedeutung solcher Ereignisse hängt von der Art der vom interessierenden Programm benutzten interaktiven Umgebung ab. Im bevorzugten Ausführungsbeispiel der Erfindung werden Er­ eignisse durch eine Schriftsprache höheren Niveaus interpre­ tiert.

Anhand von Fig. 5 wird im folgenden ein Ablaufdiagramm be­ schrieben, das die interaktive Wiedergabe einer Filmsequenz un­ ter Benutzung der erfindungsgemäßen Treffer-Testspuren dar­ stellt. Wenn die Einzelbilder einer sich bewegenden Bildfolge von einer Videospur durch den Computer 10 wiedergegeben werden (Block 70), testet das Programm, ob ein Mausbetätigungsereignis in dem Video-Einzelbild aufgetreten ist (Block 72). Wenn in ei­ nem Video-Einzelbild ein Mausbetätigungsereignis aufgetreten ist, wird das Video-Einzelbild X ebenso wie die Mausposition (mx, my) zur Zeit des Mausbetätigungsereignisses im Speicher 16 aufgezeichnet (Block 74). Wenn kein Mausbetätigungsereignis aufgetreten ist, kehrt das Programm zum Block 70 zurück, um mit der Wiedergabe der Filmsequenz fortzufahren. Nach dem Speichern des Video-Einzelbildes X und der Mausbetätigungsposition (mx, my) fährt das Programm fort, die Benutzerdatenfelder sämtlicher Spuren des Mehrspur-Films nach einer Spur zu durchsuchen, die den Treffer-Testspur-Kennzeichner oder -Tag "HIT_" aufweist (Block 76).

Wenn eine als Treffer-Testspur identifizierte Spur gefunden worden ist (Block 78), durchsucht das Programm die Benutzerda­ ten der Treffer-Testspur, um zu überprüfen, ob die identifi­ zierte Treffer-Testspur sich auf die aktuelle, gerade ange­ zeigte Videospur bezieht (Block 80). Wenn sich die Treffer- Testspur auf die aktuelle Videospur bezieht, bestimmt dann das Programm das Kompressionsformat Z (es sei denn, es gibt ein Standardkompressionsformat) und die Bittiefe, bis zu welcher die Daten dekomprimiert werden sollen (Block 82). Der nächste Schritt des Verfahrens ist die Dekompression des geeigneten Einzelbilds X (das dem Video-Einzelbild X in der Sequenz ent­ spricht) der Treffer-Testspur mit Hilfe des Dekompressionsver­ fahrens Z. Obwohl die auftretende Dekompression am gesamten Vi­ deoeinzelbild X ausgeführt werden kann, wird vorzugsweise nur das Gebiet um den durch den Benutzer in dem Video-Einzelbild X ausgewählten exakten Pixelort (mx, my) dekomprimiert (Block 84). Man beachte, daß der Wert des Objektkennzeichners für das ausgewählte Objekt unabhängig von der Lage des durch den Benut­ zer ausgewählten Pixels innerhalb des Objekts gleichbleibt. Ob­ wohl die Dekompression des gesamten Objekts sicher den geeigne­ ten Objektkennzeichner erzeugen würde, führt die Dekompression nur des Ortes des ausgewählten Pixels zum gleichen Ergebnis. Der Wert des Objektkennzeichners der dekomprimierten Daten am Ort des Pixels (mx, my) wird dann an das System zurückgegeben (Block 86). Wie zuvor beschrieben, können komplexere optionelle Versionen des o. g. Verfahrens die Treffer-Testdaten dekompri­ mieren und den Objektkennzeichner benutzen, um in eine Tabelle abzubilden, welche entweder einen ASCII-Namen oder ein vom Pro­ gramm auszulösendes Ereignis rückzuführen.

Anhand von Fig. 6 wird im folgenden ein Ablaufdiagramm be­ schrieben, das die Erzeugung von Treffer-Testspuren für Mehr­ spur-Filme in Übereinstimmung mit dem bevorzugten Ausführungs­ beispiel der Erfindung darstellt. Im Block 90 wird ein gerade digitalisiertes Video-Einzelbild oder ein dargestelltes Anima­ tionseinzelbild aus einer Sequenz sich bewegender Abbildungen eingegeben. Dann sieht das Programm nach, ob das Eingabe-Ein­ zelbild von einer dargestellten Animation oder von einem digi­ talisierten Video herrührt (Block 92). Wenn das Eingabe-Einzel­ bild von einer dargestellten Animation herrührt, wird ein Ein­ zelbildpuffer für das Einzelbild erzeugt, wenn die Abbildung aus der Sequenz dargestellt wird (Block 94). Wie zuvor disku­ tiert, wird dieser Einzelbildpuffer, welcher später in die Treffer-Testspur eingefügt wird, als eine Speicherabbildung sämtlicher Objekte in der Szene benutzt, indem jedes innerhalb des das Objekt definierenden Gebiets enthaltene Pixel mit einer Einzelbildnummer oder einem Objektkennzeichner bezeichnet wird. Man beachte, daß Pixel innerhalb des gleichen Objekts oder in­ teressierenden Gebiets den gleichen Objektkennzeichner enthal­ ten.

Wenn das Eingabe-Einzelbild von einem digitalisierten Video herrührt, werden die Objekte in der in dem Video-Einzelbild dargestellten Videoszene mit Hilfe von Mustererkennungstechni­ ken oder über ein manuelles Nachzeichnen des Objekts segmen­ tiert, um einen Einzelbildpuffer für diese Szene zu erzeugen (Block 96). Obwohl Mustererkennungstechniken weniger arbeitsin­ tensiv als das manuelle Objektnachzeichnen sind, kann die Ef­ fektivität der Mustererkennung und somit der Objektkennzeich­ nung in Abhängigkeit von den zu erkennenden Inhalten signifi­ kant variieren. Zusätzlich hat das manuelle Objektnachzeichnen den Vorteil, dem Benutzer das Spezifizieren von interessieren­ den "unsichtbaren" Gebieten zusätzlich zu den interessierenden sichtbaren Objekten zu ermöglichen. Unabhängig von der Art der Eingabedaten wird jeder Einzelbildpuffer, sobald er geschaffen wurde, mit Hilfe einer verlustlosen Kompression komprimiert (Block 98). Im Block 100 sieht das Programm dann nach, ob die dem Einzelbildpuffer entsprechende Videospur stärker als bis zu einer vorgegebenen Grenze, wie beispielsweise 10 : 1 komprimiert ist. Wie oben gesagt ist es bei starker Kompression der Video­ spur sinnvoll, eine unterabgetastete oder gröber gerasterte Version des Einzelbildpuffers zu verwenden, wie beispielsweise eine Unterabtastung in der Größenordnung von 2 : 1 oder 4 : 1. Es sei erneut angemerkt, daß bei Verwendung eines unterabgetaste­ ten Einzelbildpuffers geringerer Auflösung bei der Wiedergabe der nächstmögliche Objektkennzeichnungswert in der gröber ge­ rasterten Version der Treffer-Testspur als Objektkennzeichner benutzt wird.

Unabhängig von der Art des benutzten Einzelbildpuffers wer­ den im Block 106 die Abbildungen in jedem Einzelbildpuffer als komprimiertes Einzelbild in dem Treffer-Testdatenanteil der Treffer-Testspur gespeichert. Das der Treffer-Testspur entspre­ chende Videoeinzelbild wird dann in der Videospur gespeichert (Block 108). Dieses Verfahren wird für jedes Einzelbild der Se­ quenz von Abbildungen fortgesetzt, bis alle Einzelbilder der Sequenz verarbeitet sind (Block 110); dann wird der Rest der Benutzerdaten, wie beispielsweise der Treffer-Test-Tag 52, die Größe des Datenfelds 54, der Videospurkennzeichner 56, das For­ mat 58 der verlustlosen Kompression und die Pixel-Bittiefe 60, in der Treffer-Testspur 50 gespeichert (Block 112).

Es sei angemerkt, daß die Erfindung Anwendungen bei Video­ anzeige- und -manipulationstechnologien findet, wie beispiels­ weise die oben beschriebenen Multimedia-Anwendungen, aber auch auf anderen Gebieten anwendbar ist, wie beispielsweise bei Vi­ deospielen, wenn eine pixelgenaue, einzelbildgenaue Objektaus­ wahl wünschenswert ist.

Claims (17)

1. Verfahren zum Unterstützen der Identifikation von Ob­ jekten (32) bei einer interaktiven Benutzerauswahl von Ob­ jekten (32) aus einer zeitlichen Sequenz von auf einer An­ zeigeeinrichtung (20) eines Computers (10) wiedergegebenen Bildern,
wobei jedes Objekt (32) durch ein wenigstens ein Pixel aufweisendes Gebiet eines Einzelbildes (30) einer zeitlichen Folge von Einzelbildern definiert ist,
wobei die zeitliche Folge von Einzelbildern als eine von mehreren zeitlich parallelen Datenspuren (40, 42) in einem Speicher (16) gespeichert wird,

• a) wobei eine zusätzliche zeitlich parallele Treffer- Test-Datenspur (44) zum Unterstützen der Identifikation von Objekten erzeugt und gespeichert wird (Fig. 6), indem
  • 1. ein ein Objekt definierendes Gebiet eines Ein­ zelbildes (30) identifiziert wird und dem Gebiet ein eindeu­ tiger Gebietsidentifizierer zugeordnet wird,
  • 2. jedem Pixel in dem identifizierten Gebiet der eindeutige Gebietsidentifizierer derart zugeordnet wird, daß auf den Gebietsidentifizierer mittels einer dem Pixelort entsprechenden Pixeladresse zugegriffen werden kann,
  • 3. die den Pixeln zugeordneten Gebietsidentifi­ zierer in einem mit dem zugehörigen Objekt des Einzelbilds verbundenen Speicherbereich eines Treffer-Test-Einzelbildes (34) gespeichert werden,
  • 4. die Schritte a1) bis a3) für jedes zu identi­ fizierende Gebiet eines Einzelbildes (30) und nachfolgend für jedes Einzelbild der zeitlichen Folge wiederholt werden, wobei die Treffer-Test-Einzelbilder (34) als Treffer-Test- Spur (44) in einem entsprechend gekennzeichneten Speicherbe­ reich gespeichert werden,
• b) wobei während einer Wiedergabe der zeitlich paralle­ len Datenspuren und einer Anzeige der Folge von Einzelbildern auf der Anzeigeeinrichtung (20) mit Hilfe einer Zeiger­ einrichtung (18) von einem Benutzer ein Pixelort in einem gerade angezeigten Einzelbild ausgewählt wird,
• c) sofern der ausgewählte Pixelort in dem ausgewählten Einzelbild in einem der in Schritt a) identifizierten Ge­ biete liegt, der gekennzeichnete Speicherbereich der Tref­ fer-Test-Spur (44) und darin das dem ausgewählten Einzelbild entsprechende Treffer-Test-Einzelbild (34) lokalisiert wer­ den, und
• d) aus dem lokalisierten Treffer-Test-Einzelbild (34) mit Hilfe des ausgewählten Pixelorts der zugehörige Gebiets­ identifizierer gewonnen und zur Verfügung gestellt wird, der das ausgewählte Objekt identifiziert.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß ferner in einem Schritt (e) der dem Pixelort entspre­ chende Gebietsidentifizierer mit einer zusätzliche Informa­ tionen über das ausgewählte Gebiet enthaltenden Tabelle (64, 66) verglichen wird.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß die zusätzlichen Informationen einen Namen für das aus­ gewählte Gebiet enthalten.

4. Verfahren nach Anspruch 2 oder 3, dadurch gekenn­ zeichnet, daß die zusätzlichen Informationen eine dem ausge­ wählten Gebiet zugeordnete und durch den Computer auszufüh­ rende Aktivität spezifizieren.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Bilder Video-Einzelbilder (30) aus einer Video-Einzelbildfolge sind und daß im Schritt (a) je­ des zu identifizierende Gebiet (32) aus jedem Video-Einzel­ bild mit Hilfe eines Mustererkenners identifiziert wird.

6. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Bilder Video-Einzelbilder (30) aus einer Video-Einzelbildfolge sind und daß im Schritt a) jedes zu identifizierende Gebiet (32) aus jedem Video-Einzelbild manuell identifiziert wird.

7. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Bilder dargestellte (rendered) Ein­ zelbilder (30) aus einer dargestellten Einzelbildfolge sind und daß der Schritt a) eine Darstellung der dargestellten Einzelbilder enthält, um jedes zu kennzeichnende Gebiet (32) aus jedem dargestellten Einzelbild zu identifizieren.

8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß die identifizierten Gebiete (32) sicht­ baren Objekten und/oder abstrakten Gebieten innerhalb der Bilder (30) entsprechen.

9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, daß im Schritt a)
das Gebiet (32) in einen dem Bild (30) entsprechenden Einzelheitenpuffer (item buffer) (34) abgebildet; und
der Gebietsidentifizierer jedem Pixel innerhalb des Ge­ biets zugeordnet wird, um so den Pixelorten innerhalb des Bildes (30) entsprechende gekennzeichnete Pixel innerhalb des Einzelheitenpuffers (34) zu bilden.

10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß im Schritt a3) folgende Schritte ausgeführt werden:
Komprimieren des Einzelheitenpuffers (34);
Speichern des komprimierten Einzelheitenpuffers (34) in einen gekennzeichneten Speicherbereich (50) des Speichers (16); und
Speichern eines Bildidentifizierers (56) gemeinsam mit dem komprimierten Einzelheitenpuffer (34) in dem gekenn­ zeichneten Speicherbereich (50) des Speichers (16), um den gekennzeichneten Speicherbereich des Speichers mit dem Bild zu verknüpfen.

11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, daß die Bilder zur Speicherung in dem Speicher (16) kompri­ miert werden und daß der Einzelheitenpuffer (34) mit Hilfe eines verlustlosen Kompressionsverfahrens komprimiert wird.

12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, daß ein Einzelheitenpuffer (34) normaler Auflösung benutzt Wird, wenn die Bilder mit einem Verhältnis gleich oder klei­ ner einem vorgegebenen Grenzwert komprimiert werden, und daß ein unterabgetasteter Einzelheitenpuffer (34) geringer Auf­ lösung benutzt wird, wenn die Bilder mit einem Verhältnis größer als der vorgegebene Grenzwert komprimiert werden.

13. Verfahren nach einem der Ansprüche 10 bis 12, da­ durch gekennzeichnet, daß im Schritt a3) ferner ein Spei­ cheridentifizierer (52) für den gekennzeichneten Speicherbe­ reich (50) des Speichers gemeinsam mit dem Bildidentifizie­ rer gespeichert wird, um den gekennzeichneten Speicherbe­ reich (50) des Speichers für den Computer (10) von anderen Abschnitten des Speichers (16) unterscheidbar zu machen.

14. Verfahren nach einem der Anspruche 10 bis 13, da­ durch gekennzeichnet, daß im Schritt a3) ferner ein Kompres­ sionsformatsanzeiger (58) gemeinsam mit dem Bildidentifi­ zierer zum Anzeigen eines Kompressionsformats des kompri­ mierten Einzelheitenpuffers (34) für den Computer (10) ge­ speichert wird.

15. Verfahren nach einem der Ansprüche 10 bis 14, da­ durch gekennzeichnet, daß im Schritt a3) ein Pixel-Bittie­ fenanzeiger (60) mit dem Bildidentifizierer gespeichert wird, um dem Computer beim Dekomprimieren des gekennzeichneten Pixel eine Bittiefe für jedes gekennzeichnete Pixel an­ zuzeigen.

16. Verfahren nach einem der Ansprüche 10 bis 15, da­ durch gekennzeichnet, daß im Schritt a3) ferner eine Gebiet- zu-Namen-Abbildungstabelle (64) gespeichert wird, wobei der Bildidentifizierer einen Namen für das ausgewählte Gebiet enthält, der dem Computer mitgeteilt wird, wenn das ausge­ wählte Gebiet im Schritt d) für den Computer identifiziert wird.

17. Verfahren nach einem der Ansprüche 10 bis 15, da­ durch gekennzeichnet, daß im Schritt a3) eine Gebiet-zu-Er­ eignis-Abbildungstabelle (66) gespeichert wird, wobei der Bildidentifizierer ein dem ausgewählten Gebiet zugeordnetes Ereignis enthält, das dem Computer mitgeteilt und von ihm bearbeitet wird, wenn das ausgewählte Gebiet im Schritt (d) für den Computer identifiziert wird.