DE102008056603A1

DE102008056603A1 - Verfahren und Vorrichtungen zur Messung von Markenexposition in Medienstreams und zur Festlegung von Interessenbereichen in zugeordneten Videoframes

Info

Publication number: DE102008056603A1
Application number: DE102008056603A
Authority: DE
Inventors: Kevin Keqiang Safety Harbor Deng; Barry Weston Greenberg
Original assignee: Nielsen Co US LLC
Current assignee: Nielsen Co US LLC
Priority date: 2007-11-09
Filing date: 2008-11-10
Publication date: 2009-08-20
Anticipated expiration: 2028-11-11
Also published as: US20120020559A1; US20090123069A1; US9239958B2; US11861903B2; US9785840B2; US10445581B2; US11682208B2; US20220092310A1; US20090123025A1; US8300893B2; US20180025227A1; US20160132729A1; US20240087314A1; US20130011071A1; US8059865B2; US20230267733A1; US20200110940A1; DE102008056603B4; US11195021B2; US9286517B2

Abstract

Verfahren und Vorrichtungen zur Erfassung von Markenexposition in Medienstreams und zur Festlegung von Interessenbereichen in zugeordneten Videobildframes in dem offenbart: Ein hier offenbares beispielhaftes Verfahren zur Ermittlung von Markenexpositionen in einem Medienstream umfasst eine Ermittlung, ob eine in einem den Medieninhalten entsprechenden Medienstream detektierte Szene mit einer Referenzszene übereinstimmt, eine Identifizierung eines erwarteten Interessenbereichs in der detektierten Szene auf der Grundlage von Information, welche die Referenzszene beschreibt, wenn ermittelt wird, dass die detektierte Szene mit der Referenzszene übereinstimmt und die Referenzszene nicht als Szene ohne Interesse spezifiziert ist, und eine Ermittlung, ob eine der Referenzszene zugeordnete Referenzmarkenidentifizierung in dem in der detektierten Szene identifizierten, erwarteten Interessenbereich enthalten ist. Ein hier offenbartes beispielhaftes Verfahren zur Spezifizierung eines Interessenbereichs in einer zugeordneten grafischen Darstellung umfasst eine Ermittlung eines anfänglichen Vorlagenbereichs zur Angabe des Interessenbereichs, deren Lage auf einer in der grafischen Darstellung ausgewählten ersten Stelle beruht, eine Ermittlung einer ersten durchzuführenden Modifikation des anfänglichen Vorlagenbereichs in Antwort auf eine zweite, in der grafischen Darstellung gewählte Stelle, einer Detektion der zweiten gewählten Stelle in der grafischen Darstellung, und einer ...

Description

VERWANDTE ANMELDUNG(EN)
Dieses Patent nimmt die Priorität der provisiorischen US-Anmeldung Serien-Nr. 60/986,723 in Anspruch, die mit „Methods and Apparatus to Messure Brand Exposure in Media Streams" betitelt ist und am 9. November 2007 eingereicht wurde. Die provisorische US-Anmeldung mit der Serien-Nr. 60/986,723 ist zur Gänze hiermit durch Bezugnahme aufgenommen.
GEBIET DER OFFENBARUNG
Diese Offenbarung betrifft generell die Identifizierung von Medieninhalt und im Spezielleren Verfahren und Vorrichtungen zur Messung von Markenexposition in Medienstreams und zur Spezifizierung von Interessenbereichen in zugeordneten Videoframes.
HINTERGRUND
Eine „Übertragung" (engl.: „Broadcast"), wie es hier verwendet wird, bezeichnet jede Art elektronischer Übertragung jeder Art von Mediensignalen von einer Quelle an eine oder mehrere Empfangsvorrichtung beliebiger Art. Ein „Broadcast" kann daher eine kabelgebundene Übertragung, eine Satellitenübertragung, eine terrestrische Übertragung, eine herkömmliche kostenfreie Fernsehübertragung, eine Radioübertragung und/oder eine Internet-Übertragung sein; ein „Broadcast-Vorrichtung" kann eine Einheit sein, die Signale für den Empfang durch eine Mehrzahl von Empfangsvorrichtungen aussendet. Die Signale können Medieninhalt (hier auch als „Content" oder „Programme" bezeichnet) und/oder Reklame (hier als „Werbung" (engl.: „advertisments") bezeichnet) umfassen. Ein „Werbeträger" (engl.: „advertiser") ist eine Einheit, die Werbung zur Übertragung zur Verfügung stellt. Traditionell haben Werbetreibende Sender dafür bezahlt, kommerzielle Werbung dergestalt in Übertragungsinhalt (z. B. in ein serielles Format „Inhalt-Werbung-Inhalt-Werbung") einzubinden, dass das Publikum, um das gesamte interessierende Programm zu sehen, auch die eingebundene Werbung sehen muss. Dieser Ansatz versetzt Sender in der Lage, dem Publi kum kostenfrei Programmgestaltung zur Verfügung stellen zu können, wobei sie für die Programmgestaltung von den zahlenden Werbetreibenden Gebühren vereinnehmen.
Zur Unterstützung dieses Bezahlmodells möchten Unternehmen, die für Einnahmen auf die Übertragung von Video- und/oder Audioprogrammen angewiesen sind, wie Werbetreibende, Sender und Contentprovider, Größe und demographische Zusammensetzung des Publikums kennen, das Programme konsumiert. Ebenso wollen Händler (z. B. Hersteller, Großhändler und/oder Einzelhändler) diese Information kennen, damit sie ihre Werbung auf die Bevölkerungsgruppen abstimmen können, die ihre Produkte mit höchster Wahrscheinlichkeit kaufen. Publikumserfassungsunternehmen haben diesem Bedürfnis beispielsweise durch Identifikation der demographischen Zusammensetzung einer Gruppe statistisch ausgewählter Haushalte und/oder Einzelpersonen (d. h. Befragte) und der Gewohnheiten des Programmkonsums der Mitglieder der Befragtengruppen Rechnung getragen. Beispielsweise können Publikumserfassungsunternehmen Einschaltdaten eines ausgewählten Haushalts sammeln, indem sie den auf dem/den Fernseher(n) dieses Haushalts angezeigten Inhalt überwachen und ermitteln, welche(s) Mitglied(er) des Haushalts sich im Raum befinden, wenn dieser Inhalt wiedergegeben wird. Im Kontext der Radioerfassung wird ein analoger Ansatz verfolgt.
Die Erfassung dieser Publikumserfassungsdaten ist schwieriger geworden, weil die Vielfalt der Übertragungssysteme zugenommen hat. Während es in früher der Fall war, dass Fernsehübertragungen beinahe ausschließlich terrestrisch basiert waren, sind beispielsweise Hochfrequenzübertragungssysteme (d. h. herkömmliches kostenfreies Fernsehen), Kabel- und Satellitenübertragungssysteme heute alltäglich. Darüber hinaus erfordern diese kabel- und/oder satellitenbasierten Übertragungsysteme für die Abstimmung, Dekodierung und/oder Anzeige von Übertragungsprogrammen häufig die Verwendung eines speziellen Empfangsgeräts, wie zum Beispiel eine Set-Top-Box (STB) oder eine integrierter Empfangsdecoder (IRD). Und um die Sache noch weiter zu verkomplizieren, haben einige dieser Empfangsvorrichtungen für alternative Übertragungssysteme sowie andere Empfangsvorrichtungen, beispielsweise lokale Medienwiedergabegeräte (z. B. Videokassettenrekorder, digitale Videorekorder und/oder persönliche Videorekorder) die zeitversetzte Betrachtung von Übertragungen oder anderen Programmen ermöglicht.
Diese Möglichkeit, Programme aufzuzeichnen und wiederzugeben (zeitversetzte Betrachtung), hat dahingehend zu Bedenken in der Werbeindustrie geführt, dass Verbraucher eine solche Technologie zur zeitlichen Versetzung benutzen, um beim Betrach ten aufgezeichneter Programme Werbung zu überspringen oder durch diese im Schnelldurchlauf hindurchzugehen, wodurch die Wirksamkeit des traditionellen Modells der eingebundenen Werbung untergraben wird. Um diesem Umstand Rechnung zu tragen, haben die Händler und Werbetreibenden damit begonnen, anstelle der Einbindung von Werbung in Inhalte oder zusätzlich dazu den Produzenten von Inhalten dafür eine Gebühr zu bezahlen, dass sie ihr(e) Produkt(e) innerhalb des Inhalts selbst plazieren. So kann beispielsweise der Hersteller eines Produkts (z. B. Sonnenbrillen) dem Hersteller von Inhalten eine Gebühr bezahlen, damit sein Produkt in einem Übertragungsprogramm erscheint (z. B. damit seine Sonnenbrillen von einem Schauspieler im Programm getragen werden) und/oder sein Produkt im Programm namentlich erwähnt wird. Es ist ersichtlich, dass das Beispiel der Sonnenbrillen nur beispielhaft ist und jedes beliebige andere Produkt oder Dienstleistung von Interesse auf jede wünschenswerte Weise in die Programmgestaltung integriert werden könnte (wenn es sich z. B. bei dem Produkt um ein alkoholfreies Getränk handelt, kann der Werbetreibende eine Gebühr bezahlen, damit ein Mitglied der Besetzung aus einer Dose trinkt, die das Logo des alkoholfreien Getränks zeigt).
Auf vergleichbare Weise haben Werbetreibende häufig für die Platzierung von Werbung, wie Werbetafeln, Schilder usw., an Orten bezahlt, von denen aus wahrscheinlich die Übertragung eines Programms stattfindet, so dass ihre Werbung im Übertragungsinhalt erscheint. Bekannte Beispiele dieses Ansatzes sind Werbetafeln und andere Schilder, die in Arenen positioniert sind, in denen Sportereignisse, Konzerte, politische Veranstaltungen usw. stattfinden. Wenn daher beispielsweise ein Baseballspiel übertragen wird, werden die entlang des Randes des Baseballfeldes platzierten Schilder (z. B. „Kaufe Sunshine Sonnenbrillen") als zufälliger Hintergrund des Sportereignisses ebenfalls übertragen.
Aufgrund der Platzierung der beispielhaften Sonnenbrillen im Programm und/oder aufgrund des Vorhandenseins der beispielhaften Werbetafeln am Ort des übertragenen Ereignisses ist die Werbung für die Sonnenbrillen bzw. die Werbebeschilderung (zusammengefasst und/oder einzeln hier als „eingebettete Werbung" bezeichnet) statt in einer mit dem Inhalt verschachtelten Werbung in den Inhalt des Übertragungsinhalts eingebettet. Somit ist es einem Publikum nicht möglich, eine eingebettete Reklame schnell vorzuspulen oder zu überspringen, ohne auch einen Teil des Programms, in das die Werbung eingebettet ist, schnell vorzuspulen oder zu überspringen. Folglich wird davon ausgegangen, dass die Zuschauer mit geringerer Wahrscheinlichkeit Werbung überspringen, und umgekehrt, dass die Zuschauer mit höherer Wahrscheinlichkeit Werbung ansehen als bei dem herkömmlichen verschachtelten Inhalt-Werbung-Inhalt-Werbung-Ansatz zur Übertragungswerbung.
Der Werbeansatz, ein Produkt in den Inhalt einzubetten, wird hier als „beabsichtigte Produktplatzierung" bezeichnet und die durch beabsichtigte Produktplatzierung platzierten Produkte werden hier als „absichtlich platzierte Produkte" bezeichnet. Es ist ersichtlich, dass Inhalt absichtlich platzierte Produkte (d. h. Produkte, die als Gegenleistung für eine Gebühr des Werbetreibenden und/oder Händlers als Requisiten im Inhalt verwendet werden) und nicht absichtlich platzierte Produkte umfassen kann. „Nicht absichtlich platzierte Produkte" wie hier verwendet sind, die aufgrund einer Auswahl des Inhalteherstellers ohne Zahlung einer Gebühr durch einen Werbetreibenden oder Händler als Requisiten im Inhalt eingesetzt werden. Für ein nicht absichtlich platziertes Produkt, das als Requisite verwendet wird, wird daher kostenfreie Werbung gemacht, wobei es jedoch beispielsweise zur Handlungserzählung und zu Werbezwecken aufgenommen sein kann.
Auf vergleichbare Weise wird die Werbemethode, ein Schild, eine Werbetafel oder einer anderen Werbeanzeige an einer Stelle anzuordnen, wo man davon ausgeht, dass sie in ein übertragenes Programm, wie eine Sportveranstaltung aufgenommen wird, hier als „absichtliche Platzierung von Displays" bezeichnet, und werden Werbedisplays jeglicher Art, die durch absichtliche Platzierung von Display platziert werden, hier als „absichtlich platzierte Displays" bezeichnet. Es ist ersichtlich, dass Inhalt absichtlich platzierte Displays (d. h. aus Displayselementen, die zur Erfassung in einem übertragenen Programm platziert werden) und unabsichtlich platzierte Displays (d. h. Displayselementen, die nicht von den Werbetreibenden dafür vorgesehen sind, in dem Inhalt erfasst zu werden, aber aufgrund von Maßnahmen eines Herstellers von Inhalten, beispielsweise durch Filmen eines Films oder einer Fernsehshow am Times Square, Filmen eines Livenachrichtenberichts auf einer Straße neben einer Reklamefläche oder eines Schilds an einer Geschäftsfassade usw. zufällig in den Inhalt aufgenommen worden) enthalten. Zusätzlich bezeichnet „absichtlich platzierte Werbung", wie es hier verwendet wird, allgemein jedes absichtlich platzierte Produkt und/oder jedes absichtlich platzierte Display. Analog dazu bezeichnet „nicht absichtlich platzierte Werbung" allgemein jedes nicht absichtlich platzierte Produkt und/oder jedes nicht absichtlich platzierte Display.
Die Markeninformation (z. B. Name des Herstellers, Name des Vertreibers, Name des Providers, Name des Produkts/Dienstleistung, Schlagwort usw.) sowie die visuelle Erscheinung (z. B. Bildschirmgröße, Bildschirmanordnung, Verdeckung, Bildqualität, Lage des Veranstaltungsorts, ob die Darstellung statisch oder sich ändert (z. B. animiert), ob die Erscheinung real ist oder eine virtuelle Überlagerung usw.) und/oder hörbarer Ton desselben, der in einer eingebetteten Werbung (z. B. eine absichtliche oder nicht absichtliche Produktplatzierung, Displayplatzierung oder Werbeplatzierung) enthalten ist, werden hier als „Markenidentifizierung" oder gleichwertig als „Logo" des zugeordneten Produkts und/oder Dienstleistung bezeichnet. So bilden beispielsweise im Fall einer absichtlichen Displayplatzierung eines am Rand eines Baseballfeldes aufgestellten Schilds mit dem Aufruf „Kaufen Sie Sunshine Sonnenbrillen" umfassen die Worte und das allgemeine Erscheinungsbild der Phrase „Kaufen Sie Sunshine Sonnenbrillen" die Markenidentifizierung (z. B. das Logo), die dieser absichtlichen Displayplatzierung entspricht.
ZUSAMMENFASSUNG
Das hier beschriebene Verfahren und Vorrichtungen betreffen allgemein die Identifizierung von Medieninhalt und im Spezielleren Verfahren und Vorrichtungen zur Erfassung der Markenexposition in Medienstreams und zur Bestimmung von Interessenbereichen in zugeordneten Videoframes. Bei einer hier offenbarten beispielhaften Implementierung umfasst ein beispielhaftes Verfahren zur Ermittlung von in Medieninhalt enthaltenen Markenexpositionen zu ermitteln, ob eine in einem dem Medieninhalt entsprechenden Medienstream detektierten Szene einer Referenzszene entspricht. Zusätzlich umfasst das beispielhafte Verfahren einen erwarteten Interessenbereich in der detektierten Szene auf der Grundlage von die Referenzszene beschreibender Information zu identifizieren, wenn: (a) ermittelt wird, dass die detektierte Szene mit der Referenzszene übereinstimmt, und (b) die Referenzszene nicht als Szene ohne Interesse festgelegt wurde. Darüber umfasst das beispielhafte Verfahren zu ermitteln, ob eine der Referenzszene zugeordneter Referenzmarkenidentifizierung in dem in der detektierten Szene identifizierten erwarteten Interessenbereich enthalten ist.
Bei einem weiteren hier offenbarten beispielhaften Verfahren umfasst ein Verfahren zur Spezifizierung eines Interessenbereichs in einer grafischen Darstellung, beispielsweise eine grafische Darstellung, die einem Medienstream zugeordnet ist, für den Markenexpositionen ermittelt werden, einen anfänglichen Vorlagenbereich (engl.: template region) zu ermitteln, um den Interessenbereich anzugeben, wobei eine Stelle des Vorlagenbereichs auf einer von einem Benutzer in der grafischen Darstellung gewählten ersten Stelle beruht. Zusätzlich umfasst das beispielhafte Verfahren eine erste Modifikation, die am anfänglichen Vorlagenbereich in Antwort auf eine vom Benutzer in der grafischen Darstellung gewählte zweite Stelle durchzuführen ist zu ermitteln, wobei die erste Modifikation wenigstens eine vom Benutzer gewählte ist und/oder einer Standardmodifikation entspricht. Darüber hinaus umfasst das beispielhafte Verfahren die zweite ausgewählte Stelle in der grafischen Darstellung zu detektieren, wobei die zweite ausgewählte Stelle wenigstens außerhalb und/oder innerhalb des anfänglichen Vorlagenbereichs liegt, jedoch im Wesentlichen nicht auf einer Begrenzung, die den anfänglichen Vorlagenbereich definiert. In einer beispielhaften Implementierung umfasst das Verfahren auch den anfänglichen Vorlagenbereich in Richtung auf die zweite ausgewählte Stelle hin umzuformen, wobei die Umformung der ersten Modifikation entspricht und die Umformung in Antwort auf die Detektion der zweiten gewählten Stelle durchgeführt wird, ohne dass dabei der Benutzer eine im Wesentlichen auf der den anfänglichen Vorlagenbereich definierenden Begrenzung liegende Stelle wählen muss, um die Umformung einzuleiten.
Weitere beispielhafte Komplementierungen sind unten im Übrigen der Beschreibung und in den beilgefügten Ansprüchen beschrieben.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ist eine schematische Darstellung eines beispielhaften Systems zur Erfassung von Markenexposition in Medienstreams.
2 stellt eine beispielhafte Weise dar, um die beispielhafte Markenexpositionsüberwachungsvorrichtung von 1 zu implementieren.
3 stellt eine beispielhafte Weise dar, um die beispielhafte Szenenerkennungsvorrichtung von 1 zu implementieren.
4 stellt eine beispielhafte Weise dar, um die beispielhafte Markenerkennungsvorrichtung von 2 zu implementieren.
5A–5D stellen beispielhaft von der beispielhaften Szenenerkennungsvorrichtung von 2 vorgenommene Szenenklassifizierungen dar.
6A–6B zusammen bilden ein Flussdiagramm, welches beispielhaft maschinenlesbar Anweisungen darstellt, die zur Implementierung der beispielhaften Szenenerkennungsvorrichtung von 2 ausgeführt werden können.
7A–7C zusammen bilden ein Flussdiagramm, welches Beispiele maschinenlesbarer Anweisungen darstellt, die zur Implementierung der beispielhaften grafischen Benutzerschnittstelle (GUI) von 2 ausgeführt werden können.
8A–8B sind Flussdiagramme, die beispielhaft maschinenlesbare Anweisungen darstellen, die zur Implementierung der beispielhaften Markenerkennungsvorrichtung von 2 ausgeführt werden können.
9 ist eine schematische Darstellung einer beispielhaften Prozessorplattform, die zur Durchführung einiger oder aller maschinenlesbarer Anweisungen von 6A–6B, 7A–7C und/oder 8A–8B verwendet werden kann, um die hier beschriebene Verfahren und Vorrichtung zu implementieren.
10 stellt beispielhaft eine Folge von Operationen dar, die durch ein beispielhaftes Verfahren zur automatischen Schaffung eines Interessenbereichs durchgeführt werden, welche zur Implementierung der hier beschriebenen Verfahren und Vorrichtung verwendet werden kann.
DETAILLIERTE BESCHREIBUNG
Die Begriffe „Markenexposition" sowie „Exposition gegenüber Markenidentifizierung", wie sie hier verwendet werden, beziehen sich auf die Darstellung einer oder mehrerer Markenidentifizierungen in Medieninhalt, der durch einen Medieninhaltsstream geliefert werden, wobei damit die Möglichkeit schaffen, dass ein Betrachter des Medieninhalts einer oder mehreren Markenidentifizierung(en) (z. B. Logo(s)) ausgesetzt wird. Eine Markenexposition, wie sie hier verwendet wird, erfordert es nicht, dass der Betrachter die Markenidentifizierung im Medieninhalt tatsächlich beobachtet, sondern gibt an, dass der Betrachter die Möglichkeit zur Betrachtung der Markenidentifizierung unabhängig davon hatte, ob der Betrachter dies tatsächlich getan hat oder nicht. Um die Wirksamkeit absichtlicher oder nicht absichtlicher Produktplazierung, Displayplazierung oder Werbeplazierung zu ermitteln, können die Markenexposition tabellarisch aufgeführt und/oder aufgezeichnet werden.
In der folgenden Beschreibung wird eine Übertragung eines Baseballspiels als Beispiel für einen Medienstream verwendet, der zur Ermittlung von Markenexposition gemäß den hier beschriebenen Verfahren und/oder Vorrichtung verarbeitet werden kann. Es ist ersichtlich, dass die beispielhafte Baseballspielübertragung nur zur Veranschaulichung dient und die hier offenbarten Verfahren und Vorrichtung sich ohne weiteres für die Verarbeitung von Medienstreams anwendbar sind, um Markenexposition zu ermitteln, die einen beliebigen Typ Medieninhalt zugeordnet ist. Der Medieninhalt kann beispielsweise einen Typ Sportveranstaltung einschließlich eines Baseballspiels, so wie ein beliebiges Fernsehprogramm, Film, Inhalt von Streamingvideo, Videospielpräsentation usw. entsprechen.
1 ist eine schematische Darstellung eines beispielhaften Systems zur Erfassung von Markenexposition in Medienstreams. Das beispielhafte System von 1 verwendet ein oder mehrere Markenerfassungsverfahren, wie zum Beispiel Audio-Codes, Audio-Signaturen, Video-Codes, Video-Signaturen, Bild-Codes, Bildsignaturen usw., um in von einem oder mehreren Medienstreams gelieferten, präsentierten Medieninhalt (wie z. B. Inhalt, der aktuell übertragen wird, oder vorher aufgezeichneter Inhalt) zu identifizieren. In einer beispielhaften Implementierung werden Bildsignaturen, die einem oder mehreren Teilen eines Medienstreams entsprechen, mit einer Datenbasis von Referenzbildsignaturen verglichen, welche entsprechende Teile eines Referenzmedieninhalts angeben, um die Identifikation einer oder mehrerer im Medienstream übertragener Szenen und/oder eine oder mehrere in den übertragenen Szenen enthaltenen Markenidentifizierung zu unterstützen.
Zur Verarbeitung (z. B. Empfang, Wiedergabe, Betrachtung, Aufzeichnung, Dekodierung usw.) und zur Darstellung einer Anzahl und/oder Typ (Typen) von Inhalt umfasst das beispielhafte System von 1 aus einer Anzahl und/oder Typ(en) von Medienvorrichtung(en) 105. Die Medienvorrichtung(en) 105 können beispielsweise mittels einer Set-Top-Box (STB), einem digitalen Videorecorder (DVR), einem Videokassettenrekorder (VCR), einem Personal Computer (PC), einer Spielkonsole, einem Fernsehgerät, einem Medienplayer usw. oder einer Kombination davon implementiert werden. Beispiele von Medieninhalte umfassen, ohne darauf beschränkt zu sein, Fernsehprogramme, Filme, Videos, Websites, Reklame/Werbung, Audio, Spiele usw. In dem beispielhaften System von 1 erhält die beispielhafte Medienvorrichtung 105 Inhalt von einer beliebigen Anzahl und/oder Typ(en) von Quellen, wie zum Beispiel: ein Satellitenempfänger und/oder eine Satellitenantenne 110, ein Hochfrequenz-(HF)-Eingangssignal 115, welches einer beliebigen Anzahl und/oder Typ(en) von Kabelfernsehensignal(en) und/oder terrestrischer Übertragung(en) entspricht, eine beliebige Anzahl und/oder Typ(en) von Datenkommunikationsnetzen wie das Internet 120, eine beliebige Anzahl und/oder Typ(en) von Daten- und/oder Medienspeicher(n) 125, wie beispielsweise eine Festplatte (HDD), eine VCR-Kassette, eine Digital Versatile Disc (DVD), eine Compact Disk (CD), ein Flash-Speichervorrichtung usw. Bei dem beispielhaften System von 1 kann der Medieninhalt (unabhängig von seiner Quelle) beispielsweise Videodaten, Audiodaten, Bilddaten, Website-Daten usw. umfassen.
Zur Generierung des Inhalts zur Verarbeitung und Darstellung mittels der beispielhaften Medienvorrichtungen 105 umfasst das beispielhafte System von 1 eine beliebige Anzahl und/oder Typ(en) von Inhaltprovidern 130, wie beispielsweise Fernsehstatio nen, Satellitenstationen, Filmstudios, Provider von Websites usw. Bei den veranschaulichten Beispiel von 1 liefert/liefern der/die Inhaltprovider 130 den Inhalt an die beispielhafte Medienvorrichtung 105 mittels einer oder alle einer Satellitenübertragung unter Verwendung eines Satellitensenders 135 und eines Satelliten und/oder einer Satellitenweiterleitungsvorrichtung 140, einer mittels dem HF-Eingangssignal 115 empfangenen terrestrischen Übertragung, einer mittels dem HF-Eingangssignal 115 empfangenen Kabelfernsehübertragung, des Internets 120 und/oder eines oder mehrerer Medienspeicher 125, oder stellen es auf andere Weise bereit.
Zur Erfassung von Markenexposition (d. h. Exposition gegenüber Markenidentifizierung) in von den beispielhaften Medienvorrichtungen 105 verarbeiteten und wiedergegebenen Medienstreams umfasst das beispielhafte System von 1 wenigstens eine Markenexpositionsüberwachungsvorrichtung, von denen eine bei dem Bezugszeichen 150 von 1 dargestellt ist. Die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 von 1 verarbeitet einen von der beispielhaften Medienvorrichtung 105 ausgegebenen Medienstream 160, um wenigstens eine über die Medienvorrichtung 105 wiedergegebene Markenidentifizierung zu identifizieren. Allgemein dient die beispielhafte Markenexpositionsüberwachungsvorrichtung 150, um Markenidentifizierung zu identifizieren und Markenexposition(en) anzuzeigen, wobei bekannte oder früher erlernte Information, sofern möglich, verwendet wird, und sie dann, wenn eine solche automatische Identifizierung nicht möglich ist, standardmäßig eine manuelle Benutzereingabe anfordert. Auf einem hohen Niveau erreicht die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 diese Kombination automatischer und manueller Verarbeitung von Markenexposition dadurch, dass zunächst der Medienstream 160 in eine Gruppe aufeinanderfolgender detektierter Szenen unterteilt wird, von denen jede eine entsprechende Gruppe aufeinanderfolgender Bildframes enthält. Die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 schließt dann Szenen aus, von denen bekannt ist, dass sie keine Markenidentifizierungsinformation enthalten. Als nächstes vergleicht die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 jede nicht ausgeschlossene detektierte Szene mit einer Bibliothek von Referenzszenen, um zu ermitteln, ob die Markenexpositionsüberwachung automatisch durchgeführt werden kann. Eine automatische Markenexpositionstüberwachung ist beispielsweise möglich, wenn die detektierte Szene mit der in der Referenzbibliothek gespeicherten Information übereinstimmt, die einer wiederholten Szene von Interesse oder einer bekannten Szene ohne Interesse entspricht. Falls jedoch die detektierte Szene mit der Information in der Referenzbibliothek nicht (oder nicht vollständig) übereinstimmt, ist die automatische Markenexpositionsüberwachung nicht möglich und die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 geht dann zum manuellen Benutzereingriff über, um einige oder alle Markenidentifizierung in der detektierten Szene zur Berichterstattung über Markenexposition zu identifizieren.
Untersucht man den Betrieb der beispielhaften Markenexpositionsüberwachungsvorrichtung 150 von 1 genauer, ermittelt (z. B. sammelt, berechnet, extrahiert, detektiert, erkennt usw.) die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 Inhaltsidentifikationsinformation (wie z. B. wenigstens eines von einem Audio-Code, einer Audio-Signatur, einem Video-Code, einer Video-Signatur, einem Bildcode, eine Bildsignatur usw.), um den Medienstream 160 in eine Gruppe aufeinanderfolgender Szenen zu unterteilen. So kann beispielsweise die Markenexpositionsüberwachungsvorrichtung 150 detektieren, dass eine Szene des Medienstreams 160 einer Folge benachbarter Videoframes (d. h. Bildframe) entspricht, die im Wesentlichen vergleichbare Charakteristika wie beispielsweise eine Folge von Frames besitzen, welche im Wesentlichen den gleichen Kameraparametern (z. B. Winkel, Höhe, Blende, Brennweite usw.) entsprechen und einen Hintergrund aufweisen, der statistisch stationär ist (z. B. kann der Hintergrund einzelne Komponenten haben, die sich bewegen, jedoch erscheint der gesamte Hintergrund im Durchschnitt relativ unbeweglich). Die Markenexpositionsüberwachungsvorrichtung 150 des dargestellten Beispiels verwendet eine Szenenänderungsdetektion zur Kennzeichnung des Anfangsbildframes und des Endbildframes, die einer Szene entsprechen. Bei einer beispielhaften Implementierung führt die Markenexpositionsüberwachungsvorrichtung 150 die Szenenränderungsdetektion durch, indem eine Bildsignatur für jeden Frame des Media-Streams 160 (möglicherweise nach dem Subsampling) erzeugt wird und dann die Bildsignaturen einer Folge von Frames verglichen wird, um zu ermitteln, wann eine Szenenänderung auftritt. Beispielsweise kann die Markenexpositionsüberwachungsvorrichtung 150, die dem Anfangsbild einer Szene entsprechende Bildsignatur mit den Bildsignaturen eines oder mehrerer dem Anfangsbild folgenden Bildframes vergleichen. Wenn sich die Bildsignatur des Anfangsbilds nicht wesentlich von der Bildsignatur eines nachfolgenden Frames unterscheidet, gilt der nachfolgende Frame als Teil derselben Szene wie das Anfangsbild. Wird jedoch festgestellt, dass sich die Bildsignaturen bedeutsam unterscheiden, dann gilt der nachfolgende, sich unterscheidende Frame als Beginn einer neuen Szene und wird zum ersten Frame dieser neuen Szene. Bei Verwendung eines Beispiels eines Medienstreams 160, der eine Übertragung eines Baseballspiels liefert, tritt eine Szenenänderung ein, wenn beispielsweise das Video von einem Bild des Schlag manns zu einem Bild des äußeren Felds wechselt, nachdem der Schlagmann den Ball erfolgreich getroffen hat.
Nachdem die Szene detektiert ist, ermittelt die Markenexpositionsüberwachungsvorrichtung 150 des dargestellten Beispiels wenigstens einen Schlüsselframe und Schlüssel-Bildsignatur, die für die Szene repräsentativ sind. Zum Beispiel können der/die Schlüsselframe(s) und die Schlüssel-Bildsignatur(en) für Szene als der Frame und die Signatur gewählt werden, die dem ersten Frame in der Szene, dem letzten Frame in der Szene, dem Frame in der Mitte der Szene usw. entsprechen. Bei einem weiteren Beispiel können der/die Schlüsselframe(s) und die Schlüssel-Bildsignatur(en) als Mittelwert und/oder als eine andere statistische Kombination der Frames und/oder Signaturen festgelegt werden, die der detektierten Szene entsprechen.
Zur Senkung der Anforderungen an die Verarbeitung kann die Markenexpositionsüberwachungsvorrichtung 150 eine detektierte Szene unter Umständen ausschließen, bei denen es wahrscheinlich ist, dass die Szene keine Markenidentifizierung (z. B. Logo) enthält. Bei einer beispielhaften Implementierung ist die Markenexpositionsüberwachungsvorrichtung 150 konfiguriert, um Fachwissen, das dem speziellen Typ von bearbeitetem Medieninhalt verwendet, um zu ermitteln, wann eine Szene Charakteristika aufweist, die angeben, dass die Szene keine Markenidentifizierung enthält. Zum Beispiel kann man im Zusammenhang mit Medieninhalt, der der Übertragung eines Baseballspiels entspricht, wissen, dass eine Szene mit einem Hintergrund, der nur den Rasen des Baseballfeldes zeigt, keine Markenidentifizierung enthält. In einem solchen Fall kann die Markenexpositionsüberwachungsvorrichtung 150 eine Szene von der Markenexpositionsüberwachung ausschließen, wenn die Szene Charakteristika einer Szene aufweist, die den Rasen des Baseballfeldes darstellt (z. B. eine Szene mit einer Mehrheit von Pixel, die hauptsächlich grün und dergestalt verteilt sind, dass beispielsweise die oberen und die unteren Bereiche der Szene Regionen aufweisen, in denen grüne Pixel gruppiert sind). Wenn eine detektierte Szene ausgeschlossen wird, dann meldet die Markenexpositionsüberwachungsvorrichtung 150 des dargestellten Beispiels die ausgeschlossene Szene und setzt die Bearbeitung zur Detektion der nächsten Szene des Medienstreams 160 fort.
Nimmt man an, dass eine detektierte Szene nicht ausgeschlossen wird, dann vergleicht die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 die Bildsignatur für die detektierte Szene mit einer oder mehreren (nicht dargestellten) Datenbasen von Referenzsignaturen, die für früher erlernte und/oder bekannte Szenen repräsentativ sind, um zu ermitteln, ob die aktuelle detektierte Szene eine bekannte Szene oder eine neue Szene ist. Falls die aktuelle Szene einer in der Datenbasis/Datenbasen gespeicherten, früher erlernten und/oder bekannten Szene entspricht, erhält die Markenexpositionsüberwachungsvorrichtung 150 Statusinformation für die Szene aus der Datenbasis/den Datenbasen. Wenn die Statusinformation angibt, dass die Szene vorher in der Datenbasis/den Datenbasen als Szene ohne Interesse (z. B. als eine Szene, von der bekannt ist, dass sie keine Markenidentifizierung (z. B. Logos) enthält) gekennzeichnet wurde, wird die Szene als Szene ohne Interesse angezeigt und kann in der Datenbasis/den Datenbasen als erlernte Information gespeichert werden, die zu verwenden ist, um zukünftige Szenen ohne Interesse zu identifizieren. Zum Beispiel und wie unten detaillierter beschrieben, kann eine Szene als Szene ohne Interesse gekennzeichnet werden, wenn sich herausstellt, dass in der Szene keine Markenidentifizierung (z. B. Logos) sichtbar sind. Die Markenexpositionsüberwachungsvorrichtung 150 des dargestellten Beispiels setzt dann die Verarbeitung fort, um die nächste Szene des Medienstreams 160 zu detektieren.
Wird jedoch angegeben, dass die aktuelle Szene eine Szene von Interesse ist, dann ermittelt die Markenexpositionsüberwachungsvorrichtung 150 einen oder mehrere erwartete Interessenbereiche innerhalb der aktuellen Szene, die eine Markenidentifizierung (z. B. ein Logo) enthalten kann, wie weiter unten detailliert diskutiert wird. Die Markenexpositionstüberwachungsvorrichtung 150 verifiziert dann den/die erwartete(n) Interessenbereich(e) mit einer oder mehreren (nicht dargestellten) Datenbasen, in welchen Information gespeichert ist, die repräsentativ für (z. B. früher erlernte und/oder bekannte) Referenzmarkenidentifizierungen (z. B. Logos) ist. Wenn alle erwarteten Interessenbereiche dahingehend verifiziert sind, dass sie entsprechende erwartete Markenidentifizierung enthalten, meldet die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 Exposition gegenüber entsprechenden Markenidentifizierungen.
Falls jedoch die aktuelle Szene keiner (z. B. früher erlernten und/oder bekannten) Referenzszene entspricht und/oder wenigstens ein Interessenbereich nicht einem oder mehreren (z. B. früher erlernten und/oder bekannten) Markenidentifizierungen entspricht, leitet die Markenexpositionsüberwachungsvorrichtung 150 an der GUI 152 eine Sitzung der grafischen Benutzerschnittstelle (GUI) ein. Die GUI 152 ist konfiguriert, um die aktuelle Szene anzuzeigen und den Benutzer 170 aufzufordern, eine Identifizierung der Szene und/oder der in der/den Interessenbereich(en) enthaltenen Markenidentifizierungen bereitzustellen. Für jede automatisch oder über Informationseingabe durch den Benutzer 170 über das GUI 152 erkannte Markenidentifizierung werden entsprechende Daten und/oder Meldungen in einer beispielhaften Markenexpositionsdatenbasis 155 zur nachfolgenden Verarbeitung gespeichert. Nachdem die Szene und/oder die Markenidentifizierung(en) vom Benutzer 170 über das GUI 152 identifiziert worden sind, werden die aktuelle Szene und/oder die Markenidentifizierung(en) in der entsprechenden Datenbasis bzw. Datenbasen gespeichert. Auf diese Weise werden die aktuelle Szene und/oder die Markenidentifizierung(en) zusammen mit entsprechender beschreibender Information von der Markenexpositionsüberwachungsvorrichtung 150 erlernt und können verwendet werden, um zukünftiges Auftreten der Szene und/oder der Markenidentifizierung(en) in dem Medienstream 160 zu detektieren, ohne dabei die Ausgabevorrichtung und/oder das GUI 152 erneut zu verwenden. Eine beispielhafte Weise, die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 von 1 zu implementieren, ist unten in Verbindung mit 2 beschrieben.
Während der Szenen- und/oder Markenidentifizierungserkennung kann die Markenexpositionsüberwachungsvorrichtung 150 dem Benutzer 170 auch entsprechenden Audio-Inhalt bereitstellen, um ferner eine Identifizierung von akustischer Nennung einer Marke zu ermöglichen. Bei Detektion einer akustischen Nennung einer Marke kann der Benutzer 170 dann die akustische Nennung der Markenexpositionsüberwachungsvorrichtung 150 beispielsweise durch Klicken auf ein Symbol auf der GUI 152, durch Eingabe beschreibender Information für die Markenidentifizierung (z. B. Logo) usw. angeben. Darüber hinaus können Schlüsselwörter aus Untertiteln, Bildschirmeinblendungen usw. erfasst und mit der/den detektierten akustischen Nennung(en) der Marke zugeordnet werden. Zusätzlich oder alternativ können von Inhaltprovidern 130 eingefügte Audio-, Bild- und/oder Video-Codes zur Identifizierung von Inhalt zur Identifizierung von Markenidentifizierung verwendet werden. Beispielsweise kann ein Audio-Code für ein Audiosegment des Medienstreams 160 extrahiert und ein Querverweis zu einer Datenbasis von Referenz-Audio-Codes hergestellt werden. Die Audioexposition einer detektieren Markenidentifizierung kann auch in der beispielhaften Markenexpositionsdatenbasis 155 gespeichert werden. Die in der beispielhaften Markenexpositionsdatenbasis 155 gespeicherten akustischen Nennungen können auch Daten enthalten, die die akustische(n) Nennung(en) mit der/den übertragenen Szene(n) verknüpft. Zusätzlich dazu können die identifizierten akustischen Nennungen den Meldungen und/oder Daten hinzugefügt werden, die aus der beispielhaften Markenexpositionsdatenbasis 155 generierte Markenexposition betreffen.
Zur Aufzeichnung von Information (z. B. Bewertungsinformation) bezüglich des Konsums von Medieninhalt durch Publikum, der von dem Medienstream 160 bereitgestellt wird, enthält das beispielhafte System von 1 eine Anzahl und/oder Typ(en) von Zuschauererfassungssystemen, von denen eines in 1 mit dem Bezugszeichen 180 bezeichnet ist. Das beispielhafte Zuschauererfassungssystem 180 von 1 zeichnet Information, die Personen, Beantworter von Befragungen, Haushalte usw. repräsentiert, welche den von den Inhaltprovidern 130 zur Verfügung gestellten und/oder gelieferten Inhalt konsumieren und/oder diesem ausgesetzt sind, auf und/oder speichert sie in einer beispielhaften Zuschauerdatenbasis 185. Die in der beispielhaften Zuschauerdatenbasis 185 gespeicherte Zuschauerinformation bzw. -daten können außerdem mit der in der beispielhaften Markenexpositionsdatenbasis 155 von der Markenexpositionsüberwachungsvorrichtung 150 aufgezeichneten Markenexpositionsinformation/-daten kombiniert werden. Bei dem dargestellten Beispiel wird die kombinierten Zuschauer-/Markenexpositionsinformationen/-daten in einer beispielhaften Zuschauer- und Markenexpositionsdatenbasis 195 gespeichert. Die Kombination von Zuschauerinformationen und/oder -daten und auf Marken beruhender Expositionserfassungsinformation 195 kann beispielsweise zur Ermittlung und/oder zur Schätzung eines oder mehrerer statistischer Werte eingesetzt werden, welche die Anzahl von Personen und/oder Haushalten repräsentieren, die einer oder mehreren Markenidentifizierungen ausgesetzt waren.
2 stellt eine beispielhafte Implementierung der beispielhaften Markenexpositionsüberwachungsvorrichtung 150 von 1 dar. Zur Verarbeitung des Medienstreams 160 von 1 enthält die Markenexpositionsüberwachungsvorrichtung 150 von 2 eine Szenenerkennungsvorrichtung 252. Die beispielhafte Szenenerkennungsvorrichtung 252 von 2 arbeitet, um Szenen zu erkennen, und erzeugt eine oder mehrere Bildsignaturen für jede im Medienstream 160 enthaltene, identifizierte Szene. Bei einer beispielhaften Implementierung enthält der Medienstream 160 einen Video-Stream, der eine Folge von Bildframes mit einer bestimmten Bildfrequenz (z. B. 30 Bilder pro Sekunde) umfasst. Eine Szene entspricht einer Folge von benachbarten Bildframes mit im Wesentlichen gleichen Charakteristika. Beispielsweise entspricht eine Szene einer Folge von Bildern, die mit vergleichbaren Kamera-Parametern (z. B. Winkel, Höhe, Blende, Brennweite) aufgenommen wurden und einen Hintergrund aufweisen, der statistisch stationär ist (z. B. kann der Hintergrund einzelne Komponenten besitzen, die sich bewegen, jedoch erscheint der gesamte Hintergrund im Mittelschnitt relativ stationär). Um eine Szenendetektion durchzuführen, erzeugt die beispielhaf te Szenenerkennungsvorrichtung 252 eine Bildsignatur für jeden Bildframe (möglicherweise nach Unterabtastung (engl.: Subsampling)) bei einer niedrigeren Bildfrequenz). Die beispielhafte Szenenerkennungsvorrichtung vergleicht dann die Bildsignaturen innerhalb einer Folge von Frames mit der/den Schlüsselsignatur(en) einer aktuellen Szene, um zu ermitteln, ob die Bildsignaturen im Wesentlichen gleich oder unterschiedlich sind. Wie oben diskutiert, kann eine aktuelle Szene durch einen oder mehrere Schlüsselframes (z. B. der erste Frame usw.) mit einer oder mehreren entsprechenden Schlüsselsignaturen repräsentiert sein. Wenn die Bildsignaturen der Folge von Frames im Wesentlichen gleich der Schlüsselsignaturen sind, werden die Bildframes als der aktuellen Szene entsprechend betrachtet, und es wird wenigstens eines der Frames in der Folge (z. B. der Anfangsframe, der mittlere Frame, der letzte Frame usw.) als Schlüsselframe verwendet, um die Szene anzugeben. Die dem Schlüsselframe entsprechende Bildsignatur wird dann als die Bildsignatur für die Szene selbst verwendet. Wenn sich jedoch eine einem aktuellen Frame entsprechende aktuelle Bildsignatur ausreichend von der/den Schlüsselframesignatur(en) unterscheidet, wird der der aktuellen Bildsignatur entsprechende aktuelle Frame ermittelt, um den Beginn einer neuen Szene des Medienstreams 160 zu markieren. Zusätzlich wird der jüngste vorhergehende Frame ermittelt, um das Ende der vorhergehenden Szene zu markieren.
Wie die Bildsignaturen zur Ermittlung der Anfangs- und Endframes von Szenen im Medienstreams 160 verglichen werden, hängt von den Eigenschaften der von der Szenenerkennungsvorrichtung 252 implementierten speziellen Bildsignaturmethode ab. Bei einer beispielhaften Implementierung erzeugt die Szenenerkennungsvorrichtung 252 ein Histogramm der Luminanz- (z. B. Y) und Chrominanzkomponenten (z. B. U und V) für jeden Bildframe oder für einen oder mehrere Bereiche jedes Bildes. Dieses Bild-Histogramm wird zur Bildsignatur für den Bildframe. Zum Vergleich der Bildsignaturen zweier Frames führt die beispielhafte Szenenerkennungsvorrichtung 252 einen klassenweisen (engl.: bin-wise) Vergleich der Bild-Histogramme der beiden Frames durch. Die beispielhafte Szenenerkennungsvorrichtung 252 summiert dann die Differenzen für jede Histogramm-Klasse und vergleicht die berechnete Differenz mit einem oder mehreren Grenzwerten. Die Grenzwerte können voreingestellt und/oder programmierbar sein und können zugeschnitten sein, um für einen Ausgleich hinsichtlich eines Kompromisses zwischen Szenegranularitäts- und Verarbeitungsbelastungsanforderungen zu sorgen.
Die Szenenerkennungsvorrichtung 252 des dargestellten Beispiels kann auch einen Szenenausschluss implementieren, um Anforderungen an die Verarbeitung weiter zu senken. Wie oben diskutiert, kann die beispielhafte Szenenerkennungsvorrichtung 252 eine Szene beispielsweise auf der Grundlage vorher erworbenen Fachwissens bezüglich des durch den beispielhaften Medienstream 160 übermittelten Medieninhalts ausschließen. Das Fachwissen, das für den speziellen Typ von verarbeitetem Medieninhalt einzigartig sein kann oder nicht, kann zur Erzeugung einer Bibliothek von Ausschussmerkmalen verwendet werden, welche eine Szene angeben, die keine Markenidentifizierung (z. B. Logos) enthält. Wenn Szenenausschluss implementiert ist, kann die Szenenerkennungsvorrichtung 252 eine detektierte Szene zum Ausschluss kennzeichnen, wenn sie alle oder einige Ausschlussmerkmale besitzt. Beispielsweise kann, wie oben diskutiert, im Zusammenhang von Medieninhalt, der der Übertragung eines Baseballspiels entspricht, eine vor allem durch einen vorwiegend grünlichen Hintergrund charakterisierte Szene für den Ausschluss gekennzeichnet werden, weil die Szene einer Kameraaufnahme entspricht, die den Rasen des Baseballfeldes abbildet. Dies ist vor allem deshalb der Fall, weil es aufgrund des Fachwissens bezüglich übertragener Baseballspiele bekannt ist, dass Kameraaufnahmen des Rasens des Baseballfeldes gelten, wenn überhaupt, anzuzeigende Markenidentifizierung enthalten. Wie oben diskutiert, meldet die beispielhafte Szenenerkennungsvorrichtung 252 des dargestellten Beispiels eine ausgeschlossene Szene und setzt dann die Bearbeitung fort, um die nächste Szene des Medienstreams 160 zu detektieren. Alternativ könnte die beispielhafte Szenenerkennungsvorrichtung 252 die ausgeschlossene Szene einfach verwerfen und die Bearbeitung zur Detektion der nächsten Szene des Medienstreams 160 fortsetzen. Eine beispielhafte Weise der Implementierung der beispielhaften Szenenerkennungsvorrichtung 252 von 2 ist unten in Verbindung mit 3 diskutiert.
Unter der Annahme, dass die detektierte aktuell bearbeitete Szene („aktuelle Szene” genannt) nicht ausgeschlossen wird, beginnt die beispielhafte Szenenerkennungsvorrichtung 252, die Szene in eine der folgenden vier Kategorien zu klassifizieren: eine wiederholte Szene von Interesse, eine wiederholte Szene von geändertem Interesse, eine neue Szene, oder eine neue Szene ohne Interesse. Zum Beispiel ist eine Szene ohne Interesse eine Szene, die keine sichtbare Markenidentifizierung (z. B. Logos) enthaltend bekannt oder früher als solche identifiziert wurde. Eine wiederholte Szene von Interesse ist eine Szene von Interesse, von der bekannt ist, dass sie sichtbare Markenidentifizierung (z. B. Logos) enthält und in der alle sichtbaren Markenidentifizierungen bereits bekannt sind und identifiziert werden können. Eine wiederholte Szene von geändertem Interesse ist eine Szene von Interesse, von der bekannt ist, dass sie sichtbare Markenidentifizierungen (z. B. Logos) enthält und in der einige sichtbare Markenidentifizierungen (z. B. Logos) bereits bekannt sind und identifiziert werden können, andere sichtbare Markenidentifizierungen jedoch unbekannt sind und/oder nicht automatisch identifiziert werden können. Eine neue Szene entspricht einer unbekannten Szene und es ist daher unbekannt, ob die Szene sichtbare Markenidentifizierungen (z. B. Logos) enthält.
Um zu ermitteln, ob die aktuelle Szene eine Szene ohne Interesse oder ob die Szene eine der anderen Szenen von Interesse ist, die sichtbare Markenidentifizierungen enthalten können, vergleicht die beispielhafte Szenenerkennungsvorrichtung 252 die Bildsignatur der Szene mit einer oder mehreren Referenzsignaturen. Die Referenzsignaturen können zu vorbekannten Szeneninformation, die in einer Szenen-Datenbasis 262 gespeichert ist und/oder zu vorbekannten Szeneninformation, die in einer Datenbasis für erlerntes Wissen 264 gespeichert ist, entsprechen. Wenn die Bildsignatur der aktuellen Szene keiner der verfügbaren Referenzsignaturen entspricht, klassifiziert die beispielhafte Szenenerkennungsvorrichtung 252 die Szene als neue Szene. Wenn die Bildsignatur der Szene einer oder mehreren verfügbaren Bildsignaturen entspricht, aber Information, die der/den übereinstimmenden Referenzsignatur(en) zugeordnet ist und in der Szenendatenbasis 262 und/oder der Datenbasis für erlerntes Wissen 264 angibt, dass die Szene keine sichtbaren Markenidentifizierungen enthält, klassifiziert die beispielhafte Szenenerkennungsvorrichtung 252 die Szene als Szene ohne Interesse. Andernfalls wird die Szene von der beispielhaften Szenenerkennungsvorrichtung 252, wie unten diskutiert, entweder als wiederholte Szene von Interesse oder als wiederholte Szene von geändertem Interesse klassifiziert.
In einer bespielhaften Implementierung, die die oben beschriebenen Bild-Histogramme zur Angabe von Bildsignaturen verwendet, könnte ein erster Grenzwert (oder erste Grenzwerte) zur Detektion von Szenen verwendet werden, und ein zweiter Grenzwert (oder zweite Grenzwerte) zur Szenenklassifizierung auf der Grundlage von Vergleichen mit Referenzszenen verwendet werden. Bei einer solchen Implementierung würde(n) der/die erste(n) Grenzwert(e) ein höheres Maß an Ähnlichkeit definieren als der/die zweite(n) Grenzwert(e). Insbesondere würde, wenn der/die erste(n) Grenzwert(e) ein Maß an Ähnlichkeit definieren, bei dem es (wenigstens statistisch) wenig oder keine Änderung zwischen den Bildframes gab, der/die zweite(n) Grenzwert(e) ein Maß an Ähnlichkeit definieren, bei dem beispielsweise einige Bereiche der verglichenen Frames relativ ähnlich sein könnten, während andere Bereiche unterschiedlich sein könnten. Im Zusammenhang mit dem Beispiel des übertragenen Baseballspiels kann eine Folge von Frames, die einen ersten am Homeplate stehenden Schlagmann zeigt, den/die ersten Grenzwert(e) erfüllen, so dass alle Frames der Folge als zur selben Szene gehörig festgelegt werden. Wenn ein zweiter Schlagmann am Homeplate stehend gezeigt wird, kann ein Vergleich des ersten Frames der den zweiten Schlagmann zeigt, mit dem/den Frame(s), welche(s) den ersten Schlagmann zeigt, nicht den/die ersten Grenzwert(e) erfüllen, wobei dadurch der Beginn einer neuen Szene, die den zweiten Schlagmann enthält, identifiziert wird. Da jedoch der Hintergrund hinter dem Homeplate zum Großteil unverändert bleibt, kann ein Vergleich der ersten Szene, die den ersten Schlagmann enthält, mit der zweiten Szene die den zweiten Schlagmann enthält, den/die zweiten Grenzwert(e) erfüllen, was angibt, dass die beiden Szenen als vergleichbare Szenen klassifiziert werden sollten. Bei diesem speziellen Beispiel würde die Szene, die den zweiten Schlagmann enthält, gegenüber der Szene, die den ersten Schlagmann enthält, als wiederholte Szene betrachtet werden.
Die Szenendatenbasis 262 kann unter Verwendung beliebiger Datenstruktur(en) umgesetzt und in einer beliebigen Anzahl und/oder Typ(en) von Speichern und/oder Speichervorrichtungen 260 gespeichert sein. Die Datenbasis für erlerntes Wissen 264 kann unter Verwendung beliebiger Datenstruktur(en) umgesetzt und in einer beliebigen Anzahl und/oder Typ(en) von Speichern und/oder Speichervorrichtungen 260 gespeichert sein. Beispielsweise kann die Szenendatenbasis 262 und/oder die Datenbasis für erlerntes Wissen 264 unter Verwendung von Bitmap-Dateien, einer JPEG-Dateispeicherorten usw. implementiert werden.
Um zu ermitteln, ob eine Szene mit einer Signatur, die einer oder mehreren Referenzsignaturen entspricht, eine wiederholte Szene von Interesse oder eine wiederholte Szene von geändertem Interesse ist, identifiziert die beispielhafte Szenenerkennungsvorrichtung 252 von 2 einen oder mehrere in der betreffenden Szene enthaltenen erwarteten Interessenbereiche auf der Grundlage gespeicherter Information, die Referenzszene(n) zugeordnet ist, die der/den abgeglichenen Referenzsignatur(en) entsprechen. Eine in der beispielhaften Markenexpositionsüberwachungsvorrichtung 150 enthaltene beispielhafte Markenerkennungsvorrichtung 254 (auch bekannt als Logo-Detektor 254) führt dann eine Markenidentifizierungserkennung (auch bekannt als „Logo-Detektion") durch, indem sie die erwartete(n) Interessenbereich(e) mit Information vergleicht und verifiziert, die einem oder mehreren entsprechenden erwarteten Referenzmarkenidentifizierungen entsprechen, die in der Datenbasis für erlerntes Wissen 264 und/oder einer Markenbibliothek 266 gespeichert sind. Beispielsweise kann die Markenerkennungsvorrichtung 254 verifizieren, dass der/die erwartete(n) Markenidentifizierung(en) tatsächlich in dem/den erwarteten Interessenbereich(en) enthalten sind, indem jeder erwartete Interessenbereich im Schlüsselframe der Szene mit bekannten Markenidentifizierungsvorlagen und/oder mit den in der beispielhaften Datenbasis für erlerntes Wissen 264 und/oder einer Markenbibliothek 266 gespeicherten Vorlagen verglichen wird. Die Markenbibliothek 266 kann unter Verwendung beliebiger Datenstruktur(en) implementiert und in einer beliebigen Anzahl und/oder Typ(en) von Speichern und/oder Speichervorrichtung 260 gespeichert werden. Beispielsweise kann die Markenbibliothek 266 die Information in einer relationalen Datenbank, einer Liste von Signaturen, einer Bitmap-Datei usw. speichern. Beispielverfahren zur Erkennung von Markenidentifizierungen (oder Logo-Detektion) sind unten detaillierter diskutiert.
Als nächstes leitet die beispielhafte Markenerkennungsvorrichtung 254 für jeden verifizierten Interessenbereich eine Nachverfolgungsfunktion (engl.: tracking function) ein, um die Inhalte des verifizierten Interessenbereichs für alle in der aktuellen Szene enthaltene tatsächliche Bildframes zu verfolgen. Beispielsweise kann die Nachverfolgungsfunktion einen bestimmten Interessenbereich im Schlüsselframe der aktuellen Szene mit einem oder mehreren entsprechenden Interessenbereichen in jedem der weiteren Frames in der aktuellen Szene vergleichen. Wenn die Nachverfolgungsfunktion feststellt, dass der/die entsprechende(n) erwartete(n) Interessenbereich(e) in allen Bildframes der aktuellen Szene übereinstimmen, klassifiziert die beispielhafte Szenenerkennungsvorrichtung 252 die Szene als wiederholte Szene von Interesse. Falls jedoch wenigstens ein Interessenbereich in wenigstens einem der Bildframes der aktuellen Szene nicht anhand einer entsprechenden erwarteten Referenzmarkenidentifizierung verifiziert werden kann, klassifiziert die Szenenerkennungsvorrichtung 252 die Szene als wiederholte Szene von geändertem Interesse. Die Verarbeitung wiederholter Szenen von geändertem Interesse ist unten eingehender diskutiert. Nach einer Klassifizierung der Szene arbeitet die Szenenerkennungsvorrichtung 252 weiter, um die nächste Szene im Medienstream 160 zu detektieren und zu klassifizieren.
Um für eine Identifizierung unbekannter und/oder nicht identifizierter Markenidentifizierungen, die in neuen Szenen und wiederholten Szenen von geändertem Interesse enthalten sind, zu sorgen, weist die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 von 1 die GUI 152 auf. Die auch in 2 dargestellte beispielhafte GUI 152 zeigt die Szene betreffende Information an und fordert den Benutzer 170 auf, die Identität der Szene und/oder eine oder mehrere mögliche Markenidentifizierungen, die in einem oder mehreren Interessenbereichen enthalten sind, zu identifizieren und/oder zu bestätigen. Die beispielhafte GUI 152 kann mittels eines beliebigen Typs von Ausgabevorrichtungen 270, beispielsweise ein Fernseher (TV), ein Computerbildschirm, ein Monitor usw., angezeigt werden, wenn von der beispielhaften Szenenerkennungsvorrichtung 252 eine neue Szene oder eine wiederholte Szene von geändertem Interesse identifiziert wird. Bei einer beispielhaften Implementierung stoppt die beispielhafte Szenenerkennungsvorrichtung 252 den Medienstream 160 von 1 (d. h. sie hält ihn an), wenn eine Szene als neue Szene oder als wiederholte Szene von geändertem Interesse klassifiziert wird, und dann fordert die GUI 152 den Benutzer 170 zur Identifikation der Szene und/oder zur Identifikation einer oder mehrerer Interessenbereiche und in dem/den identifizierten Interessenbereich(en) vorhandene Markenidentifizierungen auf. Beispielsweise kann die GUI 152 ein leeres Feld anzeigen, um einen vom Benutzer 170 bereitgestellten Szenenamen und/oder Information bezüglich einer Markenidentifizierung zu akzeptieren; ein Pulldown-Menü möglicher Szenenamen und/oder Markenidentifizierungen bereitstellen, einen Szenenamen und/oder eine Markenidentifizierung vorschlagen, der vom Benutzer 170 akzeptiert und/oder überschrieben werden kann, usw. Zur Erzeugung eines Pulldown-Menüs und/oder eines anfänglichen Werts, der vom Benutzer 170 zur Identifikation der Szene und/oder von in dem/den entsprechenden Interessenbereich(en) der Szene enthaltenen Markenidentifizierung in Betracht gezogen werden kann, kann die GUI 152 Daten erhalten, die in der Szenendatenbasis 262, der Datenbasis für erlerntes Wissen 264 und/oder der Markenbibliothek 266 gespeichert sind.
Zur Detektion der Größe und Form einer oder mehrerer in einer Szene enthaltener Interessenbereiche erhält die in 2 dargestellte GUI 152 eine manuelle Eingabe, welche die Erzeugung und/oder die Schätzung der Lage, der Begrenzung und/oder der Größe jedes Interessenbereichs ermöglicht. Beispielsweise könnte die Beispiel-GUI 152 implementiert werden, um dem Benutzer 170 zu ermöglichen, einen gegebenen Interessenbereich beispielsweise durch folgende Maßnahmen zu markieren: (a) Klicken auf eine Ecke des Interessenbereichs und Ziehen des Cursors zu der entferntesten Ecke, (b) Platzierung des Cursors auf jeder Ecke des Interessenbereichs und Klicken, während sich der Cursor in den einzelnen Ecken befindet, (c) Klicken auf eine Stelle im Interessenbereich, wobei die GUI 152 die Größe und/oder die Form schätzt, um den Interessenbereich zu berechnen, usw.
Bestehende Verfahren zur Spezifizierung und/oder Identifizierung von Interessenbereichen in Videoframes beruhen üblicherweise auf von einem Benutzer spezifizierten, manuell markierten Interessenbereichen. Viele manuelle Markierungsverfahren verlangen, dass ein Benutzer sämtliche Eckpunkte eines Polygons, das den gewünschten Interes senbereich begrenzt, sorgfältig markiert oder ansonsten die Ränder einer anderen geschlossenen grafischen Form, die den Interessenbereich begrenzt, sorgfältig zeichnen. Solche manuellen Markierungsverfahren können eine genaue Kontrolle der Motorik und der Koordinierung zwischen Hand und Auge erfordern, was zur Ermüdung führen kann, wenn die Anzahl der zu spezifizierenden Interessenbereiche erheblich ist. Zusätzlich besteht die Wahrscheinlichkeit, dass verschiedene Benutzer Interessenbereiche unter Anwendung bestehender manueller Markierungsverfahren unterschiedlich markiere, was zu einer nicht reproduzierbaren, ungenauen und/oder inkonsistenten Überwachungsleistung aufgrund der Variabilität bei der Spezifizierung von Interessenbereichen für Videoframes führen kann, die dem Inhalt der Übertragung zugeordnet sind, welcher Gegenstand der Überwachung sind.
Bei einem ersten beispielhaften Verfahren zum Markieren von Interessensbereichen, das mittels der beispielhaften GUI 152 implementiert werden kann, stützt sich die GUI 152 auf die manuelle Markierung des Umfangs des Interessenbereichs. Bei diesem ersten beispielhaften Markierungsverfahren nutzt der Benutzer 170 eine Maus (oder eine andere zweckmäßige Eingabevorrichtung), um einen angezeigten Cursor zu jeder Stelle zu bewegen, die die Begrenzung des gewünschten Interessenbereichs markiert. Der Benutzer 170 markiert jede Begrenzungsstelle durch Klicken einer Maustaste. Nachdem alle Begrenzungsstellen markiert sind, verbindet die beispielhafte GUI 152 die markierten Stellen in der Reihenfolge, in der sie markiert wurden, wobei dadurch ein Polygon (wie z. B. ein Rechteck) gebildet wird, das den Interessenbereich definiert. Ein Bereich außerhalb des Polygons wird als außerhalb des Interessenbereichs liegend betrachtet. Wie oben erwähnt, ist ein möglicher Nachteil dieses ersten beispielhaften Verfahrens zur Markierung von Interessenbereichen, dass manuell gezeichnete Polygone ungenau und inkonsistent sein können. Dieser mögliche Mangel an Konsistenz kann speziell problematisch sein, wenn der/die Interessenbereich(e) für eine erste Gruppe von Szenen von einem Benutzer 170 markiert werden und der/die Interessenbereich(e) für eine zweite Gruppe von Szenen von einem anderen Benutzer 170 markiert werden. Beispielsweise können Inkonsistenzen bei Markieren von Interessenbereichen die Genauigkeit oder Zuverlässigkeit von Abgleichalgorithmen/Abgleichmethoden negativ beeinflussen, die auf den markierten Interessenbereichen beruhen.
Bei einem zweiten beispielhaften Verfahren zum Markieren von Interessenbereichen, das mittels der beispielhaften GUI 152 implementiert werden kann, implementiert die GUI 152 einen automatischen und konsistenten Ansatz zur Markierung eines gewünschten Interessenbereichs in einem Typ grafischer Darstellung. Beispielsweise kann dieses zwei te beispielhafte Verfahren zur Markierung von Interessenbereichen für die Markierung eines gewünschten Interessenbereichs in einem Bild, das zum Beispiel einem Videoframe oder einem Standbild entspricht, verwendet werden. Zusätzlich oder alternativ dazu kann das zweite beispielhafte Verfahren zur Markierung von Interessenbereichen für die Markierung eines gewünschten Interessenbereichs in einer Zeichnung, einem Diagramm, einer Folie, einem Poster, einer Tabelle, einem Dokument usw. verwendet werden, welche beispielsweise mittels eines Typs eines computergestützen Zeichen- und/oder Entwurfsanwendung, einer Anwendung zur Textverarbeitung, einer Anwendung zur Erzeugung von Präsentationen usw. erzeugt wurden. Das vorhergehende Beispiel grafischer Darstellungen dient lediglich der Veranschaulichung und ist hinsichtlich der Art der grafischen Präsentationen einschränkend nicht einschränkend gemeint, für die das zweite beispielhafte Verfahren zur Markierung von Interessenbereichen für die Markierung eines gewünschten Interessenbereichs angewendet werden kann.
Bei diesem beispielhaften Verfahren zum automatischen Markieren von Interessenbereichen kann der Benutzer 170 einen gewünschten Interessenbereich ohne Vorgabe oder auf der Grundlage eines gespeicherten und/oder eines früher erstellten Interessenbereichs erstellen, der als Vorlage dient. Eine beispielhafte Folge von Operationen zur Erzeugung eines Interessenbereichs ohne Vorgaben unter Verwendung dieses beispielhaften Verfahrens zur automatischen Markierung von Interessenbereichen ist in 10 dargestellt. Bezug nehmend auf 10 verwendet der Benutzer 170 zur Erzeugung eines Interessenbereichs in einer beispielhaften Szene 1000 ohne Vorgaben eine Maus (oder eine andere geeignete Eingabevorrichtung), um auf eine Stelle innerhalb des gewünschten Interessenbereichs zu klicken, um eine Referenzstelle 1005 zu erzeugen. Sobald die Referenzstelle 1005 markiert ist, ermittelt die beispielhafte GUI 152 einen anfänglichen Bereich 1010 rund um die Referenzstelle 1005, der als Vorlage zur Erzeugung von Interessenbereichen dienen soll, und stellt diesen dar.
Bei einer beispielhaften Implementierung vergleicht das in 10 dargestellte automatische Verfahren zur Markierung von Interessenbereichen für die Erzeugung des anfänglichen Vorlagenbereichs 1010 benachbarte Pixel rekursiv. Beispielsweise werden, beginnend mit der anfänglich ausgewählten Referenzstelle 1005, benachbarte Pixel in den vier Richtungen nach oben, nach unten, nach links und nach rechts verglichen, um zu ermitteln, ob sie mit der Referenzstelle 1005 vergleichbar (z. B. in Luminenz und Chrominanz) sind. Wenn eines dieser vier Pixel vergleichbar ist, bildet jedes dieser vergleichbaren be nachbarten Pixel den Ausgangspunkt für einen weiteren Vergleich in den vier Richtungen nach oben, nach unten, nach links und nach rechts. Dieses Verfahrens setzt sich rekursiv fort, bis keine weiteren vergleichbaren benachbarten Pixel gefunden werden. Werden keine vergleichbare benachbarte Pixel gefunden, wird der anfängliche Vorlagenbereich 1010 als Polygon (z. B. durch Eckpunkte, wie beispielsweise ein durch vier Eckpunkte spezifiziertes Rechteck) oder als Ellipse festgelegt (z. B. durch Haupt- und Nebenachsen spezifiziert), die sämtliche Pixel begrenzen, bei denen rekursiv festgestellt wurde, dass sie mit der anfänglichen Referenzstelle 1005 vergleichbar sind. Bei dem in 10 dargestellten Beispiel entspricht die Referenzstelle 1005 einer Position auf dem (mit dem Bezugszeichen 1015 gekennzeichneten) Buchstaben „X", wie gezeigt. Durch rekursiven Pixel-Vergleich werden alle dunklen Pixel, die der Buchstabe „X" (Bezugszeichen 1015) umfasst, als der Referenzstelle 1005 ähnlich erkannt. Der anfängliche Vorlagenbereich 1010 wird dann als rechteckiger Bereich festgelegt, der alle Pixel begrenzt, für die rekursiv festgestellt wurde, dass sie mit dem Buchstaben „X" (Bezugszeichen 1015) vergleichbar sind.
Das in 10 dargestellte automatische Verfahren zur Markierung von Interessenbereichen kann zur Erzeugung eines einzelnen Interessenbereichs auch automatisch zwei oder mehr anfängliche Vorlagenbereiche miteinander kombinieren. Bei dem veranschaulichten Beispiel in 10 führt, wie oben beschrieben, eine Wahl der Referenzstelle 1005 dazu, dass der anfängliche Vorlagenbereich 1010 als Begrenzung aller Pixel festgelegt wird, für die rekursiv festgestellt wurde, dass sie dem Buchstaben „X" (Bezugszeichen 1015) vergleichbar sind. Als nächstes würde, wenn die Auswahl der Referenzstelle 1020 gewählt wurde, ein zweiter anfänglicher Vorlagenbereich 1025 als alle Pixel begrenzend ermittelt werden, für die rekursiv festgestellt wurde, dass sie dem (mit dem Bezugszeichen 1030 gekennzeichneten) Buchstaben „Y" vergleichbar sind. Nach Ermittlung der ersten und zweiten anfänglichen Vorlagenbereiche 1010 und 1025 auf der Grundlage der entsprechenden ersten und zweiten Referenzstellen 1005 und 1020 könnte ein kombinierter Interessenbereich 1035 festgelegt werden. Beispielsweise kann der kombinierte Interessenbereich 1035 als Polygon (z. B. als Rechteck) oder als Ellipse festgelegt werden, die sämtliche Pixel in den ersten und zweiten anfänglichen Vorlagenbereichen 1010 und 1025 begrenzen. Allgemeiner, die Vereinigung einiger oder aller aus zugeordneten Referenzstellen erzeugten anfänglichen Vorlagenbereiche kann verwendet werden, um eine Begrenzungsform, beispielsweise ein Polygon, eine Ellipse usw. zu bilden. Jede Stelle innerhalb der Begrenzungsform wird dann als Teil des erzeugten Interessenbereichs betrachtet und kann zum Beispiel als Markenidentifizierungsvorlage dienen.
Zusätzlich oder alternativ kann eine Gruppe von Hilfswerkzeugen eingesetzt werden zur Veränderung beispielsweise den Vorlagenbereich 1010 auf regelmäßige und präzise Art und Weise durch vom Benutzer 170 nachfolgend gelieferte Eingabebefehle zu modifizieren. Der Benutzer 170 kann beispielsweise, statt wie oben beschrieben Zusammenlegung den anfänglichen Vorlagenbereich 1010 mit dem zweiten Vorlagenbereich 1025 zu kombinieren, auf eine zweite Stelle 1050 außerhalb des schraffierten Vorlagenbereichs 1010 klicken, um zu bewirken, dass der Vorlagenbereich 1010 bis zu der gewählten zweiten Stelle 1050 wachst. Das Ergebnis ist ein neuer Vorlagenbereich 1055. Auf vergleichbare Weise kann der Benutzer 170 auf eine (nicht dargestellte) dritten Stelle innerhalb des schraffierten Vorlagenbereichs 1010 klicken, um zu bewirken, dass der Vorlagenbereich 1010 bis zu der ausgewählten dritten Stelle schrumpft.
Darüber hinaus kann der Benutzer auf eine weitere Gruppe Hilfswerkzeuge zugreifen, im aktuellen Vorlagenbereich (z. B. den Vorlagenbereich 1010) auf mehrere Arten als lediglich durch einfaches Verkleinern oder Vergrößern des Vorlagenbereichs bezüglich einer ausgewählten Stelle zu modifizieren. Bei dem dargestellten Beispiel war das Hilfswerkzeug, das zur Modifikation des Vorlagenbereichs 1010, damit er zum Vorlagenbereich 1055 wird, verwendet wurde, ein GROW_TO_POINT Hilfswerkzeug. Weitere Beispiele von Hilfswerkzeugen umfassen ein GROW_ONE_STEP Hilfswerkzeug, ein GROW_ONE_DIRECTIONAL_STEP Hilfswerkzeug, ein GROW_TO_POINT_DIRECTIONAL Hilfswerkzeug und ein UNDO Hilfswerkzeug usw. Bei dem dargestellten Beispiel würde ein Klick auf die ausgewählte Stelle 1050 bei aktiviertem GROW_ONE_STEP Hilfswerkzeug dazu führen, dass sich der Vorlagenbereich 1010 um nur einen Auflösungsschritt vergrößert, um zum neuen Vorlagenbereich 1060 zu werden. Wäre jedoch das GROW_ONE_DIRECTIONAL_STEP Hilfswerkzeug aktiviert, dann würde sich der Vorlagenbereich 1010 um einen Auflösungsschritt nur in Richtung der ausgewählten Stelle 1015 vergrößern, um zum neuen Vorlagenbereich 1065 zu werden (der dem gesamten in 10 abgebildeten dunklen schraffierten Bereich entspricht). Wenn ein GROW_TO_POINT_DIRECTIONAL Hilfswerkzeug aktiviert wäre (Beispiel nicht dargestellt), würde sich der Vorlagenbereich 1010 bis zu der ausgewählten Stelle vergrößern, jedoch nur in Richtung der ausgewählten Stelle. Im Fall der DIRECTIONAL Hilfswerkzeuge bestimmt das Hilfswerkzeug Seite, Rand usw. des der gewählten Stelle nächsten Anfangsvor lagenbereichs, um die Ausdehnungsrichtung des Vorlagenbereichs zu bestimmen. Zusätzlich können weitere Hilfswerkzeuge verwendet werden, um Typ, Größe, Farbe usw. der Form/Polygons (z. B. ein Rechteck) zu wählen, die verwendet wird, um den anfänglichen Vorlagenbereich zu erzeugen, um die Schrittgröße der Auflösung zu spezifizieren, usw. Zwar sind die Hilfswerkzeuge mit dem Begriff „GROW" bezeichnet und zeigen die dargestellten Beispiele, dass diese Hilfswerkzeuge den Vorlagenbereich 1010 erweitern. Diese Werkzeuge können jedoch auch bewirken, dass der Vorlagenbereich 1010 auf entsprechende Weise schrumpft, indem eine Stelle innerhalb statt außerhalb des beispielhaften Vorlagenbereichs 1010 gewählt wird. Als solche können die hier beschriebenen Hilfswerkzeuge bewirken, dass ein Anfangsvorlagenbereich durch Ausdehnung oder Schrumpfung wächst, je nachdem, ob eine Stelle außerhalb bzw. innerhalb des Vorlagenbereichs gewählt wird.
Wie oben erwähnt, kann der Benutzer 170 das beispielhafte Verfahren zur automatischen Erzeugung von Interessenbereichen auch zur Erzeugung eines gewünschten Interessenbereichs auf der Grundlage eines als Vorlage dienenden gespeicherten und/oder früher erstellten Interessenbereichs (z. B. eines Referenz-Interessenbereichs) einsetzen. Zur Schaffung eines Interessenbereichs mithilfe eines gespeicherten und/oder früher erstellten Interessenbereichs benutzt der Benutzer 170 eine Maus (oder eine andere geeignete Eingabevorrichtung) zur Wahl einer Referenzstelle ungefähr im Zentrum des gewünschten Interessenbereichs. Alternativ kann der Benutzer 170 zur Definition einer Begrenzung um den gewünschten Interessenbereich herum mehrere Referenzstellen markieren. Um anzugeben, dass die beispielhafte GUI 152 einen Interessenbereich nicht ohne Vorgabe neu sondern vielmehr aus einem gespeicherten und/oder früher erstellten Interessenbereichen erstellen soll, kann der Benutzer 170 vor der Wahl er Referenzstelle(n) eine andere Maustaste (oder eine Eingabeauswahl an der Eingabevorrichtung) benutzen und/oder eine vorher festgelegte Taste drücken, vor der Auswahl der Referenzstelle eine Suchtaste auf der Grafikanzeige drücken usw. Nach Auswahl der Referenzstelle verwendet die beispielhafte GUI 152 zum Abgleich (engl.: matching) eines der/den ausgewählten Referenzstell(en) zugeordneten Bereichs mit einem oder mehreren gespeicherten und/oder früher erstellten Interessenbereichen ein geeignetes Vorlagenabgleichverfahren (wie z. B. das unten beschriebene Verfahren zum Vorlagenabgleich mittels normalisierter Kreuzkorrelation). Die GUI 152 zeigt dann den gespeicherten und/oder früher erstellten Interessenbereich an, der dem der/den ausgewählten Referenzstelle(n) zugeordneten Bereich am besten entspricht. Der Benutzer 170 kann dann den ausgegebenen Bereich annehmen oder den Bereich unter Zuhilfenahme der oben im Zusammenhang mit der vorgabenfreien Erzeugung eines Interessenbereichs beschriebenen Hilfswerkzeuge modifizieren.
In einigen Fallen kann ein Benutzer 170 verlangen, einen verdeckten Teil eines gewünschten Interessenbereichs anzuschließen, weil beispielsweise ein Objekt dergestalt positioniert ist, dass es eine oder mehrere im Interessenbereich enthaltene Markenidentifizierung(en) (z. B. Logos) teilweise verdeckt. Beispielsweise kann im Kontext der Präsentation von Medieninhalt eines Baseballspiels eine Markenidentifizierung in einem Interessenbereich ein Schild oder eine andere Werbung sein, die hinter dem Homeplate positioniert ist, die vom Schlagmann teilweise verdeckt wird. In Situationen wie diesen kann es angenehmer sein, zunächst einen größeren Interessenbereich (z. B. den dem gesamten Schild oder anderen Werbung entsprechenden Bereich) zu spezifizieren und dann den verdeckten Teil des größeren Bereichs (z. B. den dem Schlagmann entsprechenden Teil) zur Erzeugung des endgültigen gewünschten Interessenbereichs auszuschließen. Um einen solchen Ausschluss eines Bereichs durchzuführen, kann der Benutzer 170 ein EXCLUSION MARK-UP Hilfswerkzeug zur Erzeugung eines neuen Bereichs verwenden, der einem Interessenbereich überlagert wird (z. B. unter Verwendung mit einer anderen Farbe, Schattierung usw.), der ursprünglich ohne Vorgabe oder aus einem gespeicherten und/oder früher erzeugten Interessenbereich erzeugt wurde. Darüber hinaus können zur Modifizierung von Größe und/oder Form des darüber gelagerten Bereichs die bereits oben beschriebenen Hilfswerkzeuge (wie die Hilfswerkzeuge GROW_TO_POINT, GROW_ONE_STEP, GROWONEDIRECTIONAL_STEP usw.) verwendet werden. Wenn der Benutzer 170 mit dem darüber gelegten Bereich zufrieden ist, schließt die GUI 152 den darüber gelegten Bereich (der beispielsweise dem verdeckten Bereich entspricht) aus dem ursprünglich erzeugten Interessenbereich aus und bildet den endgültigen gewünschten Interessenbereich.
Zurückverweisend auf 2, sobald die Information für die aktuelle Szene, den/die Interessenbereich(e) und/oder die darin enthaltenen Markenidentifizierung über die GUI 152 für eine neue Szene oder eine wiederholte Szene von geändertem Interesse zur Verfügung gestellt wurden, aktualisiert die beispielhafte GUI 152 die beispielhafte Datenbasis für erlerntes Wissen 264 beispielsweise mit den Markenidentifizierungen (z. B. Logos), Identität(en), Stelle(n), Größe(n), Ausrichtung(en) usw. betreffender Information. Die sich daraus ergebende aktualisierte Information kann anschließend zum Vergleich mit einer anderen im Medienstream 160 von 1 detektierten, identifizierten Szene und/oder mit einer in einem oder mehreren anderen Medienstreams enthaltenen Szene verwendet werden. Darüber hinaus und wie oben diskutiert, wird dann für jeden neu markierten Interessenbereich eine Verfolgungsfunktion eingeleitet. Die Verfolgungsfunktion verwendet den markierten Interessenbereich als Vorlage, um den entsprechenden Interessenbereich in den benachbarten Bildframes zu verfolgen, die die aktuelle detektierte Szene umfassen. Insbesondere ermittelt eine beispielhafte Verfolgungsfunktion, wie sich ein in einem Schlüsselframe einer Szene markierter Interessenbereich über die benachbarten Frames hinweg, die die Szene umfassen, ändern kann (z. B. in Anordnung, Größe, Ausrichtung usw.). Parameter, welche den Interessenbereich beschreiben und wie er sich (wenn überhaupt) im Laufe der Szene ändert, werden verändert, um eine Expositionserfassung für im Interessenbereich befindliche Markenidentifizierung(en) zu erreichen sowie um die beispielhafte Datenbasis für erlerntes Wissen 264 mit Information zu aktualisieren, die betrifft, wie die im Interessenbereich enthaltene Markenidentifizierung(en) in nachfolgenden Szenen auftreten kann.
Ferner kann, wenn der markierte Interessenbereich einen ausgeschlossenen Bereich enthält, der einen verdeckten Teil eines größeren Interessenbereichs darstellt (z. B. ein mithilfe des oben beschriebenen EXCLUSION MARK-UP Hilfswerkzeugs markierten ausgeschlossener Bereich), die beispielhafte Verfolgungsfunktion konfiguriert sein, um den ausgeschlossenen Bereich separat zu verfolgen, um zu ermitteln, ob sich der durch den ausgeschlossenen Bereich dargestellte verdeckte Bereich in den benachbarten Frames ändert und/oder verkleinert (z. B. teilweise oder gänzlich entfernt wird). Beispielsweise kann die Verfolgungsfunktion ein geeignetes Bildvergleichsverfahren anwenden, um zu ermitteln, ob sich wenigstens Teile des markierten Interessenbereichs und wenigstens Teile des ausgeschlossenen Interessenbereichs einander ähnlich geworden sind, um zu ermitteln, ob sich der verdeckte Bereich geändert und/oder verkleinert hat. Wenn sich der verdeckte Bereich in den benachbarten Frames ändert und/oder verkleinert, kann die Verfolgungsfunktion den markierten Interessenbereich mit dem/den nicht verdeckten Teil(en) des ausgeschlossenen Bereichs kombinieren, um einen neuen zusammengesetzten Interessenbereich und/oder eine zusammengesetzte Markenidentifizierungsvorlage (unten beschrieben) zur Verwendung bei der Erkennung von Markenidentifizierung zu erhalten. Als nächstes startet die beispielhafte Szenenerkennungsvorrichtung 252 den Medienstream 160 von 1 erneut, um die Untersuchung der Markenidentifizierungsexposition im Medienstream 160 von 1 fortzusetzen.
Wie oben diskutiert, enthält die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 von 2 die Markenerkennungsvorrichtung 254 (auch bekannt als der Logo-Detektor 254) zur Erkennung eines in einer Szene erscheinenden Markenidentifizierung (z. B. Logos) und zur Erfassung von Information bezüglich der Markenidentifizierung. Die beispielhafte Markenerkennungsvorrichtung 254 von 2 ermittelt alle in der Szene erscheinenden Markenidentifizierungen. Beispielsweise kann die Markenerkennungsvorrichtung 254 Markenidentifizierungen in einer aktuellen Szene von Interesse durch Vergleich des/der Interessenbereich(e) mit einem oder mehreren Referenzmarkenidentifizierungen (z. B. ein oder mehrerer Referenz-Logos), die in der Datenbasis für erlerntes Wissen 264 gespeichert sind, und/oder mit in der Markenbibliothek 266 gespeicherten bekannten Markenidentifizierungen erkennen. Die Referenzmarkenidentifizierungsinformation kann unter Verwendung einer Datenstruktur(en) in der Markenbibliothek 266 und/oder der Datenbasis für erlerntes Wissen 264 gespeichert werden. Beispielsweise kann die Markenbibliothek 266 und/oder die Datenbasis für erlerntes Wissen 264 die Referenzmarkenidentifizierungsinformation unter Verwendung von Bitmap-Dateien, einer Sammlung von JPEG-Dateien usw. speichern.
Zur Verringerung der Verarbeitungsanforderungen und zur Verbesserung der Erkennungseffizienz dergestalt, dass beispielsweise Markenidentifizierungen in Echtzeit erkannt werden können, verwendet die beispielhafte Markenerkennungsvorrichtung 254 bekannte und/oder erlernte Information, um die aktuelle Szene lediglich hinsichtlich der Referenzmarkenidentifizierungen zu untersuchen, deren Auftreten in der Szene erwartet wird. Wenn es sich beispielsweise bei der aktuellen Szene um eine wiederholte Szene von Interesse handelt, die einer Referenzszene (beispielsweise eine früher erlernte oder bekannte) entspricht, kann die beispielhafte Markenerkennungsvorrichtung 254 gespeicherte Information bezüglich der abgeglichenen Referenzszene benutzen, um den/die Interessenbereich(e) und dazugehörige Markenidentifizierung(en) zu ermitteln, deren Auftreten in der aktuellen Szene erwartet wird. Daneben kann die beispielhafte Markenerkennungsvorrichtung 254 die in einer Szene auftretenden erkannten Markenidentifizierung über die einzelnen Bildframes verfolgen, die die Szene umfassen, um zusätzliche Markenidentifizierungsparameter und/oder zusammengesetzte Markenidentifizierungsschablonen (wie oben diskutiert) zu ermitteln, um bei der zukünftigen Erkennung von Markenidentifizierungen beizutragen, um für genauere Berichte über Markenexposition zu sorgen usw.
Bei einer beispielhaften Implementierung führt die Markenerkennungsvorrichtung 254 zum Vergleich eines Interessenbereichs in der aktuellen Szene mit einer oder mehreren der passenden Referenzszene zugeordneten Referenzmarkenidentifizierungen (z. B. ein oder mehrere Referenz-Logos) einen Vorlagenabgleich (engl.: template matching) durch. Wenn beispielsweise ein Benutzer zuerst eine Markenidentifizierung (z. B. ein Logo) in einer detektierten Szene (zum Beispiel eine neue Szene) markiert, stellt der markierte Bereich einen Interessenbereich dar. Ausgehend von diesem markierten Interessenbereich werden Vorlagen unterschiedlicher Größen, Perspektiven usw. erstellt, die Referenzmarkenidentifizierungen für die resultierende Referenzszene sind. Darüber hinaus können durch die oben diskutierte beispielhafte Verfolgungsfunktion zusammengesetzte Vorlagen für Referenzmarkenidentifizierungen aus benachbarten Frames gebildet werden, die einen ausgeschlossenen Interessenbereich enthalten, der einen verdeckten Bereich angibt, der sich ändert und/oder verkleinert. Anschließend wird für eine neue detektierte Szene ein Vorlagenabgleich hinsichtlich der der passenden Referenzszene zugeordneten verschiedenen erwarteten Referenzmarkenidentifizierung(en) vorgenommen, um möglichen (und erwarteten) perspektivischen Unterschieden (z. B. unterschiedliche Aufnahmewinkel, Zoom usw.) zwischen einer Referenzmarkenidentifizierung und deren tatsächlicher Erscheinung in der aktuellen detektierten Szene Rechnung zu tragen. Beispielsweise kann eine bestimmte Referenzmarkenidentifizierung vor dem Vorlagenabgleich mit dem Interessenbereich in der aktuellen detektierten Szene von der Hälfte ihrer Größe bis zur doppelten Größe in vorher festgelegten Schritten skaliert werden. Zusätzlich oder alternativ kann die Ausrichtung der spezifischen Referenzmarkenidentifizierung vor dem Vorlagenabgleich mit dem Interessenbereich in der aktuellen detektierten Szene über beispielsweise in vorher festgelegten Schritten –30 Grad bis +30 Grad geändert werden. Darüber hinaus kann der Vorlagenabgleich, wie er mittels der beispielhaften Markenerkennungsvorrichtung 254 implementiert ist, auf einem Vergleich der Luminanzwerte, Chrominanz oder einer Kombination derselben für den/die Interessenbereich(e) und die Referenzmarkenidentifizierungen beruhen.
Ein beispielhaftes Vorlagenabgleichsverfahren, das mittels der beispielhaften Markenerkennungsvorrichtung 254 zum Vergleich eines Interessenbereichs mit den skalierten Version und/oder unterschiedlichen Ausrichtungen der Referenzmarkenidentifizierungen implementiert sein kann, ist in der Veröffentlichung „Fast Normalized Cross Correlation" von J. P. Lewis beschrieben, die unter http://www.idiom.com/–zillalWork/nvisionlnterface/nip.pdf (abgerufenen am 24. Oktober 2007) zur Verfügung steht, die eingereicht und in Gänze durch Bezugnahme hier aufgenommen wird. Bei einer beispielhaften Implementierung, die auf dem von Lewis diskutierten Vorlagenabgleichsverfahren beruht, berechnet die beispielhafte Markenerkennungsvorrich tung 254 die normalisierte Kreuzkorrelation (z. B. auf der Basis von Luminanz- und/oder Chrominanzwerten) des Interessenbereichs mit jeder Vorlage, die eine bestimmten Referenzmarkenidentifizierung angibt, die eine spezielle Skalierung und Ausrichtung aufweist. Die größte normalisierte Kreuzkorrelation für alle Vorlagen, die für alle verschiedenen Skalierungen und Ausrichtungen sämtlicher verschiedener Markenidentifizierungen von Interesse repräsentativ sind, wird ein Abgleich bzw. Treffer zugewiesen, sofern die Korrelation einen Grenzwert überschreitet. Wie in Lewis dargelegt, zählen zu den Vorteilen der Implementierung normalisierter Kreuzkorrelation Unempfindlichkeit gegen Schwankungen der Amplitude im Interessenbereich, Unempfindlichkeit gegen Rauschen usw. Darüber hinaus kann eine solche beispielhafte Implementierung der beispielhaften Markenerkennungsvorrichtung 254 unter Verwendung von Fourier-Transformationen und fortlaufenden Summen, wie in Lewis diskutiert, implementiert werden zur Senkung der Verarbeitungsanforderungen gegenüber einer räumlichen Implementierung der normalisierten Kreuzkorrelation.
Zur Meldung von Erfassung von und anderer Information über im Medienstream 160 erkannten und/oder detektierten Markenidentifizierungen (z. B. Logos) enthält die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 von 2 einen Berichtsgenerator 256. Der beispielhafte Berichtsgenerator 256 von 2 sammelt die von der Markenerkennungsvorrichtung 254 detektierten Markenidentifizierungen zusammen mit den dazugehörigen Erscheinungsbild-Parametern usw., ordnet die Information und erzeugt einen Bericht. Dieser Bericht kann mithilfe verschiedener Verfahren, beispielsweise durch Ausdruck auf Papier, Erzeugung oder Aktualisierung einer Computerdatei, Aktualisierung einer Datenbasis, Erzeugung einer Anzeige, Versand einer E-Mail usw. ausgegeben werden.
Auch wenn in 2 eine beispielhafte Weise zur Implementierung der beispielhaften Markenexpositionsüberwachungsvorrichtung 150 von 1 dargestellt ist, können jedoch einige oder alle in 2 dargestellten Elemente, Verfahren und/oder Vorrichtungen auf beliebige Art und Weise kombiniert, unterteilt, neu angeordnet, weggelassen, eliminiert und/oder implementiert werden. Darüber hinaus können die beispielhafte Szenenerkennungsvorrichtung 252, die beispielhafte Markenerkennungsvorrichtung 254, die beispielhafte GUI 152, der beispielhafte Massenspeicher 260, die beispielhafte Szenendatenbasis 262, die beispielhafte Datenbasis für erlerntes Wissen 264, die beispielhafte Markenbibliothek 266, der Berichtsgenerator 256, und/oder allgemeiner die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 mittels Hardware, Software, Firmware und/oder einer Kombination von Hardware, Software und/oder Firmware implementiert werden. Beispiels weise könnte jede der beispielhaften Szenenerkennungsvorrichtung 252, die beispielhafte Markenerkennungsvorrichtung 254, der beispielhafte GUI 152, des beispielhaften Massenspeichers 260, der beispielhaften Szenendatenbasis 262, der beispielhaften Datenbasis für erlerntes Wissen 264, der beispielhaften Markenbibliothek 266, des Berichtsgenerators 256 und/oder allgemeiner, die beispielhafte Markenexpositionsüberwachungsvorrichtung 150 durch einen oder mehrere Schaltkreise, programmierbare(r) Prozessor(en), anwendungsspezifische(r) integrierte Schaltkreis(e) (ASIC(s)), programmierbarer Logikvorrichtung(en) (Programmable Logic Device(s) (PLD(s)) und/oder anwenderprogrammierbare(r) Logikvorrichtung(en) (Field Programmable Logic Device(s) (FPLD(s)) usw. implementiert werden. Wenn einer der beigefügten Ansprüche so aufgefasst wird, als ob er eine reine Software-Implementierung abdeckt, wird hierdurch ausdrücklich definiert, dass wenigstens eine der beispielhaften Markenexpositionsüberwachungsvorrichtung 150, der beispielhaften Szenenerkennungsvorrichtung 252, der beispielhaften Markenerkennungsvorrichtung 254, der beispielhaften GUI 152, des beispielhaften Massenspeichers 260, der beispielhaften Szenendatenbasis 262, der beispielhaften Datenbasis für erlerntes Wissen 264, der beispielhaften Markenbibliothek 266 und/oder des Berichtsgenerators 256 ein körperliches Medium umfasst, wie ein Speicher, Digital Versatile Disk (DVD), Compact Disk (CD) usw. Darüber hinaus kann die beispielhafte Markenexpositionsüberwachungsvorrichtung 150, anstelle derjenigen oder neben denjenigen in 2 dargestellten, ein oder mehrere Elemente, Verfahren und/oder Vorrichtungen umfassen und/oder kann mehr als einen oder alle dargestellten Verfahren und/oder Vorrichtungen umfassen.
Eine beispielhafte Implementierung, die beispielhafte Szenenerkennungsvorrichtung 252 von 2 zu implementieren, ist in 3 dargestellt. Die beispielhafte Szenenerkennungsvorrichtung 252 von 3 umfasst einen Signaturgenerator 352 zur Erzeugung einer oder mehrerer Bildsignaturen für jeden beispielsweise im Medienstream 160 enthaltenen Frame (möglicherweise nach dem Unterabtastung/Subsampling). Die eine oder mehrere Signaturen werden dann zur Szenenidentifizierung und/oder Detektion von Szenenänderungen verwendet. Bei dem dargestellten Beispiel erzeugt der Signaturgenerator 252 eine Bildsignatur für einen im Medienstream 160 enthaltenen Bildframe durch Erzeugung eines Bild-Histogramms der in dem Bildframe enthaltenen Luminanz- und/oder Chrominanzwerte.
Zur Implementierung der oben diskutierten Szenenidentifizierung und Detektion von Szenenänderungen umfasst die beispielhafte Szenenerkennungsvorrichtung 252 von
3 einen Szenendetektor 354. Der beispielhafte Szenendetektor 354 des dargestellten Beispiels detektiert Szenen im Medienstream 160 durch Vergleich aufeinander folgender Bildframes mit einem Anfangsframe, der eine aktuelle detektierte Szene angibt. Wie oben diskutiert, werden aufeinander folgende Bildframes, die vergleichbare Bildsignaturen aufweisen, gruppiert, um eine Szene zu bilden. Ein oder mehrere Bilder und deren zugeordneter Signaturen werden dann zur Bildung des/der Schlüsselframe(s) und der zugeordneten Schlüsselsignatur(en) für den detektierten Frame verwendet. Im dargestellten Beispiel vergleicht der beispielhafte Szenendetektor 354 zur Detektion einer Szene durch Ermittlung, ob eine Szenenänderung eingetreten ist, die für einen aktuellen Bildframe erzeugte Bildsignatur mit der Bildsignatur des Anfangsframes (oder des geeigneten Schlüsselframes) der aktuell detektierten Szene. Falls die generierte Bildsignatur für den aktuellen Bildframe mit der Bildsignatur des Anfangsframes (oder Schlüsselframes) ausreichende ähnlich ist (z. B. wenn zwischen aufeinanderfolgenden Frames im Medienstream 160 nur vernachlässigbare Bewegungen aufgetreten sind, wenn die Kamera-Parameter im Wesentlichen gleich sind und die Hintergründe statistisch stationär sind usw.), schließt der beispielhafte Szenendetektor 354 den aktuellen Bildframe in die aktuelle detektierte Szene ein und der nächste Frame wird dann untersucht, indem mit dem Anfangsframe (oder Schlüsselframe) der Szene verglichen wird. Wenn jedoch der Szenendetektor 354 eine bedeutsame Veränderung zwischen den Bildsignaturen detektiert (z. B. beim Beispiel einer Präsentation eines Baseballspiels, wenn ein Schlagmann im vorhergehenden Frame durch einen Außenfeldspieler im aktuellen Bildframe des Medienstreams 160 ersetzt wird), identifiziert der beispielhafte Szenendetektor 354 den aktuellen Imageframe als Beginn einer neuen Szene, speichert den aktuellen Bildframe als Anfangsframe (und/oder Schlüsselframe) für diese neue Szene und speichert die Bildsignatur für den aktuellen Imageframe zur Verwendung als Anfangsbildsignatur (und/oder Schlüssel-Bildsignatur) für diese neue Szene. Der beispielhafte Szenendetektor markiert dann den unmittelbar vorherigen Frame als den Endframe der aktuellen Szene und ermittelt einen oder mehrere Schlüsselframes und zugeordnete Schlüssel-Bildsignatur(en), in die aktuelle Szene anzugeben. Wie oben diskutiert, können der Schlüsselframe und die Schlüssel-Bildsignatur für die aktuelle Szene so gewählt sein, dass sie zum Beispiel der Frame und die Signatur sind, die dem ersten Frame in der Szene, dem letzten Frame in der Szene, dem mittleren Frame in der Szene usw. entsprechen. Bei einem weiteren Beispiel können der Schlüsselframe und die Schlüssel-Bildsignatur als Mittelwert und/oder eine andere statistische Kombina tion der Frames und/oder Signaturen festgelegt werden, die der detektierten Szene entsprechen. Die aktuelle Szene ist dann zur Szenenklassifizierung bereit.
Die beispielhafte Szenenerkennungsvorrichtung 252 von 3 umfasst auch eine Szenenausschlussvorrichtung 355, mit der bestimmte detektierte Szenen von der Markenexpositionsbearbeitung ausgeschlossen werden können. Wie oben diskutiert, kann eine detektierte Szene ausgeschlossen werden, wenn es den Umständen nach wahrscheinlich ist, dass die Szene keine Markenidentifizierungen (z. B. Logos) enthält. Bei einer Implementierung ist die Szenenausschlussvorrichtung 355 konfiguriert, dem speziellen Typ von verarbeiteten Medieninhalt entsprechende Fachkenntnis verwendet, um zu ermitteln, warm eine detektierte Szene Charakteristika aufweist, die darauf hinweisen, dass die Szene keine Markenidentifizierungen enthält. Wenn eine detektierte Szene ausgeschlossen wird, ruft die Szenenausschlussvorrichtung 355 des dargestellten Beispiels den Berichtsgenerator 256 von 2 auf, um die ausgeschlossene Szene anzuzeigen.
Zur Kategorisierung einer nicht ausgeschlossenen detektierten Szene umfasst die beispielhafte Szenenerkennungsvorrichtung 252 von 2 eine Szenenklassifizierungsvorrichtung 356. Die beispielhafte Szenenklassifizierungsvorrichtung 356 vergleicht die (als aktuelle Szene bezeichnete) aktuelle detektierte Szene mit einer oder mehreren Referenzszenen (z. B. früher erlernte und/oder bekannte Szenen), die in der Szenendatenbasis 262 und/oder in der Datenbasis für erlerntes Wissen 264 gespeichert sind. Beispielsweise kann die Szenenklassifizierungsvorrichtung 356 eine Bildsignatur, die für die aktuelle Szene repräsentativ ist, mit einer oder mehreren Referenz-Bildsignaturen vergleichen, welche für eine oder mehrere entsprechende Referenzszenen repräsentativ sind. Auf der Grundlage der Vergleichsergebnisse klassifiziert die beispielhafte Szenenklassifizierungsvorrichtung 356 die aktuelle Szene in eine der folgenden vier Kategorien: eine wiederholte Szene von Interesse, eine wiederholte Szene von geändertem Interesse, eine neue Szene, oder eine Szene ohne Interesse. Wenn beispielsweise die Bildsignatur der aktuellen Szene der Bildsignatur einer Referenzszene nicht entspricht, klassifiziert die beispielhafte Szenenklassifizierungsvorrichtung 356 die Szene als neue Szene und zeigt die aktuelle Szene über die Ausgabevorrichtung 270 in 2 an. So wird beispielsweise eine Benutzeraufforderung über die GUI 152 angezeigt, um den Benutzer 170 auf die Notwendigkeit der Identifizierung der Szene aufmerksam zu machen.
Entspricht jedoch die Bildsignatur der aktuellen Szene der Bildsignatur einer Referenzszene, und wurde die entsprechende Referenzszene bereits als Szene ohne Interesse markiert, wird die die aktuelle Szene beschreibende Information (z. B. Schlüsselframe, Schlüsselsignatur usw.) zur Benutzung bei der Detektion nachfolgender Szenen ohne Interesse in der beispielhaften Datenbasis für erlerntes Wissen 264 gespeichert und die nächste Szene im Medienstream 160 untersucht. Wird jedoch eine Übereinstimmung festgestellt wird, und die entsprechende Referenzszene nicht als Szene ohne Interesse markiert wird, ermittelt die beispielhafte Szenenklassifizierungsvorrichtung 356 eine oder mehrere erwartete Interessenbereiche in der detektierten Szene auf der Grundlage von Information über die Interessenbereiche fest, die der passenden Referenzszene entspricht. Die beispielhafte Szenenklassifizierungsvorrichtung 356 ruft dann die beispielhaften Markenerkennungsvorrichtung 254 zur Durchführung einer Markenerkennung durch Vergleich des/der erwarteten, in der Szene identifizierten Interessenbereich(e) mit einer oder mehreren Referenzmarkenidentifizierungen (z. B. früher erlernte und/oder bekannte Markenidentifizierungen) auf, die in der Datenbasis für erlerntes Wissen 264 und/oder der Markenbibliothek 266 gespeichert sind. Falls dann ein oder mehrere in der identifizierten Szene enthaltene Interessenbereiche mit keiner entsprechenden, erwarteten, in der Datenbasis für erlerntes Wissen 264 und/oder in der Markendatenbank 266 gespeicherten Referenzmarkenidentifizierung übereinstimmt, wird die aktuelle Szene als eine wiederholte Szene von geändertem Interesse klassifiziert und an der Ausgabevorrichtung 270 angezeigt. Beispielsweise kann über die GUI 152 eine Benutzeraufforderung angezeigt werden, um den Benutzer 170 auf die Notwendigkeit der Detektion und/oder Identifizierung einer oder mehrerer in dem/den nicht passenden Interessenbereich(en) enthaltenen Markenidentifizierungen hinzuweisen. Die vom Benutzer 170 bereitgestellte Markierung/Identifizierung der Markenidentifizierung (z. B. Logo) wird dann zur Aktualisierung der Datenbasis für erlerntes Wissen 264 verwendet. Zusätzlich dazu kann die Datenbasis für erlerntes Wissen 264 aktualisiert werden, in die aktuelle detektierte Szene als Referenz für die Detektion zukünftiger wiederholter Szenen von Interesse zu verwenden, falls die aktuelle Szene eine neue Szene war. Wenn jedoch alle in der aktuellen Szene enthaltenen Interessenbereiche mit dem/den entsprechenden erwarteten, in der Datenbasis für erlerntes Wissen 264 und/oder der Markendatenbank 266 gespeicherten Referenzmarkenidentifizierung(en) übereinstimmen, wird die aktuelle Szene als eine wiederholte Szene von Interesse klassifiziert und der/die erwartete(n) Interessenbereich(e) werden dann von der Markenerkennungsvorrichtung 254 automatisch untersucht, um einen Bericht über die Markenexposition, ohne zusätzliche Beteiligung des Benutzers 170 bereitzustellen. Darüber hinaus und wie oben diskutiert, wird dann für jeden erwarteten Interessenbereich eine Verfolgungs funktion gestartet. Die Verfolgungsfunktion verwendet den erwarteten Interessenbereich als Vorlage zur Verfolgung des entsprechenden Interessenbereichs in den benachbarten Bildframes, die aktuelle detektierte Szene umfassen. Um eine Expositionserfassung der im Interessenbereich befindlichen Markenidentifizierung(en) sowie zur Aktualisierung der beispielhaften Datenbasis für erlerntes Wissen 264 mit Information darüber, wie die im Interessenbereich befindlichen Markenidentifizierung(en) in den nachfolgenden Szenen erscheinen können, werden Parameter verwendet, welche den Interessenbereich und, wie es sich im Verlauf der Szene ändert, beschreiben.
Auch wenn in 3 eine beispielhafte Implementierungsart der beispielhaften Szenenerkennungsvorrichtung 252 von 2 dargestellt ist, können einige oder alle in 3 dargestellten Elemente, Verfahren und/oder Vorrichtungen auf beliebige Art und Weise kombiniert, unterteilt, neu angeordnet, weggelassen, eliminiert und/oder implementiert werden. Ferner können der beispielhaften Signaturgenerator 352, der beispielhaften Szenendetektor 354, die beispielhafte Szenenklassifizierungsvorrichtung 356, und/oder allgemeiner die beispielhafte Szenenerkennungsvorrichtung 252 von 3 mittels Hardware, Software, Firmware und/oder eine Kombination aus Hardware, Software und/oder Firmware implementiert sein. Darüber hinaus kann die beispielhafte Szenenerkennungsvorrichtung 252 anstelle der oder zusätzlich zu den in 3 dargestellten Datenstrukturen, Elementen, Verfahren und/oder Vorrichtungen eine oder mehrere Datenstrukturen, Elemente, Verfahren und/oder Vorrichtungen umfassen und/oder kann mehr als eine oder alle dargestellte Datenstrukturen, Elemente, Verfahren und/oder Vorrichtungen umfassen.
Eine beispielhafte Implementierung der beispielhaften Markenerkennungsvorrichtung 254 von 2 ist in 4 dargestellt. Zur Detektion einer oder mehrerer Markenidentifizierungen (z. B. ein oder mehrere Logos) in einem Interessenbereich der identifizierten Szene umfasst die beispielhafte Markenerkennungsvorrichtung 254 von 4 einen Markenidentifikationsdetektor 452. Der beispielhafte Markenidentifikationsdetektor 452 von 4 vergleicht den Inhalt jedes beispielsweise durch die Szenenerkennungsvorrichtung 252 von 2 spezifizierten Interessenbereichs mit einer oder mehreren (z. B. früher erlernten und/oder bekannten) Referenzmarkenidentifizierungen, die einer passenden Referenzszene entsprechen und in der beispielhaften Datenbasis für erlerntes Wissen 264 und/oder der Markenbibliothek 266 gespeichert sind. Beispielsweise und wie oben diskutiert, kann der Markenidentifikationsdetektor 452 einen Vorlagenabgleich vornehmen, um den Interessenbereich mit einer oder mehreren skalierten Versionen und/oder einer oder mehreren unter schiedlichen Ausrichtungen der Referenzmarkenidentifizierungen (z. B. Referenzlogos) zu vergleichen, die in der Datenbasis für erlerntes Wissen 264 und/oder der Markenbibliothek 266 gespeichert sind, um im Interessenbereich enthaltene Markenidentifizierungen (z. B. Logos) zu ermitteln.
Der Markenidentifikationsdetektor 452 kann einen Interessenbereichsdetektor (ROI-Detektor) 462 und eine Interessenbereichsverfolgungsvorrichtung (ROI-Verfolgungsvorrichtung) 464 umfassen. Der beispielhafte ROI-Detektor 462 lokalisiert einen Interessenbereich in einem Schlüsselframe, der die aktuelle Szene darstellt, indem jeder bekannte oder früher erlernte (z. B. beobachtete) Interessenbereich gesucht wird, der der passenden Referenzszene der aktuellen Szene zugeordnet ist. Zusätzlich dazu kann der beispielhafte ROI-Detektor 462 für jeden erwarteten, der passenden Referenzszene zugeordneten Interessenbereich ROI alle bekannten oder früher erlernten Stellen, Perspektiven (z. B. Größe, Winkel usw.) usw. suchen. Bei Finden eines Interessenbereichs ROI in der aktuellen Szene, der einem erwarteten Interessenbereich ROI in der Referenzszene entspricht, werden der beobachtete Interessenbereich ROI, seine Lage, seine Perspektiven und seine Zuordnung zur aktuellen Szene in der Datenbasis für erlerntes Wissen 264 gespeichert. Die Datenbasis für erlerntes Wissen 264 wird daher bei Detektion mit jeder neuen erlernten Information jedes Mal aktualisiert, wenn ein Interessenbereich in einer Szene detektiert wird. Die beispielhafte ROI-Verfolgungsvorrichtung 464 verfolgt dann den vom ROI-Detektor 464 im Schlüsselframe der aktuellen Szene detektierten Interessenbereich. Beispielsweise kann die ROI-Verfolgungsvorrichtung 464 nach dem detektierten Interessenbereich ROI in den dem Schlüsselframe der aktuellen Szene benachbarten Bildframes und in einer Umgebung der bekannten Lage und Perspektive des detektierten Interessenbereichs ROI im Schlüsselframe der aktuellen Szene suchen. Während des Verfolgungsvorgangs werden Erscheinungsparameter wie Lage, Größe, Qualität der Übereinstimmung (engl.: matching quality), visuelle Qualität usw. aufgezeichnet, um bei der Detektion von Interessenbereich(en) ROI(s) in zukünftigen wiederholten Bildframes beizutragen und um Expositionserfassungen zu erhalten. (Bei nachfolgenden Abgleichvorgängen können diese Parameter als Suchbegriffe und/oder Vorlagen verwendet werden.) Die beispielhafte ROI-Verfolgungsvorrichtung 464 hält die Verarbeitung der aktuellen Szene an, wenn alle Frames in der Szene verarbeitet sind und/oder wenn der Interessenbereich ROI nicht in einer bestimmten festgelegten Anzahl aufeinander folgender Frames nicht aufgefunden werden kann.
Zur Identifizierung der einer oder mehrere Markenidentifizierungen zugeordneten, tatsächlichen Marken umfasst die beispielhaften Markenerkennungsvorrichtung 254 von 4 eine Markenidentifizierungsabgleichsvorrichtung 454. Die beispielhafte Markenidentifizierungsabgleichsvorrichtung 454 verarbeitet die vom Markenidentifikationsdetektor 452 detektierte(n) Markenidentifizierung(en), um die in der Markendatenbasis 266 gespeicherte Markenidentitätsinformation zu erhalten. Beispielsweise kann die in der Markendatenbasis 266 gespeicherte Markeninformation, ohne darauf beschränkt zu sein, interne Identifizierungen, Namen von Rechtspersönlichkeiten (z. B. Unternehmen, Einzelpersonen usw.), die den Markenidentifizierungen zugeordneten Markenbesitzen, Produktnamen, Dienstleistungsbezeichnungen usw. umfassen.
Zur Erfassung der Exposition gegenüber Markenidentifizierungen (z. B. Logos), die beispielsweise in Szenen in dem Medienstream 160 detektiert wurden, umfassen die beispielhaften Markenerkennungsvorrichtung 254 von 4 ein Erfassungs- und Verfolgungsmodul 456. Das beispielhafte Erfassungs- und Verfolgungsmodul 456 von 4 sammelt Erscheinungsbilddaten, die der/den Bildframes jeder detektierten Szenen enthaltenen detektierten/erkannten Markenidentifizierung(en) (z. B. Logos) entsprechen, sowie darüber detektierte(n)/erkannte(n) Markenidentifizierung(en) über die Bildframes hinweg variieren können, die die detektierte Szene umfassen. Solche Berichtsdaten können Informationen bezüglich der Lage, Größe, Ausrichtung, Übereinstimmungsqualität (engl.: match quality), visuelle Qualität usw. für jeden Frame in der detektierten Szene umfassen. (Diese Daten ermöglichen ein neues Bezahlungs-/Verkaufsmodell für Werbung, bei welchem die Werbetreibenden pro Frame und/oder nach Expositionsdauer der eingebetteten Markenidentifizierungen zahlen.) Bei einer beispielhaften Implementierung ermittelt das Erfassungs- und Verfolgungsmodul 456 für jede detektierte/erkannte Markenidentifizierung eine gewichtete Lage und Größe. Beispielsweise kann das Erfassungs- und Verfolgungsmodul 456 Lage und/oder Größe einer Markenidentifizierung nach Dauer der Exposition bei dieser speziellen Lage und/oder Größe zur Ermittlung der gewichteten Lage- und/oder Größeninformation gewichten. Mittels eines Berichtsgenerators 256 kann aus der zuvor genannten Information ein Bericht über die Markenexposition erzeugt werden.
Auch wenn in 4 ein Beispiel für eine Implementierung der beispielhaften Markenerkennungsvorrichtung 254 von 2 dargestellt ist, können einige oder alle in 4 dargestellten Elemente, Verfahren und/oder Vorrichtungen auf beliebige Art und Weise kombiniert, unterteilt, neu angeordnet, weggelassen, eliminiert und/oder umgesetzt werden. Außerdem können sich der beispielhafte Markenidentifikationsdetektor 452, die beispielhafte Markenidentifikationsabgleichsvorrichtung 454, das beispielhaften Erfassungs- und Verfolgungsmodul 456, und/oder allgemeiner die beispielhafte Markenerkennungsvorrichtung 254 von 4 mittels Hardware, Software, Firmware und/oder einer beliebigen Kombination aus Hardware, Software und/oder Firmware implementiert werden. Beispielsweise könnte jedes des beispielhaften Markenidentifikationsdetektors 452, der beispielhaften Markenidentifizierungsabgleichsvorrichtung 454, des beispielhaften Erfassungs- und Verfolgungsmodul 456 und/oder allgemeiner, die beispielhafte Markenerkennungsvorrichtung 254 mittels eines oder mehrerer Schaltkreise, programmierbarer Prozessor(en), anwendungsspezifischer integrierter Schaltkreis(e) (ASIC(s)), programmierbarer Logikvorrichtung(en) (Programmable Logic Device(s) (PLD(s)) und/oder anwenderprogrammierbarer Logikvorrichtung(en) (Field Programmable Logic Device(s) (FPLD(s)) usw. implementiert werden. Wenn einer der beigefügten Ansprüche so ausgelegt wird, dass er eine reine Software-Implementierung erfasst, wird hiermit ausdrücklich definiert, dass wenigstens eines der beispielhaften Markenerkennungsvorrichtung 254, des beispielhaften Markenidentifikationsdetektors 452, der beispielhaften Markenidentifizierungsabgleichsvorrichtung 454 und/oder des beispielhaften Erfassungs- und Verfolgungsmoduls 456 ein körperliches Medium, wie ein Speicher, Digital Versatile Disk (DVD), Compact Disk (CD) usw. umfasst. Darüber hinaus kann die beispielhaften Markenerkennungsvorrichtung 254 von 4 anstelle der oder zusätzlich zu den in 4 dargestellten Elementen, Verfahren und/oder Vorrichtungen ein oder mehrere Elemente, Verfahren und/oder Vorrichtungen umfassen und/oder kann mehr als einen oder alle dargestellte Elemente, Verfahren und/oder Vorrichtungen umfassen.
Zur besseren Veranschaulichung des Betriebs des beispielhaften Signaturgenerators 352, des beispielhaften Szenendetektors 354, der beispielhaften Szenenausschlussvorrichtung 355, die beispielhafte Szenenklassifizierungsvorrichtung 356, des beispielhaften ROI-Detektors 464 und der beispielhaften ROI-Verfolgungsvorrichtung 464 sind in 5A–5D Beispielszenen dargestellt, die zur Erfassung von Markenexposition verarbeitet werden können. Die in 5A–5D dargestellten Beispielszenen werden von einem Medienstream 160 erhalten, der beispielhafte Übertragungen von Sportereignissen bereitstellt. Die beispielhaften Sportereignissendungen dienen lediglich der Veranschaulichung und die hier offenbarten Verfahren und Vorrichtungen sind ohne weiteres auf die Verarbeitung von Medienstreams zur Ermittlung von Markenexposition in Verbindung mit beliebigem Medieninhalt verwendet. Bezug nehmend auf die Figuren veranschaulicht 5A vier beispielhafte Schlüsselframes 505, 510, 515 und 525, die vier entsprechenden beispielhaften Szenen zugeordnet sind, die für einen Szenenausschluss auf der Grundlage bekannten oder erlernten Fachwissens für den geeignet wären. Insbesondere stellt der beispielhafte Schlüsselframe 505 eine Szene mit einem Hintergrund (z. B. ein Golfplatz) dar, der ein Vorherrschen gleichmäßig gruppierter grünlicher Pixel aufweist. Falls das Fachwissen, welche dem Typ Medieninhalt entspricht, der aus dem beispielhaften Schlüsselframe 505 erzeugt wurde (z. B. eine erwartete Übertragung eines Golfereignisses), angibt, dass eine Szene mit einem Vorherrschen gleichmäßig gruppierter grünlicher Pixeln ausgeschlossen werden sollte, weil sie einer Kameraaufnahme des Spielfelds (zum Beispiel des Golfkurses) entspricht, kann die beispielhafte Szenenausschlussvorrichtung 355 mit solchem Wissen konfiguriert werden und die dem beispielhaften Schlüsselframe 505 entsprechende Szene ausschließen.
Der beispielhafte Schlüsselframe 510 entspricht einer Szene von kurzer Dauer, da die Szene einen überwiegenden Anteil von Komponenten in schneller Bewegung enthält. Bei einer beispielhaften Implementierung könnte die Szenenausschlussvorrichtung 355 konfiguriert werden, um eine solche Szene auszuschließen, da es unwahrscheinlich ist, dass eine Markenidentifizierung ausreichend lang in der Szene verbleiben würde, um von einer den Medieninhalt konsumierenden Person bedeutungsvoll wahrgenommen zu werden. Der beispielhafte Schlüsselframe 515 entspricht einer Szene mit einer Zuschauermenge bei der Übertragung eines Sportereignisses. Auch eine solche Szene kann von der beispielhaften Szenenausschlussvorrichtung 355 ausgeschlossen werden, wenn beispielsweise das der Szenenausschlussvorrichtung 355 zur Verfügung stehende Fachwissen angibt, dass eine im Wesentlichen gleichmäßig bunte Szene einer Aufnahme des Publikums entspricht und daher nicht davon ausgegangen wird, dass sie Markenidentifizierung(en) enthält. Der beispielhafte Schlüsselframe 520 entspricht einer Szene aus einem Werbespot, der während der beispielhaften Übertragung eines Sportereignisses ausgestrahlt wird. Bei einer beispielhaften Implementierung könnte die Szenenausschlussvorrichtung 355 konfiguriert werden, um Szenen auszuschließen, die einem übertragenen Werbespot entsprechen (z. B. auf der Grundlage eines detektierten Audiocodes im beispielhaften Medienstream 160, auf der Grundlage eines detektierten Übergangs (z. B. leerer Bildschirm) im beispielhaften Medienstream 160, usw.), wenn beispielsweise der Bericht über Markenexposition auf eingebettete Werbung beschränkt bleiben soll.
5B veranschaulicht zwei beispielhafte Schlüsselframes 525 und 530, die zwei Beispielszenen zugeordnet sind, welche von der beispielhaften Szenenklassifizierungs vorrichtung 356 als Szenen ohne Interesse eingestuft werden könnten. Bei dem dargestellten Beispiel entspricht der Schlüsselframe 525 einer neuen detektierten Szene, die vom Benutzer 170 als Szene ohne Interesse markiert werden kann, weil der beispielhafte Schlüsselframe 525 keine Markenidentifizierungen (z. B. Logos) enthält. Die dem Schlüsselframe 525 entsprechende Szene wird dann zur erlernten Referenzszene ohne Interesse. Als nächster entspricht der beispielhafte Schlüsselframe 530 einer vom beispielhaften Szenendetektor 354 detektierten nachfolgenden Szene. Durch Vergleich der vergleichbaren Bildsignaturen (z. B. der Bildhistogramme) des Schlüsselframes 520 und des Schlüsselframes 530 der nachfolgenden detektierten Szene kann die beispielhafte Szenenklassifizierungsvorrichtung 356 ermitteln, dass das Bildframe 530 einer Wiederholung der dem beispielhaften Schlüsselframe 525 entsprechenden Referenzszene entspricht. In einem solchen Fall würde die beispielhafte Szenenklassifizierungsvorrichtung 356 dann ermitteln, dass der Schlüsselframe 530 einer Szene ohne Interesse entspricht, da die passende, mit dem beispielhaften Schlüsselframe 525 übereinstimmende Referenzszene als eine Szene ohne Interesse markiert wurde.
5C veranschaulicht zwei beispielhafte Schlüsselframes 535 und 540, die zwei Beispielszenen zugeordnet sind, welche von der beispielhaften Szenenklassifizierungsvorrichtung 356 als Szenen ohne Interesse eingestuft werden könnten. Bei dem dargestellten Beispiel entspricht der Schlüsselframe 535 einer neuen detektierten Szene, die vom Benutzer 170 als Szene ohne Interesse gekennzeichnet werden kann, da im beispielhaften Schlüsselframe 535 ein Interessenbereich 545 mit einer Markenidentifizierungen (z. B. mit einem Schild, das Werbung für „Banner One" trägt) enthalten ist. Die dem Schlüsselframe 535 entsprechende Szene würde dann zu einer erlernten Referenzszene von Interesse werden. Darüber hinaus kann der Benutzer 170 den Interessenbereich 545 markieren, der dann von der beispielhaften ROI-Verfolgungsvorrichtung 464 zur Erzeugung einer oder mehrerer Referenzvorlagen zur Markenidentifizierung zur Detektion nachfolgender, dieser Referenzszene und diesem Interessenbereich entsprechender wiederholter Szenen von Interesse verwendet würde. Als nächstes entspricht der beispielhafte Schlüsselframe 540 einer vom beispielhaften Szenendetektor 354 detektierten nachfolgenden Szene. Durch Vergleich der vergleichbaren Bildsignaturen (z. B. der Bildhistogramme) des Schlüsselframes 535 und des Schlüsselframes 540 der nachfolgenden detektierten Szene kann die beispielhafte Szenenklassifizierungsvorrichtung 356 ermitteln, dass der Bildframe 540 einer Wiederholung der dem beispielhaften Schlüsselframe 535 entsprechenden Referenzszene entspricht. Da es sich bei der Referenzszene um eine Szene von Interesse handelt, würde die beispielhafte Szenenklassifizierungs vorrichtung 356 dann den beispielhaften ROI-Detektor 462 aufrufen, um auf der Grundlage der dem Referenzinteressenbereich 535 entsprechenden Referenzvorlage(n) den erwarteten Interessenbereich im beispielhaften Schlüsselframe 540 zu finden. Bei dem dargestellten Beispiel findet der ROI-Detektor 462 den dem Referenzinteressenbereich 535 entsprechenden Interessenbereich 550, da die beiden Interessenbereiche mit Ausnahme erwarteter Änderungen von Ausrichtung, Größe, Lage usw. im Wesentlichen ähnlich sind. Da der beispielhafte ROI-Detektor 462 den erwarteten Interessenbereich 550 im dargestellten Beispiel gefunden und überprüft hat, würde die beispielhafte Szenenklassifizierungsvorrichtung 356 die dem beispielhaften Schlüsselframe 540 entsprechende Szene in Bezug auf die dem beispielhaften Schlüsselframe 535 entsprechende Referenzszene als wiederholte Szene von Interesse klassifizieren.
5D veranschaulicht zwei beispielhafte Schlüsselframes 555 und 560, die zwei Beispielszenen zugeordnet sind, welche von die beispielhafte Szenenklassifizierungsvorrichtung 356 als Szenen von Interesse eingestuft werden könnten. Im dargestellten Beispiel entspricht der Schlüsselframe 555 einer neuen detektierten Szene, die vom Benutzer 170 als Szene von Interesse markiert werden kann, da im beispielhaften Schlüsselframe 555 ein Interessenbereich 565 mit einer Markenidentifizierung (z. B. mit einem Schild, das Werbung für „Banner One" trägt) enthalten ist. Die dem Schlüsselframe 555 entsprechende Szene würde dann zu einer erlernten Referenzszene von Interesse werden. Darüber hinaus kann der Benutzer 170 den Interessenbereich 565 markieren, der dann von der beispielhaften ROI-Verfolgungsvorrichtung 464 zur Erzeugung einer oder mehrerer Referenzvorlagen zur Markenidentifizierung zur Detektion nachfolgender, dieser Referenzszene und diesem Interessenbereich entsprechender wiederholter Szenen von Interesse verwendet würde. Als nächstes entspricht der beispielhafte Schlüsselframe 560 einer vom beispielhaften Szenendetektor 354 detektierten nachfolgenden Szene. Durch Vergleich der vergleichbaren Bildsignaturen (z. B. der Bildhistogramme) des Schlüsselframes 555 nur des Schlüsselframes 560 der nachfolgenden Szene kann die beispielhafte Szenenklassifizierungsvorrichtung 356 ermitteln, dass der Bildframe 560 einer Wiederholung der dem beispielhaften Schlüsselframe 555 entsprechenden Referenzszene entspricht. Da es sich bei der Referenzszene um eine Szene von Interesse handelt, würde die beispielhafte Szenenklassifizierungsvorrichtung 356 dann den beispielhaften ROI-Detektor 462 aufrufen, um auf der Grundlage der dem Referenzinteressenbereich 565 entsprechenden Referenzvorlage(n) im beispielhaften Schlüsselframe 560 den geeigneten erwarteten Interessenbereich zu finden.
Bei dem dargestellten Beispiel findet der ROI-Detektor 462 keinen dem Referenzinteressenbereich 565 entsprechenden Interessenbereich, da keine Markenidentifizierung vorhanden ist, der der Werbung „Banner One" im beispielhaften Schlüsselframe 560 entspricht. Da der beispielhafte ROI-Detektor den erwarteten Interessenbereich im dargestellten Beispiel nicht überprüfen konnte, würde die beispielhafte Szenenklassifizierungsvorrichtung 356 die dem beispielhaften Schlüsselframe 560 entsprechende Szene in Bezug auf die dem beispielhaften Schlüsselframe 555 entsprechende Referenzszene als wiederholte Szene von geändertem Interesse klassifizieren. Da die dem beispielhaften Schlüsselframe 560 entsprechende Szenen als wiederholte Szene von geändertem Interesse klassifiziert ist, würde der Benutzer 170 als nächstes aufgefordert werden, in der Szene vorhandene Markenidentifizierung(en) zu markieren. Bei dem dargestellten Beispiel kann der Benutzer 170 den Interessenbereich 570 markieren, weil er eine Markenidentifizierung enthält, die einem Schild mit der Werbung „Logo Two" entspricht. Die beispielhafte ROI-Verfolgungsvorrichtung 464 würde dann zur Erzeugung einer oder mehrerer Referenzvorlagen zur Markenidentifizierung auf der Grundlage des gekennzeichneten Interessenbereichs 570 zur Erfassung nachfolgender wiederholter Szenen von Interesse einschließlich dieses neuen Referenzinteressenbereichs aufgerufen werden.
6A–6B zusammen bilden ein Flussdiagramm, welches Beispiele von maschinenlesbaren (engl.: machine accessible) Anweisungen 600 darstellt, die zur Implementierung der beispielhafte Szenenerkennungsvorrichtung 252 von 2 und/oder 3, und/oder wenigstens eines Teils der beispielhaften Markenexpositionsüberwachungsvorrichtung 150 von 1 und/oder 2 ausgeführt werden können. 7A–7C zusammen bilden ein Flussdiagramm, welches Beispiele von maschinenlesbaren Anweisungen 700 darstellt, die zur Implementierung der beispielhaften GUI 152 von 1 und/oder 2 und/oder wenigstens eines Teils der beispielhaften Markenexpositionsüberwachungsvorrichtung 150 von 1 und/oder 2 ausgeführt werden können. 8A–8B sind Flussdiagramme, welche Beispiele von maschinenlesbaren Anweisungen 800 und 850 darstellen, die zur Implementierung der beispielhaften Markenerkennungsvorrichtung 254 von 2 und/oder 3 und/oder wenigstens eines Teils der beispielhaften Markenexpositionsüberwachungsvorrichtung 150 von 1 und/oder 2 ausgeführt werden können. Die beispielhaften maschinenlesbaren Anweisungen von 6A–6B, 7A–7C und/oder 8A–8B können von einem Prozessor, einem Controller und/oder jeder anderen geeigneten Verarbeitungsvorrichtung ausgeführt werden. Beispielsweise können die beispielhaften maschinenlesbaren Anweisungen von 6A–6B, 7A–7C und/oder 8A–8B als kodierte Anweisungen ausgeführt sein, die auf einem körperlichen Medium, wie ein Flash-Speicher, ein Nur-Lese-Speicher (ROM) und/oder ein Speicher mit wahlfreiem Zugriff (RAM) gespeichert werden, welche einem Prozessor (z. B. dem in Verbindung mit 9 unten beschriebenen beispielhaften Prozessor 905) zugeordnet sind. Alternativ können einige oder alle der beispielhaften Markenexpositionstüberwachungsvorrichtung 150, der beispielhaften GUI 152, der beispielhaften Szenenerkennungsvorrichtung 252 und/oder der beispielhaften Markenerkennungsvorrichtung 254 mittels (einer) Kombination(en) von einem oder mehreren Schaltkreise(n), programmierbaren Prozessor(en), anwendungsspezifischen integrierten Schaltkreise(n) (ASIC(s)), programmierbaren Logikvorrichtung(en) (Programmable Logic Device(s) (PLD(s)) und/oder anwenderprogrammierbaren Logikvorrichtung(en) (Field Programmable Logic Device(s) (FPLD(s)), diskreter Logik, Hardware, Firmware usw. implementiert werden. Auch einige oder alle beispielhaften maschinenlesbaren Anweisungen von 6A–B, 7A–C und/oder 8A–8B können manuell oder als Kombination einiger der vorher genannten Verfahren, beispielsweise als Kombination von Firmware, Software, diskreter Logik und/oder Hardware, implementiert sein. Auch wenn die maschinenlesbaren Anweisungen unter Bezug auf die beispielhaften Flussdiagramme von 6A–6B, 7A–7C und 8A–8B beschrieben sind, können zahlreiche andere Verfahren zur Implementierung der maschinenlesbaren Anweisungen von 6A–6B, 7A–7C, und/oder 8A–8B eingesetzt werden. Beispielsweise kann die Reihenfolge der Ausführung der Blöcke geändert werden und/oder einer oder mehrerer der beschriebenen Blöcke kann/können geändert, ausgelassen, unterteilt oder kombiniert werden. Zusätzlich können einige oder alle beispielhaften maschinenlesbaren Anweisungen von 6A–6B, 7A–7C und/oder 8A–8B z. B. durch separate Verarbeitungs-Threads, Prozessoren, Vorrichtungen, diskrete Logik, Schaltkreise usw. sequenziell und/oder parallel ausgeführt werden.
Bezug nehmend auf 6A–6B beginnt die Ausführung der beispielhaften maschinenlesbaren Anweisungen 600 damit, dass die in der beispielhaften Markenexpositionsüberwachungsvorrichtung 150 enthaltene beispielhafte Szenenerkennungsvorrichtung 252 einen Medienstream wie den beispielhaften Medienstream 160 von 1 (Block 602 von 6A) empfangt. Die beispielhafte Szenenerkennungsvorrichtung 252 detektiert dann eine im empfangenen Medienstream 160 enthaltene Szene, indem sie die für die Bildframes des Medienstreams 160 erzeugten Bildsignaturen vergleicht (Block 604). Wie oben diskutiert, werden aufeinander folgende Bildframes, die im Wesentlichen vergleichbare Bildsignaturen (z. B. im Wesentlichen vergleichbare Bild-Histogramme) aufweisen, als Teil der gleichen Szene identifiziert. Bei einer beispielhaften Implementierung wird ein der im Wesentlichen vergleichbarer Bildframe als für die Szene repräsentativer Schlüsselframe gespeichert, und die für den Schlüsselframe erstellte Bildsignatur dient als die Bildsignatur der detektierten Szene. Ein beispielhaftes Verfahren für die Erzeugung der Bildsignatur bei Block 604, das Bild-Histogramme verwendet, ist oben in Verbindung mit 2 diskutiert.
Als nächstes führt die beispielhafte Szenenerkennungsvorrichtung 252 durch Untersuchung des Schlüsselframes der bei Block 604 detektierten aktuellen Szenen auf Charakteristika, die darauf hinweisen, dass die Szene keine Markenidentifizierungen (z. B. Logos) enthält, einen Szenenausschluss durch (Block 606). Beispielsweise kann und wie oben diskutiert, für den Typ an Medieninhalt, der erwartungsgemäß zu verarbeiten ist, spezifisches Fachwissen zur Konfiguration der beispielhaften Szenenerkennungsvorrichtung 252 eingesetzt werden, um Szenencharakteristika zu erkennen, welche eine Szene angeben, in der keine Markenidentifizierungen vorhanden sind, die eine Markenexposition verursachen könnten. Im Kontext des beispielhaften Baseballspiels kann eine Szene, die hauptsächlich durch eine Ansicht eines blauen Himmels (z. B. bei Verfolgung eines auftauchenden Ballflugs), eine Ansicht des Bodens (z. B. bei Verfolgung eines Balls am Boden) charakterisiert ist oder die sich schnell ändernde Ansichten aufweisen (wenn z. B. eine Kamera schwenkt, um einem Baseläufer zu folgen), bei Block 606 ausgeschlossen werden.
Wenn die aktuelle detektierte Szene ausgeschlossen wird (Block 608), ruft die beispielhafte Szenenerkennungsvorrichtung 252 den Berichtsgenerator 256 auf, um den Ausschluss der aktuellen detektierten Szene anzuzeigen (Block 610). Zusätzlich dazu oder alternativ kann die beispielhafte Szenenerkennungsvorrichtung 252 Information speichern, die die ausgeschlossene Szene als erlerntes Wissen beschreiben, das für den Ausschluss zukünftiger detektierter Szenen und/oder für die Klassifizierung zukünftiger Szenen als Szenen ohne Interesse zu verwenden ist. Die beispielhafte Szenenerkennungsvorrichtung 252 untersucht dann den Medienstream 160 um zu ermitteln, ob der Medienstream 160 beendet ist (Block 630). Wenn das Ende des Medienstreams 160 erreicht ist, endet die Ausführung der beispielhaften maschinenlesbaren Anweisungen 600. Falls der Medienstream 160 noch nicht abgeschlossen ist (Block 630), kehrt die Kontrolle zu Block 604 zurück, um der beispielhaften Szenenerkennungsvorrichtung 252 die Detektion einer nächsten Szene im Medienstream 160 zu ermöglichen.
Bezug nehmend auf Block 608, vergleicht, wenn die aktuelle detektierte (auch als „aktuelle Szene" bezeichnet) Szene nicht ausgeschlossen wird, die beispielhafte Szenen erkennungsvorrichtung 252 die aktuelle Szene mit einer oder mehreren Referenzszenen (z. B. früher erlernte und/oder bekannte Szenen), die in einer oder mehreren Datenbasen (z. B. in der Szenendatenbasis 262 und/oder in der Datenbasis für erlerntes Wissen 264 von 2) gespeichert sind (Block 612). Ein beispielhaftes Verfahren für die Durchführung des Vergleichs bei Block 612 ist oben in Verbindung mit 2 diskutiert. Beispielsweise kann die beispielhafte Szenenerkennungsvorrichtung 252 bei Block 612 die Bildsignatur (z. B. das Bild-Histogramm) der aktuellen Szene mit den Bildsignaturen (z. B. Bild-Histogrammen) für die Referenzszenen vergleichen. Eine Übereinstimmung der Signaturen kann erklärt werden, wenn die Signatur der aktuellen Szene, wie von einem oder mehreren Grenzwerten spezifiziert, ein gewisses Maß an Ähnlichkeit mit der Signatur einer Referenzszene hat. Die Steuerung geht dann zu Block 614 von 6B weiter.
Wenn die beispielhafte Szenenerkennungsvorrichtung 252 ermittelt, dass die Bildsignatur der aktuellen Szene keiner Signatur einer (z. B. früher erlernten und/oder bekannten) Referenzszene (Block 614), wird die Szene als neue Szene klassifiziert (Block 626). Die beispielhafte Szenenerkennungsvorrichtung 252 stoppt dann (z. B. pausiert) den Medienstream 160 und gibt die Szene zusammen mit Szenenklassifizierungsinformation an die beispielhafte GUI 152 weiter, um die Identifizierung der Szene und in der Szene enthaltener Markenidentifizierungen (z. B. Logos) zu ermöglichen (Block 627). Die beispielhaften maschinenlesbaren Anweisungen 700, die zur Durchführung des Identifizierungsverfahrens bei Block 627 ausgeführt werden können, sind in 7A–7C dargestellt und weiter unten detaillierter diskutiert. Nachdem bei Block 627 eine Identifizierung mittels der GUI 152 ausgeführt ist, startet die beispielhafte Szenenerkennungsvorrichtung 252 den Medienstream 160 erneut und die Steuerung geht zu Block 610 von 6A über, wo die beispielhafte Szenenerkennungsvorrichtung 252 den Berichtsgenerator 256 aufruft, um auf der Grundlage der bei Block 627 erhaltenen Identifizierung der aktuellen Szene und/oder der darin enthaltenen Markenidentifizierungen die Markenexposition anzuzeigen. Die Steuerung kehrt dann zu Block 630 zurück, um zu ermitteln, ob im Medienstream 160 weitere Szenen übrig sind.
Bezug nehmend auf Block 614 von 6B wird, wenn die Bildsignatur der aktuellen Szene mit der einer (zum Beispiel einer früher erlernten und/oder bekannten) Referenzszene entsprechenden Bildsignatur übereinstimmt, die der passenden Referenzszene zugeordnete gespeicherte Information abgerufen (Block 616). Falls die passende Referenzszene als Szene ohne Interesse markiert ist/war und/oder auf andere Weise festgelegt wurde, dass sie eine Szene ohne Interesse ist (z. B. eine Szene, von der bekannt ist, dass sie keine Marken identifizierungen enthält) (Block 618), wird die aktuelle Szene als eine Szene ohne Interesse klassifiziert (Block 619). Die Steuerung geht zu Block 610 von 6A über, wo die beispielhafte Szenenerkennungsvorrichtung 252 den Berichtsgenerator 256 aufruft, um anzuzeigen, dass die aktuelle Szene als eine Szene ohne Interesse klassifiziert wurde. Die Steuerung kehrt dann zu Block 630 zurück, um zu ermitteln, ob im Medienstream 160 weitere Szenen übrig sind.
Falls jedoch die Referenzszene nicht als Szene ohne Interesse markiert war oder auf andere Weise als Szene ohne Interesse festgelegt wurde (Block 618), dann werden für die aktuelle Szene ein oder mehrere Interessenbereiche festgelegt (Block 620). Der/die Interessenbereich(e) werden für die passende Referenzszene auf der Grundlage der bei Block 616 erhaltenen gespeicherten Information über Interessenbereiche festgelegt. Der/die festgelegte(n) Interessenbereich(e) der Szene wird/werden dann der beispielhaften Markenerkennungsvorrichtung 254 bereitgestellt, um einen Vergleich mit einer oder mehreren Referenzmarkenidentifizierungen (z. B. früher erlernte und/oder bekannte) zu ermöglichen (Block 621). Die beispielhaften maschinenlesbaren Anweisungen 800, die zur Durchführung des Vergleichsverfahrens bei Block 621 ausgeführt werden können, sind in 8A dargestellt und unten detaillierter diskutiert.
Wenn die beispielhafte Szenenerkennungsvorrichtung 252 auf der Grundlage der Verarbeitung bei Block 621, die beispielsweise von der beispielhaften Markenerkennungsvorrichtung 254 durchgeführt wird, ermittelt, dass mindestens ein Interessenbereich nicht zu einer Referenzmarkenidentifizierung (früher erlernte und/oder bekannte) passt (Block 622), wird die Szene als wiederholte Szene von geändertem Interesse klassifiziert (Block 628). Ein Interessenbereich in einer aktuellen Szene kann nicht zu einer der passenden Referenzszene zugeordneten Referenzmarkenidentifizierung(en) passen, wenn beispielsweise der Interessenbereich Markenidentifizierung(en) (z. B. Logos) enthält, die animiert sind, virtuell sind und/oder sich mit der Zeit ändern. Die beispielhafte Szenenerkennungsvorrichtung 252 stoppt dann (z. B. pausiert) den Medienstream 160 und stellt die Szene, die Szenenklassifizierung und die Information über den/die Interessenbereich(e) der beispielhaften GUI 152 bereit, um eine Identifizierung der Szene und in der Szene enthaltener Markenidentifizierung(en) zu ermöglichen (Block 629). Die maschinenlesbaren Anweisungen 700, die zur Durchführung des Identifizierungsverfahrens bei Block 629 ausgeführt werden können, sind in 7A–7C dargestellt und unten detaillierter beschrieben. Nachdem bei Block 629 eine Identifizierung mittels der GUI 152 durchgeführt ist, startet die beispielhafte Szenenerkennungsvorrichtung den Medienstream 160 erneut und die Steuerung geht zu Block 610 von 6A über, wo die beispielhafte Szenenerkennungsvorrichtung 252 den Berichtsgenerator 256 aufruft, um auf der Grundlage der bei Block 629 erhaltenen Identifizierung der aktuellen Szene und/oder darin enthaltener Markenidentifizierung(en) die Markenexposition anzuzeigen. Die Steuerung kehrt dann zu Block 630 zurück, um zu ermitteln, ob im Medienstream 160 weitere Szenen übrig sind.
Bezug nehmend auf Block 622 klassifiziert, wenn alle in der Szene vorhandenen Interessenbereiche zu Referenzmarkenidentifizierungen (z. B. früher erlernte und/oder bekannte) passen, wird die beispielhafte Szenenerkennungsvorrichtung 252 die Szene als wiederholte Szene von Interesse (Block 624). Die beispielhafte Szenenerkennungsvorrichtung 252 stellt dann die Szene, der/die ermittelte(n) Interessenbereich(e) und der/die detektierten/erkannten Markenidentifizierung(en) beispielsweise der beispielhaften Markenerkennungsvorrichtung 254 bereit, um eine Aktualisierung der Markenidentifizierungscharakteristika und/oder die Sammlung und/oder Berechnung von mit der/den festgestellte(n)/zugehörige(n) Markenidentifizierung(en) in Beziehung stehender Markenexpositionsinformation zu ermöglichen (Block 625). Die maschinenlesbaren Anweisungen 850, die zur Durchführung der Verarbeitung bei Block 625 ausgeführt werden können, sind in 8B dargestellt und unten detaillierter diskutiert. Die Steuerung geht dann zu Block 610 von 6A weiter, wo die beispielhafte Szenenerkennungsvorrichtung 252 den Berichtsgenerator 256 aufruft, um Markenexposition auf der Grundlage der bei Block 625 erkannten/detektierten Markenidentifizierungen anzuzeigen. Die Steuerung kehrt dann zu Block 630 zurück, um zu ermitteln, ob im Medienstream 160 weitere Szenen übrig sind.
Bezug nehmend auf 7A–7C beginnt die Ausführung der maschinenlesbaren Anweisungen 700 damit, dass die GUI 152 beispielsweise von der beispielhaften Szenenerkennungsvorrichtung 252 oder über eine bei Block 627 und/oder Block 629 von 6B durchgeführte Verarbeitung eine detektierte Szene und eine Klassifikation dieser Szene erhält (Block 701). Die beispielhafte GUI 152 zeigt dann beispielsweise mittels der Ausgabevorrichtung 270 die Szene an (Block 702). Dann bewertet die beispielhafte GUI 152 die bei Block 701 erhaltene Szenenklassifizierung (Block 704). Wenn die Szene als neue Szene klassifiziert wird (Block 706), dann fordert die beispielhafte GUI 152 den Benutzer 170 auf, anzugeben, ob die aktuelle Szene eine Szene von Interesse (oder mit anderen Worten keine Szene ohne Interesse) ist (Block 708). Bei dem dargestellten Beispiel ist die aktuelle Szene standardmäßig eine Szene, sofern der Benutzer nichts anderes angibt. Beispielswei se kann die GUI 152 bei Block 708 den Benutzer 170 zur Eingabe von Identifikationsinformation, eines Befehls, zum Klick auf eine Schaltfläche usw. auffordern, um anzugeben, ob die Szene von Interesse oder ohne Interesse ist. Zusätzlich dazu oder alternativ kann die GUI 152 automatisch ermitteln, dass die Szene ohne Interesse ist, wenn der Benutzer 170 innerhalb eines vorher festgelegten Zeitintervalls nach Anzeige der Szene nicht beginnt, einen oder mehrere Interessenbereiche in der aktuellen Szene zu markieren. Wenn der Benutzer 170 (z. B. durch Zustimmung oder durch Unterlassen, eine Angabe bezüglich der aktuellen Szene einzugeben) angibt, dass die Szene ohne Interesse ist (Block 710), wird die detektierte Szene als Szene ohne Interesse angezeigt (Block 712) und die Ausführung der beispielhaften maschinenlesbaren Anweisungen 700 endet. Wenn der Benutzer 170 jedoch angibt, dass die Szene von Interesse ist (Block 710), kann der Benutzer 170 einen Szenentitel für die aktuelle Szene eingeben (Block 714). Die beispielhafte GUI 152 speichert dann den Szenentitel (zusammen mit der Bildsignatur) für die aktuelle Szene in einer Datenbasis (z. B. in der Datenbasis für erlerntes Wissen 264) (Block 716). Nach Abschluss der Verarbeitung bei Block 716 oder falls die Szene nicht als neue Szene eingestuft wurde (Block 706), geht die Steuerung zu Block 718 von 7B weiter.
Als nächstes fordert die beispielhafte GUI 152 den Benutzer 170 auf, einen Interessenbereich in der angezeigten Szene anzuklicken (Block 718). Hat der Benutzer 170 auf einen Interessenbereich geklickt, ermittelt die beispielhafte GUI 152, an welcher Stelle der Benutzer 170 geklickt hat und legt einen kleinen Bereich um die angeklickte Stelle herum fest (Block 720). Die beispielhafte GUI 152 berechnet dann den Interessenbereich und hebt den Interessenbereich in der über die Ausgabevorrichtung 270 angezeigten aktuellen Szene hervor (Block 722). Wenn der Benutzer 170 dann auf einen Bereich innerhalb oder außerhalb des hervorgehobenen angezeigten Interessenbereichs klickt, um den Interessenbereich hinsichtlich der Größe zu ändern und/oder umzuformen (Block 724), berechnet die beispielhafte GUI 152 den aktualisierten Interessenbereich neu und zeigt ihn an. Die Steuerung geht zu Block 724 zurück, um dem Benutzer 170 zu ermöglichen, die Größenänderung und/oder Umformung des hervorgehobenen angezeigten Interessenbereichs fortzusetzen. Bei einer weiteren Implementierung können Verfahren zur Ergänzung von Interessenbereich(en) der Blöcke 718–726 angepasst werden, um das oben in Verbindung mit 10 beschriebene Beispiel der automatischen Erzeugung eines Interessenbereichs umzusetzen.
Wenn die GUI 152 detektiert, dass der Benutzer 170 innerhalb eines vorgegebenen Zeitraums nicht auf einen Bereich innerhalb oder außerhalb des hervorgehobenen Be reichs geklickt hat (Block 724), dann vergleicht die beispielhafte GUI 152 den vom Benutzer 170 erzeugten Interessenbereich mit einer oder mehreren Referenzmarkenidentifizierungen (z. B. mit früher erlernte und/oder bekannte) (Block 728). Zum Beispiel kann die beispielhafte GUI 152 bei Block 728 den erstellten Interessenbereich und die Klassifizierung der aktuellen Szene, beispielsweise als neue Szene oder wiederholte Szene von geändertem Interesse, der beispielhaften Markenerkennungsvorrichtung 254 bereitstellen, um einen Vergleich mit einer oder mehreren Referenzmarkenidentifizierungen (z. B. früher erlernte und/oder bekannte) zu ermöglichen. Zusätzlich dazu kann, wenn die Szene als neue Szene statt als wiederholte Szene von geändertem Interesse klassifiziert wird, die beispielhafte Markenerkennungsvorrichtung 254 die Vergleichsparameter weniger streng anlegen/definieren, um Markenidentifizierungen zu erhalten, die dem erzeugten Interessenbereich ähnlich sind, jedoch nicht unbedingt mit ihm übereinstimmen. Die beispielhafte maschinenlesbare Anweisungen 800, die zur Durchführung des Vergleichsverfahrens bei Block 728 ausgeführt werden können, sind in 8A dargestellt und unten detaillierter diskutiert.
Als nächstes, nachdem die Markenidentifizierung(en) bei Block 728 verglichen wird/werden, zeigt die beispielhafte GUI 152 die am stärksten dem Interessenbereich entsprechende Referenzmarkenidentifizierung (z. B. früher erlernte und/oder bekannte) an (Block 730). Die beispielhafte GUI 152 fordert dann den Benutzer auf, für den erzeugten Interessenbereich die angezeigte Markenidentifizierung anzunehmen oder eine neue Markenidentifizierung einzugeben (Block 732). Sobald der Benutzer die von der beispielhaften GUI 152 angezeigte Markenidentifizierung angenommen und/oder eine neue Markenidentifizierung eingegeben hat, speichert die beispielhaften GUI 152 die Beschreibung des Interessenbereichs und die Markenidentifizierung in einer Datenbasis (z. B. in der Datenbasis für erlerntes Wissen 264) (Block 734). Beispielsweise kann die Beschreibung des Interessenbereichs und/oder der darin enthaltenen Markenidentifizierung(en), ohne darauf beschränkt zu sein, Information bezüglich Größe, Form, Farbe, Lage, Textur, Expositionsdauer usw. enthalten. Zusätzlich dazu oder alternativ kann die beispielhafte GUI 152 Information bezüglich der erzeugten Interessenbereich(e) und der identifizierten Markenidentifizierung(en) beispielsweise der beispielhaften Markenerkennungsvorrichtung 254 bereitstellen, um eine Anzeige der Markenidentifizierung(en) zu ermöglichen. Die beispielhafte maschinenlesbare Anweisungen 850, die zur Durchführung der Verarbeitung bei Block 734 ausgeführt werden können, sind in 8B dargestellt und unten detaillierter diskutiert.
Wenn der Benutzer 170 angibt, dass mehr Interessenbereiche in der aktuellen Szene zu identifizieren sind (z. B. in Antwort auf eine Eingabeaufforderung) (Block 736), kehrt als nächstes die Steuerung zu Block 718 zurück, wo die GUI 152 den Benutzer auffordert, auf einen neuen Interessenbereich in der Szene zu klicken, um eine Identifizierung von dort vorhandenen Markenidentifizierung(en) zu beginnen. Wenn jedoch der Benutzer angibt, dass alle Interessenbereiche identifiziert wurden, geht die Steuerung zu Block 737 von 7C weiter, wo für jeden neu markierten Interessenbereich eine Verfolgungsfunktion eingeleitet wird. Wie oben diskutiert, verwendet die Verfolgungsfunktion den/die markierten Interessenbereich(e) als Vorlage(n) zur Verfolgung des/der entsprechenden Interessenbereichs/e in den benachbarten Bildframes, die die aktuelle detektierte Szene umfassen. Nach Abschluss der Verarbeitung bei Block 737 wird Medienstream 160 erneut gestartet (Block 738), nachdem er zuvor gestoppt (z. B. pausiert) wurde. Die beispielhafte GUI 152 stellt dann die Szene und den/die Interessenbereich(e) beispielsweise der beispielhaften Markenerkennungsvorrichtung 254 bereit, um eine Aktualisierung der Markenidentifizierungscharakteristika und/oder die Erfassung und/oder Berechnung von Markenexpositionsinformation, die die identifizierte(n) Markenidentifizierung(en) betrifft, zu ermöglichen (Block 740). Daraufhin endet die Ausführung der beispielhaften maschinenlesbaren Anweisungen 700.
Bezug nehmend auf 8A beginnt die Ausführung der beispielhaften maschinenlesbaren Anweisungen 800 mit einer Markenerkennungsvorrichtung wie der beispielhaften Markenerkennungsvorrichtung 254, die eine Szene, die Klassifikation der Szene und einen oder mehrere Interessenbereiche beispielsweise von der beispielhafte Szenenerkennungsvorrichtung 252, der beispielhaften GUI 152, der Verarbeitung bei Block 621 von 6B und/oder der Verarbeitung bei Block 728 von 7C erhält (Block 801). Die beispielhafte Markenerkennungsvorrichtung 254 erhält dann aus der bei Block 801 erhaltenen Information den nächsten in der aktuellen Szene zu untersuchenden Interessenbereich (Block 802). Dann vergleicht die beispielhafte Markenerkennungsvorrichtung 254 den Interessenbereich mit einem oder mehreren erwarteten Referenzmarkenidentifizierungsvorlagen (die z. B. einer Referenzszene entsprechen, die zu der aktuellen Szene passt), welcher beispielsweise einen oder mehrere erwartete Stellen, Größen, Ausrichtungen usw. aufweist, um zu ermitteln, welche Referenzmarkenidentifizierung mit dem Interessenbereich übereinstimmt (Block 804). Ein auf der Grundlage eines Vorlagenabgleichs beruhendes beispielhaftes Verfahren für den Abgleich von Markenidentifizierungen, das zur Implementierung der Verarbeitung bei Block 804 verwendet werden kann, ist oben in Verbindung mit 4 dis kutiert. Wenn die bei Block 801 erhaltene Szenenklassifizierung anzeigt, dass die Szene eine neue Szene ist, können zusätzlich die bei Block 804 verwendeten Vergleichsparameter für das Abgleichsverfahren für Markenidentifizierungen weniger streng angelegt/definiert werden, um Markenidentifizierungen zu erhalten, die dem verglichenen Interessenbereich ähnlich sind, jedoch nicht notwendigerweise mit ihm übereinstimmen.
Als nächstes gibt die beispielhafte Markenerkennungsvorrichtung 254 die Referenzmarkenidentifizierung zurück, der mit dem untersuchten Interessenbereich übereinstimmt (oder ihm sehr stark ähnelt) (Block 806). Falls ein Interessenbereich nicht für die Markenexpositionsanzeige untersucht wurde (Block 808), geht die Steuerung zu Block 802 zurück, um den nächsten Interessenbereich zu verarbeiten. Wenn jedoch sämtliche Interessenbereiche analysiert wurden (Block 808), endet die Ausführung der beispielhaften maschinenlesbaren Anweisungen 800.
Bezug nehmend auf 8B beginnt die Ausführung der beispielhaften maschinenlesbaren Anweisungen 850 mit einer Markenerkennungsvorrichtung wie die beispielhafte Markenerkennungsvorrichtung 254, die Information über einen oder mehrere Interessenbereiche und über eine oder mehrere entsprechende, darin detektierte Markenidentifizierungen beispielsweise von der beispielhaften Szenenerkennungsvorrichtung 252, der beispielhaften GUI 152, der Verarbeitung bei Block 625 von 6B und/oder der Verarbeitung bei Block 734 von 7C erhält (Block 852). Die beispielhafte Markenerkennungsvorrichtung 254 erhält dann aus der/den detektierten, bei Block 852 erhaltenen Markenidentifizierung(en) die zu untersuchenden nächsten detektierten Markenidentifizierung (Block 854). Als nächstes werden eine oder mehrere Datenbasen (z. B. die Datenbasis für erlerntes Wissen 264 2, die Markenbibliothek 266 von 2, usw.) nach Information bezüglich der detektierten Markenidentifizierung abgefragt (Block 856). Die Markenidentifizierungsdaten können, ohne darauf beschränkt zu sein, interne Identifizierungen, Namen von Rechtspersönlichkeiten (z. B. Unternehmen, Einzelpersonen usw.), denen die den Markenidentifizierungen zugeordneten Marken gehören, Markennamen, Produktnamen, Dienstleistungsbezeichnungen usw. umfassen.
Als nächstes werden die Charakteristika einer in einem Interessenbereich der Szene detektierten Markenidentifizierung aus der bei Block 852 erhaltenen Information erhalten (Block 858). Als nächstes erhält die beispielhafte Markenerkennungsvorrichtung 254 die Charakteristika der der detektierten Markenidentifizierung entsprechenden Referenzmarkenidentifizierung und vergleicht die Charakteristika der detektierten Markeniden tifizierung mit den Charakteristika der Referenzmarkenidentifizierung (Block 860). Die Charakteristika der Markenidentifizierung können, ohne darauf beschränkt zu sein, Lage, Größe, Textur, Farbe, Qualität, Expositionsdauer usw. umfassen. Der Vergleich bei Block 860 erlaubt der beispielhaften Markenerkennungsvorrichtung 254, zeitliche Änderungen der Charakteristika von Markenidentifizierungen zu detektieren und/oder anzuzeigen. Nach Abschluss der Verarbeitung bei Block 860 werden die bei Block 856 abgerufene Identifikationsinformation der detektierten Markenidentifizierung, die bei Block 858 ermittelten Charakteristika der detektierten Markenidentifizierung und/oder die bei Block 860 detektierten Änderungen der Markenidentifizierung in einer oder mehreren Datenbasen (z. B. in der Markenexpositions-Datenbasis 155 von 1) zur Berichterstellung und/oder zur weiteren Untersuchung gespeichert (Block 812). Falls dann ein Interessenbereich noch nicht für die Markenexpositionsanzeige untersucht wurde (Block 814), geht die Steuerung zu Block 854 zurück, um den nächsten Interessenbereich zu verarbeiten. Wenn alle Interessenbereiche analysiert wurden, endet dann die Ausführung der beispielhaften maschinenlesbaren Anweisungen 850.
9 ist eine schematische Darstellung einer beispielhaften Prozessorplattform 900, die die hier offenbarten Vorrichtungen und Verfahren zu implementieren vermag. Die beispielhafte Prozessorplattform 900 kann beispielsweise ein Server, ein Personal Computer (PC), ein Personal Digital Assistant (PDA), eine Internetvorrichtung, ein DVD-Player, ein CD-Player, ein digitaler Videorecorder, ein persönlicher Personal Videorecorder, eine Set-Top-Box oder ein anderer Typ von Computervorrichtung sein.
Die Prozessorplattform 900 des Beispiels von 9 umfasst wenigstens einem programmierbaren Universalprozessor 905. Der Prozessor 905 führt im Hauptspeicher des Prozessors 905 (z. B. in einem RAM 915 und/oder einem ROM 920) vorhandene kodierte Anweisungen 910 und/oder 912 aus. Der Prozessor 905 kann ein Typ einer Verarbeitungseinheit sein wie zum Beispiel ein Prozessorkern, ein Prozessor und/oder ein Mikrocontroller. Der Prozessor 905 kann unter Anderem die beispielhaften maschinenlesbaren Anweisungen von 6A–6B, 7A–7C, und/oder 8A–8B ausführen, um alle oder wenigstens Teil der beispielhaften Markenexpositionsüberwachungsvorrichtung 150, der beispielhaften GUI 152, der beispielhaften Szenenerkennungsvorrichtung 252, der beispielhaften Markenerkennungsvorrichtung 254 usw. zu implementieren.
Der Prozessor 905 steht über einen Bus 925 mit dem Hauptspeicher (einschließlich eines ROM 920 und/oder des RAM 915) in Verbindung. Das RAM 915 kann mittels DRAM, SDRAM und/oder einen anderen Typ von RAM-Vorrichtung implementiert sein, das ROM kann mittels eines Flash-Speichers und/oder eines anderen gewünschten Speichervorrichtungstyps implementiert sein. Zugriff auf den Speicher 915 und 920 kann durch einen Speicher-Controller (nicht dargestellt) gesteuert werden. Das RAM 915 und/oder eine andere in der beispielhaften Prozessorplattform 900 enthaltene Speichervorrichtung kann zur Speicherung und/oder Implementierung beispielsweise der beispielhaften Markenexpositionsdatenbasis 155, der beispielhaften Szenendatenbasis 262, der beispielhaften Datenbasis für erlerntes Wissen 264 und/oder der beispielhaften Markenbibliothek 266 eingesetzt werden.
Die Prozessorplattform 900 umfasst auch einen Schnittstellenschaltkreis 930. Der Schnittstellenschaltkreis 930 kann mittels eines Typ Schnittstellenstandards implementiert sein, wie eine USB-Schnittstelle, eine Bluetooth-Schnittstelle, eine Schnittstelle für externe Speicher, einen seriellen Anschluss, einen Universaleingang/-ausgang usw. Eine oder mehrere Eingabevorrichtungen 935 und eine oder mehrere Ausgabevorrichtungen 940 sind mit dem Schnittstellenschaltkreis 930 verbunden. Der Schnittstellenschaltkreis 930 kann beispielsweise mit einer geeigneten Eingabevorrichtung 935 verbunden sein, um den beispielhaften Medienstream 160 zu empfangen. Zusätzlich dazu oder alternativ kann der Schnittstellenschaltkreis 930 mit einer geeigneten Ausgabevorrichtung 940 verbunden sein, um die Ausgabevorrichtung 270 und/oder die GUI 152 zu implementieren.
Die Prozessorplattform 900 umfasst auch eine oder mehrere Massenspeichervorrichtungen 945 zur Speicherung von Software und Daten. Beispiele für solche Massenspeichervorrichtungen 945 sind Floppy-Disk-Laufwerke, Festplatten-Laufwerke, Compact-Disk-Laufwerke und Digital-Versatile-Disk-(DVD)-Laufwerke. Die Massenspeichervorrichtung 945 kann beispielsweise die beispielhafte Markenexpositionsdatenbasis 155, die beispielhafte Szenendatenbasis 262, die beispielhafte Datenbasis für erlerntes Wissen 264 und/oder die beispielhafte Markenbibliothek 266 implementieren.
Als Alternative zur Implementierung der hier beschriebenen Verfahren und/oder Vorrichtungen in einem System, wie in der in 9 dargestellten Vorrichtung, können die hier beschriebenen Verfahren und/oder Vorrichtungen in eine Struktur wie zum Beispiel ein Prozessor oder ein ASIC (Application Specific Integrated Circuit, anwendungsspezifischen integrierten Schaltkreis) eingebettet werden.
Abschließend ist zu sagen, dass hier zwar bestimmte beispielhafte Verfahren, Vorrichtungen und Herstellungsgegenstände beschrieben sind, der Umfang des Geltungsbereichs dieses Patents jedoch nicht darauf beschränkt ist. Im Gegenteil, dieses Patent deckt alle Verfahren, Vorrichtungen und Herstellungsgegenstände ab, die entweder wörtlich, buchstäblich oder im Äquivalenzbereich wohl in den Umfäng der beigefügten Ansprüche fallen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

- „Fast Normalized Cross Correlation" von J. P. Lewis [0065]
- http://www.idiom.com/–zillalWork/nvisionlnterface/nip.pdf (abgerufenen am 24. Oktober 2007) [0065]

Claims

Verfahren zur Ermittlung von Markenexposition in Medieninhalt, wobei das Verfahren umfasst: ermitteln, ob eine aus einem dem Medieninhalt entsprechenden Medienstream detektierte Szene einer Referenzszene entspricht, identifizieren eines erwarteten Interessenbereichs in der detektierten Szene auf der Grundlage von Information, die die Referenzszene beschreibt, wenn: (a) ermittelt wird, dass die detektierte Szene der Referenzszene entspricht, und (b) die Referenzszene nicht als Szene ohne Interesse spezifiziert ist, und ermitteln, ob eine der Referenzszene zugeordnete Referenzmarkenidentifizierung in dem erwarteten in der detektierten Szene identifizierten Interessenbereich enthalten ist.
Verfahren nach Anspruch 1, wobei die Referenzszene einer zuvor detektierten Szene entspricht und die Referenzmarkenidentifizierung einer in einer zuvor detektierten Szene enthaltenen Markenidentifizierung entspricht.
Verfahren nach Anspruch 1, wobei die Referenzszene einer bekannten, in einer Referenzszenenbibliothek gespeicherten Szene entspricht und die Referenzmarkenidentifizierung einer in einer Bibliothek bekannter Markenidentifizierungen gespeicherten bekannten Markenidentifizierung entspricht.
Verfahren nach Anspruch 1, ferner umfassend, den Medienstream in eine Gruppe aufeinander folgender detektierter Szenen zu unterteilen.
Verfahren nach Anspruch 1, ferner umfassend, die detektierte Szene auszuschließen, wenn Charakteristika der detektierten Szene angeben, dass gemäß des Fachwissens, das dem dem Medienstream entsprechenden Medieninhalt zugeordnet ist, keine Markenidentifizierungen in der detektierten Szene enthalten sind.
Verfahren nach Anspruch 1, ferner umfassend, einer Folge benachbarter Videobildframes zu identifizieren, die im Wesentlichen vergleichbare Charakteristika haben, und wobei die detektierte Szene die identifizierte Folge benachbarter Videobildframes mit im Wesentlichen vergleichbaren Charakteristika umfasst.
Verfahren nach Anspruch 6, wobei festgelegt wird, dass die Folge benachbarter Videobildframes im Wesentlichen vergleichbare Charakteristika aufweist, wenn die Folge benachbarter Videobildframes zusammen betrachtet vergleichbare Kamera-Parameter aufweist.
Verfahren nach Anspruch 6, wobei festgelegt wird, dass die Folge benachbarten Videobildframes im Wesentlichen vergleichbare Charakteristika aufweist, wenn die Folge benachbarter Videobildframes zusammen betrachtet einen statistisch stationären Hintergrund aufweist.
Verfahren nach Anspruch 6, wobei das Identifizieren der Folge benachbarter Videobildframes umfasst, die Videobildframes angebende Signaturen mit einer die detektierte Szene angebenden Schlüsselsignatur zu vergleichen, um zu ermitteln, wenn im Medienstream eine Szenenänderung stattfindet.
Verfahren nach Anspruch 9, wobei die Schlüsselsignatur eine erste Schlüsselsignatur ist, und das ferner umfasst, zu ermitteln, ob ein spezieller Videobildframe in der Folge von Videobildframes einem Anfangsvideobildframe in der Folge von Videobildframes, die die detektierte Szene umfassen, entspricht, wenn eine dem speziellen Videobildframe entsprechende Signatur sich von einer zweiten Schlüsselsignatur, die eine unmittelbar vorhergehende detektierte Szene angibt, auf der Grundlage eines Grenzwerts unterscheidet.
Verfahren nach Anspruch 9, ferner umfassend, zu ermitteln, ob ein spezieller Videobildframe in der Folge von Videobildframes einem Endvideobildframe in der Folge von Videobildframes entspricht, die die detektierte Szene umfassen, wenn sich eine Signatur, die einem relativ zu dem speziellen Videobildframe unmittelbar vorhergehenden Videobildframe entspricht, von der Schlüsselsignatur auf der Grundlage eines Grenzwerts unterscheidet.
Verfahren nach Anspruch 9, wobei die Schlüsselsignatur einem Schlüsselvideobildframe entspricht, der wenigstens einen von einem Anfangsvideoeinzelbild einem mittleren Videobildframe oder einem Endvideobildframe in der Folge von Videobildframes um fasst.
Verfahren nach Anspruch 9, wobei die Schlüsselsignatur eine statistische Kombination mehrerer Signaturen umfasst, die mehreren Videobildframes in der Folge von Videobildframes entsprechen.
Verfahren nach Anspruch 9, wobei jede der Mehrzahl an Signaturen einem Histogramm von wenigstens einem von Luminanzwerten oder Chrominanzwerte entspricht, die einem entsprechenden Videobildframe zugeordnet sind.
Verfahren nach Anspruch 6, ferner umfassend einen Schlüsselframe zu ermitteln, der die identifizierte Folge von Videobildframes angibt, die die detektierte Szene umfassen.
Verfahren nach Anspruch 15, wobei der Schlüsselbildframe wenigstens einen von einem Anfangsvideobildframe einem mittleren Videobildframe oder einem Endvideobildframe in der Folge von Videobildframes umfasst.
Verfahren nach Anspruch 15, wobei der Schlüsselbildframe eine statistische Kombination einer Mehrzahl von Videobildframe in der Folge von Videobildframes umfasst.
Verfahren nach Anspruch 1, wobei das Ermitteln, ob die detektierte Szene mit der Referenzszene übereinstimmt, umfasst, die detektierte Szene angebende Schlüsselsignatur mit einer die Referenzszene angebenden Schlüsselsignatur zu vergleichen, wobei der Vergleich auf einem Grenzwert beruht.
Verfahren nach Anspruch 18, wobei der Grenzwert ein erster Grenzwert, der sich von einem zweiten Grenzwert unterscheidet, ist, der verwendet wird, um einer Folge von Videobildframes entsprechende Signaturen zu vergleichen, um zu ermitteln, ob wenigstens ein Teil der Folge von Videobildframes die detektierte Szene bildet.
Verfahren nach Anspruch 1, ferner umfassend, die die Referenzszene beschreibenden Information abzurufen, wenn ermittelt wird, dass die detektierte Szene mit der Referenzszene übereinstimmt, wobei die Information spezifiziert, dass die Referenzszene wenigstens eine einer Szene von Interesse oder einer Szene ohne Interesse ist.
Verfahren nach Anspruch 20, wobei die Referenzszene einer Szene von Interesse entspricht, wenn bereits früher ermittelt wurde, dass die Referenzszene wenigstens eine Markenidentifizierung enthält.
Verfahren nach Anspruch 1, wobei die Referenzszene einer Szene ohne Interesse entspricht, wenn bereits früher ermittelt wurde, dass die Referenzszene keine Markenidentifizierungen enthält.
Verfahren nach Anspruch 1, ferner umfassend, einen Benutzer aufzufordern, in der detektierten Szene enthaltene Markenidentifizierungen zu spezifizieren, wenn ermittelt wird, dass die der Referenzszene zugeordnete Referenzmarkenidentifizierung nicht im erwarteten Interessenbereich enthalten ist.
Verfahren nach Anspruch 1, ferner umfassend, einen Benutzer aufzufordern Markenidentifizierungen zu spezifizieren, die in einem die detektierte Szene angebenden Videoschlüsselbildframe enthalten sind, wenn ermittelt wird, dass die detektierte Szene nicht mit der Referenzszene übereinstimmt.
Verfahren nach Anspruch 24, ferner umfassen, den Benutzer aufzufordern, zu spezifizieren, ob die detektierte Szene eine Szene von Interesse ist, wobei die detektierte Szene standardmäßig als Szene ohne Interesse bezeichnet wird, wenn innerhalb eines vorbestimmten Zeitintervalls keine Spezifizierung von dem Benutzer erhalten wird.
Verfahren nach Anspruch 25, ferner umfassend, den Benutzer aufzufordern, einen Titel für die detektierte Szene einzugeben, um zu spezifizieren, dass die detektierte Szene eine Szene von Interesse ist.
Verfahren nach Anspruch 24, ferner umfassend, den Benutzer aufzufordern, eine Markenidentifizierung zu spezifizieren, der in dem die detektierte Szene angebenden Schlüsselvideobildframe enthalten ist, wenn die detektierte Szene mit allen verfügbaren Refe renzszenen nicht übereinstimmt.
Verfahren nach Anspruch 1, ferner umfassend, einen Benutzer aufzufordern, eine in der detektierten Szene enthaltene Markenidentifizierung zu spezifizieren, wenn ermittelt wird, dass wenigstens eine der der Referenzszene zugeordneten Referenzmarkenidentifizierungen nicht in dem erwarteten Interessenbereich enthalten ist, oder wenn ermittelt wird, dass die detektierte Szene nicht mit der Referenzszene übereinstimmt, und den Benutzer in die Lage zu versetzen, einen neuen Interessenbereich zu spezifizieren, der wenigstens eine Markenidentifizierung in einem die detektierte Szene angebenden Schlüsselvideobildframe enthalten ist.
Verfahren nach Anspruch 28, ferner umfassend, zu ermitteln, ob die detektierte Szene einer Szene ohne Interesse entspricht, wenn vom Benutzer keine neuen Interessenbereiche identifiziert werden.
Verfahren nach Anspruch 28, umfassend, ferner wenigstens einen neuen, vom Benutzer spezifizierten Interessenbereich über die Videobildframes zu verfolgen, die die detektierte Szene umfassen, um zu ermitteln, ob sich ein verdeckter Bereich ändert und/oder verkleinert und, wenn sich der verdeckte Bereich ändert und/oder verkleinert, wenigstens einen zusammengesetzten Interessenbereich oder eine zusammengesetzte Referenzmarkenidentifizierungsvorlage festzulegen, die wenigstens Teile des wenigstens einen neuen Interessenbereichs und wenigstens Teile der Videobildframes umfasst, für die ermittelt wurde, dass sich der verdeckte Bereich geändert und/oder verkleinert hat.
Verfahren nach Anspruch 28, ferner umfassend: Erstellen einer Mehrzahl von Vorlagen, die wenigstens einem von unterschiedlichen Größen, unterschiedlichen Perspektiven oder unterschiedlichen Ausrichtungen einer neuen vom Benutzer spezifizierten Markenidentifizierung entsprechen; und Speichern der erstellten Vorlagen zur Verwendung beim Ermitteln, ob die spezifizierte neue Markenidentifizierung in einer nachfolgenden detektierten Szene enthalten ist.
Verfahren nach Anspruch 28, umfassend: Anzeigen des Schlüsselvideobildframes, der die detektierten Szene angibt, den Benut zer, Auffordern des Benutzers, wenigstens einen neuen, der detektierten Szene erhaltenen Interessenbereich zu spezifizieren, Verarbeiten eines oder mehrerer vom Benutzer eingegebener Befehle, um den wenigstens einen neuen, der detektierten Szene enthaltenen Interessenbereich zu spezifizieren, und Akzeptieren vom Benutzer eingegebener beschreibender Information, um wenigstens eine neuen Markenidentifizierung oder eine zuvor ermittelte Markenidentifizierung zu identifizieren, für den ermittelt wird, dass er in dem spezifizierten wenigstens einen neuen Interessenbereich enthalten ist.
Verfahren nach Anspruch 32, wobei Referenzmarkenidentifizierung eine erste Referenzmarkenidentifizierung ist, und ferner umfassend, eine zweite Referenzmarkenidentifizierung dem Benutzer auf der Grundlage eines Vergleichs des spezifizierten wenigstens einen neuen Interessenbereichs mit einer Mehrzahl verfügbarer Referenzmarkenidentifizierungen anzuzeigen.
Verfahren nach Anspruch 1, wobei die Referenzszene eine erste Referenzszene und die Information eine erste Information ist, und ferner umfassend, die detektierte Szene angebende zweite Information zu speichern, um zu ermöglichen, dass die detektierte Szene bei einem nachfolgenden Szenenabgleichsversuch eine zweite Referenzszene ist.
Verfahren nach Anspruch 34, wobei die zweite Information mittels einer grafischen Benutzerschnittstelle-(GUI)-Sitzung erhalten wird.
Verfahren nach Anspruch 1, ferner umfassend, die detektierte Szene als wenigstens eine von einer Szene ohne Interesse, einer Szene von Interesse, einer Szene von geändertem Interesse oder einer neuen Szene zu kennzeichnen.
Verfahren nach Anspruch 1, ferner umfassend, den erwarteten Interessenbereich über die Videobildframes zu verfolgen, die die detektierte Szene umfassen, wenn ermittelt wird, dass die Referenzmarkenidentifizierung in dem erwarteten Interessenbereich enthalten ist.
Verfahren nach Anspruch 37, wobei die Verfolgung des erwarteten Interessenbereichs umfasst, eine Umgebung einschließlich des erwarteten Interessenbereichs in einem die detektierte Szene angebenden Schlüsselbildframe mit vergleichbaren Umgebungen in wenigstens einigen der die detektierte Szene umfassenden Videobildframes zu vergleichen, um wenigstens einen Erscheinungsbildparameter zu ermitteln, der eine Anzeige der Referenzmarkenidentifizierung über die Videobildframes, die die detektierte Szene umfassen, charakterisiert.
Verfahren nach Anspruch 38, wobei der wenigstens eine Erscheinungsbildparameter wenigstens eines einer Lage, einer Größe, einer Übereinstimmungsqualität oder einer visuellen Qualität der Referenzmarkenidentifizierung umfasst.
Verfahren nach Anspruch 37, ferner umfassend, die Verfolgung nicht fortzusetzen, wenn ein Endvideobildframe der detektierten Szene mit dem Schlüsselbildframe verglichen wird und/oder die Referenzmarkenidentifizierung nicht in einer Anzahl von Bildframes, die die detektierte Szene umfassen, detektiert wird.
Verfahren nach Anspruch 1, wobei die Bestimmung, ob die der Referenzszene zugeordnete Markenidentifizierung in dem erwarteten in der detektierten Szene identifizierten Interessenbereich enthalten ist, umfasst, den erwarteten Interessenbereich mit einer Mehrzahl von Vorlagen zu vergleichen, die die Referenzmarkenidentifizierung angeben.
Verfahren nach Anspruch 41, wobei die Mehrzahl von Vorlagen wenigstens einem von unterschiedlichen Größen, unterschiedlichen Perspektiven oder unterschiedlichen Ausrichtungen der Referenzmarkenidentifizierung entspricht.
Verfahren nach Anspruch 41, wobei der Vergleich des erwarteten Interessenbereichs mit der Mehrzahl von Vorlagen umfasst, ein Vorlagenabgleich auf der Basis von im erwarteten Interessenbereich vorhandenen Luminanzwerten und/oder Chrominanzwerten und der Mehrzahl von Vorlagen durchzuführen.
Herstellungsgegenstand, der maschinenlesbaren Anweisungen, die, wenn sie ausgeführt werden, bewirken, dass eine Maschine: Ermittelt, ob eine in einem den Medieninhalten entsprechenden Medienstream enthaltene Szene einer Referenzszene entspricht; einen erwarteten Interessenbereich in der detektierten Szene auf der Grundlage der Information identifiziert, die die Referenzszene beschreibt, wenn: (a) ermittelt wird, dass die detektierte Szene mit der Referenzszene übereinstimmt und (b) die Referenzszene nicht als Szene ohne Interesse spezifiziert ist; und ermittelt, ob eine der Referenzszene zugeordnete Markenidentifizierung in dem erwarteten, in der detektierten Szene identifizierten Interessenbereich enthalten ist.
Herstellungsgegenstand nach Anspruch 44, wobei die detektierte Szene eine Folge benachbarter Videobildframes mit im Wesentlichen vergleichbaren Charakteristika umfasst, und wobei die maschinenlesbaren Anweisungen bei Ausführung ferner bewirken, dass die Maschine die detektierte Szene durch Vergleich einer Mehrzahl Signaturen, die eine entsprechende Mehrzahl von Videobildframes angeben, die den Medienstream umfassend mit einer die detektierten Szene angebenden Schlüsselsignatur detektiert, um zu ermitteln, wenn im Medienstream eine Änderung der Szene stattfindet.
Herstellungsgegenstand nach Anspruch 44, wobei die maschinenlesbaren Anweisungen bei Ausführung ferner bewirken, dass die Maschine ermittelt, ob die detektierte Szene mit der Referenzszene übereinstimmend, indem eine die detektierte Szene angebende Schlüsselsignatur mit einer die Referenzszene angebenden Referenzsignatur verglichen wird, wobei der Vergleich auf einem Grenzwert basiert.
Herstellungsgegenstand nach Anspruch 44, wobei die maschinenlesbaren Anweisungen bei Ausführung ferner bewirken, dass die Maschine einen Benutzer auffordern, eine in der detektierten Szene enthaltenene Markenidentifizierung zu spezifizieren, wenn ermittelt wird, dass wenigstens eine der der Referenzszene zugeordneten Referenzmarkenidentifizierungen nicht im erwarteten Interessenbereich enthalten ist, oder wenn ermittelt wird, dass die detektierte Szene nicht mit der Referenzszene übereinstimmt, und dem Benutzer ermöglicht, einen neuen Interessenbereich mit wenigstens einer Markenidentifizierung in einem die detektierte Szene angebenden Schlüsselvideobildframe zu spezifizieren.
Herstellungsgegenstand nach Anspruch 47, wobei die maschinenlesbaren Anweisungen bei Ausführung ferner bewirken, dass die Maschine: eine Mehrzahl von Vorlagen erstellt, die wenigstens eines von unterschiedlichen Größen, unterschiedlichen Perspektiven oder unterschiedlichen Ausrichtungen einer neuen, vom Benutzer spezifizierten Markenidentifizierung entsprechen; und die erstellten Vorlagen zur Verwendung bei der Ermittlung, ob die spezifizierte neue Markenidentifizierung in einer nachfolgenden detektierten Szene enthalten ist, speichert.
Herstellungsgegenstand nach Anspruch 44, wobei die Referenzszene eine erste Referenzszene ist und die Information eine erste Information ist, und wobei die maschinenlesbaren Anweisungen bei Ausführung bewirken, dass die Maschine die detektierte Szene angebende zweite Information speichert, um zu ermöglichen, dass die detektierte Szene bei einem nachfolgenden Szenenabgleichsversuch eine zweite Referenzszene ist.
Herstellungsgegenstand nach Anspruch 44, wobei die maschinenlesbaren Anweisungen bei Ausführung ferner bewirken, dass die Maschine den erwarteten Interessenbereich über die Videobildframes hinweg verfolgt, die die detektierte Szene umfassen, wenn ermittelt wird, dass die Referenzmarkenidentifizierung in dem erwarteten Interessenbereich enthalten ist.
Herstellungsgegenstand nach Anspruch 44, wobei die maschinenlesbaren Anweisungen bei Ausführung bewirken, dass die Maschine ermittelt, ob die der Referenzszene zugeordnete Referenzmarkenidentifizierung in dem erwarteten in der detektierten Szene identifizierten Interessenbereich enthalten ist, indem der erwartete Interessenbereich mit einer Mehrzahl von Vorlagen verglichen wird, die die Referenzmarkenidentifizierung angeben.
Vorrichtung zur Erfassung von mittels eines Medienstreams bereitgestelltem Medieninhalt zugeordneter Markenexposition, wobei die Vorrichtung umfasst: eine Szenenerkennungsvorrichtung mit: einem Szenendetektor zur Teilung des Medienstreams in eine Mehrzahl detektierter Szenen, wobei jede detektierte Szene eine Folge von Bildframes mit im Wesentlichen vergleichbaren Signaturen umfasst; und einer Szenenklassifizierungsvorrichtung zum Vergleich einer detektierten Szene in der Mehrzahl detektierter Szenen mit einer Mehrzahl von Referenzszenen, um auf der Grundlage von gespeicherter, einer passenden Referenzszene zugeordneten Information zu ermitteln, ob die detektierte Szene als Szene von Interesse oder als Szene ohne Interesse zu klassifizieren ist; und eine Markenerkennungsvorrichtung mit: einem Interessenbereichsdetektor zur Identifizierung eines erwarteten Interessenbereichs in der detektierten Szene ausgehend von der gespeicherten, der passenden Referenzszene zugeordneten Information, wenn die Szenenerkennungsvorrichtung die detektierte Szene als Szene von Interesse klassifiziert; und einer Markenidentifizierungsabgleichsvorrichtung zum Vergleich des erwarteten, in der festgestellten Szene identifizierten Interessenbereichs mit einer Mehrzahl von Vorlagen, die einer Referenzmarkenidentifizierung entsprechen, um zu ermitteln, ob die Referenzmarkenidentifizierung im erwarteten Interessenbereich präsentiert wird.
Vorrichtung nach Anspruch 52, ferner einen Signaturgenerator umfassend, zur Ermittlung von Signaturen, die Bildframes angeben, die dem Medienstream entsprechen, wobei die Signaturen Histogramme von Luminanzwerten und/oder Chrominanzwerten in den Bildframes umfassen, und der Szenedetektor konfiguriert, um zu ermitteln, ob die ersten oder zweiten Bildframes im Wesentlichen vergleichbare Signaturen aufweisen, durch Berechnung von Differenzen zwischen Histogrammwerten einer den ersten Bildframe angebenden ersten Signatur und entsprechenden Histogrammwerten einer den zweiten Bildframe angebenden zweiten Signatur; Vergleich einer Summe der berechneten Differenzen mit einem ersten Grenzwert; Ermittlung, dass die ersten und zweiten Bildframes im Wesentlichen vergleichbare Signaturen aufweisen, wenn die Summe innerhalb des ersten Grenzwerts liegt.
Vorrichtung nach Anspruch 53, wobei der Szenedetektor ferner konfiguriert, um eine die detektierte Szene angebende Schlüsselsignatur zu ermitteln, und wobei die Szenenklassifizierungsvorrichtung ferner konfiguriert ist, um: eine Mehrzahl von Differenzen zwischen der Schlüsselsignatur und einer die Mehrzahl von Referenzszenen angebenden Mehrzahl von Referenzsignaturen zu ermitteln; und zu ermitteln, ob die detektierte Szene mit wenigstens einer der Referenzszenen übereinstimmt, auf der Grundlage eines Vergleichs der Mehrzahl ermittelten Differenzen mit einem sich von ersten Grenzwert unterscheidenden zweiten Grenzwert.
Vorrichtung nach Anspruch 52, wobei die Szenenklassifizierungsvorrichtung ferner konfiguriert ist, um die detektierte Szene wenigstens als eine der folgenden zu klassifizieren: als Szene ohne Interesse, wenn ermittelt wird, dass die detektierte Szene mit einer vorher als Szene ohne Interesse klassifizierten ersten Referenzszene übereinstimmt; als Szene von Interesse, wenn ermittelt wird, dass die detektierte Szene mit einer vorher als Szene von Interesse klassifizierten zweiten Referenzszene übereinstimmt; oder als neue Szene, wenn die detektierte Szene mit keiner der Mehrzahl von Referenzszenen übereinstimmt.
Vorrichtung nach Anspruch 55, ferner eine grafische Benutzerschnittstelle (GUI) umfassend, um einem Benutzer eine weitere Klassifizierung der festgestellten Szene zu ermöglichen, wenn die Szenenklassifizierungsvorrichtung die detektierte Szene als neue Szene klassifiziert.
Vorrichtung nach Anspruch 56, wobei die GUI dazu dient, die detektierte Szene und die weitere vom Benutzer bereitgestellte Klassifizierung zur Verwendung durch die Szenenklassifizierungsvorrichtung für die Klassifizierung einer nachfolgenden detektierten Szene in der Mehrzahl detektierter Szenen speichert.
Vorrichtung nach Anspruch 55, ferner eine GUI umfassend, um einem Benutzer zu ermöglichen, einen neuen Interessenbereichs in der detektierten Szene zu spezifizieren, wenn die Szenenklassifizierungsvorrichtung die detektierte Szene als neue Szene klassifiziert.
Vorrichtung nach Anspruch 58, wobei die detektierte Szene eine erste detektierte Szene ist, und die GUI den spezifizierten neuen Interessenbereich zur Verwendung durch den Interessenbereichdetektor zur Identifizierung des spezifizierten neuen Interessenbereichs in einer nachfolgenden zweiten detektierten Szene in der Mehrzahl detektierter Szenen speichert, wenn die Szenenklassifizierungsvorrichtung ermittelt, dass die zweite detek tierte Szene mit der ersten detektierten Szene übereinstimmt.
Vorrichtung nach Anspruch 58, wobei die GUI dazu dient, einem Benutzer die Identifizierung einer neuen Markenidentifizierung im spezifizierten Interessenbereich zu ermöglichen.
Vorrichtung nach Anspruch 60, wobei die detektierte Szene eine erste detektierte Szene, die Mehrzahl von Vorlagen eine erste Mehrzahl von Vorlagen ist und die GUI dazu dient, eine zweite Mehrzahl von Vorlagen zu speichern, die wenigstens einem von unterschiedlichen Größen, unterschiedlichen Perspektiven oder unterschiedlichen Ausrichtungen der neuen Markenidentifizierung entsprechen, zur Verwendung von der Markenidentifizierungsabgleichsvorrichtung zur Identifizierung der neuen Markenidentifizierung in einer nachfolgenden zweiten detektierten Szene in der Mehrzahl detektierter Szenen, wenn die Szenenklassifizierungsvorrichtung ermittelt, dass die zweite detektierte Szene mit der ersten detektierten Szene übereinstimmt.
Vorrichtung nach Anspruch 52, wobei die Mehrzahl von Vorlagen wenigstens einen von unterschiedlichen Größen, unterschiedlichen Perspektiven oder unterschiedlichen Ausrichtungen der Referenzmarkenidentifizierung entspricht.
Vorrichtung nach Anspruch 52, wobei die Markenerkennungsvorrichtung ferner ein Verfolgungsmodul zur Verfolgung des erwarteten Interessenbereichs über wenigstens einige der Folge von Bildframes umfasst, die die detektierte Szene umfassen, wenn ermittelt wird, dass die Markenidentifizierung im erwarteten Interessenbereich vorhanden ist.
Vorrichtung nach Anspruch 63, wobei das Verfolgungsmodul konfiguriert ist, um eine Umgebung, die den erwarteten Interessenbereich in einem für die detektierte Szene angebenden Schlüsselbildframe umfasst, mit vergleichbaren Umgebungen in wenigstens einigen der Folge der Bildframes, die die detektierte Szene umfassen, zu vergleichen, um wenigstens einen Erscheinungsbildparameter zu ermitteln, der eine Anzeige der Referenzmarkenidentifizierung über Folge von Bildframes charakteristiert, die die detektierte Szene umfassen.
Vorrichtung nach Anspruch 64, wobei der wenigstens eine Erscheinungsbildparameter wenigstens eines einer Lage, einer Größe, einer Übereinstimmungsqualität oder einer visuellen Qualität der Referenzmarkenidentifizierung umfasst.
Vorrichtung nach Anspruch 52, wobei die Szenenerkennungsvorrichtung ferner eine Szenenausschlussvorrichtung zum Ausschluss der detektierten Szene umfasst, wenn die Charakteristika der detektierten Szene angeben, dass gemäß dem vom Medienstream bereitgestellten Medieninhalt zugeordneten Fachwissen keine Markenidentifizierungen in der detektierten Szene enthalten sind.
System zur Erfassung von Medieninhalt zugeordneter Markenexposition, wobei das System umfasst: eine Markenexpositionsüberwachungsvorrichtung zur Ermittlung von Markenidentifizierungsinformation, die in erwarteten Interessenbereichen der detektierten Szenen des Medieninhalts eingebetteten Markenidentifizierungen angibt, wobei ein erwarteter Interessenbereich in einer detektierten Szene auf der Grundlage eines Vergleichs der detektierten Szene mit einer Mehrzahl von Referenzszenen zur Klassifizierung der detektierten Szene identifiziert wird; und ein Zuschauererfassungssystem zur Ermittlung von Zuschauerexpositionsinformation, die Zuschauerexposition des Medieninhalts erfasst, und zur Kombination der eingebetteten Markenidentifizierungsinformation und Zuschauerexpositionsinformation, eine Markenexpositionsinformation zu ermitteln, die Zuschauerexposition gegenüber den Markenidentifizierungen erfasst.
System nach Anspruch 67, wobei die Zuschauerexpositionsinformation einen statistischen Wert umfasst, der die Anzahl von wenigstens einer Markenidentifizierung exponierten Zuschauer angibt.
System nach Anspruch 67, wobei die Markenexpositionsüberwachungsvorrichtung automatisch: eine detektierte Signatur für die detektierte Szene ermittelt; die detektierte Signatur mit einer Mehrzahl von Referenzsignaturen vergleicht, die jeweils der Mehrzahl von Referenzszenen entsprechen; die detektierte Szene gemäß einer vorab bestimmten Klassifizierung einer passenden Referenzszene, die der passenden Referenzsignatur entspricht, klassifiziert, wenn die detektierte Signatur mit einer Referenzsignatur übereinstimmt; den erwarteten Interessenbereich in der detektierten Szene auf der Grundlage eines der passenden Referenzszene zugeordneten Referenzinteressenbereichs identifiziert, wenn die Markenexpositionsüberwachungsvorrichtung die detektierte Szene als Szene von Interesse klassifiziert; und den erwarteten Interessenbereich in der detektierten Szene mit einer Mehrzahl von Vorlagen vergleicht, die einer Referenzmarkenidentifizierung entsprechen, der einem Referenzinteressenbereich zugeordnet in der passenden Referenzszene ist, um zu ermitteln, ob die Referenzmarkenidentifizierung in die detektierte Szene eingebettet ist.
System nach Anspruch 69, wobei die Markenexpositionsüberwachungsvorrichtung automatisch eine grafische Benutzerschnittstelle (GUI) aufruft, um einem Benutzer eine Klassifizierung der detektierten Szene zu ermöglichen, wenn die Markenexpositionsüberwachungsvorrichtung ermittelt, dass die detektierte Szene mit keiner der Mehrzahl von Referenzszenen übereinstimmt.
Verfahren zur Spezifizierung eines Interessenbereichs in einer graphischen Darstellung, wobei das Verfahren umfasst: Ermitteln eines anfänglichen Vorlagenbereichs, um den Interessenbereich anzugeben, eine Lage des anfänglichen Vorlagenbereichs auf einer von einem Benutzer in der grafischen Darstellung ausgewählten ersten Stelle basiert; Ermitteln einer ersten Modifikation, die an dem anfänglichen Vorlagenbereich in Antwort auf eine vom Benutzer in der grafischen Darstellung gewählte zweite Stelle vorzunehmen ist, wobei die erste Modifikation vom Benutzer gewählt wird und/oder einer Standardmodifikation entspricht; detektieren der zweiten gewählten Stelle in der grafischen Darstellung, wobei die zweite gewählte Stelle außerhalb und/oder innerhalb des anfänglichen Vorlagenbereichs liegt, aber im Wesentlichen nicht auf einer Begrenzung, die den anfänglichen Vorlagenbereich definiert; und umformen des anfänglichen Vorlagenbereichs in Richtung auf die zweite gewählte Stelle, wobei die Umformung der ersten Modifikation entspricht, die Umformung in Antwort auf die Detektion der zweiten gewählten Stelle durchgeführt wird, ohne dass dabei der Benutzer eine Stelle im Wesentlichen auf der den anfänglichen Vorlagenbereich definierenden Begrenzung auswählen muss, um die Umformung einzuleiten.
Verfahren nach Anspruch 71, wobei die Ermittlung des anfänglichen Vorlagenbereichs zur Angabe des Interessenbereichs umfasst: Ermitteln einer Gruppe Pixel in der grafischen Darstellung, die mit einem Anfangspixel durch benachbarte, mit dem Anfangspixel vergleichbare Pixel verbunden sind, wobei das Anfangspixel der ersten gewählten Stelle innerhalb des Interessenbereichs entspricht; und ermitteln, dass der anfängliche Vorlagenbereich ein Polygon und/oder eine Ellipse ist, das/die die Gruppe Pixel begrenzt, für die eine Verbindung zu dem Anfangspixel ermittelt wird.
Verfahren nach Anspruch 72, wobei zwei Pixel ähnlich sind, wenn die zwei Pixel wenigstens entweder im Wesentlichen vergleichbare Luminanzwerte oder im Wesentlichen vergleichbare Chrominanzwerte aufweisen.
Verfahren nach Anspruch 72, wobei die Gruppe Pixel eine zweite Gruppe Pixel ist, und die Ermittlung der zweiten Gruppe Pixel in der grafischen Darstellung, die mit dem Anfangspixel verbunden sind, umfasst: Identifizieren einer ersten Gruppe Pixel benachbart zu dem Anfangspixel der grafischen Darstellung, vergleichen der ersten Gruppe benachbarter Pixel mit dem Anfangspixel, um zu ermitteln, ob jedes der ersten Gruppe benachbarter Pixel dem Anfangspixel ähnlich ist; und rekursives Vergleichen benachbarter Pixel beginnend mit jedem der ersten Gruppe benachbarter Pixel, für die ermittelt wird, dass sie dem Anfangspixel ähnlich sind, um zu ermitteln, ob die benachbarten Pixel ähnlich sind, wobei die Rekursion beendet wird, wenn ermittelt wird, dass keine weiteren benachbarten Pixel ähnlich sind, und wobei die zweite Gruppe alle Pixel umfasst, für die rekursiv ermittelt wird, dass sie dem Anfangspixel ähnlich sind.
Verfahren nach Anspruch 71, wobei die erste Modifikation eine GROW_TO_POINT Modifikation umfasst und das Umformen des anfänglichen Vorlagenbe reichs in Richtung zu der zweiten gewählten Stelle umfasst: gleichförmiges Expandieren der Begrenzung, die den anfänglichen Vorlagenbereich definiert, um die zweite Stelle zu begrenzen, wenn die zweite gewählte Stelle außerhalb des anfänglichen Vorlagenbereichs liegt; und gleichförmiges Zurücknehmen der Begrenzung, die den anfänglichen Vorlagenbereich definiert, um die zweite Stelle zu begrenzen, wenn die zweite gewählte Stelle innerhalb des Grundschablonenbereichs liegt.
Verfahren nach Anspruch 71, wobei die erste Modifikation eine GROW_ONE_STEP Modifikation umfasst, und das Umformen des anfänglichen Vorlagenbereichs in Richtung auf die zweite gewählte Stelle umfasst: gleichförmiges Expandieren der Begrenzung, die den anfänglichen Vorlagenbereich definiert, um eine Einheitsschrittgröße, wenn die zweite gewählte Stelle außerhalb des anfänglichen Vorlagenbereichs liegt; und gleichförmiges Zurücknehmen der Begrenzung, die den anfänglichen Vorlagenbereich definiert, um eine Einheitsschrittgröße, wenn die zweite gewählte Stelle innerhalb des anfänglichen Vorlagenbereichs liegt.
Verfahren nach Anspruch 71, wobei die erste Modifikation eine GROW_ONE_DIRECTIONAL_STEP Modifikation umfasst und das Umformen des anfänglichen Vorlagenbereichs in Richtung auf die zweite gewählte Stelle umfasst: Expandieren der Begrenzung, die den anfänglichen Vorlagenbereich definiert, in eine erste Richtung auf die zweite gewählte Stelle zu und um eine Einheitsschrittgröße, wenn die zweite gewählte Stelle außerhalb des anfänglichen Vorlagenbereichs liegt; und Zurücknehmen der Begrenzung, die den anfänglichen Vorlagenbereich definiert, in eine zweite Richtung auf die zweite gewählte Stelle zu und um die Einheitsschrittgröße, wenn die zweite gewählte Stelle innerhalb des anfänglichen Vorlagenbereichs liegt.
Verfahren nach Anspruch 71, wobei die ermittelte erste Modifikation eine GROW_TO_POINT_DIRECTIONAL Modifikation umfasst und das Umformen des anfänglichen Vorlagenbereichs in Richtung auf die zweite gewählte Stelle umfasst: Expandieren der Begrenzung, die den anfänglichen Vorlagenbereich definiert, in eine erste Richtung auf die zweite gewählte Stelle, wenn die zweite gewählte Stelle außerhalb des anfänglichen Vorlagenbereichs liegt; und Zurücknehmen der Begrenzung, die den anfänglichen Vorlagenbereich definiert, in eine zweite Richtung auf die zweite gewählte Stelle, wenn die zweite gewählte Stelle innerhalb des anfänglichen Vorlagenbereichs liegt.
Verfahren nach Anspruch 71, ferner umfassend, einen umgeformten anfänglichen Vorlagenbereich in eine vorherige Form zurückzubringen, wenn ermittelt wird, dass eine von dem Benutzer gewählte zweite Modifikation einer UNDO-Operation entspricht.
Verfahren nach Anspruch 71, wobei der Interessenbereich ein erster Interessenbereich ist und der umgeformte Vorlagenbereich ein erster Vorlagenbereich ist, und ferner umfassend: Ermitteln eines zweiten umgeformten Vorlagenbereichs, um einen zweiten Interessenbereich gemäß dem Verfahren nach Anspruch 71 anzugeben; ermitteln eines dritten Vorlagenbereichs, der den ersten umgeformten Vorlagenbereich, der den ersten Interessenbereich angibt, und den zweiten umgeformten Vorlagenbereich begrenzt, der den zweiten Interessenbereich angibt; und verwenden des dritten Vorlagenbereichs, um einen Gesamt-Interessenbereich anzugeben.
Verfahren nach Anspruch 71, wobei der Interessenbereich ein erster Interessenbereich ist und der umgeformte Vorlagenbereich ein erster Vorlagenbereich ist, und ferner umfassend: Ermitteln eines zweiten umgeformten Vorlagenbereichs, um einen zweiten Interessenbereich gemäß dem Verfahren nach Anspruch 71 anzugeben; ermitteln eines dritten Vorlagenbereichs durch Ausschließen von wenigstens einem Teil des zweiten umgeformten Vorlagenbereichs aus dem ersten umgeformten Vorlagenbereich; und verwenden des dritten umgeformten Vorlagenbereichs, um einen Gesamt-Interessenbereich anzugeben.
Verfahren nach Anspruch 71, wobei der Interessenbereich ein erster Interessenbereich ist und der anfängliche Vorlagenbereich ein erster anfänglicher Vorlagenbereich ist, und wobei die Ermittlung des ersten zur Angabe des ersten Interessenbereichs verwendeten anfänglichen Vorlagenbereichs umfasst: Ermitteln eines zweiten Interessenbereichs, der einer Gruppe von Referenzpunkten am ähnlichsten ist, für die festgestellt wird, dass sie von dem Benutzer gewählt sind, wobei der Gruppe von Referenzpunkten im Wesentlichen auf einer Begrenzung des ersten Interessenbereichs gewählt ist und der zweite Interessenbereich ein gespeicherter und/oder vorher erzeugter ist; und festlegen des zur Angabe des ersten Interessenbereichs verwendeten ersten anfänglichen Vorlagenbereichs als anfänglichen Vorlagenbereich, der für die Angabe des ermittelten zweiten Interessenbereichs verwendet wird.
Herstellungsgegenstand, der maschinenlesbare Anweisungen speichert, die bei Ausführung bewirken, dass eine Maschine: einen anfänglichen Vorlagenbereich zur Angabe eines Interessenbereichs in einer graphischen Darstellung ermittelt, wobei eine Lage des Grundschablonenbereichs auf einer in der grafischen Darstellung von einem Benutzer gewählten ersten Stelle basiert; aus einer Gruppe von Modifikationen eine erste Modifikation ermittelt, die an einem anfänglichen Vorlagenbereich in Antwort auf eine von dem Benutzer in der grafischen Darstellung gewählten zweiten Stelle durchzuführen ist, wobei die erste Modifikation vom Benutzer gewählt ist und/oder einer Standardänderung entspricht; die zweite gewählte Stelle in der grafischen Darstellung detektiert, wobei die zweite gewählte Stelle und/oder innerhalb des anfänglichen Vorlagenbereichs liegt, aber im Wesentlichen nicht auf einer Begrenzung, die den anfänglichen Vorlagenbereich definiert; und den anfänglichen Vorlagenbereich in Richtung zu der zweiten gewählten Stelle umformt, wobei die Umformung dem ermittelten Typ der Modifikation entspricht, wobei die Umformung in Antwort auf die Detektion der zweiten gewählten Stelle durchgeführt wird, ohne dass dabei der Benutzer zur Einleitung der Umformung einen im Wesentlichen auf der den anfänglichen Vorlagenbereich definierenden Begrenzung liegenden Punkt auswählen muss.
Herstellungsgegenstand nach Anspruch 83, wobei die maschinenlesbaren Anweisungen bei Ausführung ferner bewirken, dass die Maschine den anfänglichen Vorlagenbereich zur Angabe des Interessenbereichs ermittelt, durch: Ermitteln einer Gruppe Pixel in der grafischen Darstellung, die mit einem Anfangspixel durch benachbarte, dem mit Anfangspixel vergleichbare Pixel verbunden sind, wobei das Anfangspixel der ersten gewählten Stelle innerhalb des Interessenbereichs entspricht, und wobei zwei Pixel ähnlich sind, wenn die zwei Pixel im Wesentlichen vergleichbare Luminanzwerte und/oder im Wesentlichen vergleichbare Chrominanzwerte aufweisen; und ermitteln, dass der anfängliche Vorlagenbereich ein Polygon und/oder eine Ellipse ist, das/die den Satz Pixel begrenzt, für die eine Verbindung zum Anfangspixel ermittelt wird.
Herstellungsgegenstand nach Anspruch 83, wobei die Gruppe von Modifikationen umfasst: eine GROW_TO_POINT Modifikation, die zur Umformung des anfänglichen Vorlagenbereichs die Maschine dazu veranlasst, die den anfänglichen Vorlagenbereich definierende Begrenzung gleichförmig zu expandieren, um die zweite gewählte Stelle zu begrenzen, wenn die zweite gewählte Stelle außerhalb des anfänglichen Vorlagenbereichs liegt, und die den anfänglichen Vorlagenbereich definierende Begrenzung gleichförmig zurückzunehmen, um die zweite ausgewählte Stelle zu begrenzen, wenn sich die zweite gewählte Stelle innerhalb des anfänglichen Vorlagenbereichs befindet; eine GROW_ONE_STEP Modifikation, die zur Umformung des anfänglichen Vorlagenbereichs die Maschine dazu veranlasst, die den anfänglichen Vorlagenbereich definierende Begrenzung gleichförmig um eine Einheitsschrittgröße zu expandieren, wenn die zweite gewählte Stelle außerhalb des anfänglichen Vorlagenbereichs liegt, und die den anfänglichen Vorlagenbereich definierende Grenzlinie gleichförmig um die Einheitsschrittgröße zurückzunehmen, wenn sich die zweite gewählte Stelle innerhalb des anfänglichen Vorlagenbereichs befindet; eine GROW_ONE_DIRECTIONAL_STEP Modifikation, die zur Umformung des anfänglichen Vorlagenbereichs die Maschine dazu veranlasst, die den anfänglichen Vorlagenbereich definierende Begrenzung in eine erste Richtung auf die zweite gewählten Stelle zu und um eine Einheitsschrittgröße zu expandieren, wenn die zweite gewählte Stelle außerhalb des anfänglichen Vorlagenbereichs liegt, und die den anfänglichen Vorlagenbereich definierende Begrenzung in eine zweite Richtung auf die zweite gewählte Stelle zu und um eine Einheitsschrittgröße zurückzunehmen, wenn sich die zweite gewählte Stelle innerhalb des anfänglichen Vorlagenbereichs befindet; und ein GROW_TO_POINT_DIRECTIONAL Modifikation, die zur Umformung des an fänglichen Vorlagenbereichs die Maschine dazu veranlasst, die den anfänglichen Vorlagenbereich definierende Begrenzung in eine erste Richtung auf die zweite gewählte Stelle hin zu expandieren, wenn die zweite gewählte Stelle außerhalb des anfänglichen Vorlagenbereichs liegt, und die den anfänglichen Vorlagenbereich definierende Begrenzung in eine zweite Richtung auf die zweite gewählten Stelle zurückzunehmen, wenn sich die zweite gewählte Stelle innerhalb des anfänglichen Vorlagenbereichs befindet.
System zur Markierung eines Interessenbereichs in einer graphischen Darstellung, wobei das System umfasst: eine Ausgabevorrichtung zur Anzeige der grafischen Darstellung für einen Benutzer, eine Eingabevorrichtung zur Manipulation durch den Benutzer für die Auswahl von Stellen innerhalb der angezeigten grafischen Darstellung; und ein Verarbeitungselement einer grafischen Benutzerschnittstelle (GUI), um: einen anfänglichen Vorlagenbereich zur Angabe des Interessenbereichs in der graphischen Darstellung zu ermitteln, wobei eine Lage des anfänglichen Vorlagenbereichs auf einem in der grafischen Darstellung von dem Benutzer gewählten ersten Stelle basiert, aus einer Gruppe von Modifikationen eine erste Modifikation zu ermitteln, die an dem anfänglichen Vorlagenbereich in Antwort auf eine von dem Benutzer in der grafischen Darstellung gewählten zweite Stelle durchzuführen ist, wobei die erste Modifikation vom Benutzer gewählt ist und/oder einer Standardänderung entspricht; die zweite gewählten Stelle in der grafischen Darstellung zu detektieren, wobei die zweite gewählte Stelle außerhalb und/oder innerhalb des anfänglichen Vorlagenbereichs liegt, aber im Wesentlichen nicht auf einer Begrenzung, die den anfänglichen Vorlagenbereich definiert; und den anfänglichen Vorlagenbereich in Richtung auf die zweite gewählte Stelle umzuformen, wobei die Umformung des ermittelten Typs der Modifikation entspricht, wobei die Umformung in Antwort auf die Detektion der zweiten gewählten Stelle durchgeführt wird, ohne dass dabei der Benutzer zur Einleitung der Umformung einen im Wesentlichen auf der den anfänglichen Vorlagenbereich definierenden Begrenzung liegenden Punkt auswählen muss.
System nach Anspruch 86, wobei das GUI-Verarbeitungselement dazu dient, zu bewirken, dass die anfänglichen und umgeformten Vorlagenbereiche in der von der Aus gabevorrichtung angezeigten grafischen Darstellung überlagert werden.
System nach Anspruch 86, wobei das GUI-Verarbeitungselement ferner dazu dient, den anfänglichen Vorlagenbereich zur Angabe des Interessenbereichs zu ermitteln durch: Ermitteln einer Gruppe Pixel in der grafischen Darstellung, die mit einem Anfangspixel durch benachbarte, dem Anfangspixel vergleichbare Pixel verbunden sind, wobei das Anfangspixel der ersten gewählten Stelle innerhalb des Interessenbereichs entspricht, und wobei zwei Pixel ähnlich sind, wenn die zwei Pixel im Wesentlichen vergleichbare Luminanzwerte und/oder im Wesentlichen vergleichbare Chrominanzwerte aufweisen; und ermitteln, dass der anfängliche Vorlagenbereich ein Polygon und/oder eine Ellipse ist, das/die die Gruppe Pixel begrenzt, für die eine Verbindung zu dem Anfangspixel ermittelt wird.
System nach Anspruch 86, wobei die Gruppe von Modifikationen umfasst: eine GROW_TO_POINT Modifikation, die zur Umformung des anfänglichen Vorlagenbereichs die Maschine dazu veranlasst, die den anfänglichen Vorlagenbereich definierende Begrenzung gleichförmig zu expandieren, um die zweite gewählte Stelle zu begrenzen, wenn die zweite gewählte Stelle außerhalb des anfänglichen Vorlagenbereichs liegt, und die den anfänglichen Vorlagenbereich definierende Begrenzung gleichförmig zurückzunehmen, um die zweite ausgewählte Stelle zu begrenzen, wenn sich die zweite gewählte Stelle innerhalb des anfänglichen Vorlagenbereichs befindet; eine GROW_ONE_STEP Modifikation, die zur Umformung des anfänglichen Vorlagenbereichs die Maschine dazu veranlasst, die den anfänglichen Vorlagenbereich definierende Begrenzung gleichförmig um eine Einheitsschrittgröße zu expandieren, wenn die zweite gewählte Stelle außerhalb des anfänglichen Vorlagenbereichs liegt, und die den anfänglichen Vorlagenbereich definierende Grenzlinie gleichförmig um die Einheitsschrittgröße zurückzunehmen, wenn sich die zweite gewählte Stelle innerhalb des anfänglichen Vorlagenbereichs befindet; eine GROW_ONE_DIRECTIONAL_STEP Modifikation, die zur Umformung des anfänglichen Vorlagenbereichs die Maschine dazu veranlasst, die den anfänglichen Vorlagenbereich definierende Begrenzung in eine erste Richtung auf die zweite gewählten Stelle zu und um eine Einheitsschrittgröße zu expandieren, wenn die zweite gewählte Stelle außer halb des anfänglichen Vorlagenbereichs liegt, und die den anfänglichen Vorlagenbereich definierende Begrenzung in eine zweite Richtung auf die zweite gewählte Stelle zu und um eine Einheitsschrittgröße zurückzunehmen, wenn sich die zweite gewählte Stelle innerhalb des anfänglichen Vorlagenbereichs befindet; und ein GROW_TO_POINT_DIRECTIONAL Modifikation, die zur Umformung des anfänglichen Vorlagenbereichs die Maschine dazu veranlasst, die den anfänglichen Vorlagenbereich definierende Begrenzung in eine erste Richtung auf die zweite gewählte Stelle hin zu expandieren, wenn die zweite gewählte Stelle außerhalb des anfänglichen Vorlagenbereichs liegt, und die den anfänglichen Vorlagenbereich definierende Begrenzung in eine zweite Richtung auf die zweite gewählten Stelle zurückzunehmen, wenn sich die zweite gewählte Stelle innerhalb des anfänglichen Vorlagenbereichs befindet.
System nach Anspruch 86, wobei der Interessenbereich ein erster Interessenbereich ist und der anfängliche Vorlagenbereich ein erster umgeformter anfänglicher Vorlagenbereich ist, und wobei das GUI-Verarbeitungselement ferner dazu dient, um: eine zweiten umgeformten Vorlagenbereich zur Angabe eines zweiten Interessenbereichs zu ermitteln, wobei der zweite umgeformte Vorlagenbereich durch Umformung eines zweiten anfänglichen Vorlagenbereichs in Richtung auf eine dritte gewählte Stelle ermittelt wird, wobei die Umformung einer der Gruppen von Modifikationen entspricht, wobei die Umformung in Antwort auf die Detektion der dritten gewählten Stelle außerhalb und/oder innerhalb des zweiten anfänglichen Vorlagenbereichs erfolgt, ohne dass dabei zur Einleitung der Umformung der Benutzer eine Stelle wählen muss, die im Wesentlichen auf einer Begrenzung liegt, die den zweiten anfänglichen Vorlagenbereich definiert; und einen dritten Vorlagenbereich durch Ausschließen von wenigstens einem Teil des zweiten umgeformten Vorlagenbereichs aus dem ersten umgeformten Vorlagenbereich zu ermitteln; und Verwendung des dritten umgeformten Vorlagenbereichs, um einen Gesamt-Interessenbereichs anzugeben.