-
Gebiet der
Erfindung
-
Diese
Erfindung betrifft ein Identifizieren von intrinsischen bzw. eigentlichen
Pixel- bzw. Bildpunktfarben und Pixel- bzw. Bildpunktopazitäten in einem Bereich
von unbestimmten bzw. unsicheren Pixeln bzw. Bildpunkten.
-
Hintergrund
der Erfindung
-
Eine übliche Aufgabe
in der Manipulation von digitalen Bildern ist die Entfernung eines
oder mehrerer Vordergrundgegenstands(-gegenstände) bzw. -objekts(e) aus einer
Szene und der Zusammensetzung dieses Gegenstands mit einem neuen
Hintergrundbild. Dies ist typischerweise eine schwierige Aufgabe
aus mehreren Gründen:
- 1) ein Mischen eines Gegenstands mit der Hintergrundszene:
ein Pixel bzw. Bildpunkt an einem Rand bzw. einer Kante eines Gegenstands
kann Beiträge
sowohl vom Vordergrund als auch vom Hintergrund aufweisen, und seine
Farbe ist folglich eine Mischung der zwei Bereiche bzw. Regionen;
- 2) Gegenstandskomplexität:
sogar für
Gegenstände
mit harten Rändern
enthält
der Gegenstandsrand häufig
ein Detail, das weitschweifige Anstrengung erfordert, um manuell
bzw. händisch zu
definieren; und
- 3) Kombinationen von 1) und 2): ein Beispiel ist ein Haar oder
Fell, die Formen bzw. Gestalten sind komplex und Bereiche mit dünnen Fasern führen zu
einem Farbmischen.
-
Im
allgemeinen weist das Problem nicht eine einfache und unzweideutige
Lösung
auf. Die Filmindustrie hat dieses durch ein Vereinfachen der Szene gehandhabt,
indem Gegenstände
bzw. Objekte oder Leute gegen einen einfachen Hintergrund (blauen Schirm)
gefilmt werden, der eine möglichst
einheitliche Farbe aufweist. Techniken wurden entwickelt, um annähernde Lösungen in
dieser Situation zu erzeugen. Softwareprodukte, die verwendet werden können, um
einen Gegenstand zu maskieren, erfordern einen großen Teil
an manueller Anstrengung für komplexe
Gegenstände,
wie beispielsweise Subjekte bzw. Personen mit Haar. Existierende
Produkte ermöglichen
auch einen Grad an Farbextraktion von vereinfachten Hintergrundszenen,
indem Tätigkeiten bzw.
Vorgänge
an Farbkanälen
angewandt werden.
-
EP-A-0
771 107 offenbart eine Vorrichtung und ein Verfahren, das erlaubt,
einen Vordergrund eines Bilds von einem Hintergrund davon zu extrahieren
und den Vordergrund an ein anderes Bild anzuwenden, wodurch die Änderung
von Pixel- bzw. Bildpunktwerten des Bilds detektiert wird.
-
Es
ist ein Ziel bzw. Gegenstand der Erfindung, ein automatisiertes
Verfahren zum Entfernen von Vordergrundgegenständen eines Bilds von einem
Hintergrund davon bereitzustellen.
-
Dieses
Ziel wird durch das Verfahren gemäß Anspruch 1, das Medium gemäß Anspruch
30 und das System gemäß Anspruch
31 gelöst.
-
Implementierungen
der Erfindung können
eines oder mehrere der folgenden Merkmale beinhalten. Die ursprüngliche
Farbe des gegebenen Pixels bzw. Bildpunkts betrifft die ursprünglichen
Farben von Bildpunkten sowohl in dem ersten als auch zweiten Bereich.
Die abgeschätzte
intrinsische bzw. eigent liche Farbe des gegebenen Pixels betrifft
ursprüngliche
Farben in nur einem oder dem anderen des ersten und zweiten Bereichs.
Der Bereich von Interesse beinhaltet einen des ersten und zweiten
Bereichs; oder ist benachbart sowohl zu dem ersten als auch zweiten
Bereich. Der erste Bereich ist ein Vordergrundgegenstand und der
zweite Bereich ist ein Hintergrund.
-
Der
erste und zweite Bereich weisen einen beliebigen Grad an Farbänderung
im sichtbaren Spektrum über
eine räumliche
Skala auf, welche von derselben Größenordnung oder kleiner als
die minimale Erstreckung des Bereichs von Interesse ist. Das Abschätzen beinhaltet
ein Analysieren von sowohl der Farbe als auch der räumlichen
Nähe von
Pixeln in dem ersten und zweiten Bereich.
-
Das
Abschätzen
beinhaltet ein Extrapolieren von den nächsten Bildpunkten in dem ersten
und zweiten Bereich; oder Fließen
von Farben in den Bereich von Interesse von einem oder beiden aus
dem ersten und zweiten Bereich. Das Fließen von Farben enthält ein Mitteln
von Farbwerten für
jeden aus einem Satz von Bildpunkten in dem digitalen Bild, enthält Schichten
bzw. Lagen von Bildpunktinformation und das Abschätzen basiert
auf einer Bildpunktinformation in nur einer der Schichten; oder
in anderen Implementierungen auf Bildpunktinformation in einer Zusammensetzung
von allen Schichten.
-
Ein
Opazitäts-
bzw. Trübungswert
wird für den
gegebenen Bildpunkt bestimmt, der für das Ausmaß hinweisend ist, bis zu welchem
sich die eigentliche Farbe des gegebenen Bildpunkts auf ursprüngliche
Farben des ersten und zweiten Bereichs bezieht, basierend auf einem
Ergebnis des Abschät zens
der eigentlichen Farbe. Der gegebene Bildpunkt beinhaltet ursprüngliche
Opazitätsinformation
und der Opazitätswert
basiert auch auf der ursprünglichen
Opazitätsinformation.
In einigen Implementierungen enthält die Opazitätsbestimmung
eine Verwendung eines neuralen Netzwerks, das an den ursprünglichen Bildfarben
und abgeschätzten
eigentlichen Farben trainiert ist bzw. wird. Die Opazitätswerte
werden verwendet, um einen aus dem ersten und dem zweiten Bereich
mit einem anderen digitalen Bild zusammenzusetzen.
-
Das
Abschätzen
beinhaltet ein Extrapolieren von Abschätzungen von eigentlichen Farben
des ersten und zweiten Bereichs unter Verwendung von Recherchen
bzw. Nachforschungen im Farbraum und Bildkoordinatenraum. Das Abschätzen nimmt
ein lineares Mischmodell an. Das Abschätzen beinhaltet ein Fließen von
Farben von Kanten bzw. Rändern des
Bereichs von Interesse zum Ausfüllen
des Bereichs von Interesse mit Abschätzungen der Farben des ersten
und des zweiten Bereichs.
-
Ein
Abschätzen
der intrinsischen Farbe enthält
ein Bestimmen von zwei Farbprobensätzen für den gegebenen Bildpunkt,
wobei jeder der Farbprobensätze
mit einem aus dem ersten und zweiten Bereich assoziiert ist bzw.
wird, und ein Abschätzen
der eigentlichen Farbe, basierend auf den zwei Farbprobensätzen. Die
ursprüngliche
Farbe des gegebenen Bildpunkts wird mit Farben in den Farbprobensätzen verglichen.
Eine einzige Farbe wird aus jedem der Farbprobensätze basierend
auf einer Fehlerminimierungstechnik gewählt.
-
Eine
Ausführungsform,
die nicht durch den Satz von Ansprüchen abgedeckt ist, zeichnet
sich aus, daß es
einem Be nutzer ermöglicht,
einen Bereich des digitalen Bilds zu malen, um wenigstens einen
Bereich von Interesse angrenzend an wenigstens einen eines ersten
Bereichs und eines zweiten Bereichs zu identifizieren. Nachdem der
Benutzer den Bereich von Interesse definiert hat, werden die eigentlichen
Farben von Bildpunkten in dem Bereich von Interesse basierend auf
Farbinformation für
Bildpunkte in dem ersten Bereich und dem zweiten Bereich abgeschätzt.
-
Implementierungen
der Ausführungsform, die
nicht durch den Satz von Ansprüchen
abgedeckt sind, können
eines oder mehrere der folgenden Merkmale enthalten. Das Malen bzw.
Pinseln wird mit einem Pinselwerkzeug durchgeführt, das durch den Benutzer
konfiguriert sein kann. Der gemalte bzw. gepinselte Bereich kann
durch wiederholte Mal- bzw. Pinselschritte aufgebaut werden und
Abschnitte des gemalten Bereichs können durch den Benutzer interaktiv
ausradiert bzw. gelöscht
werden. Der Benutzer malt den Bereich von Interesse und identifiziert
gesondert eine Stelle, die in einem des ersten und zweiten Bereichs
ist. Oder der Benutzer malt wenigstens einen des ersten und zweiten
Bereichs und den Bereich von Interesse und identifiziert gesondert
eine Farbe, die mit einem des ersten und zweiten Bereichs assoziiert
ist. Der Benutzer bezeichnet einen des ersten und zweiten Bereichs
durch ein Identifizieren einer Pixel- bzw. Bildpunktstelle in diesem
Bereich. Der Benutzer identifiziert die Farbe durch ein Anwenden
eines Eyedropper- bzw. Pipettenwerkzeugs auf einen Bildpunkt oder
einen Satz von Bildpunkten in dem einen Bereich. Eine(r) der Bereiche bzw.
Regionen wird flut- bzw. schwallausgefüllt basierend auf der identifizierten
Bildpunktstelle, um diesen Bereich als einen Vordergrund zu bezeichnen. Der
gemalte Bereich kann durch einen Benutzer interaktiv und wiederholt
modifiziert werden. Dem Benutzer wird ermöglicht, zusätzliche Bereiche von Interesse
zwischen anderen Paaren von ersten und zweiten Bereichen bzw. Regionen
zu malen.
-
Eine
Ausführungsform,
die nicht durch den Satz von Ansprüchen abgedeckt ist, zeichnet
sich durch ein Empfangen einer Maske aus, die mit einem Bereich
von Interesse in einem digitalen Bild assoziiert ist, wobei die
Maske Werte enthält,
die Opazitäten
von Bildpunkten in dem Bereich von Interesse hinsichtlich eines
angrenzenden bzw. benachbarten Bereichs von Interesse repräsentieren
bzw. darstellen. Intrinsische bzw. eigentliche Farben für die Bildpunkte
sind bzw. werden basierend auf der Maske abgeschätzt.
-
Eine
Ausführungsform,
die nicht durch den Satz von Ansprüchen abgedeckt ist, zeichnet
sich aus, daß sie
einem Benutzer ermöglicht,
eine ursprüngliche
Extraktion durch ein Manipulieren bzw. Handhaben eines Pinsels auf
einem Display bzw. einer Anzeige des Bilds zu regeln bzw. zu steuern,
wodurch dem Benutzer ermöglicht
wird, eine Verbesserungs- bzw. Retuschierextraktion anschließend an die
ursprüngliche
Extraktion zu regeln bzw. zu steuern, und ein Bildpunkt, der für eine Verbesserungs- bzw.
Retuschierextraktion identifiziert wurde, nur in Betracht gezogen
wird, wenn der Bildpunkt von unbestimmter bzw. unsicherer Farbe
in der ursprünglichen Extraktion
war.
-
Implementierungen
der Ausführungsform, die
nicht durch den Satz von Ansprüchen
abgedeckt sind, können
eines oder mehrere der folgenden Merkmale enthalten. Eine intrinsische
bzw. eigentliche Farbe wird für
jeden der Bildpunkte bestimmt, die von unbestimmter bzw. unsicherer
Farbe waren, basierend auf einer forcierten Vordergrund- oder Hintergrundfarbe.
Die forcierte bzw. erzwungene Farbe wird durch den Benutzer ausgewählt oder
wird automatisch aus den ursprünglichen
Farben innerhalb des Vordergrundbereichs bestimmt.
-
Eine
Ausführungsform,
die nicht durch den Satz von Ansprüchen abgedeckt ist, zeigt bzw.
bringt ein Bestimmen für
jeden Bildpunkt in einem Bereich von Interesse in einem digitalen
Bild des nähesten Bildpunkts
in einem ersten Bereich des Bilds, der benachbart dem Bereich von
Interesse ist, und des nähesten
Bildpunkts in einer zweiten Region des Bilds, die dem Bereich von
Interesse benachbart ist. Ein Be- bzw. Verarbeitungsbereich wird
definiert, der kleiner als das Bild ist. Ein Pixel- bzw. Bildpunktfenster wird
definiert, das kleiner als der definierte Be- bzw. Verarbeitungsbereich
ist. Der Be- bzw. Verarbeitungsbereich wird bei einer Aufeinanderfolge
von überlappenden
Positionen gescannt, die zusammen das Bild umspannen. Bei jeder überlappenden
Position des Be- bzw. Verarbeitungsbereichs wird das Bildpunktfenster über den
Be- bzw. Verarbeitungsbereich gescannt. Bei jeder Position eines
Scannens bzw. Abtastens des Bildpunktfensters wird gespeicherte
Information für
Bildpunkte in dem Fenster aktualisiert, wobei sich die gespeicherte
Information auf näheste
Bildpunkte in der ersten und zweiten Region bezieht.
-
Implementierungen
der Ausführungsform, die
nicht durch den Satz von Ansprüchen
abgedeckt sind, können
eines oder mehrere der folgenden Merkmale enthalten. Der Be- bzw.
Verarbeitungsbereich enthält
ein Rechteck, das zweimal so lang wie hoch ist, und in jeder der
Aufeinanderfolge von Positionen ist der Be- bzw. Verarbeitungsbereich
von der früheren
Position um die halbe Länge
des Rechtecks versetzt. Das Bildpunktfenster enthält ein Quadrat. Das
Scannen des Be- bzw. Verarbeitungsbereichs und das Scannen des Bildpunktfensters
treten sowohl in den Vorwärts-
und Rückwärtsdurchgängen auf,
die das Bild aufspannen.
-
Eine
Ausführungsform,
die nicht durch den Satz von Ansprüchen abgedeckt ist, bringt
ein Verfahren für
einen Benutzer, um einen Gegenstand aus einem Hintergrund in einem
Bild zu extrahieren. Das Bild wird dargestellt bzw. angezeigt. Ein
Malwerkzeug wird ausgewählt
und seine Eigenschaften werden eingestellt. Das Malwerkzeug wird
verwendet, um eine Schwade um den Gegenstand zu malen. Die Schwade
beinhaltet Bildpunkte, deren Mitgliedschaft in dem Gegenstand oder
dem Hintergrund unbestimmt bzw. unsicher ist, und umfaßt Bildpunkte,
die mit Sicherheit zum Gegenstand und zum Hintergrund gehören. Wenigstens
ein Bildpunkt wird markiert, von dem bekannt ist, daß er zu
dem Gegenstand bzw. Objekt oder dem Hintergrund gehört. Ein
Programm wird aufgerufen, um die Extraktion bzw. Entnahme durchzuführen. Die
Qualität
der Extraktion wird beobachtet. Abhängig von der Beobachtung wird
ein Malwerkzeug verwendet, um eine Verbesserungs- bzw. Retuschierextraktion
zu regeln bzw. zu steuern.
-
Vorteile
-
Komplexe
Gegenstände
bzw. Objekte in komplexen Szenen können genau extrahiert werden, wobei
Hintergrundbildpunkte auf Null Opazität (völlig transparent) herausfallen.
Gegenstände
mit komplexen Topologien (vielen Löchern) können extrahiert werden. Ein
einfaches Benutzerinterface erlaubt dem Benutzer, alle Bereiche
bzw. Regionen, die als Vorder grund zu bezeichnen bzw. zu kennzeichnen
sind, durch einen intuitiven Prozeß eines Klickens der Maus über jeden
Bereich auszuwählen,
wobei eine umgehende visuelle Rückkopplung
der ausgewählten
Bereiche erhalten wird. Nur ein kleiner Bruchteil des Speichers,
der zum Speichern des Bilds benötigt wird,
ist erforderlich, um im (R)andom (A)ccess (M)emory des Computers
zu einer gegebenen Zeit resident bzw. vorhanden zu sein. Dies ist
ein Schlüsselvorteil
gegenüber
näherliegenden
Ansätzen,
um dieses Problem zu lösen,
welche ein Speichern und Be- bzw. Verarbeiten von Daten erfordern,
deren Größe mit mehreren
Kopien des Bilds vergleichbar ist. Beispielsweise enthält ein RGB
Bild mit 5000 mal 5000 Bildpunkten bzw. Pixel mit Transparenzinformation
ungefähr
100 (M)ega (B)ytes an Daten. Eine offensichtlichere Implementierung
der Verfahren könnte
ein Speichern im RAM von mehreren hundert MB auf einmal erfordern.
Die bevorzugte Ausführungsform
dieser Erfindung erfordert weniger als 2 MB, und dieses Erfordernis
kann sogar weiter in alternativen Ausführungsformen verringert werden.
Das Verfahren erzielt einen wirkungsvollen Ausgleich bzw. ein Gleichgewicht
zwischen einer Geschwindigkeit einer Tätigkeit bzw. eines Betriebs
und Speichererfordernissen. Offensichtlichere Implementierungen
sind entweder viel langsamer (und skalieren schlecht, wenn die Bildgröße zunimmt)
oder erfordern viel mehr RAM. Der Benutzer weist die Flexibilität auf, den
Gegenstand in einem Schritt hervorzuheben bzw. zu markieren, als
auch die Leichtigkeit, die Kontur zu modifizieren, indem radiert
bzw. ausgelöscht wird
oder zusätzliche
Farbe hinzugefügt
wird. In einigen Implementierungen muß der Benutzer nicht die Vordergrund-
und Hintergrundfarben voraus wählen. Das
Maskieren und Extrahieren von Gegenständen aus digitalen Bildern
wird mit hoher Genauigkeit erzielt. Mehrere Gegenstände können aus
einem Bild in einem einzigen Schritt extrahiert werden.
-
Kurze Beschreibung
der Zeichnungen
-
Andere
Vorteile und Merkmale werden aus der folgenden Beschreibung und
aus den Ansprüchen
ersichtlich werden.
-
1 und 11 sind
Flußdiagramme.
-
2, 3, 4, 5, 6, 7, 8, 9, 10, 12, 13 und 14 sind
photographische Bilder.
-
Beschreibung
der bevorzugten Ausführungsformen
-
Es
ist für
einen, der mit digitalen Bildern arbeitet, üblich, Gegenstände bzw.
Objekte vom Bild zu extrahieren. Der Benutzer wählt einen Gegenstand aus, der
aus einer Szene zu entfernen ist, indem sein Rand bzw. Umfang umrissen
wird. Jedoch deckt die Kontur Bildpunkte ab, deren Ursprünge schwierig
zu ermitteln sind (sind sie Vordergrund oder Hintergrund?), entweder
weil es zu viel Arbeit sein würde oder
weil Vordergrund- und Hintergrundfarben miteinander gemischt sind.
Als ein Ergebnis gibt es einen Bereich, dessen Bildpunkte fraglich
in bezug auf ihren Ursprung sind. Ein Weg, diese Frage zu beantworten
ist, den unbestimmten bzw. unsicheren Bereich mit Farben nur basierend
auf den Farben auszufüllen,
welche den Bereich (innerhalb eines kleinen Abstands der Grenze)
begrenzen. Indem man so die intrinsischen bzw. eigentlichen Farben
abgeschätzt hat,
können
die Opazitäten
der fraglichen Bildpunkte aus einem gegebenen Mischmodell abgeschätzt werden,
wodurch alle Information vervollständigt wird, die benötigt wird,
um die Extraktion fertigzustellen. Deshalb reduziert sich eine Maskierung/Farbextraktion
auf ein Füllen
in einem unbekannten Bereich, für
welchen es eine gewisse Farbinformation gibt, die das Resultat eines
möglichen
Mischens von Vordergrund und Hintergrund ist. Es gibt mehrere Wege, das
Mischen auszuführen
bzw. zu erzielen.
-
Die
folgenden Ausdrücke
haben die angegebenen Bedeutungen:
Digitales Bild: Eine Sammlung
von digitaler Information, die in die Form eines visuellen Bilds
gegossen sein kann. Digitale bzw. Digitalbilder können beispielsweise
Photographien, Kunstwerke, Dokumente, und Webseiten umfassen. Bilder
können
beispielsweise von Digitalkameras, Digitalvideo, Scannern und Fax
erhalten werden. Die Bilder können zweidimensional
oder von höherer
Dimensionalität sein.
Beispielsweise können
dreidimensionale Bilder Darstellungen bzw. Repräsentationen von dreidimensionalem
Raum umfassen, oder von zweidimensionalen Filmen, wo die dritte
Dimension die Zeit ist.
Pixel bzw. Bildpunkt: Ein Element eines
digitalen Bilds, welches eine spezifische Stelle in dem Bild aufweist
und Farbinformation für
diese Stelle enthält.
Maskieren:
Der Vorgang bzw. Prozeß eines
Ausschneidens eines Abschnitts eines Bilds, so daß ein Gegenstand
bzw. Objekt im Bild in einen neuen Hintergrund gemischt oder weiterhin
manipuliert werden kann. Ein Maskieren involviert typischerweise
ein Definieren einer Trübungs-
bzw. Opazitätsmaske,
welche den Grad spezifiziert, bis zu welchem jeder Bildpunkt einen
Vordergrundgegenstand oder eine Hintergrundszene repräsentiert.
Es involviert auch eine Extraktion, für jeden Bildpunkt, der intrinsischen
bzw. eigentlichen Farbe des Gegenstands, welche von der beobachteten
Farbe unterschiedlich bzw. verschieden sein kann.
Farbextraktion
(oder Farbentgiftung bzw. -dekontamination): Der Prozeß eines
Bestimmens der intrinsischen Farbe für jeden Bildpunkt, welcher
einen Gegenstand in einem digitalen Bild aufbaut. Die intrinsische
Farbe kann sich von der beobachteten Farbe infolge eines Mischens
des Vordergrund- und Hintergrundlichts in einen Bildpunktbereich
während
des Abbildungsprozesses unterscheiden. Ein anderer Grund von Farbunterschied
bzw. -differenz ist eine partielle bzw. teilweise Transmission bzw.
Durchlässigkeit
des Hintergrunds durch einen transparenten oder durchscheinenden
Vordergrundgegenstand. Diese können
beide als Hintergrund-Durchbluten klassifiziert werden. Ein allgemeiner
Farbüberlauf
ist ein anderer Mechanismus für
eine Kontamination bzw. Vergiftung, in welchem Hintergrundlicht
von Vordergrundgegenständen
reflektiert wird.
Zusammensetzen: Der Prozeß eines Mischens von zwei Bildern,
beispielsweise das Überlagern
des ausgeschnittenen Gegenstandbilds auf eine neue Hintergrundbildszene.
Auswahl-(oder
Opazitäts-)Maske:
Ein Satz von Werten, einer für
jeden Bildpunkt in einem digitalen Bild, welcher den Grad angibt,
bis zu welchem jeder Bildpunkt zu dem Gegenstand oder zu einer Hintergrundszene
gehört.
Ein Wert von 1 gibt bzw. zeigt an, daß der Bildpunkt vollständig zum
Gegenstand gehört.
Ein Wert von 0 gibt an, daß er
vollständig
zur Hintergrundszene gehört.
Werte zwischen 0 und 1 geben eine teilweise Mitgliedschaft in beiden
an. Das Zusammensetzungsmodell bestimmt, wie dieser Wert verwendet wird,
um Gegenstandbildpunkte bzw. -pixel mit Hintergrundszenenbildpunkten
zu mischen, um ein einziges zusammengesetztes Bild zu erhalten.
Intrinsische
bzw. eigentliche Farbe: Die Farbe (an einem beliebigen gegebenen
Bildpunkt in einem Bild), die einen Gegenstand in dem Bild darstellen
würde, wäre sie nicht
mit dem Hintergrund gemischt. Das Mischen kann entweder aus den
Abbildungsoptiken im Prozeß eines
Einfangens eines digitalen Bilds oder aus der Zusammensetzung von
mehreren Bildschichten bzw. -lagen entstehen. Gegenstandsfarben
können
auch mit Hintergrundfarben infolge von "Farbüberlauf
bzw. -überlappung" gemischt sein bzw. werden,
in welchem(r) Licht von Hintergrundabschnitten einer Szene vom Gegenstand
weg reflektiert wird. Für
Bildpunkte, die nicht gemischt sind, ist dies die beobachtete Farbe.
Für Bildpunkte, die
mit dem Hintergrund gemischt sind, (einschließlich ein Mischen aufgrund
eines Farbüberlaufs)
ist dies eine Farbe, die sich von der beobachteten Farbe unterscheidet.
Das Bestimmen dieser Farbe wird Farbextraktion bezeichnet.
Unbestimmter
bzw. unsicherer Bereich (auch als der hervorgehobene bzw. markierte
Bereich erwähnt): Der
Abschnitt des Bilds, für
welchen die eigentlichen Farben und/oder ob Opazitäten der
Bildpunkte unbestimmt bzw. unsicher sind. "Hervorheben" bezieht sich einfach auf das Verfahren
eines Auswählens
dieser Bildpunkte, indem sie mit einem Pinselwerkzeug hervorgehoben
bzw. markiert werden.
Farbe: Wird hier verwendet, um einen
Vektor von Werten darzustellen, welcher alles oder einen Abschnitt
der Bildintensitätsinformation
kennzeichnet. Sie könnte
Intensitäten
von rot, grün
und blau in einem RGB Farbraum oder eine einzige Helligkeit in einem
Grauskala-Farbraum darstellen bzw. repräsentieren. Alternativ könnte sie
alternative Information, wie beispielsweise Intensitäten von
CMY, CMYK, Pantone, Hexachrom, Röntgenstrahl,
Infrarot, Gammastrahl von verschiedenen Spektralwellenlängenbändern darstellen.
Sie könnte
zusätzliche
andere Modalitäten
von Information darstellen, wie beispielsweise akustische Amplituden
(Sonar, Ultraschall) oder (M)agnet-(R)esonanz-(I)Abbildungs-Amplituden,
welche nicht Messungen von elektromagnetischer Strahlung sind.
-
1 ist
ein Flußdiagramm
von Benutzer- und Programmschritten. Jeder Schritt, der einem Programmstart 50 folgt,
wird unten beschrieben.
-
Der Benutzer wählt Modus
einer Überblicksauswahl 52 aus
-
Wie
durch die Bildschirmaufnahme in 2 gezeigt,
erlaubt ein Benutzerinterface-Dialogkasten dem Benutzer, einen von
drei Moden 10, 12, 14 aus einer Überblicksauswahl
zu wählen.
Es gibt drei Möglichkeiten:
- A) Der hervorgehobene Grenzbereich kann einen oder
mehrere unbestimmte(n) Bereich(e) darstellen, der bzw. die Pixel
bzw. Bildpunkte enthält (enthalten),
deren eigentliche Farbe und/oder Opazität bzw. Trübung unbekannt ist (sind).
Für diese
Alternative muß die
Auswahl "geschlossene Kurven" sein, so daß Vordergrundbereiche
bzw. -regionen automatisch von Hintergrundbereichen unterschieden
werden können.
Geschlossene Kurven enthalten jene, die die Topologie eines Kreises
aufweisen, und jene, die durch die Ränder bzw. Kanten des Bilds
geschlossen bzw. umschlossen sind. Topologien höherer Art werden auf zwei mögliche Arten
gehandhabt (wie durch die Benutzerwahl bestimmt):
- 1) Extrahieren eines einzigen Gegenstands zu einer Zeit; Lücken im
Umriß bzw.
in der Kontur werden als Hintergrundbereiche angenommen. Dies ist
der natürliche
Modus einer Tätigkeit
für ein Umreißen eines
Tiers mit Pelz oder einer Person mit Haar. Zwischenräume im Haar
werden natürlich
als Hintergrund interpretiert. Für
diesen Modus bezeichnet der Benutzer einen Vordergrundpunkt auf
dem Gegenstand, der zu extrahieren ist. Von diesem Punkt werden
alle der verbundenen Bildbereiche, die durch den hervorgehobenen
Bereich eingefaßt
bzw. begrenzt sind, als Vordergrund angenommen; vom Rest des Bilds
bis auf den hervorgehobenen Bereich wird angenommen, daß er Hintergrund
ist.
- 2) Extrahieren von mehreren Gegenständen in einem einzigen Vorgang.
Dies wird durch ein Hervorheben einer geschlossenen Kurve um jeden Gegenstand
durchgeführt.
Lücken
bzw. Zwischenräume
in dem hervorgehobenen Bereich werden noch als Hintergrund behandelt,
aber irgendwelche Lücken
bzw. Spalte innerhalb der Lücken
werden als Vordergrund behandelt. Für diesen Modus oszilliert die
Interpretation rückwärts und
vorwärts
zwischen Vordergrund und Hintergrund, wenn man Umrißbereiche
bzw. Konturregionen kreuzt. Eine alternative Implementierung erlaubt
dem Benutzer, einen einzigen Punkt in jedem der Gegenstände (oder,
genereller, in jedem der geschlossenen Vordergrundbereiche) durch mehrfache
Mausklicks zu bezeichnen. Von jedem Punkt werden alle verbundenen
Bildbereiche, die durch die Umrisse begrenzt sind, als Vordergrund angenommen.
Alle Bildbereiche, welche nicht so als Vordergrund bezeichnet sind
und nicht durch den hervorgehobenen Bereich bezeichnet sind, werden
als Hintergrund angenommen.
- B) Der hervorgehobene Bereich stellt den gesamten Vordergrundbereich
und den Randbereich dar. Es gibt zwei Möglichkeiten:
- 1) Die Vordergrundfarbe wird manuell bzw. händisch durch den Benutzer gewählt (dies
ist gut zum Extrahieren beispielsweise von Wasserfontänen, großen Baumgruppen).
Für diese
Option darf die Auswahl nicht "geschlossene
Kurven" sein.
- 2) Die Auswahl wird in einen Umriß bzw. eine Kontur gedreht,
indem sie nach innen wächst.
Die Auswahl muß "geschlossene Kurven" sein.
- C) Das gleiche wie "B", wobei Vordergrund-
und Hintergrundrollen getauscht sind.
-
Der Benutzer wählt einen
Gegenstand durch Hervorheben 54
-
In 3 ist
ein Photo 20 gezeigt, wobei der Vordergrund 22 (Babykopf)
durch den Benutzer hervorgehoben ist. Wenn der Benutzer wünscht, einen Gegenstand
von einer Szene zu entfernen, hebt er bzw. sie den Rand des Gegenstands
hervor, indem er die Kontur 24 (Randbereich) unter Verwendung
eines Pinselwerkzeugs oder anderer Auswahlwerkzeuge markiert. Das
angezeigte bzw. dargestellte Bild kann in einer teilweisen transparenten
Tönung
gefärbt
sein bzw. werden, um die Farbe zu zeigen, während nicht völlig das
darunterliegende Bild verdunkelt bzw. undeutlich gemacht wird. Die
Hervorhebung bezeichnet einen Bereich des Bilds, dessen Opazitäten und
Farben unbestimmt bzw. unsicher sind. Vom Rest des Bilds (dem Vordergrundbereich 25,
der den Kopf des Babys enthält,
und dem Hintergrundbereich 26) wird angenommen, genau durch
die tatsächlichen
Farbwerte von Bildpunkten in diesen Bereichen des Bilds dargestellt
zu sein. Die unsicheren Bildpunkte (jene Bildpunkte, welche im Umrißbereich
liegen) werden möglicherweise
modifiziert, um neue Opazitäten
und Farben aufzuweisen. Die Hervorhebung zielt darauf ab, alle fragwürdigen Bildpunkte
zu umfassen. Von Bereichen, die den hervorgehobenen Bereich begrenzen,
ist beabsichtigt, nicht in Frage zu stehen; sie enthalten nur entweder
Hintergrund- oder Vordergrundbildpunkte, und können signifikante Farbschwankungen
aufweisen. Der hervorgehobene Bereich kann auch Hintergrund- oder
Vordergrundbildpunkte umfassen. Dementsprechend kann der gesamte
Bereich in einer etwas unbekümmerten
Art gemalt werden. Der Benutzer muß nicht jeder Kontur des Babykopfs
peinlich genau folgen.
-
Bezugnehmend
auf 4 stattet ein Benutzerinterface-Dialogkasten 300 den
Benutzer mit Werkzeugen aus, um beim Hervorheben zu unterstützen. Diese
Werkzeuge enthalten: einen Randhervorheber bzw. -markierer 390,
um einen Hervorhebungsbereich zu definieren; einen Radiergummi 370 zum
Edieren des hervorgehobenen Bereichs; ein Zoomwerkzeug 350;
und ein Handwerkzeug 340 zum Schwenken bzw. Nachführen eines
Bilds auf den Schirm. Der Benutzer kann auch einen Pinseldurchmesser 311,
eine Hervorhebungsfarbe 312 und eine Vordergrundfüllfarbe 313 als
gesonderte Werkzeugoptionen 310 auswählen. Auch innerhalb des Interfaces 300 enthalten
sind Vorbesichtigungsoptionen 330, welche dem Benutzer
erlauben zu betrachten: das ursprüngliche Bild oder das extrahierte
Ergebnis 331; das Hintergrundbild 332; den Hervorhebungsbereich 333;
und die Vordergrundfüllfarbe 334.
-
Der Benutzer wählt Probefarben
aus, die mit dem Vordergrund oder Hintergrund assoziiert sind 56
-
Wie
durch die Schirmaufnahme in 4 gezeigt,
erlaubt ein Benutzerinterface-Dialogkasten 300 dem Benutzer,
Probefarben auszuwählen 320,
die mit dem Vordergrund, Hintergrund, oder beiden zu assoziieren
sind. Vordergrund- und Hintergrundfarbe kann auch ausgewählt werden,
indem ein Pipettenwerkzeug 360 verwendet wird, das innerhalb
des Interfaces 300 angeordnet ist. Die Erfindung kann in mehreren
Farbwahlmoden arbeiten:
- a) Der Benutzer kann
die Vordergrundfarbe auswählen.
Dies ist nützlich
für Vordergrundgegenstände, welche
einen kleinen Bereich von Farbschwankung bzw. -variation aufweisen,
wie beispielsweise eine Wasserfontäne, wo helle weiße Farben
häufig
vorherrschen. Es ist auch nützlich beim
Verbessern bzw. Retouchieren einer Extraktion mit dem interaktiven
Pinsel, der unten beschrieben ist.
- b) Der Benutzer kann die Hintergrundfarbe auswählen. Dies
ist nützlich
beim Verbessern bzw. Retouchieren einer Extraktion mit dem interaktiven
Pinsel in Umständen,
in welchen die Hintergrundfarben nicht adäquat durch Farben außerhalb
und nahe dem unbestimmten bzw. unsicheren Bereich dargestellt sind.
- c) Der Benutzer kann Farben für den Vordergrund und andere
Farben für
den Hintergrund auswählen.
Dies ist nützlich,
um eine Extraktion für
den speziellen Fall eines einheitlich gefärbten Hintergrunds und Vordergrunds
zu beschleunigen, oder für
den speziellen Fall, in welchem der Vordergrund und der Hintergrund
relativ wenige Farben enthalten.
- d) Der Benutzer mag keine Farben auswählen. Ein Algorithmus wählt alle
Farben automatisch aus. Dies ist der normale Modus der Tätigkeit bzw.
eines Betriebs für
komplexe Gegenstände
in komplexen Hintergründen.
-
Der Benutzer bezeichnet
einen Vordergrund- oder Hintergrundpunkt im Bild 58
-
Wie
in 5 gezeigt, wählt
der Benutzer einen einzigen Bildpunkt 40 in dem Bild aus,
um jene Stelle als zum Vordergrundgegenstand gehörig zu bezeichnen, oder wählt mehrere
Bildpunkte bzw. Pixel aus, um mehrere Stellen von Vordergrundabschnitten
des Gegenstands oder von mehrfachen bzw. mehreren Gegenständen auszuwählen. Alternativ
kann (wie durch eine Benutzerbevorzugung festgelegt) die Stelle
den Hintergrundbereich bezeichnen. Bezugnehmend auf 4 kann
diese Bezeichnung erzielt werden, indem das Füllwerkzeug 380 verwendet
wird, das im Benutzerinterface 300 bereitgestellt ist.
Der Algorithmus segmentiert dann das gesamte Bild oder einen Abschnitt
des Bilds, das die Auswahl begrenzt, in drei gesonderte Bereiche
bzw. Regionen: Vordergrund, unbestimmt bzw. unsicher, und Hintergrund.
-
Das Programm extrahiert
automatisch einen Vordergrundgegenstand von einer Hintergrundszene 60
-
Wie
in 6 gezeigt, ist der nächste Schritt eine automatische
Extraktion des Vordergrundgegenstands von der Hintergrundszene im
ursprünglichen
Bild. Für
jeden Bildpunkt in dem unsicheren Bereich bestimmt ein kombiniertes
Such- und Fehlerminimierungsverfahren
die Farbe von zwei Bildpunkten, einen im Vordergrundbereich und
einen im Hintergrundbereich. Diese werden gewählt, um ein Fehlerkriterium
(unten beschrieben) zu minimieren oder alternativ ein Möglichkeits-
oder Wahrscheinlichkeitskriterium zu maximieren. Hat man diese zwei
optimalen Bildpunkte herausgefunden, werden ihre Farben verwendet,
um die Opazität
und Farbe des fraglichen Bildpunkts herauszufinden, indem ein Mischmodell angewandt
wird (viele Mischmodelle können
aufgenommen bzw. angepaßt
werden).
-
Der Benutzer kann Bild "verbessern" bzw. "retouchieren" unter Verwendung
von Pinselwerkzeugen 62
-
Wie
in 7 gezeigt, kann, nachdem die Farbextrapolationen
fertiggestellt worden sind, ein interaktives Pinselwerkzeug verwendet
werden, um die Extraktion lokal bzw. örtlich durchzuführen (innerhalb eines
Pinselradius, welcher durch den Benutzer fakultativ geregelt bzw.
gesteuert werden kann). Wenn dies nach einer Extraktion des vollständigen Bilds
in 6 durchgeführt
wird, stellt dies Mittel zum lokalen Verbessern der Extraktionsergebnisse
zur Verfügung.
Eine beispielhafte Verwendung involviert eine manuelle bzw. händische
Auswahl einer Vordergrundfarbe und dann ein Pinseln über Abschnitte
des Bilds, in welchem angenommen wird, daß der Vordergrund diese Farbe
aufweist. Wenn die Extraktion in 6 unvollkommene
Ergebnisse infolge einer ungenauen Abschätzung der eigentlichen Vordergrundfarben
lieferte, wird dieses Verbessern bzw. Retouchieren die Extraktion
verbessern. Wenn dies vor einer automatischen Extraktion durchgeführt wird,
liefert dieses Retouchieren Mittel eines lokalen Extrahierens von
Farben, wodurch das Erfordernis eines Extrahierens des gesamten
Gegenstands aus dem Bild vermieden wird. Das Werkzeug kann nur Farben,
Farben und Opazitäten,
oder beide extrahieren.
-
Der
Pinsel arbeitet, indem die für 6 beschriebenen
Verfahren aber nur für
jene Bildpunkte verwendet werden, welche innerhalb der Pinselform liegen.
Bildpunkte am Rand bzw. der Kante des Pinsels können mit den ursprünglichen
Bildpunkten gemischt werden, um einen glatteren Übergang zwischen den modifizierten
und nicht modifizierten Bildpunkten zu erzeugen.
-
8 zeigt
ein Beispiel eines ursprünglichen bzw.
Originalphotos, bevor das Maskierungs- und Extraktionsverfahren
der Erfindung angewandt werden. 9 zeigt
das Ergebnis der Technik der Erfindung, wenn sie auf das Originalphoto
angewandt wird. Der Vordergrundgegenstand wurde vollständig aus
dem ursprünglichen
Hintergrund extrahiert und auf einen neuen Hintergrund zusammengesetzt.
-
10 zeigt
ein Beispiel eines früheren
Extraktionsverfahrens, wodurch der Vordergrundgegenstand nicht vollständig extrahiert
werden kann, ohne auch Teile des Hintergrunds zu extrahieren.
-
11 ist
ein Computerflußdiagramm,
das den Methoden und Algorithmen folgt, die verwendet werden, um
die Erfindung praktisch anzuwenden bzw. zu praktizieren. Jeder Schritt
ist weiterhin unten beschrieben.
-
Segmentierung von Bildbereichen
bzw. -regionen 70
-
Wie
in 12 gezeigt, wird, wenn der Umriß 102 gegeben
ist, der über
das Bild 104 gemalt ist, das Bild in drei Abschnitte unterteilt
bzw. segmentiert: Vordergrund 106, unbestimmt bzw. unsicher 108, und
Hintergrund 110. Die angrenzenden Bereiche des Vordergrunds 106 und
Hintergrunds 110 können signifikante
bzw. merkliche Farbschwankungen enthalten. Der Umriß bzw. die
Kontur ist als eine Bildmaske 112 bereitgestellt, die beispielsweise
Werte von 0 oder 1 aufweist, entsprechend dem, ob jeder Bildpunkt
außerhalb
bzw. innerhalb des Umrisses liegt. Der Maskenwert kann durch ein
Schwellwertbilden einer Maske erhalten werden, die mehrere Werte aufweist,
die für
die Stärke
der angewandten bzw. aufgebrachten Farbe hinweisend sind. Hat man
die binäre
Umrißmaske 112 erhalten
und mit Bezeichnung durch den Benutzer, daß ein einziger bzw. einzelner
Bildpunkt 114 innerhalb des Bereichs des Vordergrunds 106 (oder
Hintergrunds 110) liegt, kann die Segmentierung durchgeführt werden.
-
Eine
Segmentierungsimplementation beginnt an der Stelle des bezeichneten
Vordergrundbildpunkts 114 und führt einen Flut- bzw. Schwallausfüllalgorithmus
durch, welcher alle angrenzenden Bildpunkte 116, 118 als
Vordergrund markiert, wenn sie den gleichen Wert (0) für die Umrißmaske aufweisen.
Alle Nicht-Kontur- und Nicht-Vordergrundbildpunkte werden dann als
Hintergrund markiert.
-
Eine
andere Segmentierungsimplementierung kann mehrere Bereiche implementieren,
indem eine wiederholte Reihe von Flutausfüllungen durchgeführt wird,
die unter Vordergrund-, Kontur-, und Hintergrundmasken abwechseln.
Dieser Ansatz kann Maskentopologien höherer Art (beispielsweise mehr Löcher) aufnehmen.
In noch einer anderen Ausführungsform wählt der
Benutzer mehrere Bildpunkte aus, um mehrere Stellen von Vordergrundabschnitten
des Gegenstands oder von mehreren Gegenständen zu bezeichnen. Verschiedene
Bestimmungen werden gemacht, abhängig
davon ob der Hintergrundbildpunkt oder der Vordergrundbildpunkt
als die Startstelle verwendet wird. Diese Wahl kann als eine Benutzeroption
gemacht werden. Alternativ kann eine Option als das Default- bzw.
Vorgabebetriebsverfahren gewählt
werden und der Benutzer kann manuell Bereiche auswählen, deren
Interpretation zu ändern
gewünscht
wird.
-
Suche nach bestimmten
Bildpunkten in der Nähe
zu einem gegebenen unsicheren Bildpunkt: die proximale Bildpunkttransformation 72
-
Wie
in 13 gezeigt, involviert eine Implementierung des
Extraktionsalgorithmus ein Finden für jeden unsicheren Bildpunkt 120,
seines nächsten Nachbarn 122 im
Vordergrundbereich 106 und auch seines nächsten Nachbarn 124 im
Hintergrundbereich 108. Dies kann durch ein spiralförmiges Suchverfahren
implementiert sein bzw. werden, welches angrenzende Bildpunkte von
ständig
zunehmendem Radius von dem unsicheren Bildpunkt überprüft, um zu testen bzw. zu prüfen, ob
sie zum Vordergrund oder Hintergrund gehören. Der erste Bildpunkt 128, der
das Vordergrundkriterium erfüllt
(d.h., der erste Bildpunkt mit einem Opazitätswert von 255), wird als ein
Vordergrundrepräsentant
ausgewählt
und der erste Bildpunkt 130, der das Hintergrundkriterium
erfüllt
(d.h., der erste Bildpunkt mit einem Opazitätswert von 0) wird für den Hintergrund
ausgewählt.
Das Spiralverfahren skaliert schlecht auf große Bildbereiche. Es kann eine
Anzahl von mathematischen Operationen bzw. Vorgängen erfordern, welche quadratisch mit
dem Bildbereich bzw. der Bildfläche
wachsen.
-
Ein
effizienteres bzw. wirkungsvolleres Verfahren ist eine Variation über einen
dynamischen Programmieralgorithmus, der verwendet wird, um die nächsten benachbarten
Abstände
für jeden
Bildpunkt in einem Bild herauszufinden (dies ist die euklidische Abstandstransformation;
siehe Per-Erik Danielsson, "Euclidean
Distance Mapping",
Computer Graphics and Image Processing, 14, 227–248, 1980). Das Verfahren
berechnet die Abstände
und Koordinaten der nächsten
Bildpunkte. Das Verfahren wurde an eine Gegenstandserkennung und
Schablonenanpassung angewandt (G. Wilensky und R. Crawford, "Development of the
transformation invariant distance for image comparison", präsentiert
auf der Fourth International Conference on Document Analysis und
Recognition, Aug. 1997). Es wird hier verwendet, um Farben in dem
unsicheren Bereich vorauszusagen. Es verwendet die Dreiecksungleichheit
der euklidischen Geometrie, um eine Technik bereitzustellen, die
nur linear mit der Bildgröße skaliert.
-
Das
Wesen bzw. der Kern des Algorithmus involviert ein zweimaliges Passieren über das
Bild mit einem kleinen Fenster 120 (Bildpunkte 3 × 3 beispielsweise,
obwohl größere Fenster
genauere Ergebnisse erzeugen). Das Fenster passiert von links nach
rechts, um das Bild zu scannen. Dies wird von der Oberseite des
Bilds und bis zum Boden wiederholt. Dieser Prozeß wird für einen Scan nach oben wiederholt,
wobei aber die Richtung umgeschaltet ist: rechts nach links. Wie
bzw. wenn der Scan voranschreitet, wird der Zentrumsbildpunkt 122 des
Fensters modifiziert (in einem Puffer, um eine Störung bzw.
Beeinflussung zu ver meiden). Jedem Bildpunkt sind drei Werte zugeordnet:
der Abstand (D), und die X und die Y Koordinate zum nächsten Maskenbildpunkt.
Um den Zentrumsbildpunkt 122 im Scan- bzw. Abtastfenster 120 zu
modifizieren wird sein Wert von D durch das Minimum von D und die
Werte von D für jeden
der neun Nachbarbildpunkte im Fenster ersetzt, die um den Abstand
des Nachbarn vom zentralen Bildpunkt versetzt sind. Neues D = D' = min(D, D00 + 1,4,
D01 + 1, D02 + 1,4, D10 + 1, D12 + 1, D20 + 1,4, D21 + 1, D22 +
1,4). Gl. 1
-
Wir
verwenden 1,4 hier als eine grobe Annäherung der Quadratwurzel von
2. Jeder Bildpunkt (x, y) führt
auch entlang (d.h., es gibt ein Feld bzw. Array von Werten für die) der
X und Y Koordinaten seines nächsten
Maskenbildpunkts. Wenn die Abstände zwischen
dem zentralen Bildpunkt im Fenster und seinen Nachbarn (mit Offset
bzw. Kompensation) verglichen werden, werden die Koordinaten des
zentralen Bildpunkts mit jenen des gewinnenden Nachbarn aktualisiert
(des Nachbarn mit dem niedrigsten Wert von D plus Ausgleich bzw.
Offset, wenn einer existiert); wenn der zentrale Bildpunkt gewinnt,
wird keine Modifikation gemacht: X(x, y) Gl.
2wird durch X(xn, yn) ersetzt,
wo xn und yn die Koordinaten des gewinnenden Nachbarn sind. Mit
einem 3 × 3
Fenster ist xn entweder gleich x, x + 1 oder x – 1, und ähnlich für yn. In einer alternativen
Implementierung des Algorithmus werden die extrapolierten Farben
und der Abstand an jeder Pixel- bzw. Bildpunktstelle gespeichert.
In dieser Version werden die x und y Koordinaten nicht benötigt. Wann
immer ein Abstandswert aktualisiert wird, wird auch der Farbwert
aktualisiert. Auf diese Weise wird ein Bild aus den extrapolierten
Farben erhalten. Diese Implementierung erlaubt darüber hinaus
eine Modifikation dieses extrapolierten Bilds, wie beispielsweise
eine Gauss'sche
Unschärfe
oder Diffusion-basierend auf Unschärfe, um Rand- bzw. Kantenartefakte
zu entfernen, die mit dem Verfahren assoziiert sind.
-
Die
Ergebnisse dieses Zwei-Durchlauf-Algorithmus sind die Koordinaten
der nächsten
(proximalen) Maskenbildpunkte für
jeden Bildpunkt in dem Bild. Wenn gesondert sowohl an die Vordergrund-
als auch die Hintergrundmasken angewandt, dient der Zwei-Durchlauf-Algorithmus
als eine Eingabe für
den folgenden Schritt. (Die Werte für D werden nicht weiter benötigt und
können
an diesem Punkt verworfen werden.)
-
Ein
anderer Aspekt der Erfindung ist die Implementierung einer gekachelten
Version des Farbextrapolationsalgorithmus unter Verwendung eines doppelten
Tile- bzw. Kachelverfahrens. In diesem Ansatz wird auf zwei Kacheln
bzw. Tiles zu einem Zeitpunkt zugegriffen. Ein Zugriff involviert
normalerweise ein Lesen oder Schreiben der Tiledaten von einem oder
auf ein Speicherlager ein. Die zwei Tiles nehmen aufeinander folgende
Tilestellen in dem Bild ein. Beispielsweise kann Tile 1 Bildstellen
(x, y) = (0, 0 [obere linke Ecke] bis (256, 256) [untere rechte
Ecke] einnehmen. Tile 2 würde
normalerweise (256, 0) bis (512, 256) einnehmen. Diese zwei Tiles
werden als ein Datenpuffer behandelt, welcher verwendet wird, um
das Bild für
die Vorwärts-
und Rückwärtsdurchläufe des
Farbextrapolationsalgorithmus zu be- bzw. verarbeiten. Die erste
Phase, Einleitung bzw. Initialisierung des Algorithmus kann mit üblicheren
Einzeltileverfahren be- bzw. verarbeitet werden.
-
Die
Vorwärtsdurchlaufphase
des Algorithmus schreitet voran, um ein Fenster mit 3 mal 3 Bildpunkten über die
Tiles von links nach rechts, von der Oberseite zum Boden zu schieben
und das Vorwärtsdurchlaufbe-
bzw. -verarbeiten auszuführen.
Ist der Vorwärtsdurchgang
an den zwei Tiles abgeschlossen, wird Tile 1 entfernt und eine neue
Tile, welche sich an Tile 1 an der rechten Seite anschließt, wird zugefügt. In dem
Beispiel oben würde
diese neue Tile bei (512, 0) bis (768, 256) angeordnet sein. Wenn
die Tiles erneut bezeichnet werden, so daß Tile 2 nun als Tile 1 bezeichnet
wird und die neue Tile als Tile 2 bezeichnet wird, dann sind wir
zurück
bei der ursprünglichen
Situation, zwei Tiles Seite an Seite aufzuweisen, und das Verarbeiten
wiederholt sich. Auf diese Weise wird der Vorwärtsdurchlauf für das gesamte Bild
ausgeführt.
-
Ist
der Vorwärtsdurchgang über das
gesamte Bild, Doppeltile um Doppeltile, abgeschlossen, ist der nächste Schritt,
den Rückwärtsdurchlauf
zu verarbeiten. Dies wird durch ein Beginnen mit den Tiles am unteren
rechten Eck des Bilds und ein Voranschreiten im Rückwärtsgang
getan, um das Bild mit Doppeltiles abzudecken, wobei jedes Paar
mit der Rückwärtsdurchlaufphase
des Basisalgorithmus be- bzw. verarbeitet wird. Dies spiegelt den
Vorwärtsdurchlauf wieder,
wobei aber vertikale und horizontale Richtungen beide reflektiert
sind. Ein anderer Weg, über
dieses Tileverfahren zu denken, ist, sich zwei benachbarte Tiles
als einen einzigen Domino ausbildend vorzustellen. Nachdem ein gegebener "Domino" be- bzw. verarbeitet
ist, wird ein neuer "Domino" be- bzw. verarbeitet,
der den früheren
einen um eine Hälfte der
Dominobreite überlappt.
Der Grund für
ein Verwenden dieser "Dominos" oder Doppeltiles
ist, daß es
eine Ausbreitung von Information über Tilegrenzen ermöglicht.
Der Algorithmus breitet Information nach vorne entlang horizontaler
Linien und nach rückwärts bei
Winkeln von 45 Grad zur vertikalen Richtung aus. Durch ein Be- bzw.
Verarbeiten von zwei quadratischen Tiles in einer Reihe stellen
wir sicher, daß das
erste Quadrat (das am weitesten links befindliche Quadrat für ein Verarbeiten
nach vorne, das am weitesten rechts befindliche für ein Verarbeiten
nach rückwärts) Information
aufweisen wird, die zu ihm vom zweiten Quadrat weitergeleitet ist.
Dies und die spezielle Reihenfolge eines Nachfolgens des Vorwärtsdurchlaufs
mit dem Rückwärtsdurchlauf stellt
sicher, daß der
geeignete Abstand und/oder die Farbinformation zu jedem Bildpunkt
in dem Bild weitergeleitet bzw. ausgebreitet wird (werden), selbst wenn
die Ausbreitung bzw. Weiterleitung über Tilegrenzen auftritt.
-
Die
Erfindung ist fähig,
Bilder zu extrahieren, welche eine große Schwankung in der Farbe
sowohl für
die Vordergrund- als
auch die Hintergrundbereiche aufweisen, im Gegensatz zu dem Blauschirm-Mattierungsalgorithmus
des Standes der Technik, welcher eine kleine Schwankung in der Farbe
(vorzugsweise keine) für
den blauen Schirm des Hintergrunds erfordert. Für diese Erfindung können die
Farben über
das volle Spektrum von Farben schwanken, die verfügbar sind
(wie durch die Farbskala für
den speziellen Farbmodus des Bilds bestimmt). Beispielsweise können für ein RGB
Bild Werte für
rot, grün
und blau jeweils von 0 bis 255 reichen. Außerdem kann die räumliche
Schwankung bzw. Variation in diesen Werten signifikant sein. Spezifisch
können
die Werte einen signifikanten Bruchteil des gesamten Wertbereichs
schwanken (0 bis 255 für
RGB) über
räumliche
Skalen (Raum bezieht sich hier auf die Bildkoordinaten), welche
von der gleichen Größenordnung
oder kleiner sind als der charak teristische Grenzbereichlängenmaßstab. Der
Letztere kann als eine minimale Dicke des Grenzbereichs genommen
sein.
-
Suche nach Bildpunkten,
welche die Wahrscheinlichkeit eines Fits an das Mischmodell und
Daten maximieren 74
-
Beginnend
mit den proximalen Vordergrund- und proximalen Hintergrundkoordinaten
für jeden Bildpunkt
in dem unsicheren Bereich wird eine lokale Suche sowohl im Farbraum
als auch Bildbereich-Koordinatenraum durchgeführt. Das Ziel der Suche ist, die
besten Abschätzungen
von zwei Größen, cf,
der intrinsischen bzw. eigentlichen Vordergrundfarbe, und cb, der
intrinsischen bzw. eigentlichen Hintergrundfarbe zu bestimmen. Sind
diese gegeben, kann α die
unbestimmte bzw. unsichere Bildpunktopazität bzw. -trübung aus einem angenommenen
Farbmischmodell bestimmt werden. Ein heuristisches Suchschema wird
unten in groben Zügen
angegeben. Es soll ein gegebener Bildpunkt im unsicheren Bereich
eine räumliche
Koordinate (Bildpunktstelle) aufweisen, die gegeben ist durch r
= (x, y) (Fette Buchstaben werden verwendet, um Vektoren entweder
im Koordinaten- oder Farbraum zu bezeichnen.) Für jedes r stellt die proximale
Bildpunkttransformation, die oben beschrieben ist, eine Koordinate
rf = (X, Y)F den nächsten
Bildpunkt in der Vordergrundmaske, und rb, den nächsten Bildpunkt in der Hintergrundmaske
zur Verfügung.
Es sollen die Farben bei diesen Bildpunkten als c, cf bzw. cb bezeichnet
werden. Im RBG Farbraum beispielsweise weisen diese Vektoren drei
Komponentenwerte (rot, grün,
blau) auf. Im CMYK Farbraum sind sie vierdimensional (cyan, magenta,
gelb, schwarz). Für
ein Grauskalenbild ist die Dimensionalität bzw. die Anzahl der Dimensionen
eins; es gibt nur einen einzigen Intensitätswert. Die Suche beginnt durch
ein Betrachten bzw. Berück sichtigen
einer Nachbarschaft von Punkten nahe rf und einer ähnlichen
Nachbarschaft nahe rb. Von diesen zwei Sätzen von Punkten wählen wir
Paare eines von F (dem Vordergrundsatz) und eines von B (dem Hintergrundsatz).
Für jedes
Paar haben wir zwei assoziierte bzw. zugeordnete Farben, cf und
cb, welche zusammen mit c die Bildpunktopazität, α, durch Anwendung des folgenden
linearen Mischmodells bestimmen: c = αcf
+ (1 – α)cb. Gl. 3
-
Andere
Mischmodelle könnten
verwendet werden. Die Details der Lösung werden von Modell zu Modell
variieren. Ein Beispiel eines alternativen Modells ist eines, in
welchem es eine gesonderte Opazität für jeden Farbkanal 0 bis n gibt,
wie beispielsweise das Folgende: c0 = cf0 + (1 – α0)cb0, c1 = cf1 + (1 – α1)cb1 usw.
für c0,
c1, ... cn. Gl. 4
-
Das
Modell von Gleichung 4 ist ein vereinfachtes Modell, welches transparente
Gegenstände, die
reflektiertes Licht enthalten, in einen Hintergrund mischt. Es gibt
keinen Alphafaktor an den Vordergrundkanälen in diesem alternativen
Modell. Das Adobe Transparenzmodell stellt ein anderes Beispiel bereit.
Eine Methode bzw. ein Verfahren einer Lösung ist es, die Abweichung
einer Anpassung bzw. eines Fits in bezug auf das Modell zu minimieren. D.h.,
wir wünschen,
eine Fehlerfunktion, E, zu minimieren, welche für das lineare Mischmodell geschrieben
werden kann als E
= ½[c – αcf – (1 – α)cb]2. Gl.
5
-
Alle
Punktprodukte sind euklidische innere Produkte im geeigneten Farbraum
(Summe von Produkten von Komponenten). Dieser Fehler mißt die quadrierte
Abweichung im Farbraum der unbestimmten bzw. unsicheren Bildpunktfarbe
von der Linie, die die Vordergrund- und Hintergrundfarben trennt.
Die Lösung
für die
Opazität
bzw. Trübung
ist α = (c – cb)2/(cf – cb)2. Gl.
6
-
Ist
dieser Wert für α gegeben,
kann der resultierende Fehler ausgedrückt werden als E = ½{[c – cb]2 – α2}, Gl. 7wo α als die
Funktion betrachtet werden kann, die oben gegeben ist. Dieser Ausdruck
für den
Modellfehler, welcher nun nur von c, cf, und cb abhängt, kann
verwendet werden, um das Paar (cf, cb) zu wählen, welches seinen Wert minimiert.
Ist ein derartiges Paar gefunden, wird die Opazität aus der
Gl. 6 bestimmt. Eine erschöpfende
Suche durch alle Paare von Punkten in den zwei Sätzen F und B wird das gewünschte Farbpaar
geben bzw. liefern. Jedoch kann eine schnellere gierige Suche vernünftig gute
Lösungen
bei weniger Berechnung liefern.
-
Beispielsweise
kann die Suche durch ein Wiederholen bzw. Iterieren nach rückwärts und
vorwärts
mehrere Male zwischen einer Vordergrundsuche und einer Hintergrundsuche
ausgeführt
werden. Die Hintergrundfarbe wird initialisiert, daß sie jene
ist, die mit den Ergebnissen des proximalen Suchalgorithmus assoziiert
ist, der an die Hintergrundmaske für einen gegebenen Bildpunkt
r angewandt wird. Dieser Wert cb wird dann im Fehlerausdruck zusammen
mit c, dem Wert an der Stelle r in dem unsicheren Bereich verwendet.
Die Suche wird dann über den
Vordergrundnachbarschaftssatz für
eine Farbe ausgeführt,
welche E minimiert. Ist diese Farbe cf gefunden, kann sie im Fehlerausdruck
verwendet werden und die Suche setzt sich unter den Hintergrundbildpunkten
fort, um eine neue Farbe cb zu finden, welche ein verringertes Fehlermaß liefert.
Diese Prozedur kann mehrere Male wiederholt werden. In der Praxis
wurden gute Ergebnisse durch Wiederholen einer kleinen Anzahl von
Malen erhalten. Beispielsweise liefern vier Wiederholungen bzw.
Iterationen dieser Prozedur, wobei jedesmal drei Bildpunkte aus einem
möglichen
Nachbarschaftssatz von neun sowohl für B als auch F gewählt werden,
gute Ergebnisse. In einer Variation bzw. Abwandlung des Modells wird
E durch einen relativen Fehler E' ersetzt,
welcher den Fehler auf den Abstand zwischen Vordergrund- und Hintergrundfarben
normalisiert: E' = E/|cf – cb|2. Gl.
8
-
Dies
stellt ein geringeres Gewicht für
Fälle zur
Verfügung,
in welchen die Vordergrund- und Hintergrundfarben weiter voneinander
entfernt sind. Es kann zur verbesserter Farbextraktion in einigen
Situationen führen.
-
Gesteigerte statistische
Annäherung
an Farbbestimmung 76
-
Das
Verfahren, wie oben beschrieben, resultiert in einer Bestimmung
einer Opazität
und einer eigentlichen Vordergrundfarbe für jeden Bildpunkt im unsicheren
Bereich. Es verwendet jedoch nicht völlig all die Information, die
im Bild verfügbar
ist. Insbesondere ist statistische Farbinformation sowohl in den Vordergrund-
als auch Hintergrund bereichen bzw. -regionen verfügbar, was
die Ergebnisse steigern kann. Ein Ansatz bzw. eine Annäherung ist
es, ein Farbhistogramm oder ein Farbbinning zu verwenden, eine Technik,
um die Verteilung von Farben im Vordergrundbereich und ähnlich für den Hintergrund
zu charakterisieren bzw. zu kennzeichnen. Der Farbraum wird in Kästen bzw.
Bins eingeteilt. Wenn jede Farbe im Vordergrund abgetastet bzw.
als Probe genommen ist, wird sie in dem geeigneten Kasten bzw. Bin
plaziert. In einem Ansatz werden Farben nur von einem Bereich des
Vordergrunds als Probe genommen, welcher in enger Nähe zum Rand
des unsicheren Bereichs ist. Ein Probenehmen wird nur in der Nachbarschaft
bzw. Nähe
der proximalen Bildpunkte für
einen gegebenen unsicheren Bildpunkt ausgeführt. Dies sorgt für ein lokales
Probenehmen, aber führt
zu einer kleinen Probengröße. Eine
alternative Implementierung nimmt Proben um den gesamten Umfang
der Grenze zwischen dem Vordergrund und den unsicheren Bereichen.
Dies liefert gewöhnlich eine
viel größere Probe
auf Kosten der möglichen Störung bzw.
Interferenz von entfernten Abschnitten des Bilds. Jeder Ansatz weist
Vorzüge
auf. Der Letztere erfordert nur eine Sammlung von Farbkästen einmal,
während
Erstere eine Wiederholung für
jeden Bildpunkt im unsicheren Bereich erfordert. Für jeden Ansatz
stellt das resultierende Farbhistogramm, wenn es auf die Gesamtanzahl
von Probepunkten normalisiert ist, eine Abschätzung der bedingten Wahrscheinlichkeit
dar: pf(c) ist die Wahrscheinlichkeit für einen Bildpunkt, der aus
dem Vordergrundbereich F ausgewählt
ist, daß seine
Farbe den Wert c aufweisen wird. pf(c) = p(c|F). Gl.
9
-
Die
obige Notation wird von rechts nach links gelesen: (gegeben F, ein
Bildpunkt, ausgewählt
aus dem Vordergrund, ist p die Wahrscheinlichkeit, daß seine
Farbe c ist. Ähnlich
erhalten wir für
den Hintergrund pb(c)
= p(c|B). Gl. 10
-
Das
Farbhistogramm kann von einer Dimension sein, die gleich oder geringer
ist als jene des Farbraums von Interesse. Beispielsweise kann für den HSV
Farbraum ein dreidimensionales Histogramm gesammelt werden. Wenn
das Farbmodell nicht HSV ist, dann können unter Verwendung von Standardformeln
die Farben in HSV Farbraum umgewandelt werden, um den Farbton, Sättigung
und Wert zu erhalten. Alternativ ist ein einfacherer, aber häufig weniger
genauer Berechnungsansatz, jede Farbebene als unabhängig von
der anderen anzunähern,
was in einer Wahrscheinlichkeit resultiert, die das Produkt der
eindimensionalen Wahrscheinlichkeiten ist: pf(c) = pf(Farbton)pf(Sättigung)pf(Wert). Gl. 11
-
Dieser
grobe Ansatz liefert überraschenderweise
gute Ergebnisse. Hat man die Farbhistogramme oder bedingten Wahrscheinlichkeiten
erhalten, können
sie in einem statistischen Modell verwendet werden, um gesteigerte
Abschätzungen
der extrahierten Farben und Opazitäten zu erhalten. Dies kann
durch einen Rückgriff
auf künstliches
Bilderzeugungsmodell begründet
sein, in welchem räumliche Information
ignoriert bzw. nicht beachtet wird. Das Ziel ist, die Bildpunkte
in dem unsicheren Bereich zu erzeugen, wobei nur die Farbwahrscheinlichkeitsverteilungen
pf(c), pb(c) und das Mischmodell gegeben sind.
-
Unter
Verwendung des oben angenommen Mischmodells dient die Fehlerfunktion
E oder E' dazu,
um Abweichungen der Farbpunkte von dem Mischmodell zu messen. Ein üblicher
statistischer Ansatz ist anzunehmen, daß zusätzliches zufälliges Gauß'sches Rauschen in
dem Modellierprozeß vorhanden
ist. Während
dies nicht die einzige (und vielleicht sogar nicht die vorherrschende)
Ursache eines Mangels eines Fits an das Modell ist, dient es dazu, einen
nützlichen
heuristischen Ansatz bzw. Zugang zu der Lösung zu erzeugen.
-
Demgemäß werden
wir die bedingte Wahrscheinlichkeit, gegeben eine Opazität, Vordergrund- und
Hintergrundfarben, eines Findens einer gegebenen Farbe c als die
gemischte Farbe beschreiben: p(c|cf, cb, α)
= exp[–βE]. Gl. 12
-
Wir
berücksichtigen
immer die Möglichkeit eines
Ersetzens von E mit E',
dem relativen Fehlermaß. β ist ein
Parameter, welcher die Menge eines Rauschens im Prozeß regelt
bzw. steuert (umgekehrt proportional dazu ist).
-
Die
Statistiken des Mischmodells charakterisiert habend, würde die
statistische Erzeugung von Farben für den unsicheren Bereich durch
ein zufälliges
Wählen
einer Opazität
gemäß ihrer
Wahrscheinlichkeits-Verteilungsfunktion voranschreiten. Der Einfachheit
halber wird sie als Einheit angenommen (unsere beste Abschätzung, unter
der Annahme keiner zusätzlichen
Kenntnis). Wir wählen
dann eine intrinsische bzw. eigentliche Farbe des Vordergrunds,
cf, mit einer Wahrscheinlichkeit pf(cf) und eine Hintergrundfarbe
cb, mit einer Wahrscheinlichkeit pb(cb). Die gemischte Farbe c wird
dann mit einer Wahrscheinlichkeit gleich p(c|cf, cb, α) gewählt. Das
resultiert in einer Gesamtwahrscheinlichkeit eines Erlangens einer
Farbe c von P(c|F,
B, Mischmodell) = exp[–βE]pf(cf)pb(cb). Gl. 13
-
Die
direkteste Verwendung dieser Wahrscheinlichkeit ist es, ein gesteigertes
Fehlermaß zu erzeugen,
um den Farbauswahlalgorithmus anzuwenden. In diesem Ansatz einer
maximalen Wahrscheinlichkeit werden Werte für cf und cb und α gewählt, welche
diese Wahrscheinlichkeit maximieren. Dies ist äquivalent zu einem Maximieren
des Logarithmus von P. Deshalb dient das negative dieses Logarithmus
als ein Fehlermaß,
welches zu minimieren ist: E'' = –logP = βE – log pf(cf) – log pb(cb). Gl. 14
-
Das
Ergebnis ist eine Addition zum vorher abgeleiteten Fehlermaß E (oder
E'), welches aus
der Summe der beiden Logarithmen der bedingten Farbwahrscheinlichkeiten
von Vordergrund und Hintergrund besteht. Nun tragen die Farbverteilungen
zusammen mit der Abweichung vom Mischmodell zum Bestimmen des besten
Fits bei, wenn das oben beschriebene Verfahren mit diesem neuen
Fehlermaß ausgeführt wird.
Die Verfahren, die Fehlermaße
E (oder E') einschließen bzw.
involvieren, können
kombiniert werden, um die Implementierungsgeschwindigkeit auf die
folgende Weise zu erhöhen.
Zuerst wird das Fehlermaß E
wie oben erklärt
verwendet, um die besten Kandidatenfarben, cf und cb zu finden. Der
resultierende Wert von E kann klein oder groß sein. Wenn er zu groß ist, können die
Probefarben beispielsweise nicht die eigentliche Vordergrundfarbe
enthalten. Man sollte dann mehr auf die farbstatistische Information
vertrauen als zu versuchen, die drei Farben zu zwingen, sich am
Mischmodell auszurichten und diesem anzupassen. Als eine Heuristik schaltet,
wenn für
E gefunden wird, größer als
ein gewisser Schwellwert zu sein (ein Wert von 30 im RGB Raum erzeugt
vernünftige
Ergebnisse), dann das Verfahren zur Verwendung eines Fehlermaßes E'' um (wobei α = eingestellt bzw. gesetzt
auf 0). Diese Änderung
erfordert zusätzliche
Berechnungen, aber stellt eine genauere Opazitäts- und intrinsische Farbbestimmung
bereit.
-
Alternativer Ansatz eines
neuralen Netzwerks zur Farbbestimmung 78
-
Der
vorherige Abschnitt beschrieb ein verbessertes Verfahren zum Messen
der Fehlerfunktion, die benötigt
wird zum Suchen und Extrahieren der intrinsischen bzw. eigentlichen
Farben und Opazitäten von
Bildpunkten in dem unsicheren Bereich. Die Verbesserung involvierte
ein Verwenden von statistischer Information über die Farbverteilungen sowohl in
den Vordergrund- als auch den Hintergrundbereichen. Immer noch wurde
die Korrelation zwischen den räumlichen
und Farbverteilungen nicht beachtet. Die meisten Bilder von Interesse
sind erkennbar, weil sie kombinierte Raum-Farbe-Korrelationen enthalten. Mit anderen
Worten, beim Versuch eine Farbe für einen unbekannten Bereich
(den unbestimmten bzw. unsicheren Bereich in diesem Fall) zu füllen, ist ein
zufälliges
Probenehmen von einer Farbverteilung nicht der beste Ansatz bzw.
Zugang. Die Farben bilden Muster, welche eine größere Voraussagbarkeit der Farben
von nahen Bildpunkten ermöglichen.
-
Ein
Ansatz, diese Information zu verwenden, ist es, statistische Messungen
höherer
Ordnung einzugliedern, welche Korrelationen höherer Ordnung charakterisieren
bzw. kennzeichnen. Ein Beispiel dieses Ansatzes wird unten beschrieben.
Die Fähigkeit, Statistiken
höherer
Ordnung zu verwenden, ist in der Praxis durch die großen Berechnungserfordernisse beschränkt, welche übermäßig zunehmen,
wenn man versucht, Information höherer
Ordnung zu verwenden. Und abgesehen von sehr geregelten bzw. gesteuerten
Anwendungen sind Bilder im allgemeinen nicht einem analytischen
Modellieren zugänglich.
-
Ein
neurales Netzwerk stellt Mittel eines Handhabens der korrelierten
Raum-Farbe-Information höherer
Ordnung bereit, die in einem beliebigen Bild vorhanden ist. In einer
Implementierung dieses Aspekts der Erfindung verwenden wir ein standardmäßiges Rückausbreitungs-trainiertes
Feedforwardneurales Netzwerk (wie es beispielsweise beschrieben
wird durch "Rumelhart,
D. E. & McClelland,
J. L. "Parallel
distributed processing: Explorations in the microstructure of cognition,
v 12, Cambridge, MA, MIT Press, 1986).
-
Die
einfachste Form des Verfahrens ist, ein neurales Netzwerk zu betrachten,
welches trainiert ist bzw. wird, die Opazität zu lernen, die mit dem Bildpunkt
r (welcher die Farbe c aufweist) in dem unbestimmten bzw. unsicheren
Bereich assoziiert bzw. verbunden ist. Die Koordinate und die Farbe
werden in das Netzwerk eingegeben, während die Opazität der einzige
ausgegebene bzw. Ausgabewert ist: Eingaben: r, c. Ausgabe: α. Ein neurales
Netzwerk mit einer oder zwei "verborgenen
Schicht(en)" von
Be- bzw. Verarbeitungsknoten genügt,
um ein willkürliches
Kartieren bzw. Aufzeichnen (solange es begrenzt und glatt ist) von
Eingaben zu einer Ausgabe zu lernen. Die spezifische Form für ein Netzwerk
mit einer einzigen "verborgenen
Schicht" ist. α(r, c) = s(gewichtete Summe
von Beiträgen
von jedem verborgenen Knoten + Offset bzw. Kompensation), Gl. 15wo s(x),
häufig
als die Sigmoidfunktion erwähnt
bzw. bezeichnet, irgendeine Funktion ist, die glatt und monoton
von null, wenn x negativ Unendlich ist, auf eins ansteigt, wenn
x positiv Unendlich ist. Die Funktion stellt einen glatten bzw.
sanften Übergang
zwischen null und eins bereit, und wird üblicherweise verwendet, um
die folgende Funktion zu sein: s(x) = 1/[1 + exp(–x)]. Gl. 16
-
Der
Beitrag von einem einzigen verborgenen Knoten kann seinerseits als
eine Sigmoidfunktion einer gewichteten Summe von Beiträgen von
den Eingaben ausgedrückt
werden: Beitrag von
einem verborgenen Knoten (bezeichnet j) = s(wj ... r + w'j ... c + Offset, Gl. 17wo die
Gewichte, wj und w'j
Parameter des Netzwerks sind, welche durch einen verlaufenden bzw. Gradient-Abstiegsalgorithmus
bei einer Präsentation von
bekannten Werten sowohl für
Eingaben als auch Ausgabe trainiert sind. Die Trainingsdaten werden aus
Bildpunkten in den Vordergrund- und Hintergrundbereichen erhalten.
Diesen Bildpunkten sind Opazitätswerte
von 1 bzw. 0 zugeordnet. Beim Trainieren bildet das Netzwerk eine
Annäherung
an eine Funktion aus, die Werte für eine Opazität von 1
innerhalb des Vordergrundbereichs und 0 innerhalb des Hintergrundbereichs
aufweist. Infolge der Glätteeigenschaften
der Sigmoidfunktionen bildet mit geeignetem Training das Netzwerk
auch eine Interpolation zwischen diesen zwei Bereichen aus, was
erlaubt, daß die
Werte für
den unsicheren Bereich ausgefüllt werden.
Eine beliebige Funktion wird, wenn sie unter Verwendung eines Maßes eines
mittleren quadratischen Fehlers trainiert ist bzw. wird, zwischen
0 und 1 zu interpolieren, eine bedingte Wahrscheinlichkeit annähern. In
diesem Fall ist es die Wahrscheinlichkeit, bei einer Koordinate
r mit der Farbe c, daß diese Kombination
zum Vordergrundbereich gehört.
Eins minus diese Wahrscheinlichkeit ist die entsprechende Wahrscheinlichkeit
für den
Hintergrund. Somit wird das neurale Netzwerk, das trainiert ist,
um die Opazität α vorauszusagen,
diese Opazität
als die bedingte Wahrscheinlichkeitsfunktion bereitstellen: α(r, c) = p(Vordergrund|r, c). Gl. 18
-
Dieses
Ergebnis schließt
sowohl räumliche als
auch Farbinformation als auch mögliche
Korrelationen zwischen den beiden ein.
-
In
einem anderen Ansatz, der durch diese Beziehung inspiriert bzw.
angeregt ist, wird die Opazität
einzig unter Verwendung der farbstatistischen Information bestimmt,
indem die implizierte bedingte Wahrscheinlichkeit von Gl. 18 umgekehrt
wird, wobei r nicht enthalten ist. Wenn Rauminformation nicht beachtet
wird, ist die Beziehung α(c) = p(Vordergrund|c). Gl. 19
-
Bayes' statistische Regel
(welche aus einfachen Zählargumenten
resultiert) erlaubt, daß dies aus
den Vordergrund- und
Hintergrund-Farbwahrscheinlichkeiten, die früher gegeben sind, berechnet wird: P(F|c) = [P(c|F)pF]/[p(c|F)pF
+ p(c|B)pB], Gl. 20wo
pF und pB Konstante sind, welche die Wahrscheinlichkeiten eines
Findens eines Vordergrundbildpunkts oder eines Hintergrundbildpunkts
von beliebiger Farbe zur Verfügung
stellen, und als Einheit der Einfachheit halber in dieser Implementierung
der Erfindung genommen sind bzw. werden. Eine Alternative ist es,
sie proportional zur Anzahl von Bildpunkten festzulegen, die in
jedem Bereich als Probe genommen sind. Das Nettoergebnis ist eine
Bestimmung der Opazität,
welche räumliche
Information nicht beachtet und nur die Farbverteilungsinformation
verwendet, die aus den Farbhistogrammen erhalten wird: α(c) = pf(c)/[pf(c) + pb(c)]. Gl. 21
-
Der
Ansatz eines neuralen Netzwerks erlaubt, daß dieses rein statistische
Ergebnis durch ein Eingliedern bzw. Aufnehmen von räumlicher
Information als auch durch Raum-Farbe-Korrelationen
gesteigert wird.
-
In
der obigen Beschreibung wurde das neurale Netzwerk verwendet, um
die Bildpunktopazität zu
bestimmen. Wenn die Opazität
gegeben ist, kann die eigentliche Vordergrundfarbe gefunden werden, indem
die Vordergrund- und Hintergrundfarbverteilungen abgetastet sind
bzw. werden, wie dies früher erklärt worden
ist, um den Fehler zu minimieren, der in Gl. 14 gegeben ist. Alternativ
kann der Ansatz des neuralen Netzwerks modifiziert werden, um die
Farbinformation zu extrahieren, indem das Farbmischmodell als eine
Beschränkung
eingegliedert wird. Dieser Ansatz verwendet ein modifiziertes neurales
Netzwerk ähnlich
dem vorher beschriebenen neuralen Netzwerk, wobei aber auch Ausgabe knoten
für die Vordergrund-
und Hintergrundfarben zusätzlich
zur Opazität
verwendet werden. Außerdem
werden alle drei Ausgaben durch das Mischmodell beschränkt, welches
einen Wert für
die beobachtete Farbe c erzeugt. Das Ergebnis ist ein neurales Netzwerk,
welches als Eingabe sowohl r als auch c nimmt und als Ausgabe die
Opazität
ebenso wie c selbst erzeugt. Dies ist eine Variation gegenüber einer
gewöhnlichen Klasse
von neuralen Netzwerken, welche bei einem Training, um eine Ausgabe
zu geben, die die Eingabe reproduziert, nützliche Information in den
internen Knoten lernen. In diesem Fall erzeugt durch ein Trainieren,
um die Opazität
zu lernen und die beobachtete Farbe zu reproduzieren, das Netzwerk
Annäherungen
für cf
und cb als auch die intrinsischen bzw. eigentlichen Farben.
-
Alternativer Wellenfrontansatz
zur Farbbestimmung 80
-
Die
oben präsentierten
Methoden bzw. Verfahren beruhen auf einem Suchen nach Bildpunkten in
der Vordergrund- oder Hintergrundmaske, welche am nächsten zu
jedem Bildpunkt in dem unbestimmten bzw. unsicheren Bereich sind.
Farbstatistiken werden verwendet, um gesteigerte Ergebnisse bereitzustellen.
Erwähnt
wurde die Schwierigkeit eines Verwendens von statistischer Information,
höherer Ordnung
für eine
weitere Steigerung bzw. Verbesserung. Hier wird ein Verfahren beschrieben,
welches einen größeren Grad
an Freiheit bereitstellt, um diese farbräumlichen bzw. Farbe-Raum-Korrelationen
höherer
Ordnung auszubeuten bzw. auszunutzen. Wie in 14 gezeigt,
verwendet dieser Ansatz die Abschätzungen der Erfindung einer
Farbinformation in unsicheren Bereichen 202 und daß die Grenzbereiche 204, 206 nahe
einem gegebenen Bildpunkt 208 vernünftige Abschätzungen
liefern. Dies kann erzielt werden, indem Farben aus den Grenzen
in den un sicheren Bereich fließen,
wodurch er mit Abschätzungen
der Vordergrund- oder Hintergrundfarben (abhängig davon, welche Grenze verwendet
wird) gefüllt wird.
In dieser Wellenfrontimplementierung wird die Grenze um einen Schritt
bis zu einer Zeit wachsen gelassen, bis der unsichere Bereich gefüllt ist.
Der Algorithmus wird einmal angewandt, um Vordergrundfarben zu bestimmen,
und dann wiederum gesondert, um Hintergrundfarben zu bestimmen.
Der Algorithmus wird nur für
den Vordergrundfall illustriert bzw. dargestellt. Analoge Schritte
werden für
den Hintergrundfall unternommen.
-
Bei
jedem Schritt werden Farben zusammen mit bzw. entlang einer wachsenden
Wellenfront 210 modifiziert. Um die Wellenfront zu verfolgen,
wird eine Maske 212 erzeugt, um den Zustand jedes Bildpunkts
in dem Bild anzugeben. Ein Bildpunkt kann in einem von drei möglichen
Zuständen
sein: fixiert (seine Farbe ändert
sich nicht) 214, geändert
(die Farbe hat sich verändert) 216,
unverändert
(die Farbe kann, aber muß noch
nicht geändert
sein) 218. Die Maske wird initialisiert, wobei alle Vordergrundbildpunkte 220 als
festgelegt bzw. fixiert eingestellt sind. Diese Vordergrundbildpunkte
werden als jene Bildpunkte genommen, welche wahre Werte der Vordergrundmaske
aufweisen und welche innerhalb einer kleinen Nachbarschaft 222 (beispielsweise
3 oder 5 Bildpunkte) der Grenze des unsicheren Bereichs liegen. Alle
Bildpunkte 224 in dem unsicheren Bereich werden als unverändert markiert.
Wenn die Farben in dem unsicheren Bereich modifiziert sind bzw.
werden, werden die entsprechenden Bildpunkte als geändert markiert.
-
Der
Algorithmus arbeitet bei jedem Schritt, indem ein gedachtes Fenster 226 über alle
Bildpunkte entlang der aktuellen Wellenfront geschoben wird. Das
Fenster umschließt
die Bildpunkte 228, welche unverändert sind, aber welche an
festgelegte Bildpunkte oder geänderte
Bildpunkte angrenzen. Der Zentrumsbildpunkt in dem Fenster weist
seine Farbe durch eine neue Farbe, abhängig von den Farben in den
benachbarten Fensterbildpunkten ersetzt auf. Dieser Zentrumsbildpunkt
ist als geändert
markiert und ein Be- bzw. Verarbeiten setzt sich entlang der Wellenfront
fort. Die Zuordnungen einer neuen Farbe werden in ein neues Bild
oder einen anderen Speicherbereich gepuffert, bis ein vollständiger Durchgang
entlang der Wellenfront abgeschlossen ist. Es gibt mehrere Methoden
für ein
Bestimmen der neuen Farbe des Zentrumsbildpunkts.
-
Die
Erste ist ein einfacher Ansatz von Statistiken erster Ordnung, in
welchem seine Farbe zufällig von
den benachbarten Bildpunkten in dem Bild gewählt wird, welche verändert oder
fixiert sind. Diese Beschränkung
auf geänderte
oder festgelegte Bildpunkte stellt sicher, daß Farbe aus dem Grenzbereich
in den unsicheren Bereich fließt.
Jedem benachbarten Bildpunkt, welcher geändert oder fixiert ist, ist
eine gleiche Wahrscheinlichkeit gegeben gewählt zu werden.
-
Das
oben beschriebene Verfahren kann verbessert werden, um Raum-Farbe-Korrelationen
in Betracht zu ziehen. Ein Ansatz ist es, Statistiken zweiter Ordnung
zu verwenden, die die Verbindungswahrscheinlichkeiten eines Findens
von zwei Farben an zwei unterschiedlichen Stellen in Betracht ziehen bzw.
berücksichtigen.
Eine heuristische Implementierung, welche gewisse Statistiken zweiter
Ordnung einfängt
und dennoch schnell zu implementieren ist, beginnt mit der Zufallsauswahl
aus den ungeänderten
oder fixierten Nachbarn.
-
Es
sei der zentrale Bildpunkt durch r0 bezeichnet und der nächste Farbanpassungsnachbar, der
fixiert oder ungeändert
ist, durch r1 bezeichnet. Diese Bildpunkte stehen in einer räumlichen
Beziehung zueinander, wie dies durch den Trennungsvektor bestimmt
wird. r01 = r0 – r1. Gl. 22
-
Nun
finden den Bildpunkt aus den ungeänderten oder fixierten Fensternachbarn,
der am nächsten
in der Farbe zu c1, der Farbe bei Bildpunkt r1 ist. Diese Bildpunktstelle
wird mit r2 bezeichnet werden. Dann ersetze die Farbe des zentralen
Bildpunkts mit der Farbe an der Stelle r2 + r01. Dieses Verfahren
erlaubt die Ausbreitung entlang der Wellenfront von Mustern, die
durch Korrelationen zweiter Ordnung unter den Bildpunkten eingeschlossen
bzw. umfaßt
sind. Korrelationen höherer
Ordnung können in
einer ähnlichen
Art und Weise gehandhabt werden.
-
Eine
alternative Implementierung verwendet möglicherweise Farbe-Raum-Information
eines längeren
Bereichs. In diesem Ansatz wird ein Maß an Rand- bzw. Kantenfestigkeit
und Richtung bei jedem zentralen Bildpunkt berechnet. Standardmäßige Sobel
Filter und anspruchsvollere weitreichende Messungen einer Randfestigkeit
bzw. -stärke
und Richtung können
verwendet werden. Das Ziel ist, das Probenehmen bzw. Abtasten von
Punkten so zu gewichten, daß es
entlang der Kanten- bzw. Randrichtung vorgespannt bzw. begünstigt ist.
Dies begünstigt
den Farbfluß entlang
von Rändern
bzw. Kanten. Der Grad einer Begünstigung
bzw. Vorspannung kann durch ein Gewichten der Wahrscheinlichkeiten
gemäß einem
Abstand vom Rand geregelt bzw. gesteuert werden. Die Ge wichtungsfunktion
kann von der Größe der Randfestigkeit
abhängen.
Stärkere
Ränder
können
schwerer gewichtet sein, so daß der
Farbfluß mehr
beschränkt
ist. In einer Implementierung werden die Bildpunkte mit einer Gauss'schen Verteilung abgetastet,
welche eine Funktion eines Abstands zu der Rand- bzw. Kantenlinie
ist (eine Linie vom zentralen Bildpunkt, der entlang der Rand- bzw.
Kantenrichtung liegt), die um diese Linie zentriert ist.
-
Farbextraktion aus einem
vorher ausgewählten
Gegenstand 82
-
Wenn
ein Bild gegeben ist, welches einen Gegenstand enthält, welcher
entweder durch diese Erfindung oder durch andere Mittel ausmaskiert
worden ist, aber welcher noch eine Farbverunreinigung bzw. -kontamination
aufweist, wird ein Mechanismus benötigt, um diese Verunreinigung
zu entfernen, indem die Farbextraktion unabhängig von der Opazitätsbestimmung
durchgeführt
wird. Dies kann durch eine Variante des früher verwendeten Verfahrens
getan werden. Wenn die Farbe und die Opazität bei jedem Bildpunkt gegeben
sind, wünschen
wir, die intrinsische bzw. eigentliche Vordergrundfarbe für jene Bildpunkte
herauszufinden, welche eine Opazität nicht gleich 0 oder 1 aufweisen.
Ein Verfahren ist es, die Opazität
in den oberen und unteren Grenzen mit einem Schwellwert zu versehen.
Alle Bildpunkte mit einer Opazität über einem
gewissen Wert α1
werden als Vordergrund bezeichnet und alle Bildpunkte mit einer
Opazität
unter α0
werden als Hintergrund bezeichnet (Beispielswerte sind 0,8 bzw.
0,2). Der Algorithmus kann dann wie früher diskutiert voranschreiten,
indem nach cf und cb aus Proben des Vordergrunds und Hintergrunds
nahe dem fraglichen Bildpunkt gesucht wird und das Fehlermaß minimiert wird,
das in Gl. 7 oder 8 oder 14 gegeben ist, wobei α nun durch den beobachteten
Wert fixiert wird.
-
Andere
Implementierungen sind innerhalb des Umfangs der folgenden Ansprüche.