-
Die
Liste im Anhang der Beschreibung dieses Patents enthält Unterlagen,
für die
Urheberrechtsschutz beansprucht wird. Der Inhaber des Urheberrechts
hat keine Einwände
gegen die Faksimile-Reproduktion eines der Patentdokumente oder
der Patentbeschreibung, wie in den Akten des US-Patent- und Markenamtes hinterlegt,
behält
sich aber alle sonstigen Rechte vor.
-
Die
vorliegende Erfindung betrifft allgemein den Bereich der digitalen
Bildverarbeitung und insbesondere das Lokalisieren von Objekten
in einem Digitalbild.
-
Die
Identifizierung von Objekten in einem Bild ist Bestandteil einer
Vielzahl von Bildverarbeitungsfunktionen. Beispielsweise wird zur
Korrektur von roten Augen in Bildern das menschliche Auge lokalisiert,
und der unerwünschte
rote Teil in dem Auge wird durch eine ästhetisch ansprechendere Farbe
ersetzt. In der „KODAK" Digitaldruckstation
wird das Bild an einem berührungsempfindlichen
Bildschirm angezeigt, wobei ein Auge wiederholt berührt wird,
um den roten Bereich des Auges bei jeder Berührung weiter zu vergrößern. Der
rote Bereich des Auges wird dann identifiziert, indem nach roten
Pixeln in dem während
des Vergrößerungsprozesses definierten
Bereich gesucht wird, und die identifizierten roten Pixel werden
durch eine vorbestimmte Farbe ersetzt, um dem Bild ein ästhetisch
ansprechenderes Aussehen zu verleihen. Der Vorgang wird anschließend für das andere
Auge wiederholt.
-
Ein
ein neurales Netz betreffendes Verfahren zur Lokalisierung menschlicher
Augen wird beschrieben in Learning An Example Selection for Object
and Pattern Recognition, The AI-Lab,
MIT von K. K. Sung, November 1995. Dieses Verfahren beschreibt das
Trainieren eines neuralen Netzes zur Erkennung von Augen mit akzeptabler
Verzerrung aus einer vorgewählten
Augenvorlage. Der Bediener verzerrt die ursprüngliche Augenvorlage wiederholt,
wobei sämtliche
Variationen, die aus dem Verzerren des Auges erzeugt werden, entweder
als akzeptabel oder als inakzeptabel markiert werden. Die verzerrten
Muster, d.h. die Trainingsaugen, und die zugehörigen Markierungsinformationen
werden in das neurale Netz eingespeist. Dieser Trainingsprozess
wird wiederholt, bis das neurale Netz eine zufriedenstellende Erkennungsleistung
für die
Trainingsbilder erzielt hat. Somit sind mehrere mögliche Abwandlungen
des Auges in dem trainierten neuralen Netz gespeichert. Die Lokalisierung
eines Auges erfolgt durch Einspeisung eines Bereichs des Bildes
in das neurale Netz, um zu bestimmen, ob eine erwünschte Ausgabe,
d.h. eine Übereinstimmung,
auftritt; alle Übereinstimmungen werden
als ein Auge identifiziert.
-
Die
in der Technik bekannten und verwendeten Verfahren zur Identifizierung
von Augen sind zwar zufriedenstellend, jedoch nicht ohne Nachteil.
Das mit einem berührungsempfindlichen
Bildschirm arbeitende Verfahren erfordert eine konstante menschliche
Interaktion durch wiederholtes Berühren des berührungsempfindlichen
Bildschirms, um das Auge zu vergrößern und ist daher etwas arbeitsaufwändig. Das
ein neurales Netz umfassende Verfahren erfordert ein umfassendes
Training und beinhaltet zudem einen rechenintensiven Abstimmungsprozess,
weil eine ausführliche
Suche nach allen möglichen
Größen und
Ausrichtungen des Auges durchgeführt
werden muss.
-
Chow
G. et al. beschreiben in "Towards
a System for Automatic Facial Feature Detection", Pattern Recognition, US, Pergamon
Press Inc., Elmsford, N.Y., Band 26, Nr. 12, 1. Dezember 1993, Seite
1739-1755, XP000420368 ISSN 0031-3203 ein Gesichtsmerkmal-Erkennungssystem
und ein Computerprogramm, in dem Talbereiche eines Bildes ermittelt
werden. Zur Ermittlung einer Vielzahl von Orten, die eine gewünschte Übereinstimmung
eines Objekts mit der Vorlage aufweisen, wird eine Vorlagenübereinstimmungsprüfung durchgeführt. Es
wird eine Prüfung
durchgeführt,
um zu ermitteln, ob zwei potenzielle Augenkandidaten an Orten infrage
kommen, die aus den Talbereichen bestimmt worden sind. Das System
und Computerprogramm umfassen in unterschiedlichen Modulen das Bestimmen
eines Neigungswinkels und eines Maßes eines Kandidatenauges,
basierend auf der Ausrichtung eines Vektors, der zwei Kandidatenaugen
verbindet.
-
Saber,
E. et al. beschreiben in "Face
detection and facial feature extraction using color, shape and symmetry-based
cost functions",
Proceedings of the International Conference on Pattern Recognition,
25. August 1996, XP002097369, ein Kontextmodell, in dem Orte von
Kandidatenaugen in Bezug auf eine Ellipse geprüft werden, die einen Näherungswert
eines Gesichts darstellt. Das Modell umfasst eine Kostenfunktion,
in der ein Vektor zwischen zwei Kandidatenaugen mit einer horizontalen
Linie verglichen wird.
-
Sobottka,
K. et al. beschreiben in „Face
Localization and Facial Feature Extraction Based on Shape and Color
Information", Proceedings
of the International Conference on Image Processing (ICIP), US,
New York, USA, IEEE, 1996, Seite 483-486, XP000704075 ISBN: 0-7803-3259-8 ein weiteres
Verfahren zur Gesichtsmerkmalserkennung.
-
Es
besteht daher Bedarf nach Verbesserungen des Verfahrens zur Lokalisierung
von Objekten in einem Bild, um die zuvor beschriebenen Nachteile
zu überwinden.
-
Die
vorliegende Erfindung löst
eines oder mehrere der vorstehend genannten Probleme. Nach einem Aspekt
der vorliegenden Erfindung betrifft die Erfindung ein Computerprogrammprodukt
zum Lokalisieren eines ersten und zweiten Aufnahmegegenstandes in
Form menschlicher Augen, wobei jeder Aufnahmegegenstand im Wesentlichen
dieselben physikalischen Eigenschaften aufweist und das Verhältnis zwischen
dem Abstand des ersten und zweiten Aufnahmegegenstandes in Form
menschlicher Augen und der Größe eines
jeden Aufnahmegegenstandes in Form menschlicher Augen im Wesentlichen
unveränderlich
ist, mit einem computerlesbaren Speichermedium mit einem darauf
gespeicherten Computerprogramm zum Ausführen der Schritte: (a) Bestimmen
eines potentiellen Hauttonbereichs in einem Bild; (b) Bestimmen
von Grundbereichen im Bild; (c) Ausführen eines Abgleichs im Bild
unter Verwendung einer Vorlage (Template) in einer Nachbarschaft
der Grundbereiche innerhalb der Hauttonbereiche zum Bestimmen einer
Vielzahl von Orten, die einen erwünschten Abgleich des Aufnahmegegenstandes
in Form menschlicher Augen bezüglich
der Vorlage ergeben; und (d) Finden der besten zwei Orte von Aufnahmegegenständen in
Form menschlicher Augen durch Berechnen von Bewertungskriterien
einzeln oder in Kombination für
eine Vielzahl von Nachweiskriterien, wobei das Berechnen der Bewertungskriterien
oder Gütemaße das Messen
des Unterschieds zwischen einer Ausrichtung einer einen ersten und
einen zweiten Aufnahmegegenstand in Form menschlicher Augen verbindenden
Linie und einer durchschnittlichen Ausrichtung der Aufnahmegegenstände in Form
menschlicher Augen als einem der Nachweiskriterien umfasst.
-
Der
vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren
zur Auffindung von Objekten in einem Bild bereitzustellen, das die
zuvor beschriebenen Probleme löst.
-
Der
vorliegenden Erfindung liegt zudem die Aufgabe zugrunde, ein Verfahren
zur automatischen Auffindung von Objekten in einem Bild bereitzustellen.
-
Der
vorliegenden Erfindung liegt zudem die Aufgabe zugrunde, ein Verfahren
zur Ermittlung der physischen Größe der zu
findenden Objekte bereitzustellen.
-
Der
vorliegenden Erfindung liegt zudem die Aufgabe zugrunde, ein Verfahren
zur Ermittlung der physischen Ausrichtung der zu findenden Objekte
bereitzustellen.
-
Die
vorliegende Erfindung weist den Vorteil auf, dass ein effizientes
Verfahren zur Lokalisierung von Objekten in einem Bild bereitgestellt
wird.
-
Ein
Merkmal der vorliegenden Erfindung besteht darin, eine Größe jedes
Objekts anhand der Form und Größe des Bereichs
zu ermitteln, in dem sich die Objekte potenziell befinden.
-
Ein
Merkmal der vorliegenden Erfindung besteht darin, eine Ausrichtung
jedes Objekts anhand der Form und Ausrichtung des Bereichs zu ermitteln,
in dem sich die Objekte potenziell befinden.
-
Ein
Merkmal der vorliegenden Erfindung besteht darin, zwei (oder eine
Gruppe) von Objekten anhand der Vielzahl von Bewertungskriterien
oder Gütemaßen auf
der Grundlage des vorherigen Wissens um die Beziehung zwischen dem
ersten und zweiten Objekt zu bestimmen.
-
Die
Erfindung wird im folgenden anhand in der Zeichnung dargestellter
Ausführungsbeispiele
näher erläutert. Es
zeigen:
-
1 eine
perspektivische Ansicht eines Computersystems zur Implementierung
der vorliegenden Erfindung;
-
2a ein
Diagramm zur Darstellung des von der vorliegenden Erfindung verwendeten
Suchverfahrens;
-
2b ein
detailliertes Diagramm zur Darstellung des zonengestützten Kreuzkorrelationsprozesses;
-
3 ein
detailliertes Diagramm zur Darstellung des Hauterkennungsprozesses;
-
4 ein
detailliertes Diagramm zur Darstellung des Talbereichserkennungsprozesses;
-
5 eine
Ansicht der Zonenpartition der erfindungsgemäßen Vorlage;
-
6 eine
Darstellung zur Paarzuordnung von Augenkandidaten;
-
7 eine
Darstellung der Verifikationsprozedur für den Abstand zwischen den
Augen und die Ausrichtungen der beiden Augen;
-
8 eine
Darstellung zum Abgleichen des Auge-Auge-Profils;
-
9 eine
Darstellung der Bewertungsfunktion; und
-
10 eine
Darstellung des Gesichts- und des Mundrahmens.
-
Im
folgenden wird die vorliegende Erfindung in dem bevorzugten Ausführungsbeispiel
als Softwareprogramm beschrieben. Fachleuten ist selbstverständlich klar,
dass sich ein Äquivalent
einer derartigen Software auch in Form von Hardware konstruieren
lässt.
-
Im
vorliegenden Zusammenhang kann ein computerlesbares Speichermedium
beispielsweise magnetische Speichermedien, wie Magnetplatten (z.B.
Disketten) oder Magnetband umfassen, optische Speichermedien, wie
optische Platte, optisches Band oder maschinenlesbaren Code, Halbleiterspeichervorrichtungen,
wie RAM (Random Access Memory) oder ROM (Read Only Memory) oder
jede andere physische Vorrichtung oder jedes andere Medium, das
zur Speicherung eines Computerprogramms geeignet ist.
-
1 zeigt
ein Computersystem zur Implementierung der vorliegenden Erfindung.
Zwar wird hier das Computersystem 10 zur Veranschaulichung
eines bevorzugten Ausführungsbeispiels
gezeigt, aber die vorliegende Erfindung ist nicht auf das gezeigte
Computersystem 10 beschränkt, sondern kann mit jedem
elektronischen Verarbeitungssystem verwendet werden. Das Computersystem 10 umfasst
eine mikroprozessorgestützte
Einheit 20 zum Empfangen und Verarbeiten von Softwareprogrammen
sowie zur Durchführung
anderer Verarbeitungsfunktionen. Ein berührungsempfindliches Display 30 ist
elektronisch mit der mikroprozessorgestützten Einheit 20 verbunden,
um benutzerbezogene Informationen in Verbindung mit der Software
anzuzeigen und um Benutzereingaben über die Berührung des Bildschirms zu empfangen.
Eine Tastatur 40 ist ebenfalls mit der mikroprozessorgestützten Einheit 20 verbunden,
damit ein Benutzer Informationen an die Software übergeben
kann. Als Alternative zur Verwendung der Tastatur 40 als
Eingabegerät
ist eine Maus 50 verwendbar, um ein Auswahlelement 52 am
Display 30 zu bewegen und eine Position auszuwählen, an
der sich das Auswahlelement 52 mit der Position überlagert,
wie in der Technik bekannt ist.
-
Ein
Compact-Disk-Lesespeicher (CD-ROM) 55 ist mit der mikroprozessorgestützten Einheit 20 verbunden,
um Softwareprogramme zu empfangen und um eine Einrichtung zur Eingabe
der Softwareprogramme und anderer Informationen in die mikroprozessorgestützte Einheit 20 über eine
Compact Disk 57 bereitzustellen, die typischerweise ein
Softwareprogramm umfasst. Ein Softwareprogramm kann sich auch auf
einer Diskette 61 befinden, die zur Eingabe des Softwareprogramms
in die mikroprozessorgestützte
Einheit 20 eingelegt wird. Wie in der Technik bekannt ist,
ist die mikroprozessorgestützte
Einheit 20 zudem zur internen Speicherung des Softwareprogramms
programmierbar. Ein Drucker 56 ist mit der mikroprozessorgestützten Einheit 20 verbunden,
um eine Hardcopy der Ausgabe des Computersystems 10 zu
erstellen.
-
Bilder
können
zudem am Display 30 über
eine Personal-Computer-Karte 62 (PC-Karte), die vormals als
PCMCIA-Karte (Personal Computer Memory Card International Association)
bekannt war, angezeigt werden, die in der Karte 62 ausgebildete,
digitalisierte Bilder enthält.
Die PC-Karte 62 wird in die mikroprozessorgestützte Einheit 20 eingesteckt,
um das Bild am Display 30 visuell darzustellen.
-
2a zeigt
ein Ablaufdiagramm eines erfindungsgemäßen Softwareprogramms. Vor
Erörterung
der Details des Ablaufprogramms sei darauf hingewiesen, dass ein
Teil des Programms zwar das Erkennen menschlicher Haut beinhaltet,
dass aber bei entsprechender Modifizierung des Programms auch tierische Haut
erkennbar ist, wie Technikern selbstverständlich klar sein wird. Das
Programm wird initiiert S2, und die Erkennung menschlicher Haut
wird durchgeführt,
um eine Hautkarte S4 zu erstellen.
-
3 zeigt
ein detailliertes Ablaufdiagramm zur Erstellung der Hautkarte S4.
Diesbezüglich
wird ein Farbbild in die mikroprozessorgestützte Einheit 20 mithilfe
bekannter Mittel eingegeben S4a, beispielsweise mit einer PC-Karte,
und in einen Farbraum konvertiert S4b, vorzugsweise in einen LST-Farbraum.
Die Bildcodewerte werden dann quantifiziert S4c, um die Gesamtzahl
von Histogramm-Bins zu reduzieren. Ein dreidimensionales (3D) Histogramm
wird für
das typische 3-Kanal-Farbbild erstellt S4d. Dieses 3D-Histogramm
wird geglättet
S4e, um das Rauschen zu entfernen, worauf die Spitzen in dem 3D-Histogramm
geortet werden S4f. Bin-Clustering wird durch Zuweisung einer Spitze
zu jedem Bin des Histogramms S4g durchgeführt. Für jedes Pixel in dem Farbbild
wird ein Wert basierend auf dem Bin zugewiesen, der der Farbe des
Pixels entspricht S4h. Verbundene Bereiche, die eine Mindestzahl
von Pixeln aufweisen (MinNoPixels), vorzugsweise 50 Pixel, wobei
auch andere Werte verwendbar sind, werden dann markiert S4i. Die
größte zulässige Zahl
von Bereichen ist MaxNoRegions S4i, vorzugsweise 20 Bereiche, obwohl
auch andere Werte verwendbar sind.
-
Anhand
der mittleren, transformierten Farbkomponentenwerte der menschlichen
Haut und der mittleren Farbwerte eines gegebenen Bereichs wird eine
Hautwahrscheinlichkeit Pskin für
jeden markierten Bereich S4j berechnet. Einem Bereich, in dem Pskin
größer als
SkinThreshold ist S4k, und zwar um vorzugsweise 0,7, wird eine eindeutige
Markierung zugeordnet, wobei auch andere Werte verwendbar sind.
Alle Pixel, die keine Haut darstellen, werden auf null gesetzt.
Wenn sich zwei oder mehr Hautbereiche berühren, werden sie zu einem einzigen
Hautbereich S41 zusammengefasst.
-
Wie
in 4 gezeigt, empfängt das Programm die Hautkartendaten
und führt
eine bekannte elliptische Ausgleichstechnik für jeden verbundenen Hautbereich
durch. Das Seitenverhältnis
und die Kompaktheit der ausgleichenden Ellipse wurde gemessen, um
Hautbereiche von unregelmäßiger Formgebung
zurückzuweisen.
Das Seitenverhältnis
ist als das Verhältnis
der langen zu den kurzen Achsen definiert, und die Kompaktheit ist
als das Verhältnis
der von der ausgleichenden Ellipse eingeschlossenen Fläche zu der
Fläche
des gesamten Hautbereichs definiert. Wenn das Seitenverhältnis der
ausgleichenden Ellipse größer als
drei ist, oder wenn die Kompaktheit kleiner als 0,9 ist, wird sie
zurückgewiesen.
Wie in 2a gezeigt, bestimmt das Programm
eine programmseitig geschätzte
Größe und Ausrichtung
der Augen S6 gemäß der in
jedem verbliebenen Hautbereich ausgleichenden Ellipse anhand der
folgenden Gleichung, die grafisch in 4 dargestellt
ist: s = b/4wobei b die Länge der
kleineren Achse der ausgleichenden Ellipse in Pixeln ist, und wobei
s die ermittelte Größe oder
Länge des
Auges in Pixeln ist.
-
Zudem
wird eine geschätzte
Winkelausrichtung des Auges aus der Ausrichtung der ausgleichenden Ellipse
erzeugt S6, wie in 4 gezeigt. Hierbei liegt die
Annahme zugrunde, dass die beiden Augen ausgerichtet sind, so dass
jedes Auge ungefähr
die gleiche Ausrichtung hat wie die Ausrichtung der kleineren Achse der
ausgleichenden Ellipse. Dieser Winkel, der als θ bezeichnet wird, liegt zwischen
der kleineren Achse und einer horizontalen Linie. Ein Unterbild
wird für
jeden Hautbereich extrahiert S8. Es sei darauf hingewiesen, dass
von dieser geschätzten
Augengröße die Auflösung des
extrahierten Unterbildes derart abgeändert ist, dass die Augen in
dem Bild ungefähr
dieselbe Größe wie die
Augenvorlage haben S8. Wie in 6 gezeigt, hat
eine bestimmte Augenvorlage eine Auflösung von 19 Pixeln horizontal
und 13 Pixeln vertikal. Diese Auflösungsänderung oder Neubemaßung ermöglicht es,
die Augen in den Bildern mit derselben Auflösung einer Vorlage und gegen
dieselbe Menge von Strukturdetails abzugleichen, wie nachstehend
detailliert beschrieben wird. Alternativ hierzu kann ein Satz von
Vorlagen mit unterschiedlichen Detailmengen entworfen werden, wobei
die Auflösung
des Bildes unverändert
bleibt. Eine derartige alternative Konstruktion lässt sich
von einschlägigen
Fachleuten ohne Schwierigkeiten verwirklichen.
-
Wie
in 2a gezeigt, wird eine Talbereichserkennung durchgeführt, um
eine Talbereichskarte für
jedes extrahierte Unterbild zu erzeugen S10. Der Zweck der Talbereichs erkennung
besteht darin, flache Hautbereiche aus weiteren Betrachtungen zu
entfernen. 5 zeigt, dass die Talbereichserkennung
aus einer Vielzahl von Schritten besteht. Zunächst wird eine Glättungsoperation
durchgeführt,
um Rauschen und möglicherweise
kleine Spitzlichter im Auge oder auf Brillengläsern zu beseitigen, vorzugsweise
unter Verwendung eines morphologischen Öffnens, gefolgt von einem morphologischen
Schließen
S10a. Die Talbereiche in dem geglätteten Bild werden identifiziert,
vorzugsweise als Ausgabe der Differenz zwischen einem morphologisch
geschlossenen Bild und dem Bild selbst S10b. Der Codewert dieses
Ausgabebildes stellt die Konfidenz des Vorhandenseins eines Talbereichs
dar. Eine Medianfilterungsoperation wird an das erstellte Talbereichsbild
angelegt, um Rauschen und lange, dünne Strukturen in dem Bild
zu reduzieren S10c. Im Allgemeinen befinden sich in langen, dünnen Strukturen
des Talbereichsbildes keine Augen. Zudem entspricht der absolute
Codewert in dem Talbereichsbild nicht unbedingt der Wahrscheinlichkeit
einer Augenhöhle.
Lokale Maxima in dem verarbeiteten Talbereichsbild werden verstärkt, und
zwar vorzugsweise mithilfe der Differenz zwischen dem Talbereichsbild
und dessen morphologisch geschlossener Version S10d. Das Ergebnis
von S10d wird mit dem Ergebnis der Texturunterdrückung S10e kombiniert sowie
mit anderen Hemmungsmechanismen S10f, beispielsweise der „Rötung" des Auges im Falle
der Unterdrückung
roter Augen anhand einer logischen AND-Operation S10g.
-
Nach
S10g werden Pixel mit Codewerten, die größer als ein vorbestimmter Schwellenwert
sind, auf eins gesetzt, andernfalls auf null. Somit wird eine binäre Talbereichskarte
erstellt S10h. Eine Maskierungskarte zur Lenkung der nachfolgenden
Suche wird an dem Schnittpunkt der Hautbereichskarte und der Talbereichskarte
S12 erzeugt.
-
Die
Kreuzkorrelation zwischen der Vorlage und dem Bild wird berechnet,
indem sequenziell das mittlere Pixel der Vorlage zu jedem Pixel
in der Suchmaskenkarte jedes Hautbereichs bewegt wird, und indem
eine bestimmte Art einer zonenbasierten Kreuzkorrelation an jeder
Pixellage durchgeführt
wird, um das mittlere Pixel des Auges S14 zu bestimmen, wie nachstehend
detailliert erläutert
wird.
-
Wie
in 2b gezeigt, wird eine zonenbasierte Kreuzkorrelation
S14 initialisiert S14a. Eine Vorlage wird dann abgerufen und normalisiert
S14b, wenn sie nicht bereits in einem normali sierten Zustand gespeichert
ist. Wie in 6 gezeigt, wird die Vorlage
vorzugsweise erzeugt, indem eine Vielzahl von Augen abgetastet und
deren entsprechende Pixelwerte in Beziehung gesetzt werden, beispielsweise
indem man die mittleren Werte an jedem Pixelort heranzieht. Die
Vorlage wird dann in vier Unterbereiche unterteilt, die das Augenlid,
die Iris und die beiden Augenwinkel darstellen. Um die Vorlage zu
normalisieren, wird der mittlere Pixelwert für das gesamte Vorlagenbild
von jedem Pixelwert subtrahiert und der resultierende Pixelwert
wird durch die Standardabweichung des gesamten Vorlagenbildes dividiert,
um einen normalisierten Pixelwert zu erhalten. Die resultierende
Vorlage hat somit einen mittleren Wert von null und eine Varianz
von eins.
-
Wie
in 2b gezeigt und wenn der Mittelpunkt der Vorlage
am Pixelort von Interesse liegt, umfasst die zonenbasierte Kreuzkorrelation
zuerst das Extrahieren eines Blocks aus dem Bild, wobei dessen Mittelpunkt
am aktuellen Pixel liegt und dessen Größe/Ausrichtung gleich der Vorlage
ist S14c, dann das Normalisieren des extrahierten Bildblocks S14d,
das Berechnen der Kreuzkorrelation zwischen jedem Unterbereich des
extrahierten Blocks und dessen Gegenstück in der Vorlage, wobei das
Pixel des Bildes in der Mitte des Unterbereichs S14e liegt, was
nachfolgend als zonenbasierte Korrelation bezeichnet wird. Wenn
die Kreuzkorrelation für
jede Unterzone einen vorbestimmten Schwellenwert erfüllt oder überschreitet,
vorzugsweise einen Wert von 0,5, wird die Kreuzkorrelation mit der
gesamten Vorlage auf dieselben Pixel von Interesse durchgeführt S14f,
welche nachfolgend als vollständige
Korrelation bezeichnet wird. Wenn ein Schwellenwert, vorzugsweise
0,7, erneut erfüllt
wird, speichert das Programm den Korrelationswert und die Größe/Ausrichtung der
Vorlage vorübergehend
in einem Puffer S14h. Wenn die Kreuzkorrelation für eine oder
mehrere Unterzonen den Schwellenwert verfehlt, oder wenn die Kreuzkorrelation
für die
gesamte Vorlage den Schwellenwert verfehlt, wird die Kreuzkorrelation
an dem Pixel von Interesse auf „0" gesetzt, und die zugehörige Größe/Ausrichtung
wird auf „N/A" gesetzt S14i. Das
Programm fährt
dann mit dem nächsten
Pixelort in der Suchmaskenkarte fort S14l, um die zuvor beschriebenen
teilweisen und vollständigen
Korrelationsoperationen zu wiederholen, wenn es sich nicht um das
letzte Pixel mit einem Maskenwert von ungleich null in dem betreffenden Hautbereich
handelt.
-
Die
zuvor beschriebene, zonenbasierte Korrelation und vollständige Korrelation
wird wiederholt, indem die Vorlage für eine Vielzahl von Größen im Bereich
der ermittelten Größe (auf steigend
und absteigend) und indem eine Vielzahl von Ausrichtungen um die
ermittelte Ausrichtung (im Uhrzeigersinn und entgegen dem Uhrzeigersinn)
variiert wird, um die Größe und Ausrichtung
des Auges S14j neu zu definieren. Ein derartiges Vergrößern und
Verkleinern der Vorlagengröße/Ausrichtung
lässt sich
von einschlägigen
Fachleuten ohne Schwierigkeiten verwirklichen. Die Verfeinerung
umfasst die zuvor beschriebenen Schritte S14c-S14i. Wenn eine oder
mehrere vollständige
Korrelationswerte an einem Pixelort von Interesse einen Wert oberhalb
des Schwellenwerts ergeben, wählt
das Programm den größten Korrelationswert
in dem temporären
Puffer sowie die korrespondierende Vorlagengröße/Ausrichtung, die zur Erzielung
des größten Werts
verwendet wurde und stellt diesen in den Speicher S14k. Zum besseren
Verständnis
sei darauf hingewiesen, dass die zuvor beschriebene Abwandlung der
Vorlagengröße der weiteren
Verfeinerung der ermittelten Größe des Auges
aus Gleichung 1 dient, und dass die Größe/Ausrichtung der bestübereinstimmenden
Vorlagenabwandlung wiederum die genaue Größe/Ausrichtung des tatsächlichen
Auges bezeichnet.
-
Beispielsweise
wird die Vorlagengröße um 10%
und um 10% vergrößert. Wenn
der größte Korrelationswert
aus der Vorlage mit der Auflösung
19 × 13
stammt, wird die ermittelte Größe des Auges
nicht angepasst. Wenn eine der anderen Auflösungen den höchsten Korrelationswert
erzeugt, wird die ermittelte Größe des Auges
so angepasst, dass sie der Vorlagengröße entspricht, die den höchsten Korrelationswert
erzeugt. Desgleichen wird die Vorlagenausrichtung um 10 Grad vergrößert und
um 10 Grad verkleinert. Wenn ein oder mehrere vollständige Korrelationswerte
an einem Pixelort von Interesse einen Wert oberhalb des Schwellenwerts
ergeben, wählt
das Programm den größten Korrelationswert
in dem temporären
Puffer sowie die korrespondierende Vorlagenausrichtung, die zur
Erzielung des größten Werts
verwendet wurde und stellt diesen in den Speicher. Wenn der größte Korrelationswert
aus der Vorlage mit der ursprünglich
ermittelten Ausrichtung stammt, wird die ermittelte Ausrichtung
des Auges nicht angepasst. Wenn eine der anderen Auflösungen den höchsten Korrelationswert
erzeugt, wird die ermittelte Ausrichtung des Auges so angepasst,
dass sie der Vorlagenausrichtung entspricht, die den höchsten Korrelationswert
erzeugt.
-
Wie
bereits erwähnt,
schreitet das Programm dann zum nächsten von der Suchmaske identifizierten Pixelort
fort, um die zuvor beschriebene zonenbasierte und vollständige Korrelation
S141l zu wiederholen, nachdem die Größe und Ausrichtung für das Pixel
von Interesse verfeinert worden sind S14k.
-
Das
Programm fährt
fort, die wahrscheinlichsten Kandidaten aus der Vielzahl von Spitzenkorrelationspunkten
in jedem Fenster als mittleres Pixel des Auges zu prüfen S16-S24.
Die Spitzenpunkte werden als die Punkte lokalisiert, die eine maximale
vollständige
Korrelationswertung aufweisen S16. Die Orte dieser Spitzen werden
in einem Puffer gespeichert S18. Wie in 6 gezeigt,
wird eine Vielzahl von Verifizierungsschritten verwendet. Die Schritte
umfassen das Abstimmen bekannter Eigenschaften über ein Augenpaar mit allen Kombinationen
der während
der Korrelation ausgewählten
Pixel, wobei eine Bewertungstechnik verwendet wird (Gütemaß), um das
wahrscheinlichste Paar von Orten für die Augenmitte zu wählen.
-
In
dem ersten Schritt aus 2a und 6 werden
alle Kombinationen von Pixeln als mögliche Kandidaten in dem betreffenden
Hautbereich ausgewählt
S20. Mit anderen Worten wird jedes Pixel mit allen anderen Spitzenpixeln
in demselben Hautbereich gepaart. Wie in 7 gezeigt,
wird dann die Winkelausrichtung bestimmt, also der Winkel zwischen
der Linie, die zwischen den beiden Pixeln von Interesse und einer
horizontalen Linie durch einen der Punkte gebildet wird, vorzugsweise
das linke Pixel. Wenn die Winkelausrichtung nicht innerhalb von
zehn Grad der geschätzten
Winkelausrichtung in S14c liegt, wird das Paar als mögliche Kandidaten
für den
Mittelpunkt beider Augen gestrichen. Wenn die Ausrichtung innerhalb
von fünf
Grad der geschätzten
Winkelausrichtung liegt, wird das Paar zusammen mit einer bestimmten
Wertung gespeichert.
-
Zudem
wird der Abstand zwischen den beiden Augenkandidaten bestimmt, siehe 7.
Wenn der Abstand nicht proportional zur Größe der Augen gemäß der Kenntnis über menschliche
Gesichter ist, wird das Paar als mögliche Kandidaten für den Mittelpunkt
beider Augen gestrichen. Wenn das Verhältnis innerhalb von 20% des
normalen Verhältnisses
liegt, wird das Paar zusammen mit einer bestimmten Wertung gespeichert.
-
Wie
in 8 gezeigt, umfasst der nächste Schritt die Pixel entlang
einer horizontalen Linie durch die beiden Pixel in einer möglichen
Kombination. Eine Kurve von Codewerten, abgetragen gegen den Pixelort
für jede
Kombination, hat die in 8 dargestellte Form. Wenn die
Form wesentlich abweicht, wird das Paar als mögliche Kandidaten für den Mittelpunkt
beider Augen gestrichen; wenn sie nicht wesentlich abweicht, wird das
Paar zusammen mit einer bestimmten Wertung gespeichert. Die Abweichung
wird vorzugsweise durch das Verhältnis des
mittleren Spitzenpunktes und des Mittelwerts der beiden Talbereichspunkte
bestimmt, obwohl Fachleute selbstverständlich auch andere geeignete
Maße der
Abweichung bestimmen können.
-
10 zeigt
alle Kombinationen, die auf Symmetrie geprüft werden. Dies umfasst die
Messung des Abstands zwischen allen Kombinationen und, auf halbem
Wege dazwischen, die Suche nach Symmetrie auf beiden Seiten des
Bildes durch vertikal durch diesen Punkt auf halbem Wege gelegene
Pixel. Der Bereich von Interesse, der das Gesicht enthält, hat
vorzugsweise die doppelte Breite des Abstands zwischen den Augen und
die dreifache Höhe
des Abstands zwischen den Augen. Der Gesichtsbereich wird in zwei
Hälften
geteilt – die
linke Seite und die rechte Seite gemäß den Positionen der Augen.
Die Symmetrie wird vorzugsweise durch die Korrelation zwischen der
linken Seite und dem Spiegelbild auf der rechten Seite bestimmt,
obwohl Fachleute selbstverständlich
auch andere geeignete Symmetriemaße bestimmen können. Wenn
eine Symmetrie zwischen den beiden Seiten besteht, werden das Paar
und seine Wertung wieder gespeichert; wenn keine Symmetrie besteht,
wird das Paar als möglicher
Kandidat für
den Mittelpunkt beider Augen gestrichen.
-
Alle
Kombinationen werden auch auf ihre zentrale Lage innerhalb des extrahierten
Unterbildes oder der ausgleichenden Ellipse geprüft. Ein bevorzugtes Maß einer
solchen zentralen Lage ist als der Abstand zwischen den Mittelpunkten
der beiden Objekte und der Hauptachse der ausgleichenden Ellipse
definiert, obwohl Fachleute selbstverständlich auch andere geeignete
Abweichungsmaße
bestimmen können.
-
Wie
in 10 gezeigt, wird das Bild dann auf das Vorhandensein
eines Mundes an einer geschätzten Position
geprüft.
Das Programm sucht nach drei oder vier parallelen Linien (Kanten)
innerhalb eines rechteckigen Rahmens, dessen Breite gleich dem Abstand
zwischen den Augen ist, und einem vorbestimmten Abstand zu dem analysierten
Pixelpaar. Der Abstand beträgt
das 1,2-fache des Abstands zwischen den Kandidatenpaaren, obwohl
Fachleute selbstverständlich
auch andere geeignete Abstandswerte oder ähnliche Kriterien bestimmen
können.
Wenn die Linien (Kanten) vorhanden sind, werden das Paar und dessen
Wertung gespeichert; wenn nicht, wird das Paar als möglicher
Kandidat gestrichen.
-
Die
Kombinationen werden dann auf kombinierte Korrelation der beiden
Kandidaten geprüft.
Die kombinierte Korrelation ist die Summe der vollständigen Korrelationswerte
an den beiden Kandidatenpositionen. Wenn die kombinierte Korrelation über einem
vorbestimmten Schwellenwert liegt, werden das Paar und dessen Wertung
gespeichert; wenn nicht, wird das Paar als möglicher Kandidat gestrichen.
-
Das
wahrscheinlichste Paar ist das Paar mit den höchsten kumulativen Wertungen
S22. Die endgültige
Position der Augen wird durch dieses Paar bestimmt S24. Die Prozesse
von S8-S24 werden
für den
nächsten
identifizierten Hautbereich wiederholt, bis der letzte Hautbereich
verarbeitet ist.
-
Die
Form der Bewertungsfunktionen für
jedes der vorstehend beschriebenen Gütemaße wird in 9 dargestellt.
Wenn eine Kombination den Schwellenwert eines bestimmten Gütemaßes verfehlt,
wird ihr bei dieser Bewertungsfunktion zwar ein großer Penalty-
oder Straffaktor zugewiesen, aber sie kann zur weiteren Betrachtung
erhalten bleiben, statt – wie
zuvor beschrieben – gestrichen
zu werden. Wenn ein Gütemaß x in Bezug
auf den Schwellenwert T0 zufriedenstellend ist, liegt die Ausgabe
der Bewertungsfunktion, die gleichzeitig die Eingabe für den Bewertungsakkumulator
darstellt, in Nähe
eines normalisierten Maximalwerts von 1,0. Wenn x den Schwellenwert
verfehlt, wird ein steigendes Strafmaß zugewiesen, je nachdem, wie
stark x verfehlt wurde. Der Vorteil der Verwendung einer derartigen
Bewertungsfunktion liegt in der höheren Robustheit, wenn ein
Kandidatenpaar den Schwellenwert verfehlt, andererseits aber die
höchste
kumulative Wertung erhalten hat.
-
Ein
in (gleich welcher Sprache) geschriebenes Computerprogramm zur Durchführung der
Schritte der vorliegenden Erfindung ist in Anhang A enthalten.
-
Weitere
Merkmale der Erfindung sind nachfolgend aufgeführt.
-
Computerprogrammprodukt,
worin das erste und zweite Objekt ein erstes und zweites menschliches Auge
ist und worin das Berechnen des Verhältnisses das Berechnen eines
Abstands zwischen dem ersten und zweiten Auge umfasst, um einem
früheren
anthropologischen Modell zu genügen.
-
Computerprogrammprodukt,
worin das erste und zweite Objekt ein erstes und zweites menschliches Auge
ist und worin das Berechnen des Profils das Vorbestimmen eines Modells
eines Auge-zu-Auge-Profils umfasst und das Bestimmen eines tatsächlichen
Profils aus dem Bild sowie das Berechnen einer Anpassungsgüte zwischen
dem tatsächlichen
Profil und dem Modellprofil.
-
Computerprogrammprodukt,
worin das erste und zweite Objekt ein erstes und zweites menschliches Auge
ist und worin das Berechnen der Symmetrie das Berechnen der Symmetrie
zwischen der ersten und zweiten Hälfe eines Gesichtsfensters
umfasst, das durch die Augenpositionen bestimmt ist.
-
Computerprogrammprodukt,
worin das erste und zweite Objekt ein erstes und zweites menschliches Auge
ist und worin das Berechnen des Nachweises des Mundes das Berechnen
der Stärke
und Ausrichtung der Kanten innerhalb eines Mundfensters umfasst,
das durch die Augenpositionen bestimmt ist.
-
Computerprogrammprodukt,
worin das erste und zweite Objekt ein erstes und zweites menschliches Auge
ist und worin das Berechnen der zentralen Lage das Berechnen eines
Abstands von einem Mittelpunkt zwischen dem ersten und zweiten Auge
zu einer Hauptachse des bestimmten Hautbereichs umfasst.
-
Computerprogrammprodukt,
worin das erste und zweite Objekt ein erstes und zweites Auge ist
und worin das Berechnen einer kombinierten Korrelationswertung die
Summenbildung der einzelnen Korrelationswertungen umfasst, die aus
der in Schritt (g) erzielten Übereinstimmung
erzielt wurde.
-
Computerprogrammprodukt
mit dem Schritt des Normalisierens der Vorlage zur Maximierung der
Abstimmungsrobustheit.
-
Computerprogramm-Produkt
mit zudem dem Schritt des Erzeugens eines Bildblocks mit derselben Größe und Ausrichtung
wie die Vorlage.
-
Computerprogrammprodukt
mit zudem dem Schritt des Normalisierens des Bildblocks zur Maximierung
der Abstimmungsrobustheit.
-
Computerprogrammprodukt
mit zudem dem Schritt des Extrahierens einzelner Unterzonen in der
Vorlage und in dem Bildblock und des Durchführens der Kreuzkorrelation
für jede
entsprechende Unterzone.
-
Computerprogrammprodukt
mit zudem dem Schritt des Berechnens einer umfassenden Kreuzkorrelationswertung
für den
Bildblock, wenn die Kreuzkorrelationswertung für jede Unterzone einen Schwellenwert übersteigt.
-
-
-
-
-
