-
Die
vorliegende Erfindung bezieht sich auf ein System und ein Verfahren
zum Berechnen von Kopfbewegungsschätzung aus den Gesichtsbildpositionen,
beispielsweise Augen- und Mundecken, und insbesondere auf ein lineares
Verfahren zum Durchführen
einer Kopfposenschätzung
unter Verwendung von vier (4) Gesichtsmerkmalsdaten. Als Spezialfall
wird zusätzlich
ein Algorithmus für
Kopfhaltungsschätzung
aus vier Merkmalspunkten beschrieben.
-
Kopfposenerkennung
ist ein wichtiges Gebiet in der menschlichen Computerinteraktion
und es wurden bereits viele Annäherungen
von Kopfposenerkennung vorgeschlagen. Die meisten dieser Annäherungen
modellieren ein Gesicht mit bestimmten Gesichtsmerkmalen. So benutzen
beispielsweise die meisten bestehenden Annäherungen sechs Gesichtsmerkmalspunkte,
einschließlich
der Pupillen, Nasenlöcher
und Lippenecken, die verwendet werden zum Modellieren eines Gesichtes,
während
andere, wie berichtet in dem Bezugsmaterial von Z. Liu und Z. Zhang
mit dem Titel: "Robust
Head Motion Computation by Taking Advantage of Physical Properties", "Proc. Workshop on
Human Motion" Seiten
73–80,
Austin, Dezember 2000, fünf
Gesichtsmerkmalspunkte benutzen, einschließlich Augen- und Mundecken
und Nasenspitze. In dem Artikel von Zhang wird die Kopfbewegung
von den fünf
Merkmalspunkten aus durch nicht-lineare Optimierung geschätzt. Im
Wesentlichen sind bestehende Algorithmen für Gesichtsposenschätzung nicht-linear.
-
Qian
Cheng u. a. beschreibt ein Verfahren zur Kopfposenschätzung von
einem einzigen Bild aus, und zwar unter Verwendung von Hautgebieten
und Harrgebieten zum Ermitteln einer Schätzung der Kopfpose in den Eingangsbildern.
Das Verfahren benutzt weiterhin einen Susan-Eckendetektor zum Ermitteln
von Merkmalspunkten jedes Gesichtsmerkmals, die dann benutz werden
um die Kopfpose zu ermessen. Qian Cheng u. a. schlägt einen
ersten Satz von Gleichungen vor zum Schätzen der Kopfpose. Da aber
dieser erste Satz von Gleichungen unter bestimmten Umständen große Fehler
aufweist, wird ein zweiter Satz von Gleichungen vorgeschlagen, der
vorbestimmte Werte der Kopfverlagerungen benutzt zum Lösen des
zweiten Satzes von Gleichungen. Die Kopfverlagerungen werden durch
Berechnung des Schwerpunktes des Gesichtsgebietes ermittelt.
-
Es
wäre sehr
erwünscht,
einen Kopfposenschätzungsalgorithmus
zu schaffen, der linear ist und rechnerisch weniger anspruchsvoll
als licht-lineare Lösungen.
-
Es
wäre weiterhin
sehr erwünscht,
einen Gesichtsposenschätzungsalgorithmus
zu schaffen, der linear ist und sich auf nur vier Merkmalspunkte,
wie die Augen- und Mundecken, verlässt.
-
Auf
entsprechende Weise ist es nun u. a. eine Aufgabe der vorliegenden
Erfindung, einen Kopfbewegungsschätzungsalgorithmus zu schaffen,
der eine lineare Lösung
ist.
-
Es
ist eine weitere Aufgabe der vorliegenden Erfindung, einen Kopfbewegungsschätzungsalgorithmus zu
schaffen, der linear ist und vier Gesichtsmerkmalspunkte benutzt.
-
Es
ist weiterhin eine Aufgabe der vorliegenden Erfindung, einen Kopfposenschätzungsalgorithmus
zu schaffen, der sich auf einen Kopfbewegungsschätzungsalgorithmus verlässt.
-
Nach
den Grundlagen der vorliegenden Erfindung wird ein lineares Verfahren
zum Durchführen
von Kopfbewegungsschätzung
von Gesichtsmerkmalsdaten geschaffen, wobei das Verfahren die nachfolgenden Verfahrensschritte
umfasst: das Erhalten eines ersten Gesichtsbildes und das Detektieren
eines Kopfes in dem ersten Bild; das Detektieren der Position von
vier Punkten P des genannten ersten Gesichtsbildes, wobei P = {p
1, p
2, p
3,
p
4}, und p
k = (x
k, y
k); das Erhalten
eines zweiten Gesichtsbildes und das Detektieren eines Kopfes in
dem zweiten Bild; das Detektieren der Position von vier Punkten
P' des zweiten Gesichtsbildes,
wobei P' = {p'
1,
p'
2,
p'
3,
p'
4}
und p'
k =
(x'
k,
y'
k)
ist; und dass Ermitteln der Bewegung des Kopfes, dargestellt durch
eine Rotationsmatrix R und eines Translationsvektors T unter Verwendung
der Punkte P und P'.
Die Kopfbewegungsschätzung
erfolgt entsprechend einer Gleichung:
Kameradrehung
bzw. Kameratranslation darstellt, wobei die Kopfposenschätzung ein
spezifischer Zeitpunkt der Kopfbewegungsschätzung ist.
-
Auf
vorteilhafte Weise kann der Kopfposenschätzungsalgorithmus von vier
Merkmalspunkten für
Avatar-Steuerapplikationen, Video-Chatt- und Gesichtserkennungsapplikationen
benutzt werden.
-
Ausführungsbeispiele
der vorliegenden Erfindung sind in der Zeichnung dargestellt und
werden im Folgenden näher
beschrieben. Es zeigen:
-
1 die
Konfiguration typischer Merkmalspunkte für einen typischen Kopf,
-
2 die
Gesichtsgeometrie 10, welche die Basis des Kopfposenschätzungsalgorithmus
der vorliegenden Erfindung schafft.
-
Nach
den Grundlagen der vorliegenden Erfindung, wie in Anspruch 1 beschrieben,
wird ein lineares Verfahren zum Berechnen der Kopfbewegungsschätzung aus
den Bildpositionen von Augen- und Mundecken geschaffen. Insbesondere
wird ein Verfahren zum Schätzen
von Kopfbewegung aus vier Punktübereinstimmungen
geschaffen, wobei die Kopfposenschätzung ein Sonderfall ist, wenn
ein Bild einer Vorderansicht als Bezugslage verwendet wird.
-
Das
Verfahren ist besser als andere bestehende Verfahren, die entweder
mehr Punkübereinstimmungen
(wenigstens 7) brauchen, oder nicht-linear sind, wobei wenigstens
5 Gesichtsmerkmalübereinstimmungen erforderlich
sind.
-
Im
Allgemeinen ist das Verfahren zur Kopfbewegungsschätzung wie
folgt: der erste Schritt ist das Erfassen eines ersten Bildes I1 und das Detektieren des Kopfes in I1. Danach werden Punkte P detektiert, die
den Außenecken
von Augen und Mund in I1 entsprechen, d.h.
P = {p1, p2, p3, p4}, wobei pk = (xk, yk) Bildkoordinaten eines Punktes bezeichnet.
Danach wird ein zweites Bild I2 erfasst
mit dem Kopf, detektiert in I2. Dann werden Punkte
P' detektiert, die
den Augen und dem Mund und deren Außenecken in I2 entsprechen,
d.h. P' = {p'1,
p'2, p'3,
p'4},
wobei p'k = (x'k, y'k)). Aus P und P' betrifft der nächste Schritt die Ermittlung
der Bewegung des Kopfes, dargestellt durch eine Rotationsmatrix
R und einen Translationsvektor T. Es dürfte einleuchten, dass, wenn
die Bewegungsparameter R und T einmal berechnet worden sind, die
3-D Struktur aller Punktübereinstimmungen berechnet
werden können.
Struktur und Translation können
aber nur bis zu einem Maßstab
ermittelt werden, so dass, wenn die Größe von T fest liegt, nur die
Struktur einzigartig ermittelt wird. Wenn die Tiefe eines Punktes
in 3D fest liegt, wird T einzigartig ermittelt.
-
Wie
erwähnt,
ist der Algorithmus für
Kopfposenschätzung
ein Sonderfall des Kopfbewegungsschätzungsalgorithmus und es gibt
zwei Möglichkeiten,
wie dies durchgeführt
werden kann: 1) interaktiv, was ein Bezugbild erfordert; und 2)
annähernd, wobei
eine allgemeine (mittelbiometrische) Kopfgeometrieinformation verwendet
wird, auch als "Generic
Head Model" (GHM)
bezeichnet.
-
Für den interaktiven
Algorithmus werden die nachfolgenden Verfahrensschritte implementiert:
1) Vor der Anwendung des Systems wird ein Benutzer gebeten, in einer
vorher definierten Bezugslage in die Kamera zu schauen. Die Bezugs-Augenecken
und Bezugs-Mundecken P0 sind erforderlich,
wie in den oben stehenden Schritten beschrieben. 2) Wenn ein neues
Bild erforderlich ist, werden die Augen- und Mundecken detektiert und
die Kopfbewegung wird geschätzt,
wie in den restlichen Schritten, angegeben in dem oben stehenden
Algorithmus. 3) Die Kopfrotationsmatrix entspricht der Kopfposenmatrix.
-
Der
Annäherungsalgorithmus
erfordert Interaktion mit dem Benutzer, setzt aber voraus, dass
bestimmte biometrische Information verfügbar und für alle Benutzer fest ist. So
wird beispielsweise, wie in 1 dargestellt,
der Annäherungsalgorithmus
mit der Konfiguration typischer Merkmalspunkte für einen typischen Kopf 10 in
Bezug auf ein Kamerakoordinationssystem 20 als System Cxyz bezeichnet. In 1 stellen
die Punkte P1 und P3 die
Augen- bzw. Mundecken des geometrischen Kopfmodells 19 dar.
Es dürfte
einleuchten, dass für die
Vorderansicht, dargestellt in 1, diese
Punkte P1 und P3 verschiedene
Tiefen (Z1 bzw. Z3)
haben. Es wird vorausgesetzt, dass der Winkel τ bekannt ist und es wird ein
Mittelwert für
alle möglichen
menschlichen Köpfe verwendet.
Dies ist nicht ein genauer Wert, aber ein Kippwinkel lässt sich
schwer genau berechnen, da sogar dieselbe Person, gebeten wird gerade
in die Kamera zu schauen, den Kopf bei wiederholten Versuchen auf verschieden
kippen kann. Für
den festen Winkel τ kann
die Kopfpose einzigartig aus nur einem einzigen Bild des Kopfes
ermittelt werden, wie nachstehend noch näher erläutert wird.
-
Zur
Beschreibung wird vorausgesetzt, dass eine Kamera oder eine digitale
Bilderzeugungsanordnung zwei Bilder eines Modellkopfes in verschiedenen
Lagen erfasst. Dabei bezeichnen die Punkte p1, p2, p3 und p4 die
Bildkoordinaten der Augenecken (die Punkte p1, p2) und der Mundecken
(die Punkte p3 und p4) in einem ersten Bild und es wird vorausgesetzt,
dass p'1,
p'2,
p'3,
p'4 die
entsprechenden Augeneckenkoordinaten und Mundeckenkoordinaten in
einem zweiten Bild. Wenn diese Merkmalskoordinaten gegeben sind,
ist die Aufgabe Kopfbewegung zu ermitteln (dargestellt durch Drehung
und Translation) zwischen den ersten und den zweiten zwei Bildern.
-
Im
Allgemeinen wird der Algorithmus in den nachfolgenden Schritten
durchgeführt:
1) Unter Verwendung von Gesichtsbeschränkungen, das Berechnen der
dreidimensionalen (3-D) Koordinaten für die Merkmalspunkte der beiden
Bilder; und 2) wenn die 3-D Lagen der Merkmalspunkte gegeben sind,
das Berechnen der Bewegungsparameter (Rotation R und Translation
T Matrices).
-
Die
Schritte der Berechnung der 3-D Koordinaten von Merkmalspunkten
nach dem Algorithmus werden nun beschrieben. Wie in der Gesichtsgeometrie
10,
dargestellt in
2, bezeichnen die Merkmale an
den Punkten P
1, P
2,
P
3, P
4 und P
1',
P
2',
P
3',
P
4' die
3-D Koordinaten der betreffenden Augen- und Mundecken in den ersten
zwei Bildern. Aus der Gesichtsgeometrie, dargestellt in
2 werden
die nachfolgenden Eigenschaften vorausgesetzt: 1) der Linienabschnitt
12,
der die Punkte P
1P
2 verbindet,
erstreckt sich parallel zu dem Liniensegment
15, entsprechend
den Punkten P
3P
4,
d.h. P
1P
2 || P
3P
4; 2) das Liniensegment
12,
das die Punkte P
1P
2 verbindet,
steht senkrecht auf einem Liniensegment, das die Punkte P
5P
6 verbindet (wobei
P
5 und P
6 Mittelpunkte
der Segmente P
1P
2 bzw.
P
3P
4 sind). Numerisch
können
diese Eigenschaften 1 und 2 entsprechend betreffenden Gleichungen
(1) und (2) wie folgt geschrieben werden:
wobei
P
i = [X
i Y
i Z
i]
T 3-D
Koordinaten eines Bildpunktes p
i bezeichnet.
Die Beziehung zwischen Bild und den dreidimensionalen (3-D) Koordinaten
eines beliebigen Punktes P
k wird durch eine
durchaus bekannte betreffende Gleichung wie folgt gegeben:
-
Da
es durchaus bekannt ist, dass die Strukturwiederherstellung aus
einäugigen
Bildsequenzen nur bis zu einem Maßstab durchgeführt werden
kann, ist eine der Z Koordinaten fest, und die anderen Koordinaten werden
anhand dieser einen berechnet. Folglich wird zum Vereinfachen der
Berechnung und ohne Verlust der Allgemeinheit wird vorausgesetzt,
dass Z1 = 1 ist. Durch Kreuzmultiplikation
der Gleichung (1) und durch Substitution von (3) in (1) resultieren
die nachfolgenden Beziehungen, die in den Gleichungen (4) und (5)
beschrieben werden: Z3[(x1 – x3) – Z2(x2 – x3)] – Z4[(x1 – x4) – Z2(x2 – x4)] = 0 (4) Z3[(y1 – y3) – Z2(y2 – y3)] – Z4[(y1 – y4) – Z2(y2 – y4)] = 0 (5)
-
Wenn
die Gleichungen (4) und (5) in Matrixform beschrieben werden, entsteht
die Gleichung (6):
-
Diese
Gleichung wird unbedeutende Lösungen
in Z3 und Z4 haben,
wenn und nur dann, wenn der Bestimmungsfaktor in der Gleichung (7)
gleich Null ist, d.h.
-
-
Auf
gleiche Weise kann die Gleichung (7) als Gleichung (8) wie folgt
geschrieben werden:
-
Die
Gleichung (8) ist ein Polynom zweiter Ordnung und hat zwei Lösungen.
Es ist leicht zu überprüfen (beispielsweise
durch Substitution in (7), dass es eine bedeutende Lösung gibt,
Z
2 = 1, und die zweite Lösung wird gefunden als:
-
Durch
Substitution von Z
2 in eine der Gleichungen
(4) und (5) wird eine einzige lineare Gleichung in Z
3 und
Z
4 erhalten. Eine andere Gleichung wird
durch Substitution (3) in (2) erhalten und ist von der Form:
wobei p
hi =
[x
i y
i 1]
T ist. Z
3 und Z
4 können
nun aus den Gleichungen (10) und (4) gelöst werden.
-
Bekanntlich
kann die Bewegung der Kopfpunkte entsprechend der Gleichung (11)
ausgedrückt
werden, wie:
Pi' =
RPi + T (11)wobei
Kameradrehung bzw. Kameratranslation
darstellen. Die Gleichung (11) kann nun in Termen von R und T beschrieben
werden wie:
-
Aus
der Gleichung (12) ist ersichtlich, dass jedes Punktepaar 3 Gleichungen
ergibt. Da die gesamte Anzahl Unbekannter zwölf (12) ist, sind wenigstens
vier Punktepaare notwendig um Rotation und Translation linear zu
lösen.
-
Es
dürfte
einleuchten, dass die Elemente der Matrix R nicht unabhängig sind
(d.h. RRT = I) so dass es, wenn Matrix R
einmal gelöst
worden ist, notwendig sein kann, dass sie korrigiert wird, so dass
sie die richtige Rotationsmatrix darstellt. Dies kann durch Zerlegung
von R unter Anwendung von "Singular
Value Decomposition" (SVD)
in eine Form R = USVT und durch Berechnung
einer neuen Rotationsmatrix entsprechend der Gleichung (3) wie Folgt
durchgeführt
werden: R = UVT (13)
-
Bekanntlich
kann eine Kopfpose auf einzigartige Weise als ein Satz von drei
Winkeln (Gierung, Roll und Teilung) dargestellt werden, oder, als
eine Rotationsmatrix R (wenn gegeben ist, dass es zwischen der Rotationsmatrix
und den Posenwinkeln eine genaue Übereinstimmung gibt). Interaktive
Kopfposenschätzung ist
aber gleichwertig mit Kopfbewegungsschätzung, es wird aber eine nahezu
Kopfposenschätzung
beschrieben, die durch Zerlegung in drei Schritte vereinfacht werden
kann, und zwar wie folgt: 1) es wird vorausgesetzt, dass der Benutzer
den Kopf gehoben hat, so dass die Augen- und Mundecken im gleichen
Abstand von der Kamera sind (z1 = z2 = z3 = z4) und dass dies eine "Auxiliary Reference Position" (ARP) ist; 2) das
Berechnen der Kopfpose für
die ARP; und 3) das Aktualisieren eines Teilungswinkels durch einfache
Subtraktion von τ von dem
Wert in ARP.
-
Die
Rotationsmatrix R kann wie folgt geschrieben werden:
was die Bedingung RR
T = I erfüllt,
oder gleichwertig:
-
Es
wird nun vorausgesetzt, dass F1, F2, F3, F4 die
3-D Koordinaten der Augen- und Mundecken der als Bezugswert betrachteten
Vorderansicht des Gesichtes bezeichnen. Dann werden, unter Berücksichtigung
der Gesichtsgeometriebeschränkungen
und der oben genannten Beschränkung
1) die Beziehungen erhalten, die durch die Gleichung 15) gesteuert
werden, und zwar wie folgt: F2 – F1 ∝ [1 0 0]T F6 – F5 ∝ [0
1 0]T (15)wobei
das Symbol ∝ "gleich bis zu einem
bestimmten Maßstab" oder Proportional
bedeu tet. Das von der vorliegenden Erfindung durchgeführte Ziel
ist eine Posenmatrix R zu finden, welche die Punkte Pk bis
Fk abbildet, d.h. R(P2 – P1) ∝ [1 0 0]T
R(P6 – P5) ∝ [0
1 0]T (16)
-
In
Termen von Reihen der Rotationsmatrix kann die Gleichung (6) wie
folgt geschrieben werden:
-
Aus
der zweiten und vierten Gleichung in (17) kann r3 wie
folgt berechnet werden: r3 = (P6 – P5) × (P2 – P1) (18)
-
Die
restlichen Komponenten der Rotationsmatrix können aus (14) und (17) wie
folgt berechnet werden: r2 = r3 × (P2 – P1)
r1 = r2 × r3 (19)
-
Aus
der Gleichung (19) ist es ziemlich einfach, Gierungswinkel, Rollwinkel
und Neigungswinkel zu berechnen. Der wirkliche Neigungswinkel wird
dann durch Subtraktion von τ von
dem aktuellen Wert erhalten.
-
Während dargestellt
und beschrieben worden ist, was als bevorzugte Ausführungsformen
der vorliegenden Erfindung betrachtet wird, dürfte es selbstverständlich einleuchten,
dass mehrere Modifikationen und Änderungen
in Form oder Einzelheit auf einfache Art und Weise im Rahmen der
vorliegenden Erfindung durchgeführt
werden können.
Deswegen soll die vorliegende Erfindung nicht auf die beschriebenen
und dargestell ten genauen Formen begrenzt sein, sondern soll als
alle Modifikationen, die im Rahmen der beiliegenden Patentansprüche liegen,
deckend betrachtet werden.
