DE69934478T2

DE69934478T2 - Verfahren und Gerät zur Bildverarbeitung auf Basis von Metamorphosemodellen

Info

Publication number: DE69934478T2
Application number: DE69934478T
Authority: DE
Inventors: Blanz Volker; Vetter Thomas
Original assignee: Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Current assignee: Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Priority date: 1999-03-19
Filing date: 1999-03-19
Publication date: 2007-09-27
Anticipated expiration: 2019-03-20
Also published as: US6556196B1; EP1039417B1; DE69934478D1; EP1039417A1

Description

Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Bildverarbeitung, insbesondere auf die Manipulation (Detektion, Erkennung und/oder Synthetisierung) von Bildern von dreidimensionalen Objekten, wie z.B. menschlichen Gesichtern, auf der Basis eines morphing-fähigen Modells (Metamorphosemodells) zur Bildsynthese. Des Weiteren betrifft die vorliegende Erfindung ein Bildverarbeitungssystem zur Implementierung eines derartigen Verfahrens.
Ein Gebiet der Bildmanipulation betrifft insbesondere die Manipulation von menschlichen Gesichtern. Die Modellierung menschlicher Gesichter hat Forscher im Gebiet der Computergrafik seit deren Anfängen herausgefordert. Seit der Pionierarbeit von Parke [23, 24, siehe beigefügte Literaturliste] wurde über verschiedene Techniken zur Modellierung der Geometrie von Gesichtern [9, 10, 20, 31, 19] und zu deren Animation [26, 13, 17, 29, 20, 35, 27] berichtet. Eine detaillierte Übersicht findet sich im Buch von Parke und Waters [22].
Die für die Animation von Gesichtern entwickelten Techniken können grob in solche, die auf einer physikalischen Modellierung von Gesichtsmuskeln [35] und solche unterteilt werden, die vorher aufgenommene Gesichtsausdrücke einem Gesicht zuordnen [23, 2]. Diese Leistungs-basierten Animationstechniken berechnen die Korrespondenz zwischen den verschiedenen Gesichtsausdrücken einer Person, indem Markierungen, die auf das Gesicht aufgeklebt sind, von Bild zu Bild verfolgt werden. Um photorealistische Gesichtsanimationen zu erhalten, muss eine große Anzahl von Markierungen (z.B. bis zu 182 Markierungen) verwendet werden [13].
Die computergestützte Modellierung von menschlichen Gesichtern erfordert noch einen großen Anteil von Expertise und manueller Kontrolle, um unrealistische, nicht-gesichtsähnliche Ergebnisse zu vermeiden. Die meisten Beschränkungen von automatisierten Techniken zur Gesichtssynthese, zur Gesichtsanimation oder für allgemeine Änderungen im Erscheinungsbild eines einzelnen Gesichts können entweder als das Problem des Auffindens entsprechender Merkmalsorte in verschiedenen Gesichtern oder als das Problem des Trennens realistischer Gesichter von Gesichtern beschrieben werden, die in der realen Welt nie auftreten würden. Das Korrespondenzproblem ist für alle Morphing-Techniken, für die beiden Anwendungen von Bewegungsaufnahmedaten auf Bilder oder 3D-Gesichtsmodelle, und für die meisten 3D-Gesichtsrekonstruktionstechniken aus Bildern kritisch. Eine begrenzte Anzahl von markierten Merkmalspunkten, die in einem Gesicht markiert sind, z.B. die Spitze der Nase, der Augenwinkel und weniger prominente Punkte auf der Wange, müssen in einem anderen Gesicht genau lokalisiert werden. Die Anzahl von manuell markierten Merkmalspunkten variiert von Anwendung zu Anwendung, reicht jedoch gewöhnlich von 50 bis 300. Nur eine richtige Ausrichtung von all diesen Punkten erlaubt annehmbare Zwischen-Morphing-Ergebnisse, eine überzeugende Abbildung von Bewegungsdaten von der Referenz auf ein neues Modell oder die Anpassung eines 3D-Gesichtsmodells an 2D-Bilder zum „Video-Cloning". Menschliches Wissen und Erfahrung sind notwendig, um die Variationen zwischen individuellen Gesichtern zu kompensieren und eine gültige Ortszuordnung in den verschiedenen Gesichtern zu garantieren. Gegenwärtig können automatisierte Anpassungstechniken nur für sehr prominente Merkmalspunkte, so wie die Winkel der Augen oder des Mundes, verwendet werden.
Ein zweiter Problemtyp beim Gesichtsmodellieren ist die Trennung von natürlichen Gesichtern von Nicht-Gesichtern. Hierfür ist menschliches Wissen sogar entscheidender. Viele Anwendungen beinhalten die Gestaltung von vollständig neuen, natürlich aussehenden Gesichtern, die in der realen Welt auftreten können, jedoch kein „reales" Gegenstück haben. Andere erfordern die Manipulation eines existierenden Gesichtes entsprechend Änderungen im Alter oder Körpergewicht oder einfach zur Betonung der Charakteristika des Gesichts. Derartige Aufgaben erfordern gewöhnlich zeitaufwändige manuelle Arbeit in Kombination mit den Fähigkeiten eines Künstlers.
Weitere Techniken des Standes der Technik sind unten beschrieben.
Es ist die Aufgabe der Erfindung, verbesserte Bildverarbeitungsverfahren und -systeme bereitzustellen, die in der Lage sind, den obengenannten Problemen zu begegnen und die insbesondere Bilder von dreidimensionalen Objekten in einer flexibleren und wirksameren Weise verarbeiten.
Diese Aufgabe wird durch ein Verfahren gelöst, das die Merkmale von Anspruch 1 umfasst. Vorteilhafte Ausführungsformen und Implementierungen der Erfindung sind in den abhängigen Ansprüchen definiert.
Erfindungsgemäß wird eine parametrische Gesichtsmodellierungstechnik präsentiert, die bei beiden obigen Problemen behilflich ist. Erstens können willkürliche menschliche Gesichter erzeugt werden, wobei gleichzeitig die Wahrscheinlichkeit der erzeugten Gesichter gesteuert wird. Zweitens ist das System in der Lage, eine Korrespondenz zwischen neuen Gesichtern zu berechnen. Unter Ausnutzung der Statistiken eines großen Datensatzes von 3D-Gesichtsabtastungen (geometrische und tex turbezogene Daten, Cyberware^TM) wurde ein morphing-fähiges Gesichtsmodell aufgebaut, das erlaubt, durch Anwendung von Musterklassifizierungsverfahren Domänenkenntnisse über Gesichtsvariationen zu gewinnen. Das morphing-fähige Gesichtsmodell ist eine multidimensionale 3D-Morphingfunktion, die auf der Linearkombination einer großen Anzahl von 3D-Gesichtsabtastungen basiert. Durch die Berechnung des Mittelwert-Gesichts und der Hauptmoden einer Variation im Datensatz wird eine Wahrscheinlichkeitsverteilung auf der Morphingfunktion eingeführt, um unwahrscheinliche Gesichter zu vermeiden. Es sind auch parametrische Beschreibungen von Gesichtsattributen, so wie Geschlecht, Unterscheidbarkeit, „Hakennasen" oder das Gewicht einer Person, abgeleitet, indem die Verteilung von exemplarischen Gesichtern für jedes Attribut innerhalb unseres Gesichtsraumes bewertet wurde.
Indem ein parametrisches Gesichtsmodell konstruiert wurde, das in der Lage ist, nahezu jedes Gesicht zu erzeugen, wird das Korrespondenzproblem in ein mathematisches Optimierungsproblem gewandelt. Neue Gesichter, Bilder oder 3D-Gesichtsabtastungen können registriert werden, indem die Differenz zwischen dem neuen Gesicht und seiner Rekonstruktion durch die Gesichtsmodellfunktion minimiert wird. Ein Algorithmus ist entwickelt worden, der die Modellparameter automatisch für eine optimale Rekonstruktion des Targets einstellt, wobei nur ein Minimum manueller Initialisierung erforderlich ist. Die Ausgangsgröße der Anpassungsprozedur ist ein 3D-Gesichtsmodell hoher Qualität, das in voller Korrespondenz mit dem morphing-fähigen Gesichtsmodell ist. Folglich können alle Gesichtsmanipulationen, die in der Modellfunktion parametrisiert sind, in das Targetgesicht abgebildet werden. Das Vorwissen über die Gestalt und Textur von Gesichtern im Allgemeinen, das in unserer Modellfunktion aufgenommen ist, ist genügend, um recht gute Bestimmungen der gesamten 3D- Gestalt und -Textur eines Gesichts selbst dann herzustellen, wenn nur ein einziges Bild verfügbar ist. Wenn das Verfahren auf mehrere Bilder einer Person angewendet wird, erreichen die Rekonstruktionen nahezu die Qualität von Laser-Abtastungen.
Der Schlüsselteil der Erfindung ist ein verallgemeinertes Modell menschlicher Gesichter. Ähnlich dem Ansatz von DeCarlos et al. [9] wird der Bereich zulässiger Gesichter entsprechend den Zwangsbedingungen beschränkt, die von prototypischen menschlichen Gesichtern abgeleitet werden. Anstelle der Verwendung eines begrenzten Satzes von Messungen und Proportionen zwischen einem Satz von Gesichts-Charakteristika wird jedoch die dicht abgetastete Geometrie der exemplarischen Gesichter, die durch Laserabtastung (Cyberware^TM) erhalten wird, direkt verwendet. Die dichte Modellierung der Gesichtsgeometrie (einige Tausend Scheitelpunkte pro Gesicht) führt direkt zu einer Triangulation der Oberfläche. Folglich besteht kein Bedarf an variierenden Oberflächeninterpolationstechniken [9, 21, 30]. Die Erfinder fügten auch ein Modell von Texturvariationen zwischen Gesichtern hinzu. Das morphing-fähige 3D-Gesichtsmodell ist eine konsequente Ausdehnung der Interpolationstechnik zwischen Gesichtsgeometrien, wie sie durch Parke [24] eingeführt wurde. Mit der automatischen Berechnung der Korrespondenz zwischen individuellen 3D-Gesichtsdaten ermöglicht die Erfindung, die Anzahl von Scheitelpunkten, die in der Gesichtsrepräsentation verwendet werden, von einigen Hundert auf Zehntausende zu vergrößern.
Darüber hinaus kann eine größere Anzahl von Gesichtern verwendet werden, und so kann eher zwischen Hunderten als eben einigen „Basis"-Gesichtern interpoliert werden. Das Ziel eines derart ausgedehnten morphing-fähigen Gesichtsmodells ist es, jedes Gesicht als eine Linearkombination eines limitier ten Basissatzes von Gesichtsprototypen zu repräsentieren. Die Repräsentation des Gesichts einer willkürlichen Person als eine Linearkombination (Morph) von „Prototypen"-Gesichtern wurde erstmalig für die Bildkompression in der Telekommunikation formuliert [7]. Bildbasierte, lineare 2D-Gesichtsmodelle, die große Datensätze von Prototypen-Gesichtern ausnutzen, wurden für die Gesichtserkennung und Bildcodierung entwickelt [3, 16, 34].
Verschiedene Ansätze wurden genommen, um den Anpassungsschritt zu automatisieren, der notwendig ist, um morphing-fähige Modelle aufzubauen. Eine Klasse von Techniken ist auf optischen Flussalgorithmen [4, 3] und eine andere Klasse auf einer aktiven Modellanpassungsstrategie [11, 15] basiert. Kombinationen von beiden Techniken wurden auf das Problem der Bildanpassung angewendet [33]. Erfindungsgemäß wurde eine Ausdehnung dieses Ansatzes auf das Problem des Anpassens von 3D-Gesichtern erhalten.
Das Problem der Korrespondenz zwischen verschiedenen dreidimensionalen Gesichtsdaten wurde jüngst durch Lee et al. angesprochen [18]. Deren Formanpassungsalgorithmus unterscheidet sich in mehreren Beziehungen signifikant von der Erfindung. Erstens wird die Korrespondenz in hoher Auflösung berechnet, wobei Form- und Texturdaten gleichzeitig in Betracht gezogen werden. Zweitens werden statt der Verwendung eines physikalischen Gewebemodells zur Beschränkung des Bereichs von zulässigen Netzdeformationen die Statistiken von Beispielgesichtern verwendet, um Deformationen plausibel zu halten. Drittens ist das erfindungsgemäße System nicht von Routinen abhängig, die spezifisch gestaltet sind, um die Merkmale zu erfassen, die ausschließlich in menschlichen Gesichtern, zum Beispiel Augen, Nasen, vorgefunden werden.
Die allgemeine Anpassungsstrategie gemäß der Erfindung kann verwendet werden, um das morphing-fähige Modell nicht nur an eine 3D-Gesichtsabtastung, sondern auch an 2D-Bilder von Gesichtern anzupassen. Anders als bei einem früheren Ansatz [32] wird das morphing-fähige 3D-Gesichtsmodell jetzt direkt an Bilder angepasst, wobei der Umweg der Erzeugung von 2D-morphing-fähigen Bild-Zwischenmodellen vermieden wird. Als eine vorteilhafte Konsequenz können die Kopforientierung, die Beleuchtungsbedingungen und andere Parameter freie Variablen sein, die einer Optimierung unterzogen werden. Es ist ausreichend, grobe Abschätzungen von ihren Werten als ein Startpunkt der automatisierten Anpassungsprozedur zu verwenden.
Die meisten Techniken zum „Gesichts-Klonen", die Rekonstruktion eines 3D-Gesichtsmodells von einem oder mehreren Bildern, sind noch von der manuellen Unterstützung zum Anpassen eines deformierbaren 3D-Gesichtsmodells an die Bilder abhängig [24, 1, 28]. Der Ansatz von Pighin et al. [26] zeigt den hohen Realismus, der bei der Synthese von Gesichtern und Gesichtsausdrücken aus Fotografien erreicht werden kann, wenn mehrere Bilder eines Gesichts an ein einzelnes 3D-Gesichtsmodell angepasst werden. Die automatisierte Anpassungsprozedur gemäß der Erfindung könnte verwendet werden, um den manuellen Initialisierungsschritt zu ersetzen, bei dem mehrere entsprechende Merkmale in den präsentierten Bildern markiert werden müssen.
Ein spezieller Vorteil der Erfindung ist es, dass sie direkt auf Gesichtern ohne manuelle Markierungen funktioniert. Bei dem automatisierten Ansatz wird die Anzahl von Markierungen zu ihrer Grenze erweitert. Es wird die gesamte Anzahl von Scheitelpunkten, die im Gesichtsmodell verfügbar sind, an Bilder angepasst. Die sich ergebenden dichten Korrespondenz felder können sogar Änderungen von Falten erfassen und diese von einem Gesicht zu einem anderen abbilden.
Die Erfindung lehrt eine neue Technik zur Modellierung texturierter 3D-Gesichter. 3D-Gesichter können entweder automatisch aus einer oder mehreren Fotografien erzeugt oder direkt mit einer intuitiven Nutzerschnittstelle modelliert werden. Nutzern wird bei zwei Schlüsselproblemen der computergestützten Gesichtsmodellierung geholfen. Erstens können neue Gesichtsbilder oder neue 3D-Gesichtsmodelle automatisch registriert werden, indem eine dichte 1:1-Korrespondenz zu einem internen Gesichtsmodell berechnet wird. Zweitens reguliert der Ansatz die Natürlichkeit von modellierten Gesichtern, wobei Gesichter mit einem „unwahrscheinlichen" Erscheinungsbild vermieden werden.
Anwendungen der Erfindung bestehen insbesondere im Gebiet der Gesichtsmodellierung, der Registrierung, der Photogrammetrie, des Morphing, der Gesichtsanimation und des Computersehens.
Weitere Vorteile und Einzelheiten der Erfindung werden unter Bezug auf die beigefügten Zeichnungen beschrieben, die zeigen:
1: eine schematische Repräsentation von Grundprinzipien der Erfindung;
2: eine Illustration der Gesichtssynthese auf der Basis des morphing-fähigen Modells,
3: eine Illustration der Variation von Gesichtsattributen eines einzelnen Gesichts,
4: ein Flussdiagramm, das Verfahrensschritte zur Rekonstruktion der 3D-Gestalt und -Textur eines neuen Gesichts aus einem einzelnen Bild illustriert,
5: ein Flussdiagramm der gleichzeitigen Rekonstruktion einer 3D-Gestalt und -Textur eines neuen Gesichts aus zwei Bildern,
6: eine Illustration der Erzeugung von neuen Bildern mit modifizierten Wiedergabeparametern,
7: eine Illustration der auf der Erfindung basierten Rekonstruktion eines 3D-Gesichts von Mona Lisa, und
8: eine schematische Illustration eines Bildverarbeitungssystems gemäß der Erfindung.
Ausgehend von einem Beispielsatz von 3D-Gesichtsmodellen wird, wie in 1 illustriert ist, ein morphing-fähiges Gesichtsmodell abgeleitet, in dem die Gestalt und Textur der Beispiele in eine Vektorraumrepräsentation transformiert werden. Das morphing-fähige Gesichtsmodell trägt zu zwei Hauptschritten der Gesichtsmanipulation bei: (1) Ableitung eines 3D-Gesichtsmodells von einem neuen Bild, und (2) Modifizierung der Gestalt und Textur in einer natürlichen Weise. Neue Gesichter und Ausdrücke können durch die Bildung von Linearkombinationen der Prototypen modelliert werden. Gestalt- und Textur-Randbedingungen, die von den Statistiken von unseren Beispielgesichtern abgeleitet sind, werden verwendet, um eine manuelle Modellierung oder automatisierte Anpassungsalgorithmen zu leiten. 3D-Gesichtsrekonstruktionen aus einzelnen Bildern und deren Anwendungen für photorealistische Bildmanipulationen können erhalten werden. Des Weiteren werden Gesichtsmanipulationen gemäß komplexen Parametern, so wie dem Geschlecht, der Fülle eines Gesichts oder seiner Eigentümlichkeit demonstriert.
Die weitere Beschreibung ist wie folgt strukturiert. Sie beginnt mit einer Beschreibung (I) der Datenbasis von 3D-Gesichtsabtastungen, aus der unser morphing-fähiges Modell aufgebaut ist. Im folgenden Abschnitt (II) wird das Konzept des morphing-fähigen Gesichtsmodells eingeführt, wobei ein Satz von 3D-Gesichtsabtastungen angenommen wird, die in voller Korrespondenz sind. Unter Ausnutzung der Statistiken eines Datensatzes wird eine parametrische Beschreibung von Gesichtern sowie der Bereich von plausiblen Gesichtern abgeleitet. Zusätzlich werden Gesichtsattribute aus dem markierten Datensatz zu dem Parameterraum des Modells abgebildet. In Abschnitt III wird ein Verfahren zur Anpassung des flexiblen Modells gemäß der Erfindung an neue Bilder oder 3D-Abtastungen von Gesichtern beschrieben. Neben einer 3D-Rekonstruktion kann das Verfahren basiert auf dem morphing-fähigen Modell eine Korrespondenz berechnen. Abschnitt IV beschreibt ein iteratives Verfahren zum automatischen Aufbau eines morphing-fähigen Modells aus einem Rohdatensatz von 3D-Gesichtsabtastungen, wenn keine Korrespondenzen zwischen den Beispielgesichtern verfügbar sind. Schließlich werden Anwendungen der Technik auf neue Bilder gezeigt.
Die Beschreibung des Verfahrens gemäß der Erfindung bezieht sich auf die beigefügten Figuren. Es wird betont, dass diese Figuren aus drucktechnischen Gründen (in einer Patentanmeldung) nicht in der Lage sind, die hohe Qualität der Bilder wiederzugeben, die durch die Erfindung erhalten werden.
I Datenbasis
Laserabtastungen (Cyberware^TM) von 200 Köpfen von jungen Erwachsenen (100 Männer und 100 Frauen) wurden verwendet, um Prototypen zu erhalten. Die Laserabtastungen liefern Kopfstrukturdaten in einer zylindrischen Repräsentation mit Radien r(h, ϕ) von Oberflächenpunkten, die an 512 gleich beabstandeten Winkeln ϕ und bei 512 gleich beabstandeten vertikalen Schritten h abgetastet wurden. Zusätzlich wurden RGB-Farbwerte R (h, ϕ), G (h, ϕ), und B (h, ϕ) mit derselben Ortsauflösung aufgezeichnet und in einem Texturabbild mit 8 Bit pro Kanal gespeichert.
Alle Gesichter waren ohne Schminke, Schmuck und Gesichtshaar. Die Personen wurden abgetastet, während sie Badekappen trugen, die digital entfernt wurden. Eine weitere automatische Vorverarbeitung der Abtastungen, die für die meisten Köpfe keine menschliche Wechselwirkung erforderte, bestand aus einem vertikalen Schnitt hinter den Ohren, einem horizontalen Schnitt, um die Schultern zu entfernen, und einer Normierungsroutine, die jedes Gesicht in eine Standardorientierung und -position im Raum brachte. Die sich ergebenden Gesichter wurden durch ungefähr 70.000 Scheitelpunkte und dieselbe Anzahl von Farbwerten repräsentiert.
II Morphing-fähiges 3D-Gesichtsmodell
Das morphing-fähige Modell ist auf einem Datensatz von 3D-Gesichtern basiert. Ein Morphing-Vorgang zwischen Gesichtern erfordert eine vollständige Korrespondenz zwischen sämtlichen der Gesichter. In diesem Abschnitt wird angenommen, dass alle Beispielgesichter in vollständiger Korrespondenz sind. Der Algorithmus zur Berechnung der Korrespondenz wird in Abschnitt IV beschrieben.
Wir repräsentieren die Geometrie eines Gesichts mit einem Gestaltvektor
S = (X₁, Y₁, Z₁, X₂, ..., Y_n, Z_n)^T ∈
der die X-, Y- und Z-Koordinaten von seinen n Scheitelpunkten enthält. Zur Vereinfachung nehmen wir an, dass die Anzahl von gültigen Texturwerten in dem Texturabbild gleich der Anzahl der Scheitelpunkte ist. Wir repräsentieren daher die Textur eines Gesichts durch einen Texturvektor T = (R₁, G₁, B₁, R₂, ..., G_n, B_n)^T ∈
der die R-, G- und B-Farbwerte der n entsprechenden Scheitelpunkte enthält. Ein morphing-fähiges Gesichtsmodell wurde dann unter Verwendung eines Datensatzes von m Beispielgesichtern konstruiert, von denen jedes durch seinen Gestaltvektor S_i und Texturvektor T_i repräsentiert wird. Da wir annehmen, dass alle Gesichter in vollständiger Korrespondenz sind (siehe Abschnitt IV), können neue Gestalten S_mod und neue Texturen T_mod in baryzentrischen Koordinaten als eine Linearkombination der Gestalten und Texturen der m Beispielgesichter ausgedrückt werden:
Wir definieren das morphing-fähige Modell als den Satz von Gesichtern (S_mod(a →), T_mod(b →)), der durch die Koeffizienten a → = (a₁, a₂ ..., a_m)^T und b → = (b₁, b₂ ..., b_m)^T parametrisiert ist. (Ein Standard-Morphing zwischen zwei Gesichtern (m = 2) wird erhalten, falls die Parameter a₁, b₁ zwischen 0 und 1 variiert werden, wobei a₂ = 1 – a₁ und b₂ = 1 – b₁ gesetzt werden).
Willkürliche neue Gesichter können erzeugt werden, indem die Parameter a → und b → erzeugt werden, welche die Gestalt und die Textur steuern.
Für ein nützliches Gesichtssynthesesystem ist es wichtig, in der Lage zu sein, die Ergebnisse in Bezug auf ihre Plausibilität, Gesichter zu sein, zu quantifizieren. Wir bestimmten daher die Wahrscheinlichkeitsverteilung der Koeffizienten a_i und b_i von unserem Beispielsatz von Gesichtern. Diese Verteilung ermöglicht uns, die Wahrscheinlichkeit der Koeffizienten a_i und b_i zu kontrollieren und reguliert folglich die Wahrscheinlichkeit des Auftretens der erzeugten Gesichtern.
Wir passten eine multivariate Normalverteilung an unseren Datensatz von 200 Gesichtern basiert auf den Mittelwerten der Gestalt S und der Textur T und der Kovarianzmatrizen C_S und C_T an, die über die Gestalt- und Texturdifferenzen ΔS_i = S_i – S und ΔT_i = T_i – T berechnet wurden.
Eine herkömmliche Technik zur Datenkompression, die als Hauptkomponentenanalyse (englisch: principal component analysis, PCA) [14] bekannt ist, führt eine Basistransformation zu einem orthogonalen Koordinatensystem aus, das durch die Eigenvektoren s_i und t_i der Kovarianzmatrizen gebildet wird (in absteigender Reihenfolge entsprechend ihren Eigenwerten):
α →, β → ∈
Die Wahrscheinlichkeit der Koeffizienten α → ist gegeben durch
wobei σ 2 / i die Eigenwerte der Gestalt-Kovarianzmatrix C_S sind. Die Wahrscheinlichkeit ~p(β) wird ähnlich berechnet.
Segmentiertes morphing-fähiges Modell: Das morphing-fähige Modell, das in Gleichung (1) beschrieben ist, hat m – 1 Freiheitsgrade für die Textur und m – 1 Freiheitsgrade für die Gestalt. Die Ausdrucksfähigkeit des Modells kann vergrößert werden, indem Gesichter in zwei unabhängige Unterbereiche, zum Beispiel in Augen, Nase, Mund und einen umgebenden Bereich (siehe 2), unterteilt werden, die unabhängig gemorpht werden.
Gemäß 2 fügt ein einzelner Prototyp eine große Varietät von neuen Gesichtern zu dem morphing-fähigen Modell hinzu. Die Abweichung des Prototypen vom Mittelwert wird dem Mittelwert zugefügt (+) oder von diesem abgezogen (–). Ein Standard-Morph (*) ist auf halber Strecke zwischen dem Mittelwert und dem Prototypen angeordnet. Die Subtraktion der Differenzen von dem Mittelwert ergibt ein „Anti"-Gesicht (#). Ein Addieren und Subtrahieren von Abweichungen unabhängig von der Gestalt (S) und der Textur (T) auf jedem von vier Segmenten erzeugt eine Anzahl von verschiedenen Gesichtern.
Da von allen Gesichtern angenommen wird, dass sie in Korrespondenz sind, ist es genügend, diese Bereiche auf einem Referenzgesicht zu definieren. Diese Segmentierung ist äquivalent mit der Unterteilung des Vektorraums von Gesichtern in unabhängige Unterräume. Ein vollständiges 3D-Gesicht wird erzeugt, indem Linearkombinationen für jedes Segment separat berechnet und diese an den Grenzen entsprechend einem Algorithmus verschmolzen werden, der für Bilder durch [6] vorgeschlagen wird.
II.1 Gesichtsattribute
Die Gestalt- und Texturkoeffizienten a_i und b_i in unserem morphing-fähigen Gesichtsmodell entsprechen nicht den Gesichtsattributen, die in der menschlichen Sprache verwendet werden. Während einige Gesichtsattribute einfach mit biophysikalischen Messungen in Beziehung gesetzt werden können [12, 9], wie zum Beispiel die Breite des Mundes, können andere Gesichtsattribute, wie zum Beispiel die Weiblichkeit des Gesichts oder die mehr oder weniger ausgeprägte Kantigkeit eines Gesichts nur schwer durch Zahlen beschrieben werden. In diesem Abschnitt wird ein Verfahren zur Abbildung von Gesichtsattributen, die durch einen Hand-markierten Satz von Beispielgesichtern definiert sind, zu dem Parameterraum unseres morphing-fähigen Modells beschrieben. An jeder Position im Gesichtsraum (d.h. für jedes mögliche Gesicht) definieren wir Gestalt- und Texturvektoren, die, wenn sie einem Gesicht zugefügt oder von diesem abgezogen werden, ein bestimmtes Attribut manipulieren werden, während alle anderen Attribute so konstant wie möglich gehalten werden.
In diesem Rahmen können Änderungen im Gesichtsausdruck, die durch Leistungs-basierte Techniken [23] erzeugt worden sind, übertragen werden, indem die Differenzen zwischen zwei Ausdrücken desselben Individuums, ΔS = S_expression – S_neutral, ΔT = T_expression – T_neutral, zu einem anderen Individuum mit einem neutralen Ausdruck addiert werden.
Anders als Gesichtsausdrücke sind Attribute, die für jedes Individuum invariant sind, schwieriger zu isolieren. Das folgende Verfahren erlaubt es, Gesichtsattribute, wie das Geschlecht, die Fülle von Gesichtern, die Dunkelheit von Augenbrauen, Doppelkinne und hakenförmige im Vergleich zu konkaven Nasen zu modellieren (3). 3 illustriert die Variation von Gesichtsattributen eines einzelnen Gesichts. Das Erscheinungsbild eines Originalgesichts (mit Rahmen) kann ge ändert werden, um Gestalt- und Texturvektoren zu subtrahieren, die spezifisch für die Attribute sind.
Basierend auf einem Satz von Gesichtern (S_i, T_i) mit manuell zugewiesenen Markierungen μ_i, welche die Deutlichkeit der Attribute beschreiben, berechnen wir gewichtete Summen
Vielfache von (ΔS, ΔT) können nun zu jedem einzelnen Gesicht addiert oder von diesem subtrahiert werden. Für binäre Attribute, wie das Geschlecht, wobei μ_A = 1/m_A für Gesichter in Klasse A und μ_B = –1/m_B für die Gesichter in B gesetzt werden, ergibt Gleichung (3) den Unterschied zwischen den Mittelwerten der Klassen A und B.
Um dieses Verfahren zu rechtfertigen, wird μ(S, T) als die Gesamtfunktion betrachtet, welche die Deutlichkeit des Attributs in einem Gesicht (S, T) beschreibt. Da μ(S, T) nicht per se für alle (S, T) verfügbar ist, muss das Regressionsproblem der Bestimmung von μ(S, T) aus einem Probesatz von markierten Gesichtern gelöst werden. Bei der vorliegenden Technik wird angenommen, dass μ(S, T) eine lineare Funktion ist. Folglich gibt es, um eine Änderung Δμ des Attributs zu erreichen, nur eine einzelne optimale Richtung (ΔS, ΔT) für den gesamten Raum der Gesichter. Es kann gezeigt werden, dass Gleichung (3) die Richtung mit minimaler Varianz-normalisierter Länge ∥ΔS∥² M = 〈ΔS, C_S ^–1ΔS〉, ∥ΔT∥² M = C_T ^–1ΔT ergibt.
Eine andere Art eines Attributs eines Gesichts ist seine „Unterscheidbarkeit", die gewöhnlich in Karikaturen manipuliert wird. Die automatisierte Erzeugung von Karikaturen ist seit vielen Jahren möglich [5]. Diese Technik kann einfach von 2D-Bildern auf das vorliegende morphing-fähige Gesichtsmodell erweitert werden. Einzelne Gesichter werden karikiert, indem ihr Abstand von dem Mittelwertgesicht vergrößert wird. In unserer Repräsentation werden die Gestalt- und Texturkoeffizienten α_i, β_i mit einem konstanten Faktor oder verschiedenen Faktoren multipliziert.
III Anpassung eines morphing-fähigen Modells an Bilder
Ein Gesichtspunkt der Erfindung ist ein Algorithmus zur automatischen Anpassung des morphing-fähigen Gesichtsmodells an ein oder mehrere Bilder. Durch die Bereitstellung einer Schätzung der 3D-Struktur des Gesichts (4), schließt er die Lücke zwischen den spezifischen Manipulationen, die in Abschnitt II.1 beschrieben sind, die Art der Daten, die in typischen Anwendungen verfügbar sind.
Der Verarbeitungsschritt zur Rekonstruktion von 3D-Gestalt und -Textur eines neuen Gesichts aus einem einzelnen Bild sind in dem Flussdiagramm der 4 illustriert. Nach einer groben manuellen Ausrichtung des gemittelten 3D-Kopfes (obere Reihe) passt die automatische Anpassungsprozedur das 3D-morphing-fähige Modell an das Bild an (mittlere Reihe). In der rechten Spalte ist das Modell über dem Eingangsbild wiedergegeben. Einzelheiten der Textur können durch eine beleuchtungskorrigierte Texturextraktion von dem Eingangsbild verbessert werden (untere Reihe). Diese Korrektur umfasst eine Rückprojektion des erzeugten Bildes auf das Eingangsbild mit einer Beleuchtungskorrektur. Die Farbinformation von dem Originalbild wird zur Korrektur des erzeugten Bildes verwendet. Diese Beleuchtungskorrektur durch Rückprojektion repräsentiert ein wichtiges und vorteilhaftes Merkmal der Erfindung.
Koeffizienten des 3D-Modells werden zusammen mit einem Satz von Wiedergabeparametern der Art optimiert, dass sie ein Bild erzeugen, das so dicht wie möglich zu dem Eingangsbild ist. In einer Analyse-durch-Synthese-Schleife werden durch den Algorithmus ein Textur-abgebildetes 3D-Gesicht aus den gegenwärtigen Modellparametern erzeugt, ein Bild wiedergegeben und die Parameter entsprechend der Restdifferenz erneuert. Es beginnt mit dem Mittelwert-Kopf und mit Wiedergabeparametern, die grob durch den Nutzer abgeschätzt werden.
Modellparametar: Die Gesichts-Gestalt und -Textur sind durch Koeffizienten α_j und β_j, j = 1, ..., m – 1 (Gleichung 1) definiert.
Die Wiedergabeparameter ρ → hängen von der Anwendung ab und enthalten die Kameraposition (Azimuth und Höhe), die Objektskala, die Bildebenen-Rotation und -Translation, die Intensität i_r,amb, i_g,amb, i_b,amb des Umgebungslichts und/oder die Intensität i_r,dir, i_g,dir, i_b,dir des gerichteten Lichts. Um Photografien zu handhaben, die unter einer breiten Varietät von Bedingungen aufgenommen sind, enthält ρ → auch den Farbkontrast sowie Offset und Verstärkung in dem roten, grünen und blauen Kanal.
Andere Parameter, so wie der Kameraabstand, die Lichtrichtung und ein Oberflächenglanz bleiben fest bei den Werten, die durch den Nutzer oder einen geeigneten Algorithmus bestimmt wurden.
Aus den Parametern (α →, β →, ρ →) werden Farbbilder Imodel (x, y) = (Ir,mod (x, y), Ig,mod (x, y), Ib,mod (x, y))T (4) wiedergegeben, wobei eine perspektivische Projektion und das Phong-Beleuchtungsmodell verwendet werden. Von dem rekonstruierten Bild wird angenommen, dass es am nächsten bei dem Eingangsbild in Bezug auf den euklidischen Abstand EI = Σx,y ∥Iinput (x,y) – Imodel (x,y)∥2 ist.
Die Anpassung einer 3D-Oberfläche an ein gegebenes Bild ist ein schwieriges Problem. Zusammen mit der gewünschten Lösung führen viele nicht-gesichtsähnliche Oberflächen zu demselben Bild. Es ist daher wesentlich, dem Satz von Lösungen Randbedingungen aufzuerlegen. Es ist ein wesentlicher Vorteil der Erfindung, dass bei dem vorliegenden morphing-fähigen Modell die Gestalt- und Textur-Vektoren auf den Vektorraum beschränkt sind, der durch die Datenbasis aufgespannt sind. Entsprechend können nicht-gesichtsähnliche Oberflächen vollständig vermieden werden.
Innerhalb des Vektorraumes der Gesichter können Lösungen des Weiteren durch einen Kompromiss zwischen der Anpassungsqualität und Priori-Wahrscheinlichkeiten begrenzt werden, wobei P(α), P(β) aus Abschnitt 3 und eine ad-hoc-Bestimmung von P(ρ) verwendet werden. Im Hinblick auf die Bayes-Entscheidungstheorie besteht das Problem darin, den Satz von Parametern (α →, β →, ρ →) mit maximaler Posteriori-Wahrscheinlichkeit zu finden, wenn ein Bild I_input gegeben ist. Während α →, β → und die Übertragungsparameter ρ → vollständig das Vorhergesagte Bild I_model bestimmen, kann das wahrgenommene Bild I_input durch Rauschen variieren. Bei Gauss'schem Rauschen mit einer Standardabweichung σ_N ist die Wahrscheinlichkeit, das Bild I_input wahrzunehmen p(I_input|α →, β →, ρ →) ~ exp [–12σ² _N·E_I]. Die maximale Posteriori-Wahrscheinlichkeit wird dann durch Minimierung der Kostfunktion
erhalten.
Der oben beschriebene Optimierungsalgorithmus verwendet eine Schätzung von E, die auf einer zufälligen Auswahl von Oberflächenpunkten basiert. Vorhergesagte Farbwerte I_model sind am einfachsten in den Mitten von Dreiecken zu evaluieren. In der Mitte des Dreiecks k sind die Textur (R_k, G_k, B_k) und der 3D-Ort (X_k, Y_k, Z_k) Mittelwerte der Werte an den Ecken. Die perspektivische Projektion bildet diese Punkte zu Bildorten (p →_x,k, p →_y,k)^T ab. Oberflächennormalen n_k von jedem Dreieck k werden durch die 3D-Orte der Ecken bestimmt. Gemäß der Phong-Beleuchtung nehmen die Farbkomponenten I_r,model, I_g,model und I_b,model die Form Ir,model,k = (ir,amb + ir,dir·(nkl)) R → + ir,dir S·(rkvk)v (6)ein, wobei I die Richtung der Beleuchtung v_k, die normalisierte Differenz aus Kameraposition und der Position der Mitte des Dreiecks und r_k = 2 (nl)n – I die Richtung des reflektierten Strahls sind. s bezeichnet den Oberflächenglanz, und v steuert die Winkelverteilung der spiegelnden Reflektion. Gleichung (6) reduziert sich zu I_r,model,k = i_r,ambR_k, falls auf die Mitte des Dreiecks ein Schatten geworfen wird, was mit dem unten beschriebenen Verfahren getestet wird.
Für 3D-Gitter hoher Auflösung sind Variationen über jedes Dreieck k ∈ {1, ..., n_t} in I_model gering, so dass E_I durch
angenähert werden kann, wobei a_k die Bildfläche ist, die durch das Dreieck k abgedeckt wird. Falls das Dreieck ausgeschlossen ist, gilt a_k = 0.
In einem Gradientenabfall wären die Beiträge von verschiedenen Dreiecken des Gitters redundant. Bei jeder Iteration wählen wir daher einen zufälligen Teilsatz K ⊂ {1, ... n_t} aus vierzig Dreiecken k, wobei E_I ersetzt wird durch
Die Wahrscheinlichkeit der Auswahl von k ist p(k ⊂ K) ~ a_k. Dieses Verfahren des stochastischen Gradientenabfalls [15] ist nicht nur computereffizienter, sondern es hilft auch, lokale Minima zu vermeiden, indem Rauschen zu der Gradientenabschätzung addiert wird.
Vor der ersten Iteration und wiederholt alle 1000 Schritte, berechnet das Verfahren die vollständige 3D-Gestalt des aktuellen Modells und 2D-Positionen (p_x, p_y)^T von allen Scheitelpunkten. Dann werden a_k bestimmt und versteckte Oberflächen und geworfene Schatten in einer Zwei-Pass-z-Puffer-Technik detektiert. Wir nehmen an, dass Okklusionen und geworfene Schatten während jedes Teilsatzes von Iterationen konstant sind.
In Abhängigkeit von analytischen Ableitungen der Kostfunktion E werden Parameter erneuert, wobei aj → aj – λj·∂E/∂_aj und ähnlich für β_j und ρ_j mit geeigneten Faktoren λ_j verwendet werden.
Ableitungen von Textur und Gestalt (Gleichung 1) ergeben Ableitungen von 2D-Orten (p →_x,y, p →_y,k)^T, Oberflächennormalen n_k, Vektoren v_k und r_k und I_model,k (Gleichung 6), wobei die Ketten regel verwendet wird. Aus Gleichung (7) können partielle Ableitungen ∂E_K|∂α_j, ∂E_K/∂β_j und ∂E_K/∂ρ_j erhalten werden.
Grob-zu-Fein: Um lokale Minima zu vermeiden, folgt der Algorithmus in mehreren Beziehungen einer Grob-zu-Fein-Strategie:

a) Der erste Satz von Iterationen wird auf einer unterabgetasteten Version des Eingabebildes mit einem morphing-fähigen Modell geringer Auflösung durchgeführt.
b) Wir starten, indem nur die ersten Koeffizienten α_j und β_j, welche die ersten Hauptkomponenten kontrollieren, zusammen mit allen Parametern ρ_j optimiert werden. In folgenden Iterationen werden mehr und mehr Hauptkomponenten addiert.
c) Beginnend mit einem relativ starken Gewicht auf die Priori-Wahrscheinlichkeit in Gleichung (5), die das Optimum hin zu dem vorherigen Erwartungswert bindet, reduzieren wir dieses Gewicht (oder äquivalent σ_N), um die maximale Anpassungsqualität zu erhalten.
d) In den letzten Iterationen wird das Gesichtsmodell in Segmente heruntergebrochen (Abschnitt II). Mit fixierten Parametern ρ_j werden die Koeffizienten α_j und β_j unabhängig für jedes Segment optimiert. Diese vergrößerte Anzahl von Freiheitsgraden verbessert signifikant Gesichtsdetails.

Mehrfache Bilder: Es ist unkompliziert, diese Technik auf den Fall zu erweitern, in dem mehrere Bilder einer Person verfügbar sind (5). 5 illustriert eine gleichzeitige Rekonstruktion von 3D-Gestalt und -Textur eines neuen Gesichts aus zwei Bildern, die unter verschiedenen Bedingungen aufgenommen wurden, in der mittleren Reihe, wobei das 3D-Gesicht über den Eingabebildern wiedergegeben ist. 5 demonstriert einen wesentlichen Vorteil der Erfindung. Das Bildverarbeitungsverfahren kann mit einem oder mehreren Eingabebildern implementiert werden. Es bestehen keine Beschränkungen in Bezug auf die Abbildungsbedingungen der Eingabebilder. Dies ist ein spezieller Unterschied gegenüber der 3D-Rekonstruktion auf der Basis von Bildpaaren, die mit einer Paralaxe aufgenommen wurden (Pseudo-Stereo-Bilder).
Während die Gestalt und die Textur noch durch einen gemeinsamen Satz von α_j und β_j beschrieben werden, besteht nun ein separater Satz aus ρ_j für jedes Eingabebild. E_I wird durch eine Summe von Bildabständen für jedes Paar von Eingabe- und Modellbildern ersetzt, und alle Parameter werden gleichzeitig optimiert.
Beleuchungs-korrigierte Texturextraktion: Spezifische Merkmale von einzelnen Gesichtern, die nicht durch das morphing-fähige Modell aufgenommen werden, wie z. B. Flecken, werden in einem nachfolgenden Texturanpassungsvorgang aus dem Bild extrahiert. Das Extrahieren von Textur aus Bildern ist eine Technik, die verbreitet bei der Konstruktion von 3D-Modellen aus Bildern verwendet wird (z.B. [26]). Um jedoch in der Lage zu sein, die Pose und Beleuchtung zu ändern, ist es wichtig, an jedem gegebenen Punkt den reinen Albedo von dem Einfluss einer Abschattung und geworfenen Schatten in dem Bild zu trennen. Im erfindungsgemäßen Ansatz kann dies erreicht werden, da die Anpassungsprozedur eine Abschätzung von 3D-Gestalt, Pose und Beleuchtungsbedingungen bereitstellt. Nachfolgend auf die Anpassung vergleichen wir die Vorhersage I_mod,i für jeden Scheitelpunkt i mit I_input(p_x,i, p_y,i), und wir berechnen die minimale Änderung in der Textur (R_i, G_i, B_i), die für den Unterschied verantwortlich ist. In Flächen, die in dem Bild verdeckt sind, verlassen wir uns auf die Vorhersage, die durch das Modell gemacht wird. Daten aus mehreren Bildern können unter Verwendung von Verfahren ähnlich zu [26] verschmolzen werden.
III.1 Anpassung eines morphing-fähigen Modells an 3D-Abtastungen
Das oben beschriebene Verfahren kann auch angewendet werden, um neue 3D-Gesichter zu registrieren. Analog zu Bildern, wo die perspektivische Projektion P: R³ → R² und ein Beleuchtungsmodell ein Farbbild I(x, y) = (R(x, y), G(x, y), B(x, y))^T definieren, stellen Laserabtastungen eine zweidimensionale zylindrische Parametrisierung der Oberfläche mittels einer Abbildung C: R³ → R², (x, y, z) → (h, ϕ) bereit.
Folglich kann eine Abtastung repräsentiert werden als I(h, ϕ) = R (h, ϕ), G(h, ϕ), B(h, ϕ), r(h, ϕ))T (8)
In einem Gesicht (S, T), welches durch Gestalt- und Texturkoeffizienten α_j und β_j (Gleichung 1) definiert ist, wird der Scheitelpunkt i mit Texturwerten (R_i, G_i, B_i) und zylindrische Koordinaten (r_j, h_i, ϕ_i) zu I_model (h_i, ϕ_i) = (R_i, G_i, B_i)^T abgebildet.
Der Anpassungsalgorithmus aus dem vorherigen Abschnitt bestimmt nun α_j und β_j, wobei
minimiert wird.
IV Aufbau eines morphing-fähigen Modells
In diesem Abschnitt wird beschrieben, wie das morphing-fähige Modell aus einem Satz von nicht-registrierten 3D-Prototypen aufgebaut wird und wie ein neues Gesicht zu einem bestehenden morphing-fähigen Modell hinzugefügt wird, wobei dessen Dimensionalität vergrößert wird.
Das Schlüsselproblem besteht darin, eine dichte Punkt-zu-Punkt-Korrespondenz zwischen den Scheitelpunkten der Gesichter zu berechnen. Da das Verfahren, das in Abschnitt III.1 beschrieben wurde, die beste Anpassung für ein gegebenes Gesicht nur innerhalb des Bereiches des morphing-fähigen Modells findet, kann es nicht neue Dimensionen zu dem Vektorraum der Gesichter hinzufügen. Um Restabweichungen zwischen einem neuen Gesicht und der besten Anpassung innerhalb des Modells zu bestimmen sowie um nicht-registrierte Prototypen in Korrespondenz zu setzen, verwenden wir einen optischen Flussalgorithmus, der die Korrespondenz zwischen zwei Gesichtern berechnet, ohne dass ein morphing-fähiges Modell [32] nötig ist. Der folgende Abschnitt fasst die Technik, wie sie für die Erfindung angepasst ist, zusammen.
IV.1 3D-Korrespondenz unter Verwendung eines optischen Flusses
Ein Gradienten-basierter optischer Flussalgorithmus (englisch: flow algorithm), der ursprünglich darauf zugeschnitten war, korrespondierende Punkte in Grauwert-Bildern I(x, y) zu finden, wird modifiziert, um die Korrespondenz zwischen einem Paar von 3D-Abtastungen I(h, ϕ) (Gleichung 8) zu etablieren, wobei Farb- und Radiuswerte gleichzeitig in Betracht gezogen werden. Der Algorithmus berechnet ein Flussfeld (δh(h, ϕ), δϕ(h, ϕ)), das Differenzen von ∥I₁(h, ϕ) – I₂(h + δh(ϕ + δϕ)∥ in einer Norm minimiert, die Variationen in der Textur und der Gestalt wichtet. Oberflächeneigenschaften aus der Differenzialgeometrie, so wie eine Hauptkrümmung, können als zusätzliche Komponenten in I(h, ϕ) verwendet werden.
Auf Gesichtsregionen mit geringer Struktur in Textur und Gestalt, so wie der Stirn und den Wangen, sind die Ergebnisse des optischen Flussalgorithmus manchmal unecht. Wir führen daher eine Glättungsinterpolation basiert auf einer simulierten Relaxation eines System von Flussvektoren durch, die mit ihren Nachbarn gekoppelt sind. Das quadratische Kopplungspotenzial ist für alle Flussvektoren gleich. In Bereichen mit hohem Kontrast sind Komponenten von Flussvektoren, die zu Kanten orthogonal sind, an die Ergebnisse der vorherigen optischen Flussberechnung gebunden. Das System ist im Übrigen frei, eine geglättete Minimalenergie-Anordnung einzunehmen. Anders als einfache Filterroutinen erhält unsere Technik die Anpassungsqualität vollständig aufrecht, wo immer das Flussfeld zuverlässig ist. Der optische Fluss und die Glättungsinterpolation werden auf verschiedenen, aufeinanderfolgenden Ebenen der Auflösung berechnet.
Die Konstruktion eines morphing-fähigen Gesichtsmodells aus einem Satz von nicht-registrierten 3D-Abtastungen erfordert die Berechnung des Flussfeldes zwischen jedem Gesicht und einem willkürlichen Referenzgesicht. Wenn eine Definition von Gestalt- und Texturvektoren S_ref und T_ref für das Referenzgesicht gegeben ist, können S und T für jedes Gesicht in der Datenbasis mittels der Punkt-zu-Punkt-Korrespondenz erhalten werden, die durch (δh(h, ϕ), δϕ(h, ϕ)) bereitgestellt wird.
IV.2 Weitere Verbesserung des Modells
Da der optische Flussalgorithmus keinerlei Randbedingungen auf dem Satz von Lösungen inkorporiert, könnte er bei einigen der eher ungewöhnlichen Gesichter in der Datenbasis versagen. Daher modifizierten wir einen Lade-Algorithmus (englisch: bootstrapping algorithm) auf der Basis eines Verfahrens, das kürzlich verwendet wurde, um lineare Bildmodelle aufzubauen [33], um iterativ die Korrespondenz zu verbessern.
Der grundlegende rekursive Schritt: Es wird angenommen, dass ein bestehendes morphing-fähiges Modell nicht stark genug ist, um ein neues Gesicht anzupassen und dadurch eine Korrespondenz mit diesem zu finden. Die Idee besteht darin, zuerst grobe Korrespondenzen zu dem neuen Gesicht unter Verwendung des (inadäquaten) morphing-fähigen Modells zu finden und dann diese Korrespondenzen durch Verwendung eines optischen Flussalgorithmus zu verbessern.
Ausgehend von einem willkürlichen Gesicht als die zeitweilige Referenz wird die vorläufige Korrespondenz zwischen allen anderen Gesichtern und dieser Referenz unter Verwendung des optischen Flussalgorithmus berechnet. Auf der Basis dieser Korrespondenzen können die Gestalt- und die Textur-Vektoren S und T berechnet werden. Ihre Mittelwerte dienen als ein neues Referenzgesicht. Das erste morphing-fähige Modell wird dann durch die am meisten signifikanten Komponenten gebildet, wie sie durch eine Standard-PCA-Zerlegung bereitgestellt werden. Das aktuelle morphing-fähige Modell wird nun an jedes der 3D-Gesichter gemäß dem Verfahren angepasst, das in Abschnitt III.1 beschrieben ist. Dann berechnet der optische Flussalgorithmus die Korrespondenz zwischen dem 3D-Gesicht und der Näherung, die durch das morphing-fähige Modell geliefert wurde. Kombiniert mit der Korrespondenz, die das angepasste Modell zur Folge hat, definiert dies eine neue Korrespondenz zwischen dem Referenzgesicht und dem Beispiel.
Eine Iteration dieses Verfahrens mit steigender Ausdruckskraft des Modells (durch Erhöhung der Anzahl von Hauptkomponenten) führt zu zuverlässigen Korrespondenzen zwischen dem Referenzgesicht und den Beispielen und schließlich zu einem vollständigen morphing-fähigen Gesichtsmodell.
V Bildverarbeitungssystem
Eine Ausführungsform einer Basiskonfiguration eines Bildverarbeitungssystems gemäß der Erfindung ist schematisch in 8 illustriert. Das Bildverarbeitungssystem 10 enthält eine 3D-Datenbasis 20, einen Modell-Prozessor 30, eine 2D-Eingabe-Schaltung 40, einen Objekt-Analysator 50, eine Rückprojektions-Schaltung 60, eine Modellier-Schaltung 70 und eine 3D-Ausgabe-Schaltung 80, die mit einer Computergrafik wiedergebenden Maschine 80a und/oder einem CAD-System 80b verbunden ist. Weitere Einzelheiten eines Bildverarbeitungssystems sind nicht gezeigt, da sie als solche bekannt sind (z.B. Steuermittel, Tastatureingabemittel, Anzeigemittel und dergleichen).
Die 3D-Datenbasis 20 enthält die Strukturdaten von einer Vielzahl von Objekten (z.B. menschlichen Gesichtern), die mit einer geeigneten optischen Objektdetektion, z.B. auf der Basis von Laserabtastungen erhalten wurden. Die 3D-Datenbasis 20 ist mit dem Modell-Prozessor 30 verbunden, der dazu angepasst ist, die Datenverarbeitungsschritte auf der Basis der oben erläuterten Verfahren auszuführen. Als ein Ergebnis liefert der Modell-Prozessor 30 insbesondere ein Mittelwert-Gesicht (z.B. wie in 4, obere Reihe, rechts) zu dem Objekt-Analysator 50 sowie Referenzdaten zu der Modellier- Schaltung 70. Die 2D-Eingabe-Schaltung 40 ist dazu angepasst, ein oder mehrere Eingabebilder in einem geeigneten Format, z.B. Photografien, synthetisierte Bilder oder dergleichen aufzunehmen. Die 2D-Eingabe-Schaltung 40 ist mit dem Objekt-Analysator 50 verbunden, der das morphing-fähige Modell, das von dem Modell-Prozessor 30 empfangen wird, an das (die) Eingabebild (Eingabebilder) anpasst. Als ein Ergebnis erzeugt der Objekt-Analysator 50 ein 3D-Modell des Eingabebildes, das zu der Rückprojektions-Schaltung 60 oder direkt zu der Modellier-Schaltung 70 oder zu der 3D-Ausgabe-Schaltung 80 geliefert wird. Auf der Basis des 3D-Modells, das von dem Objekt-Analysator 50 erhalten wird, und den Original-Farbdaten, die von der 2D-Eingabe-Schaltung 40 empfangen werden, führt die Rückprojektions-Schaltung 60 eine Modellkorrektur aus, wie oben beschrieben wurde. Das korrigierte Modell wird an die Modellier-Schaltung 70 oder direkt zu der 3D-Ausgabe-Schaltung 80 geliefert. Schließlich ist der Modellier-Schaltung 70 dazu angepasst, geänderte Gesichtsmerkmale in das (korrigierte) 3D-Modell unter Verwendung der Eingabe des Modell-Prozessors 30 einzuführen, wie oben beschrieben wurde.
VI Ergebnisse und Modifizierungen
Gemäß der Erfindung wurde ein morphing-fähiges Gesichtsmodell aufgebaut, indem automatisch die Korrespondenz zwischen allen von z. B. 200 Beispielgesichtern aufgestellt wird. Das interaktive Gesichtsmodellierungssystem ermöglicht menschlichen Nutzern, neue Charaktere zu kreieren und Gesichtsattribute zu modifizieren, indem die Modellkoeffizienten variiert werden. Die modifizierenden Gesichtsattribute umfassen z.B. eine Gewichtszunahme oder -abnahme, Stirnrunzeln oder sogar „gezwungen sein zu lächeln". Mit den Zwangsbedingungen, die durch die Priori-Wahrscheinlichkeit eingeführt werden, besteht eine große Variabilität von möglichen Gesichtern, und alle Linearkombinationen der Beispielgesichter sehen natürlich aus.
Die Ausdruckskraft des morphing-fähigen Modells wurde getestet, indem automatisch 3D-Gesichter von Fotografien von willkürlichen Gesichtern weißer Haut und mittleren Alters automatisch rekonstruiert wurden, die nicht in der Datenbasis waren. Die Bilder wurden entweder von uns unter Verwendung einer Digitalkamera (4, 5) oder unter willkürlichen unbekannten Bedingungen (6) aufgenommen. In allen Beispielen passten wir ein morphing-fähiges Modell an, das aus den ersten 100 Gestalt- und den ersten 100 Textur-Hauptkomponenten aufgebaut war, die von dem gesamten Datensatz von 200 Gesichtern abgeleitet waren. Jede Komponente wurde zusätzlich in vier Teile segmentiert (siehe 2). Die gesamte Anpassungsprozedur wurde in 10⁵ Iterationen durchgeführt. Die Rechenzeit auf einem SGI R10000-Prozessor betrug 50 Minuten.
Das Rekonstruieren der wahren 3D-Gestalt und -Textur eines Gesichts aus einem einzelnen Bild ist ein schwieriges Problem. Die Ergebnisse, die mit unserer Methode erhalten werden, sehen jedoch für menschliche Beobachter korrekt aus, die auch nur das Eingabebild kennen. Beim Vergleich mit einem realen Bild des gedrehten Gesichts werden Unterschiede gewöhnlich nur für große Drehungen von mehr als 60° sichtbar.
Es gibt eine breite Vielfalt von Anwendungen für eine 3D-Gesichtsrekonstruktion aus 2D-Bildern. Wie in 6 demonstriert, können die Ergebnisse für eine automatische Nachbearbeitung eines Gesichts innerhalb des Originalbildes oder einer Filmsequenz verwendet werden.
Die Kenntnis der 3D-Gestalt eines Gesichts in einem Bild stellt eine Segmentation des Bildes in eine Gesichtsfläche und einen Hintergrund bereit. Das Gesicht kann mit anderen 3D-Grafikobjekten, so wie Brillen oder Hüten, kombiniert werden und dann vor dem Hintergrund geliefert werden, wobei geworfene Schatten oder neue Beleuchtungsbedingungen (6) berechnet werden. Des Weiteren können wir das Erscheinungsbild das Gesichts durch Zufügen oder Abziehen spezifischer Attribute ändern. Wenn vorher ungesehene Hintergründe sichtbar werden, können die Löcher mit benachbarten Hintergrundpixeln gefüllt werden.
Wir haben das Verfahren auch auf Malerei, so wie Leonardo's Mona Lisa angewendet (7). 7 illustriert ein rekonstruiertes 3D-Gesicht von Mona Lisa (oben Mitte und rechts). Zur Modifizierung der Beleuchtung werden Farbdifferenzen (unten links) auf dem 3D-Gesicht berechnet und dann dem Gemälde zugefügt (unten Mitte). Ein zusätzliches Verziehen erzeugte neue Orientierungen (unten rechts). Die Beleuchtungs korrigierte Texturextraktion ist hier jedoch wegen ungewöhnlicher (möglicherweise unrealistischer) Lichtverhältnisse schwierig. Wir wenden daher ein anderes Verfahren zur Übertragung aller Details des Gemäldes auf neue Ansichten an. Für ein neue Beleuchtung (7, unten Mitte) liefern wir zwei Bilder des rekonstruierten 3D-Gesichts mit verschiedener Beleuchtung, und wir fügen Differenzen in Pixelwerten (7, unten links) dem Gemälde zu. Für eine neue Pose (unten rechts) werden in einer ähnlichen Weise Unterschiede in der Schattierung übertragen, und dann wird das Gemälde gemäß den 2D-Projektionen von 3D-Scheitelpunkt-Verschiebungen der rekonstruierten Gestalt verzogen.
Gemäß der Erfindung werden die Grundkomponenten für ein vollständig automatisiertes Gesichtsmodellierungssystem präsen tiert, das auf Vorwissen über die möglichen Erscheinungsbilder von Gesichtern basiert. Weitere Erweiterungen werden unter den folgenden Gesichtspunkten erwogen:
Gegenstände der Implementierung: Wir planen, unser Anpassungsverfahren durch die Implementierung eines vereinfachten Newton-Verfahrens zur Minimierung der Kostfunktion (Gleichung 5) zu beschleunigen. Anstelle der zeitaufwändigen Berechnung von Ableitungen für jeden Iterationsschritt kann eine globale Abbildung des Anpassungsfehlers in den Parameterraum verwendet werden [8].
Eine Datenreduktion, die auf Gestalt- und Texturdaten angewendet wird, wird die Redundanz von unserer Repräsentation verringern, wobei zusätzlich Rechnungszeit gespart wird.
Erweiterung der Datenbasis: Während die gegenwärtige Datenbasis ausreichend ist, weiße Gesichter mittleren Alters zu modellieren, würden wir sie gerne auf Kinder, ältere Menschen sowie auf andere Rassen erweitern.
Wir planen auch, zusätzliche 3D-Gesichtsbeispiele zu inkorporieren, die den Zeitverlauf von Gesichtsausdrücken und „Viseme", die Gesichtsvariation während des Sprechens, repräsentieren.
Die Laser-Abtastungstechnologie soll auf die Sammlung von dynamischen 3D-Gesichtsdaten erweitert werden. Die Entwicklung von schnellen optischen 3D-Digitalisierern [25] wird uns ermöglichen, das Verfahren auf Ströme von 3D-Daten während Sprache und Gesichtsausdrücken anzuwenden.
Erweiterung des Gesichtsmodells: Das gegenwärtige morphing-fähige Modell für menschliche Gesichter ist auf die Gesichts fläche beschränkt, da ein ausreichendes 3D-Modell von Haaren mit unserem Laser-Scanner nicht erhalten werden kann. Für eine Animation kann der fehlende Teil des Kopfes automatisch durch einen Standard-Haarstil oder einen Hut, oder durch Haar ersetzt werden, das unter Verwendung einer interaktiven manuellen Segmentation und Anpassung an ein 3D-Modell [28, 26] modelliert ist. Die automatisierte Rekonstruktion von Haarstilen aus Bildern ist eine der zukünftigen Herausforderungen.
Die Erfindung kann mit Vorteilen im Gebiet der Bilderkennung angewendet werden. Von einem angepassten Gesichtsmodell werden die Koeffizienten als eine Codierung des entsprechenden Gesichts verwendet. Ein zu untersuchendes Bild wird als dieses Gesicht identifiziert, falls die Koeffizienten entsprechend dem Gesicht identisch oder ähnlich zu den codierenden Koeffizienten des Modells sind.
Weitere Anwendungen der Erfindung sind im Gebiet des Modellierens von Bildern von dreidimensionalen Objekten gegeben, die nicht menschliche Gesichter sind. Diese Objekte umfassen zum Beispiel komplette menschliche Körper, Körper oder Gesichter von Tieren, technische Objekte (wie Automobile, Möbel) und dergleichen.
Literaturliste

[1] T. Akimoto, Y. Suenaga, und R.S. Wallace. Automatic creation of 3D facial models. IEEE Computer Graphics and Applications, 13(3): 16–22, 1993.
[2] P. Bergeron und P. Lachapelle. Contolling facial expressions and body movements. In Advanced Computer Animation, SIGGRAPH '85 Tutorials, Bd. 2, Seiten 61–79, New York, 1985. ACM.
[3] D. Beymer und T. Poggio. Image representation for visual learning. Science, 272: 1905–1909, 1996.
[4] D. Beymer, A. Shashua, und T. Poggio. Example-based image analysis and syn-thesis. A.I. Memo No. 1431, Artificial Intelligence Laboratory, Massachusetts Institute of Technology, 1993.
[5] S.E. Brennan. The caricature generator. Leonardo, 18: 170–178, 1985.
[6] P.J. Burt und E.H. Adelson. Merging images through pattern decomposition. In Applications of Digital Image Processing VIII, Nr. 575, Seiten 173–181. SPIE The International Society for Optical Engeneering, 1985.
[7] C.S. Choi, T. Okazaki, H. Harashima und T. Takebe. A system of analyzing and synthesizing facial images. In Proc. IEEE Int. Symposium of Circuit and Systems (ISCAS91), S. 2665–2668, 1991.
[8] T.F. Cootes, G.J. Edwards, and C.J. Taylor. Actice appearance models. In Burkhardt and Neumann, Herausgeber, Computer Vision – ECCV '98 Vol. II, Freiburg, Deutschland, 1998. Springer, Lecture Notes in Computer Science 1407.
[9] D. DeCarlos, D. Metaxas, und M. Stone. An anthopometric face model using variational techniques. In Computer Graphics Proceedings SIGGRAPH '98, S. 67–74, 1998.
[10] S. DiPaola. Extending the range of facial types. Journal of Visualization and Computer Animation, 2(4): 129–131, 1991.
[11] G.J. Edwards, A. Lanitis, C.J. Taylor und T.F. Cootes. Modelling the variability in face images. In Proc. of the 2nd Int. Conf. on Automatic Face and Gesture Recognition, IEEE Comp. Soc. Press, Los Alamitos, CA, 1996.
[12] L.G. Farkas. Anthropometry of the Head and Face. Raven-Press, New York, 1994.
[13] B. Guenter, C. Grimm, D. Wolf, H. Malvar und F. Pighin. Making faces. In Computer Graphics Proceedings SIGGRAPH '98, S. 55–66, 1998.
[14] I.T. Jollife. Principal Component Analysis. Springer-Verlag, New York, 1986.
[15] M. Jones and T. Poggio. Multidimensional morphable models: A framework for representing and matching object classes. In Proceedings of the Sixth International Conference on Computer Vision, Bombay, India, 1998.
[16] A. Lanitis, C.J. Taylor, and T.F. Cootes. Automatic interpretation and coding of face images using flexible models. IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(7): 743–756, 1997.
[17] Y.C. Lee, D. Terzopoulos and Keith Waters. Constructing physics-based facial models of individuals. Visual Computer, Proceedings of Graphics Interface '93: 1–8, 1993.
[18] Y.C. Lee, D. Terzopoulos and Keith Waters. Realistic modeling for facial animation. In SIGGRAPH '95 Conference Proceedings, S. 55–62, Los Angels, 1995. ACM.
[19] J.P. Lewis. Algorithms for solid noise synthesis. In SIGGRAPH '89 Conference Proceedings, S. 263–270. ACM, 1989.
[20] N. Magneneat-Thalmann, H. Minh, M. Angelis and D. Thalmann. Design, transformation and animation of human faces. Visual Computer, 5: 32–39, 1989.
[21] L. Moccozet and N. Magnenat-Thalmann. Dirichlet freeform deformation and their application to hand simulation. In Computer Animation '97, 1997.
[22] F.I. Parke and K. Waters. Computer Facial Animation. AKPeters, Wellesley, Massachusetts, 1996.
[23] F.I. Parke. Computer generated animation of faces. In ACM National Conference. ACM, November 1972.
[24] F.I. Parke. A parametric model of human faces. Dissertation, University of Utah, Salt Lake City, 1974.
[25] M. Petrow, A. Talapov, T. Robertson, A. Lebedev, A. Zhilyaev, and L. Polonskiy. Optical 3D digitizer: Bringing life to virtual world. IEEE Computer Graphics and Applications, 18(3): 28–37, 1998.
[26] F. Pighin, J. Hecker, D. Lischinski, Szeliski R and D. Salesin. Synthesizing realistic facial expressions from photographs. In Computer Graphics Proceedings SIGGRAPH '98, S. 75–84, 1998.
[27] S. Platt and N. Badler. Animating facial expression. Computer Graphics, 15(3): 245–252, 1981.
[28] G. Sannier and N. Magnenat-Thalmann. A user-friendly texture-fitting method-ology for virtual humans. In Computer Graphics International '97, 1997.
[29] D. Terzopoulos and Keith Waters. Physically-based facial modeling, analysis, and animation. Visualization and Computer Animation, 1: 73–80, 1990.
[30] Demetri Terzopoulos und Hong Qin. Dynamic NURBS with geometric con-straints to interactive sculpting. ACM Transactions on Graphics, 13(2): 103–136, April 1994.
[31] J.T. Todd, S.M. Leonard, R.E. Shaw and J.B. Pittenger. The perception of human growth. Scientific American, 1242: 106–114, 1980.
[32] T. Vetter and V. Blanz. Estimating coloured 3d face models from single images: An example based approach. In Burkhardt and Neumann, editors, Computer Vision ECCV '98 Vol. II, Freiburg, Deutschland, 1998. Springer, Lecture Notes in Computer Science 1407.
[33] T. Vetter, M.J. Jones and T. Poggio. A bootstrapping algorithm for learning linear models of object classes. In IEEE Conference on Computer Vision and Pattern Recognition – CVPR '97, Puerto Rico, USA, 1997. IEEE Computer Society Press.
[34] T. Vetter and T. Poggio. Linear object classes and image synthesis from a single example image. IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(7): 733–742, 1997.
[35] Keith Waters. A muscle model for animating threedimensional facial expression. Computer Graphics, 22(4): 17–24, 1987.

Claims

Verfahren des Erzeugens eines morphing-fähigen Objektmodells, umfassend die Schritte: – Erzeugung einer 3D-Datenbasis, die eine Vielzahl von 3D-Bildern von Prototyp-Objekten umfasst, – Ausübung einer Datenverarbeitung, die Korrespondenzen zwischen den Prototyp-Objekten und mindestens einem Referenzobjekt bereitstellt, auf die Daten der 3D-Datenbasis, und – Bereitstellung des morphing-fähigen Objektmodells als ein Satz von Objekten, der Linearkombinationen der Formen und Texturen der Prototyp-Objekte umfasst, wobei der Satz der Objekte mit den Koeffizienten der Linear-Kombinationen parametrisiert ist, dadurch gekennzeichnet, dass – der Satz von Objekten ferner mit einer Wahrscheinlichkeitsverteilung der Koeffizienten parametrisiert ist.
Verfahren gemäß Anspruch 1, bei dem das Referenzobjekt durch Mittelwert-Objektdaten repräsentiert wird.
Verfahren gemäß einem der Ansprüche 1 oder 2, bei dem das morphing-fähige Objektmodell für ein Segment des Objekts erzeugt wird.
Verfahren gemäß einem der vorhergehenden Ansprüche, bei dem die Objekte menschliche Gesichter, tierische Gesichter, menschliche Körper, tierische Körper oder technische Objekte sind.
Verfahren der Verarbeitung eines Bildes eines drei-dimensionalen Objekts, umfassend die Schritte: – Bereitstellung eines morphing-fähigen Objektmodells, das von einer Vielzahl von 3D-Bildern gemäß einem der vorhergehenden Ansprüche abgeleitet ist, – Anpassung des morphing-fähigen Objektmodells an mindestens ein 2D-Objektbild, und – Bereitstellung des angepassten morphing-fähigen Objektmodells als eine 3D-Repräsentation des Objekts.
Verfahren gemäß Anspruch 5, bei dem das angepasste Objektmodell einer Rückprojektion auf Farbdaten des 2D-Eingangsbildes des Objekts unterzogen wird.
Verfahren gemäß Anspruch 6, bei dem die Rückprojektion eine Beleuchtungskorrektur ergibt, um Farbdaten der Oberfläche des Objekts zu erhalten.
Verfahren gemäß Anspruch 7, bei dem die farbkorrigierten Daten einer Anpassung an geänderte Beleuchtungsbedingungen unterzogen werden.
Verfahren gemäß einem der Ansprüche 5 bis 8, bei dem das angepasste morphing-fähige Objektmodell einem Modellierungsschritt zur Modifizierung von mindestens einem Objektmerkmal unterzogen wird.
Verfahren gemäß einem der Ansprüche 5 bis 8, bei dem das drei-dimensionale Objekt ein Gesicht mit bestimmten Gesichtsattributen ist, wobei das Verfahren den weiteren Schritt umfasst: – Synthetisieren eines 3D-Modells des Gesichts.
Verfahren der Erkennung eines Objekts, umfassend die Schritte: – Bereitstellung eines Bildes des Objekts, das erkannt werden soll, und – Verarbeitung des Bildes mit einem Verfahren gemäß einem der Ansprüche 5 bis 10.