DE69823001T2

DE69823001T2 - Verfahren und Vorrichtung zur Rekonstruktion der dreidimensionalen Bewegung eines menschlichen Körpers aus Monokularbildsequenzen

Info

Publication number: DE69823001T2
Application number: DE69823001T
Authority: DE
Inventors: William T. Freeman; Michael E. Leventon
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1998-02-12
Filing date: 1998-09-18
Publication date: 2005-05-04
Anticipated expiration: 2018-09-19
Also published as: JPH11259660A; DE69823001D1; EP0936576A2; US6115052A; EP0936576B1; JP4202479B2; EP0936576A3

Description

Gebiet der Erfindung
Diese Erfindung bezieht sich auf ein System zum Erkennen von Körperbewegung und insbesondere auf ein System zum Rekonstruieren einer Schätzung der dreidimensionalen Positionen eines menschlichen Körpers aus einer lebendigen oder voraufgezeichneten Folge von Bildern des Körpers.
Hintergrund der Erfindung
Wenn man einen Film oder ein Video einer sich bewegenden Person betrachtet, kann man leicht die dreidimensionalen Bewegungen der sich bewegenden Person anhand der Betrachtung der projizierten 2D-Bilder im Verlauf der Zeit schätzen. Ein Tänzer kann die in dem Film dargestellten Bewegungen wiederholen. Jedoch ist es für einen Computer schwierig, eine derartige 3D-Bewegung zu schätzen.
Viele Anwendungen können von einem Computer mit denselben Fähigkeiten folgen, um 3D-Bewegungen abzuleiten. Es gibt Anwendungen bei der öffentlichen Sicherheit für Fahrstühle und Rolltreppen sowie bei interaktiven Spielen und virtueller Realität. Bei der Computergrafik widmet sich eine wachsende Industrie dem "Bewegungseinfang", bei dem eine digitalisierte Bewegung einer menschlichen Figur Computergrafikzeichen treibt. Die 3D-Bewegungsinformationen von Menschen werden entweder durch magnetische Sensoren oder durch optische Techniken mit mehreren kalibrierten Kameras und einem speziellen Satz von Markierungen digitalisiert. Leider ist jede Technik kostenaufwendig und mühsam. Um eine 3D-Figurenbewegung zu erhalten, ermöglichen Informationen von einem Einzelkameravideo einen Bewegungseinfang, der durch gewöhnliche monokulare Videokameras getrieben wird, und können für Archivfilme oder Video angewendet werden.
Wie von L. Goncalves, E. D. Bernardoo, E. Ursella und P. Perona, Monocular tracking of the human arm in 3d., Proc. 5^th Intl. Conf. on Computer Vision, Seiten 764–770, IEEE, 1995, beschrieben ist, haben Goncalves und Mitarbeiter unter beschränkten Betrachtungs- und Bewegungsbedingungen die Bewegung eines Arms in 3D verfolgt. In einem Artikel von J. M. Rehg und T. Kanade mit dem Titel Model-based tracking of selfoccluding articulated objects, Proc. 5th Conf. on Computer Vision, Seiten 612–617, IEEE, 1995, werden einige Handbewegungen über 3D verfolgt, wobei beträchtliche Oklusionen ermöglicht werden. Jedoch erfordert dies eine 3D-Modelinitialisierung und gesteuerte Betrachtungsbedingungen. Die Arbeit bei der Wiedergewinnung einer Körperpose mit mehr als einer Kamera hat größeren Erfolg gebracht, wie von D. M. Gavrila und L. S. Davis, 3-d model-based tracking of hu mans in action: a multi view approach, in Proc. IEEE CVPR, Seiten 73–80, 1996, diskutiert ist. [Das Papier von J. K. Aggarwal und Q. Cai, Human Motion Analysis: A Review, Nonrigid and articulated motion workshop, IEEE, 16. Juni 1997, San Juan, Puerto Rico, USA, gibt eine Übersicht über die verschiedenen Aufgaben, die bei der Bewegungsanalyse des menschlichen Körpers auftreten, enthaltend die Verfolgung durch eine einzelne Kamera und die Erkennung von menschlichen Aktivitäten anhand von Bildsequenzen.] Trotz der Beachtung durch die Forschung, wie in einem von I. Essa herausgegebenen Buch mit dem Titel "International Workshop on Automatic Face- and Gesture-Recognition", IEEE Computer Society, Killington, Vermont, 1997, illustriert ist, wurde das Problem der Wiedergewinnung einer 3D-Figurenbewegung anhand eines Einzelkameravideos nicht zufrieden stellend gelöst.
Zusammenfassung der Erfindung
Um eine menschliche Bewegung ohne die Verwendung von Markierungen auf einem Individuum und ohne die Verwendungen von so vielen wie sechs Kameras zu erfassen, wird eine Optimierungsvorrichtung verwendet, die ein Videoeingangssignal und einen ursprünglichen Trainingssatz aufnimmt und optimierte 3D-Koordinaten von Körpermarkierungen entsprechend dem Videoeingang, den Trainingsdaten und manuell eingegebenen Korrekturen ausgibt. Um die Optimierung zu erzielen, findet die Optimierungsvorrichtung die wahrscheinlichste lineare Kombination von Trainingsdaten, um das eingegebene Video zu erläutern, Benutzerkorrekturen aufzunehmen und ein wahrscheinliches 3D-Bewegungssegment zu sein. Nachdem optimale 3D-Koordinaten abgeleitet wurden, können bei einem Ausführungsbeispiel realistische Trickzeichen erzeugt werden, alle ohne die Verwendung von körperlichen Markierungen auf dem Körper des Handelnden, und alle von einer einzelnen, den Handelnden betrachtenden Kamera. Es kann nicht nur die Bewegung des Handelnden charakterisiert werden, sondern ein Archivfilm kann hinsichtlich der Bewegungen von Handelnden darin analysiert werden. Das Ergebnis ist die Fähigkeit, eine Animation für jedweden Zweck in einer einfachen und mühelosen Weise zu schaffen.
Bei einem Ausführungsbeispiel führt die Optimierungsvorrichtung ihre Funktion gemäß der folgenden Formel durch:
worin E(
) die durch die zu findenden optimalen Koeffizienten
zu minimierende Energiefunktion ist,
der Vektor von Sensorantworten über den Zeitverlauf von den Bilddaten ist. Die Funktion
wandelt
-Körperbewegungskoeffizienten in vorhergesagte Sensorantworten um.
_i ist die von dem Benutzer spezifizierte Position des i-ten Punktes, und P_i projizierte die α-Koeffizienten auf die entsprechende 2D-Position des i-ten Stabfigurenteils. Λ₁ und Λ₂ sind Konstanten, die die Gewichte der Bilddaten reflektieren, die Wertigkeit über menschliche Bewegungen und die interaktiv bestimmten 2D-Punktanpassungen.
Bei der vorliegenden Erfindung wird ein starkes früheres Wissen darüber, wie Menschen sich bewegen, in der Form von Trainingsdaten verwendet. Dieses frühere Wissen verbessert dramatisch die 3D-Rekonstruktionen, wobei das vorliegende frühere Wissen von Beispielen der menschlichen 3D-Bewegung erhalten ist.
Bei der vorliegenden Erfindung verwendet die 3D-Rekonstruktion in einer vereinfachten Bilddarstellungsdomäne eine Bayesianische Analyse, um analytische Lösungen für grundsätzliche Fragen über die Schätzung einer figürlichen Bewegung anhand von Bilddaten zu erhalten. Die Anwendung des Bayesianischen Verfahrens auf reelle Bilder erlaubt die Rekonstruktion von menschlichen Figurenbewegungen aus Archivvideos, wobei das vorliegende System interaktive Korrekturen von automatisierten 2D-Verfolgungsfehlern durchführt, die eine Rekonstruktion selbst anhand schwieriger Filmsequenzen ermöglicht. Bei einem Ausführungsbeispiel wird eine Stabfigur einem Bild eines sich bewegenden Menschen überlagert, um dem Benutzer zu ermöglichen, 2D-Bewegungsschätzfehler festzustellen und zu korrigieren.
Zusammengefasst ist ein System zum Rekonstruieren der dreidimensionalen Bewegungen einer menschlichen Figur anhand einer monokular betrachteten Bildsequenz vorgesehen, bei dem eine statistische Annäherung verwendet wird, gekoppelt mit der Verwendung eines Satzes von Bewegungseinfangbeispielen, um ein Gaussches Wahrscheinlichkeitsmodel für kurze menschliche Bewegungssequenzen aufzubauen. In einer vereinfachten Darstellungsdomäne ergibt dies eine optimale 3D-Schätzung einer menschlichen Bewegung, die verwendet wird zum Schaffen realistischer Animationen, die in einer zeitlichen 2D-Sequenz gegeben sind. Das vorliegende System ist auch nützlich zum Identifizieren, welche Bewegungsarten schwierig zu schätzen sind. Bei einem Ausführungsbeispiel wird eine Stabfigur dem eingegebenen Videobild überlagert, um eine manuelle Korrektur von nicht richtig verfolgten Körperteilen zu ermöglichen. Die Anwendung der Stabfigurkorrektur ermöglicht eine manuelle Korrektur für eine genauere 3D-Rekonstruktion der in der eingegebenen Videosequenz dargestellten Bewegung. Ein interaktives Verfolgungssystem verarbeitet reelle Videosequenzen und erzielt gute 3D-Rekonstruktionen der Bewegungen von menschlichen Figuren.
Kurzbeschreibung der Zeichnungen
Diese und andere Merkmale der vorliegenden Erfindungen werden besser verständlich in Verbindung mit der detaillierten Beschreibung, die in Verbindung mit den Zeichnungen gegeben wird, in denen:
1 ist ein Blockschaltbild eines Systems mit einem Video- oder Archivfilmeingang zum Vorsehen von 3D-Bewegungsschätzungen, die für eine realistische Animation verwendet werden.
2a, b und c sind schematische Darstellungen, die beispielhafte Bewegungssequenzen aus einem Trainingssatz von 10 Sequenzen zeigen.
3a und b sind schematische Darstellungen, die eine Annäherung des menschlichen Bewegungssignals als eine lineare Kombination von Basisfunktionen zeigen, wobei 3a eine 40-Basisfunktionen-Annäherung zeigt und 3b die ursprüngliche menschliche Bewegungssequenz zeigt.
4 ist ein Diagram, das vorhergehende und nachfolgende Kovarianzmatrix-Diagonalelemente zeigt, aufgezeichnet auf einer halblogarithmischen Skala, mit Messung der Markierungspositionen in der Bildebene, wobei die frühere Ungewissheit der menschlichen Bewegung dramatisch reduziert wird.
5a, b und c sind schematische Darstellungen, die drei Zufallsauszüge aus der früheren Gausschen Verteilung über die 37 3D-Markierungspositionen zeigen, mit dem Ergebnis, dass alle menschlich aussehen und entsprechend grob menschlichen Bewegungen.
6a–d sind schematische Darstellungen, die die ursprüngliche 3D-Sequenz zeigen, das orthografisch projizierte Bild mit aus Gründen der Klarheit durch Linien verbundenen Markierungen, eine 3D-Rekonstruktion, die frühere Informationen weglässt, wobei die Darstellung die 3D-Figur in dem Eigenraum der menschlichen Bewegungen mit besten Berechnungen für die Bilddaten und eine vollständige Bayesianische Rekonstruktion ist, unter der Feststellung, dass die Hinzufügung von früheren Informationen eine dem Original ähnlichere Rekonstruktion schafft, und mit den hohen nachfolgenden Kovarianzarten, die die verbleibenden Differenzen gegenüber der ursprünglichen Sequenz erklären.
7a–c sind schematische Darstellungen, die die drei Arten mit der höchsten nachfolgenden Ungewissheit zeigen.
8a–c sind jeweils: Abtastungen einer 100-Bild-Sequenz eines Tanzes von Barishnikov mit verfolgter 2D-Stabfigur, abgeleiteten 3D-Markierungspositionen, die das frühere Gaussche Modell für 3D-Figurbewegungen verwenden, und die wieder gewonnene bewegte 3D-Zylinderfigur, die die 3D-Bewegungen des Tänzers einfängt.
Detaillierte Beschreibung
Es wird nun auf 1 Bezug genommen, in der ein System 10 zum Vorsehen einer dreidimensionalen Schätzung der Körperbewegung eines Individuums verwendet wird in einem Ausführungsbeispiel zum Liefern von Trickzeichen, deren Bewegungen den Bewegungen eines Handelnden ähneln. Wie vorstehend diskutiert ist, ist es schwierig, sich realistisch bewegende Trickzeichen auf der Grundlage von menschlichen Bewegungen zu erzeugen.
Bei dem illustrierten Ausführungsbeispiel hat eine handelnde Person 12 ihre Bewegungen von einer Videokamera 14 gefilmt, die bei 16 digitalisiert werden und mit einer Optimierungsvorrichtung 20 gekoppelt werden, deren Zweck darin besteht, die optimalen 3D-Körperkoordinaten zu finden, mit einem gegebenen 3D-Bewegungstrainings-Datensatz 22.
Bei einem Ausführungsbeispiel sind die Trainingsdaten in Segmente geteilt, die so genannte Basisvektoren für menschliche Bewegung reflektieren. Die Multiplikation dieser Werte mit Koeffizienten und Addieren der Ergebnisse ergibt die neuen Bewegungen. Der Basisvektor ist ein Vektor mit den folgenden Komponenten: eine Bildnummer, die Nummer jeder Markierung in diesem Bild, und die x-, y- und z-Positionen jeder Markierung. Es ist festzustellen, dass die Markierungen aus dem Trainingsdatensatz erhalten wurden. Die Markierungen in dem Trainingssatz zeigen die Positionen von verschiedenen Positionen auf dem Körper, die die Körperteilpositionen beschreiben, an. Diese sind ähnlich dem Anordnen körperlicher Markierungen auf der Kleidung des Individuums und dem Messen der 3D-Position solcher körperlicher Markierungen durch Dreieckbildung von mehreren Kameras. Trainingsdaten für eine Animation sind kommerziell erhältlich von Adaptive Optics Associates, Cambridge, Massachusetts, in denen Datensätze mit Bezug auf beispielsweise einen Tänzer vorgesehen sind, die die Körperteilpositionen durch Markierungen darstellen. Diese beispielhaften Bewegungssequenzen in der Form eines Trainingssatzes liefern die in dem vorliegenden System verwendeten vorherigen Daten.
Es ist festzustellen, dass ein Segment eine vorbestimmte Anzahl von Bildern hat. Darüber hinaus besteht bei einem Ausführungsbeispiel eine Versetzung, die beschreibt, wie viele Bilder zwischen dem Start des Segments und dem nächsten übersprungen werden.
Es ist der Zweck der Optimierungsvorrichtung 22, den Satz von Koeffizienten des 3D-Bewegungstrainings-Datensatzes zu finden, der (1) am besten die eingegebenen Videodaten erläutert und (2) verantwortlich ist für Benutzerkorrekturen, die nachfolgend erläutert werden. Es ist festzustellen, dass das vorliegende System mit 2D-Daten arbeitet, die normalerweise unzureichend sind, um die 3D-Daten zu erhalten, die notwendig sind zum Beschreiben der einem Trickzeichen zu verleihenden Körperbewegung.
Die 3D-Schätzungen sind abgeleitet von den 2D-Videodaten durch finden der wahrscheinlichsten linearen Kombination der 3D-Trainingsdaten, die die 2D-Bildinformationen und die 2D-Benutzerkorrekturen erläutern.
Um die 3D-Beschreibung der Körperbewegung zu beenden, ist es erforderlich, die dritte Dimension zu schätzen. Wie dies im Allgemeinen erreicht wird, besteht im Beginnen mit den Informationen über die dritte Dimension aus den Trainingsdaten. Insbesondere wird eine frühere Präferenz für besondere lineare Kombinati onen der Trainingsdaten gebildet. Dies wird aus den Trainingsdaten erhalten. Dann gibt die Optimierungsvorrichtung 20 die Stärke der früheren Präferenz für eine gegebene lineare Kombination dafür auf, wie gut die lineare Kombination die eingegebenen Videodaten erläutert und für die Benutzerkorrekturen verantwortlich ist.
Die Optimierungsvorrichtung 20 sucht iterativ nach einer optimalen linearen Kombination der Trainingsbewegungssegmente und gibt den optimalen Satz von Koeffizienten für die untersuchte Bewegung aus. Wie bei 24 illustriert ist, wird dieses Ausgangssignal hier als die geschätzten 3D-Koordinaten der vorgenannten Körpermarkierungen bezeichnet.
Während dies nicht gefordert ist, wird bei einem Ausführungsbeispiel durch den Benutzer festgestellt, wie genau die Schätzung ist, bei dem eine 3D-zu-2D-Projektion der wieder gewonnenen Markierungspositionen, wie bei 26 illustriert ist, in eine Stabfigur transformiert wird, die dem entsprechenden Video überlagert wird, wie bei 28 illustriert ist, wo ein visueller Vergleich auf dem Monitor 30 durchgeführt wird. Der Benutzer vergleicht die Position der Stabfigur mit der der handelnden Person in dem Video, um festzustellen, welche Einstellungen bei der Stabfigur durchgeführt werden müssen, um sie in eine Linie mit den entsprechenden Körperpositionen der handelnden Person zu bringen. Dies wird durch die Einheit 32 erreicht. Eine Maus 34 wird bei einem Ausführungsbeispiel verwendet, um zu bezeichnen, welcher Körperteil der Stabfigur ausgewählt wird und wohin dieser Stabfiguren-Körperteil gehen sollte. Dies wird erzielt durch die Auswahl der einzustellenden Markierung durch die Maus und durch Bezeichnung mittels eines zweiten Mausklicks, wohin diese Markierung auf dem Videokörperbild bewegt werden sollte.
Aufgrund der Operation der Optimierungsvorrichtung 20 ist es nicht erforderlich oder wünschenswert, jede Markierung manuell einzustellen. Vielmehr gibt durch einen iterativen Prozess zum Spezifizieren ausgewählter Markierungen für die Einstellung die Optimierungsvorrichtung 20 eine revidierte Schätzung der Stabfigur aus. Da es nur bestimmte Dinge gibt, die ein menschlicher Körper ausführen kann, gibt es einen begrenzten Bereich von Möglichkeiten für die Stabfiguren. Dies ergibt sich daraus, dass eine gewisse Menge eines a priori Wissens, das implizit in den Trainingsdaten enthalten ist, zu den sich ergebenden 3D-Koordinaten der Stabfigur herunterrieselt.
Anstatt sich auf die Anordnung von Markierungen über den gesamten Körper der handelnden Person zu verlassen, gewinnt das vorliegende System die selben 3D-Information der gerade aus der Videosequenz der unbehinderten handelten Person wieder. Nicht länger muss die handelnde Person durch sechs Kameras betrachtet werden und mit einer Vorrichtung auf ihrer Kleidung versehen sein, um in der Lage zu sein ihre Bewegungen zu erfassen. Statt dessen wird ein digitalisiertes Video analysiert, um ihre Bewegungen zu erfassen und eine dreidimensionale Darstellung einer Stabfigur enthaltend Markierungen zu erhalten, die bei der Erzeugung von entsprechenden Trickzeichen verwendet wird, um die Bewegung der handelnden Person nachzumachen.
Die geschätzten 3D-Koordinaten werden bei einem Ausführungsbeispiel verwendet, um ein Zeichenmodell durch die Anpassung eines vorbestimmten Zeichenmo dells an diese 3D-Koordinaten zu erzeugen, wie bei 40 illustriert ist. Nachdem das Zeichenmodell an die 3D-Koordinaten angepasst ist, wird das Zeichenmodell bei 42 dargestellt. Es ist festzustellen, dass die Darstellung des Zeichens für gewünschte Kleidung, Betrachtungspunkt der Kamera geändert werden kann, um die Figur zu drehen, oder um eine Interaktion der Figur mit anderen Zeichen oder Szenenelementen wie bei einem Spiel zu erhalten. Das Ergebnis besteht darin, dass die Videospielerzeugung vereinfacht und realistischer gemacht wird ohne eine aufwendige Vorrichtung bei der handelnden Person und ohne eine kostenaufwendige Ausrüstung für das Einfangen der Bewegung.
Es ist darauf hinzuweisen, dass nicht nur die Bewegung eines Schauspielers oder Sportlers durch eine Videokamera eingefangen werden kann, Archivfilme oder Videos können so analysiert werden, dass Zeichen, die dem Zeichen auf dem Film oder Video ähneln, gemacht werden können, um sich in derselben Weise wie das Zeichen auf dem Film oder Video zu bewegen. Somit kann das Zeichen in einer neuen Einstellung oder unter einem neuen Kamerawinkel wieder dargestellt werden. Darüber hinaus können Zeichen, die ursprünglich auf Film gefangen sind, miteinander agieren, ohne dass Erfordernis der körperlichen Anordnung von Markierungen auf diesen, was unmöglich wäre. Man kann daher verstorbene handelnde Personen wieder aufleben lassen in einer realistischen Weise mit Zeichen in einer virtuellen Welt agieren lassen, wenn die vorliegende Technik angewendet wird.
Dieselbe Technik kann angewendet werden, um in einer gegebenen Umgebung festzustellen, welche Bewegungen anormales Verhalten darstellen. Beispielsweise können auf einer Rolltreppe herunterfahrende Personen in Echtzeit betrachtet werden, und sollte ein Individuum fallen, kann dieser Umstand durch die vorliegende Vorrichtung erfasst werden. Darüber hinaus können Zeit- und Bewegungsstudien mit den vorliegenden Techniken erzeugt werden.
Wie nachfolgend beschrieben wird, kann die Funktion, mit der die Optimierungsvorrichtung 20 optimiert, interpretiert werden als die Bayesianische nachfolgende Wahrscheinlichkeit einer gegebenen 3D-Körperbewegung. Dies wird erreicht durch die Verwendung einer früheren Wahrscheinlichkeit für einen Satz von Segmentkoeffizienten. Es ist darauf hinzuweisen, dass einer Bewegungen als lineare Kombinationen von Segmenten darstellt. Die frühere Wahrscheinlichkeit ist somit ein mathematischer Ausdruck für die Wahrscheinlichkeit, dass ein Mensch die durch einen gegebenen Satz von Segmentkoeffizienten beschriebene Bewegung ausführt. Es ist weiterhin darauf hinzuweisen, dass die frühere Wahrscheinlichkeit von den in dem neuen Video nicht vorhandenen Trainingsdaten kommt, z. B. vor dem Betrachten des Videos. Die nachfolgende Wahrscheinlichkeit bezieht sich auf die Wahrscheinlichkeit des Satzes nach dem Prüfen der Videodaten und enthält wahlweise die Korrekturen durch den Benutzer.
Die Optimierungsvorrichtung 20 verwendet somit Bayesianische mathematische Wahrscheinlichkeitstechniken, um sicherzustellen, dass die 3D-Schätzungen, die zum Beschreiben der Körperbewegung verwendet werden, optimal sind. Dies gibt einen optimalen Kompromiss zwischen dem Erläutern der Videodaten, die für die Korrektur des Benutzers verantwortlich sind, und dem Schätzen wahrscheinlicher menschlicher 3D-Bewegungen.
Genauer gesagt, bei einem Beispiel sind die hier ver wendeten Trainingsbeispiele 10 3D-Bewegungseinfangsequenzen von jeweils 5–10 Sekunden, die kommerziell erhältlich sind. Die Daten sind Positionsinformationen von 37 Markierungen über 120–240 zeitliche Bilder für jede Sequenz, abgetastet bei grob 20 Bildern pro Sekunde. Die Bewegungen sind ein eklektischer Satz von kurzen Aktivitäten, vermutlich entworfen zum Illustrieren des Bereichs und der Genauigkeit der Bewegungseinfangausrüstung.
2 zeigt Sub-Sätze von 3 der 10 Bewegungssequenzen. Wie in anderen Bewegungsdarstellungen zeigen diese Figuren eine "stroboskopische" Darstellung einer animierten Sequenz, mit zeitlicher Unterabtastung und manchmal zur Klarheit räumlich versetzt. Linien sind zwischen Markierungen oder Kreisen gezogen, um eine Stabperson zu schaffen, die leichte zu interpretieren ist.
Es ist der Zweck der vorliegenden Erfindung, ein einfaches und lenksames, jedoch nützliches Wahrscheinlichkeitsmodell für die 3D-Bewegungen zu suchen, gelernt von diesen Beispielen. Bei diesem Ausführungsbeispiel sind die Bewegungssignale in "Segmente" einer festen, kurzen zeitlichen Länge geteilt. Das frühere Modell ist eine Wahrscheinlichkeitsverteilung über diese zeitlichen Segmente von Markierungspositionen über wenige Bilder.
Wenn man zu viele Bilder für Einheiten der menschlichen Bewegung wählt, sind die Trainingsdaten nicht lang genug, um ein ausreichend zuverlässiges Modell eines derartigen komplexen Vektors zu geben. Wenn man zu wenige Bilder wählt, kann man nicht ausreichend Bewegungsregelmäßigkeiten mit dem vorliegenden Modell einfangen. Es wurde gefunden, dass 10 eine gute An zahl von Bildern für jedes Segment ist. Bei der Abtastung der ursprünglichen Daten mit einer überlappten Versetzung von 10 Bildern werden 257 10-Bildsegmente erhalten, dargestellt jeweils durch 1110 Zahlen, z. B. 37 Körpermarkierungen mal 3 Dimensionen mal 10 Bilder.
Um ein Wahrscheinlichkeitsmodell zu erhalten, das diese Vektoren beschreibt, und motiviert durch den Erfolg der Prinzipkomponentenanalyse (PCA) bei der dimensionsmäßigen Reduktion, wie von R. O. Duda und P. E. Hart in "Pattern classification and scene analysis", Wiley-Interscience, 1973 und M. Turk und A. Pentland "Eigenfaces for recognition" in J. of Cognitive Neuroscience, 3(1), 1991, beschrieben ist, stellt man zuerst fest, ob man diese Bewegungssegmente als lineare Kombinationen von Basisfunktionen beschreiben kann. Dies wird erreicht durch Bilden einer Trainingsmatrix M, in dem die 1110 dimensionalen Trainingsvektoren zusammen in Spalten gestapelt werden, nachdem zuerst der Mittelvektor
subtrahiert wird. Eine singuläre Wertzersetzung (SVD) ergibt M = USV', wobei die Spalten von U die Basisfunktionen sind und die diagonalen Elemente von S die entsprechenden Singularwerten sind. Die ausgezogene Linie in 4 zeigt das Singularwertspektrum. Dieses Spektrum fällt schnell, was eine gute Zusammenfassung der Daten, z. B. 91% der Varianz, von gerade 50 Eigenvektoren ermöglicht.
Die 3 zeigen eine typische Bewegungssequenz, die unter Verwendung von 40 Eigenvektoren zusammengesetzt ist, wobei sie eine unvollkommene, aber gute Rekonstruktion zeigen. Somit kann man die 1110 dimensionalen Bewegungssegmentvektoren durch ihre Koordinaten in einem 50-dimensionalen Subraum des 1110-dimensionelen Raums zusammenfassen.
Selbstverständlich liefern die Singularwerte selbst zusätzliche Informationen über die Bewegungssegmentdaten. Man kann die Daten modellieren als sich aus einer Gausschen Wahrscheinlichkeitsverteilung der Kovarianz Λ = US resultierend, wie in dem vorstehend genannten Buch von Duda beschrieben ist. Dieses Wahrscheinlichkeitsmodell ist viel stärker als gerade die Subrauminformationen selbst, wie von B. Moghaddam und A. Pentland, Probabilistic visual learning for object detection, Proc. 5th Intl. Conf. Computer Vision, Seiten 786–793, IEEE, 1995, beschrieben ist.
5 zeigt drei Zufallsauszüge aus dem sich ergebenden Wahrscheinlichkeitsmodell für menschliche 10-Bildbewegungssegmente. Die Bewegungen sehen wie plausible menschliche Bewegungen aus, obgleich sie selbstverständlich zufällig sind. Diese Gaussche Verteilung liefert ein nützliches früheres Modell dafür, wie sich ein Mensch im Zeitverlauf bewegt. Jedoch ist es, wie ersichtlich wird, einfach genug, um leicht damit zu arbeiten und um einige analytische Schätzergebnisse zu erhalten.
Das Ziel besteht darin, eine dreidimensionale menschliche Bewegung aus einer Bildsequenz abzuleiten. Um dies zu tun, verwendet man vereinfachte Darstellungsbedingungen, wobei die vereinfachten Darstellungsbedingungen wie folgt sind: der Körper ist transparent und jede Markierung wird orthografisch zu der Bildebene dargestellt. Für eine figürliche Bewegung, die durch menschliche Bewegungsbasiskoeffizienten
beschrieben wird, ist die dargestellte Bildfolge
:
worin P der Projektionsoperator ist, der die y-Dimension der Bildsequenz U
zusammenfallen lässt. Es ist darauf hinzuweisen, dass unter diesen Darstellungsbedingungen die Markierungen voneinander unterscheidbar sind.
Um die 3D-Bewegung der Figur zu schätzen, wünscht man die wahrscheinlichste 3D-Erläuterung zu finden, spezifiziert durch
, für eine gegebene 2D-Beobachtung von Markierungen im Zeitverlauf,
. Durch das Bayes-Theorem erhält man
worin k₁ eine Normierungskonstante unabhängig von den Parametern
, die man zu optimieren sucht, ist. Wie vorstehend entwickelt ist, ist für die frühere Wahrscheinlichkeit P(
), die multidimensionale Gaussche
worin k₂ eine andere Normierungskonstante ist. Wenn man das Beobachtungsrauschen als i. i. d. Gaussches mit der Varianz σ modelliert, erhält man für den Wahrscheinlichkeitsausdruck des Bayes-Theorems
mit der Normierungskonstanten k₃.
Die nachfolgende Verteilung ist das Produkt dieser beiden Gausschen Verteilungen. Dies ergibt eine andere Gaussche Verteilung, mit Mittelwert und Kovarianz, gefunden durch eine Matrixverallgemeinerung von "Beenden des Quadrats" wie von A. Gelb, Herausgeber, Ap plied optimal estimation, MIT Press, 1974 beschrieben ist. Die optimale Schätzung des quadrierten Fehlers für α ist dann
Die 6a–d illustrieren die Anwendung dieser Schätzung auf eine überlappte Sequenz von drei Bewegungssegmenten von 20 Bildern, wobei jedes 10-Bildsegment um 5 Bilder versetzt ist. Bei einem Experiment wurde eine der zehn Sequenzen in diesen Trainingsdaten weggelassen und ein Sub-Satz hiervon wurde für diese Prüfung verwendet. 6a zeigt die ursprüngliche Sequenz und 6b die orthografische Projektion. 6c ist die 3D-Rekonstruktion, die sich allein aus dem Wahrscheinlichkeitsausdruck ergibt, wobei die früheren Gausschen Informationen weggelassen sind. Dies findet die Koeffizienten der menschlichen Bewegungsbasisfunktionen mit bester Erläuterung der visuellen Daten. Es ist zu beachten, dass die 3D-Rekonstruktion schlecht ist. 6d ist die vollständige Bayesian-Lösung von Gleichung 6. es ist darauf hinzuweisen, dass der Einbezug der früheren Informationen eine viel bessere 3D-Rekonstruktion ergibt. Das vorliegende Gaussche Wahrscheinlichkeitsmodell und die vereinfachten Darstellungsbedingungen ermöglichen diese analytische Lösung für die optimale 3D-Bewegungsschätzung.
Man kennt auch die Kovarianzmatrix Q, beschrieben die Ungewissheit in der geschätzten 3D-Konfiguration nach der Betrachtung der 2D-Sequenz Q = S – SU'P'(PUSU'P' + σI)–1PUS (7)worin I die Identitätsmatrix ist und die Reihen und Spalten die Dimensionalität der Beobachtungen haben.
Natürlich wäre ohne ein menschliches Bewegungsmodell die Tiefe jeder Markierung vollständig unbekannt. Das frühere Modell für menschliche Bewegung des vorliegenden Systems beseitigt die meisten solcher Mehrdeutigkeiten. Die Struktur der nachfolgenden Kovarianz Q offenbart, welche Mehrdeutigkeiten in der 3D-Struktur nach dem Betrachten der Bildsequenz verbleiben. 4 zeigt einen Vergleich, der diagonal Ausdrücke der früheren Kovarianz, z. B. die ausgezogene Linie, mit solchen der nachfolgenden Kovarianz, z. B. der strichlierten Linie. Ein Modus, der Modus 2, zeigt praktisch keine Verringerung der Ungewissheit. Dies entspricht einem starren Übersetzungsmodus, der sich nahe entlang der Sichtlinie der Kamera bewegt, wie in 7a gezeigt ist. Der Modus mit der zweithöchsten Ungewissheit, der Modus 1, ist ein anderer starrer Übersetzungsmodus, wie in 7b gezeigt ist. Der nicht starre Modus mit der höchsten nachfolgenden Ungewissheit, der Modus 10, ist in 7c gezeigt. Dieser Modus spreizt die Arme des Individuums entlang der Sichtlinie der Kamera. Es ist festzustellen, dass dieser Modus mit hoher Ungewissheit die in der Rekonstruktion nach 6d beobachteten Fehler reflektiert.
Bei dem gegenwärtigen früheren Gausschen Modell kann man quantifizieren, wie viele 3D-Bewegungsinformationen man gewinnt, wenn man die orthografischen Projektionen der Markierungspositionen im Verlauf der Zeit sieht. Für das Beispiel nach den 6a–d nimmt die frühere Wahrscheinlichkeitsverteilung ein gewisses Volumen in dem 50-dimensionalen-Parameterraum ein. Das Verhältnis dieses Volumens zu dem Volumen der nachfolgenden Wahrscheinlichkeitsverteilung beträgt 10^–14. Während es schwierig ist hochdimensionale Volumen intuitiv zu messen, ist das Verhältnis klein und die nachfolgende Ungewissheit ist beträchtlich herabgesetzt. Bei der Nachverarbeitung kann man erwarten, dass auch die Mehrdeutigkeiten des starren Modus entfernt werden, entweder durch Interaktion des Benutzers oder durch anwenden starrer Grundkontaktbeschränkungen.
Die folgenden Schlüsse können aus dem Studium des Problems bei dieser vereinfachten Darstellungsdomäne gezogen werden. Die Verwendung früheren Wissens über die menschliche Bewegung verbessert tatsächlich die 3D-Rekonstruktionen, die anhand monokularer Bildsequenzdaten möglich sind. Für den vorliegenden Trainingssatz von menschlichen Bewegungen liegt die verbleibende Ungewissheit nach den Beobachtungen in der starren Übersetzung weg von der Kamera und in einem Modus, der die Arme entlang des Kamerastrahls spreizt. Die Rekonstruktionen sind im Allgemeinen gut. Die verwendeten Bildinformationen sind die 2D-Projektionen von Markierungspositionen einer Stabfigur. Die Schlussfolgerung ist die, dass, wenn man in der Lage wäre, eine 2D-Stabfigur der menschlichen Figur in einer Videosequenz genau zu überlagern, angenähert orthografisch dargestellt, man in der Lage sein sollte, eine vergleichbare 3D-Rekonstruktionsgenauigkeit von reellen Bildern zu erhalten.
Um die 3D-Körperbewegung zu schätzen, wünscht man zuerst, eine Stabfigurenzusammenfassung des 2D-Bewegungsbildes einer menschlichen Figur zu finden. Dies ist ein Problem, dessen sich verschiedene Forschergruppen angenommen haben und zu einem großen Teil gelöst haben, wie von Hager und Belheumer sowie Black beschrieben ist. Darüber hinaus haben Mitarbeiter pa rametrisierte Bewebungsmodelle zur Verfolgung besonderer menschlicher Aktionen entwickelt, wie von G. D. Hager und P. N. Belheumer, Real-time tracking of image regions with changes in geometry and illumination, Proc. IEEE CVPR, Seiten 403–410, 1996, und M. J. Black, Y. Yacoob, A. D. Jepson und D. J. Fleet, Learning parameterized models of image motion, Proc. IEEE CVPR, Seiten 561–567, 1997, beschrieben ist. In einem Artikel von A. Blake und M. Isard mit dem Titel "3D positions, attitude and shape input using video tracking of hands and lips, Proc. SIGGRAPH 94, Seiten 185–192, 1994, In Computer Graphics, Annual Conference Series, haben diese Forscher eine auf Konturen basierende Verfolgung von nicht starren Objekten entwickelt. Es ist auch darauf hinzuweisen, dass Pfinder durch C. Wren, A. Azarbayejani, T. Darrell und A. Pentland, Pfinder: real-time tracking of the human body, Intl. Conf. on Automatic Face and Gesture Recognition, Seiten 51–56, Killington, Vermont, 1996, IEEE Computer Society, die menschliche Figur über stationäre Umgebungen nachverfolgt.
Im folgenden wird das Gegenwärtige Verfolgungsverfahren beschrieben. Da es wichtig war, 3D-Figuren selbst aus schwierigen Filmsequenzen zu rekonstruieren, wurde eine interaktive Korrektur der Fehler der automatischen Verfolgung zugelassen. Dies erfolgt zusätzlich zu den anderen Interaktionen, die für das Problem benötigt werden: zu Spezifizieren, welcher Mensch verfolgt werden soll, und über welche Zeitperiode.
Das Ziel war, zu demonstrieren, dass das Rekonstruktionsverfahren, das für die vereinfachte Darstellung entwickelt wurde, auf natürliche Szenen übertragen wird. Die Bilddarstellung über die interessierenden Zeitrahmen, wurde als grob orthografisch angenommen, mit der Wirkung, dass ein sich bewegender Hintergrund ignoriert wurde. Die Bewegung der Figur relativ zu dem Kamerarahmen wurde rekonstruiert, nicht der Hintergrund.
Um einige Unabhängigkeit von Kleidungsmustern der menschlichen Figur zu erzielen, wurde der Gradient der Bildintensitäten genommen, und die Gradientenstärken wurden normiert durch einen verschwommenen Durchschnitt der lokalen Kontraststärke. Diese normierten Kantenstärken waren dann ausreichend verschwommen, um eine Niedrigauflösungsabtastung von 10 mal 8 Sensoren durchzuführen.
Auf der Grundlage des Ortes der Stäbe der Stabfigur wurde eine Vorhersage dafür, was die Sensoren sehen sollten, gebildet, wobei jedem Stab eine feste Kantenstärke zugewiesen wurde. Die quadrierte Differenz zwischen den beobachteten Sensorantworten und den Vorhersagen wurde bestraft.
Der Benutzer kann interaktiv den richtigen Ort jedes Stabfigurenteils zu jedem Zeitrahmen spezifizieren. Dies ordnet wirksam eine Feder zwischen der Bildposition und dem Stabfigurenteil zu der besonderen Zeit an.
Diese zwei Eingänge werden integriert mit den früheren Informationen in einem Funktionsoptimierungsschema. Das gesuchte
ist dasjenige, das eine Energie, E(
) minimiert.
ist der Vektor von Sensorantworten über der Zeit der Bilddaten. Die Funktion
wandelt
-Körperbe wegungskoeffizienten in vorhergesagte Sensorantworten um.
_i ist die von dem Benutzer spezifizierte Position des i-ten Punktes, und P_i projiziert die α-Koeffizienten auf die entsprechende 2D-Position des i-ten Stabfigurenteils. λ₁ und λ₂ sind Konstanten, die die Gewichte der Bilddaten, der Wertigkeiten über menschliche Bewegungen und der interaktiv bestimmten 2D-Punktanpassungen reflektieren.
In dem Bayesianischen Rahmenwerk wird E interpretiert als der negative Logarithmus der nachfolgenden Wahrscheinlichkeit. λ₁ und λ₂ stellen dann "Rauschstärken" der Beobachtung und des Benutzers dar. Die quadratische Strafe für Sensorantwortdifferenzen ist der Logarithmus des Wahrscheinlichkeitsausdrucks, und sowohl die interaktiv angeordneten Federn als auch das frühere Gaussche Bewegungsmodell stellen frühere Informationen über die Parameter dar. Auch ist eine um 90° gedrehte Version aller Trainingsdaten in der Berechnung der früheren Wahrscheinlichkeit enthalten. Die 3D-Körperbewegungsparamter werden gefunden, die die nachfolgende Wahrscheinlichkeit maximieren.
Das wieder gewonnene optimale
ergibt die wieder gewonnenen Markierungspositionen über die Zeit. Solche Markierungspositionen werden dann in einem einfachen Figurenmodell unter Verwendung von Techniken der geringsten Quadrate an Zylinderpositionen angepasst.
Die 8a–c zeigen die sich ergebenden Schätzungen für die 3D-Figurenpositionen von einer 100-Bildsequenz des Tanzes von Barishnikov. Um den 3D-Rekonstruktionsalgorithmus zu prüfen, anstelle des 2D-Verfolgungsalgorithmus, wurde angenähert eine interaktive Ortsspezifikation pro Bild verwendet, um das genaue Überlagern einer Stabfigur über die Bewe gungssequenz sicherzustellen. 8a zeigt die eingegebene Sequenz und die überlagerte Stabfigur.
E in Gleichung 1 wird minimiert, um die
-Schätzung über jedes überlappte 10-Bildsegment zu finden. Positionen von den überlappten Segmenten wurden linear miteinander vermischt. Die Versetzung von der Kamera weg für jedes Segment wurde gesetzt, um eine Kontinuität zu dem nächsten Segment sicherzustellen.
8b zeigt die wieder gewonnenen 3D-Markierungspositionen, betrachtet von 30° weg von der Kameraposition. 8c zeigt das 3D-Zylindermodell, betrachtet aus derselben, von der Kamera entfernten Position. Unter Berücksichtigung des einfachen früheren Gausschen Modells für menschliche Bewegung sind die Ergebnisse bemerkenswert stark. Der 3D-Tanz wird dargestellt als eine lineare Kombination von Basisbewegungen, die anhand des Bewegungseinfang-Trainingssatzes gelernt wurden. Der tanzende Zylinder fängt im Allgemeinen die 3D-Bewegungen des Tänzers ein. Der Zylindertänzer zeigt nicht zu seinen Zehenspitzen, wie es Barishnikov tut, aber das Zeigen auf die Zehenspitzen war nicht in dem Trainingssatz.
Ein statistisches Modell wurde verwendet, um die 3D-Positionen einer menschlichen Figur aus einer Bildsequenz der menschlichen Bewegung abzuleiten. Das Modell der menschlichen Bewegung wurde anhand eines Trainingssatzes von 3D-Bewegungseinfangdaten gelernt, erhalten von einem kalibrierten Verfolgungssystem.
Solche Ergebnisse zeigen wenig zum Schätzen der 3D-Figurenbewegung, wenn man eine 2D-Stabfigur über dem Bild der sich bewegenden Person anordnen kann. Eine derartige Verfolgungsvorrichtung wurde entwi ckelt, die eine interaktive Korrektur von Verfolgungsfehlern zulässt, um das 3D-Wiedergewinnungsverfahren zu prüfen. Eine gute Wiedergewinnung der 3D-Bewegung für eine schwierige Tanzsequenz, betrachtet von einer einzelnen Kamera, wurde erhalten. Diese Ergebnisse zeigen die Leistung des Hinzufügens von früherem Wissen über menschliche Bewegungen in einem Bayesianischen Rahmenwerk zu dem Problem der Interpretation von Bildern von Menschen.
Es ist darauf hinzuweisen, dass es drei Verbesserungen gibt, die die 3D-Schätzung robuster machen. Gemäß einer ersten Verbesserung kann der erste Ausdruck in der Summe der Gleichung 8 ersetzt werden durch
worin t ein Index der Bildzeit jedes Bildes des Bewe gungssegments ist.
_t ist ein Vektor der Bildintensitäten zur Zeit t an der 2D-Position eines Vektorarguments.
(α) sind die 2D-Positionen jeder Markierung mehr die menschliche Bewegung, dargestellt durch die lineare Kombination von Trainingssegmenten, die durch die Kombinationskoeffizienten α gegeben sind. Somit ist ersichtlich, dass die Koeffizienten α, die diesen Ausdruck minimieren, einer Figurenbewegung entsprechen, in der die Bildintensitäten an den Markierungspositionen in dem Bild sich von Bild zu Bild am wenigsten ändern. Dies ermutigt das Figurenmodell, die menschliche Figur in dem Video zu verfolgen.
Zweitens können die Bewegungssegmente aufeinander folgend geschätzt werden und werden häufig zeitlich überlappt. Beispielsweise kann das Bewegungssegment 1 den Videobildern 1–10 entsprechen; das Bewegungselement 2 kann den Videobildern 2–11 entsprechen usw. Für jedes Segment wird eine 3D-Schätzung gebildet. Die 3D-Rekonstruktion für eine besondere Videobildnummer wird berechnet als der Durchschnitt von Schätzungen aller überlappender Bewegungssegmente.
Somit ist ersichtlich, dass vor dem Finden des optimalen α für Gleichung 8 eine anfängliche Schätzung der Markierungspositionen für verschiedene Zeitrahmen anhand der Bewegungsschätzungen von den vorhergehenden Bewegungssegmenten berechnet werden kann.
Es ist augenscheinlich, dass ein angemessener Sub-Satz der Trainingssegmente bei der zu optimierenden linearen Kombination verwendet werden kann. Die Verwendung aller Trainingssegmente zu allen Zeiten kann zu zu vielen Freiheitsgraden für das Modell und zu schlechten Rekonstruktionen führen. Die Rekonstruktionen können verbessert werden durch Beschränken der bei der Optimierung verwendeten Segmente auf eine kleine Anzahl, z. B. 5 oder 10, die nahe der gegenwärtigen besten Schätzung des gegenwärtigen Segments sind.
Der zweite Ausdruck kann ersetzt werden durch
worin α der frühere Mittelwert der Koeffizienten
ist. Bei einem bevorzugten Ausführungsbeispiel wird
gesetzt auf den Durchschnittswert der kleinen Anzahl von ausgewählten Trainingssegmenten,
für jedes der N gewählten Trainingssegmente.
Indem vorstehend ein bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung dargestellt ist, ist es für den Fachmann offensichtlich, dass Modifikationen und Alternativen durchgeführt werden können, und es ist beabsichtigt, den Umfang der Erfindung nur wie in den folgenden Ansprüchen angezeigt zu definieren.

Claims

System zum Rekonstruieren der 3-dimensionalen Bewegung eines menschlichen Körpers aus einer monokular betrachteten Eingangsbildsequenz einer Person, aufweisend: Mittel zum Digitalisieren der Eingangsbildsequenz; Mittel zum Vorsehen repräsentativer 3-dimensionaler Bewegungstrainingsdaten eines menschlichen Körpers enthaltend entsprechende Körpermarkierer; Mittel zum Gruppieren der Trainingsdaten und digitalisierten Eingangsbildsequenz in Segmente; Optimierungsmittel zum Finden der wahrscheinlichsten linearen Kombination der Segmente von Trainingsdaten derart, dass die Segmente der Eingangsbildsequenz als ein wahrscheinliches 3-dimensionales Bewegungssegment erklärt werden, wobei die Optimierungsmittel Mittel zur Ausgabe geschätzter 3-dimensionaler Koordinaten der entsprechenden Körpermarkierer enthalten; und Mittel zum Anpassen eines Zeichenmodells an die geschätzten 3-dimensionalen Koordinaten und zum Darstellen des sich ergebenden Zeichens und der Bewegung von diesem, wodurch das dargestellte Zeichen eine Bewegung hat, die eng an die Bewegung der Person in der Bildsequenz angepasst ist.
System nach Anspruch 1, und weiter enthaltend Mittel zum Erzeugen einer 2-dimensionalen Stab figur entsprechend den geschätzten 3-dimensionalen Koordinaten, Mittel zum Überlagern der Stabfigur mit dem Ausgangssignal der Digitalisierungsmittel und zum Darstellen des Ergebnisses hiervon, eine Benutzereingabevorrichtung und Mittel, die auf die Benutzereingabevorrichtung ansprechen, zum Korrigieren 2-dimensionaler Positionen der Stabfigur zum Überlappen entsprechender Positionen auf der dargestellten Videodarstellung der Person, und worin die Optimierungsmittel Mittel enthalten, die mit den Korrekturmitteln zur Aufnahme der Korrektur in die wahrscheinlichste lineare Kombination der Trainingsdaten gekoppelt sind, um so die geschätzten 3-dimensionalen Koordinaten gemäß manuell eingegebenen Korrekturen zu korrigieren.
System nach Anspruch 1, worin die Optimierungsmittel Mittel zum Implementieren von
enthalten, worin E(
) die durch die zu findenden optimalen Koeffizienten
zu minimierende Energiefunktion ist,
der Vektor von Sensorantworten über die Zeit von den Bilddaten ist, worin die Funktion
die
-Körperbewegungskoeffizienten in vorhergesagte Sensorantworten umwandelt, worin
_i die von dem Benutzer bestimmte Position des i-ten Punktes ist, und P_i die α-Koeffizienten auf die entsprechende 2-dimensionale Position des i-ten Stabfigurenteils projiziert, und worin λ₁ und λ₂ Konstanten sind, die die Gewichte der Bilddaten, die Wertigkeit über menschliche Bewegungen und die interaktiv bestimmten 2-dimensionalen Punktanpassungen reflektieren.
System nach Anspruch 3, worin jedes Bewegungssegment eine Anzahl von Rahmen hat und weiterhin Mittel enthält zum Einsetzen von
für
worin t ein Index der Rahmenzeit jedes Rahmens des Bewegungssegments ist,
_t ein Vektor der Bildintensitäten zur Zeit t an der 2-dimensionalen Position seines Vektorarguments ist, und
(α) die 2-dimensionale Position jedes Markierers mehr die menschliche Bewegung ist, dargestellt durch die lineare Kombination von Trainingssegmenten, die durch die Kombinationskoeffizienten α gegeben ist, wodurch Bildintensitäten an den Markiererpositionen in dem Bild sich am wenigsten von Rahmen zu Rahmen ändern, um das Zeichenmodell zu ermutigen, die Bewegung der Person zu verfolgen.
System nach Anspruch 1, worin jedes Bewegungssegment eine Anzahl von Rahmen hat, und weiterhin enthaltend Mittel zum aufeinander folgenden Schätzen von Bewegungssegmenten durch Überlappen ausgewählter Segmente, um mehrfache Schätzungen für eine gegebene Zeit zu erhalten, um so eine 3-dimensionale Rekonstruktion für einen vorbestimmten Videorahmen vorzusehen durch Berechnung des Durchschnitts von Schätzungen über alle überlappenden Bewegungssegmente.
System nach Anspruch 1, worin der Trainingssatz in Subsätze geteilt ist, die Optimierungsmittel Mittel enthalten zum Auswählen solcher Subsätze des Trainingssatzes, die der gegenwärtigen besten Schätzung des durch die Optimierungsmittel zu schätzenden Segments am nächsten sind, um hierdurch eine Überanpassung zu vermeiden und somit die Schätzung der geschätzten 3-dimensionalen Koordinaten zu verbessern.