DE112009000101T5

DE112009000101T5 - Globale Kamerawegoptimierung

Info

Publication number: DE112009000101T5
Application number: DE112009000101T
Authority: DE
Inventors: Benjamin Boston FranzDale; Hongsheng Framingham Zhang
Original assignee: 3M Innovative Properties Co
Current assignee: Medit Corp
Priority date: 2008-01-04
Filing date: 2009-01-04
Publication date: 2010-11-11
Also published as: DE112009000093T5; WO2009089126A1; US8503763B2; DE112009000094T5; DE112009000099T5; US8830309B2; US20110007138A1; US20180196995A1; US9937022B2; DE112009000100T5; WO2009089127A1; WO2009089129A1; US20110007137A1; US9418474B2; WO2009089125A3; WO2009089125A2; US20100283781A1; US20200065558A1; US20110043613A1; US20110164810A1

Abstract

Verfahren zur dreidimensionalen Datenrekonstruktion, das aufweist:
Erfassen mehrerer Rahmen von Bilddaten einer Objektoberfläche, wobei jeder der mehreren Rahmen von Bilddaten von einer Kameraposition entlang eines Kamerawegs erfaßt wird und jeder der mehreren Rahmen von Bilddaten ein herkömmliches Bild des Objekts von der Kameraposition und Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus der Kameraposition gesehen umfaßt;
Auswählen einer Teilmenge der mehreren Rahmen von Bilddaten, um mehrere Schlüsselrahmen bereitzustellen, wobei jeder einzelne der mehreren Schlüsselrahmen sich durch einen Abschnitt des Kamerawegs einschließlich einer Drehung und einer Translation, die basierend auf einem oder mehreren gemeinsamen Punkten in der dreidimensionalen Rekonstruktion der Objektoberfläche in jedem der jeweiligen Schlüsselrahmen bestimmt werden, auf wenigstens einen anderen der mehreren Schlüsselrahmen bezieht, wobei die restlichen der mehreren Rahmen von Bilddaten Nicht-Schlüsselrahmen sind;
Bereitstellen eines dreidimensionalen Modells des Objekts;
Bestimmen einer zweiten Drehung und einer zweiten Translation von einem der Schlüsselrahmen zu wenigstens einem...

Description

Die vorliegende Anmeldung beansprucht Priorität aus der vorläufigen US-Patentanmeldung Nr. 61/019,159, eingereicht am 4. Januar 2008, die hierin insgesamt durch Verweis aufgenommen ist.
Fachgebiet der Erfindung
Die vorliegende Erfindung betrifft allgemein die dreidimensionale Bildgebung und insbesondere die Optimierung der Berechnung eines globalen Kamerawegs, der in einer dreidimensionalen Rekonstruktion verwendet wird.
Hintergrund
In einem Verfahren zur dreidimensionalen Bildrekonstruktion wird eine Anzahl von Bildern oder Bildsätzen eines Objekts von einer Kamera erfaßt, die auf einem Weg über die Oberfläche des Objekts fährt. Informationen aus diesem Informationskatalog können dann verwendet werden, um basierend auf dem Kameraweg und einzelnen dreidimensionalen Messungen, die entlang des Kamerawegs erfaßt wurden, ein dreidimensionales Modell des Objekts zu rekonstruieren. Der Weg der Kamera kann sehr lang und komplex sein, was eine Bewegungsschätzung von Bild zu Bild bedingt, die entlang dessen Länge erhebliche Fehler akkumuliert. Diese Fehler können zu einer Vielfalt an Rekonstruktionsbildfehlern in einem sich ergebenden dreidimensionalen Modell führen, wie etwa doppelten Oberflächen, wenn der Kameraweg den gleichen Bereich mit einem Fehler in der Kameraposition zwischen den beiden Abtastungen zweimal abtastet. Ein Fehler kann auch aufgrund von Eichproblemen, Ungenauigkeiten in Kameraverzerrungsmodellen, die verwendet werden, um dreidimensionale Daten zu bestimmen, und so weiter eingeschleppt werden.
Während es vielfältige Techniken zur Minimierung von Fehlern entlang eines gesamten Kamerawegs gibt, bleibt ein Bedarf an verbesserten globalen Wegoptimierungstechniken, die für die Verwendung mit für die hochgenaue dreidimensionale Rekonstruktion typischen datenintensiven Wegoptimierungen geeignet sind.
Zusammenfassung
Hier sind verschiedene Techniken zur Verbesserung der globalen Wegoptimierung in einem System offenbart, das den Kameraweg für die dreidimensionale Rekonstruktion verwendet. Eine Teilmenge von Einzelbildern oder „Frames” von Daten, nachstehend auch als „Rahmen” bezeichnet, für den globalen Weg, die Schlüsselframes bzw. Schlüsseleinzelbilder oder Schlüsselrahmen, kann verwendet werden, um die Rechenkomplexität der Optimierung zu verringern, während das ganze dreidimensionale Detail in dem optimierten Modell erhalten bleibt, indem andere Messungen auf den optimierten Schlüsselrahmenweg bezogen werden.
In einem Aspekt umfaßt ein Verfahren zur dreidimensionalen Rekonstruktion, das hier offenbart ist, das Erfassen mehrerer Rahmen von Bilddaten einer Oberfläche eines Objekts, die von einer Kameraposition entlang eines Kamerawegs erfaßt werden, und das Einbinden eines herkömmlichen Bilds des Objekts aus der Kameraposition und von Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche; das Auswählen einer Teilmenge der Rahmen von Bilddaten, um mehrere Schlüsselrahmen bereitzustellen, von denen jeder durch einen Abschnitt des Kamerawegs einschließlich einer Drehung und einer Translation, die basierend auf einem oder mehreren gemeinsamen Punkten in der dreidimensionalen Rekonstruktion bestimmt werden, mit wenigstens einem anderen Schlüsselrahmen in Beziehung gebracht wird, wobei die restlichen mehreren Rahmen aus Bilddaten Nicht-Schlüsselrahmen sind; das Bereitstellen eines dreidimensionalen Modells des Objekts; das Bestimmen einer zweiten Drehung und einer zweiten Translation von einem der Schlüsselrahmen zu einem Nicht- Schlüsselrahmen, der sequentiell zwischen dem einen der Schlüsselrahmen und einem sequentiell benachbarten Schlüsselrahmen positioniert ist; das Gewinnen von dreidimensionalen Rekonstruktionsinformationen der Objektoberfläche aus der Kameraposition wenigstens eines der Nicht-Schlüsselrahmen, um überabgetastete dreidimensionale Daten bereitzustellen; und das Hinzufügen der überabgetasteten dreidimensionalen Daten zu dem dreidimensionalen Modell basierend auf der zweiten Drehung und der zweiten Translation. Eine Kamerabewegung kann basierend auf der Drehung und der Translation zwischen zwei benachbarten Schlüsselrahmen geschätzt werden. Es kann eine Optimierung der Schätzung der Kamerabewegung zwischen zwei benachbarten Schlüsselrahmen geben, indem unter Verwendung eines überbestimmten Systems von Bewegungsbedingungsgleichungen Konsistenz zwischen Bewegungsparametern erzeugt wird, wobei die Bewegungsparameter aus Informationen über die Drehung und die Translation bestehen. Es kann auch eine Optimierung der Kamerabewegung zwischen zwei benachbarten Nicht-Schlüsselrahmen geben, indem unter Verwendung eines überbestimmten Systems von Bewegungsbedingungsgleichungen Konsistenz zwischen Bewegungsparametern erzeugt wird. Die dreidimensionale Rekonstruktion kann basierend auf der erzeugten Konsistenz zwischen den Bewegungsparametern erzeugt werden. Die Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche können aus wenigstens einem anderen Kanalbild erhalten werden, um Disparitätsdaten bereitzustellen. Das dreidimensionale Modell kann ferner das Erzeugen eines dreidimensionalen Modells des Objekts unter Verwendung des Kamerawegs und der dreidimensionalen Rekonstruktion für jeden der Schlüsselrahmen aufweisen. Dreidimensionale Rekonstruktionsinformationen der Objektoberfläche können aus der Kameraposition für alle der Nicht-Schlüsselrahmen zwischen zwei benachbarten Schlüsselrahmen erhalten werden. Eine Teilmenge der mehreren Rahmen kann basierend auf einer Qualitätsmetrik der dreidimensionalen Rekonstruktion ausgewählt werden. Das Auswählen der Teilmenge der mehreren Rahmen kann unter Verwendung einer graphischen Analyse bestimmt werden, um sicherzustellen, daß alle der Schlüsselrahmen in der dreidimensionalen Rekonstruktion verwendet werden.
In einem Aspekt führt ein Computerprogrammprodukt, das hier offenbart ist, die folgenden Schritte durch: Erfassen mehrerer Rahmen von Bilddaten einer Objektoberfläche, wobei jeder der mehreren Rahmen von Bilddaten von einer Kameraposition entlang eines Kamerawegs erfaßt wird und jeder der mehreren Rahmen von Bilddaten ein herkömmliches Bild des Objekts aus der Kameraposition und Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus der Kameraposition gesehen umfaßt; Auswählen einer Teilmenge der mehreren Rahmen von Bilddaten, um mehrere Schlüsselrahmen bereitzustellen, wobei jeder der mehreren Schlüsselrahmen sich durch einen Abschnitt des Kamerawegs einschließlich einer Drehung und einer Translation; die basierend auf einem oder mehreren gemeinsamen Punkten in der dreidimensionalen Rekonstruktion der Objektoberfläche in jedem der jeweiligen Schlüsselrahmen bestimmt werden, auf wenigstens einen anderen der mehreren Schlüsselrahmen bezieht, wobei die restlichen der mehreren Rahmen von Bilddaten Nicht-Schlüsselrahmen sind; Bereitstellen eines dreidimensionalen Modells des Objekts; Bestimmen einer zweiten Drehung und einer zweiten Translation von einem der Schlüsselrahmen zu wenigstens einem der Nicht-Schlüsselrahmen, der sequentiell zwischen dem einen der Schlüsselrahmen und einem sequentiell benachbarten der Schlüsselrahmen positioniert ist; Gewinnen der dreidimensionalen Rekonstruktionsinformationen der Objektoberfläche aus der Kameraposition wenigstens eines der Nicht-Schlüsselrahmen, um überabgetastete dreidimensionale Daten bereitzustellen; und Hinzufügen der überabgetasteten dreidimensionalen Daten zu dem dreidimensionalen Modell basierend auf der zweiten Drehung und der zweiten Translation.
In einem Aspekt wird hier ein Verfahren zum interaktiven Verringern des akkumulierten Fehlers in einem globalen Weg offenbart, welches umfaßt: Erfassen mehrerer Rahmen von Bilddaten einer Objektoberfläche, wobei jeder der mehreren Rahmen von Bilddaten von einer Kameraposition entlang eines Kamerawegs erfaßt wird und jeder der mehreren Rahmen von Bilddaten ein herkömmliches Bild des Objekts aus der Kameraposition und Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus der Kameraposition gesehen umfaßt; Erzeugen eines dreidimensionalen Modells des Objekts unter Verwendung des Kamerawegs und der Daten für die dreidimensionale Rekonstruktion; Identifizieren von zwei der mehreren Rahmen von Bilddaten, die einen Kandidaten für einen akkumulierten Fehler in dem Kameraweg darstellen, relativ zueinender; und Anzeigen des dreidimensionalen Modells zusammen mit einer graphischen Anmerkung, die einen empfohlenen Abtastweg darstellt, um den akkumulierten Fehler zu verringern. Die Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche können aus wenigstens einem anderen Kanalbild erhalten werden, um Disparitätsdaten bereitzustellen. Das Erfassen eines oder mehrerer Rahmen von Bilddaten entlang des empfohlenen Abtastwegs kann durchgeführt werden, um den akkumulierten Fehler zu verringern. Zwei der mehreren Rahmen können identifiziert werden, was ferner das Identifizieren von Rahmen von Bilddaten aufweist, die entlang des Kamerawegs durch einen wesentlich größeren Abstand als entlang der Objektoberfläche getrennt sind.
In einem Aspekt wird hier ein Computerprogrammprodukt, das computerausführbaren Code aufweist, der in einem computerlesbaren Medium ausgeführt ist, offenbart, welches die folgenden Schritte durchführt: Erfassen mehrerer Rahmen von Bilddaten einer Objektoberfläche, wobei jeder der mehreren Rahmen von Bilddaten aus einer Kameraposition entlang eines Kamerawegs erfaßt wird und jeder der mehreren Rahmen von Bilddaten ein herkömmliches Bild des Objekts aus der Kameraposition und Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus der Kameraposition gesehen umfaßt; Erzeugen eines dreidimensionalen Modells des Objekts unter Verwendung des Kamerawegs und der Daten für die dreidimensionale Rekonstruktion; Identifizieren von zwei der mehreren Rahmen von Bilddaten, die einen Kandidaten für ei nen akkumulierten Fehler in dem Kameraweg darstellen, relativ zueinender; und Anzeigen des dreidimensionalen Modells zusammen mit einer graphischen Anmerkung, die einen empfohlenen Abtastweg darstellt, um den akkumulierten Fehler zu verringern.
In einem Aspekt wird hier ein System offenbart, das eine Kamera, einen Monitor, einen Prozessor und einen Speicher aufweist, wobei der Speicher ein Computerprogramm speichert, das von dem Prozessor ausführbar ist, um die folgenden Schritte auszuführen: Erfassen mehrerer Rahmen von Bilddaten einer Objektoberfläche, wobei jeder der mehreren Rahmen von Bilddaten aus einer Kameraposition entlang eines Kamerawegs erfaßt wird und jeder der mehreren Rahmen von Bilddaten ein herkömmliches Bild des Objekts aus der Kameraposition und Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus der Kameraposition gesehen umfaßt; Erzeugen eines dreidimensionalen Modells des Objekts unter Verwendung des Kamerawegs und der Daten für die dreidimensionale Rekonstruktion; Identifizieren von zwei der mehreren Rahmen von Bilddaten, die einen Kandidaten für einen akkumulierten Fehler in dem Kameraweg darstellen, relativ zueinender; und Anzeigen des dreidimensionalen Modells zusammen mit einer graphischen Anmerkung, die einen empfohlenen Abtastweg darstellt, um den akkumulierten Fehler zu verringern.
In einem Aspekt wird hier ein Verfahren zur globalen Wegoptimierung offenbart, das umfaßt: Erfassen mehrerer Rahmen von Bilddaten einer Objektoberfläche, wobei jeder der mehreren Rahmen von Bilddaten aus einer Kameraposition entlang eines Kamerawegs erfaßt wird und jeder der mehreren Rahmen von Bilddaten ein herkömmliches Bild des Objekts von der Kameraposition und Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus der Kameraposition gesehen umfaßt; und Minimieren einer Fehlerfunktion für mehrere Kamerapositionen entlang des Kamerawegs, wobei die Fehlerfunktion ein System mit Gleichungen für Translationskomponenten eines Fehlers und für Rotationskomponenten des Fehlers enthält, wobei die Fehlerfunktion die Translationskom ponenten und die Rotationskomponenten unter Verwendung einer Gewichtungsmatrix koppelt, wodurch ein optimierter Kameraweg bereitgestellt wird. Die Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche können aus wenigstens einem anderen Kanalbild erhalten werden, um Disparitätsdaten bereitzustellen. Das Gleichungssystem kann ein nichtlineares Gleichungssystem sein. Die Translationskomponente des Fehlers kann ein System nichtlinearer Gleichungen bilden. Die Rotationskomponente des Fehlers kann ein System nichtlinearer Gleichungen bilden. Ein dreidimensionales Modell kann basierend auf dem Kameraweg und den Daten für die dreidimensionale Rekonstruktion erzeugt werden, und das dreidimensionale Modell kann basierend auf dem optimierten Kameraweg verfeinert werden. Eine Teilmenge der mehreren Rahmen von Bilddaten kann ausgewählt werden, um mehrere Schlüsselrahmen bereitzustellen, wobei jeder der mehreren Schlüsselrahmen durch einen Abschnitt des Kamerawegs einschließlich einer Drehung und einer Translation, die basierend auf einem oder mehreren gemeinsamen Punkten in der dreidimensionalen Rekonstruktion der Objektoberfläche in jedem der jeweiligen Schlüsselrahmen bestimmt werden, mit wenigstens einem anderen Schlüsselrahmen in Beziehung gebracht wird, wobei die restlichen der mehreren Rahmen von Bilddaten Nicht-Schlüsselrahmen sind. Die Gewichtungsmatrix kann ausgewählt werden, um die Fehlerfunktion um einen Schwerpunkt gemeinsamer Oberflächendaten herum für zwei oder mehrere dreidimensionale Rekonstruktionen zu entkoppeln. Eine Fehlerfunktion kann minimiert werden, um einen Eichzustand basierend auf der sich ergebenden Fehlerfunktionsminimierung zu bewerten.
In einem Aspekt wird hier ein Computerprogrammprodukt offenbart, das computerausführbaren Code aufweist, das die folgenden Schritte ausführt: Erfassen mehrerer Rahmen von Bilddaten einer Objektoberfläche, wobei jeder der mehreren Rahmen von Bilddaten aus einer Kameraposition entlang eines Kamerawegs erfaßt wird und jeder der mehreren Rahmen von Bilddaten ein herkömmliches Bild des Objekts von der Kameraposition und Daten für eine dreidimensionale Rekonstruk tion der Objektoberfläche aus der Kameraposition gesehen umfaßt; und Minimieren einer Fehlerfunktion für mehrere Kamerapositionen entlang des Kamerawegs, wobei die Fehlerfunktion ein System mit Gleichungen für Translationskomponenten eines Fehlers und für Rotationskomponenten des Fehlers enthält, wobei die Fehlerfunktion die Translationskomponenten und die Rotationskomponenten unter Verwendung einer Gewichtungsmatrix koppelt, wodurch ein optimierter Kameraweg bereitgestellt wird.
Kurze Beschreibung der Zeichnungen
Die Erfindung und die folgende detaillierte Beschreibung gewisser ihrer Ausführungsformen sind unter Bezug auf die folgenden Figuren zu verstehen.
1 zeigt ein dreidimensionales Abtastsystem.
2 zeigt eine schematische Darstellung eines optischen Systems für eine dreidimensionale Kamera.
3 zeigt eine Verarbeitungspipeline zum Gewinnen dreidimensionaler Daten von einer Videokamera.
4A und 4B stellen Kamerawege für eine dreidimensionale Kamera dar.
5 zeigt ein Benutzerschnittstellenbild, wo von einem Software-Tool zusätzliche Daten abgefragt werden.
6A und 6B stellen akkumulierte Fehler in Kamerawegen dar.
7 ist ein Flußdiagramm eines dreidimensionalen Rekonstruktionsverfahrens einschließlich globaler Wegoptimierung für verbesserte Genauigkeit.
Detaillierte Beschreibung
Im folgenden Text sollten Verweise auf Elemente im Singular so verstanden werden, daß dazu auch Elemente im Plural und umgekehrt gehören, sofern nichts anderes ausdrücklich erklärt ist oder aus dem Text hervorgeht. Grammatikalische Konjunktionen sollen jede und alle disjunktiven und konjunktiven Kombinationen verknüpfter Teilsätze, Sätze, Wörter u. ä. zum Ausdruck bringen, sofern nichts anderes erklärt ist oder aus dem Kontext hervorgeht.
In den hier beschriebenen Systemen und Verfahren wird eine Anzahl von Techniken für die globale Bewegungsoptimierung verwendet, um die Genauigkeit dreidimensionaler Rekonstruktionen basierend auf dem Kameraweg zu verbessern.
Die folgende Beschreibung erklärt detailliert Abtasttechnologien und konzentriert sich auf zahnmedizinische Anwendungen dreidimensionaler Bildgebung; jedoch wird deutlich sein, daß Varianten, Anpassungen und Kombinationen der nachstehenden Verfahren und Systeme für Leute mit gewöhnlichen Kenntnissen der Technik offensichtlich werden. Während zum Beispiel ein bildbasiertes System beschrieben wird, können nichtbildbasierte Abtasttechniken, wie etwa Infrarotlaufzeittechniken oder Techniken mit strukturiertem Licht, die gemusterte Projektionen verwenden, in ähnlicher Weise die Rekonstruktion auf Basis des Kamerawegs, die von den hier beschriebenen Vorteilen profitieren kann, verwenden. Während als ein anderes Beispiel die digitale Zahnmedizin eine nützliche Anwendung der verbesserten Genauigkeit ist, die sich aus den hier beschriebenen Techniken ergibt, kann die globale Wegoptimierung auch nutzbringend verwendet werden, um dreidimensionale Animationsmodelle oder dreidimensionale Abtastungen für Anwendungen des maschinellen Sehens oder für Abbildungsanwendungen sein. Alle derartigen Varianten, Anpassungen und Kombinationen sollen in den Schutzbereich dieser Offenbarung fallen.
In der folgenden Beschreibung bezeichnet der Begriff ”Bild” allgemein einen zweidimensionalen Satz von Pixeln, die eine zweidimensionale Ansicht eines Gegenstands in einer Bildebene bilden. Der Begriff ”Bildsatz” bezeichnet allgemein einen Satz verwandter zweidimensionaler Bilder, die zu dreidimensionalen Daten aufgelöst werden könnten. Der Begriff ”Punktwolke” bezeichnet allgemein einen dreidimensionalen Satz von Punkten, die eine dreidimensionale Ansicht des Gegenstands bilden, die aus einer Anzahl zweidimensionaler Bilder rekonstruiert ist. In einem dreidimensionalen Bilder fassungssystem kann eine Anzahl solcher Punktwolken auch registriert und zu einer Gesamtpunktwolke kombiniert werden, die aus Bildern aufgebaut ist, die durch eine sich bewegende Kamera erfaßt sind. Somit wird verständlich sein, daß Pixel allgemein zweidimensionale Daten bezeichnen und Punkte allgemein dreidimensionale Daten bezeichnen, sofern keine andere Bedeutung speziell angegeben ist oder aus dem Kontext hervorgeht.
Die Begriffe ”dreidimensionales Modell”, ”dreidimensionale Oberflächendarstellung”, ”digitale Oberflächendarstellung”, ”dreidimensionale Oberflächenkarte” u. ä. sollen im Gebrauch hierin jede dreidimensionale Oberflächenkarte eines Objekts bezeichnen, z. B. eine Punktwolke von Oberflächendaten, einen Satz zweidimensionaler Polygone oder alle anderen alle oder einige Oberflächen eines Objekts darstellenden Daten, die man über die Erfassung und/oder Verarbeitung dreidimensionaler Abtastdaten erhalten könnte, sofern keine andere Bedeutung angegeben ist oder anderweitig aus dem Kontext hervorgeht. Eine ”dreidimensionale Darstellung” kann jede der zuvor beschriebenen dreidimensionalen Oberflächendarstellungen wie auch volumetrische und andere Darstellungen aufweisen, sofern keine andere Bedeutung angegeben ist oder anderweitig aus dem Kontext hervorgeht.
Allgemein bezeichnen die Begriffe ”Rendern” oder ”Rendering” bzw. „wiedergeben” oder „Wiedergabe” eine zweidimensionale Visualisierung eines dreidimensionalen Objekts, z. B. zur Anzeige auf einem Monitor. Allerdings wird verständlich sein, daß vielfältige dreidimensionale Renderingtechnologien existieren und mit den hierin offenbarten Systemen und Verfahren nutzbringend zum Einsatz kommen können. Beispielsweise können die hierin beschriebenen Systeme und Verfahren eine holografische Anzeige, eine autostereoskopische Anzeige, eine Anaglyphenanzeige, eine am Kopf angeordnete Stereoanzeige oder jede andere zweidimensionale und/oder dreidimensionale Anzeige nutzbringend verwenden. Somit sollte Rendering in der Beschreibung hierin weitgefaßt interpretiert werden, sofern keine andere Bedeutung angegeben ist oder anderweitig aus dem Kontext hervorgeht.
Im Gebrauch hierin soll der Begriff ”Dentalobjekt” allgemein Gegenstände bezeichnen, die mit der Zahnmedizin zusammenhängen. Dazu können intraorale Strukturen gehören, z. B. das Gebiß und noch typischer das menschliche Gebiß, z. B. einzelne Zähne, Quadranten, Vollbogen, Bogenpaare (die getrennt oder in Bißlagen verschiedener Typen liegen können), Weichteile u. ä. sowie Knochen und alle anderen stützenden oder umliegenden Strukturen. Im Gebrauch hierin bezeichnet der Begriff ”intraorale Strukturen” sowohl natürliche Strukturen in einem Mund gemäß der vorstehenden Beschreibung als auch künstliche Strukturen, z. B. jedes der nachstehend beschriebenen Dentalobjekte, die im Mund vorhanden sein könnten. Zu Dentalobjekten können ”Restaurationen” gehören, die allgemein so aufgefaßt werden können, daß dazu Komponenten gehören, die die Struktur oder Funktion des vorhandenen Gebisses wiederherstellen, z. B. Kronen, Brücken, Facetten, Inlays, Onlays, Amalgame, Komposite und verschiedene Teilstrukturen, z. B. Stumpfkappen u. ä., wie auch temporäre Restaurationen zum Gebrauch während der Fertigung einer permanenten Restauration. Zu Dentalobjekten kann auch eine ”Prothese” gehören, die Gebiß durch entfernbare oder permanente Strukturen ersetzt, z. B. Zahnersatz, Teilprothesen, Implantate, gehaltene Prothesen u. ä. Ferner können zu Dentalobjekten auch ”Appliances” bzw. ”Apparaturen” zählen, die zum Korrigieren, Ausrichten oder anderweitigen temporären oder permanenten Einstellen des Gebisses verwendet werden, z. B. entfernbare kieferorthopädische Apparaturen, chirurgische Stents, Bruxismusapparaturen, Schnarchschienen, Apparaturen zur indirekten Bracketplazierung u. ä. Außerdem können zu Dentalobjekten ”Kleinteile” gehören, die am Gebiß längere Zeit befestigt werden, z. B. Implantathalterungen, Implantatabutments, kieferorthopädische Brackets und andere kieferorthopädische Komponenten. Zu Dentalobjekten können auch ”Übergangskomponenten” aus zahntechnischer Herstellung zählen, z. B. Zahnmodelle (vollständig und/oder partiell), Wax-ups, Ausschmelzformen u. ä. sowie Schalen, Unterlagen, Formen und andere Komponenten, die bei der Fertigung von Restaurationen, Prothesen u. ä. zum Einsatz kommen. Kategorisieren lassen sich Dentalobjekte auch als natürliche Dentalobjekte, z. B. die Zähne, Knochen und andere zuvor beschriebene intraorale Strukturen, oder als künstliche Dentalobjekte, z. B. Restaurationen, Prothesen, Apparaturen, Kleinteile und Übergangskomponenten aus zahntechnischer Herstellung wie zuvor beschrieben.
Solche Begriffe wie z. B. ”digitales Dentalmodell”, ”digitaler Zahnabdruck” u. ä. sollen dreidimensionale Darstellungen von Dentalobjekten bezeichnen, die in verschiedenen Aspekten der Erfassung, Analyse, Verordnung und Herstellung verwendet werden können, sofern keine andere Bedeutung anderweitig angegeben ist oder aus dem Kontext hervorgeht. Solche Begriffe wie z. B. ”Dentalmodell” oder ”Zahnabdruck” sollen ein physisches Modell bezeichnen, z. B. eine gegossene, gedruckte oder anderweitig gefertigte physische Ausprägung eines Dentalobjekts. Sofern nicht anders angegeben, kann der Begriff ”Modell” in alleiniger Verwendung ein physisches Modell und/oder ein digitales Modell bezeichnen.
Zudem wird ferner verständlich sein, daß solche Begriffe wie z. B. ”Tool” oder ”Steuerelement” in ihrer Verwendung zur Beschreibung von Aspekten einer Benutzeroberfläche allgemein vielfältige Techniken bezeichnen sollen, die auf einer grafischen Benutzeroberfläche oder anderen Benutzerschnittstelle zum Einsatz kommen können, um Benutzereingaben zu empfangen, die die Verarbeitung auslösen oder steuern, darunter z. B. Dropdownlisten, Optionsfelder, Cursor- und/oder Mausaktionen (Auswahl nach Punkt, Auswahl nach Bereich, Drag-and-Drop-Operationen usw.), Kontrollkästchen, Befehlszeilen, Texteingabefelder, Meldungen und Alarme, Fortschrittsanzeigen usw. Zu einem Tool oder Steuerelement kann auch jede physische Hardware im Zusammenhang mit der Benutzereingabe gehören, z. B. eine Maus, eine Tastatur, eine Anzeige, ein Tastenblock, ein Trackball und/oder jedes andere Gerät, das physische Eingaben von einem Benutzer emp fängt und die physischen Eingaben in eine Eingabe zur Verwendung in einem computergestützten System umwandelt. Somit sollten in der folgenden Beschreibung die Begriffe ”Tool”, ”Steuerelement” u. ä. weitgefaßt interpretiert werden, sofern keine spezifischere Bedeutung anderweitig angegeben ist oder aus dem Kontext hervorgeht.
1 zeigt ein dreidimensionales Abtastsystem, das mit den hierin beschriebenen Systemen und Verfahren verwendet werden kann. Allgemein kann das System 100 eine Kamera 102 aufweisen, die Bilder von einer Oberfläche 106 eines Objekts 104 erfaßt, z. B. eines Dentalpatienten, und die Bilder zu einem Computer 108 weiterleitet, der eine Anzeige 110 sowie ein oder mehrere Benutzereingabegeräte 112, 114 aufweisen kann, z. B. eine Maus 112 oder eine Tastatur 114. Die Kamera 102 kann auch ein integriertes Ein- oder Ausgabegerät 116 aufweisen, z. B. eine Steuereingabe (z. B. Taste, Touchpad, Rändelrad) oder eine Anzeige (z. B. LCD- oder LED-Anzeige), um Statusinformationen zu liefern.
Zur Kamera 102 kann jede Kamera oder jedes Kamerasystem gehören, die oder das zur Erfassung von Bildern geeignet ist, aus denen eine dreidimensionale Punktwolke oder andere dreidimensionale Daten rückgewonnen werden können. Beispielsweise kann die Kamera 102 ein System mit mehreren Aperturen gemäß der Offenbarung in der US-A-7372642 (Rohály et al.) nutzen, deren gesamter Inhalt hierin durch Verweis aufgenommen ist. Wenngleich Rohály ein System mit mehreren Aperturen offenbart, wird deutlich sein, daß jedes System mit mehreren Aperturen ähnlich verwendet werden kann, das zum Rekonstruieren einer dreidimensionalen Punktwolke aus einer Anzahl zweidimensionaler Bilder geeignet ist. In einer Ausführungsform mit mehreren Aperturen kann die Kamera 102 mehrere Aperturen aufweisen, darunter eine Mittelapertur, die entlang einer optischen Mittelachse einer Linse positioniert ist, die einen Mittelkanal für die Kamera 102 zusammen mit etwaiger zugeordneter Abbildungshardware bildet. In solchen Ausführungsformen kann der Mittelkanal ein herkömmliches Videobild des abgetasteten Gegenstands liefern, während eine Anzahl axial versetzter Kanäle Bildsätze ergibt, die Disparitätsinformationen enthalten, die bei der dreidimensionalen Rekonstruktion einer Oberfläche zum Einsatz kommen können. In anderen Ausführungsformen können eine separate Videokamera und/oder ein separater Kanal vorgesehen sein, um das gleiche Ergebnis zu erreichen, d. h. ein Video eines Objekts, das einer dreidimensionalen Abtastung des Objekts zeitlich entspricht, vorzugsweise aus derselben Perspektive oder aus einer Perspektive mit einer festen, bekannten Beziehung zur Perspektive der Kamera 102. Die Kamera 102 kann auch oder statt dessen eine stereoskopische, trioskopische oder andere Mehrfachkamera oder andere Konfiguration aufweisen, in der eine Anzahl von Kameras oder optischen Wegen in fester Relation zueinander gehalten werden, um zweidimensionale Bilder eines Objekts aus einer Anzahl unterschiedlicher Perspektiven zu erhalten. Die Kamera 102 kann eine geeignete Verarbeitung zum Ableiten einer dreidimensionalen Punktwolke aus einem Bildsatz oder einer Anzahl von Bildsätzen aufweisen, oder jeder zweidimensionale Bildsatz kann zu einem externen Prozessor gesendet werden, der z. B. im später beschriebenen Computer 108 enthalten ist. In anderen Ausführungsformen kann die Kamera 102 strukturiertes Licht, Laserabtastung, tachymetrische Streckenmessung oder jede andere Technologie nutzen, die zum Erfassen dreidimensionaler Daten oder zweidimensionaler Daten geeignet ist, die zu dreidimensionalen Daten aufgelöst werden können. Obwohl die später beschriebenen Techniken Videodaten nutzbringend verwenden können, die durch ein videobasiertes dreidimensionales Abtastsystem erfaßt werden, wird verständlich sein, daß jedes andere dreidimensionale Abtastsystem mit einem Videoerfassungssystem ergänzt werden kann, das geeignete Videodaten oder Bilddaten zeitgleich oder anderweitig synchronisiert mit der Erfassung dreidimensionaler Daten erfaßt.
In einer Ausführungsform ist die Kamera 102 eine frei positionierbare Handsonde mit mindestens einem Benutzereingabegerät 116, z. B. einer Taste, einem Hebel, einer Wählscheibe, einem Rändelrad, einem Schalter o. ä. zur Be nutzersteuerung des Bilderfassungssystems 100, z. B. zum Starten und Stoppen von Abtastungen. In einer Ausführungsform kann die Kamera 102 zur Dentalabtastung geformt und bemessen sein. Insbesondere kann die Kamera 102 zur intraoralen Abtastung und Datenerfassung geformt und bemessen sein, z. B. durch Einführung in einen Mund eines Abbildungsobjekts und Führen über eine intraorale Oberfläche 106 in einem geeigneten Abstand, um Oberflächendaten von Zähnen, Zahnfleisch usw. zu erfassen. Über ein solches kontinuierliches Datenerfassungsverfahren kann die Kamera 102 eine Punktwolke von Oberflächendaten mit ausreichender räumlicher Auflösung und Genauigkeit erfassen, um Dentalobjekte, z. B. Prothetik, Kleinteile, Apparaturen u. ä. daraus herzustellen, entweder direkt oder über vielfältige Zwischenverarbeitungsschritte. In anderen Ausführungsformen können Oberflächendaten von einem Dentalmodell, z. B. einer Dentalprothese, erfaßt werden, um die richtige Anpassung mit Hilfe einer früheren Abtastung des entsprechenden Gebisses, z. B. einer für die Prothese präparierten Zahnoberfläche, zu gewährleisten.
Obwohl in 1 nicht gezeigt, wird deutlich sein, daß eine Anzahl ergänzender Beleuchtungssysteme während der Bilderfassung nutzbringend zum Einsatz kommen kann. Beispielsweise kann die Umgebungsbeleuchtung mit einer oder mehreren Punktleuchten verstärkt werden, die das Objekt 104 beleuchten, um die Bilderfassung zu beschleunigen und die Schärfentiefe (oder räumliche Auslösungstiefe) zu verbessern. Zudem oder statt dessen kann die Kamera 102 auch eine Stroboskop-, eine Blitz- oder irgendeine andere Lichtquelle aufweisen, um die Beleuchtung des Objekts 104 während der Bilderfassung zu ergänzen.
Das Objekt 104 kann jedes Objekt, jede Ansammlung von Objekten, jeder Abschnitt eines Objekts oder jeder andere Gegenstand sein. Insbesondere kann im Hinblick auf die hierin diskutierten Dentaltechniken das Objekt 104 ein menschliches Gebiß aufweisen, das aus einem Mund eines Dentalpatienten intraoral erfaßt wird. Eine Abtastung kann eine dreidimensionale Darstellung des Gebisses teilweise oder vollständig gemäß einem speziellen Zweck der Abtastung erfassen. Dadurch kann die Abtastung ein digitales Modell eines Zahns, eines Quadranten von Zähnen oder einer vollen Ansammlung von Zähnen mit zwei gegenüberliegenden Bogen sowie Weichteilen oder allen anderen relevanten intraoralen Strukturen erfassen. Die Abtastung kann mehrere Darstellungen erfassen, z. B. eine Zahnoberfläche vor und nach der Präparation für eine Restaurierung. Wie später erwähnt, können diese Daten für die anschließende Modellierung zum Einsatz kommen, z. B. die Gestaltung einer Restaurierung oder die Bestimmung einer Randlinie dafür. Während der Abtastung kann ein Mittelkanal der Kamera 102 oder eines separaten Videosystems ein Video des Gebisses vom Standpunkt der Kamera 102 aus erfassen. In anderen Ausführungsformen, in denen z. B. eine vervollständigte Anfertigung an eine Oberflächenpräparation virtuell testangepaßt wird, kann die Abtastung eine Dentalprothese aufweisen, z. B. ein Inlay, eine Krone oder jede andere Dentalprothese, dentale Kleinteile, eine dentale Apparatur o. ä. Das Objekt 104 kann auch oder statt dessen ein Dentalmodell aufweisen, z. B. einen Gipsabguß, ein Wax-up, einen Abdruck oder einen Negativabdruck eines Zahns, von Zähnen, Weichteilen oder eine gewisse Kombination daraus.
Der Computer 108 kann z. B. einen Personalcomputer oder eine andere Verarbeitungsvorrichtung aufweisen. In einer Ausführungsform umfaßt der Computer 108 einen Personalcomputer mit einer Dual-2,8-GHz-Opteron-Zentraleinheit, 2 Gigabyte Schreib-/Lesespeicher, einem TYAN-Thunder-K8WE-Motherboard und einer 250-Gigabyte-Festplatte mit 10.000 U/min. In einer derzeitigen Ausführungsform kann das System so betrieben werden, daß es mehr als fünftausend Punkte pro Bildsatz in Echtzeit mit Hilfe der hierin beschriebenen Techniken erfaßt und eine Gesamtpunktwolke aus mehreren Millionen Punkten speichert. Natürlich kann diese Punktwolke weiterverarbeitet werden, um der anschließenden Datenhandhabung Rechnung zu tragen, z. B. durch Dezimieren der Punktwolkendaten oder Erzeugen eines entsprechenden Gitters aus Oberflächendaten. Im Gebrauch hierin bedeutet der Begriff ”Echtzeit” allgemein eine Situation ohne beobachtbare Latenz zwischen Verarbeitung und Anzeige. In einem videobasierten Abtastsystem bezeichnet Echtzeit insbesondere die Verarbeitung in der Zeit zwischen Rahmen von Videodaten, die je nach spezifischen Videotechnologien zwischen etwa fünfzehn Rahmen pro Sekunde und etwa dreißig Rahmen pro Sekunde variieren kann. Allgemeiner können Verarbeitungsfähigkeiten des Computers 108 je nach Größe des Objekts 104, Geschwindigkeit der Bilderfassung und gewünschter räumlicher Auflösung dreidimensionaler Punkte variieren. Der Computer 108 kann auch Peripheriegeräte aufweisen, z. B. eine Tastatur 114, Anzeige 110 und Maus 112 zum Nutzerdialog mit dem Kamerasystem 100. Die Anzeige 110 kann eine Touchscreenanzeige sein, die Benutzereingaben über direkten physischen Dialog mit der Anzeige 110 empfangen kann. In einem weiteren Aspekt kann die Anzeige eine autostereoskopische Anzeige o. ä. aufweisen, die Stereobilder anzeigen kann.
Kommunikationsabläufe zwischen dem Computer 108 und der Kamera 102 können jede geeignete Kommunikationsverbindung verwenden, z. B. eine Drahtverbindung oder eine drahtlose Verbindung, z. B. auf der Grundlage von IEEE 802.11 (auch als drahtloses Ethernet bekannt), BlueTooth oder jedes anderen geeigneten drahtlosen Standards, z. B. mit Hilfe eines Hochfrequenz, Infrarot- oder anderen drahtlosen Kommunikationsmediums. Bei der medizinischen Bildgebung oder anderen sensiblen Anwendungen kann die drahtlose Bildübertragung von der Kamera 102 zum Computer 108 geschützt sein. Der Computer 108 kann Steuersignale für die Kamera 102 erzeugen, die zusätzlich zu Bilderfassungsbefehlen herkömmliche Kamerabedienungen aufweisen können, z. B. Fokus oder Zoom.
In einem Beispiel für den allgemeinen Betrieb eines dreidimensionalen Bilderfassungssystems 100 kann die Kamera 102 zweidimensionale Bildsätze mit einer Videofrequenz erfassen, während die Kamera 102 über eine Oberfläche des Gegenstands geführt wird. Die zweidimensionalen Bildsätze können zum Computer 108 zur Ableitung dreidimensionaler Punktwolken weitergeleitet werden. Die dreidimensionalen Daten für jeden neu erfaßten zweidimensionalen Bildsatz können abgeleitet und mit Hilfe einer Anzahl unterschiedlicher Techniken an vorhandene dreidimensionale Daten angepaßt oder ”angefügt” werden. Ein solches System kann eine Kamerabewegungsabschätzung nutzen, damit die Position der Kamera 102 nicht unabhängig nachverfolgt werden muß. Ein nützliches Beispiel für eine solche Technik ist in der gemeinsamen US-Anmeldung Nr. 11/270,135, eingereicht am 9. November 2005, beschrieben, deren gesamter Inhalt hierin durch Verweis aufgenommen ist. Allerdings wird deutlich sein, daß dieses Beispiel keine Einschränkung darstellt und daß die hierin beschriebenen Grundsätze auf einen breiten Bereich dreidimensionaler Bilderfassungssysteme anwendbar sind.
Die Anzeige 110 kann jede Anzeige aufweisen, die zum Videorendering oder Rendering mit anderen Raten mit einer Detailstufe geeignet ist, die den erfaßten Daten entspricht. Zu geeigneten Anzeigen zählen Kathodenstrahlanzeigen, Flüssigkristallanzeigen, Leuchtdiodenanzeigen u. ä. Allgemein kann die Anzeige 110 mit dem Computer 108 betrieblich gekoppelt und fähig sein, Anzeigesignale von ihm zu empfangen. Diese Anzeige kann eine Bildröhre oder einen Flachbildschirm, eine dreidimensionale Anzeige (z. B. eine Anaglyphenanzeige), eine autostereoskopische dreidimensionale Anzeige oder jede andere geeignete zweidimensionale oder dreidimensionale Renderinghardware aufweisen. In einigen Ausführungsformen kann die Anzeige eine Touchscreenschnittstelle aufweisen, die z. B. kapazitive, resistive oder akustische Oberflächenwellen-(auch Dispersivsignal genannt)Touchscreentechnologien oder jede andere geeignete Technologie zum Erfassen physischer Interaktionen mit der Anzeige 110 verwendet.
Das System 100 kann ein computernutzbares oder computerlesbares Medium aufweisen. Das computernutzbare Medium 118 kann einen oder mehrere Speicherchips (oder andere Chips, z. B. einen Prozessor, der Speicher aufweist), optische Platten, magnetische Platten oder andere magnetische Medien usw. aufweisen. In verschiedenen Ausführungsformen kann das computernutzbare Medium 118 entfernbaren Speicher (z. B. ein USB-Bauelement, ein Bandlaufwerk, eine externe Festplatte usw.), abgesetzten Speicher (z. B. netzwerkangebundenen Speicher), flüchtigen oder nichtflüchtigen Computerspeicher usw. aufweisen. Das computernutzbare Medium 118 kann computerlesbare Befehle zur Ausführung durch den Computer 108 enthalten, um die hierin beschriebenen verschiedenen Verfahren durchzuführen. Ferner oder statt dessen kann das computernutzbare Medium 118 Daten speichern, die von der Kamera 102 empfangen werden, ein dreidimensionales Modell des Objekts 104 speichern, Computercode zum Rendering und zur Anzeige usw. speichern.
2 veranschaulicht ein optisches System 200 für eine dreidimensionale Kamera, das mit den hierin beschriebenen Systemen und Verfahren verwendet werden kann, z. B. für die zuvor anhand von 1 beschriebene Kamera 102.
Das optische System 200 kann eine primäre optische Einrichtung 202 aufweisen, die in jeder Art von Bildverarbeitungssystem zum Einsatz kommen kann. Allgemein bezeichnet eine primäre optische Einrichtung hierin ein optisches System mit einem optischen Kanal. Normalerweise benutzt dieser optische Kanal mindestens eine Linse gemeinsam und hat eine gemeinsam benutzte Bildebene im optischen System, obwohl in der folgenden Beschreibung Varianten davon ausdrücklich beschrieben werden oder anderweitig aus dem Kontext hervorgehen können. Das optische System 200 kann eine einzelne Primärlinse, eine Gruppe von Linsen, eine Objektivlinse, Spiegelsysteme (u. a. traditionelle Spiegel, digitale Spiegelsysteme, digitale Lichtprozessoren o. ä.), Konfokalspiegel und alle anderen optischen Einrichtungen aufweisen, die zur Verwendung mit den hierin beschriebenen Systemen geeignet sind. Das optische System 200 kann z. B. in einem stereoskopischen oder anderen Mehrfachbilder-Kamerasystem verwendet werden. Zu anderen optischen Einrichtungen können holografische optische Elemente o. ä. gehören. In verschiedenen Konfigurationen kann die primäre optische Einrichtung 202 eine oder mehrere Linsen aufweisen, z. B. eine Objektivlinse (oder Linsengruppe) 202b, eine Feldlinse 202d, eine Relaislinse 202f usw. Die Objektivlinse 202b kann an oder nahe der Eintrittspupille 202a des optischen Systems 200 liegen. Die Feldlinse 202d kann an oder nahe einer ersten Bildebene 202c des optischen Systems 200 liegen. Die Relaislinse 202f kann Lichtstrahlenbündel im optischen System 200 weiterleiten. Ferner kann das optische System 200 solche Komponenten wie z. B. Aperturelemente 208 mit einer oder mehreren Aperturen 212, eine Refokussiereinrichtung 210 mit einem oder mehreren Refokussierelementen 204, eine oder mehrere Sampling-Einrichtungen 218 und/oder eine Anzahl von Sensoren 214a, 214b, 214c aufweisen.
Das optische System 200 kann zum Active Wavefront Sampling gestaltet sein, was so zu verstehen ist, daß es jede Technik umfaßt, die zum Abtasten einer Folge oder Ansammlung optischer Daten von einem Objekt 220 oder Objekten verwendet wird, darunter optische Daten, die dazu beitragen, zweidimensionale oder dreidimensionale Kennwerte des Objekts 220 zu detektieren, wobei optische Daten zur Detektion von Bewegung verwendet werden, optische Daten zur Geschwindigkeitsmessung oder Objektverfolgung o. ä. verwendet werden. Nähere Einzelheiten eines optischen Systems, das als optisches System 200 von 2 zum Einsatz kommen kann, liefert die US-A-7372642 , deren gesamter Inhalt hierin durch Verweis aufgenommen ist. Allgemeiner wird verständlich sein, daß 2 zwar eine Ausführungsform eines optischen Systems 200 darstellt, aber zahlreiche Varianten möglich sind. Ein herausragendes Merkmal des optischen Systems in Bezug auf die spätere Diskussion ist der Einsatz eines optischen Mittelkanals, der herkömmliche Video- oder Standbilder an einem der Sensoren 214b zeitgleich mit einem oder mehreren Bildern von versetzten Stellen (z. B. an 214a und 214c) erfaßt, die dreidimensionale Informationen erfassen. Dieses Mittelkanalbild kann auf einer Benutzeroberfläche präsentiert werden, damit es, wie nachstehend beschrieben, von einem Benutzer während einer Benutzersitzung kontrolliert, markiert oder anderweitig manipuliert werden kann.
3 zeigt ein dreidimensionales Rekonstruktionssystem 300, das eine Hochgeschwindigkeitspipeline und eine Hochgenauigkeitspipeline verwendet. Im allgemeinen zielt die Hochgeschwindigkeitsverarbeitungspipeline 330 darauf ab, dreidimensionale Daten in Echtzeit, wie etwa mit einer Videobildrate, die von einer zugehörigen Anzeige verwendet – wird, bereitzustellen, während die Hochgenauigkeitsverarbeitungspipeline 350 darauf abzielt, die höchstmögliche Genauigkeit aus Kameramessungen in Abhängigkeit von allen externen Berechnungs- oder Zeitbeschränkungen, die von der Systemhardware oder einer beabsichtigten Verwendung der Ergebnisse auferlegt werden, bereitzustellen. Eine Datenquelle 310, wie etwa die vorstehend beschriebene Kamera 102, stellt Bilddaten oder ähnliches an das System 300 bereit. Die Datenquelle 310 kann zum Beispiel Hardware, wie etwa LED-Ringlichter, Wandsensoren, einen Bilddigitalisierer (Framegrabber), einen Computer, ein Betriebssystem und jede andere geeignete Hardware und/oder Software zum Gewinnen von Daten, die in einer dreidimensionalen Rekonstruktion verwendet werden, umfassen. Bilder von der Datenquelle 310, wie etwa Mittelkanalbilder, die herkömmliche Videobilder enthalten, und Seitenkanäle, die Disparitätsdaten enthalten, die verwendet werden, um Tiefeninformationen wiederzugewinnen, können an den Echtzeitverarbeitungskontroller 316 weitergeleitet werden. Der Echtzeitverarbeitungskontroller 316 kann auch Kamerasteuerinformationen oder andere Rückmeldungen an die Datenquelle 310 bereitstellen, die in der anschließenden Datenerfassung verwendet werden sollen, oder zum Spezifizieren von Daten, die bereits in der Datenquelle 310 erhalten wurden, die von dem Echtzeitverarbeitungskontroller 316 benötigt werden. Bilder mit voller Auflösung und zugehörige Bilddaten können in einem Vollauflösungsbildspeicher 322 gehalten werden. Die gespeicherten Bilder können zum Beispiel während der Verarbeitung an den Hochgenauigkeitsverarbeitungskontroller 324 bereitgestellt oder für die Bildüberprüfung durch einen menschlichen Benutzer während nachfolgenden Verarbeitungsschritten gespeichert werden.
Der Echtzeitverarbeitungskontroller 316 kann in Echtzeit Bilder oder Rahmen zur Rekonstruktion von dreidimensionalen Oberflächen aus den zweidimensionalen Quelldaten an die Hochgeschwindigkeits-(Videoraten-)Verarbeitungspipeline 330 bereitstellen. In einer beispielhaften Ausführungsform können zweidimensionale Bilder aus einem Bildsatz, wie etwa Seitenkanalbildern, von einem zweidimensionalen Bildregistrierungsmodul 332 registriert werden. Basierend auf den Ergebnissen der zweidimensionalen Bildregistrierung kann ein dreidimensionales Punktwolken-Generierungsmodul 334 eine dreidimensionale Punktwolke oder eine andere dreidimensionale Darstellung erzeugen. Die dreidimensionalen Punktwolken von einzelnen Bildsätzen können von einem dreidimensionalen Anfügungsmodul 336 kombiniert werden. Schließlich können die angefügten Messungen von einem dreidimensionalen Erzeugungsmodul 338 zu einem dreidimensionalen Modell kombiniert werden. Das sich ergebende Modell kann als ein dreidimensionales Hochgeschwindigkeitsmodell 340 gespeichert werden.
Der Hochgenauigkeitsverarbeitungskontroller 324 kann Bilder oder Rahmen an die Hochgenauigkeitsverarbeitungspipeline 350 bereitstellen. Separate Bildsätze können eine zweidimensionale Bildregistrierung haben, die von einem zweidimensionalen Bildregistrierungsmodul 352 durchgeführt wird. Basierend auf den Ergebnissen der zweidimensionalen Bildregistrierung kann von einem dreidimensionalen Punktwolkengenerierungsmodul 354 eine dreidimensionale Punktwolke oder eine andere dreidimensionale Darstellung erzeugt werden. Die dreidimensionalen Punktwolken von einzelnen Bildsätzen können unter Verwendung eines dreidimensionalen Anfügungsmoduls 356 verbunden werden. Die globale Bewegungsoptimierung, auf die hier auch als globale Wegoptimierung oder globale Kamerawegoptimierung Bezug genommen wird, kann von einem globalen Bewegungsoptimierungsmodul 357 durchgeführt werden, um Fehler in dem sich ergebenden dreidimensionalen Modell 358 zu verringern. Im allgemeinen kann der Weg der Kamera, während sie die Rahmen gewinnt, als ein Teil des dreidimensio nalen Rekonstruktionsverfahrens berechnet werden. In einem Nachverarbeitungsverfeinerungsverfahren kann die Berechnung des Kamerawegs optimiert werden, das heißt, die Akkumulation von Fehlern entlang der Länge des Kamerawegs kann durch ergänzende Rahmen-Rahmen-Bewegungsschätzung mit einigen oder der gesamten globalen Weginformationen minimiert werden. Basierend auf globalen Informationen, wie etwa einzelnen Rahmen von Daten in dem Bildspeicher 322, dem dreidimensionalen Hochgeschwindigkeitsmodell 340 und Zwischenergebnissen in der Hochgenauigkeitsverarbeitungspipeline 350 kann das Hochgenauigkeitsmodell 370 verarbeitet werden, um Fehler in dem Kameraweg und sich ergebende Bildfehler in dem rekonstruierten Modell zu verringern. Als eine weitere Verfeinerung kann von einem Gitterprojektionsmodul 360 ein Gitter auf das Hochgeschwindigkeitsmodell projiziert werden. Die sich ergebender Bilder können durch ein Verwölbungsmodul 362 verwölbt oder verformt werden. Verwölbte Bilder können verwendet werden, um die Ausrichtung und das Anfügen zwischen Bildern, zum Beispiel durch Verringern des Anfangsfehlers in einer Bewegungsschätzung, zu erleichtern. Die verwölbten Bilder können an das zweidimensionale Bildregistrierungsmodul 352 bereitgestellt werden. Die Rückmeldung des dreidimensionalen Hochgenauigkeitsmodells 370 in die Pipeline kann wiederholt werden, bis eine Metrik, wie etwa eine Anfügungsgenauigkeit oder eine minimale Fehlerschwelle, erhalten wird.
Verschiedene Aspekte des Systems 300 von 3 sind nachstehend detaillierter beschrieben. Insbesondere wird ein Modellverfeinerungsverfahren beschrieben, das von dem Hochgenauigkeitsverarbeitungskontroller 324 verwendet werden kann, um das dreidimensionale Hochgenauigkeitsmodell 370 unter Verwendung von Meßdaten in dem Bildspeicher 322 zu verfeinern. Es sollte verstanden werden, daß vielfältige Verarbeitungsmodule oder Schritte, die von den in dieser Figur gezeigten Modulen vorausgesetzt werden, vom Wesen her beispielhaft sind und daß die Reihenfolge der Verarbeitung oder die Verarbeitungsschrittfolge modifiziert, weggelassen, wie derholt, umsortiert oder ergänzt werden kann, ohne vom Schutzbereich dieser Offenbarung abzuweichen.
4A zeigt ein Objekt 410 zur Bildgebung zusammen mit einem Weg 415, dem eine Kamera folgen kann, während eine dreidimensionale Abtastung einer Oberfläche des Objekts 410 erhalten wird. Die Richtung des Wegs 415 ist allgemein durch einen Pfeil 416 angegeben. Das Objekt 410 kann (wie gezeigt) ein oberer Zahnabdruck oder jedes andere Objekt sein, für das dreidimensionale Oberflächendaten gesucht werden. An einem Startpunkt 420 startend kann die Kamera einem Bogen 430 zu einem zweiten Punkt 422 folgen. Die Kamera kann dann einem Segment 432 zu einem dritten Punkt 424 folgen. Die Kamera kann dann einem zweiten Bogen 434 zu einem vierten Punkt 426 folgen. Die Kamera kann dann einem zweiten Segment 436 folgen, um ungefähr zu dem Startpunkt 420 zurückzukehren. Es sollte bemerkt werden, daß der Weg 415, dem die Kamera folgt, eher unregelmäßig als gleichmäßig ist, und daß, während ein bestimmter Weg 415 abgebildet ist, allgemeiner jeder Weg von der Kamera genommen werden kann, einschließlich Wegen, die auf sich selbst kehrtmachen, identische Bereiche zwei oder mehr Mal überqueren und/oder verschiedene Oberflächen des Objekts 410 ganz auslassen. Es sollte auch bemerkt werden, daß der Kameraweg nutzbringend zu dem Startpunkt 420 zurückkehren kann, dies aber für die dreidimensionale Rekonstruktion, wie hier beschrieben, nicht unbedingt erforderlich ist. Die Kamera kann hunderte oder tausende von Bildern oder mehr aufnehmen, während die Kamera den Weg um ein derartiges Dentalobjekt herum durchquert.
4B zeigt Stellen, an denen zusätzliche Abtastdaten nutzbringend erfaßt werden könnten, um die Genauigkeit einer dreidimensionalen Rekonstruktion zu verbessern. Zum Beispiel können Bögen 440, 442, 444 und 446 abgetastet werden (z. B. von dem Kameraweg durchquert werden), um Querverbindungen zwischen verschiedenen Längen des Kamerawegs bereitzustellen. Daten könnten zum Beispiel nutzbringend aus jedem Bereich erfaßt werden, der die Rechengenauigkeit einer dreidimensionalen Rekonstruktion verbessern kann, wie etwa Bereiche, in denen die Länge eines Kamerawegs zwischen zwei Messungen der Oberfläche (z. B. Bildsätze oder Bilddaten) erheblich größer als der Abstand zwischen zwei entsprechenden Oberflächenstellen in dem Weltkoordinatensystem für den Kameraweg ist. Als ein anderes Beispiel kann dies Bereiche umfassen, wo es nicht gelingt, daß separate dreidimensionale Messungen für einen allgemeinen Bereich des rekonstruierten dreidimensionalen Modells aufeinander registriert werden oder allgemeiner, wo Abschnitte des Modells oder einzelne Messungen Hinweise auf akkumulierte Fehler in dem globalen Kameraweg enthalten. Schlüsselrahmen (wie nachstehend beschrieben) können verwendet werden, um diese Erhebung auf eine Teilmenge der Messungen zu fokussieren, die eine Abdeckung für alle oder einen wesentlichen Abschnitt des abgetasteten Gegenstands bereitstellen.
5 zeigt eine Benutzerschnittstelle, die eine graphische Abfrage nach zusätzlichen Abtastdaten darstellt. Nachdem die Kamera dem vorstehend dargestellten Weg 415 folgt, kann ein Software-Tool verwendet werden, um verschiedene Stellen zu identifizieren, wo zusätzliche Daten nutzbringend erfaßt werden könnten, um den akkumulierten Fehler in einem globalen Kameraweg, wie vorstehend diskutiert, zu verringern. Ein Monitor 510 kann ein Bild 520 zum Beispiel als eine dreidimensionale Rekonstruktion des abgetasteten Gegenstands anzeigen, und ein Pfeil 530 kann auf dem Monitor 510 angezeigt werden, der anzeigt, wo zusätzliches Abtasten empfohlen wird. Der Benutzer kann dann weiterhin eine Kamera, wie etwa die Kamera 102 von 1, verwenden, um den durch den Pfeil 530 angezeigten Bereich abzutasten. Allgemeiner können Bereiche für zusätzliches Abtasten für einen Benutzer in einer graphischen Benutzerschnittstelle identifiziert werden, die ein aus dem Kameraweg rekonstruiertes dreidimensionales Modell zusammen mit Pfeilen oder anderen Bezeichnungen oder graphischen Anmerkungen, die einen empfohlenen Abtastweg darstellen, anzeigt. Nachdem ein Benutzer einen Kameraweg mit zusätzlichen Abtastungen anreichert, können die sich ergebenden Daten verwendet werden, um Diffe renzen (d. h. Fehler) in dem globalen Kameraweg, wie hier im allgemeinen über diese Offenbarung hinweg beschrieben, aufzulösen.
6A stellt einen Kameraweg in einem Weltkoordinatensystem dar. Die Kamera startet an einem Startpunkt 610 und folgt, wie durch einen Pfeil 625 angezeigt, in einer Richtung gegen den Uhrzeigersinn einem Weg 620 und kehrt zu einem Endpunkt zurück, der in einem festen Koordinatensystem, wie etwa einem beliebig ausgewählten Weltkoordinatensystem, mit dem Startpunkt 610 zusammenfällt.
6B zeigt einen Kameraweg in einem Kamerakoordinatensystem. Wenn eine Kamera den Weg 620 in dem Weltkoordinatensystem durchquert, können sich Fehler in einem berechneten Kameraweg 635 akkumulieren, so daß ein gemessener Endpunkt 640 als sich von dem gemessenen Startpunkt 630 in dem Koordinatensystem weg befindend erscheiht, obwohl diese Punkte in dem Weltkoordinatensystem identisch sind. In einem Aspekt können eine oder mehrere Querverbindungen wie die vorstehend unter Bezug auf 4 beschriebenen verwendet werden, um akkumulierte Fehler in dem berechneten Kameraweg 635 zu mildern.
7 ist ein Flußdiagramm für ein dreidimensionales Rekonstruktionsverfahren einschließlich der globalen Wegoptimierung für verbesserte Genauigkeit.
Das Verfahren 700 kann, wie in Schritt 710 gezeigt, mit der Vorverarbeitung beginnen. Es wird verstanden, daß die hier beschriebene Vorverarbeitung die Verfügbarkeit einer Anzahl von Rahmen von Bilddaten voraussetzt, aus denen ein Kameraweg und ein dreidimensionales Modell rekonstruiert werden können. Die Informationen für die dreidimensionale Rekonstruktion können auf vielfältige Arten erzeugt werden, einschließlich von der Projektion mit strukturiertem Licht kommend, auf Bildabschattung basierender dreidimensionaler Rekonstruktion oder Disparitätsdaten. Disparitätsdaten können durch ein herkömmliches Bild plus ein oder mehrere andere Kanäle oder Seitenkanäle erzeugt werden. Die Vorverarbeitung kann das Bestimmen der Anzahl verfügbarer Rahmen, des Überlappungsbetrags zwischen benachbarten Rahmen, die Identifikation und Eliminierung von Rahmen mit verwischten oder übel verzerren Bildern und jegliche andere geeigneten Verarbeitungsschritte umfassen. Eine Schätzung der Anzahl erwünschter Schlüsselrahmen kann anfänglich während des Vorverarbeitungsschritts bestimmt werden.
Wie in Schritt 712 gezeigt, können Schlüsselrahmen aus allen Rahmen von Daten ausgewählt werden, die von einer Kamera entlang eines Kamerawegs erfaßt werden. Im allgemeinen können Rechenkosten gesenkt werden, indem gewisse Daten gespeichert werden und gewisse Berechnungen und Verarbeitungsschritte ausschließlich unter Bezug auf Schlüsselrahmen durchgeführt werden. Diese Schlüsselrahmen können in einer Weise miteinander in Beziehung gebracht werden, die eine Charakterisierung eines kompletten Kamerawegs, typischerweise durch die Registrierung überlappender dreidimensionaler Daten in jeweiligen Schlüsselrahmen erlaubt. Verschiedene Verfahren sind in der Technik bekannt, um eine Teilmenge von Rahmen aus Daten als Schlüsselrahmen auszuwählen, einschließlich von Techniken, die auf einem Bildüberlapp, einem Kamerawegabstand, der Anzahl dazwischenkommender Nicht-Schlüsselrahmen und so weiter basieren. Schlüsselrahmen können auch oder statt dessen basierend auf einem Bildüberlappungsbetrag von dem vorhergehenden Schlüsselrahmen und/oder einem Kandidaten für einen folgenden Schlüsselrahmen (wenn verfügbar) ausgewählt werden. Zu wenig Überlappung kann die Rahmen-Rahmen-Registrierung beeinträchtigen. Zu viel Überlappung kann überschüssige Schlüsselrahmen erzeugen, die zusätzliche Verarbeitung erfordern. Schlüsselrahmen können basierend auf einer räumlichen Verschiebung ausgewählt werden. Schlüsselrahmen können auch basierend auf einer sequentiellen Verschiebung ausgewählt werden. Diese Art von sequentieller Verschiebung könnte zum Beispiel bedeuten, daß jeder zehnte Rahmen als ein Schlüsselrahmen ausgewählt wird. In einem Aspekt können Schlüsselrahmen basierend auf jeder beliebigen Anzahl passender Kriterien ausgewählt werden, während Daten erfaßt werden. In einem anderen Aspekt können Schlüsselrahmenpaare post hoc bestimmt werden, indem alle möglichen Kandidatenschlüsselrahmen untersucht werden. Alle möglichen Schlüsselrahmenpaare können untersucht werden, und Kandidaten können zum Beispiel entfernt werden, wo es nicht ausreichend Überlappung gibt, um eine Anfügung bzw. Anheftung zu bilden. Noch allgemeiner kann jede Technik, die zum Auswählen einer Teilmenge von Rahmen in einem Datensatz geeignet ist, nutzbringend verwendet werden, um Schlüsselrahmen zur Verarbeitung auszuwählen, um die Rechenkomplexität zu verringern.
Wenn einmal alle Schlüsselrahmen ausgewählt wurden, kann eine zusätzliche Verarbeitung durchgeführt werden. Zum Beispiel können volle Bilddaten (Mitten- und Seitenkanalbilder mit voller Auflösung) für jeden Schlüsselrahmen zusammen mit Bildsignaturdaten, Punktwolkenschwerpunktberechnungen und jeglichen anderen gemessenen oder berechneten Daten gespeichert werden, um die Verwendung der Schlüsselrahmen in einem dreidimensionalen Rekonstruktionsverfahren, wie hier beschrieben, zu unterstützen.
Wie in Schritt 714 gezeigt, können Kandidatenanfügungen identifiziert werden. Im allgemeinen ist eine Anfügung eine Beziehung zwischen zwei getrennten dreidimensionalen Messungen aus zwei verschiedenen Kamerapositionen. Wenn einmal eine Anfügung festgelegt ist, können eine Drehung und eine Translation für den Weg einer Kamera zwischen den zwei Positionen bestimmt werden. In einer komplementären Weise können die dreidimensionalen Messungen aus den Positionen in einen Abschnitt eines dreidimensionalen Modells kombiniert werden. Kandidatenanfügungen können um jeden Schlüsselrahmen herum, wie etwa von dem Schlüsselrahmen zu einigen oder allen der Rahmen aus Daten zwischen dem Schlüsselrahmen und benachbarten Schlüsselrahmen, analysiert werden. In einem anderen Aspekt kann eine Kandidatenanfügung an jeden anderen Schlüsselrahmen, oder um die Rechenkomplexität zu verringern, an jeden Schlüsselrahmen innerhalb einer räumlichen oder sequentiellen Nachbarschaft um den Schlüsselrahmen herum, hergestellt werden. Anfügungen können auf den ursprüng lich abgebildeten Rahmen basieren. Es kann auch nützlich sein, zweidimensionale Bilder während der Registrierung und anderen Schritten in einem Anfügungsverfahren zu verformen oder zu verwölben, um die Genauigkeit und/oder Geschwindigkeit zu verbessern. Anfügungen können auch oder statt dessen auf anderen beobachteten epipolaren Beziehungen in Quellendaten basieren.
Wie in Schritt 716 gezeigt, können Anfügungen für den kompletten Kameraweg aus der Gesamtheit von Kandidatenanfügungen ausgewählt werden. Die Auswahl von Anfügungen kann z. B. basierend auf dem kleinsten berechneten Fehler in sich ergebenden Abschnitten des dreidimensionalen Modells berechnet werden. Im allgemeinen kann jeder Schlüsselrahmen an einen oder mehrere andere Schlüsselrahmen angefügt werden, und jeder Nicht-Schlüsselrahmen kann an wenigstens einen sequentiell benachbarten Schlüsselrahmen angefügt werden.
Wie in Schritt 718 gezeigt, kann eine graphische Analyse durchgeführt werden, wobei die Schlüsselrahmen und das zugehörige Anfügen verwendet werden, um einen globalen Weg für die Kamera zu berechnen, der verwendet wird, um ein dreidimensionales Modell zu erhalten. Die graphische Analyse kann jeden Schlüsselrahmen als einen Knoten oder Scheitel und jede Anfügung als einen Rand zwischen einem Paar von Knoten betrachten. Ein Schlüsselrahmen wird als ein Startpunkt ausgewählt. Eine Breiten- oder Tiefen-Erstsuche kann durch die Graphik durchgeführt werden, um Anfügungen zu identifizieren, die den aktuellen Schlüsselrahmen mit einem anderen Schlüsselrahmen verbinden können. Jeder Schlüsselrahmen kann markiert werden, während die Graphik verarbeitet wird. Eine Prüfung kann durchgeführt werden, um zu erkennen, ob alle Schlüsselrahmen innerhalb der Graphik erreicht wurden. Wenn durch das Durchqueren der Anfügungen in der graphischen Analyse nicht alle Schlüsselrahmen erreicht wurden, wird die größte Teilgraphik identifiziert. Diese Teilgraphik kann untersucht werden, um zu erkennen, ob das gesamte dreidimensionale Bild modelliert werden kann.
Es kann sein, daß gewisse Teilgraphiken nicht notwendig sind, um die dreidimensionale Bildgebung zu vollenden. Wenn die Kamera über einem bestimmten Bereich einer Oberfläche eines Objekts verweilte oder wenn die Kamera mehrere Male auf einem Bereich schleifte, kann/können die zugehörigen Teilgraphik(en) nicht benötigt werden. Wenn eine getrennte Teilgraphik identifiziert wird, die benötigt wird, um die dreidimensionale Bildgebung abzuschließen, kann eine wahlweise Verzweigung zurück zu Schritt 712 durchgeführt werden. Zum Beispiel kann ein Satz von Schlüsselrahmen ausgewählt worden sein, der kein ausreichendes Anfügen von einem Schlüsselrahmen an den nächsten Schlüsselrahmen hatte. Durch Wählen eines anderen Satzes von Schlüsselrahmen kann ausreichendes Anfügen erzielt werden, um eine vollständige Graphik aller benötigten Aspekte der dreidimensionalen Bildgebung zu erhalten. Ein Schlüsselrahmen, der zu spärlich ist, was bedeutet, daß er nicht ausreichend Anfügungen hat, um zum Aufbauen einer Graphik beizutragen, kann anzeigen, daß ein anderer Satz von Schlüsselrahmen ausgewählt werden sollte. Basierend auf der graphischen Analyse kann ein globaler Weg ausgewählt werden, und die Graphik kann dann analysiert werden, um die Wegberechnung zu optimieren.
Wie in Schritt 720 gezeigt, kann eine numerische Optimierung durchgeführt werden, um Fehler in dem berechneten Kameraweg basierend auf verfügbaren Daten für den kompletten Kameraweg, wie etwa Querverbindungen, die zeitlich auseinanderliegende Messungen miteinander verknüpfen, zu verringern. Im allgemeinen ist es das Ziel einer numerischen Optimierung, einen berechneten Fehler basierend auf einer Fehlerfunktion für den Kameraweg und/oder einem rekonstruierten dreidimensionalen Modell zu minimieren. Eine nützliche Formulierung des Fehlerminimierungsproblems für einen globalen Kameraweg wird nachstehend vorgestellt.
Im allgemeinen kann aus drei Positionen A, B und C, die jeweils miteinander und mit einem Weltkoordinatensystem mit einem Ursprung 0 durch Rotations- und Translationsbewegungsparameter in Beziehung stehen, ein Satz von miteinander in Beziehung stehenden Messungen in einem Weg erfaßt werden. Die Beziehung zwischen einem Punkt X, der in dem Weltkoordinatensystem als X_O ausgedrückt wird, und dem gleichen Punkt X_A, der in dem A-Koordinatensystem ausgedrückt wird, kann ausgedrückt werden als: XA = ROAXO + TOA [Gl. 1]
R_OA ist die Drehung, die Punkte aus dem Welt- in das A-Koordinatensystem bringt. T_OA ist die Translation des Weltkoordinatensystems auf das A-Koordinatensystem. Es sollte verstanden werden, daß Symbole X und T eher einen Vektor als einen Skalar darstellen können, wobei X z. B. x-, y- und z-Koordinatenwerte umfaßt. Ferner sollte verstanden werden, daß das Symbol R eine Matrix darstellen kann. Die folgenden Gleichungen können in ähnlicher Weise jeweils die Transformation zwischen dem Welt- und den B- und C-Koordinatensystemen darstellen: XB =ROBXO + TOB [Gl. 2] XC = ROCXO + TOC [Gl. 3]
Durch Neuanordnen können die Gleichungen 1 und 2 wie folgt dargestellt werden: XO = R–1OA (XA – TOA) = R–1OB (XB – TOB) [Gl. 4]
Die Darstellung eines Punkts in einem Kamerakoordinatensystem kann auf den gleichen Punkt in einem anderen Koordinatensystem bezogen werden. Zum Beispiel können wie in den Gleichungen 1–3 Koordinaten eines Punkts X von dem A-Koordinatensystem wie folgt in das B-Koordinatensystem transformiert werden: XB = RABXA + TAB [Gl. 5]
Die Drehung R_AB dreht Punkte von dem A- in das B-Koordinatensystem, und T_AB verschiebt den Ursprung des A-Koordinatensystems in das B-Koordinatensystem.
In der Optimierung kann die Position jeder Kamera basierend auf gemessenen Transformationen zwischen Positio nen optimiert werden. Das heißt, eine Anzahl von Kamera-Welt-Drehungen und Kamera-Welt-Translationen R_On und T_On kann durchgeführt werden. Im allgemeinen kann eine von diesen als die Identitätsrotation und die Nulltranslation definiert werden, wobei die restlichen Werte, wie nachstehend beschrieben, optimiert werden.
Die Drehungen und Translationen können für viele Kamerapaare gemessen werden. Für die i-te Rahmen-Rahmen-Bewegung sei eine der Kameras des Paars die Kamera A und die andere sei die Kamera B. Dies kann auch als die i-te Anfügung betrachtet werden. Sei RiAB die gemessene Drehung, die Punkte in dem A-System in das B-System bringt, und TiAB seien die Koordinaten der A-Position, wie in Gleichung 5 in dem B-System ausgedrückt.
Die Drehungen und Translationen für alle Kameras R_On und T_On können optimiert werden. RiC,OA und RLiC,OB können als die Kandidatendrehungen definiert werden; TiC,OA und TiC,OB können als die Kandidatentranslationen definiert werden, die der A- und B-Kamera der i-ten Anfügung entsprechen. Ferner kann RiC,AB = RiC,OB (RiC,OA )–1 als die Kandidatendrehung von A nach B und TiC,AB = TiC,OB – RiC,AB TiC,OA die Kandidatentranslation von A nach B definiert werden.
Es ist zu beachten, daß die Bewegungsbedingungen mit ausreichenden Anfügungen ein überbestimmtes System für Bewegungsbedingungsgleichungen bilden können. Unter Verwendung dieser Gleichungen als einen Ausgangspunkt kann die numerische Optimierung für die Rotations- und Translationskomponenten jeder Kamera basierend auf den gemessenen Anfügungen durchgeführt werden.
In einer entkoppelten Optimierung können Rotations- und Translationskomponenten unabhängig optimiert werden. Wenn ein Kandidatensatz von Kameradrehungen Rc gegeben ist, können die entsprechenden Kamera-Kamera-Drehungen R i / C,AB berechnet werden, die jeder der gemessenen Kamera-Kamera-Drehungen R entsprechen. Folglich sind die entsprechenden Restdrehungen gegeben durch Riresiduum,AB – RiC,AB (RiAB )–1 . Eine skalarwertige Drehkostenfunktion e_r, die von den Kandidatenkameradrehungen abhängt, kann berechnet werden.
In Gleichung 6 gibt log_SO(3)(R) den Achswinkelvektor ν zurück, welcher der Drehung R entspricht. Mit anderen Worten gibt log_SO(3)(R) den Vektor ν aus, der eine Kreuzproduktmatrix [ν]_X hat, die der Matrixlogarithmus von R ist.
Als nächstes kann eine ähnliche skalarwertige Kostenfunktion für die Translation berechnet werden, die von den Kandidatendrehungen und Translationen abhängt.
Die Gleichung 6 kann als eine nichtlineare Optimierung minimiert werden; die Gleichung 7 kann als eine lineare Optimierung minimiert werden.
In einem herkömmlichen entkoppelten Ansatz zum Lösen dieser simultanen Gleichungssysteme kann die Rotationsfehlerfunktion in einen Quaternionausdruck umgewandelt werden, um das numerische Problem zur Lösung in ein lineares Gleichungssystem zu übersetzen. Während dieser Ansatz den Rechenwirkungsgrad erhöhen kann, bietet er eine unvollständige Optimierungslösung.
Der vorstehend beschriebene entkoppelte Ansatz stellt im Sinne einer maximalen Wahrscheinlichkeit keinen wirklich optimalen bereit, da er keine Informationen aus dem Translationsanteil der Anfügungen beim Bestimmen der Drehung verwenden kann. Um eine gekoppelte Optimierung zu erzielen, kann eine Gewichtung verwendet werden, um die Beiträge von Rotations- und Translationskomponenten zu einer kombinierten Kostenfunktion abzugleichen:
Mehrere Ansätze können verwendet werden, um diese Kostenfunktion zu optimieren, aber in einer Ausführungsform werden die Gewichte als Matrizen ausgedrückt. Verschiedene Anfügungen können basierend auf einer Anzahl von Faktoren einschließlich der Anzahl von Punkten in der Anfügung (z. B. dem gemeinsamen Inhalt), der Qualität einer bestimmten dreidimensionalen Messung und/oder jeglicher anderer Faktoren, welche die bekannte Zuverlässigkeit einer Anfügung beeinflussen, verschiedene Gewichtungen erhalten. In einem Ansatz können die Gewichtsmatrizen auch den Anisotropiefehler in den einzelnen gesammelten Punkten, wie etwa aufgrund der Erfassung von Tiefeninformationen aus Disparitätsmessungen, berücksichtigen, was zu einer Meßgenauigkeit führt, die mit dem Abstand von der Kamera variiert.
In manchen Fällen kann Gleichung 8 umformuliert werden, so daß die Rotations- und Translationsgewichte für jede Anfügung entkoppelt werden (d. h. WiC ist blockdiagonal). Insbesondere kann dies in dem Fall passieren, in dem die Bewegungsanfügungen aus dreidimensionalen Punktentsprechungen mit Isotropiepunktfehler rückgewonnen werden. In diesem Fall kann die optimale Lösung für eine gegebene Anfügung i zwischen der Kamera A und der Kamera B die von der Kamera A gesehene Punktwolke mit der von der Kamera B gesehenen in Entsprechung bringen. Wenn X i A und X i B jeweils die Positionen der Mitte der Punktwolke in den A- und B-Systemen sind, dann kann rit in Gleichung 8 wie folgt basierend auf der Kandida tenkameraposition durch die Restverschiebung zwischen den Punktwolkenmitten ersetzt werden: rit,ctr = X iB – (RiC,AB X iA + RiC,AB ) [Gl. 9]
Die Gleichung 8 kann dann umformuliert werden als:
Dieses gekoppelte Optimierungsproblem kann immer noch als nichtlinear betrachtet werden. Es sollte sich verstehen, daß andere Optimierungen, die in den Schutzbereich dieser Offenbarung fallen, ebenfalls möglich sind.
Im allgemeinen können durch Minimieren von Gleichung 8 sowohl Rotationsfehler als auch Translationsfehler gleichzeitig minimiert werden. Die Gewichtsmatrizen können zum Beispiel gemäß „First Order Error Propagation of the Procrustes Method for 3D Attitude Estimation" von Leo Dorst, IEEE Transactions an Pattern Analysis and Machine Intelligence, Bd. 27, Nr. 2, Februar 2005, S. 221–9, die hierin insgesamt durch Verweis aufgenommen ist, gewählt werden. Wenn einmal ein konsistenter Satz von Bewegungsparametern erzeugt wurde, kann das dreidimensionale Modell aktualisiert werden.
In einem Aspekt kann der Restfehler als eine Eichmetrik verwendet werden. Wenn der Gesamtfehler oder ein Teil des Fehlers minimiert wurde, kann der Restfehler ausgewertet werden. Wenn ein minimierter Fehler jenseits eine gewisse Schwelle fällt, dann kann basierend auf einer Folgerung, daß die Unfähigkeit, Ergebnisse mit besserer Qualität zu erzeugen, an einer Fehleichung oder einer anderen Fehlfunktion des Kamerasystems liegt, die Eichung für die Kamera und die zugehörige Hardware empfohlen werden. Der Schwellwert kann basierend auf der spezifischen Kamerahardwareausrüstung empirisch bestimmt werden oder kann für ein gegebenes System mit der Zeit experimentell erlernt werden. Wenn ein System neu ist oder frisch abgeglichen wurde, können minimierte Erwartungsfehlerwerte erhalten werden. Wenn minimierte Fehler werte von diesen Erwartungswerten abweichen, kann eine Eichzustandsauswertungsmarkierung gesetzt werden oder eine andere Warnung oder Nachricht erzeugt werden, die anzeigt, daß das Tool geeicht werden sollte.
Wie in Schritt 722 gezeigt, kann das Überabtasten durchgeführt werden, um ein dreidimensionales Modell mit Daten von Nicht-Schlüsselrahmen anzureichern. Zum Beispiel können Nicht-Schlüsselrahmen mit nahegelegenen Schlüsselrahmen registriert werden, um kleine lokale Rekonstruktionsanfügungen zu erzeugen, die das vollständige Bilddetail enthalten, das aus Nicht-Schlüsselrahmen verfügbar ist. Auf diese Weise kann die Wegoptimierung für einen Schlüsselrahmen-basierten Datensatz durchgeführt werden, wodurch die Daten, die eine Verarbeitung erfordern, verringert werden, während zusätzliche Datenpunkte von Nicht-Schlüsselrahmen für die Verwendung in dem abschließenden dreidimensionalen Modell gehalten werden.
Es wird deutlich sein, daß jedes, das vorstehende System und/oder die Verfahren, in Hardware, Software oder jeder Kombination aus diesen, die für die hier beschriebenen Datenerfassungs- und Modellierungstechnologien geeignet sind, realisiert werden kann. Dies umfaßt die Realisierung in einem oder mehreren Mikroprozessoren, Mikrokontrollern, eingebetteten Mikrokontrollern, programmierbaren digitalen Signalprozessoren oder anderen programmierbaren Vorrichtungen zusammen mit internem und/oder externem Speicher. Dies kann auch oder statt dessen eine oder mehrere anwendungsspezifische integrierte Schaltungen, programmierbare Gate-Arrays, programmierbare logische Anordnungskomponenten oder jede andere Vorrichtung oder Vorrichtungen umfassen, die konfiguriert werden können, um elektronische Signale zu verarbeiten. Es wird ferner deutlich sein, daß eine Realisierung computerausführbaren Code umfassen kann, der unter Verwendung einer strukturierten Programmiersprache, wie etwa C, einer objektorientierten Programmiersprache, wie etwa C++ oder jeder anderen höheren oder niedrigeren Programmiersprache (einschließlich Assemblersprachen, Hardwarebeschrei bungssprachen und Datenbankprogrammiersprachen und Technologien), erzeugt wird, der gespeichert, kompiliert oder übersetzt werden kann, um auf einer der vorstehenden Vorrichtungen ebenso wie heterogenen Kombinationen von Prozessoren, Prozessorarchitekturen oder Kombinationen unterschiedlicher Hardware und Software zu laufen. Folglich wird hier in einem Aspekt ein Computerprogrammprodukt offenbart, das computerausführbaren Code aufweist, der, wenn er auf einem oder mehreren Rechenvorrichtungen ausgeführt wird, irgendwelche und/oder alle der vorstehend beschriebenen Schritte ausführt. Gleichzeitig kann die Verarbeitung über Vorrichtungen, wie etwa eine Kamera und/oder einen Computer und/oder eine Fertigungseinrichtung und/oder ein Dentallabor und/oder einen Server in einer Anzahl von Weisen verteilt werden, oder die gesamte Funktionalität kann in eine dedizierte unabhängige Vorrichtung integriert werden. Alle derartigen Permutationen und Kombinationen sollen innerhalb den Schutzbereich der vorliegenden Offenbarung fallen.
Zusammenfassung
Globale Kamerawegoptimierung
Hier werden vielfältige Techniken zur Verbesserung der globalen Wegoptimierung in einem System offenbart, das den Kameraweg für die dreidimensionale Rekonstruktion verwendet. Eine Teilmenge von Rahmen von Daten für den globalen Weg kann verwendet werden, um die Rechenkomplexität der Optimierung zu verringern, während das ganze dreidimensionale Detail in dem optimierten Modell erhalten bleibt, indem andere Messungen auf den optimierten Schlüsselrahmenweg bezogen werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- US 7372642 A [0031, 0042]

Zitierte Nicht-Patentliteratur

- „First Order Error Propagation of the Procrustes Method for 3D Attitude Estimation” von Leo Dorst, IEEE Transactions an Pattern Analysis and Machine Intelligence, Bd. 27, Nr. 2, Februar 2005, S. 221–9 [0079]

Claims

Verfahren zur dreidimensionalen Datenrekonstruktion, das aufweist: Erfassen mehrerer Rahmen von Bilddaten einer Objektoberfläche, wobei jeder der mehreren Rahmen von Bilddaten von einer Kameraposition entlang eines Kamerawegs erfaßt wird und jeder der mehreren Rahmen von Bilddaten ein herkömmliches Bild des Objekts von der Kameraposition und Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus der Kameraposition gesehen umfaßt; Auswählen einer Teilmenge der mehreren Rahmen von Bilddaten, um mehrere Schlüsselrahmen bereitzustellen, wobei jeder einzelne der mehreren Schlüsselrahmen sich durch einen Abschnitt des Kamerawegs einschließlich einer Drehung und einer Translation, die basierend auf einem oder mehreren gemeinsamen Punkten in der dreidimensionalen Rekonstruktion der Objektoberfläche in jedem der jeweiligen Schlüsselrahmen bestimmt werden, auf wenigstens einen anderen der mehreren Schlüsselrahmen bezieht, wobei die restlichen der mehreren Rahmen von Bilddaten Nicht-Schlüsselrahmen sind; Bereitstellen eines dreidimensionalen Modells des Objekts; Bestimmen einer zweiten Drehung und einer zweiten Translation von einem der Schlüsselrahmen zu wenigstens einem der Nicht-Schlüsselrahmen, der sequentiell zwischen dem einen der Schlüsselrahmen und einem sequentiell benachbarten der Schlüsselrahmen positioniert ist; Gewinnen der dreidimensionalen Rekonstruktionsinformationen der Objektoberfläche aus der Kameraposition wenigstens eines der Nicht-Schlüsselrahmen, um überabgetastete dreidimensionale Daten bereitzustellen; und Hinzufügen der überabgetasteten Daten zu dem dreidimensionalen Modell basierend auf der zweiten Drehung und der zweiten Translation.
Verfahren nach Anspruch 1, das ferner das Schätzen einer Kamerabewegung zwischen zwei benachbarten Schlüsselrahmen aufweist, wobei das Schätzen auf der Drehung und der Translation basiert.
Verfahren nach Anspruch 2, das ferner das Optimieren der Schätzung der Kamerabewegung zwischen den zwei benachbarten Schlüsselrahmen durch Erzeugen einer Konsistenz zwischen Bewegungsparametern unter Verwendung eines überbestimmten Systems von Bewegungsbedingungsgleichungen aufweist, wobei die Bewegungsparameter aus Informationen über die Drehung und die Translation bestehen.
Verfahren nach Anspruch 3, das ferner das Optimieren der Kamerabewegung zwischen zwei benachbarten Nicht-Schlüsselrahmen durch Erzeugen einer Konsistenz zwischen Bewegungsparametern unter Verwendung eines überbestimmten Systems von Bewegungsbedingungsgleichungen aufweist.
Verfahren nach Anspruch 4, das ferner das Aktualisieren der dreidimensionalen Rekonstruktion basierend auf der erzeugten Konsistenz zwischen den Bewegungsparametern aufweist.
Verfahren nach Anspruch 1, wobei die Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus wenigstens einem anderen Kanalbild erhalten wurden, um Disparitätsdaten bereitzustellen.
Verfahren nach Anspruch 1, wobei das Bereitstellen eines dreidimensionalen Modells ferner das Erzeugen eines dreidimensionalen Modells des Objekts unter Verwendung des Kamerawegs und der dreidimensionalen Rekonstruktion für jeden der Schlüsselrahmen aufweist.
Verfahren nach Anspruch 1, das ferner das Gewinnen dreidimensionaler Rekonstruktionsinformationen der Objektoberfläche aus der Kameraposition für alle der Nicht-Schlüsselrahmen zwischen zwei benachbarten Schlüsselrahmen aufweist.
Verfahren nach Anspruch 1, wobei das Auswählen der Teilmenge der mehreren Rahmen auf einer Qualitätsmetrik der dreidimensionalen Rekonstruktion basiert.
Verfahren nach Anspruch 1, wobei das Auswählen der Teilmenge der mehreren Rahmen unter Verwendung einer graphischen Analyse bestimmt wird, um sicherzustellen, daß alle der Schlüsselrahmen in der dreidimensionalen Rekonstruktion verwendet werden.
Computerprogrammprodukt, das computerausführbaren Code aufweist, der in einem computerlesbaren Medium ausgeführt ist, das die folgenden Schritte ausführt, wenn es auf einer oder mehreren Rechenvorrichtungen ausgeführt wird: Erfassen mehrerer Rahmen aus Bilddaten einer Objektoberfläche, wobei jeder der mehreren Rahmen von Bilddaten von einer Kameraposition entlang eines Kamerawegs erfaßt wird und jeder der mehreren Rahmen von Bilddaten ein herkömmliches Bild des Objekts von der Kameraposition und Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus der Kameraposition gesehen umfaßt; Auswählen einer Teilmenge der mehreren Rahmen von Bilddaten, um mehrere Schlüsselrahmen bereitzustellen, wobei jeder einzelne der mehreren Schlüsselrahmen sich durch einen Abschnitt des Kamerawegs einschließlich einer Drehung und einer Translation, die basierend auf einem oder mehreren gemeinsamen Punkten in der dreidimensionalen Rekonstruktion der Objektoberfläche in jedem der jeweiligen Schlüsselrahmen bestimmt werden, auf wenigstens einen anderen der mehreren Schlüsselrahmen bezieht, wobei die restlichen der mehreren Rahmen von Bilddaten Nicht-Schlüsselrahmen sind; Bereitstellen eines dreidimensionalen Modells des Objekts; Bestimmen einer zweiten Drehung und einer zweiten Translation von einem der Schlüsselrahmen zu wenigstens einem der Nicht-Schlüsselrahmen, der sequentiell zwischen dem einen der Schlüsselrahmen und einem sequentiell benachbarten der Schlüsselrahmen positioniert ist; Gewinnen der dreidimensionalen Rekonstruktionsinformationen der Objektoberfläche aus der Kameraposition wenigstens eines der Nicht-Schlüsselrahmen, um überabgetastete dreidimensionale Daten bereitzustellen; und Hinzufügen der überabgetasteten dreidimensionalen Daten zu dem dreidimensionalen Modell basierend auf der zweiten Drehung und der zweiten Translation.
Computerprogrammprodukt nach Anspruch 11, das ferner computerausführbaren Code aufweist, das den Schritt des Schätzens einer Kamerabewegung zwischen zwei benachbarten Schlüsselrahmen durchführt, wobei das Schätzen auf der Drehung und der Translation basiert.
Computerprogrammprodukt nach Anspruch 12, das ferner computerausführbaren Code aufweist, das den Schritt des Optimierens der Schätzung der Kamerabewegung zwischen den zwei benachbarten Schlüsselrahmen durch Erzeugen einer Konsistenz zwischen Bewegungsparametern unter Verwendung eines überbestimmten Systems von Bewegungsbedingungsgleichungen durchführt, wobei die Bewegungsparameter aus Informationen über die Drehung und die Translation bestehen.
Computerprogrammprodukt nach Anspruch 13, das ferner computerausführbaren Code aufweist, das den Schritt des Optimierens der Kamerabewegung zwischen zwei benachbarten Nicht-Schlüsselrahmen durch Erzeugen einer Konsistenz zwischen Bewegungsparametern unter Verwendung eines überbestimmten Systems von Bewegungsbedingungsgleichungen aufweist.
Computerprogrammprodukt nach Anspruch 14, das ferner computerausführbaren Code aufweist, das den Schritt des Aktualisierens der dreidimensionalen Rekonstruktion basierend auf der erzeugten Konsistenz zwischen den Bewegungsparametern aufweist.
Computerprogrammprodukt nach Anspruch 11, wobei die Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus wenigstens einem anderen Kanalbild erhalten wurden, um Disparitätsdaten bereitzustellen.
Computerprogrammprodukt nach Anspruch 11, wobei das Bereitstellen eines dreidimensionalen Modells ferner das Erzeugen eines dreidimensionalen Modells des Objekts unter Verwendung des Kamerawegs und der dreidimensionalen Rekonstruktion für jeden der Schlüsselrahmen aufweist.
Computerprogrammprodukt nach Anspruch 11, das ferner computerausführbaren Code aufweist, das den Schritt des Gewinnens dreidimensionaler Rekonstruktionsinformationen der Objektoberfläche aus der Kameraposition für alle der Nicht-Schlüsselrahmen zwischen zwei benachbarten Schlüsselrahmen aufweist.
Computerprogrammprodukt nach Anspruch 11, wobei das Auswählen der Teilmenge der mehreren Rahmen auf einer Qualitätsmetrik der dreidimensionalen Rekonstruktion basiert.
Computerprogrammprodukt nach Anspruch 11, wobei das Auswählen der Teilmenge der mehreren Rahmen unter Verwendung einer graphischen Analyse bestimmt wird, um sicher zustellen, daß alle der Schlüsselrahmen in der dreidimensionalen Rekonstruktion verwendet werden.
Verfahren zum interaktiven Verringern des akkumulierten Fehlers in einem globalen Weg, wobei das Verfahren aufweist: Erfassen mehrerer Rahmen von Bilddaten einer Objektoberfläche, wobei jeder der mehreren Rahmen von Bilddaten von einer Kameraposition entlang eines Kamerawegs erfaßt wird und jeder der mehreren Rahmen von Bilddaten ein herkömmliches Bild des Objekts von der Kameraposition und Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus der Kameraposition gesehen umfaßt; Erzeugen eines dreidimensionalen Modells des Objekts unter Verwendung des Kamerawegs und der Daten für die dreidimensionale Rekonstruktion; Identifizieren von zwei der mehreren Rahmen von Bilddaten, die einen Kandidaten für einen akkumulierten Fehler in dem Kameraweg darstellen, relativ zueinender; und Anzeigen des dreidimensionalen Modells zusammen mit einer graphischen Anmerkung, die einen empfohlenen Abtastweg darstellt, um den akkumulierten Fehler zu verringern.
Verfahren nach Anspruch 21, wobei die Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus wenigstens einem anderen Kanalbild erhalten werden, um Disparitätsdaten bereitzustellen.
Verfahren nach Anspruch 21, das ferner das Erfassen eines oder mehrerer Rahmen von Bilddaten entlang des empfohlenen Abtastwegs aufweist, um den akkumulierten Fehler zu verringern.
Verfahren nach Anspruch 21, wobei das Identifizieren von zwei der mehreren Rahmen ferner das Identifizieren von Rahmen aus Bilddaten aufweist, die entlang des Kame rawegs durch einen wesentlich größeren Abstand als entlang der Objektoberfläche getrennt sind.
Computerprogrammprodukt, das computerausführbaren Code aufweist, der in einem computerlesbaren Medium ausgeführt ist, das die folgenden Schritte ausführt, wenn es auf einer oder mehreren Rechenvorrichtungen ausgeführt wird: Erfassen mehrerer Rahmen von Bilddaten einer Objektoberfläche, wobei jeder der mehreren Rahmen von Bilddaten von einer Kameraposition entlang eines Kamerawegs erfaßt wird und jeder der mehreren Rahmen von Bilddaten ein herkömmliches Bild des Objekts von der Kameraposition und Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus der Kameraposition gesehen umfaßt; Erzeugen eines dreidimensionalen Modells des Objekts unter Verwendung des Kamerawegs und der Daten für die dreidimensionale Rekonstruktion; Identifizieren von zwei der mehreren Rahmen von Bilddaten, die einen Kandidaten für einen akkumulierten Fehler in dem Kameraweg darstellen, relativ zueinender; und Anzeigen des dreidimensionalen Modells zusammen mit einer graphischen Anmerkung, die einen empfohlenen Abtastweg darstellt, um den akkumulierten Fehler zu verringern.
Computerprogrammprodukt nach Anspruch 25, wobei die Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus wenigstens einem anderen Kanalbild erhalten werden, um Disparitätsdaten bereitzustellen.
Computerprogrammprodukt nach Anspruch 25, das ferner computerausführbaren Code aufweist, das den Schritt des Erfassens von einem oder mehreren Rahmen von Bilddaten entlang des empfohlenen Abtastwegs durchführt, um den akkumulierten Fehler zu verringern.
Computerprogrammprodukt nach Anspruch 25, wobei das Identifizieren von zwei der mehreren Rahmen ferner das Identifizieren von Rahmen von Bilddaten aufweist, die entlang des Kamerawegs durch einen wesentlich größeren Abstand als entlang der Objektoberfläche getrennt sind.
System, das eine Kamera, einen Monitor, einen Prozessor und einen Speicher aufweist, wobei der Speicher ein Computerprogramm speichert, das durch den Prozessor ausführbar ist, um die folgenden Schritte auszuführen: Erfassen mehrerer Rahmen von Bilddaten einer Objektoberfläche, wobei jeder der mehreren Rahmen von Bilddaten von einer Kameraposition entlang eines Kamerawegs erfaßt wird und jeder der mehreren Rahmen von Bilddaten ein herkömmliches Bild des Objekts aus der Kameraposition und Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus der Kameraposition gesehen umfaßt; Erzeugen eines dreidimensionalen Modells des Objekts unter Verwendung des Kamerawegs und der Daten für die dreidimensionale Rekonstruktion; Identifizieren von zwei der mehreren Rahmen von Bilddaten, die einen Kandidaten für einen akkumulierten Fehler in dem Kameraweg darstellen; relativ zueinender; und Anzeigen des dreidimensionalen Modells zusammen mit einer graphischen Anmerkung, die einen empfohlenen Abtastweg darstellt, um den akkumulierten Fehler zu verringern.
System nach Anspruch 29, wobei die Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus wenigstens einem anderen Kanalbild erhalten werden, um Disparitätsdaten bereitzustellen.
System nach Anspruch 29, wobei der Speicher, der das Computerprogrammprodukt nach Anspruch 29 speichert, ferner computerausführbaren Code aufweist, der den Schritt des Erfassens von einem oder mehreren Rahmen von Bilddaten entlang des empfohlenen Abtastwegs durchführt, um den akkumulierten Fehler zu verringern.
System nach Anspruch 29, wobei das Identifizieren von zwei der mehreren Rahmen ferner das Identifizieren von Rahmen von Bilddaten aufweist, die entlang des Kamerawegs durch einen wesentlich größeren Abstand als entlang der Objektoberfläche getrennt sind.
Verfahren zur globalen Wegoptimierung, wobei das Verfahren aufweist: Erfassen mehrerer Rahmen aus Bilddaten einer Objektoberfläche, wobei jeder der mehreren Rahmen von Bilddaten von einer Kameraposition entlang eines Kamerawegs erfaßt wird und jeder der mehreren Rahmen von Bilddaten ein herkömmliches Bild des Objekts aus der Kameraposition und Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus der Kameraposition gesehen umfaßt; und Minimieren einer Fehlerfunktion für mehrere Kamerapositionen entlang des Kamerawegs, wobei die Fehlerfunktion ein System mit Gleichungen für Translationskomponenten eines Fehlers und für Rotationskomponenten des Fehlers enthält, wobei die Fehlerfunktion die Translationskomponenten und die Rotationskomponenten unter Verwendung einer Gewichtungsmatrix koppelt, wodurch ein optimierter Kameraweg bereitgestellt wird.
Verfahren nach Anspruch 33, wobei die Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus wenigstens einem anderen Kanalbild erhalten wurden, um Disparitätsdaten bereitzustellen.
Verfahren nach Anspruch 33, wobei das Gleichungssystem ein nichtlineares Gleichungssystem ist.
Verfahren nach Anspruch 35, wobei die Translationskomponente des Fehlers ein System nichtlinearer Gleichungen bildet.
Verfahren nach Anspruch 35, wobei die Rotationskomponente des Fehlers ein System nichtlinearer Gleichungen bildet.
Verfahren nach Anspruch 33, das ferner das Erzeugen eines dreidimensionalen Modells basierend auf dem Kameraweg und den Daten für die dreidimensionale Rekonstruktion und das Verfeinern des dreidimensionalen Modells basierend auf dem optimierten Kameraweg aufweist.
Verfahren nach Anspruch 33, das ferner das Auswählen einer Teilmenge der mehreren Rahmen von Bilddaten aufweist, um mehrere Schlüsselrahmen bereitzustellen, wobei jeder der mehreren Schlüsselrahmen durch einen Abschnitt des Kamerawegs einschließlich einer Drehung und einer Translation, die basierend auf einem oder mehreren gemeinsamen Punkten in der dreidimensionalen Rekonstruktion der Objektoberfläche in jedem der jeweiligen Schlüsselrahmen bestimmt werden, mit wenigstens einem anderen Schlüsselrahmen in Beziehung gebracht wird, wobei die restlichen der mehreren Rahmen von Bilddaten Nicht-Schlüsselrahmen sind.
Verfahren nach Anspruch 33, wobei die Gewichtungsmatrix ausgewählt wird, um die Fehlerfunktion um einen Schwerpunkt gemeinsamer Oberflächendaten herum für zwei oder mehrere dreidimensionale Rekonstruktionen zu entkoppeln.
Verfahren nach Anspruch 33, wobei das Minimieren einer Fehlerfunktion ferner das Bewerten eines Eichzustands basierend auf der sich ergebenden Fehlerfunktionsminimierung aufweist.
Computerprogrammprodukt, das computerausführbaren Code aufweist, der in einem computerlesbaren Medium ausgeführt ist, das, wenn es auf einer oder mehreren Rechenvorrichtungen ausgeführt wird, die folgenden Schritte ausführt: Erfassen mehrerer Rahmen von Bilddaten einer Objektoberfläche, wobei jeder der mehreren Rahmen von Bilddaten von einer Kameraposition entlang eines Kamerawegs erfaßt wird und jeder der mehreren Rahmen von Bilddaten ein herkömmliches Bild des Objekts aus der Kameraposition und Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus der Kameraposition gesehen umfaßt; und Minimieren einer Fehlerfunktion für mehrere Kamerapositionen entlang des Kamerawegs, wobei die Fehlerfunktion ein System mit Gleichungen für Translationskomponenten eines Fehlers und für Rotationskomponenten des Fehlers enthält, wobei die Fehlerfunktion die Translationskomponenten und die Rotationskomponenten unter Verwendung einer Gewichtungsmatrix koppelt, wodurch ein optimierter Kameraweg bereitgestellt wird.
Computerprogrammprodukt nach Anspruch 42, wobei die Daten für eine dreidimensionale Rekonstruktion der Objektoberfläche aus wenigstens einem anderen Kanalbild erhalten wurden, um Disparitätsdaten bereitzustellen.
Computerprogrammprodukt nach Anspruch 42, wobei das Gleichungssystem ein nichtlineares Gleichungssystem ist.
Computerprogrammprodukt nach Anspruch 44, wobei die Translationskomponente des Fehlers ein System nichtlinearer Gleichungen bildet.
Computerprogrammprodukt nach Anspruch 44, wobei die Rotationskomponente des Fehlers ein System nichtlinearer Gleichungen bildet.
Computerprogrammprodukt nach Anspruch 42, das ferner computerausführbaren Code aufweist, das den Schritt des Erzeugens eines dreidimensionalen Modells basierend auf dem Kameraweg und den Daten für die dreidimensionale Rekon struktion und des Verfeinerns des dreidimensionalen Modells basierend auf dem optimierten Kameraweg ausführt.
Computerprogrammprodukt nach Anspruch 42, das ferner computerausführbaren Code aufweist, das den Schritt des Auswählens einer Teilmenge der mehreren Rahmen von Bilddaten durchführt, um mehrere Schlüsselrahmen bereitzustellen, wobei jeder der mehreren Schlüsselrahmen durch einen Abschnitt des Kamerawegs einschließlich einer Drehung und einer Translation, die basierend auf einem oder mehreren gemeinsamen Punkten in der dreidimensionalen Rekonstruktion der Objektoberfläche in jedem der jeweiligen Schlüsselrahmen bestimmt werden, mit wenigstens einem anderen Schlüsselrahmen in Beziehung gebracht wird, wobei die restlichen der mehreren Rahmen von Bilddaten Nicht-Schlüsselrahmen sind.
Computerprogrammprodukt nach Anspruch 42, wobei die Gewichtungsmatrix ausgewählt wird, um die Fehlerfunktion um einen Schwerpunkt gemeinsamer Oberflächendaten herum für zwei oder mehr dreidimensionale Rekonstruktionen zu entkoppeln.
Computerprogrammprodukt nach Anspruch 42, wobei die Minimierung einer Fehlerfunktion ferner das Bewerten eines Eichzustands basierend auf der sich ergebenden Fehlerfunktionsminimierung aufweist.