DE112009000093T5

DE112009000093T5 - Hierarchische Verarbeitung unter Nutzung von Bildverformung

Info

Publication number: DE112009000093T5
Application number: DE112009000093T
Authority: DE
Inventors: János Acton Rohály; Iiya A. Littleton Kriveshko
Original assignee: 3M Innovative Properties Co
Current assignee: Medit Corp
Priority date: 2008-01-04
Filing date: 2009-01-04
Publication date: 2010-12-09
Also published as: US9418474B2; US9937022B2; US20110043613A1; US20200065558A1; US8803958B2; US10503962B2; WO2009089128A1; WO2009089127A1; WO2009089129A1; DE112009000101T5; US20110007138A1; US20110007137A1; DE112009000100T5; DE112009000094T5; US20180196995A1; US8503763B2; WO2009089125A3; WO2009089125A2; US20100283781A1; DE112009000099T5

Abstract

Verfahren, das die folgenden Schritte aufweist:
Gewinnen eines ersten Bilds und eines zweiten Bilds eines Objekts aus zwei Kamerapositionen;
Erzeugen einer Hierarchie aus niedriger aufgelösten Darstellungen des ersten Bilds und des zweiten Bilds;
Gewinnen eines Disparitätsfelds, das die Bewegung zwischen einer niedriger aufgelösten Darstellung des ersten Bilds und einer entsprechenden der niedriger aufgelösten Darstellungen des zweiten Bilds kennzeichnet;
Überabtasten (Upsampling) des Disparitätsfelds auf eine höhere Auflösung der Hierarchie, um ein geschätztes Disparitätsfeld mit der höheren Auflösung bereitzustellen;
Verwölben einer höher aufgelösten Darstellung des ersten Bilds gemäß dem überabgetasteten Disparitätsfeld, um ein verwölbtes Bild bereitzustellen;
Korrelieren des verwölbten Bilds mit einer höher aufgelösten Darstellung des zweiten Bilds, um ein Disparitätsfehlerfeld zu erhalten;
Kombinieren des überabgetasteten Disparitätsfelds und des Disparitätsfehlerfelds, um ein höher aufgelöstes Disparitätsfeld zu erhalten.

Description

Die vorliegende Anmeldung beansprucht Priorität aus der vorläufigen US-Patentanmeldung Nr. 61/019,159, eingereicht am 4. Januar 2008, die hierin insgesamt durch Verweis aufgenommen ist.
Fachgebiet der Erfindung
Die vorliegende Erfindung betrifft allgemein die dreidimensionale Bildgebung und insbesondere die die Verwendung hierarchischer Bilddaten, um dreidimensionale Messungen basierend auf mehreren Objektbildern zu verbessern.
Hintergrund
In einem Verfahren zur dreidimensionalen Bildrekonstruktion wird eine Anzahl von Bildern oder Bildsätzen eines Objekts von einer Kamera erfaßt, die auf einem Weg über die Oberfläche des Objekts fährt. Dieser Bildinformationskatalog kann dann verwendet werden, um basierend auf dem Kameraweg und einzelnen dreidimensionalen Messungen, die entlang des Kamerawegs erfaßt wurden, ein dreidimensionales Modell des Objekts zu rekonstruieren. In einem Aspekt verwendet die Kamera eine Anzahl von versetzten optischen Kanälen, die Bilder aus ein wenig unterschiedlichen optischen Achsen erfassen. Die Differenzen in diesen versetzten Bildern enthalten Tiefeninformationen, die verwendet werden können, um den Abstand von der Kamera zu berechnen und wiederum die dreidimensionalen Umrisse einer abgetasteten Oberfläche zu bestimmen. Ein rechenintensiver Teil dieser Technik umfaßt das Abgleichen von Merkmalen zwischen Bildpaaren in einem Bildsatz, das für jeden Bildsatz viele Male wiederholt werden muß, um entsprechende Merkmalsstellen in einem Bildpaar zu finden.
Während es vielfältige Techniken zum Korrelieren von Merkmalen zwischen Bildern gibt, bleibt ein Bedarf an verbesserten Techniken, die für den Musterabgleich in der dreidimensionalen Rekonstruktion geeignet sind.
Zusammenfassung
Ein hierarchisches Musterabgleichsverfahren wird für die Verwendung in der dreidimensionalen Rekonstruktion verbessert durch Berechnen eines Disparitätsfelds für niedrig aufgelöste Daten und Verwenden dieses Niederauflösungsdisparitätsfelds, um das Disparitätsfeld für höher aufgelöste Bilder zu schätzen. Durch Pre-Warping (Vorverformen) bzw. Vorverwölben einer Vorlage entsprechend dem geschätzten Disparitätsfeld können verbesserte Korrelationsergebnisse erzielt werden.
In einem Aspekt umfaßt ein hier offenbartes Verfahren das Gewinnen eines ersten Bilds und eines zweiten Bilds eines Objekts aus zwei Kamerapositionen; das Erzeugen einer Hierarchie aus niedriger aufgelösten Darstellungen des ersten Bilds und des zweiten Bilds; das Gewinnen eines Disparitätsfelds, das die Bewegung zwischen einer niedriger aufgelösten Darstellung des ersten Bilds und einer entsprechenden der niedriger aufgelösten Darstellungen des zweiten Bilds kennzeichnet; das Überabtasten (Upsampling) des Disparitätsfelds auf eine höhere Auflösung der Hierarchie, um ein geschätztes Disparitätsfeld mit der höheren Auflösung bereitzustellen; das Verwölben einer höher aufgelösten Darstellung des ersten Bilds gemäß dem überabgetasteten Disparitätsfeld, um ein verwölbtes Bild bereitzustellen; das Korrelieren des verwölbten Bilds mit einer höher aufgelösten Darstellung des zweiten Bilds, um ein Disparitätsfehlerfeld zu erhalten; das Kombinieren des überabgetasteten Disparitätsfelds und des Disparitätsfehlerfelds, um ein höher aufgelöstes Disparitätsfeld zu erhalten.
Das Verfahren kann das Wiederholen der Verfahrensschritte für einen nächsthöheren Auflösungsgrad der Hierarchie aufweisen. Die höher aufgelöste Darstellung des ersten Bilds kann ein voll aufgelöstes Bild sein. Die niedriger aufgelöste Darstellung des ersten Bilds kann eine kleinste Größe in der Hierarchie haben. Das Verfahren kann das Anwenden des höher aufgelösten Disparitätsfelds auf ein Kameramodell umfassen, um eine dreidimensionale Oberflächenrekonstruktion des Objekts zu erhalten. Die Hierarchie kann eine dreistufige Pyramide und/oder eine vierstufige Pyramide und/oder eine fünfstufige Pyramide umfassen. Das erste Bild und das zweite Bild können in einer Dimension eine Größe von 96 Pixeln haben. Das erste Bild und das zweite Bild können in einer Dimension eine Größe von 128 Pixeln haben. Die zwei Kamerapositionen können zwei versetzten optischen Kanälen in einer dreidimensionalen Kamera mit mehreren Aperturen entsprechen. Die zwei Kamerapositionen können zwei unabhängigen Kamerapositionen entsprechen.
In einem anderen Aspekt umfaßt ein hier offenbartes Computerprogrammprodukt computerausführbaren Code, der auf einem computerlesbaren Medium ausgeführt ist, das, wenn es auf einem oder mehreren Rechenvorrichtungen ausgeführt wird, die folgenden Schritte durchführt: Gewinnen eines ersten Bilds und eines zweiten Bilds eines Objekts aus zwei Kamerapositionen; Erzeugen einer Hierarchie aus niedriger aufgelösten Darstellungen des ersten Bilds und des zweiten Bilds; Gewinnen eines Disparitätsfelds, das die Bewegung zwischen einer niedriger aufgelösten Darstellung des ersten Bilds und einer entsprechenden der niedriger aufgelösten Darstellungen des zweiten Bilds kennzeichnet; Überabtasten (Upsampling) des Disparitätsfelds auf eine höhere Auflösung der Hierarchie, um ein geschätztes Disparitätsfeld mit der höheren Auflösung bereitzustellen; Verwölben einer höher aufgelösten Darstellung des ersten Bilds gemäß dem überabgetasteten Disparitätsfeld, um ein verwölbtes Bild bereitzustellen; Korrelieren des verwölbten Bilds mit einer höher aufgelösten Darstellung des zweiten Bilds, um ein Disparitätsfehlerfeld zu erhalten; und Kombinieren des überabgetasteten Disparitätsfelds und des Disparitätsfehlerfelds, um ein höher aufgelöstes Disparitätsfeld zu erhalten.
Kurze Beschreibung der Zeichnungen
Die Erfindung und die folgende detaillierte Beschreibung gewisser ihrer Ausführungsformen sind unter Bezug auf die folgenden Figuren zu verstehen.
1 zeigt ein dreidimensionales Abtastsystem.
2 zeigt eine schematische Darstellung eines optischen Systems für eine dreidimensionale Kamera.
3 zeigt eine Verarbeitungspipeline zum Gewinnen dreidimensionaler Daten von einer Videokamera.
4 zeigt eine Bildhierarchie mit mehreren Auflösungen.
5 zeigt ein Verfahren zur hierarchischen Verarbeitung in der dreidimensionalen Rekonstruktion.
Detaillierte Beschreibung
Im folgenden Text sollten Verweise auf Elemente im Singular so verstanden werden, daß dazu auch Elemente im Plural und umgekehrt gehören, sofern nichts anderes ausdrücklich erklärt ist oder aus dem Text hervorgeht. Grammatikalische Konjunktionen sollen jede und alle disjunktiven und konjunktiven Kombinationen verknüpfter Teilsätze, Sätze, Wörter u. ä. zum Ausdruck bringen, sofern nichts anderes erklärt ist oder aus dem Kontext hervorgeht.
Die folgende Beschreibung erklärt detailliert Abtasttechnologien und konzentriert sich auf zahnmedizinische Anwendungen dreidimensionaler Bildgebung; jedoch wird deutlich sein, daß Varianten, Anpassungen und Kombinationen der nachstehenden Verfahren und Systeme für Leute mit gewöhnlichen Kenntnissen der Technik offensichtlich werden. Während zum Beispiel ein dreidimensionales Datenerfassungssystem beschrieben wird, können die folgenden Techniken in jedem Verfahren verwendet werden, in dem Unterschiede zwischen Paaren von Bildern mit mehreren Auflösungen nutzbringend verarbeitet werden können. Während die digitale Zahnmedizin eine nutzbringende Anwendung der verbesserten Genauigkeit ist, die sich aus den hier beschriebenen Techniken ergibt, können diese Techniken auch nutzbringend verwendet werden, um drei dimensionale Animationsmodelle oder dreidimensionale Abtastungen für Anwendungen zum maschinellen Sehen. Alle derartigen Varianten, Anpassungen und Kombinationen sollen in den Schutzbereich dieser Offenbarung fallen.
In der folgenden Beschreibung bezeichnet der Begriff ”Bild” allgemein einen zweidimensionalen Satz von Pixeln, die eine zweidimensionale Ansicht eines Gegenstands in einer Bildebene bilden. Der Begriff ”Bildsatz” bezeichnet allgemein einen Satz verwandter zweidimensionaler Bilder, die zu dreidimensionalen Daten aufgelöst werden könnten. Der Begriff ”Punktwolke” bezeichnet allgemein einen dreidimensionalen Satz von Punkten, die eine dreidimensionale Ansicht des Gegenstands bilden, die aus einer Anzahl zweidimensionaler Bilder rekonstruiert ist. In einem dreidimensionalen Bilderfassungssystem kann eine Anzahl solcher Punktwolken auch ausgerichtet und zu einer Gesamtpunktwolke kombiniert werden, die aus Bildern aufgebaut ist, die durch eine sich bewegende Kamera erfaßt sind. Somit wird verständlich sein, daß Pixel allgemein zweidimensionale Daten bezeichnen und Punkte allgemein dreidimensionale Daten bezeichnen, sofern keine andere Bedeutung speziell angegeben ist oder aus dem Kontext hervorgeht.
Die Begriffe ”dreidimensionales Modell”, ”dreidimensionale Oberflächendarstellung”, ”digitale Oberflächendarstellung”, ”dreidimensionale Oberflächenkarte” u. ä. sollen im Gebrauch hierin jede dreidimensionale Rekonstruktion eines Objekts bezeichnen, z. B. eine Punktwolke von Oberflächendaten, einen Satz zweidimensionaler Polygone oder alle anderen alle oder einige Oberflächen eines Objekts darstellenden Daten, die man über die Erfassung und/oder Verarbeitung dreidimensionaler Abtastdaten erhalten könnte, sofern keine andere Bedeutung angegeben ist oder anderweitig aus dem Kontext hervorgeht. Eine ”dreidimensionale Darstellung” kann jede der zuvor beschriebenen dreidimensionalen Oberflächendarstellungen wie auch volumetrische und andere Darstellungen aufweisen, sofern keine andere Bedeutung angegeben ist oder anderweitig aus dem Kontext hervorgeht.
Allgemein bezeichnen die Begriffe ”Rendern” oder ”Rendering” bzw. ”wiedergeben” oder ”Wiedergabe” eine zweidimensionale Visualisierung eines dreidimensionalen Objekts, z. B. zur Anzeige auf einem Monitor. Allerdings wird verständlich sein, daß vielfältige dreidimensionale Renderingtechnologien existieren und mit den hierin offenbarten Systemen und Verfahren nutzbringend zum Einsatz kommen können. Beispielsweise können die hierin beschriebenen Systeme und Verfahren eine holografische Anzeige, eine autostereoskopische Anzeige, eine Anaglyphenanzeige, eine am Kopf angeordnete Stereoanzeige oder jede andere zweidimensionale und/oder dreidimensionale Anzeige nutzbringend verwenden. Somit sollte Rendering in der Beschreibung hierin weitgefaßt interpretiert werden, sofern keine andere Bedeutung angegeben ist oder anderweitig aus dem Kontext hervorgeht.
Im Gebrauch hierin soll der Begriff ”Dentalobjekt” allgemein Gegenstände bezeichnen, die mit der Zahnmedizin zusammenhängen. Dazu können intraorale Strukturen gehören, z. B. das Gebiß und noch typischer das menschliche Gebiß, z. B. einzelne Zähne, Quadranten, Vollbogen, Bogenpaare (die getrennt oder in Bißlagen verschiedener Typen liegen können), Weichteile u. ä. sowie Knochen und alle anderen stützenden oder umliegenden Strukturen. Im Gebrauch hierin bezeichnet der Begriff ”intraorale Strukturen” sowohl natürliche Strukturen in einem Mund gemäß der vorstehenden Beschreibung als auch künstliche Strukturen, z. B. jedes der nachstehend beschriebenen Dentalobjekte, die im Mund vorhanden sein könnten. Zu Dentalobjekten können ”Restaurationen” gehören, die allgemein so aufgefaßt werden können, daß dazu Komponenten gehören, die die Struktur oder Funktion des vorhandenen Gebisses wiederherstellen, z. B. Kronen, Brücken, Facetten, Inlays, Onlays, Amalgame, Komposite und verschiedene Teilstrukturen, z. B. Stumpfkappen u. ä., wie auch temporäre Restaurationen zum Gebrauch während der Fertigung einer permanenten Restauration. Zu Dentalobjekten kann auch eine ”Prothese” gehören, die Gebiß durch entfernbare oder permanente Strukturen ersetzt, z. B. Zahnersatz, Teilprothe sen, Implantate, gehaltene Prothesen u. ä. Ferner können zu Dentalobjekten auch ”Appliances” bzw. ”Apparaturen” zählen, die zum Korrigieren, Ausrichten oder anderweitigen temporären oder permanenten Einstellen des Gebisses verwendet werden, z. B. entfernbare kieferorthopädische Apparaturen, chirurgische Stents, Bruxismusapparaturen, Schnarchschienen, Apparaturen zur indirekten Bracketplazierung u. ä. Außerdem können zu Dentalobjekten ”Kleinteile” gehören, die am Gebiß längere Zeit befestigt werden, z. B. Implantathalterungen, Implantatabutments, kieferorthopädische Brackets und andere kieferorthopädische Komponenten. Zu Dentalobjekten können auch ”Übergangskomponenten” aus zahntechnischer Herstellung zählen, z. B. Zahnmodelle (vollständig und/oder partiell), Wax-ups, Ausschmelzformen u. ä. sowie Schalen, Unterlagen, Formen und andere Komponenten, die bei der Fertigung von Restaurationen, Prothesen u. ä. zum Einsatz kommen. Kategorisieren lassen sich Dentalobjekte auch als natürliche Dentalobjekte, z. B. die Zähne, Knochen und andere zuvor beschriebene intraorale Strukturen, oder als künstliche Dentalobjekte, z. B. Restaurationen, Prothesen, Apparaturen, Kleinteile und Übergangskomponenten aus zahntechnischer Herstellung wie zuvor beschrieben.
Solche Begriffe wie z. B. ”digitales Dentalmodell”, ”digitaler Zahnabdruck” u. ä. sollen dreidimensionale Darstellungen von Dentalobjekten bezeichnen, die in verschiedenen Aspekten der Erfassung, Analyse, Verordnung und Herstellung verwendet werden können, sofern keine andere Bedeutung anderweitig angegeben ist oder aus dem Kontext hervorgeht. Solche Begriffe wie z. B. ”Dentalmodell” oder ”Zahnabdruck” sollen ein physisches Modell bezeichnen, z. B. eine gegossene, gedruckte oder anderweitig gefertigte physische Ausprägung eines Dentalobjekts. Sofern nicht anders angegeben, kann der Begriff ”Modell” in alleiniger Verwendung ein physisches Modell und/oder ein digitales Modell bezeichnen.
Zudem wird ferner verständlich sein, daß solche Begriffe wie z. B. ”Tool” oder ”Steuerelement” in ihrer Verwendung zur Beschreibung von Aspekten einer Benutzeroberfläche allgemein vielfältige Techniken bezeichnen sollen, die auf einer grafischen Benutzeroberfläche oder anderen Benutzerschnittstelle zum Einsatz kommen können, um Benutzereingaben zu empfangen, die die Verarbeitung auslösen oder steuern, darunter z. B. Dropdownlisten, Optionsfelder, Cursor- und/oder Mausaktionen (Auswahl nach Punkt, Auswahl nach Bereich, Drag-and-Drop-Operationen usw.), Kontrollkästchen, Befehlszeilen, Texteingabefelder, Meldungen und Alarme, Fortschrittsanzeigen usw. Zu einem Tool oder Steuerelement kann auch jede physische Hardware im Zusammenhang mit der Benutzereingabe gehören, z. B. eine Maus, eine Tastatur, eine Anzeige, ein Tastenblock, ein Trackball und/oder jedes andere Gerät, das physische Eingaben von einem Benutzer empfängt und die physischen Eingaben in eine Eingabe zur Verwendung in einem computergestützten System umwandelt. Somit sollten in der folgenden Beschreibung die Begriffe ”Tool”, ”Steuerelement” u. ä. weitgefaßt interpretiert werden, sofern keine spezifischere Bedeutung anderweitig angegeben ist oder aus dem Kontext hervorgeht.
1 zeigt ein dreidimensionales Abtastsystem, das mit den hierin beschriebenen Systemen und Verfahren verwendet werden kann. Allgemein kann das System 100 eine Kamera 102 aufweisen, die Bilder von einer Oberfläche 106 eines Objekts 104 erfaßt, z. B. eines Dentalpatienten, und die Bilder zu einem Computer 108 weiterleitet, der eine Anzeige 110 sowie ein oder mehrere Benutzereingabegeräte 112, 114 aufweisen kann, z. B. eine Maus 112 oder eine Tastatur 114. Die Kamera 102 kann auch ein integriertes Ein- oder Ausgabegerät 116 aufweisen, z. B. eine Steuereingabe (z. B. Taste, Touchpad, Rändelrad) oder eine Anzeige (z. B. LCD- oder LED-Anzeige), um Statusinformationen zu liefern.
Zur Kamera 102 kann jede Kamera oder jedes Kamerasystem gehören, die oder das zur Erfassung von Bildern geeignet ist, aus denen eine dreidimensionale Punktwolke oder andere dreidimensionale Daten rückgewonnen werden können. Beispielsweise kann die Kamera 102 ein System mit mehreren Aperturen gemäß der Offenbarung in der US-A-7372642 (Rohály et al.) nutzen, deren gesamter Inhalt hierin durch Verweis aufgenommen ist. Wenngleich Rohály ein System mit mehreren Aperturen offenbart, wird deutlich sein, daß jedes System mit mehreren Aperturen ähnlich verwendet werden kann, das zum Rekonstruieren einer dreidimensionalen Punktwolke aus einer Anzahl zweidimensionaler Bilder geeignet ist. In einer Ausführungsform mit mehreren Aperturen kann die Kamera 102 mehrere Aperturen aufweisen, darunter eine Mittelapertur, die entlang einer optischen Mittelachse einer Linse positioniert ist, die einen Mittelkanal für die Kamera 102 zusammen mit etwaiger zugeordneter Abbildungshardware bildet. In solchen Ausführungsformen kann der Mittelkanal ein herkömmliches Videobild des abgetasteten Gegenstands liefern, während eine Anzahl axial versetzter Kanäle Bildsätze ergibt, die Disparitätsinformationen enthalten, die bei der dreidimensionalen Rekonstruktion einer Oberfläche zum Einsatz kommen können. In anderen Ausführungsformen können eine separate Videokamera und/oder ein separater Kanal vorgesehen sein, um das gleiche Ergebnis zu erreichen, d. h. ein Video eines Objekts, das einer dreidimensionalen Abtastung des Objekts zeitlich entspricht, vorzugsweise aus derselben Perspektive oder aus einer Perspektive mit einer festen, bekannten Beziehung zur Perspektive der Kamera 102. Die Kamera 102 kann auch oder statt dessen eine stereoskopische, trioskopische oder andere Mehrfachkamera oder andere Konfiguration aufweisen, in der eine Anzahl von Kameras oder optischen Wegen in fester Relation zueinander gehalten werden, um zweidimensionale Bilder eines Objekts aus einer Anzahl unterschiedlicher Perspektiven zu erhalten. Die Kamera 102 kann eine geeignete Verarbeitung zum Ableiten einer dreidimensionalen Punktwolke aus einem Bildsatz oder einer Anzahl von Bildsätzen aufweisen, oder jeder zweidimensionale Bildsatz kann zu einem externen Prozessor gesendet werden, der z. B. im später beschriebenen Computer 108 enthalten ist. In anderen Ausführungsformen kann die Kamera 102 strukturiertes Licht, Laserabtastung, tachymetrische Streckenmessung oder jede andere Technologie nutzen, die zum Erfassen dreidimensionaler Daten oder zweidimensionaler Daten geeignet ist, die zu dreidimensionalen Daten aufgelöst werden können. Obwohl die später beschriebenen Techniken Videodaten nutzbringend verwenden können, die durch ein videobasiertes dreidimensionales Abtastsystem erfaßt werden, wird verständlich sein, daß jedes andere dreidimensionale Abtastsystem mit einem Videoerfassungssystem ergänzt werden kann, das geeignete Videodaten oder Bilddaten zeitgleich oder anderweitig synchronisiert mit der Erfassung dreidimensionaler Daten erfaßt.
In einer Ausführungsform ist die Kamera 102 eine frei positionierbare Handsonde mit mindestens einem Benutzereingabegerät 116, z. B. einer Taste, einem Hebel, einer Wählscheibe, einem Rändelrad, einem Schalter o. ä. zur Benutzersteuerung des Bilderfassungssystems 100, z. B. zum Starten und Stoppen von Abtastungen. In einer Ausführungsform kann die Kamera 102 zur Dentalabtastung geformt und bemessen sein. Insbesondere kann die Kamera 102 zur intraoralen Abtastung und Datenerfassung geformt und bemessen sein, z. B. durch Einführung in einen Mund eines Abbildungsobjekts und Führen über eine intraorale Oberfläche 106 in einem geeigneten Abstand, um Oberflächendaten von Zähnen, Zahnfleisch usw. zu erfassen. Über ein solches kontinuierliches Datenerfassungsverfahren kann die Kamera 102 eine Punktwolke von Oberflächendaten mit ausreichender räumlicher Auflösung und Genauigkeit erfassen, um Dentalobjekte, z. B. Prothetik, Kleinteile, Apparaturen u. ä. daraus herzustellen, entweder direkt oder über vielfältige Zwischenverarbeitungsschritte. In anderen Ausführungsformen können Oberflächendaten von einem Dentalmodell, z. B. einer Dentalprothese, erfaßt werden, um die richtige Anpassung mit Hilfe einer früheren Abtastung des entsprechenden Gebisses, z. B. einer für die Prothese präparierten Zahnoberfläche, zu gewährleisten.
Obwohl in 1 nicht gezeigt, wird deutlich sein, daß eine Anzahl ergänzender Beleuchtungssysteme während der Bilderfassung nutzbringend zum Einsatz kommen kann. Beispielsweise kann die Umgebungsbeleuchtung mit einer oder mehreren Punktleuchten verstärkt werden, die das Objekt 104 beleuchten, um die Bilderfassung zu beschleunigen und die Schärfentiefe (oder räumliche Auslösungstiefe) zu verbessern. Zudem oder statt dessen kann die Kamera 102 auch eine Stroboskop-, eine Blitz- oder irgendeine andere Lichtquelle aufweisen, um die Beleuchtung des Objekts 104 während der Bilderfassung zu ergänzen.
Das Objekt 104 kann jedes Objekt, jede Ansammlung von Objekten, jeder Abschnitt eines Objekts oder jeder andere Gegenstand sein. Insbesondere kann im Hinblick auf die hierin diskutierten Dentaltechniken das Objekt 104 ein menschliches Gebiß aufweisen, das aus einem Mund eines Dentalpatienten intraoral erfaßt wird. Eine Abtastung kann eine dreidimensionale Darstellung des Gebisses teilweise oder vollständig gemäß einem speziellen Zweck der Abtastung erfassen. Dadurch kann die Abtastung ein digitales Modell eines Zahns, eines Quadranten von Zähnen oder einer vollen Ansammlung von Zähnen mit zwei gegenüberliegenden Bogen sowie Weichteilen oder allen anderen relevanten intraoralen Strukturen erfassen. Die Abtastung kann mehrere Darstellungen erfassen, z. B. eine Zahnoberfläche vor und nach der Präparation für eine Restaurierung. Wie später erwähnt, können diese Daten für die anschließende Modellierung zum Einsatz kommen, z. B. die Gestaltung einer Restaurierung oder die Bestimmung einer Randlinie dafür. Während der Abtastung kann ein Mittelkanal der Kamera 102 oder eines separaten Videosystems ein Video des Gebisses vom Standpunkt der Kamera 102 aus erfassen. In anderen Ausführungsformen, in denen z. B. eine vervollständigte Anfertigung an eine Oberflächenpräparation virtuell testangepaßt wird, kann die Abtastung eine Dentalprothese aufweisen, z. B. ein Inlay, eine Krone oder jede andere Dentalprothese, dentale Kleinteile, eine dentale Apparatur o. ä. Das Objekt 104 kann auch oder statt dessen ein Dentalmodell aufweisen, z. B. einen Gipsabguß, ein Wax-up, einen Abdruck oder einen Negativabdruck eines Zahns, von Zähnen, Weichteilen oder eine gewisse Kombination daraus.
Der Computer 108 kann z. B. einen Personalcomputer oder eine andere Verarbeitungsvorrichtung aufweisen. In ei ner Ausführungsform umfaßt der Computer 108 einen Personalcomputer mit einer Dual-2,8-GHz-Opteron-Zentraleinheit, 2 Gigabyte Schreib-/Lesespeicher, einem TYAN-Thunder-K8WE-Motherboard und einer 250-Gigabyte-Festplatte mit 10.000 U/min. In einer derzeitigen Ausführungsform kann das System so betrieben werden, daß es mehr als fünftausend Punkte pro Bildsatz in Echtzeit mit Hilfe der hierin beschriebenen Techniken erfaßt und eine Gesamtpunktwolke aus mehreren Millionen Punkten speichert. Natürlich kann diese Punktwolke weiterverarbeitet werden, um der anschließenden Datenhandhabung Rechnung zu tragen, z. B. durch Dezimieren der Punktwolkendaten oder Erzeugen eines entsprechenden Gitters aus Oberflächendaten. Im Gebrauch hierin bedeutet der Begriff ”Echtzeit” allgemein eine Situation ohne beobachtbare Latenz zwischen Verarbeitung und Anzeige. In einem videobasierten Abtastsystem bezeichnet Echtzeit insbesondere die Verarbeitung in der Zeit zwischen Rahmen von Videodaten, die je nach spezifischen Videotechnologien zwischen etwa fünfzehn Rahmen pro Sekunde und etwa dreißig Rahmen pro Sekunde variieren kann. Allgemeiner können Verarbeitungsfähigkeiten des Computers 108 je nach Größe des Objekts 104, Geschwindigkeit der Bilderfassung und gewünschter räumlicher Auflösung dreidimensionaler Punkte variieren. Der Computer 108 kann auch Peripheriegeräte aufweisen, z. B. eine Tastatur 114, Anzeige 110 und Maus 112 zum Nutzerdialog mit dem Kamerasystem 100. Die Anzeige 110 kann eine Touchscreenanzeige sein, die Benutzereingaben über direkten physischen Dialog mit der Anzeige 110 empfangen kann. In einem weiteren Aspekt kann die Anzeige eine autostereoskopische Anzeige o. ä. aufweisen, die Stereobilder anzeigen kann.
Kommunikationsabläufe zwischen dem Computer 108 und der Kamera 102 können jede geeignete Kommunikationsverbindung verwenden, z. B. eine Drahtverbindung oder eine drahtlose Verbindung, z. B. auf der Grundlage von IEEE 802.11 (auch als drahtloses Ethernet bekannt), BlueTooth oder jedes anderen geeigneten drahtlosen Standards, z. B. mit Hilfe eines Hochfrequenz, Infrarot- oder anderen drahtlosen Kommuni kationsmediums. Bei der medizinischen Bildgebung oder anderen sensiblen Anwendungen kann die drahtlose Bildübertragung von der Kamera 102 zum Computer 108 geschützt sein. Der Computer 108 kann Steuersignale für die Kamera 102 erzeugen, die zusätzlich zu Bilderfassungsbefehlen herkömmliche Kamerabedienungen aufweisen können, z. B. Fokus oder Zoom.
In einem Beispiel für den allgemeinen Betrieb eines dreidimensionalen Bilderfassungssystems 100 kann die Kamera 102 zweidimensionale Bildsätze mit einer Videofrequenz erfassen, während die Kamera 102 über eine Oberfläche des Gegenstands geführt wird. Die zweidimensionalen Bildsätze können zum Computer 108 zur Ableitung dreidimensionaler Punktwolken weitergeleitet werden. Die dreidimensionalen Daten für jeden neu erfaßten zweidimensionalen Bildsatz können abgeleitet und mit Hilfe einer Anzahl unterschiedlicher Techniken an vorhandene dreidimensionale Daten angepaßt oder ”angesetzt” werden. Ein solches System kann eine Kamerabewegungsabschätzung nutzen, damit die Position der Kamera 102 nicht unabhängig nachverfolgt werden muß. Ein nützliches Beispiel für eine solche Technik ist in der gemeinsamen US-Anmeldung Nr. 11/270,135, eingereicht am 9. November 2005, beschrieben, deren gesamter Inhalt hierin durch Verweis aufgenommen ist. Allerdings wird deutlich sein, daß dieses Beispiel keine Einschränkung darstellt und daß die hierin beschriebenen Grundsätze auf einen breiten Bereich dreidimensionaler Bilderfassungssysteme anwendbar sind.
Die Anzeige 110 kann jede Anzeige aufweisen, die zum Videorendering- oder Rendering mit anderen Raten mit einer Detailstufe geeignet ist, die den erfaßten Daten entspricht. Zu geeigneten Anzeigen zählen Kathodenstrahlanzeigen, Flüssigkristallanzeigen, Leuchtdiodenanzeigen u. ä. Allgemein kann die Anzeige 110 mit dem Computer 108 betrieblich gekoppelt und fähig sein, Anzeigesignale von ihm zu empfangen. Diese Anzeige kann eine Bildröhre oder einen Flachbildschirm, eine dreidimensionale Anzeige (z. B. eine Anaglyphenanzeige), eine autostereoskopische dreidimensionale Anzeige oder jede andere geeignete zweidimensionale oder dreidimen sionale Renderinghardware aufweisen. In einigen Ausführungsformen kann die Anzeige eine Touchscreenschnittstelle aufweisen, die z. B. kapazitive, resistive oder akustische Oberflächenwellen-(auch Dispersivsignal genannt)Touchscreentechnologien oder jede andere geeignete Technologie zum Erfassen physischer Interaktionen mit der Anzeige 110 verwendet.
Das System 100 kann ein computernutzbares oder computerlesbares Medium aufweisen. Das computernutzbare Medium 118 kann einen oder mehrere Speicherchips (oder andere Chips, z. B. einen Prozessor, der Speicher aufweist), optische Platten, magnetische Platten oder andere magnetische Medien usw. aufweisen. In verschiedenen Ausführungsformen kann das computernutzbare Medium 118 entfernbaren Speicher (z. B. ein USB-Bauelement, ein Bandlaufwerk, eine externe Festplatte usw.), abgesetzten Speicher (z. B. netzwerkangebundenen Speicher), flüchtigen oder nichtflüchtigen Computerspeicher usw. aufweisen. Das computernutzbare Medium 118 kann computerlesbare Befehle zur Ausführung durch den Computer 108 enthalten, um die hierin beschriebenen verschiedenen Verfahren durchzuführen. Ferner oder statt dessen kann das computernutzbare Medium 118 Daten speichern, die von der Kamera 102 empfangen werden, ein dreidimensionales Modell des Objekts 104 speichern, Computercode zum Rendering und zur Anzeige usw. speichern.
2 veranschaulicht ein optisches System 200 für eine dreidimensionale Kamera, das mit den hierin beschriebenen Systemen und Verfahren verwendet werden kann, z. B. für die zuvor anhand von 1 beschriebene Kamera 102.
Das optische System 200 kann eine primäre optische Einrichtung 202 aufweisen, die in jeder Art von Bildverarbeitungssystem zum Einsatz kommen kann. Allgemein bezeichnet eine primäre optische Einrichtung hierin ein optisches System mit einem optischen Kanal. Normalerweise benutzt dieser optische Kanal mindestens eine Linse gemeinsam und hat eine gemeinsam benutzte Bildebene im optischen System, obwohl in der folgenden Beschreibung Varianten davon ausdrücklich be schrieben werden oder anderweitig aus dem Kontext hervorgehen können. Das optische System 200 kann eine einzelne Primärlinse, eine Gruppe von Linsen, eine Objektivlinse, Spiegelsysteme (u. a. traditionelle Spiegel, digitale Spiegelsysteme, digitale Lichtprozessoren o. ä.), Konfokalspiegel und alle anderen optischen Einrichtungen aufweisen, die zur Verwendung mit den hierin beschriebenen Systemen geeignet sind. Das optische System 200 kann z. B. in einem stereoskopischen oder anderen Mehrfachbilder-Kamerasystem verwendet werden. Zu anderen optischen Einrichtungen können holografische optische Elemente o. ä. gehören. In verschiedenen Konfigurationen kann die primäre optische Einrichtung 202 eine oder mehrere Linsen aufweisen, z. B. eine Objektivlinse (oder Linsengruppe) 202b, eine Feldlinse 202d, eine Relaislinse 202f usw. Die Objektivlinse 202b kann an oder nahe der Eintrittspupille 202a des optischen Systems 200 liegen. Die Feldlinse 202d kann an oder nahe einer ersten Bildebene 202c des optischen Systems 200 liegen. Die Relaislinse 202f kann Lichtstrahlenbündel im optischen System 200 weiterleiten. Ferner kann das optische System 200 solche Komponenten wie z. B. Aperturelemente 208 mit einer oder mehreren Aperturen 212, eine Refokussiereinrichtung 210 mit einem oder mehreren Refokussierelementen 204, eine oder mehrere Samplingeinrichtungen 218 und/oder eine Anzahl von Sensoren 214a, 214b, 214c aufweisen.
Das optische System 200 kann zum Active Wavefront Sampling gestaltet sein, was so zu verstehen ist, daß es jede Technik umfaßt, die zum Sampling einer Folge oder Ansammlung optischer Daten von einem Objekt 220 oder Objekten verwendet wird, darunter optische Daten, die dazu beitragen, zweidimensionale oder dreidimensionale Kennwerte des Objekts 220 zu detektieren, wobei optische Daten zur Detektion von Bewegung verwendet werden, optische Daten zur Geschwindigkeitsmessung oder Objektverfolgung o. ä. verwendet werden. Nähere Einzelheiten eines optischen Systems, das als optisches System 200 von 2 zum Einsatz kommen kann, liefert die US-A-7372642 , deren gesamter Inhalt hierin durch Verweis aufgenommen ist. Allgemeiner wird verständlich sein, daß 2 zwar eine Ausführungsform eines optischen Systems 200 darstellt, aber zahlreiche Varianten möglich sind.
3 zeigt ein dreidimensionales Rekonstruktionssystem 300, das eine Hochgeschwindigkeitspipeline und eine Hochgenauigkeitspipeline verwendet. Im allgemeinen zielt die Hochgeschwindigkeitsverarbeitungspipeline 330 darauf ab, dreidimensionale Daten in Echtzeit, wie etwa mit einer Videobildrate, die von einer zugehörigen Anzeige verwendet wird, bereitzustellen, während die Hochgenauigkeitsverarbeitungspipeline 350 darauf abzielt, die höchstmögliche Genauigkeit aus Kameramessungen in Abhängigkeit von allen externen Berechnungs- oder Zeitbeschränkungen, die von der Systemhardware oder einer beabsichtigten Verwendung der Ergebnisse auferlegt werden, bereitzustellen. Eine Datenquelle 310, wie etwa die vorstehend beschriebene Kamera 102, stellt Bilddaten oder ähnliches an das System 300 bereit. Die Datenquelle 310 kann zum Beispiel Hardware, wie etwa LED-Ringlichter, Wandsensoren, einen Bilddigitalisierer (Framegrabber), einen Computer, ein Betriebssystem und jede andere geeignete Hardware und/oder Software zum Gewinnen von Daten, die in einer dreidimensionalen Rekonstruktion verwendet werden, umfassen. Bilder von der Datenquelle 310, wie etwa Mittelkanalbilder, die herkömmliche Videobilder enthalten, und Seitenkanäle, die Disparitätsdaten enthalten, die verwendet werden, um Tiefeninformationen wiederzugewinnen, können an den Echtzeit-Verarbeitungskontroller 316 weitergeleitet werden. Der Echtzeitverarbeitungskontroller 316 kann auch Kamerasteuerinformationen oder andere Rückmeldungen an die Datenquelle 310 bereitstellen, die in der anschließenden Datenerfassung verwendet werden sollen, oder zum Spezifizieren von Daten, die bereits in der Datenquelle 310 erhalten wurden, die von dem Echtzeitverarbeitungskontroller 316 benötigt werden. Bilder mit voller Auflösung und zugehörige Bilddaten können in einem Vollauflösungsbildspeicher 322 gehalten werden. Die gespeicherten Bilder können zum Beispiel während der Verarbeitung an den Hochgenauigkeitsverar beitungskontroller 324 bereitgestellt oder für die Bildüberprüfung durch einen menschlichen Benutzer während nachfolgenden Verarbeitungsschritten gespeichert werden.
Der Echtzeitverarbeitungskontroller 316 kann in Echtzeit Bilder oder Rahmen zur Rekonstruktion von dreidimensionalen Oberflächen aus den zweidimensionalen Quelldaten an die Hochgeschwindigkeits-(Videoraten-)Verarbeitungspipeline 330 bereitstellen. In einer beispielhaften Ausführungsform können zweidimensionale Bilder aus einem Bildsatz, wie etwa Seitenkanalbildern, von einem zweidimensionalen Bildausrichtungsmodul 332 ausgerichtet werden. Basierend auf den Ergebnissen der zweidimensionalen Bildausrichtung kann ein dreidimensionales Punktwolken-Generierungsmodul 334 eine dreidimensionale Punktwolke oder eine andere dreidimensionale Darstellung erzeugen. Die dreidimensionalen Punktwolken von einzelnen Bildsätzen können von einem dreidimensionalen Anfügungsmodul 336 kombiniert werden. Schließlich können die angesetzten Messungen von einem dreidimensionalen Erzeugungsmodul 338 zu einem dreidimensionalen Modell kombiniert werden. Das sich ergebende Modell kann als ein dreidimensionales Hochgeschwindigkeitsmodell 340 gespeichert werden.
Der Hochgenauigkeitsverarbeitungskontroller 324 kann Bilder oder Rahmen an die Hochgenauigkeitsverarbeitungspipeline 350 bereitstellen. Separate Bildsätze können eine zweidimensionale Bildausrichtung haben, die von einem zweidimensionalen Bildausrichtungsmodul 352 durchgeführt wird. Basierend auf den Ergebnissen der zweidimensionalen Bildausrichtung kann von einem dreidimensionalen Punktwolkengenerierungsmodul 354 eine dreidimensionale Punktwolke oder eine andere dreidimensionale Darstellung erzeugt werden. Die dreidimensionalen Punktwolken von einzelnen Bildsätzen können unter Verwendung eines dreidimensionalen Anfügungsmoduls 356 verbunden werden. Die globale Bewegungsoptimierung, auf die hier auch als globale Wegoptimierung oder globale Kamerawegoptimierung Bezug genommen wird, kann von einem globalen Bewegungsoptimierungsmodul 357 durchgeführt werden, um Fehler in dem sich ergebenden dreidimensionalen Modell 358 zu verringern. Im allgemeinen kann der Weg der Kamera, während sie die Rahmen gewinnt, als ein Teil des dreidimensionalen Rekonstruktionsverfahrens berechnet werden. In einem Nachverarbeitungsverfeinerungsverfahren kann die Berechnung des Kamerawegs optimiert werden, das heißt, die Akkumulation von Fehlern entlang der Länge des Kamerawegs kann durch ergänzende Rahmen-Rahmen-Bewegungsschätzung mit einigen oder der gesamten globalen Weginformationen minimiert werden. Basierend auf globalen Informationen, wie etwa einzelnen Rahmen aus Daten in dem Bildspeicher 322, dem dreidimensionalen Hochgeschwindigkeitsmodell 340 und Zwischenergebnissen in der Hochgenauigkeitsverarbeitungspipeline 350 kann das Hochgenauigkeitsmodell 370 verarbeitet werden, um Fehler in dem Kameraweg und sich ergebende Bildfehler in dem rekonstruierten Modell zu verringern. Als eine weitere Verfeinerung kann von einem Gitterprojektionsmodul 360 ein Gitter auf das Hochgeschwindigkeitsmodell projiziert werden. Die sich ergebenden Bilder können durch ein Verwölbungsmodul 362 verwölbt oder verformt werden. Verwölbte Bilder können verwendet werden, um die Ausrichtung und das Anfügen zwischen Bildern, zum Beispiel durch Verringern des Anfangsfehlers in einer Bewegungsschätzung, zu erleichtern. Die verwölbten Bilder können an das zweidimensionale Bildausrichtungsmodul 352 bereitgestellt werden. Die Rückmeldung des dreidimensionalen Hochgenauigkeitsmodells 370 in die Pipeline kann wiederholt werden, bis eine Metrik, wie etwa eine Anfügungsgenauigkeit oder eine minimale Fehlerschwelle, erhalten wird.
4 zeigt eine Bildhierarchie mit mehreren Auflösungen. Im allgemeinen wird eine Hierarchie 400 (auch als Pyramide bezeichnet) aus Bildern mit verschiedener Auflösung aus einem Quellbild 402 mit voller Auflösung erstellt, welches eine beliebige Anzahl von Bildern 404 mit niedrigerer Auflösung und ein Bild 406 mit niedrigster Auflösung umfaßt. In einem System mit mehreren Aperturen, wie etwa jedem der vorstehend beschriebenen, kann jedes vollaufgelöste Quellbild 402 (z. B. von einem Seitenkanal der Kamera) ein oder mehrere entsprechende vollaufgelöste Quellbilder 408 haben, die von einem festen bekannten Ort relativ zu dem vollaufgelösten Bild 402 erfaßt werden. Dieses entsprechende vollaufgelöste Quellbild 408 kann auch in jede Anzahl von niedriger aufgelösten Bildern 410 und ein niedrigst aufgelöstes Bild 412 vorverarbeitet werden. Wie vorstehend allgemein beschrieben, kann ein Disparitätsfeldbild 418 für die Bilder 406, 412 mit niedrigster Auflösung erhalten werden, das Unterschiede zwischen dem Bildinhalt der Bilder 406, 412 codiert. Dieses Disparitätsfeldbild 418 kann verwendet werden, um höher aufgelöste Disparitätsfelder 416, 414 zu schätzen, was die Übereinstimmungs- und Disparitätsbestimmungen für den höher aufgelösten Inhalt vereinfachen und/oder verfeinern kann.
5 zeigt ein Verfahren zur hierarchischen Verarbeitung in der dreidimensionalen Rekonstruktion. Wie in Schritt 502 gezeigt, kann das Verfahren 500 mit dem Erfassen von Rahmen von Bilddaten entlang eines Kamerawegs zum Beispiel unter Verwendung einer Kamera mit mehreren Aperturen, wie zum Beispiel der vorstehend beschriebenen, beginnen. Dies kann Bildpaare von zwei versetzten Kanälen der Kamera zusammen mit einem Mittelkanal, der herkömmliche unverwölbte Bilder, alle mit der vollen Kameraauflösung, codiert, umfassen. Beispielhaft und nicht einschränkend kann dies 128×128-Quadratpixelbilder (d. h. 128 Pixel in jeder Dimension) oder jegliche anderen Abmessungen umfassen, die gemäß Verarbeitungsbedingungen, Bildgebungshardware oder ähnlichem ausgewählt werden. Die Kamerapositionen für zwei versetzte Kanäle einer Kamera mit mehreren Aperturen sind voneinander abhängig. Das heißt, diese Positionen haben eine feste räumliche Beziehung miteinander. Während hier beschriebene hierarchische Techniken in diesem Zusammenhang nutzbringend verwendet werden können, versteht sich, daß diese Technik umfassender auf jede bewegungsbasierte Rückgewinnung dreidimensionaler Daten anwendbar ist. Zum Beispiel können zwei Bilder, die aus unabhängigen Kamerapositionen, wie zum Beispiel einer Kamera mit einer einzigen Apertur in zwei Positionen erfaßt wurden, verarbeitet werden, um Disparitäten für jeden ge meinsamen Gegenstand zwischen den Bildern herauszufinden, und das hier beschriebene Verfahren 500 kann nutzbringend verwendet werden, um ein Disparitätsfeld aus derartigen Bilder rückzugewinnen.
Wie in Schritt 504 gezeigt, kann basierend auf den vollaufgelösten Bildern eine Hierarchie niedriger aufgelöster Bilder erhalten werden. Dies kann jede geeignete Technik umfassen, die in der Technik für die Kompression, die Auflösungsanpassung mit verringerter Abtastfrequenz und ähnliches bekannt ist, die zweidimensionale räumliche Informationen ausreichend bewahrt, um dem Vergleich der niedriger aufgelösten Bilder Rechnung zu tragen. Beispielhaft und nicht einschränkend kann die Hierarchie drei bis fünf Stufen fortschreitend niedriger aufgelöster Bilder oder einer niedrigsten Auflösung von 32 Pixeln, 16 Pixeln oder 8 Pixeln umfassen.
Wie in Fig. 506 gezeigt, kann ein Disparitätsfeld für die niedrigst aufgelösten Bilder in der Hierarchie bestimmt werden. Das Disparitätsfeld kann Unterschiede, wie etwa die Verschiebung von Merkmalen, zwischen den zwei versetzten Bildern der Kamera basierend auf den niedrig aufgelösten Daten codieren. Zahlreiche Techniken sind für das Ausfindigmachen und Kennzeichnen von Disparitäten in zweidimensionalen Bildern bekannt, von denen jede für die Verwendung in Schritt 506 geeignet ist.
Wie in Schritt 508 gezeigt, kann das niedrigst aufgelöste Disparitätsfeld unter Verwendung jeder geeigneten Technik auf die nächste Hierarchiestufe, z. B. eine Stufe mit der doppelten Auflösung, überabgetastet werden. Dies kann eine Schätzung des höher aufgelösten Disparitätsfelds bereitstellen. Während die Verdoppelung der Auflösung eine nützliche Schrittgröße zur Verarbeitung, wie hier beschrieben, ist, versteht sich, daß das Upsampling bzw. Überabtasten auf andere Bildgrößen ebenfalls verwendet werden kann, ohne vom Schutzbereich dieser Offenbarung abzuweichen.
Wie in Schritt 510 gezeigt, kann die Disparitätsfeldschätzung angewendet werden, um eines der höher aufge lösten zweidimensionalen Bilder von der Kamera zu verwölben. Im allgemeinen wendet dieser Schritt Bewegungsinformation von der niedrigeren Stufe auf ein höher aufgelöstes Bild an. Dies kann zum Beispiel als eine lineare Interpolation des Disparitätsfelds mit der höheren Auflösung implementiert werden.
Wie in Schritt 512 gezeigt, kann das Disparitätsfeld auf der überabgetasteten Auflösungsstufe erhalten werden, indem das verwölbe Bild von einem Kanal der Kamera mit einem unverwölbten Bild eines entsprechenden versetzten Kanals verglichen wird. Als ein erheblicher Vorteil kann dieser Ansatz das Verarbeitungsgitter für die zwei Bilder in einem Bildpaar ausrichten und kann eine Verarbeitung mit höherer Auflösung für Disparitätsdaten auf dieser Stufe bereitstellen. Das verwölbte bild von einem Kanal und das unverwölbte Bild von dem anderen Kanal können unter Verwendung jeglicher geeigneter Techniken korreliert werden, um ein Disparitätsfeld rückzugewinnen, das die Bewegung zwischen den zwei Bildern beschreibt. Wenn das Disparitätsfeld bei der höheren Auflösung nicht vollkommen genau ist, wird eine Restbewegung vorhanden sein, nachdem eines der Bilder entsprechend der Schätzung verwölbt wurde. Dieser Unterschied kann unter Verwendung jeder geeigneten Technik für die Rückgewinnung der Bewegung aus mehreren zweidimensionalen Bildern auf einer pixelweisen Basis für das Verarbeitungsgitter rückgewonnen werden, und das Ergebnis kann als ein Disparitätsfehlerfeld verwendet werden, um die Disparitätsschätzung aus dem niedriger aufgelösten Bild zu verfeinern.
Wie in Schritt 514 gezeigt, kann das Disparitätsfeld bei der aktuellen Verarbeitungsauflösung bestimmt werden, indem das geschätzte Disparitätsfeld und der Disparitätsfeldfehler kombiniert werden. Da die Beziehung zwischen Werten in dem geschätzten Disparitätsfeld und dem Disparitätsfeldfehler komplex und über einen bestimmten Bildsatz uneinheitlich sein kann, kann der Disparitätsbildfehler indirekt in die Disparitätsfeldschätzung eingearbeitet werden, indem z. B. die Fehlerwerte verwendet werden, um eine Halbpixelver feinerung von Schätzwerten bereitzustellen, oder unter Verwendung jeder anderen geeigneten Technik. Dieser Ansatz kann den Bedarf an einer genauen Spitzenschätzung (Form oder Position) verringern, um Subpixelkorrelationsergebnisse zu erzielen. Das sich ergebende Disparitätsfeld bei voller Auflösung kann zum Beispiel verwendet werden, um eine dreidimensionale Messung von einer aktuellen Kamerastelle rückzugewinnen. Zum Beispiel kann ein Kameramodell verwendet werden, um die Disparitätswerte in dem Disparitätsfeld mit Tiefenmessungen an entsprechenden Stellen in dem Verarbeitungsgitter in Verbindung zu bringen.
Es versteht sich, daß das Verfahren 500 für jede Anzahl von Stufen in einer Hierarchie von Bildern wiederholt werden kann. Zum Beispiel kann das Verfahren 500 für jede hierarchische Stufe, beginnend bei dem niedrigst aufgelösten Bild und endend mit einem verfeinerten Disparitätsfeld für ein Bild mit höchster Auflösung wiederholt werden. Als ein erheblicher Vorteil verringert dieser Ansatz den Bedarf, die voll aufgelöste Korrelation durchzuführen, um das Disparitätsfeld für Bilder mit voller Auflösung direkt rückzugewinnen. Es versteht sich ferner, daß das Verfahren 500 über einen Katalog von Bildsätzen in einer dreidimensionalen Abtastung jede beliebige Anzahl von Malen wiederholt werden kann und insbesondere für jeden Bildsatz durchgeführt werden kann, aus dem dreidimensionale Daten rückgewonnen werden. In gewissen Ausführungsformen kann das Verfahren 500 verwendet werden, um ein hochgenaues dreidimensionales Modell zu verfeinern. In anderen Ausführungsformen kann das Verfahren 500 in einer dreidimensionalen Echtzeit-Bildgebungspipeline implementiert werden. Es versteht sich ferner, daß zahlreiche Variationen, Hinzufügungen, Streichungen und andere Modifizierungen von Schritten möglich sind, einschließlich von Änderungen der Anzahl von Stufen der Hierarchie, der Auflösung von Bildern, des Hinzufügens von Mittelkanalinformationen und so weiter, ohne vom Schutzbereich dieser Offenbarung abzuweichen.
Es wird deutlich sein, daß jedes, das vorstehende System und/oder die Verfahren, in Hardware, Software oder jeder Kombination aus diesen, die für die hier beschriebenen Datenerfassungs- und Modellierungstechnologien geeignet sind, realisiert werden kann. Dies umfaßt die Realisierung in einem oder mehreren Mikroprozessoren, Mikrokontrollern, eingebetteten Mikrokontrollern, programmierbaren digitalen Signalprozessoren oder anderen programmierbaren Vorrichtungen zusammen mit internem und/oder externem Speicher. Dies kann auch oder statt dessen eine oder mehrere anwendungsspezifische integrierte Schaltungen, programmierbare Gate-Arrays, programmierbare logische Anordnungskomponenten oder jede andere Vorrichtung oder Vorrichtungen umfassen, die konfiguriert werden können, um elektronische Signale zu verarbeiten. Es wird ferner deutlich sein, daß eine Realisierung computerausführbaren Code umfassen kann, der unter Verwendung einer strukturierten Programmiersprache, wie etwa C, einer objektorientierten Programmiersprache, wie etwa C++ oder jeder anderen höheren oder niedrigeren Programmiersprache (einschließlich Assemblersprachen, Hardwarebeschreibungssprachen und Datenbankprogrammiersprachen und Technologien), erzeugt wird, der gespeichert, kompiliert oder übersetzt werden kann, um auf einer der vorstehenden Vorrichtungen ebenso wie heterogenen Kombinationen von Prozessoren, Prozessorarchitekturen oder Kombinationen unterschiedlicher Hardware und Software zu laufen. Folglich wird hier in einem Aspekt ein Verfahren offenbart, das computerausführbaren Code aufweist, der, wenn er auf einem oder mehreren Rechenvorrichtungen ausgeführt wird, irgendwelche und/oder alle der vorstehend beschriebenen Schritte ausführt. Gleichzeitig kann die Verarbeitung über Vorrichtungen, wie etwa eine Kamera und/oder einen Computer und/oder eine Fertigungseinrichtung und/oder ein Dentallabor und/oder einen Server in einer Anzahl von Weisen verteilt werden, oder die gesamte Funktionalität kann in eine dedizierte unabhängige Vorrichtung integriert werden. Alle derartigen Permutationen und Kombinationen sollen innerhalb den Schutzbereich der vorliegenden Offenbarung fallen.
Während die Erfindung in Verbindung mit den gezeigten und im Detail beschriebenen bevorzugten Ausführungsformen offenbart wurde, werden für Fachleute der Technik verschiedene Modifikationen und Verbesserungen daran ohne weiteres offensichtlich. Folglich sind der Geist und Schutzbereich der vorliegenden Erfindung nicht auf die vorangehenden Beispiele beschränkt, sondern sind im weitesten rechtlich erlaubten Sinn zu verstehen.
Zusammenfassung
Hierarchische Verarbeitung unter Nutzung von Bildverformung
Ein hierarchisches Musterabgleichsverfahren wird für die Verwendung in der dreidimensionalen Rekonstruktion verbessert, indem ein Disparitätsfeld für niedrig aufgelöste Daten berechnet wird und dieses Niederauflösungs-Disparitätsfeld verwendet wird, um das Disparitätsfeld für höher aufgelöste Bilder zu schätzen. Durch Pre-Warping bzw. Vorverwölben einer Vorlage können gemäß dem geschätzten Disparitätsfeld verbesserte Korrelationsergebnisse erzielt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- US 7372642 A [0024, 0035]

Zitierte Nicht-Patentliteratur

- IEEE 802.11 [0029]

Claims

Verfahren, das die folgenden Schritte aufweist: Gewinnen eines ersten Bilds und eines zweiten Bilds eines Objekts aus zwei Kamerapositionen; Erzeugen einer Hierarchie aus niedriger aufgelösten Darstellungen des ersten Bilds und des zweiten Bilds; Gewinnen eines Disparitätsfelds, das die Bewegung zwischen einer niedriger aufgelösten Darstellung des ersten Bilds und einer entsprechenden der niedriger aufgelösten Darstellungen des zweiten Bilds kennzeichnet; Überabtasten (Upsampling) des Disparitätsfelds auf eine höhere Auflösung der Hierarchie, um ein geschätztes Disparitätsfeld mit der höheren Auflösung bereitzustellen; Verwölben einer höher aufgelösten Darstellung des ersten Bilds gemäß dem überabgetasteten Disparitätsfeld, um ein verwölbtes Bild bereitzustellen; Korrelieren des verwölbten Bilds mit einer höher aufgelösten Darstellung des zweiten Bilds, um ein Disparitätsfehlerfeld zu erhalten; Kombinieren des überabgetasteten Disparitätsfelds und des Disparitätsfehlerfelds, um ein höher aufgelöstes Disparitätsfeld zu erhalten.
Verfahren nach Anspruch 1, das ferner das Wiederholen der Verfahrensschritte für eine nächsthöher aufgelöste Stufe der Hierarchie aufweist.
Verfahren nach Anspruch 1, wobei die höher aufgelöste Darstellung des ersten Bilds ein Bild mit voller Auflösung ist.
Verfahren nach Anspruch 1, wobei die niedrigst aufgelöste Darstellung des ersten Bilds eine kleinste Größe in der Hierarchie hat.
Verfahren nach Anspruch 1, das ferner das Anwenden des höher aufgelösten Disparitätsfelds auf ein Kameramodell aufweist, um eine dreidimensionale Oberflächenrekonstruktion des Objekts zu erhalten.
Verfahren nach Anspruch 1, wobei die Hierarchie eine dreistufige Pyramide und/oder eine vierstufige Pyramide und/oder eine fünfstufige Pyramide aufweist.
Verfahren nach Anspruch 1, wobei das erste Bild und das zweite Bild in einer Dimension eine Größe von 96 Pixeln haben.
Verfahren nach Anspruch 1, wobei das erste Bild und das zweite Bild in einer Dimension eine Größe von 128 Pixeln haben.
Verfahren nach Anspruch 1, wobei die zwei Kamerapositionen zwei versetzten optischen Kanälen in einer dreidimensionalen Kamera mit mehreren Aperturen entsprechen.
Verfahren nach Anspruch 1, wobei die zwei Kamerapositionen zwei unabhängigen Kamerapositionen entsprechen.
Computerprogrammprodukt, das computerausführbaren Code aufweist, der auf einem computerlesbaren Medium ausgeführt ist, das, wenn es auf einem oder mehreren Rechenvorrichtungen ausgeführt wird, die folgenden Schritte durchführt: Gewinnen eines ersten Bilds und eines zweiten Bilds eines Objekts aus zwei Kamerapositionen; Erzeugen einer Hierarchie aus niedriger aufgelösten Darstellungen des ersten Bilds und des zweiten Bilds; Gewinnen eines Disparitätsfelds, das die Bewegung zwischen einer niedriger aufgelösten Darstellung des ersten Bilds und einer entsprechenden der niedriger aufgelösten Darstellungen des zweiten Bilds kennzeichnet; Überabtasten (Upsampling) des Disparitätsfelds auf eine höhere Auflösung der Hierarchie, um ein geschätztes Disparitätsfeld mit der höheren Auflösung bereitzustellen; Verwölben einer höher aufgelösten Darstellung des ersten Bilds gemäß dem überabgetasteten Disparitätsfeld, um ein verwölbtes Bild bereitzustellen; Korrelieren des verwölbten Bilds mit einer höher aufgelösten Darstellung des zweiten Bilds, um ein Disparitätsfehlerfeld zu erhalten; und Kombinieren des überabgetasteten Disparitätsfelds und des Disparitätsfehlerfelds, um ein höher aufgelösten Disparitätsfeld zu erhalten.
Computerprogrammprodukt nach Anspruch 11, das ferner Code zum Wiederholen der Schritte für eine nächsthöher aufgelöste Stufe der Hierarchie aufweist.
Computerprogrammprodukt nach Anspruch 11, wobei die höher aufgelöste Darstellung des ersten Bilds ein Bild mit voller Auflösung ist.
Computerprogrammprodukt nach Anspruch 11, wobei die niedriger aufgelöste Darstellung des ersten Bilds eine kleinste Größe in der Hierarchie hat.
Computerprogrammprodukt nach Anspruch 11, das ferner Code zum Durchführen des Anwendungsschritts des höher aufgelösten Disparitätsfelds auf ein Kameramodell aufweist, um eine dreidimensionale Oberflächenrekonstruktion des Objekts zu erhalten.
Computerprogrammprodukt nach Anspruch 11, wobei die Hierarchie eine dreistufige Pyramide und/oder eine vier stufige Pyramide und/oder eine fünfstufige Pyramide aufweist.
Computerprogrammprodukt nach Anspruch 11, wobei das erste Bild und das zweite Bild in einer Dimension eine Größe von 96 Pixeln haben.
Computerprogrammprodukt nach Anspruch 11, wobei das erste Bild und das zweite Bild in einer Dimension eine Größe von 128 Pixeln haben.
Computerprogrammprodukt nach Anspruch 11, wobei die zwei Kamerapositionen zwei versetzten optischen Kanälen in einer dreidimensionalen Kamera mit mehreren Aperturen entsprechen.
Computerprogrammprodukt nach Anspruch 11, wobei die zwei Kamerapositionen zwei unabhängigen Kamerapositionen entsprechen.