-
Die
vorliegende Erfindung betrifft die digitale Bildverarbeitung von
Dentalbildern und insbesondere die Lagebestimmung oder das Lokalisieren
von Zähnen
in Dentalbildern.
-
Moderne
Dentalverfahren umfassen oft die Herstellung von Zahnersatz, wie
Kronen, Implantaten, festsitzender Teilprothesen und Schalen (Veneers).
In dieser Art von Zahnersatz werden häufig keramische Werkstoffe
eingesetzt, die solche optischen Eigenschaften aufweisen, dass ein
gekonnt hergestellter keramischer Zahnersatz zur Form, Struktur,
Farbe und Lichtdurchlässigkeit
natürlicher Zähne passt.
-
Die
Herstellung dieser Teile beinhaltet ein erhebliches Maß an Fertigkeiten.
Zahnfärbung,
Struktur und Lichtdurchlässigkeit
unterscheiden sich nicht nur von Patient zu Patient, sondern auch
von Zahn zu Zahn eines jeweiligen Patienten und auch innerhalb eines
einzigen Zahnes. Zähne
unterscheiden sich in ihrer Form erheblich voneinander. Angaben
zur Farbe und anderen Erscheinungsmerkmalen der Zähne eines
Patienten müssen
genau ermittelt und eindeutig an diejenigen weitergegeben werden,
die den Zahnersatz anfertigen. Während
Abdrücke
und sonstige Techniken benutzt werden können, um Informationen über Zahnform
und andere geometrische Eigenschaften weiterzugeben, sind Techniken
zur Ermittlung und Weitergabe von Farb- und sonstigen Erscheinungsmerkmalen
problematischer.
-
Die üblichen
Techniken zur Ermittlung und Weitergabe von Angaben zur Zahnfarbe
haben sich in den letzten siebzig Jahren kaum geändert. Üblicherweise umfasst dieser
Vorgang (der als „Farbabstimmung" bezeichnet wird)
die visuelle Abstimmung des Zahns eines Patienten mit einer Reihe
von Referenzfarbtonmustern (Farbtonfächern) innerhalb einer oder
mehrerer standardisierter Farbtonlehren. Die Person, die die Abstimmung
durchführt,
häufig
ein Zahnarzt, notiert die Kennung des passenden Farbtonfächers und
gibt diese Angaben an den Zahn techniker weiter, bei dem die Restauration
angefertigt wird. Der Zahntechniker verwendet dann seinen eigenen
Satz derselben Farbtonlehren, um visuelle Farbbeurteilungen der
Restauration während
des Anfertigungsvorgangs vorzunehmen.
-
Der
visuelle Farbtonabstimmungsprozess unterliegt einer Reihe von Problemen:
Das anfängliche
Abstimmungsverfahren ist häufig
langwierig, schwierig und lästig.
Oft werden hierfür
zwanzig Minuten oder länger
benötigt.
In den meisten Fällen
gibt es keinen Farbfächer,
der perfekt zu den Zähnen
des Patienten passt. Die Entscheidung darüber, welcher Farbton am besten
passt (d.h. welcher Farbton am wenigsten abweicht), ist häufig problematisch.
Die visuelle Farbbeurteilung von relativ kleinen Farbunterschieden
ist immer schwierig, und die Umstände, unter denen die Beurteilung
der Zahnfarbe erfolgt, werfen die Frage nach einer Reihe von komplizierten psychophysischen
Effekten auf, wie der lokalen chromatischen Anpassung, der lokalen
Helligkeitsanpassung und der lateralen Helligkeitsanpassung. Häufig stellt
der Zahnarzt fest, dass eine Abstimmung auf die Zähne des
Patienten besonders schwierig ist. Der Patient muss dann persönlich zu
dem Orthodontielabor gehen, das die Restauration anfertigt. Dort
kann das geschulte Laborpersonal die Farbabstimmung durchführen. In
vielen Fällen
muss der Patient den Zahnarzt und das Labor zwei, drei oder sogar
mehrere Male aufsuchen, um die Farbe der Prothese durch aufeinanderfolgende
Zugaben von Keramik- oder anderen gefärbten Materialien fein abzustimmen.
-
Die
mit der Zahnfarbenabstimmung verbundenen Schwierigkeiten haben zur
Entwicklung von Systemen geführt,
die vorgesehen sind, um die visuelle Beurteilung durch solche zu
ersetzen, die durch verschiedene Arten spektrofotometrischer und
colorimetrischer Instrumente ermittelt werden. WO 03/083765 beschreibt
ein Verfahren zur Bestimmung eines dentalen Targets innerhalb eines
digitalen Dentalbildes, das eine Korrektur an dem segmentierten Zahnbild
vornimmt, ohne ein Referenzobjekt zu verwenden. US-A-6,358,047,
6,305,933, 6,206,691, 6,132,210 und 5,961,324, erteilt an Lehmann
et al., beschreiben ein Zahnfarbton-Analysesystem, in dem das bevorzugte
Ausführungsbeispiel
auf der Verwendung einer intraoralen Kamera beruht, die rote, grüne und blaue
(RGB) Farbwerte erzeugt, die nacheinander normalisiert und dann
zur Ableitung der Farbton-, Farbsättigungs- und Lichtintensitätswerte
(HSI) anhand eines einzelnen Satzes von Gleichungen zur Umsetzung
des RGB-Farbraums in den HSI-Farbraum verwendet werden. Die abgeleiteten
HSI-Werte werden dann mit denen ver glichen, die aus entsprechenden
RGB-Messungen abgeleitet wurden, die einer Sammlung von Farbfächern entnommen wurden.
-
US-A-6,190,170
und 6,328,567, erteilt an Morris et al., beschreiben ein System,
das zwei oder mehr Referenzen verwendet, um RGB-Bildwerte von einer
oder mehreren Digitalkameras zu normalisieren. In ähnlicher
Weise beschreibt Fradkin in US-A-6,384,917 ein System, das Strahlenteiler
und andere optische Komponenten verwendet, um RGB-Bildwerte zu erhalten.
Auch hier werden Zähne und
Farbtonfächer
miteinander nach ihren RGB-Werten oder HSI-Werten oder anderen Werten verglichen,
die von RGB-Werten anhand eines einzelnen Satzes aus Umsetzungsgleichungen
abgeleitet wurden. In der US-Patentanmeldung Nr. US2002/0021439A1
beschreiben Priestley et al. ebenfalls ein Farbabstimmungssystem,
in dem Farben in Bezug auf ihre RGB-Werte analysiert werden.
-
Die
als Querverweis genannte US-Patentanmeldung von Giorgianni und Forsythe
verwendet mehrere sujetspezifische colorimetrische Umsetzungen in
einem Dentalfarbton-Abstimmungssystem. Jede colorimetrische Umsetzung
beruht auf einer bestimmten Untermenge von Farben (z.B. natürlichen Zähnen, Farbtonfächern, prothetischer
Keramik usw.). Zudem wird eine colorimetrische Kalibrierung für jede einzelne
Kamera, jeden einzelnen Farbtonfächersatz
und jede einzelne intraorale Referenz vorgenommen. Das System verwendet
zwei getrennte Beleuchtungsanordnungen, um gerichtete Reflexionen
innerhalb des Messbereichs zu minimieren oder zu beseitigen und
erzeugt Bilder, die Zusatzinformationen genau übermitteln, etwa Zahnstruktur,
Glanz und andere Details. Es wird eine intraorale Referenz benutzt,
deren optische Eigenschaften eine starke Ähnlichkeit mit denen der natürlichen
Zähne aufweisen.
In dem System wird eine Farbfächerdatenbank anhand
von Bildern von Farbfächern
aufgebaut, die zusammen mit künstlichem
Zahnfleisch und vor einem Hintergrund aufgenommen wurden, der den menschlichen
Mund simuliert. Es wird ein standardisierter Satz von colorimetrischen
Farbtonfächerwerten
und ein entsprechender Satz von computererzeugten Farbtonfächerbildern
bereitgestellt, der als ein Standard zur Ermittlung und Weitergabe
von Farbspezifikationen dienen kann. Entscheidungsalgorithmen ermitteln
automatisch die beste Farbtonfächerübereinstimmung
mit einem oder mehreren Bereichen eines bestimmten Zahns. Das Maß der Übereinstimmung
wird anhand eines numerischen Werts und/oder anhand grafischer Darstellungen
und/oder entsprechender verbaler Beschreibungen angegeben. Die Abstimmung
beruht auf Vergleichen der Bereiche von Interesse, die bezüglich Anzahl
und Lage wählbar
sind. Farb- und Farberkennungsalgorithmen vereinfachen und/oder
automatisieren die Aufgabe des Benutzers, Bereiche von Interesse
zu lokalisieren und zu bemaßen.
Optional wird die Übereinstimmung
auch für
eine beliebige Zahl weiterer Farbtonfächer in der Datenbank ermittelt,
und die Ergebnisse werden in ihrer Rangfolge aufgelistet. Der Entscheidungsalgorithmus
des Systems umfasst Parameter, die sich so einstellen lassen, dass
sie den verschiedenen Präferenzen
und Zielen der Farbfächerauswahl
entsprechen. Es können
mehrere Sätze
von Parameterwerten gespeichert und zur Verwendung ausgewählt werden,
die den Präferenzen
eines bestimmten Benutzers oder einer Situation entsprechen. Ein visueller
Vergleich am Bildschirm stellt den gemessenen Zahn und einen ausgewählten Farbtonfächer gegenüber. Das
System ermöglicht
die Visualisierung einer vorgeschlagenen Prothese in einem Bild
des Mundes des Patienten. Ein simuliertes prothetisches Bild wird
anhand von geometrischen und anderen Informationen erzeugt, entweder
von einem Bild des Zahns des Patienten oder von einer anderen Quelle, und
zwar zusammen mit colorimetrischen Informationen, die von dem vorgeschlagenen,
passenden Farbtonfächer
abgeleitet sind. Das System stellt einen monochromen Modus für die Beurteilung
der Helligkeit bereit, der die Wirkung eines größeren Betrachtungsabstands
und eines anderen Blickwinkels simuliert. Es werden Verfahren zur
Messung einer fertiggestellten Prothese bereitgestellt, um entweder zu
prüfen,
ob die Farbe mit den Spezifikationen übereinstimmt, oder, falls nicht,
um die Farbänderungen zu
quantifizieren, die erforderlich sind, um diese Spezifikationen
zu erfüllen.
Es wird ein Verfahren zur Abstimmung und zum Ausgleichen von Ungleichmäßigkeiten
der Beleuchtung bereitgestellt.
-
Ein
kritisches Merkmal eines computergestützten dentalen Farbbebilderungssystems
betrifft die Lagebestimmung des Zahns von Interesse. Dies kann manuell
erfolgen, indem ein kleiner Sensor in Nähe eines Zahns platziert wird.
Diese Vorgehensweise ist umständlich,
wenn es um die Handhabung von Farbdifferenzen und anderen Eigenschaften
innerhalb eines einzelnen Zahns geht. Alternativ hierzu kann ein
Bild erfasst werden, auf dem der Zahn von Interesse mittig angeordnet
ist. Dieser Ansatz hängt von
der Fertigkeit des Benutzers ab. Als eine weitere Alternative kann
ein Bild an einem Computerbildschirm angezeigt werden, und der Zahn
von Interesse kann durch Benutzereingabe identifiziert werden, beispielsweise
durch Anklicken mit der Maus, wenn sich der Cursor über dem
Zahn von Interesse befindet. Dieser Ansatz ist für den Benutzer tendenziell umständlich und
somit auch fehleranfällig.
-
Pixelbasierte,
kantenbasierte, bereichsbasierte und modellbasierte Segmentierungstechniken sind
in der Technik der digitalen Bildverarbeitung bekannt. Jeder Ansatz
hat seine eigenen Einschränkungen.
Beispielsweise lassen sich pixelbasierte Segmentierungstechniken
tendenziell schwer mit komplex getonten und gefärbten Objekten anwenden. Bereichswachstumstechniken
können
kritischen Fehlern unterliegen, wenn Objekte in der Nähe sind, die
mit dem Objekt von Interesse stark übereinstimmen.
-
Es
ist somit wünschenswert,
ein verbessertes Verfahren zum Lokalisieren eines dentalen Musters
oder Targets und eine verbesserte Vorrichtung bereitzustellen, bei
dem die Segmentierung gegenüber
Schwankungen der Beleuchtungsbedingungen und der Farbe und Form
des Targets relativ unempfindlich ist.
-
Umfang
und Geltungsbereich der vorliegenden Erfindung sind in den anliegenden
Ansprüchen dargelegt.
Die Erfindung stellt im weiteren Sinne ein Verfahren, Computerprogramm
und System bereit, in dem ein dentales Target, wie etwa ein Zahn,
innerhalb eines digitalen Dentalbildes lokalisiert wird. Ein Referenzobjekt,
das im Mund des Patienten angeordnet ist, wird in einem Digitalbild
segmentiert, um eine segmentierte Referenz bereitzustellen. Das
Referenzobjekt hat eine vorbestimmte Größenabmessung. Ein Fenster wird
in dem Dentalbild an der Position des dentalen Targets segmentiert.
Die segmentierte Referenz legt die relative Größe und die Lage des Fensters
vor dem Segmentieren des Fensters fest.
-
Die
Erfindung weist den Vorteil auf, ein verbessertes Verfahren und
eine Vorrichtung zum Lokalisieren eines dentalen Targets bereitzustellen,
worin die Segmentierung gegenüber
Schwankungen der Beleuchtungsbedingungen und der Farbe und Form des
Targets relativ unempfindlich ist.
-
Die
genannten und weitere Merkmale und Aufgaben der Erfindung sowie
die Art und Weise ihrer Verwirklichung werden ebenso wie die Erfindung selbst
durch Bezugnahme auf die fol gende Beschreibung eines Ausführungsbeispiels
der Erfindung in Verbindung mit den beiliegenden Figuren erläutert. Es
zeigen:
-
1 ein
Blockdiagramm zur Darstellung der Hauptmerkmale eines Ausführungsbeispiels
des Verfahrens.
-
2 ein
Blockdiagramm zur Darstellung von Schritten gemäß dem Verfahren aus 1 zum Lokalisieren
des Referenzobjekts.
-
3 ein
Blockdiagramm zur Darstellung von Schritten gemäß dem Verfahren aus 1 zur Suche
nach dem Zahn oder anderen dentalen Targets.
-
4 ein
Blockdiagramm zur Darstellung der Schritte der Schulung des in dem
Verfahren aus 1 verwendeten aktiven Formmodells.
-
5A–5B schematische
Darstellungen von zwei aktiven Formmodellen, die in dem Verfahren
aus 1 verwendbar sind.
-
6 eine
schematische Darstellung des Suchfensters des aktiven Formmodells
von 5A.
-
7 eine
schematische Darstellung des Suchfensters einer Modifikation des
aktiven Formmodells von 5A.
-
8A, 8B und 8C semischematische
Darstellungen eines Beispiels der Schritte zum Lokalisieren des
Referenzobjekts in dem Verfahren aus 1.
-
9A und 9B semischematische
Darstellungen eines Beispiels zur Darstellung der Ausgangs- und
Endpositionen des aktiven Formmodells unter Verwendung des Verfahrens
aus 1.
-
Einige
Teile der folgenden detaillierten Beschreibungen werden anhand von
Termen aus Algorithmen und Symboldarstellungen der Datenbit-Operationen
in einem Computerspeicher dargestellt. Diese algorithmischen Beschreibungen
und Darstellungen werden von einschlägigen Fachleuten aus dem Bereich
der Datenverarbeitungstechnik benutzt, um das Wesen ihrer Arbeit
anderen einschlägigen
Fachleuten zu vermitteln. Ein Algorithmus wird hier und im Allgemeinen
als eine eigenständige
Folge von Operationen verstanden, die zu einem gewünschten
Ergebnis führt.
Die Operationen sind solche, die physischer Manipulationen von physischen
Mengen bedürfen.
Normalerweise, aber nicht notwendigerweise, nehmen diese Mengen
die Form elektrischer oder magnetischer Signale an, die gespeichert, übertragen,
kombiniert, verglichen und in sonstiger Weise bearbeitet werden
können.
Zur Vereinfachung werden diese Signale hier bisweilen bezüglich der
zugrundeliegenden Informationen mithilfe von Bezugsgrößen, wie
Bits, Werten, Elementen, Symbolen, Zeichen, Benennungen, Ziffern
usw. verwendet.
-
Es
sollte allerdings berücksichtigt
werden, dass alle diese und ähnliche
Benennungen den entsprechenden physischen Mengen zugeordnet werden
müssen
und lediglich praktische Auszeichnungen sind, die diesen Mengen
gegeben werden. Soweit nichts anderes ausdrücklich gesagt wird oder aus
der folgenden Erläuterung
in anderer Weise hervorgeht, beziehen sich in der gesamten Beschreibung
die Erläuterungen,
in denen Benennungen, wie „Verarbeitung" oder „Computing" oder „Berechnung" oder „Bestimmung" oder „Anzeigen" usw., verwendet werden,
auf die Tätigkeit
und Prozesse eines Computersystems oder einer ähnlichen Datenverarbeitungsvorrichtung,
die Daten, die als physische (z.B. elektronische) Mengen in den
Registern und Speichern des Computersystems dargestellt werden,
manipuliert und in andere Daten umsetzt, die in ähnlicher Weise als physische
Mengen in den Speichern oder Registern des Computersystems oder
in anderen derartigen Informationsspeicherungs-, Übertragungs- oder Anzeigevorrichtungen
dargestellt werden.
-
Die
vorliegende Erfindung betrifft zudem Systeme, die bestimmte Teile
eines Geräts
zur Durchführung
der hier beschriebenen Operationen umfassen. Geräte, wie etwa ein programmierbarer Computer,
sind möglicherweise
speziell für
die gewünschten
Zwecke konstruiert oder sie können
einen Universalcomputer umfassen, der von einem in dem Computer
gespeicherten Computerprogramm selektiv aktiviert oder rekonfiguriert
wird. Ein derartiges Com puterprogramm kann in einem computerlesbaren
Speichermedium gespeichert sein, wie beispielsweise, aber nicht
abschließend,
ein beliebiger Typ von Platte, einschließlich Disketten, optischen
Platten, CD-ROMs und magnetooptischen Platten, Lesespeichern (ROMs),
Lese/Schreibspeichern (RAMs), wie dynamische RAM (DRAM), EPROMs,
EEPROMs, magnetische oder optische Karten oder jede Art von Medien,
die zur Speicherung elektronischer Anweisungen geeignet sind, wobei
jede der vorstehend genannten Speicherkomponenten mit einem Computersystembus
gekoppelt ist.
-
Die
hier dargestellten Algorithmen und Anzeigen sind keinem bestimmten
Computer oder sonstigem Gerät
inhärent
zugeordnet. Es können
diverse Universalsysteme mit Programmen gemäß den vorliegenden Beschreibungen
verwendet werden, oder es kann sich als sinnvoll erweisen, stärker spezialisierte
Vorrichtungen zur Durchführung
der Verfahren zu konstruieren. Die Struktur für verschiedene dieser Systeme
ergibt sich aus der folgenden Beschreibung. Zudem wird die vorliegende
Erfindung nicht mit Bezug auf eine bestimmte Programmiersprache
beschrieben. Es sei darauf hingewiesen, dass eine Vielzahl von Programmiersprachen
verwendbar ist, um die Erfindung nach der vorliegenden Beschreibung
zu verwirklichen.
-
Ein
maschinenlesbares Medium umfasst einen beliebigen Mechanismus zur
Speicherung oder Übertragung
von Informationen in einer von einer Maschine lesbaren Form (z.B.
einem Computer). Beispielsweise umfasst ein maschinenlesbares Medium Lesespeicher
(„ROM"), Schreib-/Lesespeicher („RAM"), magnetische Plattenspeichermedien,
optische Speichermedien, Flash-Speichervorrichtungen, elektrische,
optische, akustische oder sonstige Formen von verbreiteten Signalen
(z.B. Trägerwellen,
Infrarotsignalen, Digitalsignalen usw.), usw.
-
Bezugnahmen
auf „in
einem bestimmten Ausführungsbeispiel" usw. betreffen Merkmale,
die in mindestens einem Ausführungsbeispiel
der Erfindung vorhanden sind. Separate Bezugnahmen auf „ein Ausführungsbeispiel" oder „bestimmte
Ausführungsbeispiele" oder ähnliches
beziehen sich nicht notwendigerweise auf dasselbe Ausführungsbeispiel oder
auf dieselben Ausführungsbeispiele;
allerdings schließen
sich diese Ausführungsbeispiele
nicht gegenseitig aus, sofern nicht darauf hingewiesen wird oder
sofern dies einem einschlägigen
Fachmann nicht offensichtlich ist. Die Erfindung schließt somit Kombinationen
der hier beschriebenen Ausführungsbeispiele
ein.
-
Die
Benennung „dentales
Target" wird hier mit
Bezug auf einen einzelnen Zahn von Interesse verwendet oder, in
seltenen Fällen,
auf eine Zahngruppe, die als ein einzelnes Objekt betrachtet wird. Die
Benennung „dentales
Target" beinhaltet
auch äquivalente
Prothesen. Zur Vereinfachung ist die vorliegende Erörterung
allgemein auf Zähne
beschränkt. Es
sei darauf hingewiesen, dass gleiche Überlegungen für Prothesen
und Kombinationen aus Zähnen und
Prothesen gelten.
-
Die
Benennung „Dentalbild" wird hier verwendet,
um Bezug auf ein Bild zu nehmen, das den Mund eines Patienten zeigt,
einschließlich
eines dentalen Targets und eines Zahnes oder mehrerer zusätzlicher
Zähne und/oder
Prothesen.
-
Hier
nicht gezeigte oder beschriebene Elemente sind aus den nach dem
Stand der Technik bekannten Elementen wählbar. Bestimmte Aspekte des zu
beschreibenden Ausführungsbeispiels
können
in Form von Software vorgesehen werden. Bezogen auf das nachfolgend
beschriebene, erfindungsgemäße Verfahren
ist die hier nicht explizit gezeigte, beschriebene oder vorgesehene
Software, die zur Verwirklichung der vorliegenden Erfindung verwendbar ist,
von herkömmlicher
Art, wie in der einschlägigen Technik üblich. Das
erfindungsgemäße Verfahren
ist mit dentalen Farbbildverarbeitungsverfahren verwendbar, die
einschlägigen
Fachleuten bekannt sind, ohne darauf beschränkt zu sein.
-
Unter
Bezugnahme auf 1 wird das Referenzobjekt in
dem Mund eines Patienten so angeordnet, dass das Referenzobjekt
eine Ausgangsposition auf dem dentalen Target definiert. Dann wird
ein Bild des Referenzobjekts und des dentalen Objekts erfasst und
digitalisiert, um ein digitales Dentalbild bereitzustellen. Das
eingegebene Dentalbild wird verarbeitet, um das Referenzobjekt (610)
und ein dentales Target (620) zu lokalisieren. In dem in
den Figuren gezeigten Ausführungsbeispiel
ist das dentale Target ein Zahn von Interesse.
-
Das
verarbeitete Bild wird dem Bediener zusammen mit einem Fenster angezeigt
(630), das vorteilhafterweise als ein Rahmen um den lokalisierten Zahn
dargestellt wird. Dem Bediener wird die Gelegenheit gegeben, zu
prüfen,
ob das Bild akzeptabel ist, oder eine Eingabe vorzunehmen, die eine
Einstellung des Fensters bezeichnet. Alternativ hierzu kann das
Lokalisierungsverfahren ohne manuelle Prüfung und Korrektur abschließen. Diese
Vorgehensweise ist einem Stapelverarbeitungsbetrieb verwendbar. Das
verarbeitete Bild und das Fenster werden als nächstes zur Verwendung in einer
Farbtonabstimmung oder einem anderen Verfahren gespeichert.
-
Das
Referenzobjekt ist derart konfiguriert, dass es in dem dentalen
Bild ohne weiteres erkannt und von dem Mediziner problemlos gehandhabt
werden kann. In bestimmten Ausführungsbeispielen
ist das Referenzobjekt bissgeeignet, d.h. das Referenzobjekt ist
derart ausgelegt, dass der Patient auf das Referenzobjekt beißen kann,
um das Referenzobjekt in einer erforderlichen Ausrichtung zu halten.
Geeignete Materialien für
diesen Zweck sind einschlägigen Fachleuten
bekannt. Das Referenzobjekt hat ein oder mehrere vorbestimmte Größenmaße, die
in dem Lokalisierungsverfahren benutzt werden. In den in den Figuren
dargestellten Ausführungsbeispielen ist
das verwendete Referenzobjekt ein rechtwinkliger, monofarbener Block.
Das Referenzobjekt hat eine rechtwinklige Vorderseite von bekannter
Länge und Breite.
Das Verhältnis
von Länge
zu Breite beträgt
3 zu 1. Die Vorderseite ist flach und weist einen gleichmäßigen Tonskalenwert
auf. Ein komplexer konfiguriertes Referenzobjekt ist verwendbar,
aber eine derartige Komplexität
ist für
die hier erörterten
Verfahren nicht notwendig und könnte
eine Fehlerquelle sein. Es sind mehrere Referenzobjekte von unterschiedlicher
Größe verwendbar,
doch dies würde
es erforderlich machen, dass der Mediziner das verwendete Referenzobjekt
identifiziert, oder dies würde
ein automatisch erkennbares Identifikationsmerkmal (wie z.B. ein
anderes Verhältnis
von Länge
zu Breite) oder ähnliches
erforderlich machen.
-
Das
Referenzobjekt definiert eine Ausgangsposition auf dem dentalen
Target, wenn das Dentalbild erfasst wird. Die Ausgangsposition wird
von dem Mediziner festgelegt, indem ein Merkmal des Referenzobjekts
in einer vorbestimmten Beziehung zu dem dentalen Target angeordnet
wird. Zur einfachen Handhabung wird ein einfaches Lagemerkmal und eine
einfache Beziehung dieses Merkmals zu dem dentalen Target bevorzugt.
In den Ausführungsbeispielen
aus 5A–6 ist
das Lagemerkmal eine gedachte Linie parallel zu den querlaufenden
Kanten des Referenzobjekts an der Längenmitte des Referenzobjekts.
In den Ausführungsbeispielen
der 7A–7B ist
das Lagemerkmal die rechte Kante des Referenzobjekts. („Rechts" bezieht sich auf
die relative Lage in dem Dentalbild.) Diese Ausführungsbeispiele erfordern eine
Benutzereingabe zur Angabe, ob sich das dentale Target oberhalb
oder unterhalb des Lagemerkmals befindet. Eine alternative Vorgehensweise
ist die Verwendung eines Lage merkmals in Form einer Unterbrechung
oder einer Markierung auf dem Referenzobjekt oder die Verwendung
eines Referenzobjekts mit unterschiedlich langen Längskanten.
Bei dieser Vorgehensweise lässt
sich die Ausrichtung des Referenzobjekts erkennen, um festzustellen,
ob sich das dentale Target oberhalb oder unterhalb des Lagemerkmals
befindet.
-
Die
Ausgangslage des dentalen Targets befindet sich in einem vorbestimmten
Abstand zum Referenzobjekt in einer durch das Lagemerkmal definierten
Richtung. Hierbei wird eine mögliche
Lücke zwischen
dem dentalen Target und dem Lagemerkmal des Referenzobjekts aufgrund
der Zahngeometrie oder ähnlichem
berücksichtigt.
Da die Größe einer oder
mehrerer Maße
des Referenzobjekts bekannt ist, können der Abstand und die Richtung,
hier als „Initialisierungsvektor" bezeichnet, in dem
Dentalbild entsprechend gemessen werden.
-
Das
Referenzobjekt ist in dem Dentalbild segmentiert, um ein segmentiertes
Objekt bereitzustellen. Das verwendete Segmentierungsverfahren kann
eines aus einer Mehrzahl pixelbasierter, kantenbasierter oder bereichsbasierter
Segmentierungsverfahrensarten sein. Es wird Bezug genommen auf 2,
die ein bestimmtes Ausführungsbeispiel
darstellt, in dem das digitale Eingangsbild (600) aus der sRGB-Metrik
in die HSI-Metrik (611) unter Verwendung einer in der Technik
bekannten, geeigneten Farbtransformation umgesetzt wird, wobei HSI
für „Hue-Saturation-Intensity" (siehe Gonzalez,
Woods, Digital Image Processing, Seite 229–235, Addison-Wesley, 1992)
steht. I = (R + G + B)/3 S
= 1 – 3·min(R,G,B)/(R
+ G + B) H = cos–1{0,5·[(R – G) + (R – B)]/[(R – G)2 + (R – B)(G – B)]1/2}
-
Als
nächstes
werden einheitliche oder glatte Bereiche in der bevorzugten HSI-Farbmetrik
erfasst (612), obwohl auch alternative Farbmodelle, einschließlich des
sRGB-Farbmodells, verwendbar sind. Zur Erfassung glatter Bereiche
dient ein Bereichserfassungsverfahren, wie von Warnick et al. in US-A-5,901,245
beschrieben. In der Technik bekannte, alternative Verfahren zur
Erfassung glatter Bereiche sind ebenfalls verwendbar. Das Verfahren
nach US-A-5,901,245
erfasst Offenräume
in einem Digitalbild. Die Benennung „Offenraum" in der hier benutzten Verwendung bezieht
sich auf einen oder mehrere vollständig umgrenzte Bereiche eines
Bildes, in dem Farb- und Raumeigenschaften visuell gleichmäßig erscheinen.
In dem Verfahren wird eine Aktivitätentafel eines Digitalbildes
erstellt, es wird ermittelt, welche Pixel in der Aktivitätentafel
unterhalb eines Schwellenwerts liegen, und benachbarte Pixel der Aktivitätentafel
mit Werten unterhalb des vorbestimmten Schwellenwerts werden als
Offenraum bezeichnet.
-
Es
wird Bezug genommen auf 2, in der räumlich benachbarte, glatte
Bereiche, also Offenraumbereiche, beurteilt werden (613),
um auf vorbestimmte Eigenschaften des Referenzobjekts (618)
in den Offenraumbereichen (614) zu prüfen. Eine nützliche Eigenschaft eines einheitlichen
Referenzobjekts ist ein bestimmter Tonskalenwert oder Wertebereich,
der Ungleichmäßigkeiten
des Erfassungsprozesses berücksichtigt.
Falls das Referenzobjekt nach den vorstehenden Schritten nicht gefunden
wird, wird ein zusätzlicher
Schritt durchgeführt,
um für
große Bereiche
aus komplexen Formen einen Bereich auszuschneiden (615).
Dies kann erforderlich sein, falls das Referenzobjekt mit dem benachbarten
Zahn stark übereinstimmt,
so dass der anfangs erfasste Offenraumbereich sowohl das Referenzobjekt
als auch einen oder mehrere angrenzende Zähne berührt.
-
Auf
dieser Stufe kann eine manuelle Eingabe erforderlich sein, um einen
Teil des Offenraumbereichs zu identifizieren, der das Referenzobjekt
enthält.
Alternativ hierzu kann das Referenzobjekt so konfiguriert werden,
dass ein solcher Vorfall vermieden wird. Als weitere Alternative
ist bekannt, dass es nur ein einziges Referenzobjekt in dem Bild
gibt; somit kann ein Bereichsausschnittverfahren verwendet werden,
um einen großen
Offenraumbereich in mehrere Unterbereiche zu zerlegen, die dann
in gleicher Weise wie die früheren
Bereiche beurteilt werden können.
-
Das
Endergebnis der Segmentierung des Referenzobjekts (616)
ist ein segmentiertes Objekt (627) (auch als das erfasste
Referenzobjekt bezeichnet), wie in den Figuren als Umriss gezeigt.
Mit dem rechtwinkligen Referenzobjekt der dargestellten Ausführungsbeispiele
ist das segmentierte Objekt vollständig durch die räumlichen
Koordinaten der Ecken der Vorderseite definiert.
-
Es
wird Bezug genommen auf 3, in der in dem Eingabebild
(600) die Lage und Größe des erfassten
Referenzobjekts (627) verwendet werden, um die Ausgangslage
und Größe des dentalen
Targets für
ein aktives Formmodell (ASM) festzulegen (621). Wie zuvor
beschrieben, wird ausgehend von dem Lagemerkmal des Referenzobjekts
entlang des Initialisierungsvektors zur Ausgangslage nach einer Position
gesucht.
-
Alternativ
hierzu kann ein Bediener die Lage und Größe des dentalen Targets definieren,
indem er räumliche
Koordinaten von mindestens zwei Knoten des Fensters dem aktiven
Formmodell manuell bereitstellt. Hierzu kann die Taste einer Maus
betätigt werden,
während
sich der Cursor über
dem dentalen Target befindet, oder indem ein dentales Target anhand
der Zahnnummer oder ähnlichem
bezeichnet wird.
-
Dann
wird ein Fenster, das die Ausgangsposition enthält, in dem Dentalbild segmentiert.
Das Fenster hat die Größe des dentalen
Targets. Hier können
unterschiedliche, in der Technik bekannte Segmentierungsverfahren
angewandt werden, wie z.B. pixelbasierte, kantenbasierte, bereichsbasierte und
modellbasierte Segmentierungsverfahren.
-
Angesichts
der komplexen Thematik, also der Zahnformen, werden aktive Formmodell-Segmentierungsprozeduren
bevorzugt. Aktive Formmodelle (ASM) können die Form und Struktur
(„Textur") eines Objekts berücksichtigen,
indem sie die Form- und Strukturvariationen der Klasse der modellierten Objekte
statistisch erlernen. Demnach ist ein ordentlich geschultes ASM
gegenüber
Schwankungen hinsichtlich Rauschen, geometrischer Verzerrung und Farbvariation
unempfindlich. Im Vergleich dazu sind einfache Segmentierungsverfahren,
wie z.B. Bereichswachstum, gegenüber
den vorstehenden Faktoren sogar dann empfindlich, wenn ein Benutzer
einen Ausgangspunkt („Keim") für das Bereichswachstum
bereitstellt, weil es keinen Mechanismus gibt, um die Form des Bereichs
einzuschränken;
häufiger
Bereichszuwachs würde
auf benachbarte Objekte mit ähnlicher
Farbe übergehen
(z.B. andere Zähne,
das Referenzobjekt oder das Zahnfleisch). Bereichswachstum hängt zudem
von dem Schwellenwert ab, der benutzt wird, um das Wachstumsverfahren
zu steuern, und im Allgemeinen kann ein fester Schwellenwert nicht
mit den Farbabweichungen von Bild zu Bild umgehen.
-
Ein
Beispiel eines aktiven Formmodells wird beschrieben in „Active
Shape Models – Their
Training and Application" (Aktive
Formmodelle – ihre
Schulung und Anwendung), Cootes et al., Computer Vision and Image
Understanding, Band 61, Nr. 1, Seite 38–59, (1995). Ein Beispiel einer
Bereichswachstumssegmentierung, das auf ein aktives Formmodell anwendbar
ist, wird beschrieben in Digital Image Processing, Gonzalez, Woods,
Seite 458–461,
Addison-Wesley,
(1992).
-
Die
Modellierungstechniken für
aktive Formmodelle aus dem Beitrag von Cootes et al. bestimmen die
Lage der Merkmalspunkte, indem eine Reihe lokaler Suchläufe nach
Positionen mit übereinstimmender
Texturerscheinung durchgeführt
wird, wobei die Einschränkung
der Ergebnisse auf einem globalen Modell plausibler Formen beruht.
Textur- und Formmodelle sind integriert. Dies ist ein für die dentale
Bebilderung vorteilhaftes Merkmal.
-
Ein
Texturmodell wird für
jeden Merkmalspunkt erstellt. Gradientenprofile werden für jeden RGB-Farbkanal
innerhalb eines bestimmten Fensters berechnet. Die Hauptachse dieses
Fensters ist senkrecht zu den Verbindungen zwischen Merkmalspunkten
ausgerichtet. Die Gradienten werden dann normalisiert, indem sie
durch ihre mittlere Größe geteilt
und zu einem einzelnen Vektor t kombiniert werden. Die Erscheinungsvektoren
aus dem Satz von Beispielen werden dann benutzt, um den mittleren Erscheinungsvektor t - und
die Covarianzmatrix St für jeden Merkmalspunkt zu berechnen.
Der Mahalanobis-Abstand wird benutzt, um die Ähnlichkeit einer Textur (t)
mit dem Modell zu messen, d.h., ƒ(t) = (t – t -)T St(t – t -)
-
Ein
Modell der globalen Form der Merkmale wird aus einer Analyse der
Hauptkomponenten der kommentierten Beispiele erstellt. Die Merkmalspositionen
der Beispiele werden ausgerichtet und in 1-dimensionalen Koordinatenvektoren
angeordnet. Eine geordnete Liste der signifikantesten Achsen der
Formenvariation ist durch die Eigenvektoren v
k der
Einheit gegeben, so dass
Svk = λkvk wobei S für die Covarianzmatrix für die Koordinatenvektoren
steht und λ
k für
den k-ten Eigenwert und λ
k ≥ λ
k+1.
Die Eigenwerte bezeichnen die Varianz der Beispiele entlang des
entsprechenden Eigenvektors. Der Großteil der Formenvariation lässt sich
normalerweise mit relativ wenigen Hauptachsen erläutern. Eine
nützliche
Vereinfachung lässt
sich vornehmen, indem man nur die M signifikantesten Achsen beibehält, die
99% der Formenvariation einschließen. Das abschließende Modell
besteht aus der mittleren Form (x -), den Hauptachsen (v
k)
und ihren erwarteten Bereichen (
).
-
Das
Formenmodell schränkt
die Ergebnisse der lokalen Suchläufe
auf Positionen ein, die eine plausible, globale Form bilden. Die
aktuellen Merkmalspositionen sind auf die mittlere Form ausgerichtet
und werden auf den Unterraum der Hauptkomponenten projiziert anhand
von b = VT(x – x -)wobei
V für die
Matrix der ersten M Eigenvektoren und b für einen Vektor aus Formenkoeffizienten
für die
Hauptachsen steht. Die Formenkoeffizienten werden dann auf ein Mehrfaches
ihrer erwarteten Bereiche begrenzt, und die Transformationen werden
umgekehrt.
-
Wie
weiter in 3 dargestellt, wird das ASM
in dem bevorzugten Ausführungsbeispiel
initialisiert (621), indem die mittlere Position der Knoten
in den Schulungsbeispielen (810) mit der Lage und Größe des lokalisierten
Referenzobjekts (627) anhand der Formenknoten, die das
Referenzobjekt bezeichnen (720), ausgerichtet wird. Dann
wird ein Suchprozess durchgeführt,
um die Übereinstimmung zwischen
dem ASM und den lokalen Bildstrukturen in Bezug auf Textur (622)
und Form (623) gemäß dem geschulten
ASM (628) zu finden. Die lokalen Nachbarschaften um jeden
Knoten werden untersucht, um die Positionen zu untersuchen, die
am besten mit dem Texturmodell übereinstimmen
(830). Die resultierenden Positionen werden dann eingeschränkt, um
anhand des Formmodells eine plausible Form zu bilden (820).
Der Prozess wiederholt sich, bis sich die Knotenpositionen einem
stabilen Ergebnis annähern (624).
Der endgültige
Umriss des Zahns wird erzeugt (625) und besteht aus den
räumlichen
Koordinaten der Ecken („Knoten") des ASM.
-
Das
ASM muss mit Fachkenntnis der Segmentierungsaufgabe entworfen werden,
z.B. was die Eigenschaften des Objekts und das Hintergrundgemenge
angeht. In einem bestimmten Ausführungsbeispiel
werden zwei in 5A–5B gezeigte ASM
verwendet. Jedes ASM umfasst das Referenzobjekt und das dentale
Target. 5A bezieht sich auf einen oberen
Zahn, wobei sich der Zahn von Interesse (710) oberhalb
des Referenzobjekts (720) befindet. 5B bezieht
sich auf einen unteren Zahn, wobei sich der Zahn von Interesse (730)
unterhalb des Referenzobjekts (720) befindet. Der Hauptgrund
dafür,
je ein ASM für
den oberen und unteren Zahn zu verwenden, ist der, dass ein einmal
geschultes ASM nicht ohne weiteres umkonfigurierbar ist (z.B. um
einen Vertikalenschwenk zu handhaben).
-
Wie
zuvor erörtert,
kann das entsprechende ASM über
eine Benutzereingabe gewählt
werden, oder es kann ein entsprechend konfiguriertes Referenzobjekt
verwendet werden. In beiden Fällen
lässt sich
die vertikale Positionierung des Zahns in Bezug zu dem Referenzobjekt
bestimmen. Außerdem
kann es für
Zähne,
die keine Vorderzähne
sind, notwendig sein, das ASM anhand von Beispielen dieser Zähne zu schulen
oder unterschiedliche ASM für
Zähne zu schulen,
die eine signifikant andere Form aufweisen (z.B. die Eckzähne).
-
In
dem ASM können
das Referenzobjekt und der Zahn zusammengefasst, d.h. gruppiert
oder auf nur einen Zahn beschränkt
sein. In diesem Fall müsste
die relative Position und die relative Größe des Zahns in Bezug auf das
Referenzobjekt codiert und in gewisser Weise spezifiziert werden,
beispielsweise anhand heuristischer Regeln. Es wäre zudem erforderlich, die
räumlichen
Koordinaten von mindestens zwei Knoten für das aktive Formmodell des
Zahns manuell bereitzustellen, um die Ausgangsposition und Größe des Zahns
für das
aktive Formmodell bereitzustellen.
-
Ein
ASM besteht aus Knoten. Im Allgemeinen sollten Knoten auf den Punkten
mit großer
Krümmung
entlang des Objektumrisses liegen, d.h. auf den Ecken, weil die
Ecken die Form kennzeichnen, wie in 5A–5B dargestellt
ist. Zudem ist es auch vorteilhaft, Knoten dort anzuordnen, wo der Kontrast
zwischen dem Inneren und dem Äußeren des
Objekts erwartungsgemäß groß ist, weil
dort die Textureigenschaften am besten voneinander zu trennen sind.
Wie ebenfalls in 6 gezeigt, sind schmale rechtwinklige
Kästen
999, die in Strichlinien dargestellt sind, mittig an den Knoten
angeordnet und entlang der Senkrechten des Objektumrisses ausgerichtet.
Diese Kästen
dienen zur Analyse der Textureigenschaften des Inneren und Äußeren des
Objekts. Beispielsweise und im Allgemeinen wird erwartet, dass die
Innenseite jedes Kastens hell ist (entsprechend der Zahnfarbe),
während
die Außenseite
eines Kastens dunkel ist (für
die Zahnlücken)
oder rot/rosa (für
Zahnfleisch), je nach Lage des Kastens. Das aktive Formmodell codiert
diese Textureigenschaften in Form von Wahrscheinlichkeitsverteilungen
(von der Schulungsstufe abgeleitet, wie nachfolgend beschrieben).
-
Sobald
die Topologie eines ASM ermittelt ist, muss das ASM durch ein in 4 dargestelltes Schulungsverfahren
parametrisiert werden. Eine ausreichende Anzahl von Schulungsbildern
(800) muss gesammelt werden. Je mehr Knoten ein ASM umfasst,
umso mehr Schulungsbilder sind nötig,
um das ASM trainieren zu können.
Während
des Trainingsprozesses muss ein Benutzer dieselben Knoten manuell
auf den Targets in den Trainingsbildern anordnen, die in dem ASM
definiert sind (820). Aus den vom Benutzer markierten Trainingsbildern
werden die relativen räumlichen
Beziehungen zwischen den Knoten erlernt, um das Formmodell zu erzeugen (820),
während
gleichzeitig die Farbvariationen in Nähe der Knoten erlernt werden,
um das Texturmodell zu erlernen (830). Vorzugsweise wird
ein Texturmodell mit mehreren Auflösungen anhand einer Reihe von
Kästen
unterschiedlicher Größe gebildet,
um Textureigenschaften bei unterschiedlichen Abmessungen zu codieren.
Nachdem dem geschulten ASM verschiedene Beispiele präsentiert
worden sind (840), erlernt es den Umgang mit normalen Variationen
von Farbe, Textur und Form.
-
7A–7B zeigen ein Beispiel des Prozesses zur
Lokalisierung des Referenzobjekts. Zunächst werden in 7A einheitlich
gefärbte
Bereiche erfasst, in denen ein räumlich
zusammenhängender Bereich
durch denselben Helligkeitswert markiert ist. Da das Referenzobjekt
mit einer Zahngruppe in demselben Mundbereich zusammenliegt, schlägt der erste
Versuch, das Referenzobjekt zu lokalisieren, fehl. Als nächstes wird
das Bereichsausschnittverfahren aufgerufen, um das Referenzobjekt
von der Zahngruppe zu trennen, wobei die Ergebnisse in 7B dargestellt sind. Da das Referenzobjekt
bereits getrennt ist, lokalisiert der Beuteilungsprozess das Referenzobjekt
erfolgreich, wie anhand des hellsten Bereichs in 7C dargestellt.
-
8A zeigt
ein Beispiel des Verfahrens zur Lokalisierung eines Zahns von Interesse.
Zunächst werden
die Knoten des ASM, anhand der Größe des erfassten Referenzobjekts
ordnungsgemäß skaliert, in
dem in 8A gezeigten digitalen Eingangsbild angeordnet.
Es sei darauf hingewiesen, dass die Ausgangspositionen der den Zahn
betreffenden Knoten noch weit von einer genauen Anordnung entfernt sind,
weil sie auf der Grundlage der mittleren relativen Position angeordnet
wurden, die während
der Schulung (automatisch) abgeleitet wurde. 8B zeigt
die endgültigen
Positionen der ASM-Knoten nach Annäherung der Suche. Hier ist
zu erkennen, dass die Zahnknoten, die in weißen Kreisen dargestellt sind,
jetzt genau auf dem Zahn angeordnet sind. Die Textursuchkästen werden
in 8B ebenfalls in grauen Rechtecken dargestellt.
Die räumlichen
Koordinaten der Zahnknoten werden dann an die nachfolgenden Stufen
des Dentalfarbton-Abstimmungssystems übergeben.
-
Die
vorliegende Erfindung kann in einem Computerprogrammprodukt verwirklicht
werden. Ein Computerprogrammprodukt kann ein oder mehrere Speichermedien
umfassen, wie beispielsweise magnetische Speichermedien, etwa Magnetplatten
(z.B. Disketten) oder Magnetband, optische Speichermedien, wie optische
Platte, optisches Band oder maschinenlesbarer Strichcode, Halbleiterspeichervorrichtungen,
wie RAM (Random Access Memory) oder ROM (Read Only Memory) oder
jede andere physische Vorrichtung oder jedes andere Medium, das
zur Speicherung eines Computerprogramms geeignet ist und Anweisungen
zur Steuerung eines oder mehrerer Computer zur Verwirklichung des
erfindungsgemäßen Verfahrens
enthält.
-
Das
erfindungsgemäße System
umfasst einen programmierbaren Computer mit einem Mikroprozessor,
Computerspeicher und einem in dem Computerspeicher zur Durchführung der
Verfahrensschritte gespeicherten Computerprogramm. Der Computer
weist eine Speicherschnittstelle auf, die mit dem Mikroprozessor
in Wirkbeziehung verbunden ist. Hierbei kann es sich um einen Anschluss handeln,
beispielsweise um einen USB-Port, oder ein Laufwerk zur Aufnahme
auswechselbaren Speichers oder eine andere Vorrichtung, die den
Zugriff auf Kameraspeicher ermöglicht.
Das System umfasst eine Digitalkamera, die mit einem Speicher ausgerüstet ist,
der mit der Speicherschnittstelle kompatibel ist. Eine fotografische
Filmkamera und ein Scanner können
bei Bedarf anstelle der Digitalkamera verwendet werden. Das System
umfasst zudem ein bissgeeignetes Referenzobjekt, wie zuvor beschrieben.
Eine grafische Benutzeroberfläche
(GUI) und eine Benutzereingabeeinheit, etwa eine Maus und eine Tastatur, können als
Teil des Computers bereitgestellt werden.
