DE69817879T2

DE69817879T2 - Erkennung verzerrter bilder durch schnelle faltung und mittels bilderfassung von markanten punkten und volumeninformation

Info

Publication number: DE69817879T2
Application number: DE69817879T
Authority: DE
Inventors: I. Michael Miller; Sarang C. Joshi; Gary E. Christensen
Original assignee: St Louis University; Washington University in St Louis WUSTL
Current assignee: St Louis University; Washington University in St Louis WUSTL
Priority date: 1997-11-07
Filing date: 1998-11-06
Publication date: 2004-05-19
Anticipated expiration: 2018-11-07
Also published as: DE69817879D1; AU1383799A; JP2001523027A; EP1057137A1; EP1057137A4; EP1057137B1; ATE249071T1; CA2308499A1; WO1999024932A1; US6226418B1

Description

Diese Arbeit wurde teilweise durch die folgenden Stipendien der US-Regierung unterstützt: NIH-Stipendien RR01380 und R01-MH52138-01A1 und ARO-Stipendium DAAL-03-86-K-0110. Die US-Regierung kann gewisse Rechte an der Erfindung haben.
Technisches Gebiet
Die vorliegende Erfindung betrifft Bildverarbeitungssysteme und -verfahren und insbesondere Bilderfassungssysteme, die zwei oder mehr Bilder in einem gemeinsamen Bild kombinieren, insbesondere das Verschmelzen von anatomischem mannigfaltigkeitsbasiertem Wissen mit Volumeninformation mittels einer Großdeformationsabbildung, die beide Arten von Information sowohl gleichzeitig als auch individuell unterstützt, und die auf einem Computersystem, das auf einer FFT mit schneller Faltung basiert, implementiert werden kann.
Stand der Technik
Bilderfassung umfasst ein Kombinieren von zwei oder mehr Bildern oder ausgewählter Punkte der Bilder, um ein zusammengesetztes Bild zu erzeugen, das Daten von jedem der registrierten Bilder enthält. Während der Registrierung wird eine Transformation berechnet, die in Verbindung stehende Punkte unter den kombinierten Bildern aufeinander abbildet, so dass Punkte, die dieselbe Struktur in jedem der kombinierten Bilder definieren, in dem zusammengesetzten Bild korreliert sind.
Zur Zeit folgen die Praktiker zwei unterschiedlichen Registrierungstechniken. Die erste erfordert, dass ein einzelner mit Erfahrung in der Struktur des Objekts, das in den Bildern dargestellt ist, eine Menge von Landmarken bzw. Markierungen in jedem der zu erfassenden Bilder bezeichnet bzw. auszeichnet. Wenn z.B. zwei MRI-Bilder von verschiedenen axialen Schnitten eines menschlichen Kopfes erfasst werden, kann ein Mediziner Punkte oder eine Kontur, die diese Punkte umgibt, bezeichnen, die dem Cerebellum in zwei Bildern entsprechen. Die zwei Bilder werden dann erfasst, indem auf eine bekannte Beziehung zwischen den Landmarken in den zwei Gehirnbildern vertraut wird. Die diesem Erfassungsprozess zugrunde liegende Mathematik ist als Kleindeformationsmehrzielerfassung bekannt.
In dem vorigen Beispiel von zwei zu erfassenden Gehirnbildern unter Verwendung eines rein Operator-gesteuerten bzw. Bediener-gesteuerten Ansatzes, wird eine Menge von N Landmarken, die durch den Mediziner identifiziert werden, dargestellt durch x_i, wobei i = 1 ..., N, innerhalb der beiden Gehirnkoordinatensysteme definiert. Eine Abbildungsbeziehung, die die N Punkte, die in einem Bild zu den entsprechenden N Punkten in dem anderen Bild ausgewählt wurden, ist durch die Gleichung u(x_i) = k_i definiert, wobei i = 1, ..., N. Jeder der Koeffizienten k_i wird als bekannt angenommen.
Die Abbildungsbeziehung u(x) wird aus der Menge von N Landmarkenpunkten in das Kontinuum unter Verwendung einer Regularisierungsoptimierung und einer linearen quadratischen Form der Gleichung erweitert:
die den Randbedingungen u(x_i) = k_i unterworfen ist. Der Operator L ist ein linearer Differentialoperator. Dieses lineare Optimierungsproblem hat eine Lösung in geschlossener Form. Die Wahl von L = α∇² + β∇(∇·) ergibt die Kleindeformationselastizität.
Für eine Beschreibung der Kleindeformationselastizität siehe S. Timoshenko, Theory of Elasticity, McGraw-Hill, 1934 (im Folgenden als Timoshenko bezeichnet) und R. L. Bisplinghoff, J. W. Marr und T. H. H. Pian, Statistics of Deformable Solids, Dover Publications, Inc., 1965 (im Folgenden als Bisplinghoff bezeichnet). Die Wahl von L = ∇² ergibt ein Membran- oder Laplace'sches Modell. Andere haben diesen Operator in ihrer Arbeit verwendet, siehe z. B. Amit, U. Grenander und M. Piccioni, "Structural image restoration through deformable templates", J. American Statistical Association 86 (414): 376–387, Juni 1991, (im Folgenden als Amit bezeichnet) und R. Szeliski, Bayesian Modeling of Uncertainty in Low-Level Vision, Kluwer Academic Publisher, Boston, 1989 (im Folgenden als Szeliski bezeichnet) (beschreibt auch einen biharmonischen Ansatz). Die Wahl von L = ∇⁴ gibt ein Spline- oder ein biharmonisches Erfassungsverfahren. Für Beispiele von Anwendungen, die diesen Operator verwenden, siehe Grace Wahba, "Spline Models for Observational Data", Regional Conference Series in Applied Mathematics. SIAM, 1990, (im Folgenden als Wahba bezeichnet) und F. L. Bookstein, The Measurement of Biological Shape and Shape Change, Band 24, Springer-Verlag: Lecture Notes in Biomathematics, New York, 1978 (im Folgenden als Bookstein bezeichnet).
Die zweite zur Zeit verwendete Technik zur Bilderfassung verwendet die Mathematik der Kleindeformationsmehrzielerfassung und ist rein bilddatengesteuert. Hier werden volumenbasierte Bilddaten aus den beiden Zielen, aus denen eine Koordinatensystemtransformation konstruiert wird, erzeugt. Bei Verwendung dieses Ansatzes stellt ein Abstandsmaß, dargestellt durch den Ausdruck D(u), den Abstand zwischen einem Modell-T(x) und einem Zielbild S(x) dar. Die Optimierungsgleichung, die das Erfassen der beiden Bilder mit Hilfe eines Abstandsmaßes leitet, ist:
Das Abstandsmaß D(u), das den Unterschied zwischen Bilddaten misst, hat verschiedene Formen, z. B. der Gauss'sche quadrierte Fehlerabstand ∫|T(h(x)) – S(x)|²dx, ein Korrelationsabstand oder ein Kullback-Liebler-Abstand. Erfassen der beiden Bilder erfordert, dass eine Abbildung gefunden wird, die diesen Abstand minimiert.
Andere Verschmelzungsansätze verwenden ein Kleindeformationsabbilden von Koordinaten x ∊ Ω von einer Menge von Bilddaten in eine zweite Menge von Bilddaten. Andere Techniken umfassen das Abbilden von vordefinierten Landmarken und Bilddaten, die beide getrennt genommen werden, wie in der Arbeit von Bookstein, oder verschmolzen werden, wie es durch den von Miller-Joshi-Christensen-Grenander aus der '628-Anmeldung abgedeckt wird, der in der US-Patentanmeldung Nr. 08/678,628 (im Folgenden "die '628-Anmeldung") beschrieben ist, die hier durch Bezugnahme aufgenommen wird, bei dem Koordinaten x ∊ Ω von einem Ziel in ein zweites Ziel abgebildet werden: der existierende Stand der Technik zum Kleindeformationsanpassen bzw. Kleindeformations-In-Übereinstimmung-Bringen kann wie folgt genannt werden: Kleindeformationsanpassen: Konstruiere h(x) = x – u(x) gemäß der Minimierung des Abstands D(u) zwischen den Modell- und Zielbilddaten unter Berücksichtigung der Glattheitsstrafe, die durch den linearen Differentialoperator L definiert wird:
Das Abstandsmaß verändert sich je nachdem, ob Landmarken oder Bilddaten angepasst werden.

1. Landmarken alleine. Der erste Ansatz ist rein Operator-gesteuert, bei dem eine Menge von Punktlandmarken x_i, i = 1, ..., N, innerhalb der beiden Gehirnkoordinatensysteme durch beispielsweise einen anatomischen Experten oder ein automatisiertes System, von dem die Abbildung als bekannt angenommen wird: u(x_i) = k_i, i = 1, ..., N definiert wird. Das Feld u(x), das die Abbildung h spezifiziert, wird von der in dem Ziel definierten Menge von Punkten {x_i} zu den Punkten {y_i} erweitert, gemessen mit den Gauss'schen Fehlerkovarianzen Σ_i:
Hier bezeichnet (·)^t die Transponierte der 3 × 1 reellen Vektoren und L ist ein linearer Differentialoperator, der die Kleindeformationselastizität verursacht (siehe Timoshenko und Bisplinghoff), das Membran- oder Laplace'sche Modell (siehe Amit und Szeliski), biharmonische (siehe Szeliski) und viele der Splineverfahren (siehe Wahba und Bookstein). Dies ist ein lineares Optimierungsproblem mit einer Lösung in geschlossener Form.
2. Der zweite Ansatz ist rein volumenbilddatengesteuert, bei dem die volumenbasierten Bilddaten aus den beiden Zielen erzeugt werden, aus denen die Koordinatensystemtransformation konstruiert wird. Dafür wird ein Abstandsmaß zwi schen den beiden zu erfassenden Bildern I₀, I₁ definiert, D(u) = ∫|I₀(x – u(x)) – I_i(x)|²dx, was die Optimierung durch
ergibt. Die Datenfunktion D(u) misst die Ungleichheit zwischen den Bilddaten und wurde in verschiedenen Formen verwendet. Andere Abstände werden neben dem Gauss'schen quadrierten Fehlerabstand verwendet, inklusive dem Koordinatenabstand, dem Kullback-Liebler-Abstand und andere.
3. Der Algorithmus für die Transformation der Bilddaten I₀ in die Bilddaten I ₁ weist Landmarken und die Volumenbilddaten auf, die in dem Kleindeformationsaufbau, wie in der '628-Anmeldung, verschmolzen sind. Beide Informationsquellen werden zu der Kleindeformationserfassung kombiniert:

Kleindeformationsverfahren ergeben geometrisch sinnvolle Deformationen unter Bedingungen, bei denen die anzupassenden Bilddaten kleine, lineare oder affine Veränderungen von einem Bild zu dem anderen sind. Eine Kleindeformationsabbildung erlaubt nicht die automatische Berechnung von Tangenten, Krümmung, Oberflächen und geometrischen Eigenschaften der Bilddaten. Um das Abbildungsproblem zu illustrieren, zeigt 9 ein ovales Modellbild mit mehreren hervorgehobenen Landmarken. 10 zeigt ein Zielbild, das von dem Modellbild stark deformiert ist. Das Zielbild ist ein stark deformiertes Oval, das verdreht und deformiert ist. 11 zeigt die Ergebnisse des Bildanpassens, wenn die vier Ecken fest sind, unter Verwendung von Kleindeformationsverfahren, die auf statischer Regularisierung mit quadratischer Form basieren. Dies ist eine Illustrierung der Verzerrung, die bei linearen Kleindeformationsabbildungsverfahren zwischen einfach definierten Landmarkenpunkten auftritt, die eine Bewegung definieren, welche eine große Deformation ist. Wie in 11 zu sehen ist, lassen sich in dem Modellbild definierte Landmarken häufig auf mehr als einen entsprechenden Punkt im Zielbild abbilden.
Das Großdeformationsabbilden erlaubt uns, Abbildungen zur Bilderfassung zu erzeugen, bei denen das Ziel ist, die injektiven, surjektiven, invertiblen, differenzierbaren Abbildung h (von nun an Diffeomorphismen genannt) von den Koordinaten x ∊ Ω von einem Ziel zu einem zweiten Ziel unter der Abbildung h:x → h(x) = x – u(x), x ∊ Ω (7)zu finden.
Um sehr feine Veränderungen in der Anatomie zu erfassen, sind die konstruierten diffeomorphen Transformationen von hoher Dimension mit z. B. Dimension größer als 12 der affinen Transformation und bis zu der Größenordnung der Zahl von Voxel in dem Volumen. Eine Transformation wird diffeomorph genannt, wenn die Transformation von dem Modell zu dem Ziel injektiv, surjektiv, invertierbar ist und sowohl die Transformation und ihr Inverses differenzierbar sind. Eine Transformation heißt injektiv, wenn keine zwei unterschiedlichen Punkte in dem Modell auf denselben Punkt in dem Ziel abgebildet werden. Eine Transformation heißt surjektiv, wenn jeder Punkt in dem Ziel von einem Punkt in dem Modell abgebildet ist. Die Bedeutung, Diffeomorphismen zu erzeugen, liegt darin, dass Tangenten, Krümmung, Oberflächen und geometrische Eigenschaften der Bilddaten automatisch berechnet werden können. 12 illustriert das Bildabbilden, das in 11 illustriert ist, mit Hilfe einer diffeomorphen Transformation.
Zusammenfassung der Erfindung
Die vorliegende Erfindung, wie sie durch die unabhängigen Ansprüche 1 bis 6 definiert ist, überwindet die Einschränkungen der herkömmlichen Techniken der Bilderfassung, indem ein Verfahren bereitgestellt wird, das einige Gesichtspunkte beider Techniken des Erforderns eines Individuums mit Erfahrung in der Struktur des in den Bildern dargestellten Objekts, um eine Menge von Landmarken in jedem Bild, das erfasst werden soll, zu bezeichnen und Verwenden von Mathematik der Kleindeformationsmehrzielerfassung, die rein bilddatengesteuert ist, kombiniert oder verschmilzt. Eine Ausführungsform, die mit der vorliegenden Erfindung in Übereinstimmung ist, verwendet Landmarkenmannigfaltigkeiten, um eine grobe Erfassung zu erzeugen, und verwendet anschließend Bilddaten, um eine Feinerfassung des Modell- und Zielbilds zu vervollständigen.
Zusätzliche Merkmale und Vorteile der Erfindung werden in der folgenden Beschreibung dargelegt und, teilweise, werden aus der Beschreibung offensichtlich oder können durch Anwenden der Erfindung erlernt werden. Die Ausführungsbeispiele und weitere Vorteile der Erfindung werden durch das Verfahren und die Vorrichtung, die insbesondere in der schriftlichen Beschreibung und den Ansprüchen sowie in den angehängten Zeichnungen hervorgestellt, realisiert und erhalten.
Um diese und andere Vorteile zu erzielen und gemäß dem Ziel der Erfindung, wie es ausgeführt und ausführlich beschrieben wird, umfasst ein Verfahren gemäß der Erfindung zum Erfassen eines Modellbildes und eines Zielbildes mehrere Schritte, inklusive eines Definierens von Mannigfaltigkeitslandmarkenpunkten in dem Modellbild und Identifizierens von Punkten in dem Zielbild, die den definierten Mannigfaltigkeitslandmarkenpunkten entsprechen. Wenn diese Punkte identifiziert wurden, umfasst das Verfahren die Schritte eines Berechnens einer Transformation, welche die definierten Mannigfaltigkeitslandmarkenpunkte in dem Modellbild zu den entsprechenden Punkten in dem Zielbild in Beziehung setzt; Verschmelzen der ersten Transformation mit einem Abstandsmaß, um eine zweite Transformation zu bestimmen, die alle Punkte innerhalb eines Bereichs von Interesse in dem Zielbild zu den entsprechenden Punkten in dem Modellbild in Beziehung setzt; und Erfassen des Modellbilds mit dem Zielbild unter Verwendung dieser zweiten Transformation.
Es ist daher ein anderes Ausführungsbeispiel der vorliegenden Erfindung, einen neuen Rahmen bereitzustellen, um die zwei separaten Bilderfassungsansätze in dem Großdeformationsaufbau zu verschmelzen. Es ist ein weiteres Ausführungsbeispiel des Großdeformationsverfahrens, anatomischen und klinischen Experten zu erlauben, geometrische Eigenschaften von Bilddaten allein zu untersuchen. Dies wird die Verwendung von Landmarkeninformation zum Erfassen von Bilddaten erlauben. Ein weiteres Ausführungsbeispiel in Übereinstimmung mit der vorliegenden Erfindung erlaubt eine Erfassung, die auf Bildanpassung bzw. -In-Übereinstimmung-Bringen alleine basiert. Noch ein weiteres Ausführungsbeispiel in Übereinstimmung mit der vorliegenden Erfindung kombiniert diese Transformationen, die Diffeomorphismen sind und daher zusammengesetzt werden können.
Ein Ausführungsbeispiel in Übereinstimmung mit der vorliegenden Erfindung stellt eine effiziente Abstiegslösung durch die Lagrange'sche Zeitpfad-Raumzeitlösung des Landmarkenanpassungsproblems für Situationen bereit, bei denen eine kleine Anzahl von Landmarken N << [Ω] vorhanden ist, wodurch die Ω × T-dimensionale Optimierung zu N T-dimensionalen Optimierungen reduziert wird.
Ein weiteres Ausführungsbeispiel in Übereinstimmung mit der vorliegenden Erfindung stellt eine effiziente FFT-basierte Faltungsimplementation des Bildanpassungsproblems in Euler'schen Koordinaten bereit, wodurch die Optimierung von reellwertigen Funktionen auf Ω × T zu [T]-Optimierungen auf Ω konvertiert werden.
Um die klassischen Kleindeformationslösungen der Bilderfassungsprobleme als Großdeformationslösungen umzuformulieren, was eine genaue algorithmische Erfindung ermöglicht, übergehend von niedrigdimensionaler Landmarkeninformation zu hochdimensionaler Volumeninformation bereitstellenden Abbildungen, die injektiv und surjektiv sind aus denen die Geometrie von Bildsubstrukturen untersucht werden kann. Da die Abbildungen Diffeomorphismen sind, können Riemann'sche Längen auf gekrümmten Oberflächen, Oberflächen, zusammenhängende Volumenmaße berechnet werden, wobei sichergestellt ist, dass diese aufgrund der diffeomorphen Art der Abbildungen wohldefiniert sind.
Es ist auch ein Ausführungsbeispiel in Übereinstimmung mit der Erfindung, periodische und stationäre Eigenschaften in die Kovarianzeigenschaften der Differentialoperatorglättung einzuführen, so dass die Lösung, bei der innere Produkte involviert sind, mittels Faltungen und schnellen Fourier-Transformationen implementiert werden kann, wodurch die Verschmelzungslösung in Echtzeit auf seriellen Computern rechnerisch durchführbar wird.
Sowohl die vorhergehende allgemeine Beschreibung und die folgende ausführliche Beschreibung sind beispielhaft und zur Erläuterung und sollen dazu dienen, weitere Erklärungen der Erfindung, wie sie beansprucht wird, bereitzustellen.
Kurze Beschreibung der Zeichnungen
Die begleitenden Zeichnungen stellen ein weiteres Verständnis der Erfindung bereit. Sie illustrieren Ausführungsbeispiele der Erfindung und, gemeinsam mit der Beschreibung, erklären die Prinzipien der Erfindung.
1 ist ein Ziel- und Modellbild eines axialen Schnitts eines menschlichen Kopfes mit 0-dimensionalen Mannigfaltigkeiten;
2 ist ein schematisches Diagramm, das eine Vorrichtung zum Erfassen von Bildern gemäß der vorliegenden Erfindung illustriert;
3 ist ein Flussdiagramm, das das Verfahren der Bilderfassung gemäß der vorliegenden Erfindung illustriert;
4 ist ein Ziel- und ein Modellbild mit 1-dimensionalen Mannigfaltigkeiten;
5 ist ein Ziel- und ein Modellbild mit 2-dimensionalen Mannigfaltigkeiten;
6 ist ein Ziel- und ein Modellbild mit 3-dimensionalen Mannigfaltigkeiten;
7 ist eine Sequenz von Bildern, die das Erfassen eines Modell- und Zielbildes illustrieren; und
8 ist ein Flussdiagramm, das die Berechnung einer Verschmelzungstransformation illustriert;
9 ist ein ovales Modellbild, das ausgewählte und hervorgehobene Landmarkenpunkte hat;
10 ist ein deformiertes und verzerrtes ovales Zielbild mit entsprechenden ausgewählten und hervorgehobenen Landmarkenpunkten;
11 ist eine Bildanpassung der ovalen Ziel- und Modellbilder;
12 ist ein Bildanpassen mit Hilfe von Diffeomorphismen.
Ausführliche Beschreibung der Erfindung
1. Verfahren zur Bilderfassung unter Verwendung von sowohl Landmarken-basiertem Wissen und Bilddaten
Ein Verfahren und System ist offenbart, das Bilder unter Verwendung sowohl von Landmarken-basiertem Wissen als auch Bilddaten erfasst. Nun wird im Detail auf das vorliegende bevorzugte Ausführungsbeispiel der Erfindung Bezug genommen, wobei Beispiele davon in den begleitenden Zeichnungen illustriert sind.
Um die Prinzipien der Erfindung zu illustrieren, zeigt 1 zwei axiale Ansichten eines menschlichen Kopfes. In diesem Beispiel enthält das Modellbild 100 Punkte 102, 104 und 114, die strukturelle Punkte (0-dimensionale Landmarkenmannigfaltigkeiten) von Interesse in dem Modellbild identifizieren. Das Zielbild 120 enthält Punkte 108, 110, 116, die jeweils den Modellbildpunkten 102, 104, 114 über die jeweiligen Vektoren 106, 112, 118 entsprechen.
2 zeigt eine Vorrichtung, um die bevorzugte Ausführungsform dieser Erfindung durchzuführen. Ein medizinischer Bildabtaster 214 erhält die in 1 gezeigten Bilder und speichert sie in einem Computerspeicher 206, der mit einer zentralen Verarbeitungseinheit (CPU) 204 eines Computers verbunden ist. Der Fachmann wird erkennen, dass eine parallele Computerplattform mit mehrfachen CPUs auch eine geeignete Hardwareplattform für die vorliegende Erfindung ist, umfassend, aber nicht beschränkt auf massiv parallele Maschinen und Workstations mit mehrfachen Prozessoren. Der Computerspeicher 206 kann direkt mit der CPU 204 verbunden sein, oder dieser Speicher kann entfernt über ein Kommunikationsnetzwerk verbunden sein.
Ein Erfassen der Bilder 100, 120 gemäß der vorliegenden Erfindung vereinigt eine Erfassung basierend auf Landmarkendeformationen und Bilddatentransformation unter Verwendung eines Grob-zu-fein-Ansatzes. In diesem Ansatz wird die Transformation mit der höchsten Dimension, die während der Erfassung benötigt wird, aus der Lösung einer Sequenz von niedrigerdimensionalen Problemen durch aufeinandertolgende Verfeinerungen berechnet. Dieses Verfahren basiert auf Information, die entweder durch einen Bediener bereitgestellt wird, die als Default gespeichert ist, oder automatisch aus den verschiedenen Substrukturen des Modells und des Bilds und sich verändernden Wissensgraden über diese Substrukturen bestimmt werden, abgeleitet aus anatomischen Bilddaten, die aus Modalitäten, wie CT, MRI, funktionale MRI, PET, Ultraschall, SPECT, MEG, EEG oder Cryosektion erworben werden.
Diesem hierarchischen Ansatz folgend bewegt ein Bediener unter Verwendung der Zeigervorrichtung 208 einen Cursor 210, um Punkte 102, 104, 114 in 1 auszuwählen, die dann auf einem Computerbildschirm 202 gemeinsam mit den Bildern 100, 120 dargestellt wird. Die ausgewählten Bildpunkte 102, 104 und 114 sind 0-dimensionale Mannigfaltigkeitslandmarken.
Wenn der Bediener Mannigfaltigkeitslandmarkenpunkte 102, 104 und 114 in dem Modellbild 100 ausgewählt hat, identifiziert der Bediener die entsprechenden Modellbildpunkte 108, 110, 116.
Sobald die Mannigfaltigkeitslandmarkenauswahl vollständig ist, berechnet die CPU 204 eine erste Transformation, die die Mannigfaltigkeitslandmarkenpunkte in dem Modellbild 100 zu ihren entsprechenden Bildpunkten in dem Zielbild 120 in Beziehung setzt. Als nächstes wird durch die CPU 204 eine zweite Transformation berechnet, indem die erste Transformation, die ausgewählte Mannigfaltigkeitslandmarkenpunkte in Beziehung setzt, mit einem Abstandsmaß, das alle Bildpunkte in sowohl dem Modellbild 100 als dem Zielbild 120 in Beziehung setzt, verschmolzen wird. Der Bediener kann eine Gleichung für das Abstandsmaß auf verschiedene Weise auswählen, inklusive, aber nicht beschränkt auf ein Auswählen einer Gleichung aus einer Liste unter Verwendung der Zeigervorrichtung 208, Eingeben einer Gleichung in die CPU 204 mit Hilfe einer Tastatur 212 oder Auslesen einer Default-Gleichung aus dem Speicher 206. Die Erfassung wird durch die CPU 204 fertiggestellt, indem die zweite berechnete Transformation auf alle Punkte in dem Modellbild 100 angewendet wird.
Obwohl mehrere der Erfassungsschritte als Auswahlen beschrieben sind, die von einem Bediener gemacht werden, ist die Implementation der vorliegenden Erfindung nicht auf manuelle Auswahl beschränkt. Beispielsweise können die Transformationen, Randwerte, Bereiche von Interesse und das Abstandsmaß Defaults sein, die aus dem Speicher ausgelesen werden und automatisch bestimmt werden.
3 illustriert das Verfahren dieser Erfindung bei Anwendung. Als erstes definiert ein Bediener eine Menge von N Mannigfaltigkeitslandmarkenpunkten x_i, wobei i = 1, ..., N, dargestellt durch die Variable M, in dem Modellbild (Schritt 300). Diese Punkte sollten Punkten entsprechen, die in dem Zielbild einfach zu identifizieren sind.
Zu jedem Landmarkenpunkt x_i in dem Modellbild gehört ein entsprechender Punkt y_i in dem Zielbild. Der Bediener identifiziert also als nächstes die entsprechenden Punkte y_i in dem Zielbild (Schritt 310). Die Art dieses Prozesses bedeutet, dass die entsprechenden Punkte nur innerhalb eines bestimmten Grads von Genauigkeit identifiziert werden können. Dieses Abbilden zwischen den Modell- und Zielpunkten kann mit einer Auflösung spezifiziert werden, die einen Gauss'schen Fehler mit Varianz σ² hat.
Falls kein Transformationsoperator bezeichnet wurde, kann der Bediener einen Mannifaltigkeitslandmarkentransformationsoperator L für diese Transformationsberechnung auswählen. In diesem Ausführungsbeispiel wird der Laplace-Operator
für den Operator L verwendet. In gleicher Weise kann der Bediener auch Randwerte für die Berechnung auswählen, die angenommenen Randwertbedingungen entsprechen, wenn diese Werte nicht automatisch bestimmt wurden oder als Defaultwerte gespeichert wurden. Hier werden unendliche Randbedingungen angenommen, was die folgende Gleichung für K ergibt, wobei K (x, x_i) die Green'sche Funktion eines Volumenlandmarkentransformationsoperators L² (unter der Annahme, dass L selbstadjungiert ist) ist:
Die Verwendung von zirkulären Randbedingungen statt unendlichen Randbedingungen stellt ein Ausführungsbeispiel bereit, das zur schnellen Berechnung geeignet ist. Der Fachmann erkennt, dass andere Operatoren statt des Laplace-Operators verwendet werden können, diese Operatoren umfassen, sind aber nicht beschränkt auf den biharmonischen Operator, linearen Elastizitätsoperator und andere Potenzen dieser Operatoren.
Zusätzlich kann der Bediener einen Bereich von Interesse in dem Zielbild auswählen. Ein Einschränken der Berechnung auf einen verhältnismäßig kleinen Bereich von Interesse reduziert sowohl die Berechnungs- als auch die Speichererfordernisse, da die Transformation nur über einen Unterbereich von Interesse berechnet wird. Es kann auch sein, dass in manchen Anwendungen das gesamte Bild der gewünschte Bereich von Interesse ist. In anderen Anwendungen können Defaultbereiche von Interesse vorhanden sein, die automatisch identifiziert werden.
Die Anzahl von erforderlichen Berechnungen ist proportional zu der Anzahl von Punkten in dem Bereich von Interesse, so dass Berechnungseinsparungen gleich dem Verhältnis der Gesamtanzahl von Punkten in dem Bild zu der Zahl von Punkten in dem Bereich von Interesse ist. Die Datenspeichereinsparungen für ein Bild mit N Punkten mit einem Bereich von Interesse mit M-Punkten ist ein Faktor von N/M. Zum Beispiel werden für ein Volumenbild von 256 × 256 × 256 Punkten mit einem Bereich von Interesse von 128 × 128 × 128 Punkten die Berechnungszeit und der Datenspeicher um einen Faktor 8 reduziert.
Zusätzlich erfordert ein Durchführen der Berechnung über nur einen Bereich von Interesse, nur einen Unterbereich zu speichern, wodurch Datenspeichereinsparungen für das Modellbild, das Zielbild und die Transformationswerte bereitgestellt werden.
Nach der Identifizierung der Modellmannigfaltigkeitslandmarkenpunkte und der entsprechenden Punkte in dem Zielbild, als auch der Auswahl des Mannigfaltigkeitstransformationsoperators, der Randwerte und des Bereichs von Interesse, berechnet die CPU 204 eine Transformation, die die Abbildungsbeziehung zwischen diesen beiden Mengen von Punkten verkörpert (Schritt 350). Diese Transformation kann unter Verwendung einer Bayes'schen Optimierung geschätzt werden, unter Verwendung der folgenden Gleichung:
wobei der Minimierer u die Form hat
wobei A eine 3 × 3-Matrix, b = [b₁, b₂, b₃] ein 3 × 1-Vektor, [β_i1, β_i2, β_i3] ein 3 × 1-Gewichtsvektor ist.
Die vorangegangenen Schritte des Bilderfassungsverfahrens stellen eine grobe Anpassung eines Modell- und eines Zielbildes bereit. Eine Feinanpassung der Bilder erfordert die Verwendung der vollen Bilddaten und der Landmarkeninformation und umfasst ein Auswählen eines Abstandsmaßes durch Lösen einer Synthesegleichung, die gleichzeitig ausgewählte Bildlandmarken in dem Modell- und Zielbild abbildet und alle Bildpunkte innerhalb eines Bereichs von Interesse anpasst bzw. paart. Ein Beispiel dieser Synthesegleichung ist:
wobei hier das Verschiebungsfeld u auf die Form beschränkt ist
mit den Variablen β_i, A und b, die in Schritt 350 in 3 berechnet werden. Der Operator L in Gleichung (11) kann der gleiche Operator wie in Gleichung (9) sein, oder ein anderer Operator kann alternativ verwendet werden mit einer anderen Menge von Randbedingungen. Die Basisfunktionen φ sind die Eigenfunktionen des Operators, wie der Laplace-Operator Lu = ∇²u, der biharmonische Operator Lu = ∇⁴u, der lineare Elastizitätsoperator Lu = α∇²u + (α + β)∇(∇·u) und Potenzen dieser Operatoren L^p für p ≥ 1.
Der Fachmann wird erkennen, dass es viele mögliche Formen der Synthesegleichung gibt. Beispielsweise misst in der oben dargestellten Synthesegleichung das Abstands maß in dem ersten Term die relative Position der Punkte in dem Zielbild bezüglich der Punkte in dem Modellbild. Obwohl diese Synthesegleichung ein quadratisches Abstandsmaß verwendet, wird der Fachmann erkennen, dass es andere geeignete Abstandsmaße gibt.
Die CPU 204 berechnet dann eine zweite oder Verschmelzungstransformation (Schritt 370) unter der Verwendung der Synthesegleichung, die alle Punkte innerhalb eines Bereichs von Interesse in dem Zielbild zu allen entsprechenden Punkten in dem Modellbild in Beziehung setzt. Die Synthesegleichung ist definiert, so dass die resultierende Transformation das Abbilden der Mannigfaltigkeitslandmarken zu entsprechenden Zielbildpunkten, die beim Berechnen der ersten Transformation bestimmt wurden, umfasst oder verschmilzt.
Die Berechnung unter Verwendung der Synthesegleichung wird erreicht, indem eine Sequenz von Optimierungsproblemen von grober zu feiner Skala über das Schätzen der Basiskoeffizienten μ_k gelöst wird. Dies ist analog zu Mehrgitterverfahren, aber hier wird der Begriff von Verfeinerung von Grob nach Fein erreicht, indem die Zahl von Basiskomponenten d erhöht wird. Wenn die Zahl von Basisfunktionen zunimmt, werden kleinere und kleinere Veränderlichkeiten zwischen dem Modell und dem Ziel angepasst. Die Basiskoeffizienten werden durch Gradientenabstieg bestimmt, d. h.,
und Δ ist eine feste Schrittgröße und λ_k sind die Eigenwerte der Eigenvektoren φ_k.
Die Berechnung der Verschmelzungstransformation (Schritt 370) unter Verwendung der Synthesegleichung ist in dem Flussdiagramm von 8 dargestellt. Gleichung (12) wird verwendet, um den Wert des Verschiebungsfelds u(x) = u⁽⁰⁾(x) (Schritt 800) zu initialisieren. Die Basiskoeffizienten μ_k = μ_k ⁽⁰⁾ werden gleich Null gesetzt und die Variablen β_i, A und b werden gleich der Lösung von Gleichung (11) gesetzt (Schritt 802). Gleichung (13) wird dann verwendet, um die neuen Werte der Basiskoeffizienten μ_k ⁽ⁿ⁺¹⁾ zu schätzen, gegeben die augenblickliche Schätzung des Verschiebungsfelds μ⁽ⁿ⁾(x) (Schritt 804). Gleichung (15) wird dann verwendet, um die neue Schätzung des Verschiebungsfelds u⁽ⁿ⁾(x) zu berechnen, gegeben die augenblickliche Schätzung der Basiskoeffizienten μ_k ⁽ⁿ⁾ (Schritt 806). Der nächste Teil der Berechnung besteht darin, zu entscheiden, ob die Anzahl d an Basisfunktionen φ_k erhöht wird oder nicht, die verwendet werden, um die Transformation darzustellen (Schritt 808). Erhöhen der Zahl von Basisfunktionen erlaubt mehr Deformation. Normalerweise wird der Algorithmus mit einer kleinen Anzahl von Basisfunktionen gestartet, die Niedrigfrequenzeigenfunktionen entsprechen, und dann wird die Zahl von Frequenzen in definierten Iterationen um Eins erhöht (Schritt 810). Diese Grob-zu-fein-Strategie passt größere Strukturen vor kleineren Strukturen an. Die vorangehenden Berechnungen (Schritte 804–810) werden wiederholt, bis die Berechnung konvergiert ist oder die maximale Anzahl von Iterationen erreicht ist (Schritt 812). Das letzte Verschiebungsfeld wird dann verwendet, um das Modellbild zu transformieren (Schritt 814).
Sobald die CPU 204 die Transformation aus der Synthesegleichung, die sowohl Landmarkmannigfaltigkeitsinformation als auch Bilddaten verschmilzt, bestimmt, verwendet die CPU 204 dieses Transformation, um das Modellbild mit dem Zielbild zu erfassen (Schritt 380).
Das Spektrum der zweiten Transformation h ist um Null stark konzentriert. Dies bedeutet, dass das Spektrum hauptsächlich Niedrigfrequenzanteile enthält. Unter Verwendung des Abtasttheorems kann die Transformation durch eine unterabgetastete Version dargestellt werden, unter Voraussetzung, dass die Abtastfrequenz größer als die Nyquistfrequenz der Transformation ist. Die Berechnung kann beschleunigt werden, indem die Transformation auf einem groben Gitter berechnet wird und auf das volle Voxelgitter er weitert wird, z. B. im Fall von 3D-Bildern durch Interpolation. Die Berechnungskomplexität des Algorithmus ist proportional zu der Dimension des Gitters, auf der die Transformation berechnet wird. Daher ist die Berechnungsbeschleunigung gleich dem Verhältnis des vollen Voxelgitters zu dem groben Berechnungsgitter.
Der Fachmann wird erkennen, dass ein Zusammensetzen der Landmarkentransformationen gefolgt von den elastischen Basistransformationen, wobei die Verschmelzungsmethode nacheinander angewendet wird, einen alternativ gültigen Ansatz zur hierarchischen Synthese von Landmarken- und Bildinformation in der Segmentation bereitstellen kann.
Eine andere Möglichkeit, die Effizienz des Algorithmus zu erhöhen, besteht darin, die Green'schen Funktionen und Eigenfunktionen des Operators L vorher zu berechnen, und diese vorberechneten Werte in einer Nachschlagetabelle zu speichern. Diese Tabellen ersetzen die Berechnung dieser Funktionen in jeder Iteration durch ein Nachschlagen bzw. Nachsehen in einer Tabelle. Dieser Ansatz nutzt die Symmetrie der Green'schen Funktionen und Eigenfunktionen des Operators L aus, so dass sehr wenig Computerspeicher benötigt wird. In dem Fall der Green'schen Funktionen wird die Radialsymmetrie ausgenutzt, indem die Green'sche Funktion nur entlang einer radialen Richtung vorher berechnet wird.
Das Verfahren, das zum Verschmelzen von Landmarkeninformation mit der Bilddatentransformation beschrieben wurde, kann von Landmarken, die einzelne Punkte (O-dimensionale Mannigfaltigkeiten) auf Mannigfaltigkeiten der Dimensionen 1, 2 und 3 erweitert werden, die Kurven (1-dimensional), Oberflächen (2-dimensional) und Subvolumen (3-dimensional) entsprechen.
Beispielsweise zeigt 4 ein Modellbild 400 eines Schnitts eines Gehirns mit 1-dimensionalen Mannigfaltigkeiten 402 und 404, die den 1-dimensionalen Mannigfaltigkeiten 408 und 410 des Zielbilds 406 jeweils entsprechen. 5 zeigt ein Modellbild 500 eines Schnitts eines Gehirns mit einer 2-dimensionalen Mannigfaltigkeit 502, die der 2-dimensionalen Mannigfaltigkeit 506 des Zielbilds 504 entspricht. 6 zeigt ein Modellbild 600 eines Schnitts eines Gehirns mit 3-dimensionaler Mannigfaltigkeit 602, die der 3-dimensionalen Mannigfaltigkeit 606 des Zielbilds 604 entspricht.
Wie bei den Punktlandmarken bedingen diese höherdimensionalen Mannigfaltigkeiten die Transformation, d. h. wir nehmen an, dass das Vektorfeld, das die Mannigfaltigkeiten in dem Modell auf die Daten abbildet, gegeben ist. Unter dieser Annahme wird die von Hand begleitete Deformation (Schritt 350, 3) das gleichheitsbeschränkte Bayessche Optimierungsproblem:
Wenn M(i) eine glatte Mannigfaltigkeit für i = 0, 1, 2, 3 ist, ist die Lösung zu dieser Minimierung eindeutig und erfüllt L^fLu ^(x) = 0 für alle Modellpunkte der ausgewählten Mannigfaltigkeit. Dies impliziert, dass die Lösung in der Form einer Fredholm-Integralgleichung geschrieben werden kann:
und G ist die Green'sche Funktion von L.
Wenn die Mannigfaltigkeit ein Subvolumen M(3) ist, so ist dS das Lebesguemaß auf R³. Für 2-dimensionale Oberflächen ist dS das Oberflächenmaß auf M(2), für 1-dimensionale Mannigfaltigkeiten (Kurven) ist dS das Linienmaß auf M(1) und für Punktlandmarken M(0) ist dS das Punktmaß. Für Punktlandmarken entartet die Fredholm-Integralgleichung in eine Summation, die durch Gleichung (10) gegeben ist.
Wenn die Mannigfaltigkeit von Interesse eine glatte 2-dimensionale Oberfläche ist, erfüllt die Lösung das klassische Dirichlet-Randwertproblem: LfLu ^(x) = 0,∀x∊Ω\M (19)
Das Dirichletproblem wird unter Verwendung des Verfahrens der aufeinanderfolgenden Überrelaxation wie folgt gelöst. Wenn u^k(x) die Schätzung eines Deformationsfelds bei der k-ten Iteration ist, ist die Schätzung bei der (k + 1)-ten Iteration durch die folgende Update-Gleichung gegeben: uk+1(x) = uk(x) + aL,fLu(x), x ∊ Ω\M. uk+1(x) = k(x), x ∊ M, (20)wobei α der Überrelaxationsfaktor ist.
Es ist auch möglich, die Transformation (Schritt 370) mit schneller Konvergenz zu berechnen, indem eine Reihe von linearen Minimierungsproblemen gelöst wird, wobei die Lösung der Reihe von linearen Problemen gegen die Lösung des nichtlinearen Problems konvergiert. Dies vermeidet die Notwendigkeit, das nichtlineare Minimierungsproblem direkt zu lösen. Bei Verwenden eines konjugierten Gradientenverfahrens konvergiert die Berechnung schneller als eine direkte Lösung der Synthesegleichung, da die Basiskoeffizienten μ_k mit optimalen Schrittgrößen auf den neuesten Stand gebracht werden.
Bei Verwenden des konjugierten Gradienten wird angenommen, das Verschiebungsfeld habe die Form
Man beginnt mit der Annahme, dass f(x) fest ist. Dies wird unten verallgemeinert. Die Eigenfunktionen in der Entwicklung sind alle reell und folgen der Annahme, dass {φ_i(x)}
-wertig sind.
Das Minimierungsproblem wird gelöst, indem μnewj + μoldj + Δij = 0 ... d (23) berechnet wird, um die Basiskoeffizienten in Gleichung (21) auf den neuesten Stand zu bringen, wobei μ_j = 0, j = 0, ..., d zu Beginn sind, Δ_j wird berechnet mit Hilfe der Gleicmhung
wobei h_i(x) = ∇·T_x__u(x)·φ_i(x) und wobei θ_ij(x) = φ_j(x)·φ_j(x). Die Notation f•g ist das innere Produkt, d. h.
In gleicher Weise tritt die identische Formulierung zum Bringen der β_; auf den neuesten Stand auf, da u(x) in der in Gleichungen (21) und (22) gegebenen Reihenentwicklung geschrieben wird. Damit ergibt sich die durch die vorliegende Erfindung erzielte Verschmelzung. Die Berechnung von Gleichung (23) wird wiederholt, bis alle Δ_j unter eine vorherbestimmte Schwelle fallen, wobei sie für jedes Δ_j in aufsteigender Reihenfolge für j gelöst wird, und Δ_j wird berechnet unter der Verwendung der Werte von Δ_k für 0 ≤ k < j.
Eine weitere Verbesserung gegenüber Bilderfassungsverfahren des Stands der Technik wird erreicht, indem die erforderlichen Transformationen mit Hilfe schneller Fourier-Transformationen (FFT) berechnet werden. Ein Implementieren einer FFT-basierten Berechnung zur Bilderfassung unter Verwendung einer Synthesegleichung, wie in Schritt 370 von 3 erforderlich, ergibt Berechnungseffizienz. Allerdings muss, um die bekannten Berechnungseffizienzen von FFT-Transformationen auszunutzen, die Lösung der Synthesegleichung umgeformt werden, um die inneren Produkte, die von iterativen Algorithmen benötigt werden, in verschiebungsinvariante Faltungen zu transformieren.
Um die von den iterativen Algorithmen verlangten inneren Produkte zu verschiebungsinvarianten Faltungen zu machen, werden Differential- und Differenzoperatoren auf einer periodischen Version des Einheitswürfels und des diskreten Gitterwürfels definiert. Damit werden also die Operatoren zyklisch stationär gemacht, was impliziert, dass ihre Eigenfunktionen immer die Form komplexer Exponentialfunktionen auf diesen Würfeln mit den Werten:
haben, r = 1, 2, 3 mit x = (x₁, x₂, x₃) ∊ [0,1]³,
ω_ki = 2 πk_i, i = 1, 2, 3, und die Fourier-Basis für periodische Funktionen auf [0,1]³ nimmt die Form an
auf dem diskreten N³-periodischen Gitter
Für reelle Entwicklungen werden die Eigenvektoren
φ_k(x) = Ψ_k(x) + Ψ_k*(x) und die reelle Entwicklung in Gleichung (21) wird:
wobei * komplexkonjugiert bedeutet, und 0 < d ≤
Diese Umformulierung stützt eine effiziente Implementierung des Bilderfassungsprozesses unter Verwendung der FFT. Wenn insbesondere Schritt 370 von 3, in dem die Erfassungstransformation, die Landmarken- und Bilddaten verschmilzt, berechnet wird, unter Verwendung der konjugierten Gradientenmethode implementiert wird, wird die Berechnung eine Reihe von inneren Produkten umfassen. Verwenden der FFT nutzt die Struktur der Eigenfunktionen und die Berechnungseffizienz der FFT aus, um diese inneren Produkte zu berechnen.
Beispielsweise wird eine Form der Synthesegleichung zum Durchführen von Schritt 370 von 3 die folgenden drei Tenne umfassen:
Jeder dieser Terme muss in eine geeignete Form für die FFT-Berechnung umformuliert werden. Ein Beispiel einer richtigen Umformulierung für jeden dieser Terme ist:
Term 1:
wobei c (r) / k = [c (r) / 1k, c (r) / 2k, c (r) / 3k]^t. Diese Gleichung wird für alle k durch eine Fourier-Transformation der Funktion berechnet
und kann somit unter Verwendung eines 3D-FFT effizient berechnet werden.
Term 2:
Das Integral in der obigen Summation für alle k kann durch Fourier-Transformation der Elemente der 3 × 3-Matrix ∇T(∇T)t (30)ausgewertet bei ω_k + ω_j, berechnet werden. Da diese Matrix Diagonalsymmetrie aufweist, können die neun FFTs in dieser Umformulierung von Term 2 unter Verwendung von sechs dreidimensionalen FFTs, ausgewertet bei ω_k + ω_j, effizient berechnet werden.
Term 3:
Unter Verwendung der exakten Form für die Eigenfunktionen können wir die obige Gleichung umschreiben als
Diese Summation ist genau die inverse Fouriertransformation der Funktionen Σ3r=1 μ(r)ik für i = 1, 2, 3und kann somit effizient unter Verwendung einer 3D-FFT berechnet werden.
Der Fachmann wird erkennen, dass ein Restrukturieren der Berechnung der Erfassungstransformationen unter Verwendung von FFTs die Leistung jedes Bilderfassungsverfahrens verbessern wird, dass ähnliche Terme aufweist, wie diese, die aus einer Synthesegleichung resultieren, die Landmarken- und Bilddaten verschmilzt. Die Verbesserung ergibt sich aus der Tatsache, dass viele Computerplattformen FFTs effizient berechnen; dementsprechend macht eine Umformulierung des Erfassungsprozesses als eine FFT-Berechnung die erforderlichen Berechnungen durchführbar.
Eine Abstandsfunktion, die verwendet wird, um die Ungleichheit zwischen Bildern zu messen, ist der Gauss'sche quadrierte Fehlerabstand ∫|T(x – u(x)) – S(x)|²dx. Es gibt viele andere Formen eines geeigneten Abstandmaßes. Allgemein können Abstandsfunktionen, wie der Korrelationsabstand oder der Kullback-Liebler-Abstand in der Form ∫D(T(x – u(x)), S(x))dx geschrieben werden.
Eine effiziente Faltungsimplementierung kann unter Verwendung der FFT für beliebige Abstandsfunktionen hergeleitet werden. Das Berechnen der Verschmelzungstransformation unter Verwendung der Bilddaten folgt der Gleichung:
wobei D(.,.) eine Abstandsfunktion ist, die Punkte in den Modell- und Zielbildern in Beziehung setzt. Es wird angenommen, das Verschiebungsfeld habe die Form:
fest ist. Die Basiskoeffizienten {μ_k} werden durch Gradientenabstieg bestimmt, d. h.,
wobei der Gradient unter Verwendung der Kettenregeln berechnet wird und durch die Gleichung
gegeben ist, wobei D'(.,.) die Ableitung bezüglich des ersten Arguments ist. Der berechnungsintensivste Aspekt des Algorithmus ist die Berechnung des Terms ∫ΩD'(T(x – u(n)(x)), S(x))∇T(x – u(n)(x))·φk(x)dx
Unter Verwendung der Struktur der Eigenfunktionen und der Berechnungseffizienz der FFT, um diese inneren Produkte zu berechnen, kann der obige Term geschrieben werden als
wobei c (r) / k = [c (r) / 1k, c (r) / 2k, c (r) / 3k]^t. Diese Gleichung wird für alle k durch eine Fouriertransformation der Funktion
berechnet und kann somit effizient unter Verwendung einer 3D-FFT berechnet werden.
Das folgende Beispiel illustriert die Berechnungseffizienzen, die bei Verwenden von FFTs zur Bilderfassung statt der direkten Berechnung von inneren Produkten erzielt werden. Unter der Annahme, dass ein Zielbild auf einem Gitter mit N³ Punkten diskretisiert ist, würde jedes der inneren Produkte in dem Algorithmus, wenn es direkt berechnet würde, eine Berechnungskomplexität der Größenordnung (N³)² haben. Da die inneren Produkte berechnungsintensiv sind, ist die gesamte Komplexität der Bilderfassung also (N³)². Im Gegensatz dazu hat jede der vorgeschlagenen FFT eine Berechnungskomplexität der Größenordnung N³log₂N³. Die Beschleunigung ist durch das Verhältnis N⁶/(N³log₂N³) = N³/(3log₂N) gegeben. Damit ist die Beschleunigung für ein 16 × 16 × 16-Volumen 64 mal und größer als 3,2 × 10⁴ für ein 256 × 256 × 256-Volumen.
Ein weiterer Faktor von zwei Einsparungen in der Berechnungszeit kann gewonnen werden, indem die Tatsache ausgenutzt wird, dass alle FFT reell sind. Daher können alle FFT mit entsprechenden komplexen FFT mit der halben Anzahl von Punkten berechnet werden. Für eine Entwicklung der Mathematik von FFT siehe A. V. Oppenheim und R. W. Schafer, Digital Signal Processing, Prentice-Hall, New Jersey, 1975 (im Folgenden als Oppenheim bezeichnet).
Alternative Ausführungsbeispiele des beschriebenen Erfassungsverfahrens können erreicht werden, indem die Randbedingungen des Operators verändert werden. In dem offenbarten Ausführungsbeispiel ist das Minimierungsproblem mit zyklischen Randbedingungen formuliert. Der Fachmann wird erkennen, dass alternative Randbedingungen, wie Dirichlet-, Neumann-, oder gemischte Dirichlet- und Neumann-Randbedingungen auch geeignet sind. Die folgende Gleichung wird in einem Ausführungsbeispiel der vorliegenden Erfindung bei Verwendung einer Menge von gemischten Dirichlet- und Neumann-Randbedingungen verwendet:
wobei die Notation (x|x_i = k) bedeutet, dass x in dem Modellbild ist, so dass x_i = k. In diesem Fall wären die Eigenfunktionen von der Form:
Ein Modifizieren der Randbedingungen erfordert ein Modifizieren der Schmetterlinge der FFT von komplexen Exponentialfunktionen zu entsprechenden Sinus- und Kosinusfunktionen.
In 7 illustrieren vier Bilder, Modellbild 700, Bild 704, Bild 706 und Zielbild 708 die Sequenz des Erfassens eines Modellbildes und eines Zielbildes. Das Modellbild 700 hat O-dimensionale Landmarkenmannigfaltigkeiten 702. Ein Anwenden der Landmarkenmannigfaltigkeitstransformation, die in Schritt 350 in 3 berechnet wird, auf das Bild 700 ergibt das Bild 704. Anwenden einer zweiten Transformation, die unter Verwendung der Synthesegleichung berechnet wird, die Landmarkenmannigfaltigkeiten und Bilddaten kombiniert, auf das Bild 700 ergibt das Bild 706. Das Bild 706 ist das Endergebnis des Erfassens des Modellbilds 700 mit dem Zielbild 708. Die Landmarkenmannigfaltigkeit 710 in dem Bild 708 entspricht der Landmarkenmannigfaltigkeit 702 in dem Modellbild 700.
Nun werden Techniken zum Erfassen von Bildern, die Großdeformationscharakteristika aufweisen können, unter Verwendung von Diffeomorphismen, Großdeformationstransformationsfunktionen und Transformationen, die fähig sind, Bilder anzupassen bzw. in Übereinstimmung zu bringen, bei denen die Veränderungen von einem Bild zu dem anderen größer als klein, linear oder affin sind, betrachtet. Die Verwendung von Großdeformationstransformationen ermöglichen die automatische Berechnung von Tangenten, Krümmung, Oberflächen und geometrische Eigenschaften der Bilddaten.
2. Verfahren für großdeformationslandmarkenbasierte und bildbasierte Transformationen
Ein Ausführungsbeispiel in Übereinstimmung mit der vorliegenden Erfindung bildet Mengen von Landmarken in Bilddaten {x_i, i = 1, 2, ..., N} ⊂ Ω in Ziellandmarken {y_i, i = 1, ..., N} ab und/oder Bilddaten I₀ in Ziel I₁ sowohl mit als auch ohne Landmarken. Wenn es beispielsweise eine wohldefinierte Abstandsfunktion D(u(T)) gibt, die den Abstand zwischen den Landmarken und/oder den Bilddaten ausdrückt. Die Großdeformationsabbildungen h:Ω → Ω werden konstruiert, indem die Zeitvariable eingeführt wird h:(x, t) = (x1, x2, x3, t) ∊ Ω × [0, T] → h(x, t) = (x1 – u1(x, t), x2 – u2(x, t), x3 – u3(x, t)) ∊ Ω.
Die Großdeformationsabbildungen sind auf die Lösung h(x, T) = x – u(x, T) eingeschränkt, wobei u(x, T) als Lösung der gewöhnlichen Differentialgleichung
erzeugt wird, unter der Annahme, dass die {φ_k} eine vollständige orthonormale Basis bilden.
Dann ist ein Diffeomorphismus für die Landmarken- und Bildanpassungsprobleme durch die Abbildung der Bilddaten gegeben, die durch h ^(x, T) = x – u ^(x, T) gegeben ist, welche die gewöhnliche Differentialgleichung (GDGL) u ^(x, T) = ∫T0 (I – ∇ u ^(x, t))v ^(x, t)dt (40)erfüllt, wobei
L ist vorzugsweise ein linearer Differentialoperator, wobei die ϕ_k eine vollständige Orthonormalbasis als Eigenfunktionen Lϕ_k = λ_kϕ_k bilden.
2.1 Großdeformationslandmarkenanpassung
Um Bilder mit großer Deformation unter Verwendung einer Landmarkenanpassungstechnik zu erfassen, werden N Landmarken in den zwei Anatomiezielen {x_i, y_i, i = 1, 2, ..., N} identifiziert. Die Landmarken werden mit sich verändernden Genauigkeitsgraden {Σ_i, i = 1, ..., N} identifiziert, wobei die Σ_i 3 × 3-Kovarianzmatrizen sind. Der Abstand zwischen den Ziel- und Modellbilddatenlandmarken, der vorzugsweise verwendet wird, ist definiert als
Ein bevorzugter Diffeomorphismus ist der Minimierer von Gleichungen (40), (41) mit D(u(T)) dem Landmarkenabstand: u ^(x, T) = ∫T0 (I – ∇u(x, t) ^(x, t)dt (43)wobei
Ein Verfahren zum Erfassen von Bildern, das mit der vorliegenden Erfindung in Übereinstimmung ist, umfasst vorzugsweise die folgenden Schritte:
Schritt 0: Definiere eine Menge von Landmarken in dem Modell, die in dem Ziel einfach identifiziert werden können, {x_i:x_i ∊ Ω, i = 1, 2, ..., N} mit sich verändernden Genauigkeitsgraden in dem Ziel als {y_i, i = 1, ..., N} mit zugeordneten Fehlerkovarianzen {Σ_i, i = 1, ..., N}, und initialisiere für n = 0, ν = 0.
Schritt 1: Berechne die Geschwindigkeits- und Deformationsfelder:
Schritt 2: Löse über eine Sequenz von Optimierungsproblemen von grober zu feiner Skala über Schätzung der Basiskoeffizienten {ν_k}, analog zu Mehrgitterverfahren, wobei der Begriff der Verfeinerung von Grob nach Fein erzielt wird, indem die Anzahl von Basiskomponenten erhöht wird. Für jedes ν_k,
Schritt 3: Setze n ← n + 1, und kehre zu Schritt 1 zurück.
2.2 Großdeformationsbildanpassung
Nun wird die Technik betrachtet, bei der ein Ziel- und Modellbild mit großer Deformation unter Verwendung der Bilderfassungstechnik erfasst werden. Der Abstand zwischen dem Ziel- und Modellbild wird gemäß Gleichung (47) gewählt. Eine diffeomorphe Abbildung wird mit Hilfe eines Bildtransformationsoperators und von Bildtransformationsrandwerten, die das Modellbild zu dem Zielbild in Beziehung setzt, berechnet. Anschließend wird das Modellbild mit dem Zielbild unter Verwendung der diffeomorphen Abbildung erfasst.
Gegeben zwei Bilder I₀, I₁, wähle den Abstand
Die großdeformationsbildabstandsgetriebene Abbildung ist auf die Lösung h ^(x, T) = x – u ^(x, T) beschränkt, wobei u ^(x, T) = ∫T0 (I – ∇u ^(x, t)) ^(x, t)dt (48)und
Ein Verfahren zum Erfassen von Bildern, das mit der vorliegenden Erfindung in Übereinstimmung ist, umfasst vorzugsweise die folgenden Schritte:
Schritt 0: Messe zwei Bilder I₀, I₁, definiert auf dem Einheitswürfel Ω ≐ [0,1]³ ⊂
initialisiere Parameter für n = 0, ν_k ⁽ⁿ⁾ = 0, k = 0, 1, ... und definiere ein Abstandsmaß D(u(T)), Gleichung (47).
Schritt 1: Berechne die Geschwindigkeits- und Deformationsfelder von ν⁽ⁿ⁾:
Schritt 2: Löse die Optimierung über eine Sequenz von Optimierungsproblemen von grober zu feiner Skala über erneute Schätzung der Basiskoeffizienten {ν_k}, analog zu Mehrgitterverfahren, wobei der Begriff der Verfeinerung von Grob nach Fein erzielt wird, indem die Anzahl von Basiskomponenten erhöht wird. Für jedes ν_k,
Schritt 3: Setze n ← n + 1, und kehre zu Schritt 1 zurück.
Das Geschwindigkeitsfeld kann mit verschiedenen Randbedingungen konstruiert werden, z. B. ν(x, t) = 0, x ∊ ∂Ω und t ∊ [0, T], u(x, 0) = ν(x, 0) = 0. Der Differentialoperator L kann als irgendein Operator in der Klasse der linearen Differentialoperatoren gewählt werden; wir haben Operatoren der Form (–aΔ – b∇∇· + cI)^p, p ≥ 1 verwendet. Die Operatoren sind 3 × 3-Matrizen
2.3 Kleindeformationslösung
Die Großdeformationscomputeralgorithmen können zu dem Kleindeformationsansatz, der in der '628-Anmeldung beschrieben ist, in Beziehung gesetzt werden, indem ν = u gewählt wird, so dass T = δ klein, dann wird I – ∇u(·, σ) ≈ I für σ ∊ [0, δ] approximiert, dann u ^(x, δ) = ν(x)δ und u(x) ≐ u(x, δ) definiert, so dass sich Gleichung (55) auf die in der '628-Anmeldung beschriebenen Kleindeformationsprobleme reduziert:
3. Verknüpfen von Großdeformationstransformation zum Vereinigen von Landmarken- und Bildanpassung
Der Ansatz zum Erzeugen einer hierarchischen Transformation, die Information kombiniert, besteht darin, Großdeformationstransformationen, die Diffeomorphismen sind und somit verknüpft werden können, zu verknüpfen h = h_n ∘ ... h₂ ∘ h₁. Verschiedene Kombinationen von Transformationen können gewählt werden, inklusive der affinen Bewe gungen, starren Bewegungen, die aus den Untergruppen der verallgemeinerten linearen Gruppe erzeugt werden, Großdeformationslandmarkentransformationen, die Diffeomorphismen sind, oder den hochdimensionalen Großdeformationsbildanpassungstransformation. Dabei wird die Dimension der Transformation der Vektorfelder erhöht. Da diese alle Diffeomorphismen sind, können sie verknüpft werden.
4. Schnelles Verfahren für Landmarkendeformationen, gegeben eine kleine Zahl von Landmarken
Für kleine Zahlen von Landmarken können wir das Problem unter Verwendung des Lagrange-Rahmens umparametrisieren, um die Optimierung über der Raumzeit Ω × T in N Funktionen der Zeit T zu diskretisieren. Dies reduziert die Komplexität um die Größenordnung, wie sie durch das Bildgitter [Ω] gegeben ist.
Dafür werden die Lagrange-Positionen der N Landmarken x_i, i = 1, ..., N wie sie durch die Zeit ϕ_i(·), i = 1, ..., N fließen, mit dem zugehörigen 3N-Vektor definiert
Die Teilchenflüsse Φ(t) sind durch die Geschwindigkeiten ν(·) gemäß der fundamentalen GDGL definiert
Es ist nützlich, die 3N × 3N-Kovarianzmatrix K(Φ(t)) zu definieren:
Die Inverse K(Φ(t))^–1 ist eine N × N-Matrix mit 3 × 3-Blockeinträgen (K(Φ(t))^–1)_ij, i, j = 1, ..., N.
Für das Landmarkenanpassungsproblem sind N Landmarken gegeben, die in zwei Anatomiezielen {x_i, y_i, i = 1, 2, ..., N} identifiziert sind, die mit sich verändernden Genauigkeitsgraden {Σ_i, i = 1, ..., N} identifiziert werden, wobei die Σ_i 3 × 3-Kovarianzmatrizen sind.
Der quadrierte Fehlerabstand zwischen den Ziel- und Modellbilddaten, definiert in den Lagrange-Trajektorien der Landmarken, wird
Dann ist ein bevorzugter Diffeomorphismus der Minimierer von Gleichungen (40), (41) mit D₁(Φ(T)) dem Landmarkenabstand:
Ein schnelles Verfahren für kleine Zahlen von Landmarkenanpassungspunkten nutzt die Tatsache aus, dass es, wenn es viel weniger Landmarken N als Punkte in dem Bild x ∊ Ω gibt, das folgende äquivalente Optimierungsproblem in den N Lagrange-Geschwindigkeitsfeldern ϕ(x_i, ·), I = 1, ..., N gibt, das berechnungseffizienter als die Op timierung der Euler'schen Geschwindigkeit ν(x_i, ·), x ∊ Ω, (|Ω| >> N) ist. Dann wird das äquivalente Optimierungsproblem zu
undϕ ^(x, T) = ∫T0 ^(ϕ ^(x, t), σ)dσ + x. (64)
Dies reduziert sich zu einem endlichdimensionalen Problem, indem die Flüsse auf den endlichen Zeitgittern definiert werden, wobei Schrittgrößen 6 mit stückweise konstanten Lagrange-Geschwindigkeiten innerhalb der quantisierten Zeitintervalle angenommen wird:
Dann wird das endlichdimensionale Minimierungsproblem
mit ϕ(x_i, 0) = x_i, i = 1, ..., N
Das Verfahren:
Um das Modellbild mit dem Zielbild richtig zu erfassen, wenn eine kleine Anzahl von Landmarken identifiziert wurde, verwendet das Verfahren des vorliegenden Ausfüh rungsbeispiels die Lagrange-Positionen. Das Verfahren zum Erfassen von Bildern, das mit der vorliegenden Erfindung in Übereinstimmung ist, umfasst die folgenden Schritte:
Schritt 0: Definiere eine Menge von Landmarken in dem Modell, die in dem Ziel einfach identifiziert werden können, {x_i:x_i ∊ Ω, i = 1, 2, ..., N} mit sich verändernden Genauigkeitsgraden in dem Ziel als {y_i, i = 1, ..., N} mit zugehörigen Fehlerkovarianzen {Σ_i, i = 1, ..., N}, und initialisiere für
Schritt 1: Berechne Geschwindigkeits- und Deformationsfelder:
Schritt 2: Löse über die Schätzung der Lagrange-Positionen ϕ(k), k = 1, ..., K. Für jedes ϕ(x_i, k)
Schritt 3: Setze n ← n + 1, und kehre zu Schritt 1 zurück.
Schritt 4: Nach Anhalten berechne das optimale Geschwindigkeitsfeld unter Verwendung von Gleichung (62) und transformiere unter Verwendung von Gleichung (64).
5. Schnelle gefräßige Implementierung von Großdeformationsbildanpassung
Für das Bildanpassen wird die Raumzeit Ω × T in eine Sequenz von indizierten Zeitoptimierungen diskretisiert, das lokale Optimum bei jeder Zeittransformation gelöst und dann die Lösung vorwärts integriert. Dies reduziert die Dimension der Optimierung und erlaubt die Verwendung von Fourier-Transformationen.
Die Transformation h(·, t):Ω → Ω, wobei h(x, t) = x – u(x, t) und die Transformation und Geschwindigkeitsfelder sind über die GDGL ν(x, t) =
+ ∇u(x, t)ν(x, t),t ∊ [0, T] in Beziehung gesetzt. Vorzugsweise sind die Deformationsbilder aus den Geschwindigkeitsfeldern erzeugt, die als stückweise konstant über quantisierten Zeitinkrementen angenommen werden, ν(x, i) = ν(x, t_i+1), t ∊ [iδ, (i + 1) δ), i = 1, ..., I =
das quantisierte Zeitinkrement. Dann ist die Sequenz von Deformationen u(x, t_i), i = 1, ..., I gegeben durch u(x, ti+1) = u(x, tt) + ν(x, tt)(∫ti+1ti (I – ∇u(x, σ))dσ), i = , ..., I. (68)
Für kleines δ wird ∇u(x, σ) ≈ ∇u(x, t_i), σ ∊ [t₁, t_i+1] approximiert, dann wird die globale Optimierung über eine Sequenz von lokal optimalen Lösungen gelöst, gemäß für t_i, i = 1, ..., I
Die Sequenz lokaler optimaler Geschwindigkeitsfelder v ^(x, t_i), i = 1, ... I erfüllt die PDGL LfLv ^(x, ti + 1) = b(x, u ^(x, ti+1)), wobei u ^(x, ti+j) = u ^(x, tt) + δ(I – ∇u ^(x, tt)) ^(x, tt). (70)
Beispiele von Randbedingungen umfassen ν(x, t) = 0, x ∊ ∂Ω und t ∊[0, T] und L der lineare Differentialoperator L = –a∇² – b∇·∇ + cI. Die Körperkraft b(x – u(x, t)) ist durch die Variation des Abstands D(u) bezüglich des Felds zur Zeit t gegeben. Die PDGL wird numerisch gelöst (G. E. Christensen, R. D. Rabbitt und M. I. Miller, "Deformable templates using large deformation kinematics", IEEE Transactions on Image Processing, 5 (10): 1435–1447, Oktober 1996 für Details (im Folgenden als Christensen bezeichnet)).
Um die Felder u(·, t_i) für jedes t_i zu lösen, werden die Geschwindigkeitsfelder Σ^kV_k(t_i)ϕ_k(·)·ν(·,t_i) = Σ^kVk(t_i)ϕk(·) entwickelt. Um die von den iterativen Algorithmen erforderten inneren Produkte zu verschiebungsinvarianten Faltungen zu machen, werden die Differential- und Differenzoperatoren L gezwungen, auf eine periodische Version des Einheitswürfels Ω ≐ [0, 1]³ und des diskreten Gitterwürfels {0, 1, ..., N – 1}³ definiert zu sein. f·g bezeichnet das innere Produkt f·g = Σ³ _i = 1 f_ig_i für f, g ∊ R³. Die Operatoren sind zyklisch stationär im Raum, was impliziert, dass ihre Eigenfunktionen die Form von komplexen Exponentialfunktionen auf diesen Würfeln haben:
(ω_k1, ω_k2, ω_k3),ω_k1 = 2 πk_i, i = 1, 2, 3 und die Fourier-Basis für periodische Funktionen auf [0,1]³ nimmt die Form
an. Auf dem diskreten N³-periodischen Gitter ist
, x ∊ {0, 1, ..., N – 1}³. Dies unterstützt eine effiziente Implementierung des obigen Algorithmus unter Verwendung der schnellen Fourier-Transformation (FFT).
Ein Unterdrücken des d-Subskripts in ν_k,d und die Summierung von d = 1 bis 3 für den Rest dieses Abschnitts vereinfacht die Notation. Die komplexen Koeffizienten ν_k(t_i) = a_k(t_i) + b_k(t_i) haben komplexkonjugierte Symmetrie, da sie berechnet werden, indem die FFT einer reellwertigen Funktion genommen wird, wie man später in diesem Abschnitt sehen wird. Zusätzlich haben die Eigenfunktionen komplexkonjugierte Symmetrie aufgrund der 2π-Periodizität der komplexen Exponentialfunktionen. Unter Verwendung dieser beiden Tatsachen kann gezeigt werden, dass das Vektorfeld
R³-wertig ist, obwohl sowohl ν_k(t_i) und ϕ_k(x) komplexwertig sind. Das Minimierungsproblem wird gelöst, indem für jedes ν_k = a_k + b_k
berechnet wird mit g_k ∊ {a_k, b_k}. Kombinieren der Gleichungen (70) und (71) und Bilden der Ableitungen ergibt
Betrachte die Berechnung der folgenden Terme des Algorithmus aus Gleichungen (73)
Berechnung von Term 1:
Der erste Term ist gegeben durch
was geschrieben werden kann als
Diese Gleichung kann unter Verwendung von drei 3D-FFT der Form
berechnet werden und s = 1, 2, 3. Diese FFT werden verwendet, um Gleichung (72) auszuwerten unter Beachtung von:
Berechnung von Term 2:
Der zweite Term ist gegeben durch
der unter Verwendung von drei 3D-FFT effizient berechnet werden kann. Speziell die 3D-FFT sind
Verwenden der FFT, um die Terme in dem Verfahren zu berechnen, stellt eine wesentliche Abnahme in Berechnungszeit gegenüber einer Brute-Force-Berechnung bereit. Beispielsweise nehme man an, dass 256³-Voxeldatenvolumen verarbeitet werden sollen. Die Anzahl von Iterationen ist die gleiche sowohl in FFT- und Brute-Force-Berechnungsverfahren und trägt daher zu unserer vorliegenden Berechnung nichts bei. Für jede 3D-Summierung in dem Verfahren erfordert die Brute-Force-Berechnung in der Größenord nung von N⁶-Berechnungen, während die FFT in der Größenordnung von 3N³log₂(N) Berechnungen erfordert. Für N³ = 256³-Voxeldatenvolumen ergibt dies etwa eine 7 × 10⁵-Beschleunigung für den FFT-Algorithmus verglichen mit der Brute-Force-Berechnung.
6. Algorithmen mit schneller Konvergenz für Großdeformationsvolumentransformation
Schneller konvergierende Algorithmen als Gradientenabstieg existieren, wie das konjugierte Gradientenvertahren, für das die Basiskoeffizienten ν_k mit optimalen Schrittgrößen auf den neuen Stand gebracht werden.
Der identische Ansatz unter Verwendung FFT folgt wie in der '628-Anmeldung. Identische Beschleunigungen können erzielt werden; siehe die '628-Anmeldung.
6.1 Eine Erweiterung auf allgemeine Abstandsfunktionen
Bis jetzt wurde nur die Gauss'sche Abstandsfunktion beschrieben, die die Ungleichheit zwischen den Bilddaten ist, ∫|I₀(x – u(x)) – I₁(x)|²dx. Allgemeinere Abstandsfunktionen können geschrieben werden als ∫D(I₀(x – u(x)), I₁(x)dx. Eine große Vielfalt von Abstandsfunktionen ist nützlich für die vorliegende Erfindung, wie der Korrelationsabstand oder der Kullback-Liebler-Abstand können in dieser Form beschrieben werden.
6.2 Berechnungskomplexität
Die Berechnungskomplexität der hier beschriebenen Verfahren ist verringert, verglichen mit der direkten Berechnung der inneren Produkte. Unter der Annahme, dass das Bild auf einem Gitter der Größe N³ diskretisiert ist, würde jedes der inneren Produkte in dem Algorithmus, wenn es direkt berechnet würde, eine Berechnungskomplexität von O((N³)²) haben. Da die inneren Produkte am berechnungsintensivsten sind, ist die gesamte Komplexität des Verfahrens O((N³)²). Im Gegensatz hierzu haben die vorgeschlagenen FFT eine Berechnungskomplexität von O(N³log₂N³), und somit ist die totale Komplexität des vorgeschlagenen Algorithmus O(N³log₂N³). Die Beschleunigung ist gegeben durch das Verhältnis N⁶/(N³log₂N³) = N³/(3log₂N). Daher ist die Beschleunigung 64 mal für ein 16 × 16 × 16-Volumen und größer als 3,2 × 10⁴ für ein 256 × 256 × 256-Volumen.
Ein weiterer Faktor von zwei Einsparungen in Berechnungszeit kann gewonnen werden, indem die Tatsache ausgenutzt wird, dass alle FFT reell sind. Daher können alle FFT mit entsprechenden komplexen FFT mit der halben Zahl von Punkten berechnet werden (siehe Oppenheim).
6.3 Randbedingungen des Operators
Weitere Methoden, ähnlich zu den soeben beschriebenen, können erhalten werden, indem die Randbedingungen des Operators verändert werden. In dem vorangegangenen Abschnitt wurde das Minimierungsproblem mit zyklischen Randbedingungen formuliert. Alternativ könnten wir die gemischten Dirichlet- und Neumann-Randbedingungen verwenden, die
|(x|x_i = k) = u_i(x|x_j = k) = 0 entsprechen, für i, j = 1, 2, 3; i ≠ j; k = 0, 1, wobei die Notation (x|x_i = k) bedeutet, dass x ∊ Ω, so dass x_i = k. In diesem Fall wären die Eigenfunktionen von der Form
Die in Abschnitt 5 aufgestellte Implementierung wird für verschiedene Randbedingungen modifiziert, indem die Schmetterlinge der FFT von komplexen Exponentialfunktionen zu passenden Sinusfunktionen und Kosinusfunktionen geändert werden.
7. Vorrichtung zur Bilderfassung
2 zeigt eine Vorrichtung, um ein Ausführungsbeispiel der vorliegenden Erfindung durchzuführen. Ein medizinischer Bildabtaster 214 erhält Bilder 100 und 120 und speichert sie in dem Computerspeicher 206, der mit der Computerzentraleinheit (CPU) 204 verbunden ist. Der Fachmann wird erkennen, dass eine parallele Computerplattform mit mehrfachen CPUs auch eine geeignete Hardware-Plattform für die vorliegende Erfindung ist, umfassend, aber nicht beschränkt auf massiv parallele Maschinen und Workstations mit mehrfachen Prozessoren. Der Computerspeicher 206 kann direkt mit der CPU 204 verbunden sein, oder dieser Speicher kann entfernt über ein Kommunikationsnetzwerk verbunden sein.
Das hier beschriebene Verfahren verwendet Informationen, die entweder durch einen Bediener bereitgestellt wird, als Default gespeichert oder automatisch über die verschiedenen Substrukturen des Modells und des Ziels und sich verändernden Wissensgraden über diese Substrukturen bestimmt wird, die aus anatomischen Bilddaten abgeleitet wird, und aus Modalitäten wie aus CT, MRI, funktionales MRI, PET, Ultraschall, SPECT, MEG, EEG oder Cryosektion abgeleitet wird. Zum Beispiel kann ein Bediener einen Cursor 210 unter Verwendung der Zeigervorrichtung 208 führen, um in dem Bild 100 auszuwählen.
Die vorangegangene Beschreibung von bevorzugten Ausführungsbeispielen der vorliegenden Erfindung wurde zur Illustration und Beschreibung bereitgestellt. Sie soll nicht erschöpfend sein oder die Erfindung auf die genauen offenbarten Ausführungsformen beschränken. Offensichtlich werden viele Modifizierungen, Variationen und einfache Abweichungen den Fachleuten offensichtlich sein. Die Ausführungsformen wurden ausgewählt und beschrieben, um die Prinzipien der Erfindung und ihre praktische Anwendung am besten zu erklären, um auf diese Weise anderen Fachleuten zu ermöglichen, die Erfindung für verschiedene Ausführungsformen und verschiedene Modifizierungen für die spezielle beabsichtigte Verwendung zu verstehen. Es ist vorgesehen, dass der Schutzbereich der Erfindung durch die folgenden Ansprüche definiert ist.

Claims

Verfahren zum Erfassen eines Modellbildes mit einem Zielbild, wobei das Modellbild eine Mehrzahl von Punkten umfasst und das Zielbild eine Mehrzahl von Punkten umfasst, umfassend die Schritte: Definieren eines Mannigfaltigkeitslandmarkenpunkts in dem Modellbild; Identifizieren eines Punkts in dem Zielbild, der dem definierten Mannigfaltigkeitslandmarkenpunkt entspricht; Berechnen einer Großdeformationstransformation, die injektiv und surjektiv ist, für jeden in dem Modell- und Zielbild ausgewählten Punkt unter Verwendung eines Mannigfaltigkeitslandmarkentransformationsoperators und eines Mannigfaltigkeitslandmarkentransformationsrandwerts, die den Mannigfaltigkeitslandmarkenpunkt in dem Modellbild zu dem entsprechenden Punkt in dem Zielbild in Beziehung setzt; und Erfassen des Modellbildes mit dem Zielbild unter Verwendung der Großdeformationstransformation.
Vorrichtung zum Erfassen eines Modellbildes mit einem Zielbild, wobei das Modellbild eine Mehrzahl von Punkten umfasst und das Zielbild eine Mehrzahl von Punkten umfasst, umfassend: Mittel zum Definieren eines Mannigfaltigkeitslandmarkenpunkts in dem Modellbild; Mittel zum Identifizieren eines Punkts in dem Zielbild, der dem definierten Mannigfaltigkeitslandmarkenpunkt entspricht; Mittel zum Berechnen einer Großdeformationstransformation, die injektiv und surjektiv ist, für jeden in dem Modell- und Zielbild ausgewählten Punkt unter Verwendung eines Mannigfaltigkeitslandmarkentransformationsoperators und eines Mannigfaltigkeitslandmarkentransformationsrandwerts, die den Mannigfaltigkeitslandmarkenpunkt in dem Modellbild zu dem entsprechenden Punkt in dem Zielbild in Beziehung setzt; und Mittel zum Erfassen des Modellbildes mit dem Zielbild unter Verwendung der Großdeformationstransformation.
Verfahren zum Erfassen eines Modellbildes mit einem Zielbild, umfassend die Schritte: Definieren eines Abstandsmaßes zwischen dem Ziel- und dem Modellbild; Berechnen einer Großdeformationstransformation, die injektiv und surjektiv ist, für jeden in dem Modell- und Zielbild ausgewählten Punkt unter Verwendung eines Bildtransformationsoperators und eines Bildtransformationsrandwerts, die das Modellbild zu dem Zielbild in Beziehung setzt; und Erfassen des Modellbilds mit dem Zielbild unter Verwendung der Großdeformationstransformation.
Vorrichtung zum Erfassen eines Modellbildes mit einem Zielbild, umfassend: Mittel zum Definieren eines Abstandsmaßes zwischen dem Zielbild und dem Modellbild; Mittel zum Berechnen einer Großdeformationstransformation, die injektiv und surjektiv ist, für jeden in dem Modell- und Zielbild ausgewählten Punkt unter Verwendung eines Bildtransformationsoperators und eines Bildtransformationsrandwerts, die das Modellbild zu dem Zielbild in Verbindung setzt; und Mittel zum Erfassen des Modellbilds mit dem Zielbild unter Verwendung der Großdeformationstransformation.
Verfahren zum Erfassen eines Modellbildes mit einem Zielbild, wobei das Modellbild eine Mehrzahl von Punkten umfasst und das Zielbild eine Mehrzahl von Punkten umfasst, umfassend die Schritte: Definieren eines Mannigfaltigkeitslandmarkenpunkts in dem Modellbild; Identifizieren eines Punkts in dem Zielbild, der dem definierten Mannigfaltigkeitslandmarkenpunkt entspricht; Berechnen einer ersten Großdeformationstransformation unter Verwendung eines Mannigfaltigkeitslandmarkentransformationsoperators und eines Mannigfaltigkeitslandmarkentransformationsrandwerts, die den Mannigfaltigkeitslandmarkenpunkt in dem Modellbild zu dem entsprechenden Punkt in dem Zielbild in Verbindung setzt; Definieren eines Abstandsmaßes zwischen dem Ziel- und dem Modellbild; Berechnen einer zweiten Großdeformationstransformation unter Verwendung eines Bildtransformationsoperators und eines Bildtransformationsrandwerts, die das Modellbild zu dem Zielbild in Verbindung setzt; Verschmelzen der ersten und zweiten Großdeformationstransformationen; und Erfassen des Modellbilds mit dem Zielbild unter Verwendung der verschmolzenen Großdeformationstransformation.
Vorrichtung zum Erfassen eines Modellbilds mit einem Zielbild, wobei das Modellbild eine Mehrzahl von Punkten umfasst und das Zielbild eine Mehrzahl von Punkten umfasst, umfassend: Mittel zum Definieren eines Mannigfaltigkeitslandmarkenpunkts in dem Modellbild; Mittel zum Identifizieren eines Punkts in dem Zielbild, der dem definierten Mannigfaltigkeitslandmarkenpunkt entspricht; Mittel zum Berechnen einer ersten Großdeformationstransformation unter Verwendung eines Mannigfaltigkeitslandmarkentransformationsoperators und eines Mannigfaltigkeitslandmarkentransformationsrandwerts, die den Mannigfaltigkeitslandmarkenpunkt in dem Modellbild zu dem entsprechenden Punkt in dem Zielbild in Beziehung setzt; Mittel zum Definieren eines Abstandsmaßes zwischen dem Ziel- und dem Modellbild; Mittel zum Berechnen einer zweiten Großdeformationstransformation unter Verwendung eines Bildtransformationsoperators und eines Bildtransformationsrandwertes, die das Modellbild zu dem Zielbild in Beziehung setzt; Mittel zum Verschmelzen der ersten und zweiten Großdeformationstransformation; und Mittel zum Erfassen des Modellbilds mit dem Zielbild unter Verwendung der verschmolzenen Großdeformationstransformationen.
Verfahren nach Anspruch 1, wobei der Schritt des Berechnens der Großdeformationstransformation weiterhin den Unterschritt eines Berechnens einer diffeomorphen, nichtaffinen Transformation umfasst.
Verfahren nach Anspruch 1, wobei der Schritt des Berechnens der Großdeformationstransformation weiterhin den Unterschritt eines Berechnens einer diffeomorphen Transformation höherer Ordnung umfasst.
Verfahren nach Anspruch 3, wobei der Schritt des Berechnens der Großdeformationstransformation weiterhin den Unterschritt eines Berechnens einer diffeomorphen, nichtaffinen Transformation umfasst.
Verfahren nach Anspruch 3, wobei der Schritt des Berechnens der Großdeformationstransformation weiterhin den Unterschritt eines Berechnens einer diffeomorphen, Transformation höherer Ordnung umfasst.
Verfahren nach Anspruch 5, wobei der Schritt des Berechnens der Großdeformationstransformation weiterhin den Unterschritt eines Berechnens einer diffeomorphen, nichtaffinen Transformation umfasst.
Verfahren nach Anspruch 5, wobei der Schritt des Berechnens der Großdeformationstransformation weiterhin den Unterschritt eines Berechnens einer diffeomorphen Transformation höherer Ordnung umfasst.
Verfahren nach Anspruch 1 oder 5, wobei der Schritt des Definierens von Mannigfaltigkeitslandmarkenpunkten in dem Modellbild den Unterschritt umfasst: Definieren von Mannigfaltigkeitslandmarkenpunkten von Dimension größer Null in dem Modellbild.
Verfahren nach Anspruch 1 oder 5, wobei der Schritt des Definierens von Mannigfaltigkeitslandmarkenpunkten in dem Modellbild den Unterschritt umfasst: Definieren von einzelnen Punkten in dem Modellbild.
Verfahren nach Anspruch 1 oder 5, wobei der Schritt des Definierens von Mannigfaltigkeitslandmarkenpunkten in dem Modellbild den Unterschritt umfasst: Definieren von Punkten einer Kurve in dem Modellbild.
Verfahren nach Anspruch 1 oder 5, wobei der Schritt des Definierens von Mannigfaltigkeitslandmarkenpunkten in dem Modellbild den Unterschritt umfasst: Definieren von Punkten einer Fläche in dem Modellbild.
Verfahren nach Anspruch 1 oder 5, wobei der Schritt des Definierens von Mannigfaltigkeitslandmarkenpunkten in dem Modellbild den Unterschritt umfasst: Definieren von Punkten eines Volumens in dem Modellbild.
Verfahren nach Anspruch 1, 3 oder 5, wobei der Schritt des Berechnens der Großdeformationstransformation den Unterschritt umfasst: Verwenden eines linearen differenzierbaren Operators.
Verfahren nach Anspruch 1, 3 oder 5, wobei der Schritt des Berechnens der Großdeformationstransformation den Unterschritt umfasst: Verwenden periodischer Randwerte.
Verfahren nach Anspruch 1, 3 oder 5, wobei der Schritt des Berechnens der Großdeformationstransformation den Unterschritt umfasst: Verwenden unendlicher Randwerte.
Verfahren nach Anspruch 1, 3 oder 5, wobei der Schritt des Berechnens der Großdeformationstransformation den Unterschritt umfasst: Verwenden gemischter Dirichlet- und Neumann-Randwerte.
Verfahren nach Anspruch 1, 3 oder 5, wobei der Schritt des Berechnens der Großdeformationstransformation den Unterschritt umfasst: Verwenden von Neumann-Randwerten.
Verfahren nach Anspruch 1, 3 oder 5, wobei der Schritt des Berechnens der Großdeformationstransformation den Unterschritt umfasst: Verwenden von Dirichlet-Randwerten.
Verfahren nach Anspruch 1, 3 oder 5, wobei der Schritt des Berechnens der Großdeformationstransformation den Unterschritt umfasst: Zugreifen auf gespeicherte vorberechnete Transformationswerte.
Verfahren nach Anspruch 1, 3 oder 5, wobei der Schritt des Berechnens der Großdeformationstransformation den Unterschritt umfasst: Verwenden einer schnellen Fouriertransformation.
Vorrichtung nach Anspruch 2, wobei die Großdeformationstransformation eine diffeomorphe, nichtaffine Transformation ist.
Vorrichtung nach Anspruch 2, wobei die Großdeformationstransformation eine diffeomorphe Transformation höherer Ordnung ist.
Vorrichtung nach Anspruch 4, wobei die Großdeformationstransformation eine diffeomorphe, nichtaffine Transformation ist.
Vorrichtung nach Anspruch 4, wobei die Großdeformationstransformation eine diffeomorphe Transformation höherer Ordnung ist.
Vorrichtung nach Anspruch 6, wobei die Großdeformationstransformation eine diffeomorphe, nichtaffine Transformation ist.
Vorrichtung nach Anspruch 6, wobei die Großdeformationstransformation eine diffeomorphe Transformation höherer Ordnung ist.
Vorrichtung nach Anspruch 2 oder 6, wobei die Mittel zum Definieren der Mannigfaltigkeitslandmarkenpunkte in dem Modellbild umfassen: Mittel zum Definieren von Mannigfaltigkeitslandmarkenpunkten von Dimension größer Null in dem Modellbild.
Vorrichtung nach Anspruch 2 oder 6, wobei die Mittel zum Definieren von Mannigfaltigkeitslandmarkenpunkten in dem Modellbild umfassen: Mittel zum Definieren einzelner Punkte in dem Modellbild.
Vorrichtung nach Anspruch 2 oder 6, wobei die Mittel zum Definieren von Mannigfaltigkeitslandmarkenpunkten in dem Modellbild umfassen: Mittel zum Definieren von Punkten einer Kurve in dem Modellbild.
Vorrichtung nach Anspruch 2 oder 6, wobei die Mittel zum Definieren von Mannigfaltigkeitslandmarkenpunkten in dem Modellbild umfassen: Mittel zum Definieren von Punkten einer Fläche in dem Modellbild.
Vorrichtung nach Anspruch 2 oder 6, wobei die Mittel zum Definieren von Mannigfaltigkeitslandmarkenpunkten in dem Modellbild umfassen: Mittel zum Definieren von Punkten eines Volumens in dem Modellbild.
Vorrichtung nach Anspruch 2, 4 oder 6, wobei die Mittel zum Berechnen der Großdeformationstransformation umfassen: Mittel zum Verwenden eines linearen differenzierbaren Operators.
Vorrichtung nach Anspruch 2, 4 oder 6, wobei die Mittel zum Berechnen der Großdeformationstransformation umfassen: Mittel zum Verwenden periodischer Randwerte.
Vorrichtung nach Anspruch 2, 4 oder 6, wobei die Mittel zum Berechnen der Großdeformationstransformation umfassen: Mittel zum Verwenden unendlicher Randwerte.
Vorrichtung nach Anspruch 2, 4 oder 6, wobei die Mittel zum Berechnen der Großdeformationstransformation umfassen: Mittel zum Verwenden gemischter Dirichlet- und Neumann-Randwerte.
Vorrichtung nach Anspruch 2, 4 oder 6, wobei die Mittel zum Berechnen der Großdeformationstransformation umfassen: Mittel zum Verwenden von Neumann-Randwerten.
Vorrichtung nach Anspruch 2, 4 oder 6, wobei die Mittel zum Berechnen der Großdeformationstransformation umfassen: Mittel zum Verwenden von Dirichlet-Randwerten.
Vorrichtung nach Anspruch 2, 4 oder 6, wobei die Mittel zum Berechnen der Großdeformationstransformation umfassen: Mittel zum Zugreifen auf gespeicherte vorberechnete Transformationswerte.
Vorrichtung nach Anspruch 2, 4 oder 6, wobei die Mittel zum Berechnen der Großdeformationstransformation umfassen: Verwenden einer schnellen Fouriertransformation.
Vorrichtung nach Anspruch 2, wobei das Mittel zum Definieren eines Mannigfaltigkeitslandmarkenpunkts und das Mittel zum Identifizieren eines Punkts eine Zeigervorrichtung umfassen; das Mittel zum Berechnen einer Großdeformationstransformation eine erste Datenverarbeitungseinheit umfasst; und das Mittel zum Erfassen eine zweite Datenverarbeitungseinheit umfasst.
Vorrichtung nach Anspruch 4, wobei das Mittel zum Definieren eines Abstandsmaßes einen Abstandsquantifizierer umfasst; das Mittel zum Berechnen einer Großdeformationstransformation eine erste Datenverarbeitungseinheit umfasst; und das Mittel zum Erfassen des Modellbilds mit dem Zielbild eine zweite Datenverarbeitungseinheit umfasst.
Vorrichtung nach Anspruch 6, wobei das Mittel zum Definieren eines Mannigfaltigkeitslandmarkenpunkts und das Mittel zum Identifizieren eines Punkts eine Zeigervorrichtung umfassen; das Mittel zum Berechnen einer ersten Deformationstransformation eine erste Datenverarbeitungseinheit umfasst; das Mittel zum Definieren eines Abstandsmaßes einen Abstandsquantifizierer umfasst; das Mittel zum Berechnen einer zweiten Großdeformationstransformation eine zweite Datenverarbeitungseinheit umfasst; das Mittel zum Verschmelzen der ersten und zweiten Großdeformationstransformationen eine dritte Datenverarbeitungseinheit umfasst; und das Mittel zum Erfassen des Modellbilds mit dem Zielbild eine vierte Datenverarbeitungseinheit umfasst.
Verfahren nach Anspruch 3, wobei das Berechnen der Großdeformationstransformation ein Berechnen einer diffeomorphen Transformation unter Verwendung des Abstandsmaßes ist.
Vorrichtung nach Anspruch 4, wobei das Mittel zum Berechnen der Großdeformationstransformation das Abstandsmaß verwendet und die Großdeformationstransformation eine diffeomorphe Transformation ist.
Verfahren nach Anspruch 5, wobei die erste Großdeformationstransformation eine erste diffeomorphe Transformation ist; und die zweite Großdeformationstransformation eine zweite diffeomorphe Transformation ist.
Vorrichtung nach Anspruch 6, wobei die erste Großdeformationstransformation eine erste diffeomorphe Transformation und die zweite Großdeformationstransformation eine zweite diffeomorphe Transformation ist.