DE69735488T2

DE69735488T2 - Verfahren und vorrichtung zum ausrichten von bildern

Info

Publication number: DE69735488T2
Application number: DE69735488T
Authority: DE
Inventors: Shmuel Peleg; randy Joshua Piscataway HERMAN; F. Douglas Hopewell DIXON; Jeffrey Peter Princeton BURT; Russell James Hopewell BERGEN; A. Gary Neshanic Station GENDEL; Rakesh Monmouth Junction KUMAR; Singh Harpreet Plainsboro SAWHNEY; Henry Michael Morrisville BRILL
Original assignee: Sarnoff Corp
Current assignee: Sarnoff Corp
Priority date: 1996-07-17
Filing date: 1997-07-17
Publication date: 2006-11-23
Anticipated expiration: 2017-07-18
Also published as: EP0979487A4; ES2258795T3; KR20000023784A; DE69735488D1; US6075905A; WO1998002844A1; CA2261128A1; EP0979487B1; EP0979487A1; JP2002514359A

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Ausrichten einer Mehrzahl von Quellbildern.
Video- und Digitalkameras liefern Bilder mit relativ niedriger Auflösung, die ein beschränktes Bild- bzw. Sichtfeld abdecken. Sowohl das Problem der niedrigen Auflösung als auch das Problem des eingeschränkten Sichtfelds können durch Kombinieren mehrerer Bilder zu einem erweiterten Bildmosaik überwunden werden.
Mosaike können aus einem Satz von Quellbildern erzeugt werden, indem man die Bilder miteinander ausrichtet, um die Kamerabewegung auszugleichen, und sie unter Erzeugung eines Bildes, das ein viel größeres Sichtfeld abdeckt als jedes einzelne Bild, verschmilzt. Die zwei Hauptschritte bei der Konstruktion eines Mosaiks sind das Ausrichten der Bilder und das Verschmelzen der ausgerichteten Bilder zu einem großen, übergangslosen Mosaikbild.
Derzeit existieren verschiedene Verfahren und Systeme für die Bildausrichtung und für die Konstruktion von Mosaiken. Mosaikbilder werden seit vielen Jahren aus Bildern von Satelliten und Raumsonden erzeugt. In diesen Fällen sind die für die Bildausrichtung geeigneten Parameter aus sorgfältigen Messungen der Blickrichtung der Kamera bekannt, oder sie werden durch manuelles Bestimmen korrespondierender Punkte in einander überlappenden Bildbereichen bestimmt. Ein Verfahren, das die sorgfältige Messung der Kameraorientierung anwendet, ist beispielsweise in Plenoptic Modeling: An Image-Based Rendering System", L. McMillan und G. Bishop, SIGGRAPH 95, beschrieben. Bei diesem Ansatz werden die Bilder von einer Kamera aufgenommen, deren Bewegung eine hochgradig gesteuerte, vollständige Drehbewegung um das optische Zentrum ist. Das konstruierte Mosaik wird erzeugt, indem die Bilder auf eine zylindrische Abbildungsebene projiziert werden, wobei die Verzerrungen, die mit der Mosaikbildung eines kompletten Kreises auf einem einzelnen planaren bzw. ebenen Bild assoziiert sein können, vermieden werden.
Allgemeiner gesagt wird eine Ausrichtung mit Bildverarbeitungstechniken erzielt, die Bildtransformationen (z.B. Translation, Rotation, Skalierung), die Muster in sich überlappenden Bildern in präzise Ausrichtung bringen, automatisch finden bzw. erkennen. Auf der Bildverarbeitung basierende Verfahren sind in der US-Patentanmeldung Nr. 08/339,491, "Mosaic Based Image Processing System", eingereicht am 14. November 1994, veröffentlicht als US-A-6,393,163, und in der US-Patentanmeldung Nr. 08/493,632, "Method and System for Image Combination Using a Parallax-Based Technique", eingereicht am 22. Juni 1995, veröffentlicht als US-A-5,963,664, beschrieben.
Die europäische Patentanmeldung Nr. WO 96/15508 betrifft ein mosaikbasiertes Bildverarbeitungssystem, das ein Mosaik aus einer Sequenz von Bildern bildet, indem jedes Bild in der Sequenz von Bildern zunächst durch grobes Ausrichten des Bildes mit dem vorherigen Bild in einem Mosaik von Bildern und anschließendes präzises Ausrichten des Bildes mit dem Mosaik verarbeitet wird. Die Bilder werden in einem iterativen Verfahren unter Verwendung eines Flußfeldes grob ausgerichtet.
Es existieren nun Systeme, die unter Verwendung dieser Bildverarbeitungsverfahren Mosaike aus Video in Echtzeit konstruieren können. Ein solches System ist in "Video Mosaic Displays", P. Burt, M. Hansen und P. Anandan, SPIE Band 2736: Enhanced and Synthetic Vision 1996, S. 119–127, 1996, und in "Real-time scene stabilization and mosaic construction", M. Hansen, P. Anandan, K. Dana, G. van der Wal und P. Burg, ARPA Image Understanding Workshop, Nov. 1994, S. 457–465, beschrieben.
Es gibt derzeit viele Bildverarbeitungsverfahren zum Verschmelzen von Quellbildern zu einem übergangslosen Mosaik. Die einfachsten Verfahren überlagern digital ein Bild über ein anderes, indem sie ein gewichtetes Mittel der beiden Bilder in der Zone, in der sie sich überlappen, berechnen. Dieses Verfahren kann dazu führen, daß Doppelbilder erscheinen, wenn die Quellbilder nicht über den gesamten Überlappungsbereich hinweg präzise ausgerichtet werden, oder daß sich ein sichtbarer, aber unscharfer Übergang bildet, wenn die beiden Bilder sich in solchen Charakteristika wie der mittleren Intensität, der Farbe, der Schärfe oder dem Kontrast signifikant unterscheiden. Ein allgemeineres Verfahren zum Verschmelzen von Bildern unter Vermeidung von Übergängen verwendet eine Bildpyramide, um die Bilder bei vielen verschiedenen Skalierungen gleichzeitig zu verschmelzen. Dieses Verfahren wurde zuerst beschrieben in "A Multiresolution Spline With Applications to Image Mosaics", P.J. Burt und E.H. Adelson, ACM Transactions of Graphics, Band 2, Nr. 4, Oktober 1983, S. 217–236 (Burt I).
Es ist auch wünschenswert, daß der Schritt der Verschmelzung bei der Konstruktion von Mosaiken jegliche Löcher in dem Mosaik auffüllt, die dadurch zurückbleiben, daß irgendwelche Quellbilder einen Teil des gewünschten Mosaikbereichs nicht abdecken. Ein Verfahren zum Auffüllen von Löchern in dem Mosaik, das das Pyramidensystem für die Bildverarbeitung mit Mehrfachauflösung verwendet, wurde in Moment Images, polynominal fit filters, and the problem of surface Interpolation, P.J. Burt, ICPR 1988, S. 300–302, beschrieben.
Bei der Mosaikkonstruktion verwendete Bildverschmelzungsverfahren können auch eine Bildverbesserung bereitstellen. Beispielsweise kann das "Rauschen" von Bildern in Überlappungszonen reduziert werden, indem man die Quellbilder einfach mittelt. Wenn einige Quellbilder von besserer Qualität sind als andere oder wenn sie Aspekte von Objekten in der Szene klarer zeigen als andere, können nicht-lineare Verfahren verwendet werden, um aus jedem Quellbild die "beste" Information auszuwählen. Ein solches Verfahren ist in Enhanced Image capture through fusion, P.J. Burt und R. Kolczynski, ICCV 1993, S. 242–246, beschrieben.
Mehrere Quellbilder können in einer solchen Weise kombiniert werden, daß die Bildauflösung in den Überlappungsbereichen verbessert wird. Ein solches Verfahren ist in "Motion Analysis for Image Enhancement: Resolution, Occlusion, and Transparency", M. Irani und S. Peleg, Vision Communications and Image Representation, Band 4, Dezember 1993, S. 324–335, beschrieben.
Diesen bestehenden Verfahren für die Mosaikkonstruktion fehlt es an mehreren Fähigkeiten, die von der vorliegenden Erfindung bereitgestellt werden:

• Eine effektive Bildverarbeitungsvorrichtung zum gleichzeitigen Ausrichten aller Quellbilder unter Erhalt einer besten Gesamtausrichtung für die Verwendung in dem Mosaik. Derzeitige Verfahren richten nur Paare von Bildern aus. Beim Konstruieren eines Mosaiks aus einer Sequenz von Videoeinzelbildern wird beispielsweise jedes Bild mit dem vorherigen Bild in der Sequenz ausgerichtet. Es können sich kleine Ausrichtungsfehler anhäufen bzw. akkumulieren, die dann zu einer schlechten Ausrichtung einander überlappender Einzelbilder, die zu weit auseinanderliegenden Zeitpunkten in der Sequenz erscheinen, führen.
• Eine effektive Bildverarbeitungsvorrichtung zum Verschmelzen aller Quellbilder unter Erhalt eines besten Gesamtmosaiks. Derzeitige Verfahren verschmelzen immer nur zwei Bilder gleichzeitig. Ein aus vielen Bildern bestehendes Mosaik wird durch Verschmelzen in ein neues Bild zu einem Zeitpunkt konstruiert. Dieses Verfahren liefert möglicherweise nicht die beste Gesamtqualität, und es kann einen unnötigen Berechnungsaufwand bzw. unnötige Berechnungen mit sich bringen.
• Eine effektive Bildverarbeitungsvorrichtung zum Verschmelzen von Quellbildern, die sich in ihren Belichtungscharakteristika drastisch unterscheiden.
• Eine effektive Bildverarbeitungsvorrichtung für das automatische Auswählen von Bereichen aus einander überlappenden Bereichen jedes Quellbildes, die in das Mosaik aufgenommen werden sollen.
• Eine Systemimplementierung, die für kommerzielle und für Verbraucheranwendungen praktisch ist.

ZUSAMMENFASSUNG DER ERFINDUNG
Ein Aspekt der vorliegenden Erfindung stellt ein computerimplementiertes Verfahren zum Ausrichten einer Mehrzahl von Quellbildern bereit, welches die folgenden Schritte aufweist:

a) Analysieren der Quellbilder, um einige der auszurichtenden Quellbilder auszuwählen und eine anfängliche bzw. erste Ausrichtung der Quellbilder zu erzeugen, und
b) Analysieren der ausgewählten Quellbilder, um ein Koordinatensystem für ein Bildmosaik zu erstellen, dadurch gekennzeichnet, daß der Schritt des Analysierens der Quellbilder, um einige der auszurichtenden Quellbilder auszuwählen, Bilder auf Basis der Überlappung zwischen den Quellbildern auswählt, um ein kombiniertes Maß bzw. Ausmaß an Übereinstimmung für alle Paare von sich überlappenden Quellbildern zu optimieren, und der Schritt des Analysierens der ausgewählten Quellbilder, um ein Koordinatensystem für das Bildmosaik zu erstellen, ein anfängliches bzw. erstes Bild aus den ausgewählten Bildern auswählt, um das Koordinatensystem festzulegen bzw. zu definieren, wobei das Verfahren weiterhin den folgenden Schritt beinhaltet:
c) Ausrichten einiger der ausgewählten Quellbilder mit dem Koordinatensystem durch Auswählen nachfolgender Bilder auf Basis zumindest entweder (i) des Bildinhalts, (ii) der Bildqualität oder (iii) der Überlappung zwischen den Quellbildern, und Ausrichten jedes der nachfolgenden ausgewählten Bilder mit dem durch das anfängliche Bild definierten Koordinatensystem.

Ein weiterer Aspekt der vorliegenden Erfindung stellt ein System zum Ausrichten einer Mehrzahl von Quellbildern bereit, welches folgendes aufweist:

a) Auswahlmittel für das Analysieren der Quellbilder, um einige der auszurichtenden Quellbilder auszuwählen und eine anfängliche Ausrichtung der Quellbilder zu bilden, dadurch gekennzeichnet, daß: die Auswahlmittel Mittel für das Anpassen der ausgewählten Bilder, um ein kombiniertes Ausmaß an Übereinstimmung für alle Paare von sich überlappenden Quellbildern zu optimieren, beinhalten und die Vorrichtung weiterhin beinhaltet:
b) Referenzmittel, welche Mittel für das Analysieren der ausgewählten Quellbilder, um ein anfängliches Bild aus den ausgewählten Quellbildern auszuwählen, um ein Koordinatensystem für das Bildmosaik zu erstellen, beinhalten und
c) Ausrichtungsmittel, welche mindestens entweder (i) Mittel für das Analysieren der Quellbilder auf Basis des Bildinhalts, (ii) Mittel für das Analysieren der Quellbilder auf Basis der Bildqualität oder (iii) Mittel für das Analysieren der Quellbilder auf Basis der Überlappung zwischen den Quellbildern oder Mittel für das Ausrichten einiger der ausgewählten Quellbilder mit dem durch das anfängliche Bild definierten Koordinatensystem beinhalten.

Ein weiterer Aspekt der vorliegenden Erfindung stellt ein computerlesbares Medium bereit, welches ein Programm enthält, das einen Computer dazu bringt, eine Mehrzahl von Quellbildern auszurichten, wobei das Programm den Computer dazu bringt, die folgenden Schritte auszuführen:

a) Analysieren der Quellbilder, um einige der auszurichtenden Quellbilder auszuwählen und eine anfängliche Ausrichtung der Quellbilder zu bilden, und
b) Analysieren der ausgewählten Quellbilder, um ein Koordinatensystem für ein Bildmosaik zu erstellen, dadurch gekennzeichnet, daß der Schritt des Analysierens der Quellbilder, um einige der auszurichtenden Quellbilder auszuwählen, Bilder auf Basis der Überlappung zwischen den Quellbildern, um ein kombiniertes Ausmaß an Übereinstimmung für alle Paare sich überlappender Quellbilder zu optimieren, auswählt und der Schritt des Analysierens der ausgewählten Quellbilder, um ein Koordinatensystem für das Bildmosaik zu erstellen, ein anfängliches Bild unter den ausgewählten Bildern auswählt, um das Koordinatensystem zu definieren bzw. festzulegen, wobei das Verfahren weiterhin den folgenden Schritt beinhaltet:
c) Ausrichten einiger der ausgewählten Quellbilder mit dem Koordinatensystem durch Auswählen eines anfänglichen Bildes, Auswählen nachfolgender Bilder auf Basis zumindest entweder (i) des Bildinhalts, (ii) der Bildqualität oder (iii) der Überlappung zwischen den Quellbildern, und Ausrichten jedes der nachfolgenden ausgewählten Bilder mit dem durch das anfängliche Bild definierten Koordinatensystem.

KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die Lehren der vorliegenden Erfindung werden bei Betrachtung der nachfolgenden ausführlichen Beschreibung zusammen mit den begleitenden Zeichnungen leicht verstanden, in denen:
1 ein Blockdiagramm des Gesamtsystems ist und
2 ein Flußdiagramm ist, das die Auswahl von Quellbildern veranschaulicht.
3A ist ein Flußdiagramm, das ein beispielhaftes Verfahren der Bildausrichtung zeigt.
3B ist ein Bilddiagramm, das zum Beschreiben des in 3A gezeigten Ausrichtungsprozesses nützlich ist.
4 ist ein Bilddiagramm, das die Bereichsauswahl darstellt.
5 ist ein Flußdiagramm, das einen Bildverbesserungsprozeß zeigt.
6 ist ein Datenstrukturdiagramm, das einen Pyramidenaufbau für das Verschmelzen von Bildern zeigt.
7 ist ein Blockdiagramm, das zum Beschreiben einer beispielhaften Ausführungsform der Erfindung nützlich ist.
8 ist ein Flußdiagramm eines Verfahrens bzw. Prozesses, das bzw. der zur Verwendung als der in 7 gezeigte Front-End- bzw. Vorausrichtungsprozeß geeignet ist.
9 ist ein Diagramm, das Bilder zeigt, die von dem System verarbeitet werden, das zum Beschreiben des in 7 gezeigten Vorausrichtungsprozesses nützlich ist.
Die 10A und 10B sind Bilddiagramme, die zum Beschreiben der Betriebsweise des in 7 gezeigten Vorausrichtungsprozesses nützlich sind.
11A ist ein Flußdiagramm eines Prozesses, der zur Verwendung als der in 8 gezeigte Korrelationsprozeß geeignet ist.
11B ist ein Diagramm eines Akzeptanzbereichs, das zur Beschreibung der Betriebsweise des in 11A gezeigten Korrelationsprozesses nützlich ist.
12 ist ein Diagramm von Bildern, das zum Beschreiben des in 7 gezeigten Back-End- bzw. Nachausrichtungsprozesses nützlich ist.
13 ist ein Diagramm von Bildern, das zum Beschreiben eines ersten alternativen Nachausrichtungsprozesses, der zur Verwendung in dem in 7 gezeigten Blockdiagramm geeignet ist, nützlich ist.
14 ist ein Diagramm von Bildern, das zum Beschreiben eines zweiten nachgeschalteten Ausrichtungsprozesses nützlich ist, der zur Verwendung in dem in 7 gezeigten Blockdiagramm geeignet ist.
15 ist ein Flußdiagramm eines Verfahrens, das zur Verwendung als der in 7 gezeigte Nachausrichtungsprozeß geeignet ist.
Um das Verständnis zu erleichtern wurden identische Bezugszahlen verwendet, wo dies möglich war, um identische Elemente zu bezeichnen, die allen Figuren gemeinsam sind.
AUSFÜHRLICHE BESCHREIBUNG
Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum Konstruieren eines Mosaikbildes aus mehreren Quellbildern. Die Erfindung liefert ein praktisches Verfahren zum Erhalten von Bildem hoher Qualität mit einem großen Sichtfeld aus Quellbildern mit vergleichsweise geringerer Qualität. Diese Fähigkeit kann in der "Fotografie" im Verbraucher- und im professionellen Bereich, wo eine Videokamera oder eine digitale Fotokamera verwendet wird, um Drucke bzw. Abzüge von fotografischer Qualität bereitzustellen, wichtige Verwendungsmöglichkeiten haben. Sie kann auch verwendet werden, um die Qualität eines gezeigten Videos zu verbessern.
Ein allgemeines Verfahren zum Bilden eines Mosaikbildes ist in 1 gezeigt. Dieser beinhaltet eine Bildquelle 101, eine Abfolge von Verarbeitungsschritten 102 bis 106 und eine Mosaikausgabevorrichtung 108. Weiterhin ist eine optionale Vorrichtung 109 vorgesehen, damit sich ein menschlicher Benutzer die Ergebnisse der Verarbeitungsschritte ansehen und ausgewählte Schritte interaktiv steuern kann.
Bildquelle 101
Der Vorgang der Mosaikkonstruktion beginnt mit einem Satz von Quellbildern. Diese können "Live"-Bilder von verschiedenen Arten von Bildsensoren, wie Videokameras, digitalen Fotokameras und Bildscannern, Bilder von verschiedenen Speichermedien, wie z.B. Videoband (VCR), Computerdateien, künstlich erzeugte Bilder, wie Computergrafiken, und verarbeitete Bilder, wie zuvor konstruierte Mosaike, beinhalten.
Der Mosaikkonstruktionsprozeß beinhaltet fünf grundlegende Schritte:
Schritt 1: Quellbildauswahl 102
Ein Satz von Bildern, die zu einem Mosaik kombiniert werden sollen, wird aus den verfügbaren Quellbildern ausgewählt. Dies kann manuell oder automatisch erfolgen. Der Auswahlprozeß findet bzw. entdeckt einen Satz von Bildem von guter Qualität, die den beabsichtigten Bereich und den Inhalt des Mosaiks abdecken.
Wenn das Mosaik aus einer Abfolge bzw. Sequenz von Videoeinzelbildern aufgebaut wird, kann dieser Auswahlschritt das Anzeigen des ersten und des letzten Einzelbildes, die in das Mosaik aufgenommen werden sollen, beinhalten. Diese Auswahl zeigt an, daß alle dazwischen liegenden Einzelbilder verwendet werden sollen. Das Start- und das Stopeinzelbild können durch Steuern der Videokamera selbst, wie z.B. durch Starten oder Stoppen systematischer Schwingbewegungen der Kamera, Bewegungen, die dann von dem System automatisch erfaßt werden, ausgewählt werden.
Wenn ein Mosaik aus einer Sammlung von Schnappschüssen aufgebaut werden soll, kann es für den Benutzer wünschenswert sein, jedes Quellbild interaktiv auszuwählen.
Die Quellenauswahl kann auch das Herausschneiden von Teilbildern aus größeren Bildern beinhalten. Beispielsweise kann ein Benutzer ein Bild einer Person aus einem Quellbild so ausschneiden, daß es an einem neuen Ort in einem anderen Bild in dem Mosaik verschmolzen werden kann.
Schritt 2: Bildausrichtung 103
Die ausgewählten Quellbilder werden in gewünschter Weise so zueinander ausgerichtet, daß jedes von ihnen mit entsprechenden Teilen benachbarter Bilder ausgerichtet ist. Die Ausrichtung bringt das Auffinden einer geometrischen Transformation oder eines "Scherens" mit sich, das alle ausgewählten Bilder, nachdem es auf sie angewandt wurde, in ein gemeinsames Koordinatensystem bringt. Die geometrische Transformation wird typischerweise im Sinne eines Satzes von Parametern definiert. Diese können Verschieben, Drehen, Erweitern, projektive Geometrie, höherwertige Polynome oder allgemeine Bewegungsparameter sein (z.B. stückweise Polynom mit einem anderen Satz von Parametern an jedem Abtastpunkt). Schertechniken sind in der provisorischen US-Patentanmeldung, Seriennummer 60/015,577, eingereicht am 18. April 1996, mit dem Titel "Computationally Efficient Digital Image Warping", beschrieben, die hierin durch Bezugnahme vollständig aufgenommen ist.
Die Ausrichtung kann interaktiv durch die Benutzerschnittstelle 109 erfolgen, indem der Benutzer dazu gebracht wird, korrespondierende Punkte anzuzeigen, und anschließendes Erkennen bzw. Entdecken der Transformationsparameter, die diese Punkte in Ausrichtung (oder gemäß dem Kriterium des kleinsten Fehlers nahezu in Ausrichtung) bringen, oder sie kann durch interaktives Spezifizieren der Transformationsparameter (z.B. mit einer Maus oder einer anderen Zeigevorrichtung) erfolgen.
Die Ausrichtung kann durch verschiedene Bildverarbeitungsverfahren, die die Scherparameter bestimmen, die eine beste Übereinstimmung zwischen benachbarten Bildern liefern, auch automatisch erfolgen. Die Ausrichtung kann manuelle und automatische Schritte kombinieren. Beispielsweise kann ein Benutzer die Bilder manuell in grobe Ausrichtung bringen und dann einen automatischen Prozeß auslösen, um die Scherparameter unter Bereitstellung einer präzisen Ausrichtung zu verfeinern.
Der Ausrichtungsprozeß kann mit dem Quellbildauswahlprozeß 102 wechselwirken. Die Ausrichtung liefert Informationen über den Grad bzw. das Ausmaß der Überlappung und im Falle von Video über die Geschwindigkeit der Kamerabewegung. Bilder können verworfen werden, wenn ihre Überlappung zu groß ist, oder neue Bilder können hinzugefügt werden, wenn das Ausmaß der Überlappung zu gering ist. Bilder können verworfen werden, wenn die Kamerabewegung zu groß ist und somit wahrscheinlich zu einer Bewegungsunschärfe führen. Abrupte Veränderungen der Kamerabewegung können verwendet werden, um den beabsichtigten Beginn und das beabsichtigte Ende der bei der Mosaikkonstruktion verwendeten Videosequenz zu signalisieren.
Diese Erfindung stellt Bildausrichtungsverfahren dar, die alle Einzelbilder gleichzeitig berücksichtigen. Im Vergleich zu den konventionellen Ausrichtungsansätzen, die zwei Bilder ausrichten, indem sie eine Fehlerfunktion zwischen diesen minimieren, schlägt diese Offenbarung ein Verfahren zum gleichzeitigen Ausrichten aller Bilder oder zum Ausrichten irgendeines Teilsatzes von Bildern vor, bei dem die Fehlerfunktion, die die Summe aller Fehler zwischen irgendeinem Paar von sich überlappenden Bildern ist, minimiert wird.
Schritt 3: Bereichsauswahl 104
Teilbereiche der ausgerichteten, einander überlappenden Quellbilder werden für die Aufnahme in das Mosaik ausgewählt. Der Auswahlprozeß unterteilt in wirksamer Weise den Bereich des Mosaiks in Teilbereiche, so daß jeder Teilbereich den Teil des Mosaiks darstellt, der aus jedem Quellbild entnommen wurde.
Die Auswahl kann manuell oder automatisch erfolgen. Die manuelle Auswahl kann durch das Ziehen von Grenzlinien auf einer Anzeige von benachbarten bzw. aneinander angrenzenden, sich überlappenden Bildem unter Verwendung einer Zeigevorrichtung, wie z.B. einer Maus, interaktiv über die Benutzerschnittstelle 109 erfolgen. Die automatische Auswahl findet die geeigneten Schnittlinien zwischen benachbarten Bildern auf Basis des Ortes (z.B. Abstand zum Zentrum jedes Quellbildes) oder der Qualität (z.B. Auflösung oder Bewegungsunschärfe).
In einem allgemeineren Ansatz für die Auswahl können einander überlappende Teile von Bildern durch Mitteln oder durch musterselektives Verschmelzen kombiniert werden.
Schritt 4: Bildverbesserung 105
Einzelne Bilder können vor dem Verschmelzen weiter verarbeitet werden, um ihren Kontrast oder ihre Schärfe zu verbessern oder um diese Charakteristika so einzustellen, daß sie den entsprechenden Charakteristika der zu ihnen benachbarten Bilder ähnlich sind. Die Verbesserung basiert auf der Intensität, der Farbe und auf Filteroperationen. Die Parameter dieser Vorgänge bzw. Operationen können manuell oder automatisch bestimmt werden.
Schritt 5: Verschmelzung 106
In diesem Schritt werden die ausgewählten Quellbilder zu einem einzigen Mosaik kombiniert. Dies geschieht in wünschenswerter Weise so, daß ein Ergebnis erzielt wird, das wie ein einzelnes Bild aussieht, ohne Übergänge oder andere Verschmelzungsartefakte. Das einfache Kopieren von Pixeln aus den ausgewählten Bereichen jeder Quelle in das Mosaik liefert im allgemeinen keine zufriedenstellenden Ergebnisse. Die Grenze zwischen benachbarten Segmenten, die sich in Charakteristika wie Kontrast, Auflösung oder Farbe wesentlich unterscheiden, kann in dem Mosaik als sichtbarer Übergang erscheinen.
Verfahren zum Kombinieren von Bildern beinhalten das Glätten, das Verschmelzen mit Mehrfachauflösung, das Mitteln und das Fusionieren. Das Glätten ist zufriedenstellend, wenn die Ausrichtung gut ist und die benachbarten Bilder ähnliche Eigenschaften haben. Die Verschmelzung mit Mehrfachauflösung kombiniert Bilder mit verschiedenen Mehrfachauflösungsniveaus zu einem Pyramiden-/Wellen-Bildtransformationsbereich. Dies ist zum Eliminieren sichtbarer Übergänge über einen breiten Bereich von Bedingungen hinweg wirkungsvoll. Das Mitteln ist als ein Mittel zum Verbessern des Signal-/Rausch-Verhältnisses geeignet, wenn die Quellbilder in dem Überlappungsbereich von vergleichbarer Qualität und in präziser Ausrichtung sind. Die Bildfusion stellt eine Verall gemeinerung des Verfahrens der Verschmelzung mit Mehrfachauflösung dar, wobei an jedem Ort, in jedem Maßstab und in jeder Orientierung unter den Quellbildern eine Auswahl getroffen wird.
Es ist oft der Fall, daß die Quellbilder nicht den gesamten Bereich des gewünschten Mosaiks abdecken. In dem Mosaik können Löcher verbleiben, die von keinem der Quellbilder abgedeckt werden, oder es kann um die verschmolzenen Quellbilder herum Bereiche geben, die sich nicht zur gewünschten Grenze des Mosaiks hin erstrecken. Diese Bereiche können leer belassen werden (z.B. kann ihnen eine einheitliche Farbe, wie Schwarz, zugewiesen werden), oder sie können in einer Weise aufgefüllt werden, die sie unverdächtig erscheinen läßt. Die letztere Wirkung kann durch Interpolation und Extrapolation mit Mehrfachauflösung oder durch Verschmelzen mit Mehrfachauflösung mit einem Bild-"Patch", der aus einem nahe gelegenen Stück eines der Quellbilder entnommen wird, oder mit einem Patch, der künstlich so erzeugt wird, daß er benachbarten Bildbereichen ähnlich zu sein scheint, erzielt werden.
In einigen Fällen kann es wünschenswert sein, Quellbilder in einer solchen Weise zu kombinieren, daß ein Gegenstand aus einem Bild vor einem durch das andere Bild bereitgestellten Hintergrund zu liegen scheint. Diese Wirkung wird durch sorgfältiges Schneiden des ersten Bildes entlang der beabsichtigten Grenze des Vordergrundobjekts (wie z.B. dem Gesicht einer Person) und anschließendes Einfügen der resultierenden Pixel in das andere Bild erzielt. Die Kanten können überlagert werden, um Aliasing-Effekte (ein gezacktes Erscheinungsbild aufgrund von Bildabtastung) zu vermeiden, und die Bilder können durch ausgefeiltere Verfahren, die scheinbar Schatten aus einer Quelle auf Hintergrundobjekte in der anderen fallen lassen, kombiniert werden. Die Grenzen können manuell oder automatisch identifiziert werden, während das Überlagern automatisch erfolgt.
Schritt 6: Mosaikformatierung 107
Sobald das Mosaik vervollständigt wurde, kann es weiter überarbeitet oder verarbeitet werden, um ein gewünschtes Bildformat zu erzielen. Beispielsweise kann es in ein neues Koordinatensystem geschert, beschnitten oder mittels Bildverarbeitungstechniken verbessert werden. Diese Schritte können automatisch oder manuell durch die Benutzerschnittstelle 109 erfolgen.
Ausaabevorrichtung 108
Das endgültige zusammengesetzte Mosaikbild kann auf einer Anzeige dargestellt werden, es kann gedruckt oder in einer Computerdatei gespeichert werden. Das Mosaik kann auch als ein Quellbild 101 für die Verwendung bei der Erstellung neuer Mosaike zur Verfügung gestellt werden.
Benutzerschnittstelle 109
Ein menschlicher Benutzer kann irgendwelche oder alle dieser Verarbeitungsschritte durch die Benutzerschnittstelle beobachten und steuern. Diese Schnittstelle beinhaltet normalerweise eine Bildanzeigevorrichtung und eine Zeigevorrichtung, wie eine Maus oder einen Leuchtstift. Der Benutzer kann Quellbilder, Bildbereiche und Operationen auf diesen Bildern durch eine visuelle Benutzerschnitstelle bestimmen. Der Benutzer kann durch Schiebebalken oder andere echte oder virtuelle "Knöpfe" auch Parameter der Operationen steuern. Er kann die Bildausrichtung manuell unterstützen, indem er korrespondierende Punkte in verschiedenen Bildern bestimmt oder Bilder auf dem Bildschirm unter Verwendung der virtuellen Knöpfe verschiebt, streckt oder dreht.
Zusätzlich zu standardmäßigen Benutzerschnittstellenverfahren, wie z.B. einer Tastatur und einer Zeigevorrichtung, stellt diese Erfindung auch eine einzigartige Benutzerschnittstelle für die Videoeingabe bereit, was es dem Benutzer erlaubt, Funktionen des Systems zu koppeln, indem er die Videokamera mit vorspezifizierten Bewegungen bewegt, wobei jede dieser vorspezifizierten Kamerabewegungen so interpretiert wird, daß sie einen Aspekt des Mosaikbildungsprozesses steuert.
Es sei angemerkt, daß die Reihenfolge der Schritte bei dem Mosaikkonstruktionsprozeß in einigen Fällen vertauscht werden kann und daß einige Schritte übersprungen werden können. Beispielsweise könnte der Verbesserungsschritt nach dem Segmentauswahlschritt oder vor dem Ausrichtungsschritt oder sogar vor dem Bildauswahlschritt durchgeführt werden, oder er könnte auch überhaupt nicht durchgeführt werden.
Bildauswahl
Der Bildauswahlschritt 102 kann zusätzliche Schritte, wie die in 2 gezeigten, beinhalten. Quellbilder können auf Basis verschiedener Faktoren, einschließlich Inhalt, Qualität und Ausmaß der Überlappung, ausgewählt werden. Im allgemeinen erfolgt der Prozeß bzw. Vorgang des Auswählens von Quellbildern iterativ, so daß einige anfangs ausgewählte Quellbilder später verworfen werden können und ursprünglich nicht ausgewählte Bilder später hinzugefügt werden können.
Auswahl auf Basis des Inhalts 201
Die Auswahl auf Basis des Bildinhalts erfolgt normalerweise manuell. Dies kann den Schritt des Ausschneidens von Bildern aus größeren Bildern, so daß sie in neue Bilder eingefügt werden können, beinhalten. Eine solche Auswahl und ein solches Ausschneiden erfolgen normalerweise auf einer Computeranzeige unter Verwendung einer Zeigevorrichtung, wie einer Maus.
Auswahl auf Basis der Qualität 202
Die Auswahl auf Basis der Bildqualität kann manuell oder automatisch erfolgen. Die automatische Auswahl wird normalerweise verwendet, wenn es sehr viele Quellbilder gibt, wie es bei der Mosaikkonstruktion aus einem Videosignal der Fall ist. Dieser Auswahlprozeß kann Bilder vermeiden, die beispielsweise aufgrund von Bewegungsunschärfe oder schlechter Belichtung verschlechtert sind.
Wenn die Quellbilder eine Videosequenz sind, so kann eine Bewegungsunschärfe erfaßt werden, indem zuerst die Bildverschiebung von Einzelbild zu Einzelbild gemessen wird. Der Grad bzw. das Ausmaß der Unschärfe nimmt proportional zur Einzelbildverschiebung und proportional zur Belichtungszeit für jedes Einzelbild als Bruchteil der Zeit zwischen Einzelbildern zu. Eine Verschiebung von Einzelbild zu Einzelbild kann durch den Bildausrichtungsprozeß 103 bereitgestellt werden. Zusätzlich kann die Belichtungszeit als Teil der mit dem Quellvideo bereitgestellten Informationen bekannt sein. Das Bild wird durch Unschärfe merklich verschlechtert, wenn das Produkt aus Belichtungszeit und Verschiebung einen Abstand repräsentiert, der im Vergleich zu einem Pixel in dem Bild groß ist.
Ein alternatives Verfahren zum Erfassen von Bewegungsunschärfe in einer Videosequenz besteht darin, das Ausmaß zu messen, zu dem das Bild in einer Richtung unscharf erscheint, während es in anderen Richtungen schart ist. Ein einfacher auf das Bild angewendeter Filter kann die Musterorientierung an jeder Pixelposition in dem Bild messen (dies kann ein Gradientenoperator oder ein Detektor für orientierte Kanten sein). Sind die resultierenden Orientierungen bzw. Ausrichtungen, wenn sie über ausgedehnte Bereiche des Bildes oder über das ganze Bild hinweg vereinigt werden, in einer Richtung in ungewöhnlicher Weise angehäuft bzw. geclustert, kann dies als ein Hinweis auf eine Bewegungsunschärfe gedeutet werden. Die Ausrichtungen können als ungewöhnlich geclustert beurteilt werden, indem man die Clusterbildung für ein Bild mit der Clusterbildung für benachbarte, überlappende Bilder vergleicht.
Ein Verfahren zum Bestimmen der Belichtungsqualität kann die Energie innerhalb eines Satzes von spektralen Frequenzbändern des Quellbildes messen. Für einen Satz von Bildern einer bestimmten Szene, die mit verschiedenen Belichtungen erhalten wurden, kann dasjenige mit der größten Energie als dasjenige mit der besten Belichtung genommen werden. Die Energie innerhalb eines Satzes von spektralen Bändern kann berechnet werden, indem man die Varianz der verschiedenen Ebenen bzw. Niveaus einer Laplace-Pyramidendarstellung dieses Bildes berechnet. Wenn die Energie für verschiedene Bänder für ein Bild im Vergleich zu der von sich überlappenden Bildern gering ist, kann das Bild unter der Annahme, daß es wahrscheinlich schlecht belichtet ist, aussortiert werden.
Auswahl auf Basis der Überlappung 203
Quellbild-Einzelbilder werden vorzugsweise so ausgewählt, daß sie ein geeignetes Ausmaß an Überlappung zwischen benachbarten Bildern bereitstellen. Dieser Auswahlprozeß hängt zum Teil von der Anwendung und den dem Mosaikkonstruktionssystem zur Verfügung stehenden Computerressourcen ab. Im allgemeinen ist es umso einfacher, eine Ausrichtung und eine Verschmelzung mit guter Qualität zu erzielen, je größer die Überlappung ist. Andererseits sind, je größer die Überlappung ist, umso mehr Quellbilder notwendig, um ein Mosaik zu konstruieren, das einen bestimmten Bereich abdeckt, und umso höher sind somit auch die Kosten der Computerressourcen. Das Ausmaß der Überlappung wird dem Auswahlsystem durch den Ausrichtungsprozeß 103 bereitgestellt.
Bildausrichtung
Der Schritt der Bildausrichtung kompensiert in wünschenswerter Weise Faktoren wie Kamerabewegung und Linsenverzerrung. Die Kamerabewegung kann eine einfache projektive Transformation zwischen einander überlappenden Bildern einfügen, oder sie kann zu einer komplexeren Parallaxentransformation führen, die die dreidimensionale Verteilung von Objekten in der Szene betrifft. Es gibt zur Zeit Ausrichtungsverfahren, die diesen Faktoren Rechnung tragen können. Hier definieren wir ein Verfahren zum Ausrichten von Sätzen von Bildern, die in zwei Dimensionen über den Bildbereich des Mosaiks verteilt sind, so daß jedes mit darüber und darunter sowie links und rechts davon liegenden benachbarten Bildern ausgerichtet wird.
Bestehende Verfahren zur Ausrichtung von Paaren von Bildern stellen Mittel zum Entdecken geometrischer Transformationen bereit, die, wenn sie auf die beiden Bilder angewandt werden, ein Maß der Bildübereinstimmung oder -ausrichtung in deren einander überlappenden Bereichen maximieren. Es können verschiedene Arten des Ausmaßes an Übereinstimmung, einschließlich Kreuzkorrelation und dem kleinsten quadratischen Fehler, verwendet werden.
Das neue Verfahren zum gleichzeitigen Ausrichten von drei oder mehr Quellbildern verallgemeinert das für Paare von Bildern verwendete Verfahren, indem es eine geometrische Transformation findet, die, wenn sie auf jedes der Quellbilder angewandt wird, zu einer globalen besten Übereinstimmung für alle Quellbilder führt. Die globale beste Übereinstimmung ist als eine geeignete Kombination von Maßen der Übereinstimmung für die Paare von einander überlappenden Quellbildern definiert. Im allgemeinen ist die Aufgabe des Findens einer globalen besten Ausrichtung computertechnisch schwierig. Das neue Verfahren führt praktische Mittel ein, um die beste globale Ausrichtung zu finden.
3a zeigt den dreistufigen Prozeß für das Entdecken einer globalen Ausrichtung.
Stufe 1: Sequentielle Konstruktion von Teilmosaiken 301
Die Quellbilder werden in einem sequentiellen Prozeß zuerst in einem oder mehreren Teilmosaiken angeordnet. Dieser Prozeß beginnt mit der Auswahl eines oder mehrerer Quellbilder, die als Keime dienen. Dann wird aus jedem Keim ein Mosaik herangezogen, indem nacheinander einzelne weitere Quellbilder hinzugefügt werden. Jedes neue Bild wird mit dem bestehenden Mosaik paarweise ausgerichtet und dann in das Mosaik aufgenommen. Alternativ wird es mit einem der Bilder, die bereits in dem Mosaik sind, ausgerichtet, und die Parameter dieser Ausrichtung sowie der Ausrichtung des überlappenden Bildes werden unter Erhalt von Parametern zum Ausrichten des Bildes in Mosaikausrichtung mathematisch kombiniert.
Ein Teilmosaik wird typischerweise aus einer Videosequenz konstruiert, indem jedes neue Videoeinzelbild mit dem vorherigen Einzelbild ausgerichtet wird. Neue Teilmosaike können initiiert werden, wann immer es zu einer bedeutenden Veränderung in der Richtung der Kamerabewegung kommt.
Diese Verarbeitungsstufe liefert keine insgesamt beste Ausrichtung der Quellbilder, sondern nur eine ungefähre Ausrichtung von Teilsätzen von Bildern auf Basis eines Teilsatzes der möglichen paarweisen Ausrichtung der Bilder.
Stufe 2: Ungefähre Ausrichtung von Teilmosaiken 302
Die Teilmosaike werden grob miteinander ausgerichtet. In praktischen Systemen kann dieser Schritt manuell erfolgen, oder er kann auf groben Parametern für die Kameraausnchtung basieren, die von Kameraausrichtungssensoren, wie Gyroskopen, bekannt sind. Die Ausrichtung kannauch auf der Ausrichtung von Paaren von Teilmosaiken oder ausgewählten Paaren von Einzelbildern innerhalb zueinander benachbarter Teilmosaike unter Verwendung der bekannten Ausrichtungsverfahren der Bildverarbeitung basieren. Eine präzise Ausrichtung zwischen zueinander benachbarten Teilmosaiken ist oft nicht möglich. Eine Ausrichtung von Paaren von Teilmosaiken in Stufe 1 kann zur Ansammlung bzw. Akkumulation kleiner Ausrichtungsfehler über ein ausgedehntes Teilmosaik hinweg führen. Im Ergebnis kann jedes Teilmosaik relativ zu benachbarten Teilmosaiken leicht verzerrt sein.
Stufe 3: Iterative Verfeinerung 303
Sobald eine grobe Gesamtausrichtung aller Quellbilder erzeugt wurde, wird diese Ausrichtung durch einen iterativen Anpassungsprozeß verfeinert. Die Anpassung kann hierarchisch, z.B. in einem Pyramidensystem für die Bildverarbeitung mit Mehrfachauflösung, erfolgen. Unter Verwendung dieses Verfahrens werden zunächst Anpassungen für Darstellungen der Teilmosaike mit niedriger Auflösung berechnet. Dies verbessert die Ausrichtung des Gesamtmosaiks in großem Maßstab. Dann werden die Teilmosaike in kleinere Teilmosaike zerlegt, und die Anpassungen werden für diese, typischerweise bei einer höheren Bildauflösung, wiederholt. Dies verbessert die Gesamtausrichtung des Mosaiks in mittlerem Maßstab. Die kleinen Teilmosaike werden dann wiederum in kleinere Teilmosaike zerlegt und deren Ausrichtung wird angepaßt. Diese Aufteilungs- und Ausrichtungsschritte werden wiederholt, bis eine gewünschte Präzision und eine gewünschte Bildauflösung, möglicherweise auf der Ebene einzelner Quellbilder, erzielt wurden. Die angepaßten Ausrichtungen einzelner Einzelbilder und kleiner Teilmosaike können verwendet werden, um in einem Fein-Grob-Verfahren größere Teilmosaike zu rekonstruieren, Stufe 2. Die Fein-Grob- und Grob-Fein-Durchläufe können wiederholt werden, bis eine gewünschte Gesamtausrichtung erzielt wurde. Die Erfinder haben ermittelt, daß für die meisten Anwendungen ein einziger Durchlauf ausreichend ist.
Verfahren zum Anpassen der Ausrichtung
Das Verfahren zum Anpassen der Ausrichtungen in Stufe 3 berücksichtigt die globale Ausrichtung eines gegebenen Quellbilds (oder Teilmosaiks) mit allen dazu benachbarten, überlappenden Bildern (oder Teilmosaiken). Ein Maß der Übereinstimmung, das Messungen für alle Paare einander überlappender benachbarter Bilder (Teilmosaike) kombiniert, wird berechnet. Dann werden Parameter der geometrischen Transformation gefunden, die dieses Maß der kombinierten Übereinstimmung optimieren. Eine globale Ausrichtung kann für ein Bild (Teilmosaik) gleichzeitig oder für Gruppen von Bildern (Teilmosaiken) gleichzeitig durchgeführt werden. Diese Techniken werden unten als Verfahren 1 bzw. Verfahren 2 beschrieben. In jedem Fall werden die Anpassungsdurchläufe systematisch für alle Bilder (Teilmosaike), die das Gesamtmosaik bilden bzw. ausmachen, vorgenommen.
Diese Schritte lassen sich wie folgt deutlicher definieren:
Gegeben sei eine Sequenz von N Quellbildern (oder Teilmosaiken) {I_k}, 0 ≤ k < N – 1; man berechne einen globalen Ausrichtungsfehler durch Aufaddieren aller Ausrichtungsfehler aus allen ein ander überlappenden Bildpaaren. Als "Ausrichtung" definieren wir einen Satz von Transformationen {T_k} so, daß jede Transformation T_k das Bild I_k in das gemeinsame Koordinatensystem des Mosaiks schert. Wenn W_k das durch die Transformation T_k gescherte Bild I_k ist, wird die Überlappung zwischen jedem Paar von ausgerichteten Bildern, W_m und W_n, berechnet. Es gibt N² solcher Bildpaare. Wenn eine Überlappung vorhanden ist, kann ein Ausrichtungsfehler E_mn berechnet werden. E_mn kann beispielsweise die Summe der quadrierten Abweichung von Bildintensitäten in dem überlappenden Bereich, eine Kreuzkorrelation oder irgendein anderes Maß für die Qualität der Bildausrichtung sein. In Fällen, in denen die Bilder einander nicht überlappen, ist E_mn Null. Der globale Ausrichtungsfehler E ist dann die Summe von E_mn für alle N² Bildpaare. Um die Lösung, bei der es zwischen irgendeinem Bildpaar keine Überlappung gibt, zu vermeiden, werden Standardverfahren verwendet. Diese beinhalten die Berücksichtigung nur derjenigen Ausrichtungen, bei denen es zumindest einen vorspezifizierten Bereich der Überlappung oder irgendeine vorspezifizierte Anzahl von sich überlappenden Paaren gibt. Das Maß der Übereinstimmung jedes Bildpaares kann durch Teilen des Maßes durch den Bereich der Überlappung normalisiert werden.
Das Koordinatensystem des Mosaiks wird in dieser Erfindung nicht angesprochen. Es kann das Koordinatensystem eines der Eingangsbilder oder ein anderes in anderer Weise berechnetes Koordinatensystem sein, oder es kann vom Benutzer manuell ausgewählt werden.
Wie sie in dieser Anmeldung verwendet wird, ist eine globale Ausrichtung ein Satz von Transformationen {T_k}, die den globalen Ausrichtungsfehler E minimieren. Dieser Satz von Transformationen ist unter Verwendung eines Minimierungsverfahrens zum Minimieren des globalen Ausrichtungsfehlers E zu finden.
Betrachten wir beispielsweise eine vorgeschlagene globale Bildausrichtung in 3. Die Fehlerfunktion für diese Ausrichtung wird aus allen Paaren von Bildern berechnet, die einen überlappenden Bereich gemeinsam haben. Der schattierte Bereich 321 ist beispielsweise der überlappende Bereich zwischen Einzelbild 311 und Einzelbild 312. Der Bereich 322 ist die Überlappung zwischen den Einzelbildern 313 und 314.
Selbst wenn das beispielhafte Verfahren so definiert wird, daß es alle Bildpaare verwendet, kann auch ein kleinerer Teilsatz von Bildpaaren verwendet werden, um die Geschwindigkeit der Berechnung zu steigern, oder in Situationen, in denen die relevanten Bildpaare durch irgendeinen anderen Prozeß im Vorfeld bestimmt werden können. Beispielsweise besteht eine Alternative zum Berechnen der Fehlerfunktion für alle Bildpaare, die einen überlappenden Bereich gemeinsam haben, darin, nur benachbarte Bildpaare zu verwenden. Eine Möglichkeit, das Aneinanderangrenzen von Bildpaaren zu definieren, besteht in der Verwendung des "Voronoi-Diagramms", wie es in "Voronoi Diagrams, a Survey of Fundamental Geometric Data Structures", F. Aurenhammer, (Aurenhammer) Computing Surveys, Band 23, 1991, S. 345–405, beschrieben ist. Unter Verwendung des Zentrums jedes Einzelbildes als Kern einer Voronoi-Zelle definieren wir diejenigen Einzelbilder als "benachbart" bzw. "angrenzend", deren Voronoi-Zellen einen gemeinsamen Vertex bzw. Eckpunkt haben.
Die gleichzeitige Minimierung des Ausrichtungsfehlers für alle überlappenden Bereiche oder sogar lediglich für die überlappenden Bereiche von benachbarten Bildpaaren kann computer- bzw. berechnungstechnisch aufwendig sein. Die Erfinder haben verschiedene vereinfachte Implementierungen definiert, die die computertechnische Komplexität reduzieren.
Verfahren 1 – Analytische Optimierung mit Grob-Fein-Verfeinerung
Übereinstimmungsmaße werden zuerst zwischen Paaren sich überlappender Einzelbilder berechnet. Die Übereinstimmungsmaße sind für einen kleinen Bereich von Parameterwerten, bezogen auf die Position der gegenwärtig erwarteten maximalen Übereinstimmung, als Flächen dargestellt. Diese Flächen können explizit dargestellt werden, indem das Maß ihrer Ausrichtung gespeichert wird oder indem sie implizit als parametrische Flächen gespeichert werden. Eine Abschätzung der besten Gesamtausrichtung kann dann auf Basis der Sammlung von Übereinstimmungsflächen für Paare von sich überlappenden Einzelbildern analytisch bestimmt werden. Die Quellbilder werden in die abgeschätzte beste Übereinstimmungsposition geschert, und die Übereinstimmungsflächen werden erneut berechnet. Der Prozeß kann mehrere Male wiederholt werden, um die Gesamtausrichtung sukzessive zu verbessern. Diese Schritte können weiterhin von grob nach fein implementiert werden, so daß die anfängliche Ausrichtung auf Darstellungen jeder Quelle mit niedriger Auflösung basiert und endgültige bzw. abschließende Verfeinerungen auf Darstellungen jeder Quelle mit hoher Auflösung basieren.
Die Iteration bzw. Wiederholung ist bei diesem Verfahren wünschenswert, weil die Flächen des Maßes der paarweisen Übereinstimmung für einfache Transformationen berechnet werden können, während die globale Ausrichtung unter Verwendung komplexerer Transformationen abgeschätzt wird. Beispielsweise können Flächen für das Übereinstimmungsmaß nur für Translationen berechnet werden, während die Gesamtausrichtung eines Bildes in Bezug auf mehrere benachbarte Bilder affine Transformationen beinhalten kann.
Verfahren 2 – Verfeinerung der lokalen Ausrichtung
Sobald der Satz von Quellbildern grob ausgerichtet ist, können die Ausrichtungsparameter jedes Bildes wiederum angepaßt werden, um die Übereinstimmung mit den dazu benachbarten überlappenden Bildern zu optimieren. Dies wird abwechselnd für jedes Quellbild wiederholt und dann mehrere Male wiederholt. Weiterhin kann der Prozeß als Grob-Fein-Verfeinerung implementiert werden. Die Implementierung kann entweder sequentiell erfolgen, wobei bei jeder Iteration die Transformation eines Bildes angepaßt wird, oder sie kann parallel erfolgen, wobei gleichzeitig mehrere einander überlappende Quellbilder jeweils mit den zu ihnen benachbarten Bildern ausgerichtet werden.
Bereichsauswahl
Jeder Punkt in dem endgültigen Mosaik kann durch mehrere Eingangsbilder abgedeckt werden. Eines davon wird in wünschenswerter Weise so ausgewählt, daß es den Pixelwert an diesem Punkt in dem Mosaik festlegt. Es sei SR_k der Teilbereich des (transformierten) Bildes W_k, das in das Mosaik aufgenommen werden soll. Es gibt verschiedene Verfahren, die verwendet werden können, um die SRs auszuwählen.
Verfahren 1: Näherung
Das einfachste Verfahren zum Auswählen der SRs erfolgt durch Näherung zum Zentrum der Bilder. Es sei ein Mosaikpixel p von mehreren Bildern W_k abgedeckt. Das Kriterium der Näherung wählt den Wert für das Pixel p aus, das aus dem Bild W_k, dessen Zentrum p am nächsten liegt, entnommen werden soll. Diese Tessellierung ist als "Voronoi-Tessellierung" bekannt, und die resultierenden SRs sind konvexe Bereiche. In diesem Fall ist die Grenze zwischen zwei benachbarten Bildern der Bisektor des Liniensegments, das die Zentren der beiden Bilder miteinander verbindet. Die Voronoi-Tessellierung ist in dem oben genannten Artikel von Aurenhammer beschrieben.
Wenn beispielsweise die Eingangsbilder nur horizontale Translationen aufweisen, trägt jedes Eingangsbild nur einen senkrechten rechteckigen Streifen um sein Zentrum bzw. seine Mitte herum zum endgültigen Mosaik bei.
Ein Beispiel der Bereichsauswahl ist in 4 gezeigt. Die Einzelbilder 401, 402, 403 und 404 sind nach der Ausrichtung gezeigt. In dem konstruierten Mosaik 410 ist der Bereich 411 aus dem Einzelbild 401 entnommen, der Bereich 412 ist aus dem Einzelbild 402 entnommen, der Bereich 413 ist aus dem Einzelbild 403 entnommen, der Bereich 414 ist aus dem Einzelbild 404 entnommen, der Bereich 415 ist aus dem Einzelbild 402 entnommen, und der Bereich 416 ist aus dem Einzelbild 403 entnommen.
Verfahren 2: Bildqualität
Die SRs können auf Basis der Bildqualität ausgewählt werden. Der dem Pixel p des Mosaiks zugewiesene Wert ist aus dem Quellbild entnommen, das so beurteilt wird, daß es zu diesem Zeitpunkt die beste Bildqualität besitzt. Die Bewertungen der Bildqualität können auf Kriterien wie Kontrast oder Bewegungsunschärfe basieren. Als Beispiel kann die Gradientengröße verwendet werden. Diese ist größer, wenn das Bild schärfer ist. Ein solches Auswahlkriterium ist in dem US-Patent Nr. 5,325,449 mit dem Titel "Method for Fusing Images and Apparatus Therefor", ausgegeben am 28. Juni 1994, beschrieben, das durch Bezugnahme hierin aufgenommen ist, weil es die Berechnung von Bildgradienten verfolgt. Unter Verwendung aller überlappender Bilder, die einen spezifischen Bereich abdecken, wird das Bild mit der besten Qualität ausgewählt, um den Bereich darzustellen.
Verfahren 3: Ausrichtung
Der Grad der Ausrichtung ist über den Überlappungsbereich zwischen zwei Bildern hinweg oft nicht einheitlich. Die Schnittlinie, die die Grenze zwischen den SRs für diese Bilder festlegt, ist in wünschenswerter Weise so positioniert, daß sie entlang eines Ortes bzw. Lokus von Punkten, an denen die Ausrichtung besonders gut ist, durch den Überlappungsbereich verläuft. Dies minimiert eine Fehlausrichtung entlang von Mosaikübergängen, wo sie im endgültigen Mosaik am deutlichsten sichtbar wäre. Um diesen geometrischen Ort von Punkten zu finden, wird an jedem Pixel des Überlappungsbereichs ein Vektor der restlichen Fehlausrichtung abgeschätzt. Dann wird eine Schnittlinie gefunden, die den Bereich der Überlappung so unterteilt, daß die Summe der restlichen Fehlausrichtung entlang dieser Linie minimal ist. Die Voronoi-Tessellierung ist eine Annäherung an dieses Kriterium, wenn die bessere Ausrichtung sich in der Nähe des Zentrums der Bilder befindet, während die Ausrichtung sich zur Peripherie bzw. den Randbereichen der Bilder hin verschlechtert.
Bildverbesserung
Einzelne Bilder können vor dem Verschmelzen weiter verarbeitet werden, um ihren Kontrast oder ihre Schärfe zu verbessern oder um diese Charakteristika so anzupassen, daß sie den korrespondierenden Charakteristika der zu ihnen benachbarten Bilder ähnlich sind. Die Verbesserung basiert auf der Intensität, der Farbe und den Filteroperationen. Die Parameter dieser Operationen können manuell oder automatisch bestimmt werden.
Verschmelzung
In der Praxis kann es unerwünscht sein, Quellbilder zu einem Mosaik zusammenzusetzen, indem man einfach die Pixelwerte ihrer jeweiligen SRs in das Mosaik kopiert. Dies kann zu sichtbaren Übergängen führen. Vielmehr ist es wünschenswert, die aneinander angrenzenden Bildbereiche zu überlagern. Ein besonders effektives Mittel zum Überlagern zerlegt erst die Quellbilder in einen Satz von zwei oder mehr Bandpaßkomponenten räumlicher Frequenzen und verschmilzt dann die Bilder in jedem Band separat über eine Übergangszone hinweg, die proportional zu der mittleren Wellenlänge in diesem Band ist. Eine bekannte Implementierung dieses Verfahrens verwendet die Laplace-Pyramiden-Bildtransformation, um Bilder in ihre Bandpaßkomponenten zu zerlegen.
Für eine Erklärung zur Verwendung von Laplace-Pyramiden bei der Bildverschmelzung siehe Burt I oben. Diese Veröffentlichung zeigt auch, wie eine Laplace-Pyramide aus einem Bild zu konstruieren ist und wie ein Bild aus einer Laplace-Pyramide zu konstruieren ist.
Kurz gesagt werden zwei Laplace-Pyramiden erzeugt, die beide auf einem Bild basieren, dessen Größe die Größe des endgültigen Mosaiks M ist. Eine Pyramide M steht für das endgültige Mosaikbild, M, und die andere Pyramide L steht für das derzeitige Bild. Jedes Quellbild I_k wird zuerst durch T_k in das Bild W_k, das mit dem Mosaik ausgerichtet ist, transformiert (geschert). Das gescherte Bild wird dann durch Auffüllen mit Pixeln eines spezifizierten Wertes oder durch ein allgemeineres Extrapolationsverfahren, wie es unten beschrieben wird, so ausgedehnt, daß es den gesamten Bereich des Mosaiks abdeckt. Die Laplace-Pyramide L wird dann für W_k berechnet. Werte aus der Pyramide L werden auf Basis des Ortes des Segments SR_k, das aus dem W_k stammt, an die entsprechenden Orte in der Pyramide M kopiert. Nachdem dies für jedes Bild durchgeführt wurde, haben alle Elemente in der Pyramide M, die von dem Eingangsbild abgedeckten Bereichen entsprechen, zugewiesene Werte. Das endgültige Mosaik M wird dann aus der Laplace-Pyramide M konstruiert, was ein übergangsloses Mosaik ergibt.
In einer beispielhaften Ausführungsform der vorliegenden Erfindung wird der Verschmelzungsprozeß mit Mehrfachauflösung nicht auf den Quellbildern selbst, sondern auf einer grauskalentransformierten Version des Bildes ausgeführt. Um Bilder, die sich im Hinblick auf ihre Belichtungscharakteristika signifikant unterscheiden, zu verschmelzen, werden die Bilder zunächst durch eine invertierbare komprimierende Skalartransformation, wie z.B. eine arithmetische log-Transformation, pixelweise transformiert. Die Verschmelzung mit Mehrfachauflösung wird auf den skalartransformierten Quellbildern durchgeführt, und dann wird das endgültige Mosaik durch Umkehren der Skalarfunktion für das durch Verschmelzung erhaltene Bild erhalten.
Ein Beispiel dafür, wann dieses Verfahren vorteilhaft sein kann, ist das üblicherweise vorkommende Beispiel der Verschmelzung von Bildern mit unterschiedlicher Verstärkung. Solche Bilder können von einer Videokamera mit automatischer Verstärkungssteuerung oder von einer Fotokamera, die für jedes Bild eine unterschiedliche Verstärkung anwendet, aufgenommen werden. Die Verstärkungstransformation kann durch Multiplizieren der Bildintensitäten angenähert werden. Um eine gleichmäßige Verstärkungstransformation durchzuführen, wird eine bessere Überlagerung erzielt, indem die logarithmische Transformation vor der Verschmelzung auf die Bilder angewandt wird. Die transformierten Bilder werden verschmolzen, und der Exponent (oder Antilog) der überlagerten transformierten Bilder liefert das Endergebnis.
Bei farbigen Bildern kann in Abhängigkeit von den Abbildungsverhältnissen die obige Transformation entweder nur auf die Intensitätskomponente oder auf jede Farbsignalkomponente einzeln angewandt werden.
Bereichsauswahl in Pyramiden
Eine beispielhafte Implementierung des Verschmelzungsprozesses mit Mehrfachauflösung wird in Burt I dargestellt. Diese Implementierung verwendet eine Laplace-Pyramide, um jedes Quellbild in einen regulären Satz von Bandpaßkomponenten zu zerlegen. Wenn zwei Bilder verschmolzen werden, kann eine Gewichtungsfunktion für eines dieser Bilder, z.B. W₁, durch Konstruieren einer Gauß-Pyramide eines Maskenbildes, das innerhalb des Bereichs SR₁ mit 1 und außerhalb dieses Bereichs mit 0 definiert ist, festgelegt werden. Eine solche Gauß-Pyramide liefert eine Gewichtung, die mit jeder entsprechenden Abtastung der Laplace-Pyramide von W₁ multipliziert wird. Diese Gewichtung folgt der Regel der proportionalen Überlagerung. Wenn es nur zwei Quellbilder, W₁ und W₂, gibt und die Bereiche SR₁ und SR₂ komplementäre Teile des Mosaikbereichs darstellen, folgt die Verschmelzung mit Mehrfachauflösung dem folgenden einfachen Verfahren: (1) Errichten von Laplace-Pyramiden für W₁ und W₂. (2) Errichten von Gauß-Pyramiden für Masken, die in den Bereichen SR₁ und SR₂ liegen. (3) Multiplizieren der Laplace- und der Gauß-Komponenten für jede Quelle auf Basis von Abtastung zu Abtastung. (4) Addieren der resultierenden Produktpyramiden. (5) Ausführen der inversen Laplace-Pyramidentransformation, um die gewünschten verschmolzenen Bilder zu gewinnen.
In der Beschreibung dieser Erfindung führen wir zwei Verfeinerungen der durch Burt und Adelson definierten Verfahren ein.
1. Gewichtete Summe mit Normalisierung
Wenn mehr als zwei Bilder verwendet werden und deren entsprechende Segmente SR_k ohne Löcher oder Überlappungen den Bildbereich des Mosaiks exakt abdecken, kann das obige Verfahren auf die Verschmelzung irgendeiner Anzahl von Bildern verallgemeinert werden. Die Gesamtgewichtung, die die Gauß-Pyramiden für die Teilbereiche bereitstellen, addiert sich an jeder Abtastposition genau zu Eins. Wenn die SR_k jedoch den Bildbereich des Mosaiks nicht exakt abdecken, kann sich die Summe der Gewichtungen an jeder Abtastposition zu Eins addieren. In diesem Fall können die Bilder wie in den Schritten 1 bis 4 oben kombiniert werden. Nun werden zwei neue Schritte eingeführt: (4b) Die Gauß-Pyramiden werden auf Basis von Abtastung zu Abtastung summiert und (4c) jeder Wert in der kombinierten Laplace-Pyramide wird durch den entsprechenden Wert in der kombinierten Gauß-Pyramide dividiert. Dies hat den Effekt, daß die Laplace-Werte normalisiert werden. Das endgültige Mosaik wird durch eine inverse Transformation wie in Schritt 5 gewonnen.
2. Vereinfachte Auswahl
Es kann auch ein vereinfachtes Verfahren zum Konstruieren der kombinierten Laplace-Pyramiden verwendet werden, wobei die Gewichtungsfunktionen für die proportionale Überlagerung nur implizit sind. Bei diesem Verfahren werden für jedes Quellbild die Laplace-Pyramiden wie zuvor konstruiert (Schritt 1). Es werden keine Gauß-Pyramiden konstruiert (kein Schritt 2 und kein Schritt 3). Die Laplace-Pyramide für das Mosaik wird dann durch Kopieren aller Abtastungen von allen Ebenen der Laplace-Pyramide für jedes Quellbild W_k, das in den Bereich des korrespondierenden Segments SR_k der Laplace-Pyramide für das Mosaik fällt, konstruiert (Schritt 4). Das Mosaik wird durch die umgekehrte Transformation erhalten, wie zuvor beschrieben (Schritt 5). Dieses vereinfachte Verfahren kann verwendet werden, wenn die Quellbildsegmente SR_k den Mosaikbereich exakt abdecken, so daß keine Normalisierung notwendig ist. Die umgekehrte Laplace-Pyramidentransformation hat den Effekt, daß sie die ausgewählten Bandpaßkomponenten verwischt bzw. unscharf macht, um die proportionale Überlagerung, die von dem Verschmelzungsverfahren mit Mehrfachauflösung verwendet wird, bereitzustellen. Es sei angemerkt, daß die räumliche Position von (i, j) auf Ebene Eins einer Laplace-Pyramide, die mit einem ungerade Breiten erzeugenden Kern (Kernel) erzeugt wird, bei den kartesischen Koordinaten x = i2¹ und y = j2¹ liegt. Wenn diese Koordinaten für eine Abtastung innerhalb der Laplace-Pyramide für das Bild W_k in SR_k fallen, wird dieser Abtastwert in die Laplace-Pyramide für das Mosaik kopiert.
Dieses vereinfachte Verfahren ist in 6 gezeigt. In 6 ist aus Gründen der Klarheit der Darstellung ein eindimensionaler Fall gezeigt; eine Verallgemeinerung zum Fall von zweidimensionalen Bildern ist jedoch direkt möglich. Gegeben seien drei ausgerichtete Bilder W₁, W₂ und W₃; das endgültige Mosaik ist in den Pixeln 0–4 aus dem Bild W₁, in den Pixeln 5–10 aus dem Bild W₂ und in den Pixeln 11–16 aus dem Bild W₃ zu konstruieren.
Die Werte von M₀(x) werden wie folgt zugewiesen: Für die Pixel x = 0 ... 4 werden sie aus derselben Ebene der Laplace-Pyramide, die ebenfalls für x = 0 ... 4 für das Bild W₁ erzeugt wurde, L₀(x), genommen. Für die Pixel x = 5 ... 10 werden sie aus der für das Bild W₂ für x = 5 ... 10 erzeugten Laplace-Pyramide L₀(x) genommen. Für die Pixel x = 11 ... 16 werden sie aus der für das Bild W₃ für x = 11 ... 16 erzeugten Laplace-Pyramide L₀(x) genommen.
Für den Rest der Pyramide werden Werte von M_i(x) aus der entsprechenden i-ten Ebene der Laplace-Pyramide für das Bild genommen, das zu dem Ort 2ⁱx in dem Mosaikbild M beiträgt. Daher werden für M₁(x) Werte für x = 0 ... 2 aus der Laplace-Pyramide für das Bild W₁ genommen, Werte für x = 3 ... 5 werden aus der Laplace-Pyramide für das Bild W₂ genommen, und Werte für x = 6 ... 8 werden aus der Laplace-Pyramide für das Bild W₃ genommen.
In diesem Beispiel wird die Laplace-Pyramide, wie in den meisten praktischen Fällen, nicht konstruiert, bis die obere Ebene nur ein einziges Pixel ist. In solchen Fällen wird die obere Ebene der Pyramide aus derselben Ebene der Gauß-Pyramide des Bildes genommen. G₃ setzt sich daher aus Werten zusammen, die aus der Gauß-Pyramide der entsprechenden Bilder genommen wurden.
Handhabung von Bildgrenzen
Die einzelnen Quellbilder W sind auf demselben Koordinatensystem und demselben Abtastgitter definiert wie das endgültige Mosaik. Sie sind jedoch im allgemeinen kleiner als das Mosaik. Wenn eine Laplace-Pyramide für jedes Bild W_k konstruiert wird, ist es sinnvoll, dieses Bild zumindest implizit zu extrapolieren, um einen ausgedehnten Bildbereich bis zum gesamten Bereich des endgültigen Mosaiks abzudecken. Es ist wünschenswert, daß diese Ausdehnung sicherstellt, daß alle Abtastungen von der Pyramide, die zu dem endgültigen Mosaik beitragen (d.h. diejenigen mit Gewichtungen, die nicht Null sind, Verfahren 1, oder die in den Bereich von SR_k fallen, Verfahren 2), wohldefinierte Werte haben.
Diese Extrapolation kann im Originalbild durchgeführt werden, oder sie kann bei der Konstruktion der Pyramide durchgeführt werden. Wenn sie im Originalbild durchgeführt wird, stellt die Extrapolation in wünschenswerter Weise sicher, daß kein Punkt innerhalb des Segments SR_k innerhalb eines Abstands d von der Grenze des Bildes liegt, wo d = D 2^M ist, wobei M die obere Ebene der Laplace-Pyramide ist, die beim Verschmelzen verwendet wird, und D eine kleine ganze Zahl ist, die mit der Größe des Filterkerns, der bei der Konstruktion von Pyramiden verwendet wird (z.B. ist D = die Hälfte der linearen Filterkerngröße für einen symmetrischen Filter mit einer geraden Anzahl von Abgreifern), in Beziehung steht. Ein einfaches Verfahren der Extrapolation von Bildbereichen besteht darin, die Werte von Kantenpixeln zu replizieren. Ein weiteres Verfahren, das bei der Mosaikkonstruktion verwendet werden kann, besteht darin, korrespondierende Pixel aus anderen Quellbildern zu kopieren. Wenn diese anderen Bilder sich in ihren Belichtungscharakteristika signifikant von W_k unterscheiden, können sie grauskalentransformiert werden, so daß sie ähnliche Charakteristika haben wie W_k. Die Extrapolation kann während der Konstruktion der Pyramide durch solche Verfahren, wie sie in "Moment Images, Polynomial Fit Filters, and The Problem of Surface Interpolation", P.J. Burt, ICPR 1988, S. 300–302 beschrieben sind, durchgeführt werden.
Farbige Bilder
Es gibt verschiedene Ansätze für den Umgang mit farbigen Bildern. Ein farbiges Bild kann als ein dreidimensionales Bild in irgendeinem der akzeptierten Farbstandards (RGB, YUV, Lab usw.) dargestellt werden.
Die Bildausrichtung kann in nur einer Komponente durchgeführt werden (z.B. in der Y-Komponente der Intensität), wobei eine reguläre monochrome Ausrichtungstechnik verwendet werden kann. Alternativ kann die Ausrichtung Fehlerfunktionen, die mehr als eine Komponente betreffen, minimieren.
Die Verschmelzung von Bildern kann für eine einzelne Komponente, wie beispielsweise für die Y-Komponente der Intensität, durchgeführt werden, während die beiden anderen Signalkomponenten direkt von den verschmolzenen Bildern genommen werden. Alternativ kann die Verschmelzung von Bildern für jede Komponente separat durchgeführt werden (z.B. die R-, G- und B-Komponenten oder die L-, a- und b-Komponenten), wobei jede Komponente wie ein monochromes Bild behandelt wird.
Für ein monochromes Mosaik verursacht das Verwischen bzw. Unscharfmachen der Übergänge zwischen den Bildern durch Splining, daß menschliche Betrachter nicht in der Lage sind, zu erkennen, daß es aus Teilbildern zusammengesetzt ist. Selbst ein rudimentärer Helligkeitsausgleich ist oft nicht erforderlich, wenn Splining durchgeführt wurde. Die Fusion von Teilbildern tritt auf, weil das menschliche Sehvermögen, obwohl es für Luminanzunterschiede bei hohen räumlichen Frequenzen (z.B. an Übergängen) recht empfindlich ist, bei niedrigen räumlichen Frequenzen (z.B. auf Teilbildern) weniger empfindlich ist. Andererseits werden Chrominanzunterschiede bei niedrigen räumlichen Frequenzen effektiver wahrgenommen. Selbst wenn der Übergang zwischen zwei Teilbildern in einem Mosaik verwischt ist, ist daher dennoch ein Farbungleichgewicht zwischen den Bildern zu erkennen, wenn man nicht Sorgfalt walten läßt und alle Teilbilder, nachdem sie ausgerichtet wurden und ehe sie miteinander gesplint werden, im Hinblick auf die Farbe korrigiert.
Hier wird ein Verfahren dargestellt, um auf Basis von Vergleichen zwischen den Farben in den Überlappungsbereichen zwischen den Bildern eine Farbkorrektur zwischen Teilbildern in einem Mosaik zu erzielen. Für zwei sich überlappende Bilder besteht das Verfahren darin, eine Anpassung der kleinsten Quadrate für den Überlappungsbereich der Bilder durchzuführen, um die affine Farbraumtransformation (unter den R-, G-, B-Signalkomponenten), die das zweite Bild am nächsten zum ersten bringt, zu ermitteln. Die resultierende affine Transformation wird dann auf das gesamte zweite Bild angewandt. Das Ausweiten der objektiven Funktion auf mehr als zwei einander überlappende Bilder erfolgt einfach durch Durchführen der affinen Transformation auf alle Bilder bis auf eines (wobei diese Transformationen im Hinblick auf das nicht-transformierte oder das Referenzbild stattfinden), und anschließendes Addieren der quadrierten RGB-Farbunterschiede für alle Pixel in allen Überlappungsbereichen.
Die Physik der Bilderzeugung liefert eine große Motivation für die affine Farbkorrektur. Unter recht allgemeinen und natürlichen Umständen kompensiert eine affine Transformation im Farbraum (a) Farbraumunterschiede zwischen zwei Bildern aufgrund verschiedener Erfassungssysteme, (b) Unterschiede im Beleuchtungsspektrum aufgrund verschiedener Erfassungszeiten und (c) Trübung und andere transluzente Medien in einem Bild, die in dem anderen nicht erscheinen. Dies wird in einem Dokument von M.H. Brill, veröffentlicht in MIT RLE Progress Reports Nr. 122 (1980) 214–221, beschrieben.
Die Implementierung des Algorithmus in diesem Kontext wird unten ausgeführt:

1. Anwenden des obigen Bildausrichtungsalgorithmus nur auf die Luminanzbilder, Identifizieren und Indexieren der Überlappungsbereiche und Anwenden der von den Luminanzbildern abgeleiteten Transformation auf alle drei Farbsignalkomponenten.
2. Identifizieren eines Referenzbildes G1 und Durchführen einer gleichzeitigen Anpassung der kleinsten Quadrate über alle Überlappungsbereiche hinweg, um die besten affinen Farbraumtransformationen zwischen jedem Nicht-Referenzbild Gk und dem Referenzbild zu ermitteln bzw. zu bestimmen. Die objektive Funktion ist die Summe über alle Pixel x in allen Überlappungsbereichen (z.B. für die Teilbilder i und k) von (A_kG_k(x) + b_k – A_iG_i(x) – b_i)², wobei G_k(x) der Spaltenvektor von (R, G, B) am Pixelort x in Bild k ist und G_i(x) der Spaltenvektor von (R, G, B) am Pixelort x in Bild i ist. A_k und A_i sind 3 × 3-Matrizen, und b_i und b_k sind Vektoren der Spalte 3. Für das Referenzbild 1 ist A_i = 1 und b_i = 0. Das Lösen der affinen Parameter, die die Matrizen A und die Vektoren b beinhalten, bringt das gleichzeitige Lösen von 12 N – 12 linearen Gleichungen mit derselben Anzahl von Unbekanten mit sich, wobei N die Anzahl an Teilbildern in dem Mosaik ist.
3. Ausführen von getrenntem Bildsplining an R-, G- und B-Farbsignalkomponenten unter Verwendung des obigen Algorithmus.
4. Sicherstellen, daß das Mosaik innerhalb eines realisierbaren Bereichs von digitalen Werten liegt. Dies erfolgt durch Addieren einer Konstante zu jeder Signalkomponente (z.B. R, G und B) in dem Bild, wobei diese Konstante so ausgewählt wird, daß alle negativen Pixelwerte entfernt werden. Dann wird jede Komponente durch eine Konstante skaliert, die ausreichend ist, um den maximalen Wert auf dem Bild auf den maximal erhältlichen digitalen Wert abzusenken.

Wenn die Bilder im Hinblick auf die Größe der dargestellten Objekte nicht perfekt ausgerichtet sind, können örtliche Pixelmittelungen die einzelnen Pixelwerte in der objektiven Funktion von Schritt 2 oben ersetzen.
Wenn die Ausrichtung auf Pixelebene schlecht ist, jedoch noch Bildüberlappungsbereiche identifiziert werden können, kann Schritt 2 so modifiziert werden, daß die affinen Transformationen optimiert werden, um mit den Farbsignalen und den Korrelationsmatrizen zwischen den Komponenten in den entsprechenden Überlappungsbereichen übereinzustimmen. Die Eigenschaft der quadratischen Transformation von Korrelationsmatrizen für die Farberkennung wird in einem Dokument von G. Healey und D. Slater, veröffentlicht in J. Opt. Soc. Am. A, 11 (1994), 3003–3010, beschrieben. Die neue objektive Funktion ist die Summe aller Überlappungsbereiche (z.B. zwischen den Teilbildern i und k) einer gewichteten Summe von (A_kC_kA_k ^T – A_iC_iA_i ^T)² und (A_km_k + b_k – A_im_i – b_i)². Anmerkung: Um A_k vollständig zu spezifizieren, ist es wünschenswert, einen analogen Ausdruck hinzuzufügen, der dritte Momente vergleicht, die als drittrangige Tensoren transformieren. Hier sind m_k und C_k der Mittelwert von drei Signalvektoren und der 3 × 3-Korrelationsmatrix zwischen den Signalen für Pixel in dem Überlappungsbereich der Bilder i und k, und m_i und C_i sind ähnlich definiert (noch immer innerhalb der Überlappung von i, k). Das resultierende Problem der kleinsten Quadrate führt zu einem nichtlinearen Satz von Gleichungen in den affinen Parametern. Wenn die zur Lösung dieser Gleichungen erforderlichen Berechnungen zu umfangreich sind, besteht eine Ausweichlösung darin, die vollständige 3 × 3-Matrix in der affinen Transformation durch eine diagonale Matrix zu ersetzen. In diesem Fall werden die Gleichungen der kleinsten Quadrate in den Quadraten der Matrixelemente linear und lassen sich leicht lösen. In dem speziellen Fall zweier einander überlappender Bilder wird jede Farbkomponente des Bildes G2 zu einem Bild G2' korrigiert, welches einen Mittelwert und eine Varianz hat, die mit dem Mittelwert und der Varianz des Bildes G1 durch die Transformation übereinstimmen. G2'= a G2 + b
Hier sind

a: = sigma1/sigma2
b: = Mittelwert1 – (sigma1/sigma2)Mittelwert2,

Mittelwert1 und sigma1 sind die mittlere und die Standardabweichung der Pixelwerte in der betreffenden Farbsignalkomponente für das Bild G1 (das Referenzbild), und Mittelwert2 und sigma2 sind für das Bild G2 (das Kontrollbild) ähnlich definiert. Bei jeder Anwendung sollte bestimmt werden, ob dieser Schritt eine ausreichende Farbkorrektur erzieit, ehe die ausgefeilteren Farbanpassungen ausprobiert werden.
Die Basis für dieses alternative Verfahren zur Handhabung von farbigen Bildern ist die Verwendung von überlappenden Bildbreichen, um eine affine Farbkorrektur bei den Teilbildern in einem Mosaik zu bewirken. Obwohl die affine Farbkorrektur bei der Farbwiedergabe und der industriellen Bildverarbeitung (Machine Vision) einige Zeit diskutiert wurde, war sie nicht besonders erfolgreich, da die Entdeckung der korrekten affinen Transformation typischerweise entweder sehr restriktive spektrale Annahmen oder die Definition von Referenzfarben korrekt segmentierter Bereiche in dem Bild erforderte. Durch das Vorliegen einer Überlappung zwischen dem Kontrollbild und dem Referenzbild werden diese Probleme umgangen, und so wird eine direkte Berechnung der affinen Korrektur ermöglicht. Der Ansatz kann transitiv auf alle anderen Bilder ausgeweitet werden, die durch eine Reihe von Bildüberlappungen mit dem Referenzbild verbunden sind.
Interaktive Betrachtung der Ausrichtung
Nach der Ausrichtung werden die Bilder (optional) dem Benutzer präsentiert. Die Präsentation des Mosaiks findet in ähnlicher Weise statt wie die Präsentation in 3B, wo alle Bilder in das gemeinsame Koordinatensystem transformiert werden. Die Betrachtung erfolgt so, daß die Position jedes Bildes innerhalb des Mosaiks sowie auch des Originalbildes dargestellt wird. Eine solche mögliche Interaktion besteht darin, den Cursor oder eine andere Zeigevorrichtung über das Mosaik zu bewegen. Das Videoeinzelbild, das zu dem Bereich in dem Mosaik, in dem sich der Cursor befindet, beiträgt, ist in einem Teil des Bildschirms gezeigt, während der beitragende Bereich sowie die Bild grenze auf dem Mosaik gezeigt werden. Diese Interaktion erlaubt es dem Benutzer, die Qualität der Bilder und deren Ausrichtung zu untersuchen. Der Benutzer kann beispielsweise Einzelbilder von schlechter Qualität (z.B. mit Rauschen durch Unschärfe) löschen, während sichergestellt wird, daß alle Bilder in dem Mosaik durch mindestens ein Eingangsbild abgedeckt werden.
Einer der Effekte der obigen Interaktion besteht darin, dem Benutzer eine neue Möglichkeit zu geben, sich das Video anzusehen. Durch Steuern der Richtung und der Geschwindigkeit, mit der die Zeigevorrichtung sich über das Mosaik bewegt, kann der Benutzer nun die Anzeige des Videos steuern. Insbesondere kann der Benutzer die Vorlauf-/Rücklauf-Videoanzeige sowie die Geschwindigkeit steuern.
Eine zusätzliche Benutzerinteraktion kann wünschenswert sein, um eine schlechte Ausrichtung zu korrigieren. Die automatische Ausrichtung kann beispielsweise fehlschlagen, wenn die Bildüberlappung gering ist, wenn Bilder übermäßiges Rauschen aufweisen oder wenn die Bilder nur wenige Unterscheidungsmerkmale besitzen. In solchen Fällen kann der Benutzer die Bilder manuell ausrichten, indem er beispielsweise Einzelbilder mit einer Maus zieht oder indem er gemeinsame Merkmale, die in fehlausgerichteten Bildern auftreten, anklickt. Das System kann aus dieser Manipulation die Transformation der Einzelbildausrichtung berechnen. Solche Transformationen können als anfängliche Abschätzung für die weitere automatische Ausrichtung dienen, die nun aufgrund einer verbesserten anfänglichen Abschätzung bessere Ergebnisse liefert.
Steuerung der Vorrichtung auf Basis von Video-Bewegungsanalyse
Das übliche Verfahren zum Aktivieren einer Datenverarbeitungsvorrichtung oder eines Computerprogramms besteht im Drücken des "Ein"-Knopfes oder dessen Äquivalent, gefolgt vom Drükken des "Aus"-Knopfes oder dessen Äquivalent. In einigen Fällen wird jedoch der Betrieb einer Vorrichtung durch die Information, die sie verarbeitet, gesteuert. Ein Beispiel sind die "stimmaktivierten" Anrufbeantworter, die die Aufzeichnung eingehender Nachrichten stoppen, wenn auf der Telefonleitung keine Stimmensignale erfaßt werden.
Die vorliegende Erfindung beinhaltet die Verwendung eines Moduls für die Videobewegungsanalyse, um Vorrichtungen und Computerprogramme zu steuern, deren Betrieb nur relevant ist, wenn sich die Kamera bewegt oder wenn ein sich bewegendes Objekt im Sichtfeld erscheint. Die Videobewegungsanalyse, wie sie beispielsweise in dem Buch Digital Video Processing von M. Tekalp beschrieben ist, ist gut bekannt. Die Bewegung der Kamera oder des abgebildeten Objekts wird analysiert, und bestimmte Bewegungsmuster werden als Anweisungen von der Vorrichtung an das Computerprogramm interpretiert.
Eine beispielhafte Anwendung für die Bewegungssteuerung besteht in der Erzeugung von Panoramabildern aus zweiten Einzelbildern eines Videosignals oder aus einer Bildsequenz (Video-Brush). Die Steuerung dieser Vorrichtung kann wie folgt ablaufen: Die Mosaikbildung aus Bildern findet nur zwischen zwei Zeiträumen statt, in denen die Kamera stationär bzw. ortsfest ist. In diesem Beispiel wartet der Prozeß, nachdem die Mosaikbildung aus Bildern aktiviert wurde, bis die Kamera stationär ist (die Bewegung von Einzelbild zu Einzelbild geringer ist als ein gegebener Grenzwert), er startet die Mosaikbildung, wenn die Kamerabewegung einen bestimmten Grenzwert überschreitet, und er stoppt die Mosaikbildung, wenn die Kamera wieder stationär ist. Zusätzlich zur Kamerabewegung, die den Beginn und das Ende des Mosaikbildungsprozesses steuert, kann die Richtung der Kamerabewegung verwendet werden, um die internen Einzelheiten des Mosaikbildungsprozesses selbst zu steuern.
Beispielhafte Ausführungsform
Eine beispielhafte Ausführungsform der Erfindung wird unter Bezug auf die 7 bis 15 beschrieben. Diese beispielhafte Ausführungsform ist ein System für die Echtzeitaufnahme eines digitalen Bildstroms 714 mit hoher Auflösung unter Verwendung einer tragbaren digitalen Bildquelle niedriger Auflösung (wie einer Videokamera 710 und einem Digitalisierer 712 oder einer digitalen Videokamera) und von Software, die auf einem unmodifizierten Personal-Computer (nicht gezeigt) läuft. Dieser Prozeß erfolgt durch Kombinieren eines überaus effizienten "Front-End"-Bildausrichtungsprozesses 716, der Bilder unter Bildung eines anfänglichen Mosaikbildes 718 so schnell verarbeitet, wie sie empfangen werden, und eines überaus akkuraten "Back-End"-Bildausrichtungsprozesses 720 und eines Verschmelzungsprozesses 722, die ein übergangsloses Mosaikbild 724 liefern.
Damit das Gesamtsystem seine Funktionen ausführen kann, ist der Front-End- bzw. Vorausrichtungsprozeß in wünschenswerter Weise in der Lage, während des Bildaufnahmevorgangs eine kontinuierliche Bildausrichtung von Einzelbild zu Einzelbild auszuführen. Das Endergebnis dieses Prozesses besteht darin, daß die Datenstruktur 718 des anfänglichen Mosaiks aus einer Liste von einander überlappenden Quellbild-Einzelbildern besteht, wobei jedes Quellbild assoziierte Bewegungsparameter besitzt, die das Einzelbild anderen dazu benachbarten Einzelbildern in der Sequenz zuordnen. Wenn irgendeiner aus diesem Satz von Bewegungsparametern fehlt oder inkorrekt ist, kann es schwierig sein, das Mosaik zusammenzusetzen, weil das Verhältnis eines Teils der Bildsequenz zum Rest der Bildsequenz womöglich nicht festgelegt ist. Um eine zuverlässige Funktion des Systems bereitzustellen, arbeitet der Vorausrichtungsprozeß 716 somit in wünschenswerter Weise 1) in Echtzeit und gibt 2) mit großer Wahrscheinlichkeit ein korrektes Ausrichtungsergebnis für alle Einzelbilder wieder.
Das Ziel des beispielhaften Vorausrichtungsprozesses 716 besteht darin, eine minimale Ausrichtungskette (MAC) zu erzeugen, die das anfängliche Mosaik festlegt, indem der ganze Eingangsbildstrom zugeordnet wird. Diese MAC besteht aus einer Sequenz von Eingangsbildern zusammen mit Ausrichtungsparametern, die nacheinander jedes Bild nur mit dem vorherigen Bild in der Kette ausrichten. Sie ist minimal in der Hinsicht, daß sie so wenige der Eingangsbilder enthält, wie es möglich ist, damit der Ausrichtungsprozeß noch abläuft. Diese Eigenschaft der Minimalität ist wünschenswert, weil sie das Ausmaß an Verarbeitung und Speicherraum reduziert, die für den Back-End- bzw. Nachausrichtungsprozeß 720 und den Überlagerungsprozeß 722 erforderlich sind.
Eine beispielhafte Ausführungsform dieses Vorausrichtungsprozesses ist in 8 gezeigt. Er beinhaltet zwei Betriebsprinzipien: adaptive Bildabtastung und adaptive Filterauswahl. Andere Ausführungsformen können auf diesen oder auf ähnlichen Prinzipien basieren.
Da die MAC logischerweise das erste und das letzte Bild des Eingangsbildstroms beinhaltet, beginnt der Prozeß damit, das erste aufgenommene Bild als die erste Komponente der MAC und das anfängliche Referenzbild (RI) zu bestimmen. Das RI wird verwendet, um jedes der eingehenden Bilder sukzessive auszurichten, bis entweder 1) die geschätzte Überlappung zwischen dem eingehenden Bild und dem RI kleiner ist als ein bestimmter Grenzwert (z.B. 50% der Bilddimensionen) oder bis 2) ein Ausrichtungsfehler erfaßt wird. Der ausgewählte Betrag der Bildüberlappung gleicht den Wunsch nach Minimierung der Anzahl von Bildern in der MAC sowie den Wunsch nach Bereitstellung einer ausreichenden Überlappung für den Nachausrichtungsprozeß, um die Ausrichtung zu verfeinern, aus. Die Ausrichtung kann unter Verwendung irgendeiner effizienten bildbasierten Ausrichtungstechnik durchgeführt werden, wie beispielsweise denjenigen, die oben unter Bezug auf die 1 bis 3 beschrieben wurden. Für Effizienz und Stabilität bzw. Robustheit kann eine Bildkorrelationstechnik mit Mehrfachauflösung verwendet werden.
In 8 wird in Schritt 810 ein Bild von dem digitalisierten Bildstrom 714 empfangen. Der Prozeß erzeugt in Schritt 812 eine Pyramidendarstellung des Bildes und bestimmt in Schritt 814 diese Pyramide als Referenzpyramide. Als nächstes ruft der Prozeß in Schritt 816 das nächste Einzelbild aus dem Strom 714 ab. In Schritt 818 erzeugt der Prozeß eine Pyramidendarstellung für dieses Bild. In Schritt 820 korreliert der Prozeß die neu erzeugte Pyramidendarstellung des gegenwärtigen Bildes mit der Pyramidendarstellung des Referenzbildes. In Schritt 822 fährt die Steuerung, wenn die erfaßte Korrelation zwischen den Bildern gut ist, mit Schritt 824 fort, in dem bestimmt wird, ob die Verschiebung (Δx) zwischen den beiden Bildern kleiner ist als ein Grenzwert. Wenn dies zutrifft, ist die Überlappung zwischen dem gegenwärtigen Bild und dem Referenzbild größer als gewünscht, so daß das Einzelbild in Schritt 826 in einem Puffer abgelegt wird und die Steuerung zu Schritt 816 zurückkehrt, um ein neues Bild aus dem Strom 714 zu testen. Wenn in Schritt 824 die Verschiebung größer als der Grenzwert ist, wird Schritt 828 ausgeführt, der das Einzelbild der MAC hinzufügt und die Pyramide für das neu hinzugefügte Einzelbild als die Referenzpyramide bezeichnet.
Wenn jedoch in Schritt 822 keine gute Korrelation zwischen dem gegenwärtigen Bild und dem Referenzbild vorlag, wird Schritt 830 ausgeführt, der das als letztes im Puffer abgelegte Bild als das Referenzbild bezeichnet. Weil dieses Bild zwischengespeichert bzw. im Puffer abgelegt wurde, ist sichergestellt, daß es eine ausreichende Überlappung hat (eine Verschiebung, die kleiner ist als der Grenzwert). In Schritt 832 wird das gegenwärtige Bild mit dem neuen Referenzbild korreliert. Wenn in Schritt 834 eine gute Korrelation erfaßt wird, setzt der Prozeß die Steuerung mit Schritt 824, wie oben beschrieben, fort. Ansonsten wird Schritt 836 ausgeführt, der einen neuen räumlichen Filter für die Verarbeitung des Eingangsbildes festlegt. In Schritt 838 wird eine Pyramidendarstellung des neu verarbeiteten Bildes aufgebaut. In Schritt 840 wird diese Pyramidendarstellung mit der Referenzpyramide korreliert. Wenn in Schritt 842 eine gute Korrelation erfaßt wird, fährt die Steuerung mit Schritt 824 fort. Ansonsten ist ein Bildausrichtungsfehler aufgetreten und der Prozeß endet bei Schritt 844.
Wie es in 8 gezeigt ist, werden erfolgreich ausgerichtete Bilder einfach zwischengespeichert, bis die Verschiebung zwischen dem gegenwärtigen Bild und dem Referenzbild überschritten wurde, was anzeigt, daß die Überlappung zwischen den Bildern geringer ist als ein Maximalwert. Wenn dies auftritt, wird das gegenwärtige Bild der MAC-Datenstruktur hinzugefügt und als das neue RI bezeichnet. Wenn keine Ausrichtungsfehler erfaßt werden, fährt dieser Prozeß einfach fort, bis alle Bilder ausgerichtet sind und die vollständige MAC konstruiert wurde. An diesem Punkt besteht die MAC aus einer Sequenz von Eingangsbildern, einschließlich des ersten und des letzten Bildes der ursprünglichen Eingangssequenz, und einer Sequenz von Ausrichtungsparametern, die jedes Bild in der MAC mit dem vorherigen Bild ausrichten. Weiterhin besitzen die Bilder der MAC die Eigenschaft, daß jedes von ihnen das vorherige Bild in etwa um den Betrag überlappt, der durch den Überlappungsgrenzwert bestimmt wird. 9 zeigt ein mögliches Verhältnis zwischen dem Eingangsbildstrom 714 und der MAC 718.
An einem bestimmten Punkt während der Konstruktion der MAC kann es vorkommen, daß der Ausrichtungsprozeß keinen akzeptablen Satz von Ausrichtungsparametern zurückgibt. Dies kann aus einer Reihe von Gründen auftreten, die sich von dem Bildaufnahmeprozeß (Bildrauschen, Ausfälle, grelles Licht, schnelle oder unregelmäßige Kamerabewegungen), dem Bildinhalt (ein sich bewegendes Objekt oder verdeckte Objekte), der Bildverarbeitung (ungeeignete Bildfilterung) oder anderen unkontrollierbaren Umgebungsfaktoren ableiten lassen. Ein Ausrichtungsfehler kann anhand einer Reihe von Kriterien erfaßt werden, von denen einige für den bestimmten ausgewählten Ausrichtungsprozeß spezifisch sind. In der beispielhaften Ausführungsform der Erfindung wird in Schritt 822 ein Ausrichtungsfehler auf Basis eines großen Restfehlers nach der Ausrichtung, uneinheitlicher Abschätzungen aus verschiedenen Teilbereichen des Bildes oder abgeschätzter Ausrichtungsparameter, die außerhalb des erwarteten Bereichs liegen, erfaßt. Wenn eine dieser Bedingungen zutrifft, ist es notwendig, entweder den Ausrichtungsprozeß selbst zu modifizieren oder das Bild, mit dem eine Ausrichtung versucht wird (RI), zu ändern, um ein Abbrechen der Ausrichtungskette zu verhindern.
In der beispielhaften Ausführungsform findet diese Anpassung in zwei Schritten statt. Zuerst wird, wie es in Schritt 830 von 8 gezeigt ist, das als letztes erfolgreich ausgerichtete Bild als das RI bezeichnet und der MAC hinzugefügt. Dann wird eine Korrelation zwischen dem gegenwärtigen Bild und diesem neuen Referenzbild versucht. Wenn diese Korrelation erfolgreich ist, schreitet der Prozeß wie oben beschrieben fort. Es ist sichergestellt, daß die so erzeugte Struktur die Anforderungen an eine MAC erfüllt, da das neu bestimmte RI gut mit dem vorherigen RI ausgerichtet ist und eine Überlappung aufweist, die eine gute Korrelation erzeugt, jedoch geringer ist als ein spezifizierter maximaler Überlappungsgrenzwert. Wenn die Ausrichtung mit dem neuen RI fehlschlägt (bei Schritt 834), versucht der Prozeß, die Filter, die verwendet werden, um die bei dem Ausrichtungsprozeß verwendete Bildpyramide zu erzeugen, auszutauschen. Diese neuen Bildpyramiden (eine für das RI und eine für das gegenwärtige Bild) werden verwendet, um die Bildausrichtung zu berech nen. Wenn diese Ausrichtung erfolgreich ist, fährt der Prozeß wie oben beschrieben fort. Wenn die Ausrichtung mit den modifizierten Filtern fehlschlägt, endet der Front-End-Prozeß und gibt einen Fehlerzustand zurück.
Die durch den beispielhaften Prozeß vorgenommene Filterauswahl ist auf eine Annahme bezüglich des Bildinhalts bezogen. Filter, die geeignet sind, um Linien auf einer Weißwandtafel darzustellen, können ungeeignet sein, um gemusterte Tapeten oder die Möbel in einem Raum darzustellen. Wenn ein Ausrichtungsfehler erfaßt wird, wird daher die Annahme getroffen, daß dieser auf eine Veränderung der Beschaffenheit bzw. der Art des Bildinhalts zurückzuführen ist. Filter, die für eine andere Art von Bildinhalt geeignet sind, werden daher in der Bemühung, eine effektivere Bildwiedergabe und daher eine akkuratere Bildausrichtung zu erzielen, ersetzt. Obwohl der beispielhafte Prozeß nur einen Filterauswahlschritt zeigt, wird in Betracht gezogen, daß durch eine Rückverzweigung (nicht gezeigt) von der Nein-Ausgabe des Entscheidungsschritts 842 zu Schritt 834 eine Mehrzahl von Filterauswahlschritten vorgesehen werden kann.
Der in der beispielhaften Ausführungsform verwendete Ausrichtungsprozeß von Einzelbild zu Einzelbild berechnet die Bildverschiebung, was den minimalen absoluten Unterschied (MAD) zwischen dem gegenwärtigen Bild und dem Referenzbild ergibt. Dies beinhaltet das Addieren des Unterschieds zwischen dem verschobenen gegenwärtigen Einzelbild und dem Referenzbild an jedem Pixel und das Auffinden der Verschiebung, die diesen Unterschied minimiert. Dies ist ein Standardverfahren, welches das Verhalten der Verfahren zur Minimierung der Summe des quadrierten Unterschieds (SSD) annähert. Wie es in den 10A und 10B gezeigt ist, berechnet jedoch das beispielhafte Verfahren, um 1) die globale Bildausrichtung in Gegenwart lokaler Fehlausrichtungen stabil zu berechnen und 2) Ausrichtungsfehler besser zu erfassen, den MAD für jeden aus einem Satz von Bild-Teilbereichen (10A) sowie für das Bild als Ganzes (10B) separat. Dieser Prozeß erlaubt eine Ableitung von Informationen über den Status des Ausrichtungsprozesses aus Vergleichen dieser verschiedenen Schätzungen. Er erlaubt auch ein Aussortieren von falschen lokalen Schätzungen, wenn diese nicht mit den anderen übereinstimmen.
Die beispielhafte Ausführungsform des Front-End-Korrelationsprozesses ist in 11A gezeigt. Der beispielhafte Prozeß verwendet eine Grob-Fein-Verfeinerung auf Pyramidenbasis, um akkurate Ausrichtungsschätzungen effizient zu berechnen. Dieser Prozeß verwendet zuerst eine Analyse der Übereinstimmung zwischen den einzelnen Teilbereichsabschätzungen, um zu entscheiden, ob eine annehmbare erste bzw. anfängliche Abschätzung der Ausrichtungsparameter erzielt wurde. Das Kriterium, das verwendet wird, um zu bestimmen, ob die anfängliche Abschätzung annehmbar ist, kombiniert ein Maß der Übereinstimmung zwischen den Abschätzungen mit einem Maß der Gesamtmenge an restlichen Bildunterschieden bzw. -abweichungen, wie sie durch den globalen minimalen absoluten Unterschied dargestellt wird.
In 11A werden in Schritt 1110 die Pyramidendarstellungen des gegenwärtigen Bildes und des Referenzbildes erhalten. In Schritt 1112 wird die Variable Pyr Level auf Max Level eingestellt, was die höchste Ebene der Pyramiden ist. Die globalen und regionalen MADs für das Referenzbild und das gegenwärtige Bild werden in Schritt 1114 berechnet. In Schritt 1116 werden der globale MAD und die Anzahl an Übereinstimmungen zwischen den regionalen MADs und dem globalen MAD berechnet. In Schritt 1118 werden der globale MAD und die Anzahl an Übereinstimmungen (#A) mit einem Akzeptanzbereich R verglichen, um zu bestimmen, ob die Abschätzung akzeptabel bzw. annehmbar ist. Der Akzeptanzbereich ist in 11B gezeigt.
Wenn der globale MAD sehr gering ist (kleiner als ein Grenzwert T_low), ist eine Mindestanzahl an Übereinstimmungen zwischen den Ausrichtungsabschätzungen der Teilbereiche und der Abschätzung der globalen Ausrichtung erforderlich, damit die Ausrichtung als akzeptabel beurteilt werden kann. Wenn der globale MAD in einem Zwischenbereich liegt (zwischen T_low und einem zweiten Grenzwert T_high), ist eine größere Anzahl an Übereinstimmungen erforderlich. Wenn der globale MAD sehr groß ist (größer als T_high), ist eine noch größere Anzahl an Übereinstimmungen erforderlich. Die Übereinstimmung zwischen den Abschätzungen der globalen Ausrichtung und der Ausrichtung von Teilbereichen wird durch Vergleichen des Unterschieds zwischen den Abschätzungen mit einem dritten Grenzwert ermittelt. Dieser Grenzwert ist mit der Gesamtgröße der Verschiebung skaliert, so daß die Toleranz in Bezug auf die Größe ungefähr konstant ist.
Wenn die anfängliche Abschätzung akzeptiert wird, d.h. wenn die Anzahl an Übereinstimmungen und der globale MAD dazu führen, daß das Kriterium erfüllt wird, kann diese anfängliche Abschätzung durch einen Grob-Fein-Prozeß verfeinert werden. In der beispielhaften Ausführungsform beinhaltet dieser Prozeß das Suchen auf allen Pyramidenebenen mit hoher Auflösung nach einer akkurateren Abschätzung der Ausrichtung. Der erste Schritt bei dieser Suche, Schritt 1120, stellt die Variable Pyr Level auf die nächsthöhere Ebene ein. Im nächsten Schritt, Schritt 1122, werden die globalen MAD Werte und die MAD-Werte der Teilbereiche innerhalb eines Bereichs um jeden der Werte (global und für die Teilbereiche) herum berechnet, die auf der vorherigen Ebene berechnet wurden. Für jeden Teilbereich und für das Bild als Ganzes wird in Schritt 1124 die Ausrichtungsabschätzung ausgewählt, die den besten absoluten Unterschied (d.h. den mit dem kleinsten Wert) liefert. Wenn in Schritt 1126 mehr Ebenen in der Pyramide vorhanden sind, fährt die Steuerung mit Schritt 1120 fort, und der auf diese Weise berechnete Satz von Verschiebungswerten wird dann verwendet, um die Korrelation auf der nächsten Ebene zu verfeinern. Wenn die letzte Pyramidenebene erreicht wurde, wird die beste globale Abschätzung ausgewählt und in Schritt 1128 zurückgegeben.
Bezüglich der Filter, die verwendet werden, um die Pyramidendarstellungen für die Grob-Fein-Ausrichtung zu erzeugen, können verschiedene Auswahlen getroffen werden. Diese Auswahlen basieren in erster Linie auf der Art des Inhalts, der in der Eingangsbildsequenz erwartet wird. Das Ziel der Auswahl besteht darin, eine Pyramidenstruktur zu erzeugen, bei der die Ebenen der Pyramide mit niedriger Auflösung eine ausreichende Bildstruktur behalten, um eine akkurate Ausrichtung zu gestatten. Wenn beispielsweise eine Pyramide (entweder eine Gauß- oder eine Laplace-Pyramide) in üblicher Weise mit Eingangsbildern, die aus relativ dünnen Linien auf einem weißen Hintergrund bestehen (wie es der Fall ist, wenn ein Bild aus Schrift auf einer Weißwandtafel besteht), erzeugt wird, zeigen die Pyramidenebenen mit niedriger Auflösung sehr wenig Struktur, da die Linien nach der Tiefpaßfilterung sehr wenig Kontrast aufweisen.
Eine Lösung für dieses Problem besteht darin, einen nicht-linearen Vorfilter auf diese Eingangsbilder anzuwenden. Wenn beispielsweise das Eingangsbild gefiltert werden kann, um Kantenstrukturen zu extrahieren, es anschließend pixelweise mit einem Grenzwert verglichen und danach einer Entfernungstransformation unterworfen wird, um vor der Pyramidenerzeugung die Bildstruktur auszudehnen, enthält die resultierende Pyramide viel mehr brauchbare Inhalte auf Ebenen mit niedriger Auflösung. Andererseits ist dieser Vorverarbeitungsschritt für Szenenstrukturen im Freien, die typischerweise keine starken Kanten aufweisen, möglicherweise nicht effektiv. Um in variierenden Umgebungen (oder wenn die Bildsequenz sich von einer Art einer Szenestruktur zu einer anderen bewegt) stabil zu funktionieren, wird eine adaptive Auswahl der Art des Vorfilters getroffen. In der beispielhaften Ausführungsform (wie sie in 8 gezeigt ist) wird eine Veränderung des Vorfilters vorgenommen, wenn die Ausrichtung sogar nach Auswahl eines neuen Referenzbildes fehlschlägt. Dann wird unter Verwendung dieser neuen Pyramide eine Ausrichtung versucht. Wenn auch diese fehlschlägt, gibt der Prozeß einen Fehlerzustand aus und endet.
Sobald der Front-End-Prozeß erfolgreich eine MAC berechnet hat, wird diese Datenstruktur (die zugehörigen Bilder und die verbindenden Ausrichtungsparameter) für die endgültige Ausrichtung an den Back-End- bzw. Nachausrichtungsprozeß weitergegeben. Das Ziel des Nachausrichtungsprozesses ist es, einen Satz von Ausrichtungsparametern zu erzeugen, die jedes der in der MAC enthaltenen Bilder akkurat an einem einzigen Mosaikkoordinatensystem ausrichtet. Im allgemeinen unterscheiden sich die Koordinatentransformationen, die dem Nachausrichtungsprozeß zugrundeliegen, von denjenigen, die bei der Vorausrichtung verwendet werden. Dieser Unterschied wird durch drei Unterschiede gesteuert: 1) die Beschränkungen der Echtzeit-Verarbeitung, die beim Front-End-Prozeß vorhanden sind, werden gelockert, was im allgemeinen eine komplexere Berechnung erlaubt, 2) anfängliche Abschätzungen von Bild-Bild-Ausrichtungen werden als Teil der MAC bereitgestellt, was eine im allgemeinen stabile Berechnung komplexerer Modelle erlaubt, und 3) die Koordinatentransformationen sollten alle Bilder präzise auf ein einziges Koordinatensystem abbilden, was im allgemeinen komplexere Transformationsmodelle erfordert als sie für die Ausrichtung von Einzelbild zu Einzelbild verwendet werden.
Der Prozeß des Konstruierens der Abbildung von jedem Einzelbild in der MAC auf das einzelne Mosaikkoordinatensystem beinhaltet 1) die Auswahl des Mosaikkoordinatensystems, 2) die Auswahl eines parametrischen oder quasi-parametrischen Bildtransformationsmodells und 3) die Berechnung des Verhältnisses jedes Einzelbildes zu dem Mosaikkoordinatensystem über diese ausgewählte Transformation. In der beispielhaften Ausführungsform beginnt der Prozeß, indem er die MAC verwendet, um sowohl ein Mosaikkoordinatensystem als auch eine anfängliche Abbildung jedes Einzelbildes auf das Koordinatensystem zu erzielen. Diese Abbildung wird dann durch einen inkrementellen Prozeß verfeinert, bei dem abwechselnd für jedes Einzelbild Ausrichtungsparameter abgeschätzt werden. Ein alternativer Mechanismus besteht darin, gleichzeitig alle Einzelbilder mit dem ausgewählten Koordinatensystem auszurichten, wie es beispielsweise in der provisorischen US-Patentanmeldung Nr. 601030,892 mit dem Titel "Multi-View Image Registration With Application to Mosaicing and Lens Distortion Correction" beschrieben ist, die aufgrund ihrer Lehre über die Bild ausrichtung hierin durch Bezugnahme aufgenommen ist. Die Auswahl einer inkrementellen oder einer sequentiellen Ausrichtung wird in diesem Fall zumeist durch das Erfordernis, die Berechnungskomplexität zu reduzieren, und die korrespondierende Abnahme der Verarbeitungszeit gesteuert. Dieser sequentielle Prozeß wird unten als "Einzelbild-zu-Mosaik"-Verarbeitung bezeichnet.
Der Back-End-Prozeß ist in 15 gezeigt. Als ein erster Schritt 1510 erzeugt der Prozeß ein anfängliches Arbeitsmosaik aus der MAC. In der beispielhaften Ausführungsform sind die durch das Front-End als Teil der MAC bereitgestellten Ausrichtungsparameter einfach Translationsvektoren, die jedes Einzelbild mit dem vorherigen verbinden. Um das anfängliche Arbeitsmosaik zu erzeugen, werden die Einzelbilder in dem Bild entsprechend dieser Translationsvektoren verschoben, so daß die Position der oberen linken Ecke jedes Einzelbildes in Bezug auf das Mosaikkoordinatensystem durch die Vektorsumme aller Translationsvektoren bis zu diesem Punkt in der Sequenz gegeben wird. Mit anderen Worten, der Prozeß "verteilt" die Einzelbilder in dem Bild so, daß jedes Einzelbild das vorherige überlappt, wie es durch die Ausrichtungsparameter in der MAC spezifiziert ist. Im Falle einer allgemeineren Transformation, die in der MAC spezifiziert ist, kann der Prozeß die Transformationen von Einzelbild zu Einzelbild unter Erzeugung einer anfänglichen Einzelbild-zu-Mosaik-Transformation für jedes Einzelbild zusammensetzen.
Sobald diese anfängliche Abbildung erstellt wurde, wählt der Prozeß in Schritt 1512 ein Bild aus, das als Start- bzw. Ausgangspunkt für den sequentiellen Ausrichtungsprozeß von Einzelbild zu Mosaik dient. Dieses Bild legt das Koordinatensystem des Mosaiks fest. Im allgemeinen kann diese Auswahl auf Basis einer Vielzahl von Kriterien, einschließlich der geschätzten Position, des Bildinhalts, der Bildqualität und/oder der Benutzerauswahl, vorgenommen werden. In der beispielhaften Implementierung wählt der Prozeß das Quellbild aus, dessen Mittelpunkt bzw. Zentrum dem Schwerpunkt des begrenzenden Rechtecks von Bildpositionen am nächsten liegt, wie es durch das anfängliche Arbeitsmosaik festgelegt wird. Dieses Bild bildet das anfängliche Mosaik. Der Grund für diese Auswahl besteht darin, nach der abschließenden Ausrichtung die Verzerrung transformierter Einzelbilder an den Kanten bzw. Rändern des Bildes zu minimieren. Falls durch den Vorausrichtungsprozeß als Teil der MAC eine allgemeinere Bild-zu-Bild-Transformation bereitgestellt wird, kann es wünschenswert sein, das Koordinatensystem des anfänglichen Arbeitsmosaiks neu zu berechnen, damit das ausgewählte Startbild unverzerrt bleibt.
Die Auswahl der parametrischen oder der quasi-parametrischen Bild-zu-Mosaik-Transformation hängt sowohl von der Beschaffenheit der Eingangsbilder als auch von der Beschaffenheit des zu konstruierenden Mosaikbildes ab. Dies wird in einem Dokument von J.R. Bergen, P. Anadan, K.J. Hanna und R. Hingorani mit dem Titel "Hierarchical Model-Based Motion Estimation", European Conference on Computer Vision, Mai 1992, beschrieben, welches aufgrund seiner Lehren über parametrische und quasi-parametrische Bild-zu-Mosaik-Transformationen durch Bezugnahme hierin aufgenommen ist. Wenn beispielsweise die Bilder von einer Kamera, die eher einer Drehbewegung als einer translationalen Bewegung unterworfen ist, gesammelt werden, können die Bilder mit einer projektiven Transformation ausgerichtet werden. Wenn jedoch das Blickwinkelfeld sich 180 Grad annähert, resultiert eine Transformation aller Bilder, damit diese auf einer einzigen flachen Bildebene liegen, in einer extremen Verzerrung der Eingangsbilder, die weit vom Zentrum des Mosaikbildes entfernt liegen. In der gegenwärtigen Ausführungsform wird die Auswahl der Bildtransformation explizit durch den Benutzer vorgenommen, um die gewünschte Wirkung zu erzielen. Im Prinzip könnte sie jedoch auf Basis einer Analyse der Eingangsbilder und der Art der Transformation, die notwendig ist, um die Bilder mit dem gemeinsamen Koordinatensystem auszurichten, auch automatisch erfolgen.
Der Einzelbild-zu-Mosaik-Ausrichtungsprozeß beginnt in Schritt 1512 mit dem Bestimmen des Startbildes, das auf das Mosaikkoordinatensystem abgebildet ist, als das anfängliche Mosaik. In Schritt 1514 wählt der Prozeß ein nächstes Einzelbild aus, um es dem Mosaik hinzuzufügen. In der beispielhaften Ausführungsform werden Einzelbilder in der Reihenfolge hinzugefügt, in der sie in der MAC vorkommen, wobei sie von dem Startbild aus vorwärts und rückwärts bewegt wird. Wenn somit das Starteinzelbild Einzelbild 10 aus einer Gesamtzahl von Einzelbildern 1 bis 20 wäre, so könnte die Reihenfolge der Anordnung 10, 11, 12, 13, ... 20, 9, 8, 7, ..., 1 sein. Alternativ kann der Prozeß die Einzelbilder in irgendeiner Reihenfolge, die von ihrer Position in dem anfänglichen Arbeitsmosaik abgeleitet ist (beispielsweise in der Reihenfolge ihres zunehmenden Abstands vom Starteinzelbild), anordnen.
Für jedes Einzelbild in der Sequenz wird in Schritt 1516 durch Berechnen von Parametern der Ausrichtung mit dem vorherigen Einzelbild in der Sequenz (d.h. mit dem Einzelbild, das zuvor mit dem Mosaik ausgerichtet wurde) eine anfängliche Ausrichtung mit dem Mosaikkoordinatensystem berechnet. Wir bezeichnen diesen Satz von Ausrichtungsparametern T_inc als inkrementelle Transformation. In Schritt 1515 wird diese Transformation mit der Transformation, die verwendet wurde, um das vorherige Einzelbild mit dem Mosaik auszurichten, T_i-1, zusammengesetzt, um eine Abschätzung T_est der Transformation zu erzeugen, die das gegenwärtige Einzelbild mit dem Mosaik ausrichtet. Dieser Prozeß ist in 13 gezeigt. Unter Verwendung der abgeschätzten Transformation T_est, legt der Prozeß in Schritt 1518 einen Bereich fest, in dem das gegenwärtige Einzelbild das Mosaik überlappt. Diese Abschätzung wird dann in Schritt 1520 durch Ausrichten mit dem überlappenden Bereich des gegenwärtigen Mosaiks, wie es in 13 gezeigt ist, verfeinert. Nachdem in Schritt 1522 diese abschließende Ausrichtung berechnet wurde, wird das neu ausgerichtete Einzelbild durch Scheren des neuen Bildes mit dem Mosaikkoordinatensystem und Ausdehnen des Arbeitsmosaikbildes mit den gescherten Pixeln, wie es in 14 gezeigt ist, dem Arbeitsmosaik hinzugefügt. Wenn in Schritt 1524 das verschmolzene Bild das letzte zu verarbeitende Bild in der MAC war, endet der Prozeß bei Schritt 1526. Ansonsten verzweigt der Prozeß zurück zu Schritt 1514, um das nächste Bild auszuwählen, das in das Mosaik verschmolzen werden soll.
Die Berechnungen der Ausrichtung, die am Nachausrichtungsprozeß beteiligt sind, können im Prinzip unter Verwendung irgendeiner Berechnungstechnik durchgeführt werden. In der beispielhaften Ausführungsform der Erfindung verwendet der Nachausrichtungsprozeß ein direktes Abschätzverfahren, um die Ausrichtungsparameter unter Verwendung einer Levenberg-Marquardt-Iteration in einem Grob-Fein-Verfeinerungsprozeß mit Mehrfachauflösung abzuschätzen. Dieser Berechnungsansatz wird ausgewählt, weil er akkurate und stabile Ausrichtungsschätzungen liefert und über einen breiten Bereich von Bildausrichtungsmodellen hinweg anwendbar ist. Er ist auch berechnungstechnisch überaus effizient, da er kein explizites Suchen oder eine Merkmalsextraktion erfordert.
Um die Komplexität der Berechnungen zu reduzieren, wird T_inc in Schritt 1514, wie es in 12 gezeigt ist, nur auf der Pyramidenebene 2 ausgeführt. Im allgemeinen kann diese Berechnung der anfänglichen Ausrichtung auf irgendeiner Ebene durchgeführt werden, die eine Abschätzungsgenauigkeit liefert, die geeignet ist, um als Ausgangspunkt für die endgültige Ausrichtung von 13 zu dienen. Der abschließende Ausrichtungsschritt 1520 wird auf beiden Pyramidenebenen 1 und 2 wiederholt. Um auch die Berechnungszeit zu reduzieren, wird jedoch die Iteration auf Ebene 1 nur über einen Teilsatz des Bildbereichs hinweg durchgeführt. Dieser Teilsatz wird durch Anwenden eines "von-Interesse-Operators" auf das Referenzbild, das Bilden eines Grenzwerts von dem Ausgang dieses Operators und das Ausführen einer nicht-maximalen Unterdrückungsoperation ausgewählt. Das Ergebnis dieses Prozesses ist eine Pixelmaske, die die Akkumulierung von Werten, die bei dem Iterationsprozeß verwendet werden, steuert.
Das der Art des verwendeten von-Interesse-Operators zugrundeliegende Prinzip ist es, daß Bildpunkte mit großen Werten des Bildgradienten am meisten zur Bestimmung der abgeschätzten Werte der Ausrichtungsparameter beitragen. Dies trifft für viele Abschätzverfahren, einschließlich Levenberg-Marquardt, Gauß-Newton und andere herkömmlicherweise verwendete Techniken, zu. Folglich berechnet in der beispielhaften Ausführungsform der Prozeß die Größe des Bildgradienten auf Pyramidenebene 1, wendet einen Grenzwert hierauf an und eliminiert dann alle Punkte, die kleiner sind als der Grenzwert, und eliminiert dann weiterhin alle Punkte außer den größten Werten innerhalb eines Fensters einer bestimmten Größe. Das Ergebnis dieses Prozesses ist eine relativ spärliche Maske (d.h. eine, die nur einen kleinen Bruchteil von Bildpunkten zuläßt), die jedoch Bereiche des Bildes darstellt, die sehr viel zur Abschätzung der Ausrichtungsparameter beitragen.
Im allgemeinen können auch andere Auswahlverfahren verwendet werden, die den gleichen Zweck erfüllen. Es wird beispielsweise in Betracht gezogen, daß die Auswahlkriterien so formuliert werden können, daß eine feste Anzahl an Punkten in der Maske enthalten ist (beispielsweise durch adaptives Variieren des Grenzwerts), so daß die Berechnungskosten der abschließenden Ausrichten von der Größe des Eingangsbildes in etwa unabhängig werden.
Als abschließender Schritt in dem beispielhaften Verfahren, Schritt 722 von 7, werden die verschiedenen ausgerichteten Bilder unter Bildung des übergangslosen Mosaikbildes 724 verschmolzen. Irgendeine der oben beschriebenen Techniken kann verwendet werden, um die ausgerichteten Bilder unter Bildung eines einzelnen Mosaikbildes zu verschmelzen.
Schlußfolgerung
Es wird ein Verfahren zum automatischen Auswählen von Quellbildsegmenten für die Aufnahme in das Mosaik aus dem Satz von verfügbaren Quellbildern in einander überlappenden Bereichen definiert. Das Grundsystem beinhaltet ein Verfahren, das einen Satz von Quellbildern zu einem Mosaik kombiniert und die folgenden Schritte umfaßt: (i) Ausrichten von Quellbildern, (ii) Verbessern der Quellbilder, (iii) Auswählen von Quellbildbereichen, (iv) Verschmelzen von Bereichen. Andere Arten von Systemen werden ebenfalls in Betracht gezogen. Diese beinhalten die folgenden:

1) Ein System, bei dem die Mosaike kontinuierlich erzeugt werden, während Videoeinzelbilder empfangen werden, wobei die Mosaike kontinuierlich als Video angezeigt werden können, während das Bild konstruiert wird.
2) Ein System, das die Konstruktion an allen (oder vielen) Quelleinzelbildern gleichzeitig ausführt.
3) Ein System, das es einem Benutzer erlaubt, ein Mosaik anzupassen und zu bearbeiten, und das das Mosaik nach jeder solchen Bearbeitung oder auf Anforderung wiederherstellt, wobei die Bearbeitung das Verschieben, das Ausschneiden, das Einkopieren und das Verbessern der Quellbilder beinhalten kann.
4) Ein System, das eine erste Version eines Mosaiks mit leicht reduzierter Qualität erzeugt (um den Berechnungsaufwand zu reduzieren und die Geschwindigkeit zu steigern). Sobald abschließende Komponentenbilder des Mosaiks durch den Benutzer ausgewählt wurden, wird das zusammengesetzte Bild mit höherer Qualität wiederhergestellt. In diesem Fall kann die anfängliche Erzeugung mehrere Anwendungen von beispielsweise Scherungen oder der inkrementellen Ausrichtung und Verschmelzung beinhalten, während das abschließende Mosaik diese Operationen wiederholt, indem es direkt mit den Einzelbildern arbeitet.
5) Ein System, das das Mosaik nur dann erzeugt, wenn es notwendig ist, wobei der Benutzer ein gewünschtes Referenzeinzelbild spezifiziert und dann ein Mosaik konstruiert wird. In diesem Fall berechnet der Algorithmus typischerweise alle Ausrichtungen zuerst als einen inkrementellen Prozeß oder Batch-Prozeß und regeneriert dann das Mosaik auf Anforderung aus einer gewünschten Perspektive. (Dies wird durchgeführt, um zusätzliche Scherungen zu vermeiden.)

Es versteht sich, daß die Vorrichtung und das Verfahren für den Betrieb, wie sie hierin gelehrt werden, für die Erfindung veranschaulichend sein sollen. Modifikationen sind für Fachleute auf dem Gebiet offensichtlich, ohne vom Schutzbereich der Erfindung abzuweichen.

Claims

Computerimplementiertes Verfahren für das Ausrichten einer Mehrzahl von Quellbildern, welches die folgenden Schritte aufweist: a) Analysieren der Quellbilder, um einige der auszurichtenden Quellbilder auszuwählen und eine anfängliche bzw. erste Ausrichtung der Quellbilder zu erzeugen, und b) Analysieren der ausgewählten Quellbilder, um ein Koordinatensystem für ein Bildmosaik zu erstellen, dadurch gekennzeichnet, daß der Schritt des Analysierens der Quellbilder, um einige der auszurichtenden Quellbilder auszuwählen, Bilder auf Basis der Überlappung zwischen den Quellbildern auswählt, um ein kombiniertes Maß bzw. Ausmaß an Übereinstimmung für alle Paare von sich überlappenden Quellbildern zu optimieren, und der Schritt des Analysierens der ausgewählten Quellbilder, um ein Koordinatensystem für das Bildmosaik zu erstellen, ein anfängliches bzw. erstes Bild aus den ausgewählten Bildern auswählt, um das Koordinatensystem festzulegen bzw. zu definieren, wobei das Verfahren weiterhin den folgenden Schritt beinhaltet: c) Ausrichten einiger der ausgewählten Quellbilder mit dem Koordinatensystem durch Auswählen nachfolgender Bilder auf Basis zumindest entweder (i) des Bildinhalts, (ii) der Bildqualität oder (iii) der Überlappung zwischen den Quellbildern, und Ausrichten jedes der nachfolgenden ausgewählten Bilder mit dem durch das anfängliche Bild definierten Koordinatensystem.
Verfahren nach Anspruch 1, wobei Schritt a) die folgenden Schritte beinhaltet: Berechnen einer Transformation von Bildkoordinaten zwischen einem der empfangenen Bilder und einem zuvor ausgewählten Bild, welches die folgenden Schritte aufweist: Filtern des Bildes in Übereinstimmung mit einer ausgewählten Filtercharakteristik, Erzeugen eines Ausmaßes an Korrelation zwischen dem einen gefilterten Bild und dem zuvor ausgewählten Bild und Vergleichen des Ausmaßes der Korrelation mit einem Schwellwert, und wenn das Ausmaß der Korrelation kleiner ist als der Schwellwert, Auswählen einer anderen Filtercharakteristik, und Fortsetzen des Filterns, Korrelierens und Vergleichens des Ausmaßes der Korrelation, bis das Ausmaß der Korrelation größer ist als der Schwellwert oder bis keine weitere Filtercharakteristik mehr zur Auswahl zur Verfügung steht, und wenn das Ausmaß der Korrelation größer ist als der Schwellwert: Identifizieren eines Überlappungsbereichs zwischen dem einen Bild aus den Quellbildern und einem zuvor ausgewählten Bild in Reaktion auf die Transformation, Bestimmen des Ausmaßes der Überlappung im Überlappungsbereich und Auswählen des einen Bildes zur Verwendung in dem Bildmosaik, wenn das Ausmaß der Überlappung innerhalb eines vorbestimmten Wertebereichs liegt.
Verfahren nach Anspruch 1 oder 2, welches weiterhin den folgenden Schritt beinhaltet: Verschmelzen der ausgerichteten Bilder, um das Bildmosaik zu bilden.
System für das Ausrichten einer Mehrzahl von Quellbildern, welches folgendes beinhaltet: a) Auswahlmittel (716) für das Analysieren der Quellbilder, um einige der auszurichtenden Quellbilder auszuwählen und eine anfängliche Ausrichtung der Quellbilder zu bilden, dadurch gekennzeichnet, daß: die Auswahlmittel (716) Mittel (1110, 1112, 1114, 1116, 1118, 1120, 1122, 1124, 1126) für das Anpassen der ausgewählten Bilder, um ein kombiniertes Ausmaß an Übereinstimmung für alle Paare von sich überlappenden Quellbildern zu optimieren, beinhalten und die Vorrichtung weiterhin beinhaltet: b) Referenzmittel (720), welche Mittel (1512) für das Analysieren der ausgewählten Quellbilder, um ein anfängliches Bild aus den ausgewählten Quellbildern auszuwählen, um ein Koordinatensystem für das Bildmosaik zu erstellen, beinhalten und c) Ausrichtungsmittel (720), welche mindestens entweder (i) Mittel (1514, 201) für das Analysieren der Quellbilder auf Basis des Bildinhalts, (ii) Mittel (1514, 202) für das Analysieren der Quellbilder auf Basis der Bildqualität oder (iii) Mittel (1514, 203) für das Analysieren der Quellbilder auf Basis der Überlappung zwischen den Quellbildern oder Mittel (1516, 1518, 1520, 1522, 1524) für das Ausrichten einiger der ausgewählten Quellbilder mit dem durch das Bild definierten Koordinatensystem beinhalten.
System nach Anspruch 4, wobei die Auswahlmittel (716) weiterhin beinhalten: Mittel (836, 838, 840, 842) für das Berechnen einer Bildkoordinatentransformation zwischen einem der empfangenen Bilder und einem zuvor ausgewählten Bild, welche beinhalten: Mittel (836, 838) für das Filtern des einen Bildes in Übereinstimmung mit einer aus Sätzen jeweils unterschiedlicher Filtercharakteristika ausgewählten Filtercharakteristik, Mittel (840) für das Erzeugen eines Ausmaßes der Korrelation zwischen dem einen gefilterten Bild und dem zuvor ausgewählten Bild und Mittel (842) für das Vergleichen des Ausmaßes der Korrelation mit einem Schwellwert, Mittel (820), die auf die Koordinatentransformation reagieren, für das Identifizieren eines Überlappungsbereichs zwischen einem der empfangenen Bilder und einem zuvor ausgewählten Bild, Mittel (824) für das Bestimmen eines Ausmaßes der Überlappung im Überlappungsbereich und Mittel (822) für das Auswählen des einen Bildes zur Verwendung in dem Bildmosaik, wenn das Ausmaß der Überlappung innerhalb eines vorbestimmten Wertebereichs liegt.
System nach Anspruch 7, welches weiterhin Mittel (103) für das Verschmelzen der ausgerichteten Bilder, um das Bildmosaik zu bilden, beinhaltet.
Computerlesbares Medium, welches ein Programm enthält, das einen Computer dazu bringt, eine Mehrzahl von Quellbildern auszurichten, wobei das Programm den Computer dazu bringt, die folgenden Schritte auszuführen: a) Analysieren der Quellbilder, um einige der auszurichtenden Quellbilder auszuwählen und eine anfängliche Ausrichtung der Quellbilder zu bilden, und b) Analysieren der ausgewählten Quellbilder, um ein Koordinatensystem für ein Bildmosaik zu erstellen, dadurch gekennzeichnet, daß der Schritt des Analysierens der Quellbilder, um einige der auszurichtenden Quellbilder auszuwählen, Bilder auf Basis der Überlappung zwischen den Quellbildern, um ein kombiniertes Ausmaß an Übereinstimmung für alle Paare sich überlappender Quellbilder zu optimieren, auswählt und der Schritt des Analysierens der ausgewählten Quellbilder, um ein Koordinatensystem für das Bildmosaik zu erstellen, ein anfängliches Bild unter den ausgewählten Bildern auswählt, um das Koordinatensystem zu definieren bzw. festzulegen, wobei das Verfahren weiterhin den folgenden Schritt beinhaltet: c) Ausrichten einiger der ausgewählten Quellbilder mit dem Koordinatensystem durch Auswählen eines anfänglichen Bildes, Auswählen nachfolgender Bilder auf Basis zumindest entweder (i) des Bildinhalts, (ii) der Bildqualität oder (iii) der Überlappung zwischen den Quellbildern, und Ausrichten jedes der nachfolgenden ausgewählten Bilder mit dem durch das anfängliche Bild definierten Koordinatensystem.
Computerlesbares Medium nach Anspruch 7, wobei Schritt a) weiterhin die folgenden Schritte beinhaltet: Berechnen einer Bildkoordinatentransformation zwischen einem der empfangenen Bilder und einem zuvor ausgewählten Bild, welches die folgenden Schritte beinhaltet: Filtern des einen Bildes in Übereinstimmung mit einer ausgewählten Filtercharakteristik während jeder Iteration bzw. jedes Schrittes, Erzeugen eines Maßes bzw. Ausmaßes der Korrelation zwischen dem einen gefilterten Bild und dem zuvor ausgewählten Bild und Vergleichen des Ausmaßes der Korrelation mit einem Schwellwert, und wenn das Ausmaß der Korrelation kleiner ist als der Schwellwert, Auswählen einer anderen Filtercharakteristik, und Wiederholen des Filterns, Korrelierens und Vergleichens des Ausmaßes der Korrelation, bis das Ausmaß der Korrelation größer ist als der Schwellwert oder bis keine weitere Filtercharakteristik mehr zur Auswahl zur Verfügung steht, und wenn das Ausmaß der Korrelation größer ist als der Schwellwert: Identifizieren eines Überlappungsbereichs zwischen einem der Quellbilder und einem zuvor ausgewählten Bild in Reaktion auf die Koordinatentransformation, Bestimmen eines Ausmaßes der Überlappung im Überlappungsbereich und Auswählen des einen Bildes zur Verwendung in dem Bildmosaik, wenn das Ausmaß der Überlappung innerhalb eines vorbestimmten Wertebereichs liegt.
Computerlesbares Medium nach Anspruch 7 oder 8, wobei das Programm so ausgestaltet ist, daß es die ausgerichteten Bilder miteinander verschmilzt, um das Bildmosaik zu bilden.
Computerprogramm, welches, wenn es auf einem geeigneten Computersystem ausgeführt wird, alle Schritte des Verfahrens gemäß den Ansprüchen 4, 5 oder 6 ausführt.