DE102012006493A1

DE102012006493A1 - Kameraimplementierung des Wählens und Stitchens von Einzelbildern für Panoramaaufnahmen

Info

Publication number: DE102012006493A1
Application number: DE102012006493A
Authority: DE
Inventors: Ayelet Mashiah
Original assignee: CSR Technology Inc
Current assignee: Qualcomm Inc
Priority date: 2011-04-06
Filing date: 2012-03-30
Publication date: 2012-10-11
Anticipated expiration: 2032-03-31
Also published as: GB2489791B; US20130038680A1; GB2489791A; GB201205402D0; US8947502B2; US20150181115A1; DE102012006493B4

Abstract

Es werden ein System, ein Verfahren und ein Computerprogrammprodukt zum Auswählen sich qualifizierender Einzelbilder aus einer Bildsequenz zur Verwendung in einem nachfolgendem Stitching zu einem zusammengesetzten Panoramabild offenbart. Ankommende Einzelbilder von einer beliebigen Quelle können zugeschnitten und herunterskaliert werden, bevor sie bezüglich qualifizierender Kriterien betreffend Bildüberlappung und lokaler Bewegung ausgewertet werden. Sich qualifizierende Bilder werden gespeichert und/oder ausgegeben. Das resultierende Panoramabild verwendet allgemein weniger sich qualifizierende Bilder und erscheint glatter und besitzt weniger Artefakte als jene des Stands der Technik. Das qualifizierende Kriterium für eine Bildüberlappung ist ein vorbestimmter Überlappungsspielraum oder -prozentsatz zwischen einem aktuellen Bild und einem vorausgegangenen Bild aus der Sequenz. Das qualifizierende Kriterium für die Bildbewegung umfasst ein maximales Ausmaß an lokaler Bewegung, oftmals aufgrund sich vorbeibewegender Objekte. Die Ausführungsformen können ankommende Bilder in Echtzeit oder aus gespeicherten Sequenzen verarbeiten. Probleme können Benutzerwarnungen auslösen.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung basiert auf und beansprucht die Priorität der unter 35 U.S.C. 119(e) am 6. April 2011 eingereichten eigenen vorläufigen US-Anmeldung mit der laufenden Nummer 61/472,454 mit dem Titel ”In Camera Implementation of Selecting and Stitching Frames for Panoramic Imagery”, die hiermit durch Bezugnahme aufgenommen ist. Zu eigenen Patentanmeldungen mit einem verwandten Gegenstand zählen die folgenden: US mit der laufenden Nummer 12/536,728, eingereicht am 6. August 2009, mit dem Titel ”In-Camera Panorama Image Stitching Assistance”, veröffentlicht am 11. Februar 2010 als US-Patentanmeldungsveröffentlichung 2010/0033553 A1, und die US mit der laufenden Nummer 12/549,254, eingereicht am 27. August 2009, mit dem Titel ”Robust Fast Panorama Stitching in Mobile Phones Or Cameras”, veröffentlicht am 4. März 2010 als US-Patentanmeldungsveröffentlichung 2010/0054628 A1, die jeweils ausdrücklich ebenfalls in ihrer Gänze durch Bezugnahme aufgenommen sind.
ERFINDUNGSGEBIET
Die vorliegende Patentanmeldung betrifft allgemein das Stitchen einer Sequenz von Bildern von einer Digitalkamera aneinander, um ein einzelnes zusammengesetztes Panoramabild herzustellen, und insbesondere das Erfassen der Bilder, um die Wahrscheinlichkeit zu vergrößern, dass ein hochwertiges Panoramabild erzielt wird.
ALLGEMEINER STAND DER TECHNIK
Bei der Panorama- oder Breitformatfotografie wird eine Sequenz von Bildern erfasst, die zu einem einzelnen Bild rekonstruiert werden, das die Form eines breiten Streifens mit einem länglichen Blickfeld annimmt. Ein Panoramabild zeigt in der Regel ein Blickfeld, das größer ist als das einer mit einem Weitwinkelobjektiv ausgestatteten Kamera. Eine Möglichkeit zum Erfassen eines Panoramabilds besteht darin, eine Filmkamera auf einen Stativ zu montieren und eine Reihenfolge von Bildern einer Szene aufzunehmen, während die Kamera physisch gedreht wird. Die Bilder werden danach zusammengefügt (engl. ”stitched”), indem Streifen von belichtetem Film dort physisch geschnitten und zusammengeklebt werde, wo die Grenzen zwischen den Kanten des Films sorgfältig ausgerichtet werden.
Die Vorzüge der elektronischen Fotographie haben jüngst zur allgemeinen Akzeptanz von Digitalkameras geführt, die erfasste Bilder in einem digitalen Speicher speichern. Einige Digitalkameras stellen auch eine ”Panorama”-Funktion bereit, die es einem Benutzer der Digitalkamera gestattet, eine Sequenz benachbarter Bildern aufzunehmen, die danach zu einem einzelnen Bild mit einer breiten Feldabdeckung digital zusammengefügt (”gestitcht”) werden. Beispielsweise können einige Digitalkameras mit einer Panoramafunktion an einen PC gekoppelt werden, der Software bereitstellt, um zwei oder mehr Bilder an ihren Kantengrenzen extern miteinander zu verbinden, um ein einzelnes Bild mit einem breiten Panoramaformat herzustellen.
Auf dem Markt findet man heutzutage zwei grundlegende Arten von Panoramabildmontagelösungen für Kameras auf dem Verbraucherniveau. Eine basiert auf einer ”Unterstützungs”-Applikation, und die andere basiert auf einer Schwenkhandbewegung. Bei der unterstützungsbasierten Lösung muss der Benutzer die Bilder manuell aufnehmen, nachdem er mit der Hilfe einer Unterstützungs-Applikation entschieden hat, dass die richtige Überlappung zwischen den Bildern erzielt worden ist. Dieser Ablauf überlässt die Entscheidung darüber, welche Bilder für die Panoramabilderzeugung zu erfassen sind, dem Benutzer. Beispielsweise erfordert die existierende Lösung zum Herstellen eines Panoramabilds, wie in der eigenen US-Patentanmeldungsveröffentlichung 2010/0033553 beschrieben, dass der Benutzer einige wenige Bilder mit richtiger Überlappung aufnimmt (der Benutzer wird von der Kamera mit einer Unterstützungsapplikation geführt, um die Bilder mit der richtigen Überlappung aufzunehmen), und dann werden diese Bilder zu einem Panoramabild zusammengefügt. Dies ist für den Benutzer ein umständlicher Prozess, und er könnte auch dazu führen, dass die Zusammenfügung der Bilder aus mehreren Gründen scheitert. Erstens könnte die Überlappung zwischen den Bildern möglicherweise nicht innerhalb der erforderlichen Spielräume liegen. Zweitens kann sich die Szene beim Aufnehmen von aufeinanderfolgenden Bildern verändern; beispielsweise können sich die Beleuchtungsbedingungen ändern oder es kann eine Objektbewegung eingeführt werden.
Neuere Kameras auf dem Markt stellen ein Merkmal bereit, bei dem beispielsweise durch Drücken eines Knopfs und Schwenken der Kamera über die Szene Bilder mit richtiger Überlappung automatisch erfasst werden. Einige Kameras können Bilder erfassen, bis der gedrückte Knopf losgelassen wird oder bis ein Speicher voll ist oder ein Gesamtbild vorbestimmter Größe erfasst ist oder eine vorbestimmte Anzahl von Bildern erfasst ist oder die Schwenkbewegung beendet ist usw. Dann wird unter Verwendung der erfassten Bilder eine Panoramaansicht hergestellt. Wie sich jedoch durch Versuche gezeigt hat, bringt dieser Ablauf unter Umständen keine zufriedenstellenden Ergebnisse hervor, wenn in der Sequenz erfasster Bilder eine große lokale Bewegung vorliegt (z. B. vorbeifahrende Wagen, Fußgänger oder Tiere). Einige der Lösungen, die man auf dem Markt findet, setzen das Panorama zusammen, indem schmale Streifen aus einer großen Anzahl von Bildern aus der Erfassungssequenz zusammengefügt werden. Manchmal ergibt sich ein weniger wünschenswertes Panoramabild mit einem streifenartigen Aussehen.
Die vorliegende Patentanmeldung beschreibt eine Lösung für diese Herausforderungen.
KURZE DARSTELLUNG DER AUSFÜHRUNGSFORMEN
Systeme, Verfahren und Computerprogrammprodukte zum Auswählen sich qualifizierender Einzelbilder aus einer Bildsequenz zur Verwendung bei dem nachfolgenden Stitching zu einem zusammengesetzten Panoramabild werden hier offenbart und beansprucht.
Wie unten ausführlicher beschrieben, gestatten die Vorrichtungen und Prozesse der offenbarten Ausführungsformen die Herstellung von verbesserten Panoramabildern. Weitere Aspekte, Aufgaben, wünschenswerte Merkmale und Vorteile der hier offenbarten Vorrichtungen und Verfahren lassen sich von dem Fachmann angesichts der ausführlichen Beschreibung und Zeichnungen, die folgen, in denen verschiedene Ausführungsformen beispielhaft dargestellt sind, besser verstehen und ergeben sich ihm. Es sei jedoch ausdrücklich gesagt, dass die Zeichnungen nur dem Zweck der Veranschaulichung dienen und nicht als Definition der Grenzen der beanspruchten Erfindung gedacht sind.
Beim Beschreiben der vorliegenden Erfindung als eine beispielhafte Verfahrensausführungsform werden wenigstens einige der Einzelbilder einer Bildsequenz gewählt, um verarbeitet zu werden, um bestimmte sich qualifizierende Bilder zur Verwendung bei der Herstellung eines zusammengesetzten Panoramabilds zu wählen. Einzelbildüberlappungsbeschränkungen (engl. constraints) werden ausgewertet, und jene Einzelbilder, die diese Beschränkungen erfüllen, werden ebenfalls im Hinblick auf Einzelbildbewegungsbeschränkungen ausgewertet. Sich qualifizierende Einzelbilder, die alle die Beschränkungen erfüllen, werden selektiv gespeichert und ausgegeben.
Das Verfahren kann in Echtzeit arbeiten und kann alle Einzelbilder einer Bildsequenz der Reihenfolge nach verarbeiten. Die Einzelbilder können herunterskaliert (engl. downscale) und geschnitten werden. Die Bildsequenz kann während der Bildsequenzerfassung oder nach der Bildsequenzerfassung verarbeitet werden. Die Bildsequenz kann eine beliebige Menge von aufeinanderfolgend erfassten Einzelbildern umfassen, wie etwa eine unkomprimierte oder komprimierte Videosequenz, und kann während eines Schwenks einer Zielszene von einer Digitalkamera erfasst werden.
Ein Zählwert von für die Herstellung eines zusammengesetzten Panoramabilds erforderlichen Einzelbildern kann festgelegt werden. Die Einzelbildüberlappungsbeschränkungen können einen festgelegten Richtungsüberlappungsprozentsatz bezüglich eines vorausgegangenen sich qualifizierenden Einzelbilds umfassen. Beispielsweise kann der spezifizierte Richtungsüberlappungsprozentsatz wenigstens vierzig Prozent horizontale Überlappung betragen. Die Einzelbildbewegungsbeschränkungen umfassen eine maximal zulässige lokale Bewegung innerhalb eines Einzelbildüberlappungsgebiets. Die Einzelbildbewegungsbeschränkungen können ausgewertet werden, indem zuerst eine Bewegungsabschätzung eines aktuellen Einzelbilds bezüglich eines vorausgegangenen Einzelbilds durchgeführt wird, dann die überlappenden Einzelbildgebiete in Blöcke unterteilt werden, die Anzahl der Pixel in jedem Block summiert wird, wobei die Differenz bei den Pixelbeleuchtungswerten für das aktuelle Einzelbild und das vorausgegangene Einzelbild einen vordefinierten Schwellwert übersteigt, und schließlich selektiv bestimmt wird, dass eine große lokale Bewegung die Einzelbildbewegungsbeschränkungen gemäß dem Prozentsatz an Blöcken mit einem hohen Wert für die Pixel mit hohen Beleuchtungswertdifferenzen verletzt.
Das erste Einzelbild in der Bildsequenz kann standardmäßig als ein sich qualifizierendes Einzelbild gespeichert und ausgegeben werden. Sich qualifizierende Einzelbilder können zur weiteren Verwendung als Referenzeinzelbilder während der weiteren Verarbeitung der Bildsequenz einbehalten werden. Die Ausführungsformen können die sich qualifizierenden Einzelbilder in ein zusammengesetztes Panoramabild zur Ausgabe und Speicherung zusammenfügen.
Benutzer können gewarnt werden, falls ein Fehlerzustand auftritt, einschließlich beispielsweise, falls Einzelbildbewegungsbeschränkungen verletzt werden, Einzelbildüberlappungsbeschränkungen verletzt werden, es zu einer übermäßigen Kameraneigung in einer beliebigen Orientierung kommt oder falls unzureichende sich qualifizierende Einzelbilder gespeichert werden. Verletzungen der Einzelbildbewegungsbeschränkung können übermäßige lokale Bewegung, übermäßige oder unzureichende Schwenkgeschwindigkeit oder übermäßiges Handbewegungsabdriften in einer senkrechten Richtung zu der Schwenkrichtung umfassen.
Bei einer Ausführungsform werden Einzelbildüberlappungsbeschränkungen für wenigstens zwei bestimmte Einzelbilder der Bildsequenz gegenüber einem vordefinierten Überlappungsspielraum ausgewertet und die lokale Bewegung innerhalb der Einzelbilder wird für die wenigstens zwei bestimmten Einzelbilder und wenigstens ein zusätzliches Einzelbild der Bildsequenz in dem vordefinierten Überlappungsspielraum ausgewertet.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 zeigt eine grafische Darstellung von überlappenden Einzelbildern gemäß einer Ausführungsform;
2 zeigt eine grafische Darstellung einer Systemimplementierung gemäß einer Ausführungsform;
3 zeigt eine grafische Darstellung einer Verfahrensimplementierung gemäß einer Ausführungsform.
AUSFÜHRLICHE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
Ausführungsformen der vorliegenden Erfindung erfordern, dass der Fotograf die Kamera über die zu fotografierende Szene schwenkt. Während dieser Zeit erfasst die Kamera im Wesentlichen eine Videosequenz, d. h. eine Menge von periodisch oder ungefähr periodisch erfassten Einzelbildern, die jeweils einen Teil der Szene abdecken. Einzelne gewählte Bilder der Sequenz (d. h. wenigstens einige Bilder werden gewählt, aber bevorzugt alle) werden dann von einem Algorithmus betrachtet, der prüft um zu bestimmen, ob sie einer Menge von Anforderungen entsprechen, um sicherzustellen, dass sich die gewählten Bilder qualifizieren, um zu einem guten endgültigen Panoramabild beizutragen. Die Anforderungen sind wie folgt: richtige Bildüberlappung und keine lokale Bewegung. Jedes sich qualifizierende Bild in der Videosequenz, das diesen Anforderungen entspricht, wird in einem Speicher gespeichert, um später in der Stitchingphase verwendet zu werden. Es wird auch ein Protokoll der Überlappung jedes sich qualifizierenden Bilds mit dem vorausgegangenen sich qualifizierenden Bild gepflegt. Diese Daten sind in der Stitchingphase nützlich, wo die sich qualifizierenden Bilder nahtlos verbunden werden, um ein Panoramabild zu erzeugen.
Die gegenwärtig eingesetzte Stitchingphase wird in der eigenen US-Patentanmeldungsveröffentlichung 2010/0054628 beschrieben, wobei die vorliegende Erfindung nicht auf dieses bestimmte Stitchingverfahren beschränkt ist. Bei diesem Verfahren muss die Transformation zwischen jedem aufeinanderfolgenden Paar von Bildern gefunden werden. Das Protokoll der Bildüberlappung wird als ein anfänglicher Hinweis für diese Transformation verwendet.
Die Ausführungsformen der vorliegenden Erfindung bieten einen automatischen Echtzeitentscheidungsprozess, der jedes gewählte ankommende Einzelbild prüft, um zu bestimmen, ob es sich zur Verwendung in dem endgültigen Panoramabild eignet. Dieser Prozess kann mit jeder Kamera oder jeder Bildgebungsvorrichtung benutzt werden. Ein nachfolgendes Stitchingverfahren verkettet die sich qualifizierenden Bilder (oder Abschnitte davon) miteinander, um das Panoramabild herzustellen.
Indem signifikant weniger Bilder zum Herstellen des Panoramabilds verwendet werden als bei einigen Literaturstellen im Stand der Technik, kommt es zu einer signifikanten Reduktion bei der ”Streifigkeit” des Panoramabilds, so dass es glatter und von höherer Ausgabequalität zu sein scheint. Ferner ermöglichen die Ausführungsformen eine zuverlässigere und zugänglichere Operation der eigenen Panoramabildproduktionsverfahren.
Die vorliegende Patentanmeldung beschreibt somit eine Methodik zum Wählen der geeignetsten Bilder aus einem sequentiell ankommenden Strom von Videoeinzelbildern zum Herstellen eines Panoramabilds. Am Ende des Prozesses werden mehrere überlappende Bilder, die keine lokale Bewegung oder nur minimale lokale Bewegung enthalten, gespeichert. Jedes gewählte erfasste Bild wird herunterskaliert und gegenüber dem zuvor gewählten Bild registriert. Es wird auch auf lokale Bewegung in dem Einzelbild hin analysiert, indem das aktuelle Bild mit dem zuvor gewählten Bild verglichen wird. Falls sich das Bild innerhalb des erforderlichen Überlappungsbereichs mit dem vorausgegangenen gewählten Bild befindet und die lokale Bewegung gering ist, wird es zur weiteren Verarbeitung gespeichert; ansonsten wird es verworfen. Lokale Bewegung ist nur in überlappenden Gebieten wichtig, weshalb bei einer alternativen Ausführungsform lokale Bewegung in einem überlappenden Gebiet zusammen mit einem richtigen Überlappungsbereich als ein Kriterium für eine Bildqualifizierung dient.
Nunmehr unter Bezugnahme auf 1 werden zwei gewählte Einzelbilder 100 und 110 gezeigt. Diese Einzelbilder weisen einen Überlappungsbereich 120 auf. Bei dieser beispielhaften Figur ist das Panorama in einer horizontalen Orientierung gezeigt, doch ist die Erfindung nicht auf irgendeine bestimmte Orientierung und Richtung beschränkt.
Nunmehr unter Bezugnahme auf 2 wird ein Systemdiagramm vorgelegt, das die Grundlagen der Ausführungsformen der vorliegenden Erfindung zeigt, die mit gewählten ankommenden Videoeinzelbildern arbeiten und verwandte Behalten-Verwerfen-Entscheidungen und behaltene sich qualifizierende Einzelbilder ausgeben. Ein Erfassungsengine 210 empfängt bei jedem Zyklus ein Bild 250 als Eingabe, in der Regel von einer Bildgebungsvorrichtung wie etwa einer Digitalkamera. Für jedes eingegebene Einzelbild skaliert der Erfassungsengine 210 ein Bild herunter und speichert sowohl das Bild als auch seine herunterskalierte Version 260 im Speicher 240. Das herunterskalierte Bild 260 wird in einen Bewegungsschätzungsengine 220 gespeist, der die Bewegungsvektoren 270 des Bilds auswertet, wobei ein Referenzbild von dem Speicher 240 verwendet wird. Ein Entscheidungsengine 230 schätzt, ob die Einzelbildüberlappung innerhalb der erforderlichen Überlappungsspielräume liegt und ob die lokale Bewegung klein genug ist und trifft als Reaktion eine Wahl dahingehend, ob das aktuelle Bild als sich für das Panoramabild qualifizierend gespeichert werden sollte oder verworfen werden sollte. Falls es behalten wird, kann es das Referenzeinzelbild für die aufeinanderfolgenden Einzelbilder werden. Die Daten bezüglich der resultierenden Überlappung zwischen dem aktuellen Bild und dem zuvor gespeicherten Bild werden an die Stitchingphase weitergeleitet, wo diese Daten das Bestimmen der Platzierung der sich qualifizierenden Bilder in dem Panoramabild unterstützen.
Der von dem Entscheidungsengine 230 durchgeführte Entscheidungsprozess verwendet die beiden folgenden Grundregeln: (a) falls die Überlappung mit dem letzten gewählten Einzelbild zwischen den erforderlichen Spielräumen liegt, Prüfen auf lokale Bewegung (im Vergleich mit dem vorausgegangenen gewählten Einzelbild) in dem Überlappungsgebiet, und (b) falls die lokale Bewegung gering ist, Behalten (engl. keep) des Einzelbilds, da es sich für das Panorama-Stitching qualifiziert. Alternative Ausführungsformen können ebenfalls Einzelbilder, die die Einzelbildüberlappungsanforderungen erfüllen, aber nicht die Anforderungen für lokale Bewegung, als Kandidateneinzelbilder zur Verwendung beim Panorama-Stitching ”festhalten” (engl. hold), falls keine nachfolgenden, sich voll qualifizierenden Kandidateneinzelbilder erfasst werden. Die ”festgehaltenen” Einzelbilder können verworfen werden, falls ein nachfolgendes Einzelbild erfasst wird, das alle qualifizierenden Anforderungen erfüllt.
Sich qualifizierende Einzelbilder werden zur weiteren Verwendung als Referenzeinzelbilder einbehalten; ansonsten kann der Prozess das sich nicht qualifizierende aktuelle Einzelbild verwerfen und prüft das nächste zu verarbeitende gewählte Einzelbild, das bevorzugt das nächste Einzelbild in der Bildsequenz ist. Dieser automatisierte Prozess verwendet signifikante Abschnitte eines erfassten Bilds, gemäß einem kleinsten Schwellwert, und reduziert dadurch die Anzahl der zum Generieren eines ganzen Panoramabilds erforderlichen Stitches. Außerdem wird ein höherwertiges Panoramabild dadurch erreicht, dass die Notwendigkeit vermieden wird, dass der Benutzer beim Erfassen der Sequenz von Bildern leitend eingreift. Somit werden durch die Ausführungsformen der vorliegenden Erfindung mehrere Mängel des oben beschriebenen Stands der Technik überwunden, zum Beispiel wird eine Bildqualitätsreduktion aufgrund einer großen Anzahl von Stitches vermieden, die Komplexität bei der Verwendung wird stark reduziert, durch das Stitching verursachte Fehler, die durch eine unzureichende Ausrichtung verursacht werden, werden stark reduziert und die Effekte einer lokalen Bewegung innerhalb des Panoramabilds werden im Wesentlichen eliminiert.
Es folgt eine Beschreibung der Gesamtmethodik, die bei den Ausführungsformen der vorliegenden Erfindung verwendet wird. Eine Streaming-Videoeingabe kann mit einer beliebigen Rate ankommen, allgemein höher als 10 Einzelbilder pro Sekunde, in der Regel 30 Einzelbilder pro Sekunde, und mit einer beliebigen Auflösung. Der Algorithmus kann mit den folgenden Parametern konfiguriert werden:

1. Der zu verwendende Teil des ankommenden Bilds – die ankommenden Bilder können als Ganzes verwendet oder auf eine kleinere Größe zugeschnitten werden.
2. Das Ausmaß der gewünschten Überlappung zwischen zwei Bildern in dem Panoramabild.
3. Die Anzahl der Bilder, die das Panoramabild umfassen werden.

Beispielsweise kann man bei einer Ausführungsform der Erfindung entscheiden, nur den mittleren Abschnitt jedes Einzelbilds zu verwenden (das können 50% des gesamten Einzelbilds sein), mit einer Überlappung von 50% zwischen den gewählten Halbbildern. Bei diesem Beispiel beträgt die erforderliche Gesamtüberlappung eines Einzelbilds mit einem vorausgegangenen gewählten Einzelbild somit 75%. Falls bei Verwendung der oben erwähnten beispielhaften Werte ein 1280×720-Pixel-Videostrom verwendet wird, wird somit, nachdem das aktuelle Einzelbild um 1280 × 0,25 = 320 Pixel horizontal bezüglich eines vorausgegangenen gewählten Einzelbilds verschoben ist, das aktuelle Einzelbild gespeichert. Dieses gespeicherte Einzelbild kann nun das gewählte Referenzeinzelbild werden. Bei einer weiteren Ausführungsform und nicht als Beschränkung kann man eine Überlappung zwischen den Halbbildern von 25% fordern, und dann beträgt die erforderliche Überlappung zwischen gewählten Einzelbildern 37,5%. Durch die Ausführungsformen mit diesen beispielhaften Einstellungen wird das signifikante Problem der lokalen Bewegung, das man in Panoramabildlösungen nach dem Stand der Technik sieht, überwunden.
Nunmehr unter Bezugnahme auf 3 werden die folgenden Schritte durchgeführt, bevorzugt, aber nicht notwendigerweise, für jedes ankommende Einzelbild, um das Einzelbild mit der korrekten Überlappung bezüglich des vorausgegangenen gewählten Einzelbilds zu identifizieren:
In Schritt 310 wird das Einzelbild zur Bewegungsschätzung herunterskaliert. Dies gestattet, eine große Bewegung entlang der Bewegungsachse (X im Fall einer horizontalen Bewegung und Y im Fall einer vertikalen Bewegung) bei kürzerer Rechenzeit zu finden.
In Schritt 320 wird dann die Bewegungsschätzung (ME – Motion Estimation) bezüglich des zuvor gewählten Einzelbilds durchgeführt. Um eine Akkumulation von ME-Fehlern zu vermeiden, wird die ME bezüglich des zuvor gewählten Einzelbilds (anstatt des unmittelbar vorausgegangenen Einzelbilds in dem Videostrom, notwendigerweise) mit einer Anfangsvorhersage der Bewegung durchgeführt. So finden und korrigieren die Ausführungsformen nur den Fehler in der Vorhersage. Die Vorhersage der Bewegung des aktuellen Einzelbilds wird als die Bewegung des unmittelbar vorausgegangenen Einzelbilds bezüglich des vorausgegangenen gewählten Einzelbilds berechnet, mit einer Addition einer Bewegungsvorhersage des Schritts von dem unmittelbar vorausgegangenen Einzelbild zu dem aktuellen Einzelbild. Es wird angenommen, dass die vorhergesagte Bewegung die gleiche ist wie die Bewegung zwischen den beiden vorausgegangenen Einzelbildern.
In Schritt 330 wird nach dem Berechnen des Fehlers in der Vorhersage dieser Wert zu der Vorhersage addiert, um die korrekte Bewegung des aktuellen Einzelbilds bezüglich des vorausgegangenen gewählten Einzelbilds herzustellen.
In Schritt 340 beträgt die Ausgabe der ME-Vorhersage einige hunderte von Bewegungsvektoren (MV – Motion Vectors). Die robusten MVs werden aus diesem Pool gewählt. Dann wird ein 2D-Histogramm dieser MVs angelegt. Ein einzelner MV wird für jedes Einzelbild als derjenige gewählt, der dem größten Bin in dem Histogramm entspricht. Zusätzliche Regeln werden auf diesen MV angewendet, wie etwa, falls einige wenige MVs mit ähnlichen Richtungen sehr hohe Histogrammwerte aufweisen, dann wird ein einzelner MV als eine gewichtete Summe dieser berechnet.
In Schritt 350 ist im Fall einer horizontalen Bewegung die einzige, in der Regel interessierende Komponente die X-Komponente des MV (die Y-Komponente wird als ein Indikator eines unerwünschten senkrechten Abdriftens verwendet, der verwendet wird, um den Benutzer zu warnen, die Handbewegung des Benutzers zu korrigieren). Die X-Bewegung zeigt an, wann ein Einzelbild erreicht worden ist, das die gewünschte Überlappung mit einem vorausgegangenen gewählten Einzelbild aufweist.
In Schritt 360 wird das Einzelbild auf eine lokale Bewegung hin getestet, falls die erforderlichen Überlappungsspielräume erreicht worden sind. Durch Verwenden der Differenz zwischen den berechneten MVs der aktuellen und der vorausgegangenen Einzelbilder werden ihre Überlappungsbereiche gefunden und registriert. Die Bilder werden in entsprechende Blöcke zur Analyse unterteilt, und in jedem Block werden die Beleuchtungswerte der beiden Bilder subtrahiert und die Anzahl von Pixeln in jedem Block mit einer Differenz bei dem Pixelbeleuchtungswert für die beiden Bilder, der einen vordefinierten Schwellwert übersteigt, werden summiert. Falls ein großer Prozentsatz der Blöcke einen hohen Wert für die Anzahl von Pixeln mit hohen Beleuchtungswertdifferenzen aufweist, wird angenommen, dass das Einzelbild eine große lokale Bewegung enthält. Ein derartiges Einzelbild wird dann bevorzugt verworfen, und die Verarbeitung geht mit dem nächsten Einzelbild weiter (d. h. mit Schritt 310, Verwenden des nächsten Einzelbilds). Ansonsten geht die Ausführung des Algorithmus mit dem unten beschriebenen Schritt 370 weiter. Eine Ausnahme bei dieser Phase tritt auf, falls das ferne Ende der Überlappungsspielräume erreicht worden ist. In diesem Fall wird das aktuelle Einzelbild trotz der lokalen Bewegung für die weitere Verarbeitung verwendet. Danach geht die Verarbeitung mit Schritt 310 weiter, unter Verwendung des nächsten Einzelbilds.
In Schritt 370 wird das Einzelbild für die weitere Verarbeitung gespeichert, falls das Einzelbild den Anforderungen entspricht. Das Referenzeinzelbild wird durch dieses Einzelbild ersetzt und die Verarbeitung geht weiter mit Schritt 310, unter Verwendung des nächsten Einzelbilds.
Die Ausführung dieses Algorithmus wird wiederholt, bis die ganze Panoramaansicht erfasst ist, wie dies von dem Benutzer der Erfassungsvorrichtung gewünscht sein mag. Der Fotograf kann gewarnt werden, falls Probleme auftreten, falls beispielsweise Einzelbildbewegungsbeschränkungen verletzt werden, Einzelbildüberlappungsbeschränkungen verletzt werden, es zu einem übermäßigen Kamerakippen in einer beliebigen Orientierung kommt und/oder falls unzureichende sich qualifizierende Einzelbilder gespeichert werden. Die Einzelbildbewegungsbeschränkungen können beispielsweise durch übermäßige lokale Bewegung, übermäßige oder unzureichende Schwenkgeschwindigkeit und/oder übermäßiges Handbewegungsabdriften in einer senkrechten Richtung zu der Schwenkrichtung verletzt werden. Als Folge solcher Probleme können entsprechende Benutzernachrichten generiert werden.
Eine mögliche Alternative besteht darin, mit der lokalen Bewegung in den Einzelbildern in der Stitchingphase fertig zu werden (d. h. eine lokale Bewegung in dem Überlappungsgebiet zwischen Bildern wird ein visuelles Artefakt in das endgültige Ergebnis einführen). In der Stitchingphase ist es möglich zu versuchen, die beiden überlappten Bilder an Stellen zusammenzufügen, die keine signifikante lokale Bewegung enthalten. Versuche haben jedoch gezeigt, dass das resultierende Panorama in diesem Fall unter Umständen immer noch einige Stitching-Artefakte aufweist.
Ein weiteres alternatives Verfahren besteht darin, einfach die ganze Videosequenz zu speichern, falls genügend Speicherressourcen zur Verfügung stehen, und dann später die besten Einzelbilder für das Panorama zu wählen. In diesem Fall kann man sich effektiv zeitlich vor- und zurückbewegen, und die besten Einzelbilder werden gewählt, aber nicht nur auf der Basis von vorausgegangenen Einzelbildern. Bei einer derartigen Ausführungsform ist eine Warnung an den Fotografen über Probleme möglicherweise nicht machbar im Gegensatz zu Ausführungsformen der Echtzeitbildauswertung.
Die Ausdrücke ”ein” oder ”eine/einer” sollen, wie sie hier verwendet werden, einen oder mehr als einen bedeuten. Der Ausdruck ”mehrere” soll zwei oder mehr als zwei bedeuten. Der Ausdruck ”ein anderer” ist als ein zweiter oder weiterer definiert. Die Ausdrücke ”enthaltend” und/oder ”mit” sind offen (z. B. umfassend). In diesem Dokument bedeutet eine Bezugnahme auf ”eine Ausführungsform”, ”gewisse Ausführungsformen”, ”eine Ausführungsform” oder einen ähnlichen Ausdruck durchweg, dass ein bestimmtes Merkmal, eine bestimmte Struktur oder eine bestimmte Charakteristik, die in Verbindung mit der Ausführungsform beschrieben sind, in wenigstens einer Ausführungsform enthalten ist. Somit bezieht sich das Auftreten von solchen Ausdrücken an verschiedenen Stellen in der gesamten Beschreibung nicht notwendigerweise immer auf die gleiche Ausführungsform. Ferner können die bestimmten Merkmale, Strukturen oder Charakteristika auf beliebige geeignete Weise an einer oder mehreren Ausführungsformen ohne Beschränkung kombiniert werden. Der Ausdruck ”oder”, wie er hier verwendet wird, ist als inklusiv auszulegen oder so, dass er eine oder eine beliebige Kombination bedeutet. Deshalb bedeutet ”A, B oder C” ”ein beliebiges der folgenden: A; B; C; A und B; A und C; B und C; A, B und C”. Eine Ausnahme dieser Definition tritt nur dann auf, wenn sich eine Kombination von Elementen, Funktionen, Schritten oder Handlungen auf gewisse Weise inhärent gegenseitig ausschließt.
Gemäß den Praktiken von Fachleuten beim Computerprogrammieren werden unten Ausführungsformen unter Bezugnahme auf Operationen beschrieben, die von einem Computersystem oder einem ähnlichen Elektroniksystem durchgeführt werden. Solche Operationen werden manchmal als von einem Computer ausgeführt bezeichnet. Es versteht sich, dass Operationen, die symbolisch dargestellt sind, die Manipulation von elektrischen Signalen, die Datenbits darstellen, durch einen Prozessor wie etwa eine zentrale Verarbeitungseinheit sowie eine anderweitige Verarbeitung von Signalen und die Pflege von Datenbits an Speicherstellen wie etwa im Systemspeicher beinhalten. Die Speicherstellen, wo Datenbits gepflegt werden, sind physische Stellen, die den Datenbits entsprechende bestimmte elektrische, magnetische, optische oder organische Eigenschaften besitzen.
Bei Implementierungen in Software sind die Elemente der Ausführungsformen im Wesentlichen die Codesegmente zum Ausführen der erforderlichen Aufgaben. Die nicht vorübergehenden Codesegmente können in einem prozessorlesbaren Medium oder computerlesbaren Medium gespeichert sein, was ein beliebiges Medium beinhalten kann, das Informationen speichern oder transferieren kann. Zu Beispielen für solche Medien zählen eine Elektronikschaltung, ein Halbleiterspeicherbauelement, ein Festwertspeicher (ROM), ein Flash-Speicher oder ein anderer nicht flüchtiger Speicher, eine Diskette, eine CD-ROM, eine optische Platte, eine Festplatte, ein faseroptisches Medium usw. Die Benutzereingabe kann eine beliebige Kombination aus einer Tastatur, Maus, einem Touchscreen, einer Sprachbefehlseingabe usw. umfassen. Die Benutzereingabe kann analog verwendet werden, um eine Browserapplikation, die auf der Rechenvorrichtung eines Benutzers ausgeführt wird, zu einer oder mehreren Netzwerkressourcen wie etwa Webseiten zu lenken, von denen aus auf Rechenressourcen zugegriffen werden kann. Ausführungsformen können auch eine integrierte Schaltungsanordnung umfassen, die Schaltungselemente enthält, die spezifische Systemoperationen ausführen kann.
Während die Erfindung in Verbindung mit speziellen Beispielen und verschiedenen Ausführungsformen beschrieben worden ist, versteht der Fachmann ohne Weiteres, dass viele Modifikationen und Adaptionen der hier beschriebenen Erfindung ohne Abweichung von dem Gedanken und Schutzbereich der Erfindung, wie im Folgenden beansprucht, möglich sind. Somit ist deutlich zu verstehen, dass diese Anmeldung nur als Beispiel und nicht als Beschränkung des Schutzbereichs der unten beanspruchten Erfindung angefertigt wurde. Die Beschreibung soll alle Variationen, Verwendungen oder Adaptionen der Erfindung abdecken, die allgemein den Prinzipien der Erfindung folgen, und einschließlich solcher Abweichungen von der vorliegenden Offenbarung, wie sie in die bekannte und übliche Praxis innerhalb der Technik fallen, auf die sich die Erfindung bezieht.

Claims

Verfahren, umfassend: für wenigstens einige gewählte Einzelbilder einer Bildsequenz: Auswerten von Einzelbildüberlappungsbeschränkungen; Auswerten von Einzelbildbewegungsbeschränkungen; selektives Speichern eines aktuellen Einzelbilds als ein sich qualifizierendes Einzelbild, falls die Einzelbildüberlappungsbeschränkungen und die Einzelbildbewegungsbeschränkungen erfüllt sind; und Ausgeben der sich qualifizierenden Einzelbilder.
Verfahren nach Anspruch 1, wobei das Verfahren in Echtzeit arbeitet.
Verfahren nach Anspruch 1 oder 2, wobei alle Einzelbilder einer Bildsequenz der Reihe nach verarbeitet werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Bildsequenz während einer Bildsequenzerfassung verarbeitet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Bildsequenz nach der Bildsequenzerfassung verarbeitet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Bildsequenz eine Menge von aufeinanderfolgend erfassten Einzelbildern umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Bildsequenz eine unkomprimierte Videosequenz oder eine komprimierte Videosequenz ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Bildsequenz während eines Schwenks einer Zielszene von einer Digitalkamera erfasst wird.
Verfahren nach einem der vorhergehenden Ansprüche, welches ferner ein Bereitstellen eines für die Herstellung eines zusammengesetzten Panoramabilds erforderlichen Zählwerts von Einzelbildern umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Einzelbildüberlappungsbeschränkungen einen spezifizierten Richtungsüberlappungsprozentsatz bezüglich eines vorausgegangenen sich qualifizierenden Einzelbilds umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Einzelbildbewegungsbeschränkungen eine größte zulässige lokale Bewegung innerhalb eines Einzelbildüberlappungsbereichs umfassen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Einzelbildbewegungsbeschränkungen ausgewertet werden durch: Durchführen einer Bewegungsschätzung eines aktuellen Einzelbilds bezüglich eines vorausgegangenen gewählten Einzelbilds; Unterteilen von überlappenden Einzelbildbereichen zwischen dem aktuellen Einzelbild und dem vorausgegangenen gewählten Einzelbild in Blöcke für die nachfolgende Analyse; Summieren der Anzahl von Pixeln in jedem Block mit einer Differenz bei dem Pixelbeleuchtungswert für das aktuelle Einzelbild und dem vorausgegangenen gewählten Einzelbild, die einen vordefinierten Schwellwert übersteigt; und selektives Bestimmen, dass eine große lokale Bewegung die Einzelbildbewegungsbeschränkungen gemäß dem Prozentsatz von Blöcken mit Pixelsummen, die hohe Beleuchtungswertdifferenzen anzeigen, verletzt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei ein erstes Einzelbild in der Bildsequenz standardmäßig gespeichert und als ein sich qualifizierendes Einzelbild ausgegeben wird.
Verfahren nach einem der vorhergehenden Ansprüche, welches ferner ein Einbehalten von sich qualifizierenden Einzelbildern zur weiteren Verwendung als Referenzeinzelbilder während einer weiteren Verarbeitung der Bildsequenz umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, welches ferner ein Stitching der ausgegebenen Einzelbilder zu einem zusammengesetzten Panoramabild für die Ausgabe und/oder Speicherung umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, welches ferner ein Herunterskalieren der zu verarbeitenden Einzelbilder umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, welches ferner ein Beschneiden der zu verarbeitenden Einzelbilder umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, welches ferner ein Warnen eines Benutzers umfasst, falls ein Fehlerzustand auftritt, der wenigstens eines umfasst aus: die Einzelbildbewegungsbeschränkungen werden verletzt, die Einzelbildüberlappungsbeschränkungen werden verletzt, ein übermäßiges Kamerakippen erfolgt in einer beliebigen Orientierung und unzureichende sich qualifizierende Einzelbilder werden gespeichert.
Verfahren nach Anspruch 18, wobei die Einzelbildbewegungsbeschränkungen durch wenigstens eines der Folgenden verletzt werden: übermäßige lokale Bewegung, übermäßige Schwenkgeschwindigkeit, unzureichende Schwenkgeschwindigkeit und übermäßiges Handbewegungsabdriften in einer senkrechten Richtung zu einer Schwenkrichtung.
Verfahren nach einem der vorhergehenden Ansprüche, wobei Einzelbildüberlappungsbeschränkungen für zwei bestimmte Einzelbilder der Bildsequenz gegenüber einem vordefinierten Überlappungsspielraum ausgewertet werden und Einzelbildbewegungsbeschränkungen für die beiden bestimmten Einzelbilder und wenigstens ein zusätzliches Einzelbild der Bildsequenz innerhalb des vordefinierten Überlappungsspielraums ausgewertet werden.
Kamera, die für wenigstens einige gewählte Einzelbilder einer Bildsequenz: Einzelbildüberlappungsbeschränkungen auswertet; Einzelbildbewegungsbeschränkungen auswertet; selektiv ein aktuelles Einzelbild als ein sich qualifizierendes Einzelbild speichert, falls die Einzelbildüberlappungsbeschränkungen und die Einzelbildbewegungsbeschränkungen erfüllt sind; und die sich qualifizierenden Einzelbilder ausgibt.
Computerprogrammprodukt, umfassend ein maschinenlesbares Medium, das nicht-vorübergehende Programmanweisungen darauf berührbar verkörpert, die bei Ausführung durch die Maschine bewirken, dass die Maschine für wenigstens einige gewählte Einzelbilder einer Bildsequenz: Einzelbildüberlappungsbeschränkungen auswertet; Einzelbildbewegungsbeschränkungen auswertet; selektiv ein aktuelles Einzelbild als ein sich qualifizierendes Einzelbild speichert, falls die Einzelbildüberlappungsbeschränkungen und die Einzelbildbewegungsbeschränkungen erfüllt sind; und die sich qualifizierenden Einzelbilder ausgibt.
Integrierte Schaltung, umfassend: für wenigstens einige gewählte Einzelbilder einer Bildsequenz: ein erstes Schaltungselement zum Auswerten von Einzelbildüberlappungsbeschränkungen; ein zweites Schaltungselement zum Auswerten von Einzelbildbewegungsbeschränkungen; ein drittes Schaltungselement zum selektiven Speichern eines aktuellen Einzelbilds als ein sich qualifizierendes Einzelbild, falls die Einzelbildüberlappungsbeschränkungen und die Einzelbildbewegungsbeschränkungen erfüllt sind; und ein viertes Schaltungselement zum Ausgeben der sich qualifizierenden Einzelbilder.