DE69628866T2

DE69628866T2 - Adaptive Interpolation von Farbflächen in einer elektronischen Farbkamera mit nur einem Sensor

Info

Publication number: DE69628866T2
Application number: DE69628866T
Authority: DE
Inventors: James E. Jr. Rochester Adams; John F. Jr. Rochester Hamilton
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 1995-03-17
Filing date: 1996-03-04
Publication date: 2004-06-03
Anticipated expiration: 2016-03-05
Also published as: JPH08298670A; EP0732858B1; EP0732858A3; US5506619A; JP3871072B2; EP0732858A2; DE69628866D1

Description

Querverweis zu ähnlichen Anmeldungen
Bezug wird auf die ebenfalls dem Anmelden zugewiesene U.S. Anmeldung Seriennummer 08/407,436, eingereicht am 17. März 1995 für James E. Adams, Jr. und John F. Hamilton, Jr. genommen, die hiermit gleichzeitig eingereicht wird und die nunmehr als US-5,506,619 veröffentlicht ist.
Gebiet der Erfindung
Die Erfindung bezieht sich auf das Gebiet der elektronischen Bildgebung (electronic imaging) und ist insbesondere für elektronische Festbildgebung mittels eines elektronischen Aufnahmegerätes bzw. Still-Camera mit einem einzelnen Farbsensor und Speicher geeignet.
Hintergrund der Erfindung
Bei elektronischer Farbbildgebung, ist es wünschenswert, gleichzeitig Bilddaten in drei Farbebenen, normalerweise rot, grün und blau, zu erfassen. Wenn die drei Farbebenen kombiniert werden, ist es möglich, hochqualitative Farbbilder zu erzeugen. Die Erfassung dieser drei Sätze von Bilddaten kann auf einer Vielzahl von Wegen erfolgen. In der elektronischen Fotografie wird dieses manchmal mittels einer einzelnen zweidimensionalen Anordnung von Sensoren, die von einem Muster aus roten, grünen und blauen Filtern abgedeckt ist, erreicht. Dieser Sensortyp ist auch als Farbfiltermatrix oder CFA (color filter array) bekannt. Unten sind die roten (R), grünen (G) und blauen (B) Pixel in ihrer üblichen Anordnung in einem CFA-Sensor dargestellt.
Wenn ein Farbbild mittels einer CFA erfasst wird, ist es nötig, die Rot-, Grün- und Blauwerte zu interpolieren, so dass es eine Schätzung für alle drei Farbwerte für jede Sensorstelle gibt. Nach Ausführung der Interpolation hat jedes Bildelement, oder Pixel, drei Farbwerte, und kann mittels einer Vielzahl von bekannten Bildverarbeitungstechniken, je nach Anforderungen des Systems, verarbeitet werden. Einige Beispiele für die Notwendigkeit der Verarbeitung sind Bildschärfenerhöhung, Farbkorrekturen oder Rasterung (half toning).
Im Folgenden wird gezeigt, wie rote, grüne und blaue Pixel in einer Farbfiltermatrix angeordnet werden können. Für eine detaillierte Beschreibung wird auf das U.S. Patent Nr. 3,971,065 bei Bayer verwiesen.
Weiterhin wird auf das Dokument EP-A-0 632 663 aufmerksam gemacht, das eine Vorrichtung und Verfahren für eine adaptive Interpolation offenbart, die auf ein digitalisiertes Bildsignal angewendet wird, das von einem Bildsensor mit Farbfotoplätzen, die eine Vielzahl von Farbwerten, jedoch nur eine Farbe pro Fotoplatz, generiert, erhalten wird. Ein digitaler Prozessor erhält Gradientenwerte aus den Differenzen zwischen Luminanzwerten in senkrechter und horizontaler Bildrichtungen. Die Gradientwerte werden mit einem programmierbaren Schwellenwert verglichen, um eine der Richtungen als die bevorzugte Orientierung für die Interpolation des zusätzlichen Luminanzwertes auszuwählen. Die Interpolation wird dann an Werten ausgeführt, die mit der bevorzugten Orientierung übereinstimmen.
Weiterhin wird auf das Dokument Patent Abstracts of Japan, Vol. 018, Nr. 546 (P-1814), 18. Oktober 1994, und JP 06-195457 aufmerksam gemacht, die eine Schaltung zum Eliminieren der Kantenbetonung in eine unnötige Richtung offenbaren. Für die Detektierung des Vorliegens einer Kantenbetonung wird der Laplace-Operator für vier Richtungen berechnet.
Gemäß der vorliegenden Erfindung wird eine Vorrichtung zur Verarbeitung eines digitalisierten Bildsignales erhalten von einem Bildsensor gemäß An spruch 1 vorgesehen. Bevorzugte Ausführungsbeispiele der Erfindung werden in den Unteransprüchen offenbart.
Zusammenfassung der Erfindung
Das Ziel dieser Erfindung ist es, eine verbesserte Vorrichtung zur Schätzung der fehlenden Pixelwerte in einer CFA vorzusehen.
Das Ziel wird erreicht, mittels einer Vorrichtung zur Verarbeitung eines digitalisierten Bildsignals, das von einem Bildsensor erhalten wird, und zwar mit Farbfotoplätzen (color photosites), die in Zeilen und Spalten ausgerichtet sind, und mindestens drei verschiedene Farbwerte, jedoch nur ein Farbwert für jede Fotoplatzstelle generieren, wobei Folgendes vorgesehen ist: Mittel zum Interpolieren von Farbwerten für jede Fotoplatzstelle, so dass sie drei verschiedene Farbwerte besitzt, wobei die Interpolationsmittel Folgendes aufweisen:
Mittel zum Speichern des digitalisierten Bildsignals; und
einen Prozessor, der zusammen mit den Speichermitteln operiert, und zwar zum Generieren eines geeigneten Farbwertes, der an einer Fotoplatzstelle fehlt, und zwar durch die Interpolation eines zusätzlichen Farbwertes für solche Fotoplatzstellen aus Farbwerten von Farben, die sich von der Farbe des fehlenden Farbwertes unterscheiden, und zwar an nahegelegenen Fotoplatzstellen, wobei der Prozessor Folgendes beinhaltet:
Mittel ansprechend auf das digitale Bildsignal zum Erhalt von Laplacian-Werten zweiter Ordnung in mindestens zwei Bildrichtungen aus nahegelegenen Fotoplätzen der gleichen Spalte und Zeile;
Mittel ansprechend auf die Laplacian-Werte zweiter Ordnung zur Auswahl einer bevorzugten Orientierung für die Interpolation des fehlenden Farbwerts; und Mittel zum Interpolieren des fehlenden Farbwerts aus nahegelegenen mehre
ren Farbwerten, ausgewählt in Übereinstimmung mit der bevorzugten Orientierung.
Die Vorteile der Erfindung sind (1) ein reicherer Satz von Nachbarschaftsklassifikationen liefert die benötigten Freiheitsgrade um schwierige Bildelemente, wie z. B. spiegelnde bzw. glänzende Highlights, die die vorherigen Ansätze weniger zufriedenstellend gehandhabt haben, auf geeignete Weise zu rekonstruieren; und (2) eine Recheneffizienz hinsichtlich der Anforderungen an Ausführungszeit und Speicherplatz.
Kurze Beschreibung der Zeichnungen
1 ist ein Blockdiagramm einer elektronischen Still-Kamera, die Interpolationsverarbeitung gemäß der Erfindung verwendet;
2 ist ein Blockdiagramm der Logik der Interpolationsverarbeitungstechnik, die in Verbindung mit der Erfindung verwendet wird;
3 ist ein detailliertes Blockdiagramm der Logik des Interpolationsluminanzabschnittes der 2; und
4 ist ein detaillierteres Blockdiagramm des Chrominanzabschnittes der 2.
Detaillierte Beschreibung der Erfindung
Da elektronische Kameras mit Einzelsensor, die Farbfilteranordnungen bzw. Matrizen verwenden bekannt sind, wird sich die vorliegende Erfindung insbesondere auf Elemente richten, die einen Teil der Vorrichtung und des Verfahrens gemäß der vorliegenden Erfindung bilden, oder direkt mit diesen zusammenwirken. Elemente, die nicht explizit hierin gezeigt oder beschrieben sind, können von denen auf dem Fachgebiet bekannten Elementen ausgewählt werden.
Anfänglich Bezug nehmend auf 1 und 2 ist eine elektronische Still-Kamera bzw. Standbildaufnahmegerät im Allgemeinen in einen Eingabeabschnitt 2 und einen Interpolations- und Aufnahmeabschnitt 4 unterteilt. Der Eingabeabschnitt 2 beinhaltet einen Belichtungsabschnitt 10 um Bildlicht von einem Gegenstand (nicht dargestellt) in Richtung eines Bildsensors 12 zu len ken. Obwohl dies nicht dargestellt ist, beinhaltet der Belichtungsabschnitt 10 herkömmliche Optiken zum Lenken des Bildlichtes durch eine Blende, die eine optische Blende bzw. Durchlass reguliert, sowie einen Verschluss, der die Belichtungszeit reguliert. Der Bildsensor 12, der eine zweidimensionale Anordnung von Fotoplätzen (photosites) entsprechend den Bildelementen des Bildes beinhaltet, ist eine herkömmliche ladungsgekoppelte Vorrichtung (CCD (charged coupled device)) unter Verwendung von entweder bekannten Interlinientransfer- oder Rahmentransfertechniken. Der Bildsensor 12 wird durch eine Farbfiltermatrix (CFA (color filter array)) 13, bekannt als die Bayer-Anordnung, abgedeckt, die in dem U.S. Patent Nr. 3,971,065 beschrieben ist. In der Bayer-Geometrie deckt jede Farbe einen Fotoplatz, oder Bildelement (Pixel) des Sensors ab. Insbesondere sind die Chrominanzfarben (Rot und Blau) in einem Damenbrett- bzw. Schachbrettmuster von Luminanzfarben (Grün) verstreut. Der Bildsensor 12 wird Bildlicht ausgesetzt, so dass analoge Bildladungsinformation in jeweiligen Fotoplätzen generiert wird. Die Ladungsinformation wird an eine Ausgabediode 14 angelegt, die die Ladungsinformation in analoge Bildsignale entsprechend den jeweiligen Bildelementen konvertiert. Die analogen Bildsignale werden an einen A/D-Wandler 16 angelegt, der ein digitales Bildsignal von dem analogen Eingabesignal für jedes Bildelement generiert. Die digitalen Signale werden an einen Bildpuffer 18 angelegt, was ein Speicher mit wahlfreiem Zugriff (RAM (random access memory)) mit einer Speicherkapazität für eine Vielzahl von Standbildern sein kann.
Ein Steuerprozessor 20 steuert im Allgemeinen den Eingabeabschnitt 2 der Kamera durch Initiieren und Steuern der Belichtung (durch Betrieb der Blende und des Verschlusses (nicht dargestellt) in dem Belichtungsabschnitt 10), durch Generierung der horizontalen und senkrechten Taktung, die benötigt wird, um den Bildsensor 12 zu betreiben und zur Taktung der Bildinformation hiervon, und durch Freigabe des A/D-Wandlers 16 zusammen mit dem Bildpuffer 18 für jedes Signalsegment in Beziehung zu einem Bildelement (der Steuerprozessor 20 würde normalerweise einen Mikroprozessor, der mit einer Systemtimingschaltung gekoppelt ist, beinhalten). Sobald eine bestimmte Anzahl von Digitalbildsignalen in dem Bildpuffer 18 akkumuliert wurde, werden die gespeicherten Signale an einen Digitalsignalprozessor 22 angelegt, der die Durchlassverarbeitungsrate für den Interpolations- und Aufnahmeabschnitt 4 der Kamera steuert. Der Digitalsignalprozessor 22 legt einen Interpolationsalgorithmus auf die Digitalbildsignale an, und sendet die interpolierten Signale zu einer herkömmlichen, entfernbaren Speicherkarte 24 über einen Verbinder 26.
Da die Interpolation und die zugehörige Verarbeitung normalerweise über mehrere Schritte auftritt, werden die Zwischenergebnisse des Verarbeitungsalgorithmusses in einem Verarbeitungspuffer 28 gespeichert (der Verarbeitungspuffer 28 kann ebenfalls als ein Teil des Speicherraumes des Bildpuffers 18 konfiguriert werden). Die Anzahl der Bildsignale, die in dem Bildpuffer 18 benötigt werden, bevor die digitale Verarbeitung beginnen kann, hängt von dem Typ der Verarbeitung ab, d. h. für den Beginn einer Nachbarschaftsinterpolation (neighborhood interpolation) muss ein Block von Signalen, die zumindest einen Teil der Bildsignale, die einen Videoframe aufweisen, beinhalten, zur Verfügung stehen. Dementsprechend kann in den meisten Umständen die Interpolation beginnen, sobald der erforderliche Block von Bildelementen in dem Puffer 18 vorliegt.
Der Eingabeabschnitt 2 operiert mit einer Rate, die dem normalen Betrieb der Kamera während der Interpolation entspricht, die mehr Zeit in Anspruch nehmen kann, und wobei die Rate von der Eingaberate relativ abgekoppelt sein kann. Der Belichtungsabschnitt 10 belichtet den Bildsensor 12 mit Bildlicht eine Zeitperiode lang, die von den Belichtungsanforderungen abhängt, und zwar z. B. eine Zeitperiode zwischen 1/1000 Sekunde und mehreren Sekunden. Die Bildladung wird dann von den Fotoplätzen in dem Bildsensor 12 abgetastet (swept), in ein digitales Format konvertiert, und in den Bildpuffer 18 geschrieben. Die Antriebssignale, die von dem Steuerprozessor 20 an den Bildsensor 12, den A/D-Wandler 16 und den Puffer 18 geliefert werden, werden demgemäß generiert, um solch einen Transfer zu erreichen. Die Verarbeitungsdurchlassrate des Interpolations- und Aufnahmeabschnittes 4 wird durch die Geschwindigkeit des Digitalsignalprozessors 22 bestimmt.
Eine wünschenswerte Folge dieser Architektur ist es, dass der Verarbeitungsalgorithmus, der in dem Interpolations- und Aufnahmeabschnitt eingesetzt wird, hinsichtlich der Qualitätsbearbeitung des Bildes im Gegensatz zur Durchlassgeschwindigkeit ausgewählt werden kann. Dies kann natürlich eine Verzögerung zwischen aufeinander folgenden Bildern zur Folge haben, was den Benutzer beeinträchtigen kann, in Abhängigkeit der Zeit zwischen fotografischen Ereignissen. Dies ist ein Problem, da es auf dem Gebiet der elektronischen Bildgebung bekannt und anerkannt ist, dass eine digitale Still-Kamera eine kontinuierliche Aufnahmemöglichkeit für eine sukzessive Sequenz von Bildern vorsehen sollte. Aus diesem Grund sieht der Bildpuffer 18, gezeigt in der 1, eine Speicherung einer Vielzahl von Bildern vor, um es effektiv zu ermöglichen, eine Serie von Bildern mit Videoraten „zu stapeln" bzw. „stack up". Die Größe des Puffers wird so eingerichtet, dass genug aufeinander folgende Bilder aufgenommen werden können, um die meisten Bildaufnahmesituationen abzudecken.
Ein Betriebsanzeigefeld 30 ist mit dem Steuerprozessor 20 verbunden, um Information, die für den Betrieb der Kamera nützlich ist, anzuzeigen. Solche Information kann typische fotografische Daten, wie z. B. Verschlussgeschwindigkeit, Blende, Belichtungsbias, Farbbalance (Auto, Tungsten, Fluoreszenz, Tageslicht), Gebiet/Rahmen, geringe Batterieleistung, schlechtes Licht, Belichtungsmodi (Blende bevorzugt, Verschluss bevorzugt), usw. beinhalten. Weiterhin werden andere Informationen, die für den Kameratyp spezifisch sind, angezeigt. z. B. würde die entnehmbare Speicherkarte 24 normalerweise ein Inhaltsverzeichnis beinhalten, das den Beginn und das Ende eines jeden gespeicherten Bildes kennzeichnet. Dies würde auf dem Anzeigefeld 30 entweder (oder beides) die Anzahl der gespeicherten Bilder oder die Anzahl der verbleibenden Bildspeicherplätze oder der geschätzten verbleibenden Bildspeicherplätze anzeigen.
Der digitale Signalprozessor 22 interpoliert jedes Standvideobild, das in dem Bildpuffer 18 gespeichert ist, gemäß der Interpolationstechnik, die in der 2 gezeigt ist. Die Interpolation von fehlenden Datenwerten an jeder Pixelstelle folgt der Sequenz, die in 2 gezeigt ist; d. h. zuerst wird die Hochfrequenzinformation für die „fehlenden grünen" Pixel (d. h. die roten und blauen Pixelstellen) interpoliert, um die Luminanzwiedergabe zu verbessern und, zweitens, die Farbdifferenzinformation wird an den Hochfrequenzstellen durch bilineare Verfahren interpoliert um die anderen Farben des CFA-Musters zu generieren. In der Implementierung, die in der 2 gezeigt ist, wird eine adaptive Interpolationstechnik in dem Luminanzabschnitt 36 zur Optimierung der Performance des Systems für Bilder mit horizontalen und vertikalen Kanten verwendet. „Fehlende grüne" Pixel werden adaptiv entweder horizontal, vertikal oder zweidimensional interpoliert, und zwar in Abhängigkeit von dem Gradienten festgestellt zwischen den Chrominanz-(rot und blau)-Pixelstellen in den vertikalen und horizontalen Richtungen um den „fehlenden grünen" Pixel herum.
Der erste Schritt zum adaptiven Interpolieren der „fehlenden, grünen" Pixel ist es, ein Interpolationsverfahren auszuwählen. Die Details für diesen Prozess sind in dem Block 40 der 3 dargestellt. Alles in allem gibt es 10 Laplacian- bzw. Laplace-Operatoren, die in Level 1, 2 und 3 unterteilt sind. Der Level 1 Laplacian-Operator entspricht Interpolationsverfahren, die am wahrscheinlichsten erfolgreich sind. Ähnlich entsprechen Level 2 Laplace-Operatoren den am nächstwahrscheinlichsten Verfahren, usw.. Das Vorgabeverfahren (default method) ist dasjenige, das mit der geringsten Wahrscheinlichkeit verwendet wird. Die Laplace-Operatoren werden in dieser Reihenfolge untersucht, so dass die wahrscheinlichsten Bedingungen früh in dem Prozess akzeptiert werden können, und, dadurch durchschnittliche Verarbeitungszeit auf einem Minimum gehalten wird.
Der Prozess startet durch Berechnung des Level 1 Laplace-Operators (Block 50), und findet dann welcher von ihnen den kleinsten absoluten Wert (Block 52) hat. Dieser Wert wird dann verglichen (Block 54) mit dem Level 1 Schwellenwert (60 ist gut geeignet) um festzustellen, ob das hierzu entsprechende Verfahren ausgewählt werden soll. Wenn der Wert kleiner als der Schwellen wert ist, wird das entsprechende Verfahren ausgewählt (Block 76) und Block 40 ist fertig. Wenn der Wert größer als oder gleich dem Schwellenwert ist, dann werden die Level 2 Laplace-Operatoren berechnet (Block 60). Der kleinste absolute Wert wird dann unter den Level 1 und 2 Laplace-Operatoren gefunden (Block 62). Dieser Wert wird dann mit dem Level 2 Schwellenwert (170 funktioniert gut) verglichen (Block 64), um festzustellen, ob das entsprechende Verfahren ausgewählt werden soll. Wenn der Wert geringer als der Schwellenwert ist, wird das entsprechende Verfahren ausgewählt (Block 76) und Block 40 ist fertig. Wenn der Wert größer oder gleich dem Schwellenwert ist, dann werden die Level 3 Laplace-Operatoren berechnet (Block 70). Wiederum wird der kleinste absolute Wert unter den Level 1, 2 und 3 Laplace-Operatoren (Block 72) gefunden. Dieser Wert wird mit dem Level 3 Schwellenwert (250 funktioniert gut) verglichen (Block 74) um festzustellen ob das entsprechende Verfahren ausgewählt werden soll. Wenn der Wert kleiner als der Schwellenwert ist, wird das entsprechende Verfahren ausgewählt (Block 76) und Block 40 ist fertig. Wenn der Wert größer als oder gleich dem Schwellenwert ist, dann wird das Vorgabeinterpolationsverfahren ausgewählt (Block 78) und Block 40 ist fertig.
Der Interpolationsschritt (Block 44) hat zwei Teile, wie es in 4 gezeigt ist. Der erste Teil (Block 80) mittelt die zwei Luminanz-(Grün)-Werte entsprechend dem ausgewählten Interpolationsverfahren. Der zweite Teil (Block 82) addiert einen Korrekturfaktor basierend auf entweder roten oder blauen benachbarten Werten in Abhängigkeit davon, ob der in Frage stehende Pixel durch einen roten oder blauen Filter in der Bayer-Farbfiltermatrix abgedeckt war.
Die Farbdifferenz wird in einem Chromaabschnitt 38 durch Subtrahieren der interpolierten Grünwerte an jeder Chrominanzpixelstelle (Block 46) von dem tatsächlichen Farbpixel für diese Stelle berechnet. Abschließend werden die Farbdifferenzdaten für jede Luminanzpixelstelle interpoliert mittels einer zweidimensionalen bilinearen Interpolation in dem Block 48. Die Daten können an diesem Punkt in ihre Originalkomponenten (RGB) rekonstruiert werden oder als Farbdifferenzsignale für die weitere Verarbeitung belassen werden.
Im Genaueren ist das Folgende eine detaillierte Beschreibung des Betriebes des digitalen Signalprozessors für ein spezifisches Beispiel unter Verwendung der Bayer-Anordnung.
Grünebenenrekonstruktion
Es wird die unten angegebene partielle 5 × 5 Pixelnachbarschaft betrachtet:
Es wird gewünscht G5 vorherzusehen. Es wird angenommen, dass die Beziehung Gi – Ri = konstantüber die 5 × 5 Region näherungsweise wahr ist. Das folgende sind zwei Prädiktoren bzw. Vorhersager für G5: G5 – R5 = (G4 – R4 + G6 – R6)/2 (GL1), G5 – R5 = (G2 – R2 + G8 – R8)/2 (GL2)
Wenn man diese Idee weiter ausdehnt, gibt es neun andere Prädiktoren, die die Information aus der zentralen 3 × 3 Region innerhalb der Nachbarschaft verwenden: G5 – R5 = (G2 – R2 + G2 – R6)/2 (GL3) G5 – R5 =(G6 – R6 + G8 – R8)/2 (GL4) G5 – R5 =(G8 – R8 + G4 – R4)/2 (GL5) G5 – R5 =(G4 – R4 + G2 – R2)/2 (GL6) G5 – R5 = G2 – R2 (GL7) G5 – R5 = G6 – R6 (GL8) G5 – R5 = G8 – R8 (GL9) G5 – R5 = G4 – R4 (GL10) G5 – R5 = (G2 – R2 + G6 – R6 + G8 – R8 + G4 – R4)/4 (GL11)
In all diesen Fällen ist das Problem, dass R2, R4, R6 und R8 unbekannt sind. Gemäß der vorliegenden Erfindung wird angenommen, dass die räumliche Information in der roten Schicht visuell weniger wichtig ist, als die in der grünen Schicht. R2, R4, R6 und R8 wird durch die einfachen Näherungen wie folgt ersetzt. R2 = (R1 + R5)/2 (GL12) R4 = (R3 + R5)/2 (GL13) R6 = (R5 + R7)/2 (GL14) R8 – (R5 + R9)/2 (GL15)
Einsetzen von (12) bis (15) in (1) bis (11) und umsortieren liefert die folgenden Prädiktoren: G5 = (G4 + G6)/2 + (2R5 – R3 – R7 )/4 (GL16) G5 = (G2 + G8)/2 + (2R5 – R1 – R9)/4 (GL17) G5 = (G2 + G6)/2 + (2R5 – R1 – R7)/4 (GL18) G5 = (G6 + G8)/2 + (2R5 – R7 – R9)/4 (GL19) G5 = (G4 + G8)/2 + (2R5 – R3 – R9)/4 (GL20) G5 = (G2 + G4)/2 + (2R5 – R1 – R3)/4 (GL21) G5 = G2 + (R5 – R1)/2 (GL22) G5 = G6 + (R5 – R7)/2 (GL23) G5 = G8 + (R5 – R9)/2 (GL24) G5 = G4 + (R5 – R3)/2 (GL25) G5 = (G2 + G4 + G6 + G8)/4 + (4R5 – R1 – R3 – R7 – R9)/8 (GL26)
Die roten „Korrektur-Ausdrücke" sind tatsächlich Laplace-Operatoren zweiter Ableitung in (16) bis (21) und (26) und Operatoren erster Ableitung in (22) bis (25).
Es ist anzumerken, dass wenn Rs und Bs in unserer 5 × 5 Nachbarschaft getauscht werden, dann liefert ein einfaches Substituieren von Bs für Rs in (16) bis (26) die gewünschten Prädiktoren.
Die verbleibende Aufgabe ist es, den besten oder zumindest einen akzeptablen, guten Prädiktor für eine gegebene Nachbarschaft auszuwählen. Der folgende Ansatz wird gemäß der vorliegenden Erfindung verwendet.
Zuerst werden die roten Korrekturausdrücke für 16 und 17 berechnet. Wenn die Ausdrücke mit dem kleineren absoluten Wert geringer sind als ein gegebener Schwellenwert (wir verwenden 69 in einem 8 bit log space), dann wird der entsprechende Prädiktor verwendet. Bezug genommen wird auf den unten folgenden Pseudocode.
Wenn beide Tests fehlschlagen, wird der nächste „Satz" von Korrekturen berechnet, d. h. die roten Ausdrücke für (18) bis (21). Wenn der kleinste der absoluten Werte für diese Ausdrücke kleiner ist als ein gegebener Schwellenwert (wir verwenden 170 in 8 bit log space) dann wird der entsprechende Prädiktor verwendet. Siehe unten:
Wenn ein Pixel alle bisherigen Tests nicht bestanden hat, werden rote Korrekturausdrücke für (22) bis (25) berechnet und gegen einen gegebenen Schwellenwert getestet (wir verwenden 250 in 8 bit log space). Wenn der minimale absolute Korrekturwert den Schwellenwert besteht, wird der entsprechende Prädiktor verwendet. Siehe unten:
Abschließend, wenn alle Tests nicht bestanden wurden, wird der Prädiktor (26) verwendet.
Rot- und Blauebenenrekonstruktion
Es wird die 3 × 3 Nachbarschaft von unten betrachtet.
Alle grünen sind bekannt. Wiederum wird angenommen, dass Gi – Ri = konstantüber die 3 × 3 Nachbarschaft näherungsweise wahr ist. Aufgrund der wenigeren Anfangsdatenverfügbarkeit sind weniger Prädiktoren im Allgemeinen offenkundig. Betrachtet wird R2: R2 – G2 = (R1 – G1 + R3 – G3)/2 (GL27) R2 – G2 = R1 – G1 (GL28) R2 – G2 = R3 – G3 (GL29)die, wenn diese umgestellt werden, folgendes geben R2 – G2 = (R1 + R3)/2 + (2G2 – G1 – G3)/2 (GL30) R2 = R1 + (G2 – G1) (GL31) R2 = R3 + (G2 – G3) (GL32)
In Analogie für R4: R4 = (R1 + R7)/2 + (2G4 – G1 – G7 )/2 (GL33) R4 = R1 + (G4 – G1) (GL34) R4 = R7 + (G4 – G7) (GL35)
Wenn man R2, R4, R6 und R8 zuerst vorhersieht, können diese verwendet werden um R5 gemäß (16) bis (26) vorherzusehen. Zu beachten ist die Veränderung in den Nennern der Korrekturausdrücke: R5 = (R4 + R6)/2 + (2G5 – G4 – G6)/2 (GL36) R5 = (R2 + R8)/2 + (2G5 – G2 – G8)/2 (GL37) R5 = (R2 + R6)/2 + (2G5 – G2 – G6)/2 (GL38) R5 = (R6 + R8)/2 + (2G5 – G5 – G8)/2 (GL39) R5 = (R4 + R8)/2 + (2G5 – G4 – G8)/2 (GL40) R5 = (R2 + R4)/2 + (2G5 – G2 – G4)/2 (GL41) R5 = R2 + (G5 – G2) (GL42) R5 = R6 + (G5 – G6) (GL43) R5 = R8 + (G5 – G8) (GL44) R5 = R4 + (G5 – G4) (GL45) R5 = (R2 + R4 + R6 + R8)/4 + (4G5 – G2 – G4 – G6 – G8)/4 (GL46)
Die Blauebenenrekonstruktion wird auf analoge Art und Weise ausgeführt.
Die verbleibende Frage ist dieselbe wie in der grünen Ebene: wie wird der beste (oder ausreichend gute) Prädiktor für eine gegebene Nachbarschaft bestimmt.
Für den Fall, der durch die (30) bis (32) abgedeckt ist, wird der folgende Algorithmus verwendet. Es ist zu beachten, dass die Schwellenwerte wieder für Berechnungen, die in 8 bit log space ausgeführt werden, sind:
Die Verwendung von (30) bis (35) erfolgt ähnlich. Die Verwendung von (36) bis (46) ist dieselbe wie die Verwendung von (16) bis (26).
Die Erfindung wurde im Detail mit speziellem Bezug auf bestimmte Ausführungsbeispiele hiervon beschrieben. Es ist jedoch zu verstehen, dass Variationen und Modifikationen innerhalb des Rahmens der Erfindung erfolgen können.

2: Eingabeabschnitt
4: Aufnahmeabschnitt
10: Belichtungsabschnitt
12: Bildsensor
13: Farbfiltermatrix
14: Ausgabediode
16: A/D-Wandler
18: Bildpuffer
20: Steuerprozessor
22: Digitalsignalprozessor
24: entnehmbare Speicherkarte
26: Verbinder
28: Verarbeitungspuffer
30: Anzeigefeld
36: Luminanzabschnitt
38: Chromaabschnitt
40: Block
44: Block
46: Block
48: Block
50: Block
52: Block
54: Block
60: Block
62: Block
64: Block
70: Block
72: Block
74: Block
76: Block
78: Block
80: Block
82: Block

Claims

Eine Vorrichtung zur Verarbeitung eines digitalisierten Bildsignals, erhalten von einem Bildsensor (12) mit Farbfotoplätzen (photosites), ausgerichtet in Zeilen und Spalten, die mindestens drei gesonderte Farbwerte erzeugen, aber nur einen Farbwert für jede Fotoplatzstelle, wobei Folgendes vorgesehen ist: Mittel zum Interpolieren der Farbwerte für jede Fotoplatzstelle, so dass diese drei unterschiedliche Farbwerte hat, wobei die Interpolationsmittel Folgendes aufweisen: Mittel zur Speicherung (18, 28) des digitalisierten Bildsignals; und einen Prozessor (22), der zusammen mit den Speichermitteln arbeitet, um einen entsprechenden Farbwert zu erzeugen, der an einer Fotoplatzstelle fehlt, und zwar durch die Interpolation eines zusätzlichen Farbwertes für derartige Fotoplatzstellen aus Farbwerten von unterschiedlichen Farben als der fehlende Farbwert, und zwar an nahegelegenen Fotoplatzstellen, wobei der Prozessor (22) Folgendes aufweist: Mittel ansprechend auf das digitale Bildsignal zum Erhalt von Laplacian-Werten zweiter Ordnung in mindestens zwei Bildrichtungen aus nahegelegenen Fotoplätzen der gleichen Spalte und Zeile; Mittel ansprechend auf die Laplacian-Werte zweiter Ordnung zur Auswahl einer bevorzugten Orientierung für die Interpolation des fehlenden Farbwerts; und Mittel zur Interpolation des fehlenden Farbwerts aus nahegelegenen, mehreren Farbwerten, ausgewählt in Übereinstimmung mit der bevorzugten Orientierung.
Vorrichtung nach Anspruch 1, wobei die erwähnten Fotoplätze rote, grüne und blaue Farbfotoplätze aufweisen, und zwar ausgerichtet in Zeilen und Spalten, wobei die Mittel zur Interpolation des fehlenden Farbwerts geeignet sind, um die benachbarten Farbwerte der gleichen Farbe zu ermitteln und zu korrigieren, und zwar durch benachbarte Farbwerte eines unterschiedlichen Farbwerts.
Vorrichtung nach Anspruch 1, wobei die bevorzugte Orientierung horizontal ist, ein Farbplatz rot ist und der fehlende Farbwert grün ist, und wobei die benachbarten horizontalen grünen Farbwerte Bemittelt werden und die horizontalen roten Farbwerte einschließlich des roten Farbplatzwertes den Korrekturwert vorsehen.
Vorrichtung nach Anspruch 1, wobei die bevorzugte Orientierung horizontal ist, ein Farbplatz blau ist und der fehlende Farbwert grün ist, und wobei die benachbarten horizontalen grünen Farbwerte Bemittelt werden und horizontale blaue Farbwerte einschließlich des blauen Farbplatzwertes den Korrekturwert vorsehen.
Vorrichtung nach Anspruch 1, wobei die bevorzugte Orientierung horizontal ist, ein Farbplatz grün ist und der fehlende Farbwert rot ist, und wobei die benachbarten horizontalen roten Farbwerte Bemittelt werden und horizontale grüne Farbwerte einschließlich des grünen Farbplatzwertes den Korrekturwert vorsehen.
Vorrichtung nach Anspruch 1, wobei die bevorzugte Orientierung horizontal ist, ein Farbplatz grün ist und der fehlende Farbwert blau ist, und wobei die benachbarten horizontalen blauen Farbwerte Bemittelt werden und horizontale grüne Farbwerte einschließlich des grünen Farbplatzwertes den Korrekturwert vorsehen.
Vorrichtung nach Anspruch 1, wobei die bevorzugte Orientierung vertikal ist, ein Farbplatz rot ist und der fehlende Farbwert grün ist, und wobei die benachbarten vertikalen grünen Farbwerte Bemittelt werden und vertikale rote Farbwerte einschließlich des roten Farbplatzwertes den Korrekturwert vorsehen.
Vorrichtung nach Anspruch 1, wobei die bevorzugte Orientierung vertikal ist, ein Farbplatz blau ist und der fehlende Farbwert grün ist, und wobei die benachbarten vertikalen grünen Farbwerte gemittelt werden und vertikale blaue Farbwerte einschließlich des blauen Farbplatzwertes den Korrekturwert vorsehen.
Vorrichtung nach Anspruch 1, wobei die bevorzugte Orientierung vertikal ist, ein Farbplatz grün ist und der fehlende Farbwert rot ist, und wobei die benachbarten vertikalen roten Farbwerte gemittelt werden und vertikale grüne Farbwerte einschließlich des grünen Farbplatzwertes den Korrekturwert vorsehen.
Vorrichtung nach Anspruch 1, wobei die bevorzugte Orientierung vertikal ist, ein Farbplatz grün ist und der fehlende Farbwert blau ist, und wobei die benachbarten vertikalen blauen Farbwerte gemittelt werden und vertikale grüne Farbwerte einschließlich des grünen Farbplatzwertes den Korrekturwert vorsehen.