DE60023619T2

DE60023619T2 - Bildverarbeitungsvorrichtung zur Verringerung der Abtastfrequenz und zur Interpolation eines Bildsignals von einem Sensor mit Farbfilteranordnung

Info

Publication number: DE60023619T2
Application number: DE60023619T
Authority: DE
Inventors: Toshihiro Uji Sasai
Original assignee: Nucore Technology Inc
Current assignee: Nucore Technology Inc
Priority date: 1999-08-20
Filing date: 2000-08-18
Publication date: 2006-08-10
Anticipated expiration: 2020-08-19
Also published as: EP1081937A3; DE60023619D1; JP2001086522A; JP4361991B2; US6654492B1; EP1081937A2; EP1081937B1

Description

Hintergrund der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung gemäß dem Oberbegriff des Anspruchs 1 und insbesondere auf eine Bildverarbeitungsvorrichtung zum Erzeugen eines Bildes mit hoher Qualität aus einem zweidimensionalen Farbbildsignal, abgetastet durch z. B. ein single-CCD elektronisches Farbkameragerät.
Generell wird in einem elektronischem Bildabtastapparat zum Abtasten eines Bildes ein Bildsensor, wie z. B. ein single mehrfarbiger gefilterter CCD verwendet, der ein Bild mit sämtlichen Farbinformationen (RGB) oder einem Helligkeitswert und Farbunterschiedsignalen für jedes Pixel durch Interpolation erzeugt, angewendet auf einen Pixelwert für ein Bild, welches aus einer Länge von Pixel gebildet ist, die auf eine Matrix auf eine zweidimensionale Ebene gestrahlt werden, wobei jedes von ihnen den Pixelwert von nur einer von einer Vielzahl von Farben hat (erste Farben).
Um ein durch den Bildsensor abgetastetes Bild auf einem Display mit geringerer Anzahl von Pixeln als das Bild anzuzeigen, muss das Originalbild verkleinert werden. In diesem Fall, wenn Pixel, welche das Originalbild bilden, einfach verdünnt ausgegeben werden, werden Daten von dem Originalbild ausgelassen, eine sogenannte Alias-Störung wird erzeugt und die resultierenden Bilder sind lückenhaft. In Folge dessen muss zum Verkleinern eines Bildes das Originalbild in einem größeren Intervall als dem Pixelintervall des Originalbildes abgetastet werden, nachdem die hohe Frequenzkomponente des Originalbildes durch einen Tiefpassfilter gedämpft wird.
Für diese reduzierte Bildverarbeitung kann ein analoger oder digitaler Tiefpassfilter und ein Wiederholungsabtastschaltkreis konventionell für jede Pixelreihe angeordnet sein. In den meisten Fällen wird die Filterberechnungsverarbeitung (convolution Berechnung) durchgeführt, nachdem ein Zwischenbild mit sämtlichen Farbinformationen für jedes Pixel eines Originalbildes erzeugt wird, durch die Verwendung eines DSP (Digitalsignalprozessor).
Bei dieser Art der Berechnungsverarbeitung wird eine Tiefpassfilterverarbeitung für jedes Pixel bei einem Zwischenbild in Einheiten von einer Vielzahl von Pixel durchgeführt, enthaltend in einer vorbestimmten Region, genannt eine Sub-Matrix, wobei die Sub-Matrix auf dem Originalbild verschoben wird, während ein überlappender Teil aus einer vorherigen Submatrix verbleibt.
Jedoch muss das bekannte Verfahren ein Zwischenbild mit sämtlichen Farbinformationen für jedes Pixel eines Originalbildes vor der Filterberechnungsverarbeitung erzeugen. Immer wenn gerade ein Bild angezeigt wird, welches nicht aufgezeichnet werden braucht, z. B. ein Bild, welches auf dem Bildsucher einer Digitalkamera angezeigt wird, um die Perspektive zu bestimmen, wird ein großformatiges Zwischenbild mit einer großen Anzahl von Pixeln erzeugt, um nur ein kleinformatiges Bild mit einer relativ geringen Anzahl von Pixel für den Bildsucher zu erhalten.
Dies verlängert die Verarbeitungsdauer und ein Bild kann nicht in Realzeit erhalten werden. Die Bestimmung der benötigten Perspektive zum Aktualisieren und zum relativ schnellen Anzeigen eines Bildes kann beim praktischen Gebrauch nicht realisiert werden.
Da eine größere Anzahl von Berechnungsprozessen als die Anzahl der Prozesse zum Erhalten eines quantitativ hochwertigen Aufnahmebildes mit hoher Geschwindigkeit durchgeführt werden muss, steigt der Energieverbrauch mit dem Prozess. Die Vorrichtung, wie z. B. eine Digitalkamera, welche mit einer Batterie betrieben wird, kann keine ausreichende Betriebsdauer erreichen.
Die Druckschrift US-A- 5552827 beschreibt eine bekannte Farbvideokamera, umfassend einen CCD-Bildsensor. Digitale Signale mit vier Reihen, produziert auf der Basis der Ausgaben von dem CCD-Bildsensor, werden durch einen Auswahlschaltkreis verwendet, welcher wahlweise digitale Signale von drei Reihen ausgibt. Ein horizontaler Interpolationsschaltkreis und ein vertikaler Interpolationsschaltkreis führt die Interpolationsberechnung auf der Basis der digitalen Signale durch, und gibt jeweils eine Vielzahl von horizontalen Farbsignalen und eine Vielzahl von vertikalen Farbsignalen aus. Ein horizontaler Korrelationsschaltkreis und ein vertikaler Korrelationserkennungsschaltkreis berechnet einen horizontalen Korrelationswert und einen vertikalen Korrelationswert eines spezifischen Pixel in Bezug auf Pixel um den spezifischen Pixel. Horizontale und vertikale Richtungskoeffizienten werden durch einen Koeffizientenberechnungsschaltkreis entsprechend der Korrelationswerte berechnet und die Koeffizienten werden bei einem gewichteten Additionsschaltkreis verwendet, welche die horizontalen Farbsignale und die vertikalen Farbsignale für jede Farbe entsprechend der Koeffizienten zusammen addiert und die Farbsignale des spezifischen Pixel ausgibt.
Entsprechend der Druckschrift EP-A-0472299 ist eine vorbekannte Bildverarbeitungsvorrichtung mit einem Bildaufnahmegerät mit Farbfiltereinrichtungen mit einem Satz von Helligkeitsabschnitten zum Passieren einer Helligkeitskomponente, welche in einer Offset-Weise vorgesehen ist, und einer Vielzahl von Sätzen von Abschnitten zum Passieren unterschiedlicher Farbkomponenten voneinander, wobei die Abschnitte wenigstens einen Farbsatz in einer Offset-Weise aufweisen, um die effektive Auflösung der korrespondierenden Farbkomponente zu prüfen. Die Vorrichtung erzeugt Farbunterschiedsignale von den Farbkomponentensignalen unabhängig von dem Helligkeitskomponentensignal, um die Tendenz von falsch erzeugten Farbunterschiedsignalen wegen der Sättigung von einigen zu reduzieren, jedoch nicht alle der verwendeten Signale, um ein Farbunterschiedsignal zu erzeugen. Die Filterabschnitte können in Paaren von benachbarten Reihen mit demselben Muster der Filterabschnitte angeordnet sein, um mit einem Aufnahmegerät mit Interlace Abtastung verwendet zu werden.
Zusammenfassung der Erfindung
Die vorliegende Erfindung wird vorgeschlagen, um die bekannten Nachteile zu überwinden und hat als Ziel eine Bildverarbeitungsvorrichtung vorzuschlagen, welche in der Lage ist, ein hochqualitatives kleinformatiges Bild in hoher Geschwindigkeit ohne Benötigung einer großen Anzahl von Prozessen (Verarbeitungen) oder hohem Energiebedarf zu erhalten.
Um diese oben genannte Aufgabe gemäß der vorliegenden Erfindung zu erreichen, wird eine Bildverarbeitungsvorrichtung gemäß des Anspruches 1 vorgeschlagen.
Kurzbeschreibung der Zeichnungen
1 ist ein Blockdiagramm, welches eine Bildverarbeitungsvorrichtung gemäß einer Ausführung der vorliegenden Erfindung zeigt;
2A bis 2C sind erläuternde Ansichten, welche die wesentliche Verarbeitung bei der ersten Ausführungsform zeigen;
3A bis 3C sind erläuternde Ansichten, welche Bildverarbeitungsoperationen zeigen (der Interpolationspunkt ist an einem R-Pixel gesetzt) gemäß der ersten Ausführungsform;
4A bis 4C sind erläuternde Ansichten, welche eine Bildverarbeitungsoperation (der Interpolationspunkt ist an einem G-Pixel in einer R-Pixelreihe gesetzt) gemäß der ersten Ausführung zeigen;
5A bis 5C sind erläuternde Ansichten, welche eine Bildverarbeitungsoperation gemäß der zweiten Ausführung zeigen;
6A bis 6C sind erläuternde Ansichten, welche jeweils die Einstellungsposition des Interpolationspunktes zeigen;
7 ist ein Blockdiagram, welches eine Bildverarbeitungsvorrichtung gemäß der dritten Ausführung zeigt;
8A bis 8B sind erläuternde Ansichten, welche die wesentliche Verarbeitung bei der dritten Ausführung zeigen;
9A bis 9C sind erläuternde Ansichten, welche die Verarbeitung einer Regionswertberechnungseinheit zeigen;
10 ist ein Blockdiagramm, welches eine Anordnung der Regionswertberechnungseinheit zeigt;
11 ist ein Blockdiagramm, welches eine Anordnung einer Interpolationseinheit und einer Kompensationswertberechnungseinheit zeigt;
12 ist ein Blockdiagramm, welches eine Anordnung einer Kompensationseinheit zeigt; und
13 ist ein Blockdiagramm, welches eine Anordnung einer Kompensationseinheit gemäß der vierten Ausführung zeigt.
Beschreibung der bevorzugten Ausführungen
Die vorliegende Erfindung wird unten unter Bezugnahme auf die dazugehörigen Zeichnungen beschrieben.
1 zeigt eine Bildverarbeitungsvorrichtung gemäß der ersten Ausführung der vorliegenden Erfindung.
In 1 umfasst eine Bildverarbeitungsvorrichtung 10 eine Interpolationseinheit 4 zum Interpolieren des Pixelwertes von jeder Farbinformation an einem Interpolationspunkt, verwendend die Pixelwerte von benachbarten Pixel derselben Farbe, welche in einer Interpolationsregion von m × m Pixel (m ist eine ganze Zahl von zwei oder mehr) angeordnet sind, die an dem Interpolationspunkt zentriert sind, in Bezug auf einen Interpolationspunkt, welcher aus einer zweidimensionalen Ebene ausgewählt wird, gebildet durch ein Eingangsbildsignal 1 an einem Intervall von n Pixel (n ist eine ganze Zahl von zwei oder mehr) in wenigstens der Pixelreihenrichtung oder der Pixelspaltenrichtung, und zum Ausgeben des interpolierten Wertes als einen interpolierten Pixelwert 5 an dem Interpolationspunkt für jede Farbinformation.
Die Bildverarbeitungsvorrichtung 10 umfasst ferner eine Kompensationswertberechnungseinheit 6 zum Erzeugen eines Pixelkompensationswertes 7 zum Kompensieren des Pixelwertes an dem Interpolationspunkt, verwendend die Pixelwerte einer Vielzahl von Pixel um den Interpolationspunkt herum, die in eine Kompensationsregion von M × M Pixel fallen (M ist eine ganze Zahl größer als n und m), welche weiter ist als die Interpolationsregion und diese umfasst, welche durch die Interpolationseinheit 4 verwendet wird, und umfassend eine Kompensationseinheit 8 zum Kompensieren der interpolierten Pixelwerte 5 jeder Farbinformation an dem Interpolationspunkt, welche von der Interpolationseinheit 4 durch Verwenden des Pixelkompensationswertes 7 ausgegeben werden, welcher durch die Kompensationswertberechnungseinheit 6 erhalten wird, und zum Ausgeben des kompensierten Wertes als einen neuen Pixelwert 9 jeder Farbinformation an dem Interpolationspunkt.
In der folgenden Beschreibung ist das Bildsignal 1 ein Bildsignal, welches von einem Bildabtastelement ausgegeben wird, wie z. B. einem mehrfach farbgefilterten CCD, d. h., ein Farbsignal mit einem sogenannten Bayerstrahl (Bayer array), bei dem R, G und B Pixel in ein nahezu vielfarbiges Muster gestrahlt werden. Jedoch ist das Bildsignal 1 nicht durch dieses beschränkt. Zusätzlich kann die vorliegenden Erfindung nicht nur bei einem Fall verwendet werden, bei dem ein Bild durch 1/n von einer zweidimensionalen Ebene reduziert wird, die von dem Eingangsbildsignal 1 in jede der Pixelreihenrichtung oder Pixelspaltenrichtung gebildet wird, sondern auch bei einem Fall, bei dem ein Bild durch eine 1/n in beide der Pixelreihenrichtungen und Pixelspaltenrichtungen reduziert wird.
Die wesentliche Verarbeitung bei der ersten Ausführung der vorliegenden Erfindung wird unter Bezugnahme der 2A bis 2B beschrieben. 2A zeigt die zweidimensionale Bildebene eines Bildsignals, 2B zeigt ein Einstellbeispiel jeder Region und 2C zeigt die zweidimensionale Bildebene eines gewünschten Bildsignals. In diesem Fall wird eine von dem Eingangsbildsignal 1 gebildete zweidimensionale Bildebene 1A auf 1/3 (n = 3) in der Pixelreihenrichtung verkleinert, um eine von dem neuen Bildsignal 9 gebildete zweidimensionale Bildebene 9A zu erhalten. Dies kann ebenso bei einem Fall angewendet werden, bei dem ein Bild nur in Pixelspaltenrichtung verkleinert wird und bei einem Fall, bei dem ein Bild sowohl in Pixelreihenrichtung als auch in Pixelspaltenrichtung verkleinert wird.
In den 2A bis 2C ist die Größe n der Interpolationsregion m = 3, und die Größe M der Kompensationsregion M = 5. Bei diesem Fall werden die Interpolationspunkte 11A, 11B, ... von der zweidimensionalen Bildebene 1A an einem Intervall von 3 (n = 3) Pixel in einer Pixelreihenrichtung i und einer Pixelspaltenrichtung j ausgewählt, und dienen als Pixel 91A, 91B, ... und bilden eine gewünschte zweidimensionale Bildebene 9A.
In 2B bezeichnet das Bezugszeichen 12A eine Interpolationsregion von 3 × 3 Pixel (m = 3), zentriert an dem Interpolationspunkt 11A. Die Interpolationseinheit 4 berechnet den interpolierten Pixelwert 5 an den Interpolationspunkt 11A, verwendend die Pixelwerte der Pixel, die in der Interpolationsregion 12A enthalten sind. Das Bezugszeichen 13A bezeichnet eine Kompensationsregion von 5 × 5 Pixel (M = 5), zentriert an dem Interpolationspunkt 11A. Die Kompensationswertberechnungseinheit 6 berechnet den Pixelkompensationswert 7 an dem Interpolationspunkt 11A, verwendend die Pixelwerte der Pixel, die in der Kompensationsregion 13A enthalten sind.
Details der Bildverarbeitungsoperation gemäß der ersten Ausführung der vorliegenden Erfindung werden unter Bezug auf die 3A bis 3C und 4A bis 4C erläutert. 3A bis 3C zeigen einen Fall, bei dem der Interpolationspunkt an einem R-Pixel eingestellt ist und 4A bis 4C zeigen einen Fall, bei dem der Interpolationspunkt an einem G-Pixel an einer R-Pixelreihe eingestellt ist.
Verarbeitungsverfahren, wenn der Interpolationspunkt an einem R-Pixel eingestellt ist, werden unter Bezug auf die 3A bis 3C erläutert. 3A zeigt ein Pixelstrahlbeispiel, 3B zeigt Filterkoeffizienten für die Berechnung eines Kompensationswertes und 3C zeigt Gleichungen, welche die Interpolationsverarbeitung, die Kompensationswertberechnungsverarbeitung und die Kompensationsverarbeitung repräsentieren.
Die Interpolationseinhit 4 berechnet die interpolierten Pixelwerte 5 (G₃₃, R₃₃ Und B₃₃) an einem Interpolationspunkt (X₃₃), welcher als das Zentrum eingestellt ist, durch die Verwendung der Pixelwerte von vorbestimmten Pixel, die dem Interpolationspunkt X₃₃ benachbart sind mitten aus den Pixel des Eingangsbildsignals 1, wie in 3A gezeigt. Jeder interpolierte Pixelwert 5 wird durch die Gleichung berechnet, die in 3C gezeigt ist, verwendend die Pixelwerte der umgebenden Pixel der gleichen Farbe, welche in eine Interpolationsregion 12 von 3 × 3 Pixel fallen, welche den Interpolationspunkt X₃₃ einfassen, d. h., sie sind zentriert um den Interpolationspunkt X₃₃.
Zur selben Zeit erzeugt die Kompensationswertberechnungseinheit 6 den Pixelkompensationswert 7 (HF₃₃) zum Kompensieren des Pixelwertes von jeder Farbinformation an dem Interpolationspunkt durch die Gleichung, die in 3C gezeigt ist, verwendend die Pixelwerte der vorbestimmten Pixel um den Interpolationspunkt X₃₃ durch die Verwendung der Interpolationseinheit 4, der Filterkoeffizienten, die in 3B gezeigt sind und einem Kompensationsskalenfaktor (Gewichtungsfaktor) gf. Die Berechnung des Pixelkompensationswertes 7 verwendet vorbestimmte Pixel, die in einen Bereich fallen, z. B. einer Kompensationsregion 13 von 5 × 5 Pixel, korrespondierend mit den Filterkoeffizienten, die weiter sind als die Interpolationsregion, welche bei der Interpolationsverarbeitung der Interpolationseinheit 4 verwendet wird und die Interpolationsregion umfasst.
Der durch die Interpolationseinheit 4 berechnete interpolierte Pixelwert 5 enthält keine hohe Orts- oder Raumfrequenzkomponente in der Pixelregion, welche an dem Interpolationspunkt zentriert ist. Im Gegensatz dazu enthält der Pixelkompensationswert 7 eine hohe Raum- oder Ortsfrequenzkomponente in der Pixelregion. Wie durch die Gleichungen gemäß 3C vorgesehen, addiert die Kompensationseinheit 8 (oder integriert) den Pixelkompensationswert 7 zu dem interpolierten Pixelwert 5, kompensiert die interpolierten Pixel 5 der jeweiligen Farbinformationen, und berechnet neue Pixelwerte 9 (G'₃₃, R'₃₃ und B'₃₃) jeder entsprechenden Farbinformation an dem Interpolationspunkt (X₃₃).
Verarbeitungsverfahren, wenn der Interpolationspunkt an einem G-Pixel an einer R-Pixel-Reihe eingestellt ist, werden unter Bezugnahme auf die 4A bis 4C erläutert. 4A zeigt ein Pixelstrahlbeispiel, 4B zeigt Filterkoeffizienten für die Berechnung eines Kompensationswertes und 4C zeigt Gleichungen, welche die Interpolationsverarbeitung, die Kompensationswertberechnungsverarbeitung und die Kompensationsverarbeitung repräsentieren. Bei der Verarbeitungsoperation, wenn der Interpolationspunkt an einem G-Pixel in einer R-Pixel-Reihe eingestellt ist, wird der Interpolationspunkt durch ein Pixel in der Pixelreihenrichtung verschoben, verglichen mit der Verarbeitungsoperation, wenn der Interpolationspunkt an einem R-Pixel eingestellt ist, wie in den 3A bis 3C gezeigt.
Demzufolge sind die Verarbeitungsoperationen der Interpolationseinheit 4, der Kompensationswertberechnungseinheit 6 und der Kompensationseinheit 8 nahezu die gleichen, wie die in den 3A bis 3C. Jedoch, wenn ein Interpolationspunkt (X₃₄) ursprünglich ein G-Pixel ist, verändern sich die Gleichungen zum Berechnen der interpolierten Pixelwerte 5 durch die Interpolationseinheit 4 und die Gleichung zum Berechnen des Pixelkompensationswertes 7 durch die Kompensationswertberechnungseinheit 6, wie in 4C gezeigt.
Wie oben beschrieben, wird gemäß der vorliegenden Erfindung jeder Interpolationspunkt 11A von der zweidimensionalen Bildebene 1A an einem Intervall von n Pixel in der Pixelreihenrichtung i und der Pixelspaltenrichtung j ausgewählt. Die Interpolationseinheit 4 berechnet jeden interpolierten Pixelwert 5 an dem Interpolationspunkt 11A aus den Pixelwerten der Pixel derselben Farbe, welche in die Interpolationsregion 12A fallen, die an dem Interpolationspunkt 11A zentriert sind. Die Kompensationswertberechnungseinheit 6 berechnet den Pixelkompensationswert 7 an dem Interpolationspunkt 11A aus den Pixelwerten einer Vielzahl von Pixel, die in die Kompensationsregion 13A fallen, welche weiter als die Interpolationsregion 12A ist und diese umfasst, welche durch die Interpolationseinheit 4 verwendet wird. Die Kompensationseinheit 8 kompensiert jeden interpolierten Pixelwert 5, der den Pixelkompensationswert 7 verwendet. Ein Wert, welcher durch Interpolation ausgelassen wird, verwendend die Interpolationsregion 12A in der Interpolationseinheit 4, wird durch den Pixelkompensationswert 7 kompensiert, der aus der Kompensationsregion 13A berechnet wird, die weiter ist als die Interpolationsregion 12A und diese umfasst, wodurch ein neuer Pixelwert erhalten wird, der die hohe Raum- oder Ortsfrequenzkomponente enthält. Somit kann die Interpolationsverarbeitung, verwendend die Pixel der Interpolationsregion, und die Filterberechnungsverarbeitung zum Unterdrücken von Verlusten der Bildqualität, die durch die Verkleinerung eines Bildes verursacht werden, gleichzeitig ausgeführt werden.
Im Unterschied zum Stand der Technik ist es nicht nötig, ein Zwischenbild mit sämtlichen Farbinformationen für jedes Pixel eines ursprünglichen Bildes zu erzeugen. Ein verkleinertes Bild mit sämtlichen Farbinformationen für jedes Pixel kann mit hoher Bildqualität erlangt werden, ohne eine große Anzahl von Verarbeitungen durchzuführen. Beim Anzeigen eines Bildes auf einem Bildsucher einer Digitalkamera, um die Perspektive zu bestimmen, kann ein Hochqualitätsbild in hoher Geschwindigkeit angezeigt werden, ohne großen Energieverbrauch zu benötigen.
Die Kompensationswertberechnungseinheit 6 berechnet den Pixelkompensationswert 7, der nur die Pixelwerte einer Vielzahl von Pixel mit Farbinformationen verwendet, welche die Helligkeitskomponente eines Bildsignals repräsentieren, z. B. die Verwendung von nur den Pixelwerten von G-Pixel für ein Bildsignal von einem Bayerstrahl, wie in den 3A bis 3C und 4A bis 4C gezeigt. Somit kann die Kompensationseinheit 8 nur die Helligkeitskomponenten der Pixelwerte der Pixel für jede Farbinformation kompensieren, ohne die Farbbalance zu verändern. Grundsätzlich ist ein Pixel, welches eine Helligkeitskomponente repräsentiert, das größte in der Anzahl und hat die höchste Frequenzkomponente, sodass ein neuer Pixelwert erhalten werden kann, der eine hohe Frequenzkomponente enthält, verglichen mit einem Pixelwert, der durch Pixel mit der gleichen Farbe interpoliert wird.
Die zweite Ausführung der vorliegenden Erfindung wird unter Bezug auf die 5A bis 5C beschrieben.
5A zeigt ein Pixelstrahlbeispiel, 5B zeigt Filterkoeffizienten zum Berechnen eines Kompensationswertes und 5C zeigt Gleichungen, welche die Interpolationsverarbeitung, die Kompensationswertberechnungsverarbeitung und die Kompensationsverarbeitung repräsentieren. Bei der ersten Ausführung ist der Interpolationspunkt an einem Pixel eingestellt. Jedoch ist der Interpolationspunkt nicht durch die gleiche Position wie ein Pixel beschränkt und kann an eine veränderte Position von einer Pixelposition eingestellt werden, d.h. zwischen den Pixeln.
Bei der zweiten Ausführung ist der Interpolationspunkt a zwischen den Pixeln eingestellt.
In 5A ist der Interpolationspunkt a an einer von dem R-Pixel R₃₃ veränderten Position eingestellt, welche als der Interpolationspunkt X₃₃ in 3A dient, um eine obere rechte Position und umgebend durch vier Pixel R-Pixel R₃₃, G-Pixel G₃₂, G₄₃ und B-Pixel B₄₂ umgeben ist. In diesem Fall berechnet eine Interpolationseinheit 4, basierend auf der Gleichung, die in 5C gezeigt ist, jeden interpolierten Pixelwert 5 (Ga, Ra oder Ba) von den umgebenden Pixeln derselben Farbe, welche in einer Interpolationsregion 14G von 2 × 2 Pixel (m = 2) oder einer Interpolationsregion 14R oder 14B von 3 × 3 Pixel (m = 3) umfassend den Interpolationspunkt a.
Zur gleichen Zeit erzeugt eine Kompensationswertberechnungseinheit 6 einen Pixelkompensationswert 7 (HFa) zum Kompensieren des Pixelwertes jeder Farbinformation an dem Interpolationspunkt a durch die Gleichung, die in 5C gezeigt ist, verwendend die Pixelwerte einer Vielzahl von Pixel um den Interpolationspunkt a, der in einen Bereich fällt, der weiter als die Interpolationsregion ist und diese umfasst, welche durch die Interpolationseinheit 4, den Filterkoeffizient, die in 5B gezeigt sind und einen Kompensationsskalenfaktor (Gewichtungsfaktor) gf verwendet wird. Die Berechnung des Pixelkompensationswertes 7 verwendet vorbestimmte Pixel, die in einen Bereich fallen, der um den Interpolationspunkt a fällt und weiter ist als die Region, die durch die Interpolationseinheit 4 zum Interpolieren jedes Farbwertes verwendet wird, z. B. einer Kompensationsregion 15 von 4 × 4 Pixel (M = 4), korrespondierend mit den Filterkoeffizienten.
Der interpolierte Pixelwert 5, der durch die Interpolationseinheit 4 berechnet worden ist, enthält keine hohe Orts- bzw. Raumfrequenzkomponente in der Pixelregion, die an dem Interpolationspunkt zentriert ist. Im Gegensatz dazu enthält der Pixelkompensationswert 7 eine hohe Raum- bzw. Ortsfrequenzkomponente, korrespondierend mit der Pixelregion und dem Koeffizienten. Wie durch die Gleichungen gemäß 5C gegeben, addiert eine Kompensationseinheit 8 (oder integriert) den Pixelkompensationswert 7 zu den interpolierten Pixelwerten 5, kompensiert die interpolierten Pixelwerte 5 mit den entsprechenden Farbinformationen und berechnet neue Pixelwerte 9 (G'a, R'a und B'a) der jeweiligen Farbinformationen an dem Interpolationspunkt a.
6A bis 6C zeigen die Einstellposition des Interpolationspunktes. In den 5A bis 5C ist der Interpolationspunkt a an dem oberen rechten R-Pixel R₃₃. Die Einstellposition des Interpolationspunktes a kann auch an dem oberen linken, unteren rechten oder unteren linken R-Pixel R₃₃ gesetzt werden, wie in den 6A bis 6C gezeigt. In 6A ist ein Pixelstrahlbeispiel, in 5A horizontal gespiegelt (oder um 90° gedreht). Dem entsprechend sind die Filterkoeffizienten in 5B horizontal gespiegelt (oder um 90° gedreht).
In den 6B und 6C sind R- und B-Pixel aus 5A und 6A ausgetauscht. Die interpolierten Pixelwerte 5 werden durch Austausch von R und B berechnet. In einem Fall, ähnlich der Gleichungen in 5C, werden die interpolierten Pixelwerte 5 aus Pixeln berechnet, die in die Interpolationsregion von 2 × 2 Pixel oder 3 × 3 Pixel fallen, umfassend den Interpolationspunkt a, und der Pixelkompensationswert 7 wird aus den vorbestimmten Pixeln berechnet, die in die Kompensationsregion von 4 × 4 Pixel fallen, welche weiter als die Interpolationsregion ist.
In den 5A bis 5C ist der Interpolationspunkt an dem oberen rechten R-Pixel positioniert. Ein Fall, bei dem der Interpolationspunkt an dem oberen rechten G- oder B-Pixel positioniert ist, korrespondierend mit irgendeinem der Fälle, die in den 5A und 6A bis 6C gezeigt sind. Zum Beispiel, wenn der Interpolationspunkt a an dem oberen rechten G-Pixel an einer R-Pixelreihe eingestellt ist, ist die positionelle Beziehung zwischen dem Zielpixel und dem Interpolationspunkt übereinstimmend mit der in 6A. Verarbeitungen für all diese Fälle können deshalb mit den vier Mustern, wie in den 5A und 6A bis 6C gezeigt, ausgeführt werden.
In dieser Weise, immer wenn der Interpolationspunkt an einer von einer Pixelposition veränderten Position eingestellt ist, kann ein neuer Pixelwert in ähnlicher Weise wie bei der ersten Ausführung berechnet werden und ein hochqualitatives Bild mit einer hohen räumlichen oder Ortsfrequenzkomponente durch relativ einfache Verarbeitung erhalten werden. Der Pixelkompensationswert 7 wird berechnet nur durch Verwenden der Pixelwerte einer Vielzahl von Pixeln mit Farbinformationen, welche die Helligkeitskomponente eines Bildsignals repräsentieren, z. B. verwendend nur der Pixelwerte der G-Pixel für ein Bildsignal mit einem Bayerstrahl. Aus diesem Grund kann die Kompensationseinheit 8 nur die Helligkeitskomponenten der Pixelwerte der Pixel jeder Farbinformation ohne Verändern der Farbbalance kompensieren.
Wenn die Anzahl M der Pixel an einer Seite einer Region immer einer Region von 4 × 4 Pixel (M = 4) ähnlich ist, wird ein Kompensationswert zum Berechnen verwendet, wobei die Orts- bzw. Raumfrequenzmerkmale des Pixelkompensationswertes 7 für jedes Pixel sich verändert. Jedoch verändert sich nur die Richtung der Merkmale und die Antwort verbleibt unverändert. Ein Wechsel bei der Charakteristiken des Pixelkompensationswertes 7, welche durch die Interpolation des Interpolationspunktes bewirkt wird, ist kleiner als bei einem Fall, bei dem die Anzahl M der Pixel auf einer Seite ungerade ist. Somit kann ein hochqualitatives Bild erhalten werden.
Die dritte Ausführung der vorliegenden Erfindung wird unter Bezugnahme auf 7 beschrieben.
7 zeigt eine Bildverarbeitungsvorrichtung gemäß der dritten Ausführung.
In 1 empfängt die Interpolationseinheit 4 und die Kompensationswertberechnungseinheit 6 direkt das Bildsignal 1. Bei der dritten Ausführung, wie in 7 gezeigt, wird eine Regionwert Berechnungseinheit 2 verwendet, um ein Bildsignal 1 zu empfangen und vor zu verarbeiten, und danach wird das Bildsignal 1 einer Interpolationseinheit 4A und einer Kompensationswertberechnungseinheit 6A zugeteilt.
In 7 empfängt die Regionwert Berechnungseinheit 2 das Bildsignal 1, und gibt die Summe der Pixelwerte der Pixel aus, welche der entsprechenden Pixelregionen zugehörig sind, wenn Regionwerte für die entsprechenden Pixelregionen vorab auf einer Submatrix eingestellt sind, welche aus Pixeln besteht, welche umfassend den Interpolationspunkt als Zentrum, verarbeitet werden. Die durch die Regionwert Berechnungseinheit 2 berechneten Regionwerte 3 werden parallel bzw. synchron mit dem Empfang eines Pixelblocks ausgegeben.
Verarbeitungsverfahren bei der Interpolationseinheit 4A und der Kompensationswertberechnungseinheit 6A sind die gleichen wie bei der Interpolationseinheit 4 und der Kompensationswertberechnungseinheit 6 in 1, ausgenommen, dass die Interpolationseinheit 4A und die Kompensationswertberechnungseinheit 6A nicht direkt das Bildsignal 1 empfangen, jedoch wahlweise die Regionwerte 3 parallel von der Regionwerte Berechnungseinheit 2 ausgeben, um die interpolierten Pixelwerte 5 und einen Pixelkompensationswert 7 an dem Interpolationspunkt der korrespondierenden Submatrix sequentiell zu berechnen und auszugeben.
8A und 8B zeigen die wesentliche Verarbeitung bei der dritten Ausführung. 8A zeigt die zweidimensionale Bildebene eines Bildsignals und 8B zeigt ein Einstellbeispiel jeder Region. 9A bis 9C zeigen die Operation der Regionwerte Berechnungseinheit. 9A zeigt eine Kompensationsregion, 9B zeigt Regionseinstellungen in der Kompensationsregion und 9C zeigt Gleichungen zum Berechnen der Regionwerte.
Wie in 8A gezeigt, empfängt die Regionwerte Berechnungseinheit 2 sequentiell Pixelwerte, welche das Bildsignal 1 durch die Anzahl M der Pixelreihen (J-Richtung) bilden, z. B. fünf Pixelreihen als notwendige Anzahl der Pixelreihen zum parallelen Berechnen miteinander in Einheiten von Einfachpixelspalten als Pixelblöcke 21, mit dem der Pixelkompensationswert 7 berechnet wird.
Wie in 8B gezeigt, wird eine Submatrix 22 äquivalent in der Größe mit der Kompensationsregion aus den Pixelblöcken 21 gebildet, korrespondierend mit fünf Pixelspalten mit M erfolgreich empfangenen Pixelspalten (i-Richtung), z. B. die Anzahl der notwendigen Pixelspalten zum Berechnen des Pixelkompensationswertes 7. Danach wird die Submatrix 22 durch ein Pixel in der i-Richtung der zweidimensionalen Bildebene verändert.
Zum Voreinstellen der Regionen A bis F, gezeigt in 9, auf der Submatrix 22, welche auf diese Weise gebildet wird, berechnet die Regionwerte Berechnungseinheit 22 die Summen, d. h., die Regionwerte 3 der Pixelwerte der Pixel, welche der entsprechenden Pixelregionen der Basis der Gleichungen in 9C zugehörig sind. Danach gibt die Regionwerte Berechnungseinheit 2 parallel die Regionwerte synchron mit dem Empfang des Pixelblocks 21 aus. Die Interpolationseinheit 4A und die Kompensationswertberechnungseinheit 6A verwendet wahlweise die parallel ausgegebenen Regionwerte, und die interpolierten Pixelwerte sowie ein Pixelkompensationswert an dem Interpolationspunkt der korrespondierenden Submatrix werden sequentiell berechnet und ausgegeben.
Diese Pixelregionen werden, basierend auf den Gleichungen, welche durch die Interpolationseinheit 4A und die Kompensationswertberechnungseinheit 6A verwendet werden, eingestellt. 9B zeigt die Pixelregionen A bis F, wenn die Interpolationsverarbeitung und die Pixelkompensationswertberechnungsverarbeitung in der ersten Ausführung durchgeführt werden. Ein Fall, bei dem die Pixelregionen A bis F beispielhaft eingestellt werden.
10 zeigt eine Anordnung der Regionwerte Berechnungseinheit. In 10 sind mit den Bezugszeichen 121 bis 125 Schalt- bzw. Änderungsregister bezeichnet, welche aus vier hintereinander geschaltete Ein-Pixelzeitverzögerungen 211 bis 214, 221 bis 224, 231 bis 234, 241 bis 244 oder 251 bis 254 sind. Die Schalt- bzw. Schieberegister 121 bis 125 sind parallel zueinander für Pixelwerte Vi1 bis Vi5 des Pixelblocks 21 angeordnet. Die „1-Pixel-Zeitverzögerung" (hiernach bezeichnet als eine Verzögerung) ist ein Auffangschaltkreis für die Verzögerung und die Ausgabe eines Eingangspixelwertes synchron mit einem Zeitsignal in der Pixelreihenrichtung (i-Richtung).
Wenn fünf erfolgreiche Pixelblocks 21 sequentiell empfangen worden sind, werden die Verzögerungen des Schieberegister 121 bis 125 Pixelwerte an den Pixelpositionen der Submatrix 22 ausgeben. Für die Pixelregionen addieren die Addierer 201 bis 207 sämtliche Pixel, die der entsprechenden Pixelregionen zugehörig sind und werden von den korrespondierenden Verzögerungen ausgegeben, wodurch entsprechende Regionwerte erhalten werden.
Zum Beispiel der Addierer 201 addiert Ausgaben von den Verzögerungen 221 und 223, 241 und 243, korrespondierend mit der Region A in 9C, um einen Regionwert A zu erhalten. Die Regionwerte Berechnungseinheit 2 berechnet die Regionwerte 3 aus der empfangenen Submatrix 22 und gibt diese parallel aus.
11 zeigt ein Anordnungsbeispiel der Interpolationseinheit und der Kompensationswertberechnungseinheit. Die Interpolationseinheit 4A wird durch R, B und durch G Interpolationseinheiten 41, 42 und 43 zum Durchführen von Interpolationsverarbeitungen betreffend R-, B, und G-Pixel jeweils gebildet. Die Interpolationseinheiten 41 bis 43 berechnen parallel eine Vielzahl von interpolierten Pixelwerten, korrespondierend mit der Position des Interpolationspunktes, verwendend Integratoren (Teiler) und Addierer.
Korrespondierende interpolierte Pixelwerte werden durch Selektoren 41A bis 43A ausgewählt, basierend auf O/E- und R/B-Signale oder nur das O/E-Signal, repräsentierend die Position eines aktuellen Interpolationspunktes, und Ausgabe als interpolierte Pixelwerte 5 (R, B und G) an dem Interpolationspunkt. Es ist zu beachten, dass das R/B-Signal den Interpolationspunkt an einer R- oder B-Pixelreihe repräsentiert und das O/E-Signal den Interpolationspunkt an einem G-Pixel repräsentiert.
In ähnlicher Weise berechnet die Kompensationswertberechnungseinheit 6A ebenso eine Vielzahl von interpolierten Pixelwerten parallel, welche mit der Position des Interpolationspunktes korrespondieren, verwendend Integratoren (Dividierer) und Addierer. Ein korrespondierender interpolierter Pixelwert wird durch einen Selektor 61 ausgewählt, basierend auf dem O/E-Signal, repräsentierend die Position eines aktuellen Interpolationspunktes, und Ausgabe als ein Pixelkompensationswert 7 (HF) an dem Interpolationspunkt. Da Filterkoeffizienten verwendet werden, um einen Pixelkompensationswert zu berechnen, werden Koeffizienten verwendet, welche die Potenz von 2 oder die Summe von einer Potenz von 2 sind. Mit diesen Einstellungen kann der durch die Kompensationswertberechnungseinheit 6A verwendete Integrator (Dividierer) von einem Ein-Bit-Schaltkreis gebildet werden, welches eine große Vereinfachung der Schaltkreisanordnung ist.
12 zeigt eine Anordnung einer Kompensationseinheit. In 12 wird mit der Bezugszahl 81 eine Integrationseinheit bezeichnet, welche aus einer Vielzahl von Integratoren zum Integrieren (Dividierer) der Pixelkompensationswert 7 durch eine Potenzwert von 2 gebildet wird. Die entsprechenden Integratoren sind parallel verbunden. Bezugszahl 82 bezeichnet einen Addierer zum selektiven Addieren wenigstens eines ausgegebenen Wertes von den Integratoren der Integrationseinheit 81, basierend auf dem Kompensationsskalenfaktor (Richtungsfaktor) gf.
Bezugszahl 83 bezeichnet einen Addierer zum individuellen Addieren einer Ausgabe 83 von dem Addierer 82 zu den interpolierten Pixelwerten 5 (R, B und G) und Ausgabe der Summen als neue Pixelwerte 9 (R', B' und C') an dem Interpolationspunkt, die mit dem Pixelkompensationswert 7 kompensiert sind; und 85 ein Auffangregister für gehaltene Ausgaben von dem Addierer 83 synchron mit der interpolierten Pixelposition gemäß einer Zeit øn, welche Periode mit dem Intervall der interpolierten Pixelposition korrespondiert, und Ausgabe der neuen Pixelwerte 9, welche ein Bild 1/n mal das Eingangsbildsignal 1 bilden.
Durch zufällige wahlweise Eingabe des Kompensationsskalenfaktors gf kann der interpolierte Pixelwert 5 durch eine Intensität, korrespondierend mit gf, kompensiert werden. Da die Integrationseinheit 81 durch eine Vielzahl von Integratoren zum Integrieren von Potenzwerten von 2 gebildet werden, kann ein zufälliger Kompensationsskalenfaktor gf mit dem Pixelkompensationswert 7 mit einer einfachen Schaltungsanordnung integriert werden. Wenn der Referenzlevel des Pixelkompensationswertes 7 entsprechend der Position des Interpolationspunktes sich verändert, kann gf automatisch entsprechend Positionsinformationen des Interpolationspunktes schalten, um den Referenzlevel des Pixelkompensationswertes 7 einzustellen.
Wie oben beschrieben, verwendet die dritte Ausführung die Regionwerte Berechnungseinheit 2. Die Regionwerte Berechnungseinheit 2 berechnet die Summen der Pixelwerte der Pixel, zugehörig zu den entsprechenden Pixelregionen, da die Regionwerte 3 für entsprechende Pixelregionen vorab auf der Submatrix 22 eingestellt sind, und gibt parallel die Regionwerte synchron mit dem Empfang des Pixelblocks 21 aus. Die Interpolationseinheit 4A und die Kompensationswertberechnungseinheit 6A verwendet selektiv die parallel ausgegebenen Regionwerte, und berechnet selektiv und gibt die interpolierten Pixelwerte und einen Pixelkompensationswert an dem Interpolationspunkt auf der korrespondierenden Submatrix 22 aus.
Die Submatrix verändert die zweidimensionale Bildebene des Bildsignals 1 synchron mit dem Empfang des Pixelblocks 21. Zur gleichen Zeit wird ein mit dem Pixelkompensationswert 7 kompensierter neuer interpolierter Pixelwert als der interpolierte Pixelwert jeder Farbinformation an dem Interpolationspunkt, korrespondierend mit der Submatrix erhalten. Der neue interpolierte Pixelwert wird gehalten und synchron mit einem ausgewählt von dem Eingangsbildsignal 1 an einem Intervall von n-Pixel in der Pixelreihenrichtung und der Pixelspaltenrichtung interpolierten Pixel ausgegeben. Dies ermöglicht Pipelineverarbeitung synchronisierend mit dem Empfang des Pixelblocks 21.
Ein interpolierter Pixelwert für eine höhere Bildqualität kann in einer höheren Geschwindigkeit berechnet werden, verglichen mit einem Fall, bei dem die Interpolationsverarbeitung durch Verwenden von numerischer Berechnung mit einem DSP oder dergleichen durchgeführt wird. Die dritte Ausführungsform wurde beschrieben basierend auf der ersten Ausführung. Immer basierend auf der zweiten Ausführung kann die dritte Ausführung dieselben Wirkungen erreichen, wie diese oben beschreiben worden sind nämlich durch Bilden der Schaltung entsprechend der Anzahl der Pixelreihen und der Pixelspalten, die für die Kompensationswertberechnungsverarbeitung notwendig sind.
Wenn die dritte Ausführung bei der zweiten Ausführung verwendet wird, reduziert sich die Anzahl der notwendigen Pixel, die Anzahl der Auffangregister für den Pufferspeicher oder für die Verzögerung und der notwendige Schaltbereich wird verringert. Speziell die Reduzierung bei der Anzahl der Reihen bei Daten, um diese in dem Pufferspeicher zu halten, ist sehr effektiv für ein Bildabtastgerät, wie z. B. einer gegenwärtigen Digitalkamera mit einer großen Anzahl von Pixel.
Bei der dritten Ausführung wird das Auffangregister 85 mit dem Ausgang des Addierers 83 verbunden. Das Auffangregister 85 hält die Ausgaben von dem Addierer 84 und gibt die Ausgabe des Addierers 84 synchron mit einem interpolierten Pixel, ausgewählt von dem Eingangsbildsignal 1, an einem Intervall von n-Pixel in der Pixelreihenrichtung und der Pixelspaltenrichtung aus. Jedoch die vorliegende Erfindung ist dadurch nicht beschränkt. Zum Beispiel, kann ein Auffangregister zum Halten und Ausgeben der Regionwerte A bis F, basierend auf der Zeit øn, mit dem Ausgang der Regionwerte Berechnungseinheit 2 verbunden werden (siehe 10), wobei die neuen Pixelwerte 9 an einem Intervall von n-Pixeln erhalten werden.
In diesem Fall werden die Signale nicht sämtlicher Pixel an nachfolgende Schaltkreise an das Auffangregister ausgegeben, jedoch in Einheiten von n-Pixeln. Somit kann die Verarbeitungsgeschwindigkeit dieser Schaltkreise niedrig eingestellt werden, welches den Stromverbrauch reduziert. Theoretisch kann der Stromverbrauch auf einen maximalen Wert reduziert werden, wenn die Auffangregister in Eingangsphasen der Addierer 201 bis 207 der Regionwerte Berechnungseinheit 2 angeordnet werden.
Die vierte Ausführung der vorliegenden Erfindung wird in Bezug auf 13 beschrieben.
In 2B sind die Interpolationsregion 12A des Interpolationspunktes 11A und die Interpolationsregion 12B des Interpolationspunktes 11B in Kontakt miteinander und die Pixelintervalle n zwischen den Interpolationspunkten 11A und 11B sind gleich mit der Größe m der Interpolationsregion 12A oder 12B (n = m = 3). Wenn jedoch das Pixelintervall n zwischen den Interpolationspunkten größer wird und die Interpolationsregionen voneinander geteilt werden (n > m), werden einige Pixel nicht für die Interpolationsverarbeitung durch die Interpolationseinheit 4 verwendet.
Infolgedessen für n > m werden die für die Interpolationsverarbeitung nicht verwendeten Pixelwerte an kompensierten Pixelwerten nicht durch Addieren, sondern durch Subtraktion eines kompensierten Wertes reflektiert. In 13 sind ein Inverter 87 zum Invertieren der Polarität einer Ausgabe 83 von einem Addierer 82, und ein Selektor 86 zum Selektieren entweder eines von einer Ausgabe von dem Inverter 87 oder der Ausgabe 83 von dem Addierer 82 zwischen dem Addierer 82 und dem Addierer 84 angeordnet. Der Selektor 86 wird angesteuert, basierend auf dem Vergleich des Resultats eines Vergleichers 88 zum Vergleichen von m und n.
Wenn der Vergleicher bzw. Komperator 88 n ≦ m bestimmt, wird ein Eingang A bei dem Selektor 86 ausgewählt und als eine Ausgabe 89 ausgegeben, und die Ausgabe 83 von dem Addierer 82 direkt dem Addierer 84 eingegeben. Entsprechend für n ≦ m addiert der Addierer 84 einen Pixelkompensationswert 7 zu einem interpolierten Pixelwert 5.
Im Gegensatz dazu, wenn der Komperator 88 n > m bestimmt, wird eine Eingabe B als Ausgabe 89 durch den Selektor 86 ausgewählt und ein durch Invertieren der Ausgabe 83 von dem Addierer 82 durch den Inverter 87 präpariertes Signal an den Addierer 84 ausgegeben. Als Ergebnis für n > m subtrahiert der Addierer 84 den Pixelkompensationswert 7 von dem interpolierten Pixelwert 5. In diesem Fall sind die für die Kompensation verwendeten Pixelkoeffizienten positive Werte, sodass der gleiche Effekt auftritt, wie der, wenn ein Tiefpassfilter bei einer Kompensationsregion verwendet wird, erhalten wird.
Wenn sich die Größe n der Interpolationsregion für jede Farbinformation verändert, kann eine Kompensationseinheit 8 den interpolierten Pixelwert für jede Farbinformation kompensieren. Zum Beispiel lässt mx die Größe der Interpolationsregion für jede Farbinformation x (x = {R, G, B}), die Farbinformation x kann kompensiert werden durch x' = x + HF (für n ≦ mx) x' = x + HF (für n > mx)
Wenn die Größe mx der Interpolationsregion gleich dem Intervall m der Interpolationspunkte (mx = m) für eine kleine Anzahl von Pixeln ist, wie z. B. R- oder B-Pixel, dann sind die G-Pixel ein ursprüngliches Bild, wobei die Kompensationseinheit 8 nicht die interpolierten Pixelwerte 5 kompensiert, verwendend den Pixelkompensationswert 7, sondern in drei Phasen kompensiert: x' = x
Wie oben beschrieben worden ist, verwendet die vorliegende Erfindung eine Interpolationseinheit zum Interpolieren eines von einem Bildsignal eines Intervalls von n-Pixel in Pixelreihenrichtung und Pixelspaltenrichtung ausgewählten Interpolationspunktes, wobei der Pixelwert jeder Farbinformation an dem Interpolationspunkt die Pixelwerte der Pixel der gleichen Farbe verwendet, die in eine Interpolationsregion von m × m Pixel fallen (m ist eine ganze Zahl von 2 oder mehr), zentriert an dem Interpolationspunkt, und Ausgabe des Pixelwertes als ein interpolierter Pixelwert an dem Interpolationspunkt für jede Farbinformation und Verwenden einer Kompensationswertberechnungseinheit zum Erzeugen eines Pixelkompensationswertes zum Kompensieren des Pixelwertes des Interpolationspunktes, verwendend die Pixelwerte einer Vielzahl von Pixel, die in eine Kompensationsregion von M × M Pixel fallen (M ist eine ganze Zahl gleich oder größer als m und n), zentriert an dem Interpolationspunkt, der weiter ist als die Interpolationsregion und diese auch umfasst. Der interpolierte Pixelwert jeder Farbinformation an dem Interpolationspunkt, welcher von der Interpolationseinheit ausgegeben wird, wird durch die Verwendung des Pixelkompensationswertes, korrespondierend mit dem Interpolationspunkt, verwendet, der durch die Interpolationseinheit erhalten wird. Der kompensierte Pixelwert wird als neuer Pixelwert von jeder Farbinformation an dem Interpolationspunkt ausgegeben. Die Interpolationsverarbeitung, verwendend die Pixel der Interpolationsregion, und die Filterberechnungsverarbeitung zum Unterdrücken von Verlusten der Bildqualität, welche durch die Verkleinerung eines Bildes verursacht werden, können zusammen ausgeführt werden. Im Gegensatz zum Stand der Technik ist es nicht erforderlich, ein Zwischenbild mit sämtlichen Farbinformationen für jedes Pixel an einem ursprünglichen Bild zu erzeugen. Ein verkleinertes Bild mit sämtlichen Farbinformationen für jedes Pixel kann in hoher Geschwindigkeit mit hoher Bildqualität ohne hohen Energieverbrauch angezeigt werden.

Claims

Eine Bilderverarbeitungsvorrichtung erzeugt aus einem geeigneten Bildsignal ein neues Bildsignal mit Pixelwerten von sämtlichen benötigten Farbinformationen für jeden Interpolationspunkt, welcher an einer zweidimensionalen Ebene eingestellt ist, enthaltend eine geringere Anzahl von Pixel als das Bildsignal, wobei die Anzahl der Pixel durch einen Faktor 1/n in jeder Richtung reduziert wird, wobei n eine ganze Zahl nicht kleiner als 2 ist, gekennzeichnet durch: eine Interpolationseinheit (4) zum Interpolieren eines Pixelwertes von jeder Farbinformation an einem Interpolationspunkt, verwendend Pixelwerte von Pixel der gleichen Farbe, welche in einen Interpolationsbereich (12A) von m × m Pixel fallen, wobei m eine ganze Zahl nicht kleiner als 2 ist, zentriert an dem Interpolationspunkt für einen Interpolationspunkt (11A), ausgewählt aus einem Intervall von n Pixel, wobei n eine ganze Zahl nicht kleiner als 2 ist, in wenigstens einer Pixelreihenrichtung oder einer Pixelspaltenrichtung von einem Originalbildsignal (1), welches nur einen Pixelwert einer vorbestimmten Farbinformation hat und durch ein Bilderfassungselement aus vielen Pixel erhalten wird, welche in einer Matrix einer zweidimensionalen Ebene angeordnet sind und jeweils unterschiedliche Farbfilter hat, und zum Ausgeben des Pixelwertes als ein interpolierter Pixelwert (5) an dem Interpolationspunkt für jede Farbinformation; eine Kompensationswert-Berechnungseinheit (6) zum Erzeugen eines Pixelkompensationswertes (7) zum Kompensieren der Pixelwerte des Interpolationspunktes, verwendend Pixelwerte mit einer Vielzahl von Pixel, welche in den Kompensationsbereich (13A) von M × M Pixel fallen, wobei M eine ganze Zahl nicht kleiner als m und n ist, zentriert an dem Interpolationspunkt, der größer ist und den Interpolationsbereich umfasst; und eine Kompensationseinheit (8) zum Kompensieren des interpolierten Pixelwertes jeder Farbinformation an dem Interpolationspunkt, der von der besagten Interpolationseinheit durch Verwenden des Pixelkompensationswertes ausgegeben wird, korrespondierend mit dem Interpolationspunkt, der durch die besagte Kompensationswert-Berechnungseinheit erhalten wird, und Ausgabe des kompensierten Pixelwertes als einen neuen Pixelwert (9) jeder Farbinformation an dem Interpolationspunkt.
Eine Vorrichtung gemäß Anspruch 1, wobei, wenn das Intervall n des Interpolationspunktes nicht größer als ein Wert m des Interpolationsbereichs ist, die besagte Kompensationseinheit den Pixelkompensationswert an den interpolierten Pixelwert anhängt, um einen neuen Pixelwert an dem Interpolationspunkt zu berechnen.
Eine Vorrichtung gemäß Anspruch 1, wobei, wenn das Intervall n des Interpolationspunktes größer als ein Wert m des Interpolationsbereichs ist, die besagte Kompensationseinheit den Pixelkompensationswert von dem interpolierten Pixelwert subtrahiert, um einen neuen Pixelwert an dem Interpolationspunkt zu berechnen.
Eine Vorrichtung gemäß Anspruch 1, wobei die besagte Kompensationswert-Berechnungseinheit einen Pixelkompensati onswert berechnet, korrespondierend mit dem Interpolationspunkt, verwendend nur Pixelwerte einer Vielzahl von Pixel mit Farbinformationen, welche die Helligkeitskomponenten des Bildsignals repräsentieren.
Eine Vorrichtung gemäß Anspruch 1, wobei die besagte Interpolationseinheit sequentiell Pixelwerte als Pixelblocks (21) von dem Bildsignal mit M Pixelreihen parallel miteinander in Einheiten von Einfachpixelspalten empfängt, wobei Pixelwerte von Pixel aus einem Kompensationsbereich (22) verwendet werden, welche von M erfolgreich empfangenen Pixelblocks gebildet werden, und sequentielles Berechnen eines interpolierten Pixelwertes an einem Interpolationspunkt in dem Interpolationsbereich, und wobei die besagte Kompensationswert-Berechnungseinheit sequentiell einen Pixelkompensationswert zum Kompensieren eines Pixelwertes des Interpolationspunktes in dem Kompensationsbereich berechnet und ausgibt, verwendend Pixelwerte von Pixel, die in dem gleichen Kompensationsbereich wie dem Interpolationsbereich enthalten sind, der zum Berechnen des interpolierten Pixelwertes in der besagten Interpolationseinheit verwendet wird.
Eine Vorrichtung gemäß Anspruch 1, wobei die besagte Vorrichtung ferner eine Bereichswert-Berechnungseinheit (2) zum sequentiellen Empfangen von Pixelwerten umfasst, welche von dem Bildsignal (1) als Pixelblocks (21) durch M Pixelreihen parallel miteinander in Einheiten von Einfachpixelspalten gebildet sind, Festlegen eines Kompensationsbereichs durch M erfolgreich empfangene Pixelblocks, Berechnen der Summen der Pixelwerte der Pixel, welche zu den entsprechenden Bereichen gehören, welche vorab in dem Kompensationsbereich als Bereichswerte (3) der entspre chenden Bereiche eingestellt sind, und paralleles Ausgeben der Bereichswerte synchron mit dem Empfang des Pixelblocks, wobei die besagte Interpolationseinheit (4A) wahlweise die Bereichswerte (3) verwendet, welche parallel von der besagten Bereichswert-Berechnungseinheit ausgegeben werden, und sequentielles Berechnen und Ausgeben eines interpolierten Pixelwertes (5) an einem Interpolationspunkt in einem korrespondierenden Kompensationsbereich, und wobei die besagte Kompensationswert-Berechnungseinheit (6A) wahlweise die Bereichswerte (3) verwendet, welche parallel von der besagten Bereichswert-Berechnungseinheit ausgegeben werden, und sequentielles Berechnen und Ausgeben eines Kompensationswertes (7) zum Kompensieren eines Pixelwertes des Interpolationspunktes in dem korrespondierenden Kompensationsbereich.
Eine Vorrichtung gemäß Anspruch 1, wobei die besagte Interpolationseinheit (41, 42, 43) einen interpolierten Pixelwert an einem Interpolationspunkt aus einer Summe von Produkten der Pixelwerte der Pixel, welche in der Interpolationsberechnung verwendet werden, berechnet, und Koeffizienten korrespondierend mit den Pixel verwendet werden, und Verwenden der Koeffizienten als Koeffizienten der Summen der Potenzen von 2 und der Summe, welche die Potenz von 2 ist.
Eine Vorrichtung gemäß Anspruch 1, wobei die besagte Kompensationswert-Berechnungseinheit (6A) einen Kompensationswert aus einer Summe von Produkten der Pixelwerte der Pixel, welche bei der Kompensationswertberechnung verwendet werden, berechnet, und Koeffizienten korrespondierend mit den Pixel verwendet werden, und Verwenden der Koeffi zienten als Koeffizienten der Summen der Potenzen von 2 und der Summe, welche die Potenz von 2 ist.