DE10243306A1 - Verfahren und Vorrichtung zur Verarbeitung von Bildsensor-Ausgabedaten - Google Patents

Verfahren und Vorrichtung zur Verarbeitung von Bildsensor-Ausgabedaten

Info

Publication number
DE10243306A1
DE10243306A1 DE10243306A DE10243306A DE10243306A1 DE 10243306 A1 DE10243306 A1 DE 10243306A1 DE 10243306 A DE10243306 A DE 10243306A DE 10243306 A DE10243306 A DE 10243306A DE 10243306 A1 DE10243306 A1 DE 10243306A1
Authority
DE
Germany
Prior art keywords
component
value
absolute value
pixel
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE10243306A
Other languages
English (en)
Inventor
Soon-Jae Cho
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of DE10243306A1 publication Critical patent/DE10243306A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046Colour interpolation to calculate the missing colour values

Abstract

Die Erfindung bezieht sich auf eine Vorrichtung und ein Verfahren zur Verarbeitung von Ausgabedaten eines Bildsensors, insbesondere vom Einzelsensortyp. DOLLAR A Erfindungsgemäß werden die Ausgabedaten des Bildsensors mit Information über Farbsignale für jeden Bildpunkt in einem Zeilenspeichermodul (20) gespeichert. Ein anschließendes Verzögerungsmodul (25) verzögert die vom Zeilenspeichermodul zugeführten Daten. Ein Richtungskoeffizientenwertselektor (26) empfängt die Ausgabedaten des Verzögerungsmoduls, wählt eine Mehrzahl von Richtungskoeffizientenwerten zur Festlegung von Kantenkomponenten für die rote (R-)Komponente, grüne (G-)Komponente und blaue (B-)Komponente eines jeweiligen Bildpunkts aus und gibt die ausgewählten Werte ab. Ein adaptiver Interpolator (27) empfängt die Ausgabedaten des Verzögerungsmoduls und ermittelt die R- und B-Komponenten eines Bildpunkts mit der G-Komponente, die G- und B-Komponenten eines Bildpunkts der R-Komponente und die G- und R-Komponenten eines Bildpunkts mit der B-Komponente mittels Interpolation unter Verwendung der Ausgabedaten des Verzögerungsmoduls in Reaktion auf die Ausgabedaten des Richtungskoeffizientenwertselektors. DOLLAR A Verwendung in der elektronischen Bildsensortechnik.

Description

  • Die Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zur Verarbeitung von Ausgabedaten eines Bildsensors. Hierbei kann es sich beispielsweise um einen Bildsensor einer elektronischen Farbbildkamera mit Einzelsensor handeln.
  • Ein Bildsensor wandelt eine Eingangsszene in ein elektronisches Signal um und erfasst hierzu die Lichtintensität, die in jedem Teilbereich des Sensors variieren kann, d. h. für einzelne Bildpunkte oder Pixel, die in einem regelmäßigen Muster angeordnet sind. Auf dem Sensor ist meist ein Farbfilterfeld (CFA) vorgesehen, wobei die einzelnen Bildpunkte des Sensors die Intensitäten von Farbsignalen sensieren, die durch das CFA hindurchtreten.
  • Bei der Umwandlung eines Farbsignals in ein elektronisches Signal ist es bevorzugt, dass Bilddaten, die in drei Farbebenen sensiert werden, nämlich jeweils eine für die Farben rot, grün und blau, sämtlich gleichzeitig aufgenommen werden. Denn Bilddaten, die in den drei Farbebenen sensiert werden, müssen geeignet gemischt werden, um ein Farbbild hoher Qualität zu erhalten.
  • Wenn statt der drei Farbebenen nur eine Ebene verwendet wird, die in der Lage ist, die drei Farben zu sensieren, wird dies als ein Einzelsensor bezeichnet. Im allgemeinen weist ein CFA eines solchen Einzelsensors die Struktur eines normalen Farbfiltermusters auf, d. h. jeder Bildpunkt sensiert eine Farbe. Unter einem Bildsensor mit ladungsgekoppeltem Bauelement (CCD) oder einem CMOS-Bildsensor vom Einzelsensortyp wird eine Vorrichtung verstanden, die eine Szene sensiert, welche einer Kamera eingangsseitig zugeführt wird, und digitale Daten ausgibt, welche Informationen über die Intensität einer vom jeweiligen Bildpunkt abgetasteten Farbe enthalten. Ein Stück Videodaten, das vom CGD- oder CMOS-Bildsensor vom Einzelsensortyp abgegeben wird, besitzt nur Information über eines der Farbsignale für Rot (R), Grün (G) und Blau (B). Daher sollte eine derartige Dateneinheit eines Bildsensors vom Einzelsensortyp Informationen über die anderen beiden Farben durch Verwendung eines Interpolationsverfahrens erzeugen.
  • Eine Datenstruktur, bei der eine Farbinformations-Dateneinheit nicht die Informationen über alle drei Farben, sondern nur über irgendeine der drei Farben bezüglich eines jeweiligen Bildpunktes besitzt, wird als eine Bayer-Feldstruktur bzw. Bayer-Matrixstruktur bezeichnet.
  • Fig. 1 zeigt schematisch ein solches Bayer-Feld. Im Bayer-Feld von Fig. 1 können verschiedene Interpolationsverfahren angewandt werden, um für jeden Bildpunkt die drei Farben R, G und B zu erhalten, wobei das Leistungsvermögen der Interpolation in Abhängigkeit davon, welches Interpolationsverfahren ausgewählt wird, deutliche Unterschiede zeigt.
  • Hierzu wird als erstes auf ein Interpolationsverfahren unter Verwendung eines Filterverfahrens erster Ordnung eingegangen. Wenn ein lineares Interpolationsverfahren verwendet wird, wird in diesem Fall die G- Komponente für den Bildpunkt (1,1), wobei der Klammerausdruck die Zeilen- und Spaltennummerierung in der Bildpunktmatrix wiedergibt, der hier die Information über die B-Komponente trägt, durch folgende Gleichung ausgedrückt:

    G11 = (G01 + G10 + G12 + G21)/4.
  • Beim linearen Interpolationsverfahren kann sich die Bildqualität eines komplexen Teils des Bildes verschlechtern, beispielsweise eines Bereichs mit einer räumlichen Kante. Ein Beispiel für eine solche räumliche Kante ist eine Münze auf einem Blatt weißem Papier. In diesem Fall liegt eine räumliche Kante ohne Signalkontinuität an der Grenze zwischen Papier und Münze vor.
  • Um diesen Problemfall anzugehen, wurde ein Verfahren vorgeschlagen, bei dem eine Kantenkomponente in eine horizontale und eine vertikale Richtungskomponente aufgeteilt wird und die Interpolation dann auf die Richtung mit einem kleineren Betrag an Kantensteigung angewandt wird. Wenn beispielsweise die G-Komponente des Bildpunkts (1,1) von Fig. 11 erhalten werden soll und das Maß an Kantensteigung in der horizontalen Richtung kleiner als das Maß an Kantensteigung in der vertikalen Richtung ist, gilt G11 = (G10 + G12)/2, während für den Fall, dass das Maß an Kantensteigung in der vertikalen Richtung geringer als das Maß an Kantensteigung in der horizontalen Richtung ist, die Beziehung G11 = (G01 + G21)/2 gilt. Bei dieser Vorgehensweise kann sich jedoch die Bildqualität eines Bildbereichs mit horizontaler Kantenkomponente verschlechtern.
  • Um diese beiden Problempunkte anzugehen, wurde ein Verfahren unter Verwendung einer Laplace-Filterung zweiter Ordnung vorgeschlagen. Bei diesem Verfahren wird unter der Annahme, dass die Differenz zwischen Farbsignalen in einem lokalen Bereich eines Bildes konstant ist, d. h. Gi - Ri = const1, Gi - Bi = const2 und Bi - Ri = const3, mit dem die Bildpunktposition angebenden Index i, ein neues Interpolationsverfahren angewandt. Wenn beispielsweise die Kantenkomponente in der horizontalen Richtung gering ist, gilt für die G-Komponente des Bildpunkts (2,2) von Fig. 1 die Beziehung:

    G22 = (G21 + G23)/2 + (2R22 - R20 - R24/4.
  • Für ein normales Bild bietet diese Vorgehensweise Vorteile hinsichtlich einer einfachen Hardwarestruktur und hohem Leistungsvermögen. In Bildbereichen mit diagonalen Kanten, in denen die oben genannte Voraussetzung nicht erfüllt ist, beispielsweise in einem synthetischen Bild, kann dieses Verfahren jedoch eine Verschlechterung der Bildqualität ebenso wenig überwinden wie andere existierende Verfahren.
  • Der Erfindung liegt als technisches Problem die Bereitstellung einer Vorrichtung und eines Verfahrens der eingangs genannten Art zugrunde, mit denen sich Bilder vergleichsweise hoher Qualität sowohl im Fall von regelmäßigen als auch von unregelmäßigen Unterschieden zwischen den von den einzelnen Bildpunkten des Bildsensors sensierten Intensitäten für verschiedene Farben erzielen lassen und verschiedenste Arten von Bildkanten adaptiv verarbeitet werden können.
  • Die Erfindung löst dieses Problem durch die Bereitstellung einer Vorrichtung mit den Merkmalen des Anspruchs 1 und eines Verfahrens mit den Merkmalen des Anspruchs 19. Erfindungsgemäß werden zur Verarbeitung der Bildsensordaten eine Mehrzahl von Richtungskoeffizienten verwendet. Damit können Bilder hoher Qualität unabhängig davon erhalten werden, ob die Differenz zwischen Intensitäten verschiedener Farben, die in den verschiedenen Bildpunkten des Bildpunktsensors sensiert werden, regelmäßig ist oder nicht. Außerdem können verschiedenste Bildkanten adaptiv verarbeitet werden, wie horizontale, vertikale und diagonale Kanten sowie Eckbereiche, dickere und dünnere Kanten.
  • Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.
  • Vorteilhafte Ausführungsformen der Erfindung sind in den Zeichnungen dargestellt und werden nachfolgend beschrieben. Hierbei zeigen:
  • Fig. 1 eine schematische Darstellung eines Bayer-Feldes,
  • Fig. 2 ein Blockschaltbild einer Vorrichtung zur Verarbeitung der von einem Bildsensor abgegebenen Daten,
  • Fig. 3 ein Blockschaltbild eines in Fig. 2 verwendeten Verzögerungsmoduls,
  • Fig. 4 ein Blockschaltbild eines in Fig. 2 verwendeten Richtungskoeffizientenwertselektors,
  • Fig. 5 ein Blockschaltbild eines adaptiven Interpolators von Fig. 2,
  • Fig. 6 ein Blockschaltbild eines Tiefpassfilterkomponentenkalkulators von Fig. 5,
  • Fig. 7 ein Blockschaltbild eines Hochpassfilterkomponentenkalkulators von Fig. 5,
  • Fig. 8 ein Flussdiagramm eines Verfahrens zur Verarbeitung der von einem Bildsensor abgegebenen Daten,
  • Fig. 9 ein detaillierteres Flussdiagramm eines Schritts zum Auswählen von Richtungskoeffizientenwerten in Fig. 8,
  • Fig. 10 ein detaillierteres Flussdiagramm eines Schritts zum Auswählen eines zweiten Richtungskoeffizientenwertes in Fig. 9, wenn ein Bildpunkt bereits die G-Komponente hat,
  • Fig. 11 ein detaillierteres Flussdiagramm eines Schritts zum Auswählen eines dritten Richtungskoeffizientenwertes in Fig. 9, wenn ein Bildpunkt bereits die G-Komponente hat,
  • Fig. 12 ein detaillierteres Flussdiagramm von Schritten zum Auswählen des zweiten Richtungskoeffizientenwertes in Fig. 9, wenn der Bildpunkt, für den Farbkomponenten zu bestimmen sind, die G- Komponente nicht hat,
  • Fig. 13 ein detaillierteres Flussdiagramm eines Schritts zum Auswählen des dritten Richtungskoeffizientenwertes in Fig. 9, wenn der Bildpunkt, für den Farbkomponenten zu bestimmen sind, die G- Komponente nicht hat,
  • Fig. 14 diagrammatische Darstellungen von neunzehn Typen von Kanten, die durch das Verfahren zur Verarbeitung der Ausgabedaten eines Bildsensors verarbeitet werden können,
  • Fig. 15 eine Tabelle zur Klassifizierung von Kanten, die durch drei Richtungskoeffizienten zur Bestimmung des G-Wertes eines beliebigen Bildpunkts verarbeitet werden können, und
  • Fig. 16 eine Tabelle zur Klassifizierung der R-Komponente eines Bildpunkts bezüglich eines Richtungskoeffizienten und von hierzu gehörigen Kantentypen.
  • Fig. 2 veranschaulicht im Blockschaltbild eine Vorrichtung zur Verarbeitung der Daten, die von einem Bildsensor abgegeben werden, wobei im folgenden auf das oben erwähnte Bayer-Feld von Fig. 1 Bezug genommen wird, auch als Bayer-Matrix bezeichnet. Die Vorrichtung von Fig. 2 beinhaltet ein Zeilenspeichermodul 20, ein Verzögerungsmodul 25, einen Richtungskoeffizientenwertselektor 26 und einen adaptiven Interpolator 27.
  • Das Zeilenspeichermodul 20 empfängt und speichert Daten, die von einem Bildsensor vom Einzelsensortyp abgegeben werden und Informationen über Farbsignale tragen, die an jedem Bildpunkt sensiert werden. Das Verzögerungsmodul 25 empfängt die vom Bildsensor abgegebenen Daten und vom Zeilenspeichermodul 20 abgegebene Daten, verzögert die empfangenen Daten um eine vorgebbare Zeitdauer unter Verwendung eines Taktsignals und gibt dann die Daten ab.
  • Der Richtungskoeffizientenwertselektor 26 empfängt vom Verzögerungsmodul 25 abgegebene Daten, wählt eine Mehrzahl von Richtungskoeffizientenwerten zum Festlegen von Kantenkomponenten der R-, G- und B-Komponenten eines betreffenden Bildpunkts unter Verwendung der Ausgabedaten des Verzögerungsmoduls 25 aus und gibt die ausgewählten Werte ab. Der adaptive Interpolator 27 empfängt die vom Verzögerungsmodul 25 abgegebenen Daten und interpoliert in Reaktion auf die Ausgabedaten des Richtungskoeffizientenwertselektors 26 die empfangenen Ausgabedaten des Verzögerungsmoduls 25, um die R- und B-Komponenten eines Bildpunkts, der nur die G-Komponente hat, die G- und B-Komponenten eines Bildpunkts, der nur die R-Komponente hat, und die G- und R-Komponenten eines Bildpunkts zu erhalten, der nur die B-Komponente hat.
  • Das Zeilenspeichermodul 20 umfasst einen ersten Zeilenspeicher 21 zum Speichern der Ausgabedaten INPUT des Bildsensors, einen zweiten Zeilenspeicher 22 zum Speichern der Ausgabedaten des ersten Zeilenspeichers 31, einen dritten Zeilenspeicher 23 zum Speichern der Ausgabedaten des zweiten Zeilenspeichers 22 und einen vierten Zeilenspeicher 24 zum Speichern der Ausgabedaten des dritten Zeilenspeichers 23.
  • Fig. 3 zeigt detaillierter das Verzögerungsmodul 25 von Fig. 2. Wie daraus ersichtlich, beinhaltet das Verzögerungsmodul 25 einen ersten bis fünften Verzögerungsblock 251 bis 255. Jeder dieser Verzögerungsblöcke 251 bis 255 arbeitet in Abhängigkeit von einem Taktsignal CLOCK und weist vier seriell verbundene Schieberegister auf. Der erste Verzögerungsblock 251 verzögert die Ausgabedaten INPUT des Bildsensors. Der zweite Verzögerungsblock 252 verzögert die Ausgabedaten des ersten Zeilenspeichers 21. Der dritte Verzögerungsblock 253, der vierte Verzögerungsblock 254 und der fünfte Verzögerungsblock 255 verzögern die Ausgabedaten des zweiten Zeilenspeichers 22, des dritten Zei- lenspeichers 23 bzw. des vierten Zeilenspeichers 24.
  • Fig. 4 zeigt detaillierter den Richtungskoeffizientenwertselektor 26 von Fig. 2. Wie daraus ersichtlich, beinhaltet dieser eine Berechnungseinheit 261 zur Bestimmung, ob eine Kantenkomponente in horizontaler und/oder vertikaler und/oder diagonaler Richtung in jeder der R-, G- und B-Komponenten eines beliebigen Bildpunkts existiert, für den Farbkomponenten zu ermitteln sind, sowie zur Berechnung der Stärke der Kantenkomponente. Des weiteren beinhaltet er eine Vergleichsbestimmungseinheit 263 zur Bestimmung von wenigstens drei Richtungskoeffizientenwerten durch Vergleichen der Ausgabedaten der Berechnungseinheit 261 mit wenigstens drei Schwellwerten.
  • Die Berechnungseinheit 261 weist eine erste, zweite und dritte Farbkomponentenberechnungseinheit 2611, 2613 und 2615 auf, die Kantenkomponenten in Abhängigkeit davon ermitteln, welche Farbkomponente ein jeweils betrachteter Bildpunkt bereits hat. Speziell dient die erste Farbkomponentenberechnungseinheit 2611 der Berechnungseinheit 261 dazu, die Kantenkomponente der G-Komponente zu bestimmen, wenn der Bildpunkt die R- oder die G-Komponente hat, während sie inaktiv bleibt, wenn der Bildpunkt die G-Komponente hat. Analog dient die zweite Farbkomponentenberechnungseinheit 2613 dazu, die horizontale Kantenkomponente der R-Komponente zu ermitteln, wenn der Bildpunkt die R-Komponente hat, die horizontale Kantenkomponente der G- Komponente zu ermitteln, wenn der Bildpunkt die G-Komponente hat, und die horizontale Kantenkomponente der B-Komponente zu ermitteln, wenn der Bildpunkt die B-Komponente hat. Die dritte Farbkomponentenberechnungseinheit 2615 dient dazu, die vertikale Kantenkomponente der R-Komponente zu ermitteln, wenn der Bildpunkt die R- Komponente hat, die vertikale Kantenkomponente der G-Komponente zu ermitteln, wenn der Bildpunkt die G-Komponente hat, und die vertikale Kantenkomponente der B-Komponente zu ermitteln, wenn der Bildpunkt die B-Komponente hat. Konkret sind in Fig. 4 als Beispiel die Farbkomponenten für die Berechnungseinheit 261 angegeben, wenn die R-Komponente des Bildpunkts (2,2) zu bestimmen ist.
  • Die Berechnungseinheit 261 arbeitet wie folgt. Die erste Farbkomponentenberechnungseinheit 2611 berechnet die Differenz zwischen dem in horizontaler Richtung ansteigenden oder abnehmenden Absolutwert der G-Komponente für einen jeweiligen Bildpunkt, für den Farbkomponenten zu bestimmen sind, d. h. dem Absolutwert der horizontalen Steigungskomponente der G-Komponente, und dem in vertikaler Richtung ansteigenden oder abnehmenden Absolutwert der G-Komponente für diesen Bildpunkt, d. h. dem Absolutwert der vertikalen Anstiegskomponente der G-Komponente.
  • Wenn der betrachtete Bildpunkt die R-Komponente hat, berechnet die zweite Farbkomponentenberechnungseinheit 2613 die Differenz zwischen dem in horizontaler Richtung ansteigenden oder abnehmenden Absolutwert der R-Komponente von Bildpunkten links des betrachteten Bildpunkts, d. h. dem Absolutwert der linken Steigungskomponente der R-Komponente, und dem in horizontaler Richtung ansteigenden oder abnehmenden Absolutwert der R-Komponente von Bildpunkten rechts des betrachteten Bildpunkts, d. h. dem Absolutwert der rechten Steigungskomponente der R-Komponente.
  • Wenn der betrachtete Bildpunkt die G-Komponente hat, berechnet die zweite Farbkomponentenberechnungseinheit 2613 die Differenz zwischen dem in horizontaler Richtung ansteigenden oder abnehmenden Absolutwert der G-Komponente von Bildpunkten links des betrachteten Bildpunkts, d. h. dem Absolutwert der linken Steigungskomponente der G-Komponente, und dem in horizontaler Richtung ansteigenden oder abnehmenden Absolutwert der G-Komponente von Bildpunkten rechts des betrachteten Bildpunkts, d. h. dem Absolutwert der rechten Steigungskomponente der G-Komponente.
  • Wenn der betrachtete Bildpunkt die B-Komponente hat, berechnet die zweite Farbkomponentenberechnungseinheit 2613 die Differenz zwischen dem in horizontaler Richtung ansteigenden oder abnehmenden Absolutwert der B-Komponente von Bildpunkten links des betrachteten Bildpunkts, d. h. dem Absolutwert der linken Steigungskomponente der B-Komponente, und dem in horizontaler Richtung ansteigenden oder abnehmenden Absolutwert der B-Komponente von Bildpunkten rechts des betrachteten Bildpunkts, d. h. dem Absolutwert der rechten Steigungskomponente der B-Komponente.
  • Wenn der betrachtete Bildpunkt die R-Komponente hat, berechnet die dritte Farbkomponentenberechnungseinheit 2615 die Differenz zwischen dem in vertikaler Richtung ansteigenden oder abnehmenden Absolutwert der R-Komponente von Bildpunkten über dem betrachteten Bildpunkt, d. h. dem Absolutwert der oberen Steigungskomponente der R- Komponente, und dem in vertikaler Richtung ansteigenden oder abnehmenden Absolutwert der R-Komponente von Bildpunkten unter dem betrachteten Bildpunkt, d. h. dem Absolutwert der unteren Steigungskomponente der R-Komponente.
  • Wenn der betrachtete Bildpunkt die G-Komponente hat, berechnet die dritte Farbkomponentenberechnungseinheit 2615 die Differenz zwischen dem in vertikaler Richtung ansteigenden oder abnehmenden Absolutwert der G-Komponente von Bildpunkten über dem betrachteten Bildpunkt, d. h. dem Absolutwert der oberen Steigungskomponente der G- Komponente, und dem in vertikaler Richtung ansteigenden oder abnehmenden Absolutwert der G-Komponente von Bildpunkten unter dem betrachteten Bildpunkt, d. h. dem Absolutwert der unteren Steigungskomponente der G-Komponente.
  • Wenn der betrachtete Bildpunkt die B-Komponente hat, berechnet die dritte Farbkomponentenberechnungseinheit 2615 die Differenz zwischen dem in vertikaler Richtung ansteigenden oder abnehmenden Absolutwert der B-Komponente von Bildpunkten über dem betrachteten Bildpunkt, d. h. dem Absolutwert der oberen Steigungskomponente der B- Komponente, und dem in vertikaler Richtung ansteigenden oder abnehmenden Absolutwert der B-Komponente von Bildpunkten unter dem betrachteten Bildpunkt, d. h. dem Absolutwert der unteren Steigungskomponente der B-Komponente.
  • Die erste Farbkomponentenberechnungseinheit 2611 umfasst einen ersten Funktionsblock 2616, einen zweiten Funktionsblock 2617 und einen ersten Subtrahierer 5001. Der erste Funktionsblock 2616 enthält einen zweiten Subtrahierer 2622 zur Ermittlung der Farbkomponentendifferenz zwischen G32 und G12 und einen ersten Block 2623 zur Ermittlung des Absolutwerts der Ausgabedaten des zweiten Subtrahierers 2622. Der zweite Funktionsblock 2617 enthält einen dritten Subtrahierer 2624 zur Ermittlung der Farbkomponentendifferenz zwischen G23 und G21 und einen zweiten Block 2625 zur Ermittlung des Absolutwerts der Ausgabedaten des dritten Subtrahierers 2624. Der erste Subtrahierer 5001 ermittelt die Differenz zwischen den Ausgabedaten des ersten Funktionsblocks 2616 und den Ausgabedaten des zweiten Funktionsblocks 2617 und gibt die Differenz x1 ab.
  • Die zweite Farbkomponentenberechnungseinheit 2613 besitzt schaltungsmäßig die gleiche Struktur wie die erste Farbkomponentenberechnungseinheit 2611 und ermittelt den Absolutwert der Farbkomponentendifferenz zwischen R22 und R24 sowie den Absolutwert der Farbkomponentendifferenz zwischen R22 und R20 und gibt die Differenz x2 zwischen den beiden Absolutwerten ab.
  • Die dritte Farbkomponentenberechnungseinheit 2615 besitzt schaltungsmäßig die gleiche Struktur wie die erste Farbkomponentenberechnungseinheit 2611 und ermittelt den Absolutwert der Farbkomponentendifferenz zwischen R22 und R42 sowie den Absolutwert der Farbkomponentendifferenz zwischen R22 und R02 und gibt die Differenz x3 zwischen den beiden Absolutwerten ab.
  • Die Vergleichsbestimmungseinheit 263 umfasst eine erste Vergleichsbestimmungseinheit 2631, eine zweite Vergleichsbestimmungseinheit 2633 und eine dritte Vergleichsbestimmungseinheit 2635. Die erste Vergleichsbestimmungseinheit 2631 wählt für einen ersten Richtungskoeffizienten einen ersten Zustandswert aus, wenn der Ausgabewert x1 der Ersten Farbkomponentenberechnungseinheit 2611 größer als der negative Wert eines ersten Schwellwerts und kleiner als der positive Wert des ersten Schwellwerts ist. Wenn der Ausgabewert x1 der ersten Farbkomponentenberechnungseinheit 2611 niedriger als der negative Wert des ersten Schwellwertes ist, wählt sie für den ersten Richtungskoeffizienten einen zweiten Zustandswert aus, und wenn der Ausgabewert x1 der ersten Farbkomponentenberechnungseinheit 2611 größer als der positive Wert des ersten Schwellwerts ist, wählt sie für den ersten Richtungskoeffizienten einen dritten Zustandswert aus. Anschließend gibt die erste Vergleichsbestimmungseinheit 2631 den ersten Richtungskoeffizienten αd ab.
  • Die zweite Vergleichsbestimmungseinheit 2633 wählt für einen zweiten Richtungskoeffizienten den ersten Zustandswert aus, wenn der Ausgabewert x2 der zweiten Farbkomponentenberechnungseinheit 2613 größer als der negative Wert eines zweiten Schwellwertes und kleiner als der positive Wert des zweiten Schwellwertes ist. Wenn der Ausgabewert x2 der zweiten Farbkomponentenberechnungseinheit 2613 niedriger als der negative Wert des zweiten Schwellwertes ist, wählt sie für den zweiten Richtungskoeffizienten den zweiten Zustandswert aus, und wenn der Ausgabewert x2 der zweiten Farbkomponentenberechnungseinheit 2613 größer als der positive Wert des zweiten Schwellwerts ist, wählt sie für den zweiten Richtungskoeffizienten den dritten Zustandwert aus. Anschließend gibt die zweite Vergleichsbestimmungseinheit 2633 den zweiten Richtungskoeffizienten αh ab.
  • Die dritte Vergleichsbestimmungseinheit 2635 wählt für einen dritten Richtungskoeffizienten den ersten Zustandswert aus, wenn der Ausgabewert x3 der dritten Farbkomponentenberechnungseinheit 2615 größer als der negative Wert eines dritten Schwellwerts und kleiner als der positive Wert des dritten Schwellwerts ist. Wenn der Ausgabewert x3 der dritten Farbkomponentenberechnungseinheit 2615 kleiner als der negative Wert des dritten Schwellwerts ist, wählt sie für den dritten Richtungskoeffizienten den zweiten Zustandswert aus, und wenn der Ausgabewert x3 der dritten Farbkomponentenberechnungseinheit 2615 größer als der positive Wert des dritten Schwellwerts ist, wählt sie für den dritten Richtungskoeffizienten den dritten Zustandswert aus. Anschließend gibt die dritte Vergleichsbestimmungseinheit 2635 den dritten Richtungskoeffizienten αv ab.
  • In einer möglichen Realisierung sind der erste, zweite und dritte Schwellwert ganze Zahlen größer als 4 und kleiner als 20, der erste Zustandswert ist gleich S , der zweite Zustandswert ist gleich 1 und der dritte Zustandswert ist gleich 0.
  • Fig. 5 veranschaulicht detaillierter den adaptiven Interpolator 27 von Fig. 2. Wie daraus ersichtlich, umfasst der adaptive Interpolator 27 einen Interpolator 271 für die G-Komponente, einen Interpolator 275 für die R- Komponente und einen Interpolator 277 für die B-Komponente.
  • Der G-Komponenteninterpolator 271 umfasst einen Tiefpassfilter(LPF)- Komponentenkalkulator 272, einen Hochpassfilter(HPF)-Komponentenkalkulator 273 und einen ersten Addierer 274. Der LPF-Komponentenkalkulator 272 empfängt eine Mehrzahl von G-Komponenten von den Ausgangssignalen des Verzögerungsmoduls 25, führt eine Berechnung durch, wählt das Berechnungsergebnis in Abhängigkeit vom Ausgangssignal des Richtungskoeffizientenwertselektors 26 aus und gibt das Berechnungsergebnis Glpf ab. Der HPF-Komponentenkalkulator 273 empfängt eine Mehrzahl von R-Komponenten oder B-Komponenten von den Ausgangssignalen des Verzögerungsmoduls 25, führt eine Berechnung durch, wählt das Berechnungsergebnis in Abhängigkeit vom Ausgangssignal des Richtungskoeffizientenwertselektors 26 aus und gibt das Berechnungsergebnis Ghpf ab. Der erste Addierer 274 beinhaltet eine Addiereinheit zur Durchführung einer ODER-Verknüpfung des Ausgangssignals Glpf des LPF-Komponentenkalkulators 272 mit dem Ausgangssignal Ghpf des HPF-Komponentenkalkulators 273 und zur Ausgabe eines entsprechenden Ergebnisses G0.
  • Der R-Komponenteninterpolator 275 wählt, wenn die R-Komponente eines Bildpunkts (i,j), dessen G-Komponente bekannt ist, zu bestimmen ist, in Abhängigkeit vom zweiten Richtungskoeffizienten αh einen der Werte Ri(j+1) + (Gij - Gi(j+2)/2, (Ri(j+1) + Ri(j+1))/2 + (2Gij - Gi(j-2) - Gi(j+2)/4 und (Ri(j-1) + (Gij - Gi(j-2))/2 aus und gibt den ausgewählten Wert R0 ab. Wenn die R- Komponente eines Bildpunkts (i,j) zu bestimmen ist, dessen B- Komponente bekannt ist, bestimmt der R-Komponenteninterpolator 275 das arithmetische Mittel (R(i-1)(j-1) + R(i-1)(j+1) + R(i+1)(j-1) + R(i+1)(j+1))/4 von vier Bildpunkten in der diagonalen Richtung des Bildpunkts (i,j) und gibt es als das Ergebnis R0 ab.
  • Der B-Komponenteninterpolator 277 wählt, wenn die B-Komponente eines Bildpunkts (i,j) dessen G-Komponente bekannt ist, zu bestimmen ist, in Reaktion auf den dritten Richtungskoeffizienten αv einen der Werte Bi(j+1) + (Gij - Gi(j+2))/2, (Bi(j-1) + Bi(j+1))/2 + (2Gij -Gi(j-2)-Gi(j+2))/4 und Bi(j-1) + (Gij - Gi(j-2))/2 aus und gibt den ausgewählten Wert B0 ab. Wenn die B- Komponente des Bildpunkts (i,j) zu bestimmen ist, dessen R- Komponente bekannt ist, bestimmt der B-Komponenteninterpolator 275 das arithmetische Mittel (B(i-1)(j-1) + B(i-1)(j+1) + B(i+1)(j-1) + B(i+1)(j+1))/4 von vier Bildpunkten in der diagonalen Richtung des Bildpunkts (i,j) und gibt es als das Ergebnis B0 ab.
  • Fig. 6 veranschaulicht detaillierter den LPF-Komponentenkalkulator 272 von Fig. 5. Wie daraus ersichtlich, umfasst der LPF-Komponentenkalkulator 272 eine erste Logikblockeinheit mit mehreren Logikblöcken 611 bis 616, eine zweite Logikblockeinheit mit mehreren Logikblöcken 617 bis 621 und einen ersten Selektor 630. Die Logikblöcke 611 bis 616 der ersten Logikblockeinheit führen ODER-Verknüpfungen von G12 mit G32, G23 mit G32, G23 mit G12, G21 mit G32, G21 mit G12 bzw. G23 mit G21durch und dividieren jedes ODER-Ergebnis durch 2. Die Logikblöcke 617 bis 621 der zweiten Logikblockeinheit dienen jeweils zum Auswählen von zweien der Ausgangssignale der Logikblöcke 611 bis 616 der zweiten Logikblockeinheit und dividieren das ausgewählte Ergebnis durch 2. Der erste Selektor 630 wählt in Reaktion auf die Ausgabesignale αd, αh und αv des Richtungskoeffizientenwertselektors 26 einen Wert aus G12, G21, G23, G32, den Ausgangssignalen der Logikblöcke 611 bis 616 der ersten Logikblockeinheit und den Ausgangssignalen der Logikblöcke 617 bis 621 der zweiten Logikblockeinheit aus und gibt den ausgewählten Wert Glpf ab.
  • Fig. 7 veranschaulicht detaillierter den HPF-Komponentenkalkulator 273 von Fig. 5. Wie daraus zu ersichtlich, umfasst der HPF-Komponentenkalkulator 273 eine dritte Logikblockeinheit mit mehreren Logikblöcken 712 bis 715, einen vierte Logikblockeinheit mit mehreren Logikblöcken 716 bis 721, eine fünfte Logikblockeinheit mit mehreren Logikblöcken 722 bis 726 und einen zweiten Selektor 730.
  • Die Logikblöcke 712 bis 715 der dritten Logikblockeinheit dividieren die Differenz zwischen R22 Und R42 bzw. die Differenz zwischen B22 und B42 durch 2, die Differenz zwischen R22 und R02 bzw. die Differenz zwischen B22 Und B02 durch 2, die Differenz zwischen R22 Und R24 bzw. die Differenz zwischen B22 und B24 durch 2 sowie die Differenz zwischen R22 und R20 bzw. die Differenz zwischen B22 und B20 durch 2. Die Logikblöcke 716 bis 721 der vierten Logikblockeinheit wählen zwei verschiedene von den mehreren Ausgangssignalen der Logikblöcke 712 bis 715 der dritten Logikblockeinheit aus, führen mit den ausgewählten Signalen eine ODER-Verknüpfung durch und teilen die ODER-Ergebnisse durch 2. Die Logikblöcke 722 bis 726 der fünften Logikblockeinheit wählen zwei verschiedlene von den mehreren Ausgangssignalen der Logikblöcke 716 bis 721 der vierten Logikblockeinheit aus, führen eine ODER-Verknüpfung der ausgewählten Signale durch und dividieren die ODER-Ergebnisse durch 2. Der zweite Selektor 730 wählt in Abhängigkeit von den Ausgangssignalen αd, αh und αv des Richtungskoeffizientenwertselektors 26 eines der Ausgangssignale der Logikblöcke 712 bis 726 der dritten und vierten Logikblockeinheit aus und gibt das ausgewählte Signal Ghpf ab.
  • Fig. 8 zeigt in einem Flussdiagramm 800 ein Verfahren zur Verarbeitung der Ausgabedaten von einem Bildsensor, insbesondere des oben beschriebenen Typs. In einem anfänglichen Schritt 810 werden bei dem Verfahren, das die Ausgabedaten eines Bildsensors verarbeitet, der eine Eingangsszene in ein elektronisches Signal wandelt, die Ausgabedaten des Bildsensors gespeichert. In einem nächsten Schritt 830 werden wenigstens drei Richtungskoeffizientenwerte ausgewählt, um die Intensität von Farbkomponenten eines jeweils betrachteten Bildpunkts unter Verwendung der gespeicherten Ausgabedaten des Bildsensors und der momentan gelieferten Ausgabedaten des Bildsensors zu bestimmen. Dann wird in einem Schritt 870 unter Verwendung der mehreren, im Schritt 830 ausgewählten Richtungskoeffizienten und der Ausgabedaten des Bildsensors eine Interpolation durchgeführt, um die R- und B- Komponenten eines Bildpunkts mit der G-Komponente, die G- und B- Komponenten eines Bildpunkts mit der R-Komponente bzw. die G- und R-Komponenten eines Bildpunkts mit der B-Komponente zu erhalten.
  • Die Richtungskoeffizienten umfassen hierbei einen ersten Richtungskoeffizient, der anzeigt, welche Komponente von der horizontalen, der vertikalen und der diagonalen Komponente die Kante des Bildpunkts hat, einen zweiten Richtungskoeffizienten, der die Stärke der horizontalen Kantenkomponente anzeigt, die eine vorgegebene Breite von der horizontalen Linie besitzt, und eine obere Komponente, eine untere Komponente und sowohl die obere als auch die untere Komponente von der horizontalen Linie beinhaltet, sowie einen dritten Richtungskoeffizienten, der die Stärke der vertikalen Kantenkomponente anzeigt, die eine vorgegebene Breite von der vertikalen Linie aufweist, und eine linke Komponente, eine rechte Komponente und sowohl die linke als auch die rechte Komponente von und der vertikalen Linie beinhaltet.
  • Vorzugsweise werden die Ausgabedaten des Bildsensors in Schritt 810 in mehrere vorgegebene Einheiten unterteilt, und Zeilenspeicher zum Speichern jeweils einer Einheit speichern wenigstens vier Einheiten der unterteilten Daten, wobei die jeweils vorgegebene Einheit einer Zeile in der Bayer-Matrixstruktur entspricht.
  • Fig. 9 zeigt ein detaillierteres Flussdiagramm für den Schritt 830 zum Auswählen der Richtungskoeffizientenwerte von Fig. 8. Wie aus Fig. 9 ersichtlich, umfasst dieser Schritt 830 zum Auswählen von drei Richtungskoeffizientenwerten Schritte 831 bis 851.
  • In Schritt 831 wird festgestellt, ob ein jeweiliger Bildpunkt, für welchen Farbkomponenten zu ermitteln sind, bereits die G-Komponente hat. Bejahendenfalls werden in Schritten 833 und 835 der zweite Richtungskoeffizientenwert und der dritte Richtungskoeffizientenwert nacheinander ausgewählt. Andernfalls wird im Schritt 837 festgestellt, ob der Absolutwert |ΔG| der Differenz zwischen dem in der horizontalen Richtung ansteigenden oder abnehmenden Absolutwert der G-Komponente für den betrachteten Bildpunkt (nachfolgend als der Absolutwert der horizontalen Steigungskomponente der G-Komponente bezeichnet) und dem in der vertikalen Richtung ansteigenden oder abnehmenden Absolutwert der G-Komponente für den betrachteten Bildpunkt (nachfolgend als der Absolutwert der vertikalen Steigungskomponente der G-Komponente bezeichnet) kleiner als der erste Schwellwert T1 ist.
  • Bejahendenfalls wird in Schritten 839 und 841 der Wert des ersten Richtungskoeffizienten αd auf den ersten Zustandswert S gesetzt, und der Wert des zweiten Richtungskoeffizienten αh wird ausgewählt. Andernfalls wird in Schritt 843 festgestellt, ob die Differenz ΔG zwischen dem Absolutwert der horizontalen Steigungskomponente der G-Komponente und dem Absolutwert der vertikalen Steigungskomponente der G- Komponente kleiner als der negative Wert -T1 des ersten Schwellwerts T1 ist. Bejahendenfalls wird in Schritten 845 und 847 der Wert des ersten Richtungskoeffizienten αd auf den zweiten Zustandswert 1 gesetzt, und der Wert des zweiten Richtungskoeffizienten αh wird ausgewählt. Andernfalls, d. h. wenn die Differenz ΔG zwischen dem Absolutwert der horizontalen Steigungskomponente der G-Komponente und dem Absolutwert der vertikalen Steigungskomponente der G-Komponente größer als der positive Wert des ersten Schwellwerts T1 ist, wird in Schritt 849 der Wert des Richtungskoeffizienten αd auf den dritten Zustandswert 0 gesetzt.
  • In Schritt 851 wird der Wert des dritten Richtungskoeffizienten αv ausgewählt, wenn der Wert des ersten Richtungskoeffizienten αd auf den ersten Zustandswert S oder den dritten Zustandswert 0 gesetzt wurde.
  • Die Differenz ΔG zwischen dem Absolutwert der horizontalen Steigungskomponente der G-Komponente und dem Absolutwert der vertikalen Steigungskomponente der G-Komponente beträgt |Gi(j+1) - Gi(j-1)| - |G(i-1)j - G(i+1)j|, wobei die zu bestimmende G-Komponente des Bildpunkts (i,j) mit Gij bezeichnet ist und i und j ganze Zahlen sind.
  • Fig. 10 veranschaulicht im Flussdiagramm den Schritt 833 von Fig. 9 zum Auswählen des zweiten Richtungskoeffizientenwertes, wenn der Bildpunkt bereits die G-Komponente hat, wobei dieser Schritt 833 mehrere Schritte 8331 bis 8339 umfasst.
  • In Schritt 8331 wird festgestellt, ob der Absolutwert |ΔGh| der Differenz zwischen dem in horizontaler Richtung ansteigenden oder abnehmenden Absolutwert der G-Komponente von Bildpunkten links des betrachteten Bildpunktes (nachfolgend als der Absolutwert der linken Steigungskomponente der G-Komponente bezeichnet) und dem in der horizontalen Richtung ansteigenden oder abnehmenden Absolutwert der G- Komponente von Bildpunkten rechts des betrachteten Bildpunkts (nachfolgend als der Absolutwert der rechten Steigungskomponente der G- Komponente bezeichnet) kleiner als der zweite Schwellwert T2 ist.
  • Bejahendenfalls wird in Schritt 8333 der Wert des zweiten Richtungskoeffizienten αh auf den ersten Zustandswert S gesetzt. Andernfalls wird im Schritt 8335 festgestellt, ob die Differenz ΔGh zwischen dem Absolutwert der linken Steigungskomponente der G-Komponente und dem Absolutwert der rechten Steigungskomponente der G-Komponente kleiner als der negative Wert -T2 des zweiten Schwellwerts T2 ist. Bejahendenfalls wird in Schritt 8337 der Wert des zweiten Richtungskoeffizienten αh auf den zweiten Zustandswert 1 gesetzt. Andernfalls, d. h. wenn die Differenz ΔGh zwischen dem Absolutwert der linken Steigungskomponente der G-Komponente und dem Absolutwert der rechten Steigungskomponente der G-Komponente größer als der zweite Schwellwert T2 ist, wird in Schritt 839 der Wert des zweiten Richtungskoeffizienten αh auf den dritten Zustandswert 0 gesetzt.
  • Die Differenz AOh zwischen dem Absolutwert der linken Steigungskomponente der G-Komponente und dem Absolutwert der rechten Steigungskomponente der G-Komponente beträgt |Gij - Gi(j-2)| - |Gij - Gi(j+2)|, wobei die zu ermittelnde G-Komponente des Bildpunkts (i,j) mit Gij bezeichnet ist und i und j ganze Zahlen sind.
  • Fig. 11 zeigt in einem Flussdiagramm den Ablauf des Schritts 835 von Fig. 9 zur Auswahl des dritten Richtungskoeffizientenwertes, wenn der Bildpunkt bereits die G-Komponente hat, wobei dieser Schritt 835 mehrere Schritte 8351 bis 8359 beinhaltet.
  • In Schritt 8351 wird festgestellt, ob der Absolutwert |ΔGv| der Differenz zwischen dem in der vertikalen Richtung ansteigenden oder abnehmenden Absolutwert der G-Komponente von Bildpunkten über dem betrachteten Bildpunkt (nachfolgend als der Absolutwert der oberen Steigungskomponente der G-Komponente bezeichnet) und dem in der vertikalen Richtung ansteigenden oder abnehmenden Absolutwert der G- Komponente von Bildpunkten unter dem betrachteten Bildpunkt (nachfolgend als der Absolutwert der unteren Steigungskomponente der G- Komponente bezeichnet) kleiner als der dritte Schwellwert T3 ist.
  • Bejahendenfalls wird in Schritt 8353 der Wert des dritten Richtungskoeffizienten αv auf den ersten Zustandswert S gesetzt. Andernfalls wird in Schritt 8355 festgestellt, ob die Differenz ΔGv zwischen dem Absolutwert der oberen Steigungskomponente für den oberen Teil der G- Komponente und dem Absolutwert der unteren Steigungskomponente der G-Komponente kleiner als der negative Wert -T3 des dritten Schwellwerts T3 ist. Bejahendenfalls wird in Schritt 8357 der Wert des dritten Richtungskoeffizienten αv auf den zweiten Zustandswert 1 gesetzt. Andernfalls, d. h. wenn die Differenz ΔGv zwischen dem Absolutwert der oberen Steigungskomponente der G-Komponente und dem Absolutwert der unteren Steigungskomponente der G-Komponente größer als der dritte Schwellwert T3 ist, wird in Schritt 8359 der Wert des dritten Richtungskoeffizienten αv auf den dritten Zustandswert 0 gesetzt.
  • Die Differenz ΔGv zwischen dem Absolutwert der oberen Steigungskomponente der G-Komponente und dem Absolutwert der unteren Steigungskomponente der G-Komponente beträgt |Gij - G(i-2)j| - |Gij - G(i+2)j|, wobei die zu ermittelnde G-Komponente des Bildpunkts (i,j) mit Gij bezeichnet ist und i und j ganze Zahlen sind.
  • Fig. 12 veranschaulicht im Flussdiagramm die Schritte 841 und 847 von Fig. 9 zur Auswahl des zweiten Richtungskoeffizientenwertes, wenn die Farbkomponente des Bildpunkts, für den Farbkomponenten zu ermitteln sind, nicht die G-Komponente ist, wobei die Schritte 841 und 847 mehrere Schritte 8411 bis 8421 umfassen.
  • In Schritt 8411 wird festgestellt, ob die Farbkomponente des jeweils betrachtenden Bildpunkts die R-Komponente hat. Bejahendenfalls wird in Schritt 8412 festgestellt, ob der Absolutwert |ΔRh| der Differenz zwischen dem in der horizontalen Richtung ansteigenden oder abnehmenden Absolutwert der R-Komponente von Bildpunkten links des betrachteten Bildpunkts (nachfolgend als der Absolutwert der linken Steigungskomponente der R-Komponente bezeichnet) und dem in der horizontalen Richtung ansteigenden oder abnehmenden Absolutwert der R- Komponente von Bildpunkten rechts des betrachteten Bildpunkts (nachfolgend als der Absolutwert der rechten Steigungskomponente der R- Komponente bezeichnet) kleiner als der zweite Schwellwert T2 ist.
  • Bejahendenfalls wird in Schritt 8413 der Wert des zweiten Richtungskoeffizienten αh auf den ersten Zustandswert S gesetzt. Andernfalls wird in Schritt 8414 festgestellt, ob die Differenz ΔRh zwischen dem Absolutwert der linken Steigungskomponente der R-Komponente und dem Absolutwert der rechten Steigungskomponente der R-Komponente kleiner als der negative Wert -T2 des zweiten Schwellwerts T2 ist. Bejahendenfalls wird in Schritt 8415 der Wert des Richtungskoeffizienten αh auf den zweiten Zustandswert 1 gesetzt. Andernfalls, d. h. wenn die Differenz ΔRh zwischen dem Absolutwert der linken Steigungskomponente der R- Komponente und dem Absolutwert der rechten Steigungskomponente der R-Komponente größer als der zweite Schwellwert T2 ist, wird in Schritt 8416 der Wert des zweiten Richtungskoeffizienten αh auf den dritten Zustandswert 0 gesetzt.
  • Wenn der betrachtete Bildpunkt nicht die R-Komponente hat, wird in Schritt 8417 festgestellt, ob der Absolutwert der Differenz ΔBh zwischen dem in der horizontalen Richtung ansteigenden oder abnehmenden Absolutwert der B-Komponente von Bildpunkten links des betrachteten Bildpunkts (nachfolgend als der Absolutwert der linken Steigungskomponente der B-Komponente bezeichnet) und dem in der horizontalen Richtung ansteigenden oder abnehmenden Absolutwert der B- Komponente von Bildpunkten rechts des betrachteten Bildpunkts (nachfolgend als der Absolutwert der rechten Steigungskomponente der B- Komponente bezeichnet) kleiner als der zweite Schwellwert T2 ist.
  • Bejahendenfalls wird in Schritt 8418 der Wert des zweiten Richtungskoeffizienten αh auf den ersten Zustandswert S gesetzt. Andernfalls wird in Schritt 8419 festgestellt, ob die Differenz ΔBh zwischen dem Absolutwert der linken Steigungskomponente der B-Komponente und dem Absolutwert der rechten Steigungskomponente der B-Komponente kleiner als der negative Wert -T2 des zweiten Schwellwerts T2 ist. Bejahendenfalls wird in Schritt 8420 der Wert des zweiten Richtungskoeffizienten αh auf den zweiten Zustandswert 1 gesetzt. Andernfalls, d. h. wenn die Differenz ΔBh zwischen dem Absolutwert der linken Steigungskomponente der B-Komponente und dem Absolutwert der rechten Steigungskomponente der B-Komponente größer als der zweite Schwellwert T2 ist, wird in Schritt 8421 der Wert des zweiten Richtungskoeffizienten αh auf den dritten Zustandswert 0 gesetzt.
  • Die Differenz ΔRh zwischen dem Absolutwert der linken Steigungskomponente der R-Komponente und dem Absolutwert der rechten Steigungskomponente der R-Komponente beträgt |Rij - Ri(j-2)| - |Rij - Ri(j+2)|, wobei die zu bestimmende R-Komponente des Bildpunkts (i,j) mit Rij bezeichnet ist und i und j ganze Zahlen sind. Die Differenz ΔBh zwischen dem Absolutwert der linken Steigungskomponente der B-Komponente und dem Absolutwert der rechten Steigungskomponente der B-Komponente beträgt |Bij - Bi(j-2)| - |Bij - Bi(j+2)|, wobei die zu bestimmende B-Komponente des Bildpunkts (i,j) mit Bij bezeichnet ist und i und j ganze Zahlen sind.
  • Fig. 13 zeigt ein Flussdiagramm für den Ablauf des Schritts 851 zur Auswahl des dritten Richtungskoeffizientenwertes, wenn die Farbkomponente des betrachteten Bildpunkts nicht die G-Komponente hat, wobei der Schritt 851 mehrere Schritte 8511 bis 8521 umfasst.
  • In Schritt 8511 wird festgestellt, ob die Farbkomponente des jeweils betrachteten Bildpunkts die R-Komponente ist. Bejahendenfalls wird in Schritt 8512 festgestellt, ob der Absolutwert |ΔRv| der Differenz zwischen dem in der vertikalen Richtung ansteigenden oder abnehmenden Absolutwert der R-Komponente von Bildpunkten über dem betrachteten Bildpunkt (nachfolgend als der Absolutwert der oberen Steigungskomponente der R-Komponente bezeichnet) und dem in der vertikalen Richtung ansteigenden oder abnehmenden Absolutwert der R-Komponente von Bildpunkten unterhalb des betrachteten Bildpunkts (nachfolgend als der Absolutwert der unteren Steigungskomponente der R-Komponente bezeichnet) kleiner als der dritte Schwellwert T3 ist.
  • Bejahendenfalls wird in Schritt 8513 der Wert des dritten Richtungskoeffizienten αv auf den ersten Zustandswert S gesetzt. Andernfalls wird in Schritt 8514 festgestellt, ob die Differenz ΔRv zwischen dem Absolutwert der oberen Steigungskomponente der R-Komponente und dem Absolutwert der unteren Steigungskomponente der R-Komponente kleiner als der negative Wert -T3 des dritten Schwellwertes T3 ist. Bejahendenfalls wird in Schritt 8515 der Wert des dritten Richtungskoeffizienten αv auf den zuveiten Zustandswert 1 gesetzt. Andernfalls, d. h. wenn die Differenz ΔRv zwischen dem Absolutwert der oberen Steigungskomponente der R-Komponente und dem Absolutwert der unteren Steigungskomponente der R-Komponente größer als der dritte Schwellwert T3 ist, wird in Schritt 8516 der Wert des dritten Richtungskoeffizienten αv auf den dritten Zustandswert 0 gesetzt.
  • Wenn die Farbkomponente des betrachteten Bildpunkts nicht die R- Komponente ist, wird im Schritt 8517 festgestellt, ob der Absolutwert |ΔBv| der Differenz zwischen dem in der vertikalen Richtung ansteigenden oder abnehmenden Absolutwert der B-Komponente von Bildpunkten über dem betrachteten Bildpunkt (nachfolgend als der Absolutwert der oberen Steigungskomponente der B-Komponente bezeichnet) und dem in der vertikalen Richtung ansteigenden oder abnehmenden Absolutwert der B-Komponente von Bildpunkten unterhalb des betrachteten Bildpunkts (nachfolgend als der Absolutwert der unteren Steigungskomponente der B-Komponente bezeichnet) kleiner als der dritte Schwellwert T3 ist.
  • Bejahendenfalls wird in Schritt 8518 der Wert des dritten Richtungskoeffizienten αv auf den ersten Zustandswert S gesetzt. Andernfalls wird in Schritt 8519 festgestellt, ob die Differenz ΔBv zwischen dem Absolutwert der oberen Steigungskomponente der B-Komponente und dem Absolutwert der unteren Steigungskomponente der B-Komponente kleiner als der negative Wert -T3 des dritten Schwellwerts T3 ist. Bejahendenfalls wird in Schritt 8520 der Wert des dritten Richtungskoeffizienten αv auf den zweiten Zustandswert 1 gesetzt. Andernfalls, d. h. wenn die Differenz ΔBv zwischen dem Absolutwert der oberen Steigungskomponente der B-Komponente und dem Absolutwert der unteren Steigungskomponente der B-Komponente größer als der dritte Schwellwert T3 ist, wird in Schritt 8521 der Wert des dritten Richtungskoeffizienten αv auf den dritten Zustandswert 0 gesetzt.
  • Die Differenz ΔRv zwischen dem Absolutwert der oberen Steigungskomponente der R-Komponente und dem Absolutwert der unteren Steigungskomponente der R-Komponente beträgt |Rij - R(i-2)j|-|Rij - R(i+2)j|, wobei die zu bestimmende R-Komponente des Bildpunkts (i,j) mit Rij bezeichnet ist und i und j ganze Zahlen sind. Die Differenz ΔBv zwischen dem Absolutwert der oberen Steigungskomponente der B-Komponente und dem Absolutwert der unteren Steigungskomponente der B-Komponente beträgt |Bij - B(i-2)j|-|Bij - B(i+2)j|, wobei die zu bestimmende B-Komponente des Bildpunkts (i,j) mit Bij bezeichnet ist und i und j ganze Zahlen sind.
  • Vorzugsweise sind der erste Schwellwert T1 bis dritte Schwellwert T3 jeweils ganze Zahlen größer als 4 und kleiner als 20.
  • Die Interpolationsschritte beinhalten einen Schritt zum Berechnen der Ausgabedaten des Bildsensors und, bezugnehmend auf ausgewählte Richtungskoeffizientenwerte, zum Auswählen von zu den ausgewählten Richtungskoeffizientenwerten gehörigen Dateneinheiten aus den berechneten Daten als die R-Komponente (nicht gezeigt), einen Schritt zum Berechnen der Ausgabedaten des Bildsensors und, unter Bezugnahme auf ausgewählte Richtungskoeffizientenwerte, zum Auswählen von zu den ausgewählten Richtungskoeffizientenwerten gehörigen Dateneinheiten aus den berechneten Daten als die G-Komponente (nicht gezeigt) sowie einen Schritt zum Berechnen der Ausgabedaten des Bildsensors und, unter Bezugnahme auf ausgewählte Richtungskoeffizientenwerte, zum Auswählen von zu den ausgewählten Richtungskoeffizientenwerten gehörigen Dateneinheiten aus den berechneten Daten als die G-Komponente (nicht gezeigt).
  • Bei diesem Verfahren zur Verarbeitung der Ausgabedaten des Bildsensors werden außerdem ein oder mehrere Zustandswerte berücksichtigt, und die Zustandswerte können dazu verwendet werden, den Grad an Steigung von Kanten anzuzeigen, die diagonale Komponenten mit unterschiedlichen Steigungen haben, ebenso wie von Kanten, die horizontale Komponenten mit unterschiedlichen Steigungen haben, und von Kanten, die vertikale Komponenten mit unterschiedlichen Steigungen haben.
  • Im folgenden wird auf die mathematischen Grundlagen für diese Vorrichtung und dieses Verfahren zur Verarbeitung von Ausgabedaten eines Bildsensors unter beispielhafter Betrachtung des Bildpunkts (2,2) von Fig. 1 näher eingegangen. Die Differenz zwischen dem G-Wert und dem R-Wert kann für diesen Bildpunkt unter Verwendung der G-Werte und R- Werte von vier Bildpunkten (2,1), (2,3), (1,2) und (3,2) erhalten werden, die zum Bildpunkt (2,2) benachbart sind. Hierzu wird die Differenz zwischen dem G-Wert und dem R-Wert des Bildpunkts (2,1) mit einem vorgegebenen Gewichtswert α multipliziert. In gleicher Weise werden die Differenzen der G-Werte und R-Werte der anderen Bildpunkte (2,3), (1,2) und (3,2) mit vorgegebenen Gewichtswerten β, γ bzw. α multipliziert. Wenn dann die vier Berechnungsergebnisse addiert werden, d. h. als gewichtete Summe, ist das Resultat die Differenz zwischen dem G- Wert und dem R-Wert des Bildpunkts (2,2). Mit anderen Worten wird die Differenz zwischen dem G-Wert und dem R-Wert des Bildpunkts (2,2) durch die nachstehende Gleichung 1 wie folgt erhalten:

    G22 - R22 = α(G21 - R21) + β(G23 - R23)+ γ(G12 - R12) + α(G32 - R32). . .. (1)
  • Hierbei gilt die Beziehung α+β+γ-σ = 1. Gleichung 1 kann in folgende Gleichung 2 bezüglich der Richtung der Kantenkomponente eines Bildes im Bildpunkt (2,2) umgeformt werden:

    G22 - R22 = αdh(G21 - R21) + (1-αh)(G23 - R23)] + (1-αd)[αv(G12 - R12) + (1-αv(G32 - R32)] (2)
  • Hierbei zeigt αd an, ob die Kantenkomponente in horizontaler Richtung oder diejenige in vertikaler Richtung vorliegt, während αh die Stärke der Kantenkomponente in horizontaler Richtung und αv die Stärke der Kantenkomponente in vertikaler Richtung anzeigen.
  • Im folgenden wird ein Verfahren zur Ermittlung der Richtungskoeffizienten αd, αh und αv anhand eines Beispiels erläutert, bei dem der G-Wert des Bildpunkts (2,2) bestimmt wird. Zuerst wird αd, der die Stärke der Kante in horizontaler Richtung oder in vertikaler Richtung anzeigt, durch die nachstehende Gleichung 3 wie folgt bestimmt:

    wenn (-T1 < |G23 - G21|-|G12 - G32| < T1), dann αd = S
    sonst wenn (|G23 - G21|-|G12 - G32| < -T1), dann αd = 1
    sonst αd = 0 (3)
  • Gemäß Gleichung 3 ist folglich αd = S , wenn die Differenz zwischen dem Absolutwert |G23 - G21| der Differenz zwischen den G-Komponenten der zum Bildpunkt (2,2) in horizontaler Richtung benachbarten Bildpunkte (2,3) und (2,1) und dem Absolutwert |G12 - G32| der Differenz zwischen den G-Komponenten der zum Bildpunkt (2,2) in vertikaler Richtung benachbarten Bildpunkte (1,2) und (3,2) betraglich kleiner als der erste Schwellwert T1 ist. Wenn hingegen diese Differenz kleiner als der negative Wert -T1 des ersten Schwellwerts T1 ist, ist αd = 1/2, und andernfalls ist αd = 0.
  • Der Koeffizient αh, der die Stärke der Kantenkomponente in horizontaler Richtung vom momentanen Bildpunkt anzeigt, ist durch die nachstehende Gleichung 4 wie folgt bestimmt:

    wenn (-T2 < |R22 - R20|-|R22 - R24| < T2), dann αh = S
    sonst wenn (|R22 - R20|-|R22 - R24| < -T2), dann an = 1
    sonst αh = 0 (4)
  • Gemäß Gleichung 4 beträgt αh = 1/2, wenn der Absolutwert der Differenz zwischen dem Absolutwert |R22 - R20| der Differenz zwischen den R- Komponenten des Bildpunkts (2,2) und des in der horizontalen Richtung benachbarten Bildpunkts (2,0) und dem Absolutwert |R22 - R24| der Differenz zwischen den R-Komponenten des Bildpunkts (2,2) und des in der horizontalen Richtung benachbarten Bildpunkts (2,4) kleiner als der zweite Schwellwert T2 ist. Wenn diese Differenz kleiner als der negative Wert -T2 des zweiten Schwellwerts T2 ist, ist αh = 1, und ansonsten ist αh = 0.
  • Der Koeffizient αv, der die Stärke der Kantenkomponente in vertikaler Richtung anzeigt, wird durch folgende Gleichung 5 bestimmt:

    wenn (-T3 < |R22 - R02|-|R22 - R42| < T3), dann αv = S
    sonst wenn (|R22 - R02|-|R22 - R42| < -T3), dann αv = 1 sonst αv = 0 (5)
  • Gemäß Gleichung 5 ist αv = S , wenn der Absolutwert der Differenz zwischen dem Absolutwert |R22 - R02| der Differenz zwischen den R- Komponenten des Bildpunkts (2,2) und des in der vertikalen Richtung benachbarten Bildpunkts (0,2) und der Absolutwert |R22 - R42| der Differenz zwischen den R-Komponenten des Bildpunkts (2,2) und des in der vertikalen Richtung benachbarten Bildpunktes (4,2) kleiner als der dritte Schwellwert T3 ist. Wenn diese Differenz kleiner als der negative Wert -T3 des dritten Schwellwerts T3 ist, ist αv = 1, und andernfalls ist αv = 0.
  • Hierbei sind die Schwellwerte T1, T2 und T3 vorzugsweise jeweils ganze Zahlen größer als 4 und kleiner als 20.
  • Im angenommenen Fall, dass die Werte der Koeffizienten alle gleich S sind, d. h. αd = αh = αv = S , können zur einfacheren Erläuterung die R-Werte der zum Bildpunkt (2,2) benachbarten Bildpunkte durch folgenden Gleichungssatz 6 ausgedrückt werden:

    R21 = (R20 + R22)/2, R23 = (R22 + R24/2, R12 = (R02 +R22)/2 R32 = (R22 + R42)/2 (6)
  • Unter dieser Annahme αd = αh = αv = S und den Ergebnissen aus Gleichung 6 und Gleichung 2 wird der Wert der G-Komponente für den Bildpunkt (2,2) durch folgende Gleichung 7 erhalten:

    G22 = (G21 + G23 + G12 + G32)/4 + (4R22 - R20 - R24 - R02 - R42)/8 (7)
  • Während oben der Beispielfall zur Bestimmung der Werte des Bildpunkts (2,2) erläutert wurde, versteht es sich, dass die Werte für jeden beliebigen Bildpunkt in dieser Weise erhalten werden können.
  • Fig. 14 veranschaulicht 19 Typen von Kanten, die durch dieses Verfahren zur Verarbeitung der Ausgabedaten von einem Bildsensor verarbeitet werden können. Fig. 15 zeigt eine Tabelle, in der Kanten klassifiziert sind, die durch die drei Richtungskoeffizienten αd, αh und αv zur Bestimmung des G-Wertes des beispielhaft herausgegriffenen Bildpunkts (2,2) verarbeitet werden können.
  • Wie aus den Fig. 14 und 15 ersichtlich, kann das Verfahren zur Verarbeitung der Ausgabedaten eines Bildsensors gemäß der Erfindung die diagonalen Kantenkomponenten (a, b, c, d), die horizontalen Kantenkomponenten (f, h, j, I, n, o, p, q, r) und die vertikalen Kantenkomponenten (e, g, k, m, o, p, q, s) sämtlich verarbeiten. Insbesondere können vier Kantenkomponenten (o, p, q, r) auf zwei Verfahren zur Verarbeitung der horizontalen Komponente und der vertikalen Komponente angewandt werden.
  • Wenn daher der R-Wert oder der B-Wert eines Bildpunkts, der den G- Wert hat, zu bestimmen ist, wird eine Interpolation in nur einer Richtung verwendet, so dass sich die Berechnung vereinfacht. Ein Verfahren zur Ermittlung des R-Wertes kann in derselben Weise angewendet werden wie ein Verfahren zur Ermittlung des B-Wertes. Daher wird hier stellvertretend nur auf die Ermittlung des R-Wertes eingegangen. Außerdem wird der Koeffizient αd, der zur Ermittlung des reinen G-Wertes verwendet wird, hier nicht benutzt, vielmehr wird nur der Koeffizient αh betrachtet, d. h. die Kantenkomponente in horizontaler Richtung.
  • Fig. 16 zeigt eine Tabelle für die R-Komponente des Bildpunkts (2,3) bezüglich des Richtungskoeffizienten αh sowie die Klassifizierung von Kantentypen, welche die R-Komponenten erfüllen.
  • Unter Verwendung eines Interpolationsverfahrens kann, wie geschildert, der B-Wert eines Bildpunkts, der den R-Wert hat, oder der R-Wert eines Bildpunkts, der den B-Wert hat, ermittelt werden. Da jedoch der R-Wert und der B-Wert eines jeweiligen Bildpunkts nicht viel Einfluss auf die Bildqualität haben, bereitet die Tatsache, dass die Werte durch eine Approximation bestimmt werden, keine Schwierigkeit.
  • Beispielsweise kann der B-Wert des Bildpunkts (2,2), der den R-Wert hat, durch Berechnen des arithmetischen Mittelwerts der B-Werte von vier benachbarten Bildpunkten (1,1), (1,3), (3,1) und (3,3) erhalten werden. In gleicher Weise kann der R-Wert eines beliebigen Bildpunkts, der den B-Wert hat, erhalten werden.
  • Wie olben erläutert, können mit der Vorrichtung und dem Verfahren zur Verarbeitung der Ausgabedaten eines Bildsensors gemäß der Erfindung Bilder hoher Qualität unabhängig davon erhalten werden, ob die Differenz zwischen Intensitäten verschiedener Farben, die in einem jeweiligen Bildpunkt des Bildsensors abgetastet wird, regelmäßig oder unregelmäßig ist. Außerdem können alle Kanten eines Bildes einschließlich horizontaler, vertikaler und diagonaler Kanten sowie Kanten in Eckbereichen und dicke oder dünne Kanten adaptiv verarbeitet werden.

Claims (32)

1. Vorrichtung zur Verarbeitung von Ausgabedaten eines Bildsensors, gekennzeichnet durch
ein Zeilenspeichermodul (20) zum Empfangen und Speichern von Ausgabedaten eines Bildsensors vom Einzelsensortyp mit Informationen über Farbsignale, die in einem jeweiligen Bildpunkt sensiert werden,
ein Verzögerungsmodul (25) zum Empfangen von Ausgabedaten des Bildsensors und von Ausgabedaten des Zeilenspeichermoduls, zum Verzögern der empfangenen Ausgabedaten um eine vorgebbare Zeitdauer unter Verwendung eines Taktsignals (CLOCK) und zum Abgeben der empfangenen Ausgabedaten, einen Richtungskoeffizientenwertselektor (26) zum Empfangen von Ausgabedaten des Verzögerungsmoduls, Auswählen einer Mehrzahl von Richtungskoeffizientenwerten zur Festlegung der Kantenkomponenten für eine rote (R-)Komponente, eine grüne (G-)Komponente und eine blaue (B-)Komponente eines jeweils betrachteten Bildpunkts und zum Abgeben der ausgewählten Werte und
einen adaptiven Interpolator (27) zum Empfangen von Ausgabedaten des Verzögerungsmoduls und Ermitteln der R- und B- Komponenten eines Bildpunkts mit der G-Komponente, der G- und B-Komponenten eines Bildpunkts mit der R-Komponente sowie der G- und R-Komponenten eines Bildpunkts mit der B- Komponente mittels Durchführen einer Interpolation unter Verwendung der empfangenen Ausgabedaten des Verzögerungsmoduls in Abhängigkeit von den Ausgabedaten des Richtungskoeffizientenwertselektors.
2. Vorrichtung nach Anspruch 1, weiter dadurch gekennzeichnet, dass das Speichermodul folgende Elemente aufweist:
einen ersten Zeilenspeicher (21) zum Speichern von Ausgabedaten des Bildsensors,
einen zweiten Zeilenspeicher (22) zum Speichern von Ausgabedaten des ersten Zeilenspeichers,
r einen dritten Zeilenspeicher zum Speichern von Ausgabedaten des zweiten Zeilenspeichers und
einen vierten Zeilenspeicher zum Speichern von Ausgabedaten des dritten Zeilenspeichers.
3. Vorrichtung nach Anspruch 1 oder 2, weiter dadurch gekennzeichnet, dass das Verzögerungsmodul (25) eine Mehrzahl von Verzögerungsblöcken umfasst, von denen jeder eine Mehrzahl von seriell geschalteten Schieberegistern aufweist und die Ausgabedaten des Bildsensors verzögert.
4. Vorrichtung nach Anspruch 3, weiter dadurch gekennzeichnet, dass für jeden Verzögerungsblock vier seriell geschaltete Schieberegister vorgesehen sind.
5. Vorrichtung nach einem der Ansprüche 1 bis 4, weiter dadurch gekennzeichnet, dass der Richtungskoeffizientenwertselektor (26) folgende Elemente enthält:
eine Berechnungseinheit (261), die aus einer Mehrzahl von Farbkomponenten-Berechnungseinheiten (2611, 2613, 2615) aufgebaut ist, die jeweils feststellen, ob die Kantenkomponente in der horizontalen Richtung und/oder der vertikalen Richtung und/oder der diagonalen Richtung in jeder der R-, G- und B-Komponenten eines jeweiligen Bildpunkts vorliegt, für den Farbkomponenten zu ermitteln sind, und die Stärke einer existierenden Kantenkomponente berechnen, und
eine Vergleichbestimmungseinheit (263) zur Bestimmung der mehreren Richtungskoeffizientenwerte durch Vergleichen von Ausgabedatenwerten der Berechnungseinheit mit einer vorgebbaren Anzahl an Schwellwerten.
6. Vorrichtung nach Anspruch 5, weiter dadurch gekennzeichnet, dass die mehreren Farbkomponenten-Berechnungseinheiten abhängig davon, welche Farbkomponente eines Bildpunktes zu ermitteln ist, folgende Einheiten umfassen:
eine erste Farbkomponenten-Berechnungseinheit (2611) zum Ermitteln der Kantenkomponente der G-Komponente, wenn der Bildpunkt die R- oder die B-Komponente hat, wobei sie inaktiv bleibt, wenn der Bildpunkt die G-Komponente hat,
eine zweite Farbkomponenten-Berechnungseinheit (2613) zum Ermitteln der horizontalen Kantenkomponente der R-Komponente, wenn der Bildpunkt die R-Komponente hat, zum Ermitteln der horizontalen Kantenkomponente der G-Komponente, wenn der Bildpunkt die G-Komponente hat, und zum Ermitteln der horizontalen Kantenkomponente der B-Komponente, wenn der Bildpunkt die B- Komponente hat, und
eine dritte Farbkomponenten-Berechnungseinheit (2615) zum Ermitteln der vertikalen Kantenkomponente der R-Komponente, wenn der Bildpunkt die R-Komponente hat, zum Ermitteln der vertikalen Kantenkomponente der G-Komponente, wenn der Bildpunkt die G-Komponente hat, und zum Ermitteln der vertikalen Kantenkomponente der B-Komponente, wenn der Bildpunkt die B-Komponente hat.
7. Vorrichtung nach Anspruch 6, weiter dadurch gekennzeichnet, dass die erste Farbkomponenten-Berechnungseinheit die Differenz zwischen dem in der horizontalen Richtung ansteigenden oder abnehmenden Absolutwert der G-Komponente als dem Absolutwert einer horizontalen Steigungskomponente der G- Komponente und dem in der vertikalen Richtung ansteigenden oder abnehmenden Absolutwert der G-Komponente als dem Absolutwert einer vertikalen Steigungskomponente der G- Komponente für einen jeweiligen Bildpunkt berechnet, dessen Farbkomponenten zu bestimmen sind.
8. Vorrichtung nach Anspruch 6 oder 7, weiter dadurch gekennzeichnet, dass die erste Farbkomponenten-Berechnungseinheit (2611) folgende Elemente enthält, wobei Gij die G-Komponente eines jeweiligen Bildpunkts (i,j) bezeichnet, mit i und j als beliebige ganze Zahlen:
einen ersten Funktionsblock (2616) zum Ermitteln des Absolutwerts der Differenz zwischen G(i+1)j und G(i-1)j,
einen zweiten Funktionsblock (2617) zum Ermitteln des Absolutwerts der Differenz zwischen Gi(j+1) und Gi(j-1) und
einen ersten Subtrahierer (5001) zum Ermitteln der Differenz zwischen dem Ausgangssignal des ersten Funktionsblocks und dem Ausgangssignal des zweiten Funktionsblocks.
9. Vorrichtung nach einem der Ansprüche 6 bis 8, weiter dadurch gekennzeichnet, dass die zweite Farbkomponenten-Berechnungseinheit (2613) die Differenz zwischen dem Absolutwert einer linken Steigungskomponente und dem Absolutwert einer rechten Steigungskomponente der R-Komponente berechnet, wenn der jeweils betrachtete Bildpunkt die R-Komponente hat, die Differenz zwischen dem Absolutwert einer linken Steigungskomponente und dem Absolutwert einer rechten Steigungskomponente der G- Komponente berechnet, wenn der Bildpunkt die G-Komponente hat, und die Differenz zwischen dem Absolutwert einer linken Steigungskomponente und dem Absolutwert einer rechten Steigungskomponente der B-Komponente berechnet, wenn der Bildpunkt die B-Komponente hat, und die dritte Farbkomponenten- Berechnungseinheit (2615) die Differenz zwischen dem Absolutwert einer oberen Steigungskomponente der R-Komponente und dem Absolutwert einer unteren Steigungskomponente der R- Komponente berechnet, wenn der Bildpunkt die R-Komponente hat, die Differenz zwischen dem Absolutwert einer oberen Steigungskomponente der G-Komponente und dem Absolutwert einer unteren Steigungskomponente der G-Komponente berechnet, wenn der Bildpunkt die G-Komponente hat, und die Differenz zwischen dem Absolutwert einer oberen Steigungskomponente der B- Komponente und dem Absolutwert einer unteren Steigungskomponente der B-Komponente berechnet, wenn der Bildpunkt die B- Komponente hat.
10. Vorrichtung nach einem der Ansprüche 6 bis 9, weiter dadurch gekennzeichnet, dass unter Verwendung der Bezeichnungen Rij, Gij und Bij für die R-, die G- bzw. die B-Komponenten eines jeweiligen Bildpunkts (i,j), mit i und j als ganze Zahlen,
die zweite Farbkomponenten-Berechnungseinheit folgende Elemente enthält:
einen dritten Funktionsblock zum Ermitteln des Absolutwerts der Differenz zwischen Rij und Ri(j+2), zum Ermitteln des Absolutwerts der Differenz zwischen Gij und Gi(j+2) oder zum Ermitteln des Absolutwerts der Differenz zwischen Bij und Bi(j+2),
einen vierten Funktionsblock zum Ermitteln des Absolutwerts der Differenz zwischen Ri(j-2) und Rij, zum Ermitteln des Absolutwerts der Differenz zwischen Gi(j-2) und Gijoder zum Ermitteln des Absolutwerts der Differenz zwischen Bi(j-2) und Bij und
einen zweiten Subtrahierer zum Ermitteln der Differenz zwischen dem Ausgangssignal des dritten Funktionsblocks und dem Ausgangssignal des vierten Funktionsblocks,
und die dritte Farbkomponenten-Berechnungseinheit folgende Elemente enthält:
einen fünften Funktionsblock zum Ermitteln des Absolutwerts der Differenz zwischen Rij und R(i+2)j, zum Ermitteln des Absolutwerts der Differenz zwischen Gij und G(i+2)j oder zum Ermitteln des Absolutwerts der Differenz zwischen Bij und B(i+2)j,
einen sechsten Funktionsblock zum Ermitteln des Absolutwerts der Differenz zwischen R(i-2)j und Rij, zum Ermitteln des Absolutwerts der Differenz zwischen G(i-2)j und Gij oder zum Ermitteln des Absolutwerts der Differenz zwischen B(i-2)j und Bij und
einen dritten Subtrahierer zum Ermitteln der Differenz zwischen dem Ausgangssignal des fünften Funktionsblocks und dem Ausgangssignal des sechsten Funktionsblocks.
11. Vorrichtung nach einem der Ansprüche 5 bis 10, weiter dadurch gekennzeichnet, dass die Vergleichsbestimmungseinheit (263) für einen jeweiligen Richtungskoeffizienten einen ersten Zustandswert auswählt, wenn der Ausgabewert der Farbkomponentenberechnungseinheit (261) größer als der negative Wert und kleiner als der positive Wert eines zugehörigen Schwellwerts ist, für den Richtungskoeffizienten einen zweiten Zustandswert auswählt, wenn der Ausgabewert kleiner als der negative Wert des Schwellwerts ist, und einen dritten Zustandswert auswählt, wenn der Ausgabewert größer als der positive Wert des Schwellwerts ist.
12. Vorrichtung nach Anspruch 11, weiter dadurch gekennzeichnet, dass drei Schwellwerte vorgegeben sind, die ganze Zahlen größer als 4 und kleiner als 20 sind.
13. Vorrichtung nach Anspruch 11 oder 12, weiter dadurch gekennzeichnet, dass der erste Zustandswert gleich S, der zweite Zustandswert gleich 1 und der dritte Zustandswert gleich 0 ist.
14. Vorrichtung nach einem der Ansprüche 1 bis 13, weiter dadurch gekennzeichnet, dass der adaptive Interpolator (27) folgende Elemente enthält:
einen G-Komponenteninterpolator (271) zum Ausgeben der G- Komponente (G0) mittels Durchführung einer Interpolation in Abhängigkeit von den Ausgangssignalen des Verzögerungsmoduls und des Richtungskoeffizientenwertselektors,
einen R-Komponenteninterpoiator (275) zum Ausgeben der R- Komponente (R0) mittels Durchführung einer Interpolation in Abhängigkeit von den Ausgangssignalen des Verzögerungsmoduls und des Richtungskoeffizientenwertselektors und
einen B-Komponenteninterpolator (277) zum Ausgeben der B- Komponente (B0) mittels Durchführung einer Interpolation in Abhängigkeit von den Ausgangssignalen des Verzögerungsmoduls und des Richtungskoeffizientenwertselektors.
15. Vorrichtung nach Anspruch 14, weiter dadurch gekennzeichnet, dass der G-Komponenteninterpolator (271) folgende Elemente enthält:
einen Tiefpassfilter-Komponentenkalkulator (272) zum Empfangen einer Mehrzahl von G-Komponenten aus dem Ausgangssignal des Verzögerungsmoduls, Durchführen einer Berechnung, Auswählen des Ergebnisses der Berechnung in Abhängigkeit von Ausgangssignal des Richtungskoeffizientenwertselektors und Abgeben des ausgewählten Ergebnisses,
einen Hochpassfilter-Komponentenkalkulator (273) zum Empfangen einer Mehrzahl von R- oder B-Komponenten aus dem Ausgangssignal des Verzögerungsmoduls, Durchführen einer Berechnung, Auswählen des Ergebnisses der Berechnung in Abhängigkeit vom Ausgangssignal des Richtungskoeffizientenwertselektors und Abgeben des ausgewählten Ergebnisses und
einen Addierer (274) zur Durchführung einer ODER-Verknüpfung des Ausgangssignals des Tiefpassfilter-Komponentenkalkulators mit dem Ausgangssignal des Hochpassfilter-Komponentenkalkulators.
16. Vorrichtung nach Anspruch 15, weiter dadurch gekennzeichnet, dass der Tiefpassfilter-Komponentenkalkulator folgende Elemente enthält:
eine erste Logikblockeinheit mit einer Mehrzahl von Logikblöcken (611 bis 616) zurr Durchführung von ODER-Verknüpfungen von G(i-1)j mit G(i+1)j, Gi(j+1) mit G(i+1)j, Gi(j+1) mit G(i-1)j, Gi(j-1) mit G(i+1)j, Gi(j-1) mit G(i-1)j bzw. Gi(j-1) mit Gi(j+1) für einen jeweils betrachteten Bildpunkt (i,j) und zum Dividieren jedes ODER-Ergebnisses durch zwei,
eine zweite Logikblockeinheit mit mehreren Logikblöcken (617 bis 621), die jeweils selektiv eine ODER-Verknüpfung von zwei der Ausgangssignale der ersten Logikblockeinheiten durchführen und das ODER-Ergebnis durch zwei dividieren und
einen ersten Selektor (630) zum Auswählen eines der Werte von G(i-1)j, Gi(j-1), Gi(j+1), G(i+1)j, den Ausgangssignalen der ersten Logikblockeinheiten und den Ausgangssignalen der zweiten Logikblockeinheiten in Abhängigkeit vom Ausgangssignal des Richtungskoeffizientenwertselektors und zum Abgeben des ausgewählten Wertes.
17. Vorrichtung nach Anspruch 15 oder 16, weiter dadurch gekennzeichnet, dass der Hochpassfilter-Komponentenkalkulator folgende Elemente enthält:
eine dritte Logikblockeinheit mit mehreren Logikblöcken (712 bis 715) zum Dividieren der Differenz zwischen Rij und R(i+2)j oder der Differenz zwischen Bij und B(i+2)j durch zwei, der Differenz zwischen Rij und R(i-2)j oder der Differenz zwischen Bij und B(i-2)j durch zwei, der Differenz zwischen Rij und Ri(j+2) oder der Differenz zwischen Bij und Bi(j+2) durch zwei und der Differenz zwischen Rij und Ri(j-2) oder der Differenz zwischen Bij und Bi(j-2) durch zwei,
eine vierte Logikblockeinheit mit mehreren Logikblöcken (716 bis 721) zum selektiven Durchführen von ODER-Verknüpfungen der Ausgangssignale der dritten Logikblockeinheit und Dividieren der ODER-Ergebnisse durch zwei,
eine fünfte Logikblockeinheit mit mehreren Logikblöcken (722 bis 726) zum selektiven Durchführen von ODER-Verknüpfungen der Ausgangssignale der vierten Logikblockeinheit und Dividieren der ODER-Ergebnisse durch zwei und
einen zweiten Selektor (730) zum Auswählen eines der Ausgangssignale der dritten bis fünften Logikblockeinheit in Abhängigkeit vom Ausgangssignal des Richtungskoeffizientenwertselektors.
18. Vorrichtung nach einem der Ansprüche 14 bis 17, weiter dadurch gekennzeichnet, dass
der R-Komponenteninterpolator, wenn die R-Komponente für einen Bildpunkt (i,j) zu bestimmen ist, dessen G-Komponente bekannt ist, einen der Werte Ri(j+1) + (Gij - Gi(j+2))/2, (Ri(j-1) + Ri(j+1)/2 + (2Gij - Gi(j-2) - Gi(j+2))/4 und Ri(j-1) + (Gij - Gi(j-2))/2 in Abhängigkeit vom zweiten Richtungskoeffizienten auswählt und den ausgewählten Wert abgibt und im Fall, dass die R-Komponente für einen Bildpunkt (i,j) zu bestimmen ist, dessen B-Komponente bekannt ist, den arithmetischen Mittelwert (R(i-1)(j-1) + R(i-1)(j+1) + R(i+1)(j-1) + R(i+1)(j+1))/4 von vier Bildpunkten in der diagonalen Richtung des Bildpunkts (i,j) bestimmt und das Ergebnis abgibt und
der B-Komponenteninterpolator im Fall, dass die B-Komponente für einen Bildpunkt (i,j) zum bestimmen ist, dessen G-Komponente bekannt ist, einen der Werte Bi(j+1) + (Gij - Gi(j+2))/2, (Bi(j-1) + Bi(j+1))/2 + (2Gij - Gi(j-2) - Gi(j+2))/4 und Bi(j-1) + (Gij - Gi(j-2))/2 in Abhängigkeit vom dritten Richtungskoeffizienten auswählt und den ausgewählten Wert abgibt und im Fall, dass die B-Komponente für einen Bildpunkt (i,j) zu bestimmen ist, dessen R-Komponente bekannt ist, den arithmetischen Mittelwert (B(i-1)(j-1) + B(i-1)(j+1) + B(i+1)(j-1) + B(i+1)(j+1))/4 von vier Pixeln in der diagonalen Richtung des Bildpunkts (i,j) bestimmt und das Ergebnis abgibt.
19. Verfahren zur Verarbeitung von Ausgabedaten eines Bildsensors, um eine Eingangsszene in ein elektronisches Signal zu wandeln, gekennzeichnet durch folgende Schritte:
Speichern der Ausgabedaten des Bildsensors, Auswählen von wenigstens drei Richtungskoeffizientenwerten zur Bestimmung der Intensität von Farbkomponenten eines jeweils betrachteten Bildpunkts unter Verwendung der gespeicherten Ausgabedaten des Bildsensors und der momentanen Ausgabedaten des Bildsensors und
Durchführen einer Interpolation zum Ermitteln der R- und B- Komponenten eines Bildpunkts mit der G-Komponente, der G- und B-Komponenten eines Bildpunkts mit der R-Komponente sowie der G- und R-Komponenten eines Bildpunkts mit der B- Komponente unter Verwendung der im vorangegangenen Schritt ausgewählten Richtungskoeffizientenwerte und der Ausgabedaten des Bildsensors,
wobei die Richtungskoeffizienten einen ersten Richtungskoeffizienten zum Anzeigen, welche Komponente von einer horizontalen, vertikalen und diagonalen Komponente eine Kante des Bildpunkts aufweist, einen zweiten Richtungskoeffizienten zum Anzeigen der Stärke der horizontalen Kantenkomponente, die eine bestimmte Breite von der horizontalen Linie aufweist und eine obere Komponente, eine untere Komponente bzw. die obere und untere Komponente von der horizontalen Linie beinhaltet, und einen dritten Richtungskoeffizienten zum Anzeigen der Stärke der vertikalen Kantenkomponente umfassen, die eine bestimmte Breite von der vertikalen Linie hat und eine linke, eine rechte bzw. sowohl die linke als auch die rechte Komponente von der vertikalen Linie umfasst.
20. Verfahren nach Anspruch 19, weiter dadurch gekennzeichnet, dass im Schritt zum Speichern der Ausgabedaten des Bildsensors selbige in eine Mehrzahl vorgebbarer Dateneinheiten aufgeteilt werden und Zeilenspeicher für die jeweilige Einheit wenigstens vier Einheiten der aufgeteilten Daten speichern, wobei die vorgebbaren Einheiten je einer Linie in einer Bayer-Matrixstruktur entsprechen.
21. Verfahren nach Anspruch 19 oder 20, weiter dadurch gekennzeichnet, dass der Schritt zum Auswählen der drei Richtungskoeffizientenwerte folgende Schritte umfasst:
Feststellen, ob ein jeweiliger Bildpunkt, für den Farbkomponenten zu bestimmen sind, bereits die G-Komponente hat,
Wählen des zweiten und dritten Richtungskoeffizientenwertes nacheinander, wenn der betrachtete Bildpunkt bereits die G- Komponente hat,
andernfalls Feststellen, ob der Absolutwert der Differenz zwischen dem in der horizontalen Richtung vom betrachteten Bildpunkt ansteigenden oder abnehmenden Absolutwert der G-Komponente als Absolutwert einer horizontalen Steigungskomponente der G- Komponente und dem in der vertikalen Richtung ansteigenden oder abnehmenden Absolutwert der G-Komponente als Absolutwert einer vertikalen Steigungskomponente der G-Komponente kleiner als ein erster Schwellwert ist und bejahendenfalls Festlegen des ersten Richtungskoeffizientenwertes auf einen ersten Zustandswert und Wählen des zweiten Richtungskoeffizientenwertes,
Feststellen, ob die Differenz zwischen dem Absolutwert der horizontalen Steigungskomponente der G-Komponente und dem Absolutwert der vertikalen Steigungskomponente der G-Komponente kleiner als der negative Wert des ersten Schwellwerts ist, und bejahendenfalls Festlegen des ersten Richtungskoeffizientenwertes auf einen zweiten Zustandswert und Wählen des zweiten Richtungskoeffizientenwertes,
wenn die Differenz zwischen dem Absolutwert der horizontalen Steigungskomponente der G-Komponente und dem Absolutwert der vertikalen Steigungskomponente der G-Komponente größer als der positive Wert des ersten Schwellwertes ist, Festlegen des ersten Richtungskoeffizientenwertes auf einen dritten Zustandswert und
wenn der Wert für den ersten Richtungskoeffizienten auf den ersten oder dritten Zustandswert gesetzt ist, kontinuierliches Wählen des Wertes des dritten Richtungskoeffizienten.
22. Verfahren nach Anspruch 21, weiter dadurch gekennzeichnet, dass die Differenz zwischen dem Absolutwert der horizontalen Steigungskomponente der G-Komponente und dem Absolutwert der vertikalen Steigungskomponente der G-Komponente durch den Ausdruck |Gi(j+1) - Gi(j-1)| - |G(i-1)j - G(i+1)j| bestimmt wird, wobei die für den Bildpunkt (i,j) zu erhaltende G-Komponente mit Gij bezeichnet ist und i und j ganze Zahlen sind.
23. Verfahren nach Anspruch 21 oder 22, weiter dadurch gekennzeichnet, dass der Schritt zum aufeinanderfolgenden Wählen des zweiten und dritten Richtungskoeffizientenwertes, wenn der Bildpunkt bereits die G-Komponente hat, folgende Schritte umfasst:
Bestimmen, ob der Absolutwert der Differenz zwischen dem in der horizontalen Richtung ansteigenden oder abnehmenden Absolufiwert der G-Komponente von Bildpunkten links des betrachteten Bildpunkts als einem Absolutwert der linken Steigungskomponente der G-Komponente und dem in der horizontalen Richtung ansteigenden oder abnehmenden Absolutwert der G-Komponente von Bildpunkten rechts des betrachteten Bildpunkts als einem Absolutwert der rechten Steigungskomponente der G-Komponente kleiner als ein zweiter Schwellwert ist und bejahendenfalls Festlegen des zweiten Richtungskoeffizientenwertes auf den ersten Zustandswert,
Bestimmen, ob die Differenz zwischen dem Absolutwert der linken Steigungskomponente der G-Komponente und dem Absolutwert der rechten Steigungskomponente der G-Komponente kleiner als der negative Wert des zweiten Schwellwerts ist, und bejahendenfalls Festlegen des zweiten Richtungskoeffizientenwertes auf den zweiten Zustandswert,
wenn die Differenz zwischen dem Absolutwert der linken Steigungskomponente der G-Komponente und dem Absolutwert der rechten Steigungskomponente der G-Komponente größer als der zweite Schwellwert ist, Festlegen des zweiten Richtungskoeffizientenwertes auf den dritten Zustandswert,
basierend auf dem im vorigen Schritt bestimmten zweiten Richtungskoeffizientenwert Feststellen, ob der in der vertikalen Richtung ansteigende oder abnehmende Absolutwert der Differenz zwischen dem Absolutwert der G-Komponente von Bildpunkten über dem betrachteten Bildpunkt als dem Absolutwert einer oberen Steigungskomponente der G-Komponente und dem in der vertikalen Richtung ansteigenden oder abnehmenden Absolutwert der G-Komponente von Bildpunkten unter dem betrachteten Bildpunkt als dem Absolutwert einer unteren Steigungskomponente der G-Komponente kleiner als ein dritter Schwellwert ist, und bejahendenfalls Festlegen des dritten Richtungskoeffizientenwertes auf den ersten Zustandswert,
Feststellen, ob die Differenz zwischen dem Absolutwert der oberen Steigungskomponente der G-Komponente und dem Absolutwert der unteren Steigungskomponente der G-Komponente kleiner als der negative Wert des dritten Schwellwerts ist, und bejahendenfalls Festlegen des dritten Richtungskoeffizientenwertes auf den zweiten Zustandswert und
wenn die Differenz zwischen dem Absolutwert der oberen Steigungskomponente der G-Komponente und dem Absolutwert der unteren Steigungskomponente der G-Komponente größer als der dritte Schwellwert ist, Festlegen des dritten Richtungskoeffizientenwertes auf den dritten Zustandswert.
24. Verfahren nach Anspruch 23, weiter dadurch gekennzeichnet, dass mit der Bezeichnung Gij für die G-Komponente des Bildpunkts (i,j), mit i und j als ganze Zahlen, die Differenz zwischen dem Absolutwert der linken Steigungskomponente der G- Komponente und dem Absolutwert der rechten Steigungskomponente der G-Komponente durch den Ausdruck |Gij - Gi(j-2)| - |Gij - Gi(j+2)| bestimmt wird und die Differenz zwischen dem Absolutwert der oberen Steigungskomponente der G-Komponente und dem Absolutwert der unteren Steigungskomponente der G-Komponente durch den Ausdruck |Gij - G(i-2)j| - |Gij - G(i+2)j| bestimmt wird.
25. Verfahren nach einem der Ansprüche 21 bis 24, weiter dadurch gekennzeichnet, dass der Schritt zum Festlegen des ersten Richtungskoeffizientenwertes auf den zweiten Zustandswert und Wählen des zweiten Richtungskoeffizientenwertes folgende Schritte umfasst:
Feststellen, ob die Farbkomponente, die der betrachtete Bildpunkt hat, die R-Komponente ist und bejahendenfalls Feststellen, ob der Absolutwert der Differenz zwischen dem in der horizontalen Richtung ansteigenden oder abnehmenden Absolutwert der R- Komponente von Bildpunkten links des betrachteten Bildpunkts als dem Absolutwert einer linken Steigungskomponente der R- Komponente und dem in der horizontalen Richtung ansteigenden oder abnehmenden Absolutwert der R-Komponente von Bildpunkten rechts des betrachteten Bildpunkts als dem Absolutwert einer rechten Steigungskomponente der R-Komponente kleiner als ein zweiter Schwellwert ist, und bejahendenfalls Festlegen des zweiten Richtungskoeffizientenwertes auf den ersten Zustandswert,
wenn die Differenz zwischen dem Absolutwert der linken Steigungskomponente der R-Komponente und dem Absolutwert der rechten Steigungskomponente der R-Komponente kleiner als der negative Wert des zweiten Schwellwerts ist, Festlegen des zweiten Richtungskoeffizientenwertes auf den zweiten Zustandswert,
wenn die Differenz zwischen dem Absolutwert der linken Steigungskomponente der R-Komponente und dem Absolutwert der rechten Steigungskomponente der R-Komponente größer als der zweite Schwellwert ist, Festlegen des zweiten Richtungskoeffizientenwertes auf den dritten Zustandswert,
wenn der betrachtete Bildpunkt nicht die R-Komponente hat, Feststellen, ob der Absolutwert der Differenz zwischen dem in der horizontalen Richtung ansteigenden oder abnehmenden Absolutwert der B-Komponente von Bildpunkten links des betrachteten Bildpunkts als dem Absolutwert einer linken Steigungskomponente der R-Komponente und dem in der horizontalen Richtung ansteigenden oder abnehmenden Absolutwert der B-Komponente von Bildpunkten rechts des betrachteten Bildpunkts als dem Absolutwert einer rechten Steigungskomponente der B-Komponente kleiner als ein zweiter Schwellwert ist, und bejahendenfalls Festlegen des zweiten Richtungskoeffizientenwertes auf den ersten Zustandswert,
Bestimmen, ob die Differenz zwischen dem Absolutwert der linken Steigungskomponente der B-Komponente und dem Absolutwert der rechten Steigungskomponente der B-Komponente kleiner als der negative Wert des zweiten Schwellwerts ist, und bejahendenfalls Festlegen des zweiten Richtungskoeffizientenwertes auf den zweiten Zustandswert, und
wenn die Differenz zwischen dem Absolutwert der linken Steigungskomponente der B-Komponente und dem Absolutwert der rechten Steigungskomponente der B-Komponente größer als der zweite Schwellwert ist, Festlegen des zweiten Richtungskoeffizientenwertes auf den dritten Zustandswert.
26. Verfahren nach Anspruch 25, weiter dadurch gekennzeichnet, dass, wenn die R-Komponente Rij des Bildpunkts (i,j), mit i und j als ganze Zahlen, zu bestimmen ist, die Differenz zwsichen dem Absolutwert der linken Steigungskomponente der R-Komponente und dem Absolutwert der rechten Steigungskomponente der R- Komponente durch den Ausdruck |Rij - Ri(j-2)| - |Rij - Ri(j+2)| bestimmt wird und, wenn die B-Komponente Bij des Bildpunkts (i,j) zu bestimmen ist, die Differenz des Absolutwerts der linken Steigungskomponente der B-Komponente und des Absolutwerts der rechten Steigungskomponente der B-Komponente durch den Ausdruck |Bij - Bi(j-2)| - |Bij - Bi(j+2)| bestimmt wird.
27. Verfahren nach einem der Ansprüche 21 bis 26, weiter dadurch gekennzeichnet, dass der Schritt zum kontinuierlichen Wählen des dritten Richtungskoeffizientenwertes, wenn der erste Richtungskoeffizientenwerte auf den ersten oder den dritten Zustandswert gesetzt ist, folgende Schritte umfasst:
Feststellen, ob die Farbkomponente des betrachteten Bildpunkts die R-Komponente ist,
bejahendenfalls Feststellen, ob der Absolutwert der Differenz zwischen dem in der vertikalen Richtung ansteigenden oder abnehmenden Absolutwert der R-Komponente von Bildpunkten über dem betrachteten Bildpunkt als dem Absolutwert einer oberen Steigungskomponente der R-Komponente und dem in der vertikalen Richtung ansteigenden oder abnehmenden Absolutwert der R- Komponente von Bildpunkten unter dem betrachteten Bildpunkt als dem Absolutwert einer unteren Steigungskomponente der R- Komponente kleiner als ein dritter Schwellwert ist, und bejahendenfalls Festlegen des dritten Richtungskoeffizientenwertes auf den ersten Zustandswert,
Feststellen, ob die Differenz zwischen dem Absolutwert der oberen Steigungskomponente der R-Komponente und dem Absolutwert der unteren Steigungskomponente der R-Komponente kleiner als der negative Wert des dritten Schwellwerts ist, und bejahendenfalls Festlegen des dritten Richtungskoeffizientenwertes auf den zweiten Zustandswert,
wenn die Differenz zwischen dem Absolutwert der oberen Steigungskomponente der R-Komponente und dem Absolutwert der unteren Steigungskomponente der R-Komponente größer als der dritte Schwellwert ist, Festlegen des dritten Richtungskoeffizientenwertes auf den dritten Zustandswert,
wenn die Farbkomponente des betrachteten Blickpunkts nicht die R-Komponente ist, Feststellen, ob der in der vertikalen Richtung ansteigende oder abnehmende Absolutwert der Differenz zwischen dem Absolutwert der B-Komponente von Bildpunkten über dem betrachteten Bildpunkt als dem Absolutwert einer oberen Steigungskomponente der B-Komponente und dem in der vertikalen Richtung ansteigenden oder abnehmenden Absolutwert der B- Komponente von Bildpunkten unter dem betrachteten Bildpunkt als dem Absolutwert einer unteren Steigungskomponente der B- Komponente kleiner als ein dritter Schwellwert ist, und bejahendenfalls Festlegen des dritten Richtungskoeffizientenwertes auf den ersten Zustandswert,
Feststellen, ob die Differenz zwischen dem Absolutwert der oberen Steigungskomponente der B-Komponente und dem Absolutwert der unteren Steigungskomponente der B-Komponente kleiner als der negative Wert des dritten Schwellwerts ist, und bejahendenfalls Festlegen des dritten Richtungskoeffizientenwertes auf den zweiten Zustandswert und
wenn die Differenz zwischen dem Absolutwert der oberen Steigungskomponente der B-Komponente und dem Absolutwert der unteren Steigungskomponente der B-Komponente größer als der dritte Schwellwert ist, Festlegen des dritten Richtungskoeffizientenwertes auf den dritten Zustandswert.
28. Verfahren nach Anspruch 27, weiter dadurch gekennzeichnet, dass die Differenz zwischen dem Absolutwert der oberen Steigungskomponente der R-Komponente und dem Absolutwert der unteren Steigungskomponente der R-Komponente durch den Ausdruck |Rij - R(i-2)j| - |Rij - R(i+2)j| bestimmt wird, wobei die R- Komponente des Bildpunkts (i,j) mit Rij bezeichnet ist und i und j ganze Zahlen sind, und die Differenz zwischen dem Absolutwert der oberen Steigungskomponente der B-Komponente und dem Absolutwert der unteren Steigungskomponente der B- Komponente durch den Ausdruck |Bij - B(i-2)j| - |Bij - B(i+2)j| bestimmt wird, wobei die B-Komponente des Bildpunkts (i,j) mit Bij bezeichnet ist und i und j ganze Zahlen sind.
29. Verfahren nach einem der Ansprüche 21 bis 28, weiter dadurch gekennzeichnet, dass der erste Zustandswert gleich S, der zweite Zustandswert gleich 1 und der dritte Zustandswert gleich 0 ist.
30. Verfahren nach einem der Ansprüche 21 bis 29, weiter dadurch gekennzeichnet, dass der erste Schwellwert, der zweite Schwellwert und/oder der dritte Schwellwert ganze Zahlen größer als 4 und kleiner als 20 sind.
31. Verfahren nach einem der Ansprüche 19 bis 30, weiter dadurch gekennzeichnet, dass der Schritt zur Durchführung der Interpolation folgende Schritte umfasst:
Berechnen der Ausgabedaten des Bildsensors und anhand ausgewählter Richtungskoeffizientenwerte Auswählen von zu diesen gehörigen Dateneinheiten aus den berechneten Daten als die R- Komponente,
Berechnen der Ausgabedaten des Bildsensors und anhand ausgewählter Richtungskoeffizientenwerte Auswählen von zu diesen gehörigen Dateneinheiten aus den berechneten Daten als die G- Komponente und
Berechnen der Ausgabedaten des Bildsensors und anhand ausgewählter Richtungskoeffizientenwerte Auswählen von zu diesen gehörigen Dateneinheiten aus den berechneten Daten als die B- Komponente.
32. Verfahren nach einem der Ansprüche 21 bis 31, weiter dadurch gekennzeichnet, dass ein oder mehrere weitere Zustandswerte zusätzlich vorgesehen und dazu verwendet werden, das Maß an Steigung von Kanten, die diagonale Komponenten mit unterschiedlichen Steigungen haben, von Kanten, die horizontale Komponenten mit verschiedenen Steigungen haben, sowie von Kanten anzuzeigen, die vertikale Komponenten mit verschiedenen Steigungen haben.
DE10243306A 2001-09-13 2002-09-13 Verfahren und Vorrichtung zur Verarbeitung von Bildsensor-Ausgabedaten Withdrawn DE10243306A1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0056442A KR100396898B1 (ko) 2001-09-13 2001-09-13 이미지센서 출력데이터 처리장치 및 처리방법

Publications (1)

Publication Number Publication Date
DE10243306A1 true DE10243306A1 (de) 2003-04-24

Family

ID=19714232

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10243306A Withdrawn DE10243306A1 (de) 2001-09-13 2002-09-13 Verfahren und Vorrichtung zur Verarbeitung von Bildsensor-Ausgabedaten

Country Status (6)

Country Link
US (1) US7142239B2 (de)
JP (1) JP4127638B2 (de)
KR (1) KR100396898B1 (de)
DE (1) DE10243306A1 (de)
NL (1) NL1021335C2 (de)
TW (1) TWI243584B (de)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202894B2 (en) * 2002-06-04 2007-04-10 Micron Technology, Inc. Method and apparatus for real time identification and correction of pixel defects for image sensor arrays
KR100510532B1 (ko) 2003-06-10 2005-08-26 삼성전자주식회사 베이어 패턴 컬러 신호에 대한 적응형 노이즈 제거 필터,이를 구비한 디지털 영상 신호 처리 장치, 및 그 방법
US7446812B2 (en) * 2004-01-13 2008-11-04 Micron Technology, Inc. Wide dynamic range operations for imaging
CN1326088C (zh) * 2004-02-10 2007-07-11 华晶科技股份有限公司 补足像素色彩的内插法
CN1857008B (zh) 2004-02-19 2010-05-05 三菱电机株式会社 图像处理方法
JP4133908B2 (ja) 2004-03-31 2008-08-13 シャープ株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを格納した記憶媒体
KR100585004B1 (ko) 2004-04-21 2006-05-29 매그나칩 반도체 유한회사 이미지센서의 디지털 신호 처리 장치
KR101087345B1 (ko) * 2004-04-21 2011-11-25 인텔렉츄얼 벤처스 투 엘엘씨 컬러 보정 방법
KR100699831B1 (ko) 2004-12-16 2007-03-27 삼성전자주식회사 베이어 패턴의 컬러 신호를 보간하는 방법 및 보간기
KR100587979B1 (ko) * 2004-12-20 2006-06-08 한국전자통신연구원 이미지 확대를 위한 경계선 및 귀퉁이 기반 보간 방법
KR100708465B1 (ko) * 2005-02-03 2007-04-18 삼성전자주식회사 컬러 상관 유사도와 다방향 에지 정보를 이용한 컬러 필터보간 방법
KR100782812B1 (ko) 2005-06-15 2007-12-06 삼성전자주식회사 에지 적응적 컬러 보간 방법 및 장치
US7830426B2 (en) * 2005-12-29 2010-11-09 Micron Technology, Inc. Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms
US20070263918A1 (en) * 2006-02-13 2007-11-15 David Jenya Method and system of recognizing profiles and defects in wood processing
KR100809687B1 (ko) 2006-02-28 2008-03-06 삼성전자주식회사 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법
KR100929349B1 (ko) * 2007-01-30 2009-12-03 삼성전자주식회사 유기물 컬러 필터를 포함하지 않는 컬러 픽셀, 이미지 센서, 및 컬러 보간방법
TWI400961B (zh) * 2007-08-24 2013-07-01 Holtek Semiconductor Inc 用於ymcg彩色濾波陣列的色彩內插法
CN101452573B (zh) * 2007-12-04 2013-01-30 比亚迪股份有限公司 一种图像边缘增强方法
JP2011509455A (ja) * 2007-12-21 2011-03-24 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 端指向画像処理
US20090237530A1 (en) * 2008-03-20 2009-09-24 Ilia Ovsiannikov Methods and apparatuses for sharpening images
TWI395154B (zh) * 2009-04-14 2013-05-01 Holtek Semiconductor Inc Color Filter Array Image Enhancement Method and Device
US8526719B2 (en) * 2009-12-29 2013-09-03 Postech Academy-Industry Foundation Method of converting color image into grayscale image and recording medium storing program for performing the same
JP5631769B2 (ja) * 2011-02-17 2014-11-26 株式会社東芝 画像処理装置
TW201305965A (zh) * 2011-07-18 2013-02-01 Novatek Microelectronics Corp 影像處理方法
CN102905083A (zh) * 2011-07-27 2013-01-30 联咏科技股份有限公司 图像处理方法
KR101921964B1 (ko) 2012-03-05 2019-02-13 삼성전자주식회사 라인 메모리 및 이를 이용한 시모스 이미지 집적회로소자
PT3219360T (pt) * 2014-11-10 2020-07-13 Sanhe Laserconn Tech Co Ltd Dispositivo de tratamento a laser vcsel de alta potência com função de arrefecimento de pele e sua estrutura de empacotamento
US10366471B2 (en) 2015-12-02 2019-07-30 Texas Instruments Incorporated Universal and adaptive de-mosaicing (CFA) system
JP6627528B2 (ja) * 2016-01-25 2020-01-08 株式会社Jvcケンウッド 画像処理方法及び画像処理装置
GB2559776B (en) * 2017-02-17 2022-04-06 Grass Valley Ltd Decoding a bayer-mask or like coded image

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5347599A (en) * 1991-06-14 1994-09-13 Matsushita Electric Industrial Co., Ltd. Adaptive interpolation method and apparatus using correlation detection
KR0125108B1 (ko) * 1992-12-11 1997-12-01 가나이 쯔또무 정지화상기록 디지탈 카메라
US5382976A (en) * 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
JP3392564B2 (ja) * 1995-02-27 2003-03-31 三洋電機株式会社 単板式カラービデオカメラ
US5629734A (en) 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5652621A (en) * 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
GB9605527D0 (en) * 1996-03-15 1996-05-15 Vlsi Vision Ltd Image restoration
US5631703A (en) * 1996-05-29 1997-05-20 Eastman Kodak Company Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values
KR100196922B1 (ko) * 1996-09-19 1999-06-15 윤종용 4판식 이미지 센서를 이용한 고해상도 영상 신호처리 장치 및 방법
JP3612891B2 (ja) * 1996-10-02 2005-01-19 松下電器産業株式会社 固体撮像素子の撮像出力の輪郭強調方法
JP3787927B2 (ja) * 1996-11-18 2006-06-21 ソニー株式会社 撮像装置及びカラー画像信号の処理方法
US6339479B1 (en) * 1996-11-22 2002-01-15 Sony Corporation Video processing apparatus for processing pixel for generating high-picture-quality image, method thereof, and video printer to which they are applied
KR100222971B1 (ko) * 1997-06-20 1999-10-01 윤종용 3판식 고해상도 촬상 장치
US6563537B1 (en) * 1997-07-31 2003-05-13 Fuji Photo Film Co., Ltd. Image signal interpolation
JPH11122626A (ja) 1997-10-17 1999-04-30 Nikon Corp 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体
US6229578B1 (en) * 1997-12-08 2001-05-08 Intel Corporation Edge-detection based noise removal algorithm
JP4066484B2 (ja) * 1997-12-08 2008-03-26 ソニー株式会社 画像処理装置および画像処理方法、並びにカメラ
JP3771054B2 (ja) * 1998-07-01 2006-04-26 株式会社リコー 画像処理装置及び画像処理方法
US6774943B1 (en) 1998-09-01 2004-08-10 Ess Technology, Inc. Method and apparatus for edge enhancement in digital images
JP3680922B2 (ja) * 1999-07-14 2005-08-10 シャープ株式会社 画像処理装置
EP1111904A3 (de) 1999-12-20 2005-03-16 Texas Instruments Incorporated Digitales Kamerasystem und Verfahren
US6791609B2 (en) * 1999-12-20 2004-09-14 Texas Instruments Incorporated Digital still camera system and method
US6771835B2 (en) * 2000-06-12 2004-08-03 Samsung Electronics Co., Ltd. Two-dimensional non-linear interpolation system based on edge information and two-dimensional mixing interpolation system using the same
KR100390847B1 (ko) * 2001-06-30 2003-07-12 주식회사 하이닉스반도체 이미지 센서의 칼라 보간 장치

Also Published As

Publication number Publication date
KR100396898B1 (ko) 2003-09-02
JP4127638B2 (ja) 2008-07-30
TWI243584B (en) 2005-11-11
US7142239B2 (en) 2006-11-28
US20030081465A1 (en) 2003-05-01
JP2003143615A (ja) 2003-05-16
KR20030023294A (ko) 2003-03-19
NL1021335A1 (nl) 2003-03-14
NL1021335C2 (nl) 2005-06-13

Similar Documents

Publication Publication Date Title
DE10243306A1 (de) Verfahren und Vorrichtung zur Verarbeitung von Bildsensor-Ausgabedaten
DE3910035C3 (de) Farbbildabtasteinrichtung
DE69633259T2 (de) Bildverarbeitungsverfahren und -vorrichtung
DE69628866T2 (de) Adaptive Interpolation von Farbflächen in einer elektronischen Farbkamera mit nur einem Sensor
DE69333846T2 (de) Verfahren zur mischung von bildern und vorrichtung hierzu.
DE69733882T2 (de) Kamera mit einem einzigen bildaufnehmer
DE112009005418B4 (de) Bildverarbeitungsgerät
DE60012649T2 (de) Beseitigung von chromarauschen aus digitalbildern durch verwendung veränderlich geformter pixelnachbarschaftsbereiche
DE112009005314B4 (de) Bildaufnahmegerät
AT389966B (de) Digitales filter
DE102006038646B4 (de) Bildverarbeitungsvorrichtung für Farb-Bilddaten
DE2813519A1 (de) Lineares interpolationsverfahren fuer farbsignale in einem speicher
DE3024459A1 (de) Pyramideninterpolation
DE112013003464B4 (de) Farbbildgebungselement und Bildgebungsvorrichtung
DE10344397B4 (de) Vorrichtung und Verfahren zur Kantenhervorhebung bei der Bildverarbeitung
DE3306442A1 (de) Verfahren zur farberfassung und farbmodifikation und einrichtung zur durchfuehrung des verfahrens
DE102016112968B4 (de) Bestimmung von Farbwerten für Pixel an Zwischenpositionen
DE60015265T2 (de) Bildverarbeitungsgerät
DE60023619T2 (de) Bildverarbeitungsvorrichtung zur Verringerung der Abtastfrequenz und zur Interpolation eines Bildsignals von einem Sensor mit Farbfilteranordnung
DE4002298A1 (de) Verfahren und vorrichtung zur automatischen korrektur von farbstichen bei der elektronischen bildverarbeitung
DE60128041T2 (de) Schaltung zur Horizontalkontursignalerzeugung in einer Farbkamera
DE102014008686B4 (de) Verfahren und Vorrichtung zur Farbinterpolation
DE4102587A1 (de) Verfahren und einheit zur binaeren bildverarbeitung sowie verfahren und einheit zur zeichenerkennung
DE3511890A1 (de) Verfahren und vorrichtung zur herstellung von farbauszuegen
DE69827540T2 (de) Signalverarbeitungssystem

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20120403