CN101336438B - 使用边缘检测和修正项在彩色滤光片阵列中提供彩色内插的方法及设备 - Google Patents

使用边缘检测和修正项在彩色滤光片阵列中提供彩色内插的方法及设备 Download PDF

Info

Publication number
CN101336438B
CN101336438B CN2006800519591A CN200680051959A CN101336438B CN 101336438 B CN101336438 B CN 101336438B CN 2006800519591 A CN2006800519591 A CN 2006800519591A CN 200680051959 A CN200680051959 A CN 200680051959A CN 101336438 B CN101336438 B CN 101336438B
Authority
CN
China
Prior art keywords
pixel
color
value
edge direction
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006800519591A
Other languages
English (en)
Other versions
CN101336438A (zh
Inventor
伊戈尔·苏博京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Micron Technology Inc
Original Assignee
Micron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micron Technology Inc filed Critical Micron Technology Inc
Publication of CN101336438A publication Critical patent/CN101336438A/zh
Application granted granted Critical
Publication of CN101336438B publication Critical patent/CN101336438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

本发明提供一种用于彩色平面内插的方法及设备，其视边缘方向及像素是否位于图像的边缘处而定不同地内插像素的色彩值。在彩色图案中存在的色彩的每一者的内插期间使用边缘检测有助于减少在已知去马赛克技术中大量存在的某些损失图像清晰度的缺点。

Description

使用边缘检测和修正项在彩色滤光片阵列中提供彩色内插的方法及设备
技术领域
本发明涉及用于由图像传感器捕获的图像的去马赛克(demosacing)。
背景技术
图像传感器也称为成像器，开发于二十世纪60年代晚期及二十世纪70年代早期，主要用于电视图像获取、传输及显示。成像器吸收特定波长的入射辐射(例如，光子、x射线或类似物)，并产生对应于所吸收的辐射的电信号。存在若干不同类型的基于半导体的成像器，包括电荷耦合装置(CCD)、光电二极管阵列、电荷注入装置(CID)、混合式焦平面阵列及CMOS成像器。
这些成像器通常由含有光电传感器的像素阵列组成，其中每一像素均在图像聚焦于所述阵列上时产生对应于照射在所述元件上的光的强度的信号。接着可存储这些信号(例如)以将对应图像显示于监视器上或以其它方式用于提供关于光学图像的信息。光电传感器通常是光电晶体管、光电导体或光电二极管。因此，由每一像素产生的信号的量值与照射在光电传感器上的光的量成比例。
为了允许光电传感器捕获彩色图像，光电传感器必须能够(例如，在使用拜耳图案时)单独地检测红色(R)光子、绿色(G)光子及蓝色(B)光子。因此，每一像素必须仅对一种色彩或光谱带敏感。为此，通常将彩色滤光片阵列(CFA)放置于像素之前，以使得每一像素均测量其相关联的滤光片的色彩的光。因此，彩色图像传感器的每一像素均根据特定图案(例如拜耳图案)而用红、绿或蓝滤光片覆盖。
对于大多数低成本CMOS或CCD图像传感器而言，彩色滤光片与传感器整合。彩色滤光片图案的常见实例是第3,971,065号美国专利(其揭示内容以引用的方式并入本文中)中所说明的平铺彩色滤光片阵列，且通常被称为“拜耳图案”彩色滤光片。
如图1中所示，拜耳图案100是反复的红(R)、绿(G)及蓝(B)滤光片的阵列，其导致滤光片下的像素分别为红、蓝及绿像素。在拜耳图案100中，红、绿及蓝像素经排列以使得交替的红与绿像素位于阵列的第一行105上，且交替的蓝与绿像素位于下一行110上。这些交替的行在阵列中反复出现。因此，当图像传感器被逐线读出时，第一线的像素序列为GRGRGR等，且接着交替的线序列为BGBGBG等。此输出被称为顺序RGB或sRGB。
在拜耳图案100中，根据人类视觉系统的敏锐度而调整所有三个原色的取样率。亦即，以较大数目的传感器来感测人类眼睛对其最敏感且易做出反应的绿色，而以较少数目的传感器来感测人类视觉对其具有较小分辨率的蓝色及红色。这就是为什么在拜耳图案中，绿色敏感元件每隔一个阵列位置出现一次，而红色敏感元件及蓝色敏感元件每四个阵列位置出现一次。
如图2中所示，在固态图像传感器中，拜耳图案化的滤光片可形成于像素传感器205的阵列200上方。具体而言，像素传感器205的阵列200形成于半导体衬底210上。每一像素传感器205均具有感光元件215，其可为任何光子到电荷转换装置，例如光电门、光电导体或光电二极管。彩色滤光片阵列220可形成于阵列200中的上部金属层225上方，通过各种金属化及绝缘层(例如含有绝缘体金属化图案的层间介电层(ILD)235及钝化层230)而与光电传感器215隔开。金属层225可为不透明的且用于遮蔽像素的不感光的区域。凸透镜240形成于彩色滤光片220上方。在操作中，入射光由透镜240聚焦，穿过滤光片220并到达感光元件215。
对于拜耳图案滤光片而言，红、绿及蓝色的值是每一像素所必需的。由于每一像素传感器单元仅感测一种色彩，因此剩余两种色彩的值通过从感测缺失色彩的相邻像素的内插来计算。此彩色平面内插称为去马赛克。举例而言，参看图1，像素传感器单元115与绿滤光片相关联，绿滤光片致使像素传感器单元115感测绿光，并产生仅代表绿光的信号。为了获得用于像素传感器单元115的红和蓝光的量的近似值，可分别从相邻的红像素传感器单元120及125及相邻的蓝像素传感器单元130及135内插一值。如果未正确地执行去马赛克，则所得图像可能会遭受夹带有高度可见的彩色假像的危害。
在《IEEE图像处理学报》(IEEE Transactions on image Processing)，2002年9月第9号，第II卷中发表且由巴哈帝K.古特克(Bahadir K.Gunturk)、朱赛尔·阿腾巴萨克(Yucel Altunbasak)及罗赛尔M.莫赛里奥(Russell M.Mersereau)所著的标题为“使用交替投影的彩色平面内插”(“Color Plane Interpolation Using Alternating Projections”)的文章(其揭示内容以引用的方式并入本文中)比较了几种去马赛克技术。如所述，这些去马赛克技术中的每一者均具有其各自的优点和缺点。
如所述，对于每一像素而言，用于第一色彩的值是基于被感测的色彩(即，由像素的传感器205感测的光)，且剩余的两种色彩的值是基于来自对应的相邻像素的感测值的内插值。感测值中的每一者均代表像素的中心处的色彩值。内插色彩值中的每一者同样均代表像素的中心处的值。内插信号的品质固有地比原始感测的信号的品质低。举例而言，一像素的中心处的内插红色值将与同一像素的中心处的感测的红色值不同。
通常仅重构缺失色彩分量的去马赛克方法可能会导致假像，例如所谓的拉链效应(zipper effect)及随机色点。另外，在对噪声进行滤波与模糊尖锐边缘之间存在折衷。当内插位于边缘的像素时，使用周围像素值而内插像素趋向于使图像模糊。此外，这还导致边缘处的图像的清晰度降低。此主要归因于跨越包含于图像内的边缘的像素的平均。去马赛克方法使像素平均，从而使得边缘处的像素不具有边缘像素所需的清晰度。因此，期望并需要彩色平面内插，其提供在计算内插值时检测并考虑到图像边缘的改进的去马赛克技术。
发明内容
本发明提供一种用于彩色平面内插的方法及设备，其视边缘方向及像素是否位于图像内的边缘处而定不同地内插像素的色彩值。在呈现于彩色图案中的色彩的每一者的内插期间使用边缘检测有助于减少在已知去马赛克技术中大量存在的某些损失图像清晰度的缺点。
附图说明
通过下文参看附图提供的对示范性实施例的详细描述，将更容易明白本发明的前述及其它优点和特征，其中：
图1是常规彩色滤光片阵列的俯视图；
图2是具有彩色滤光片阵列的像素阵列的一部分的横截面图；
图3A-B是本发明的示范性内插方案中所使用的5×5像素核心的示范性俯视图；
图4是根据本发明的示范性实施例而使用的3×3核心的方框图；
图5是具有根据本发明的示范性实施例而构造的像素阵列的CMOS成像器集成电路(IC)的方框图；
图6是具有根据本发明的CMOS成像器的处理器系统的说明；且
图7是说明本发明的一个实施例的过程的流程图。
具体实施方式
在以下详细描述中，参考形成本发明的一部分的附图，且附图中以说明的方式展示了可实践本发明的特定实施例。为了使所属领域的技术人员能够实践本发明，充分详细地描述这些实施例，且应了解，可利用其它实施例，且可在不脱离本发明的精神及范围的前提下作出结构、逻辑及电的变化。
术语“像素”指代含有用于将光辐射转换为电信号的光电传感器及晶体管的图元单位单元。出于说明的目的，在图及本文的描述中说明代表性像素，且通常成像器中的所有像素的制造将以类似的方式同时进行。因此，不应以限制性意义来理解以下的详细描述，且本发明的范围由随附权利要求书界定。
应了解，出于仅描述本发明的一个实例的唯一目的而参考根据本发明的CMOS成像器。应容易了解，本发明并非限于CMOS成像器，而是也应用于CCD及其它在像素上方利用彩色滤光片的成像器。另外，使用标准三色拜耳图案来描述本发明。应了解，本发明并非限于标准三色拜耳图案，而是可应用于使用不同色彩或使用多于或少于三种色彩的色彩空间。
图3A、3B为本发明实施例的成像器的部分像素阵列300的俯视图。具体而言，图3A、3B说明本发明中所使用的5×5核心(下文将更详细地论述)。如先前所提及，每一像素(例如，像素23)均感测单个色彩。因此，每一绿(G)像素提供绿色的感测值。类似地，每一蓝(B)像素提供蓝色的感测值，且每一红(R)像素提供红色的感测值。对于特定色彩的每一像素而言，内插剩余色彩的每一者的值以重构彩色图像。另外，如下文所论述，感测的像素值也可由内插值代替。红、绿及蓝色值的内插消除了因使用色彩中的一者的感测值及剩余两种色彩的内插值而导致的不平衡(其在现有技术系统中普遍存在)。
如图3A、3B中所示，对于正被处理的特定像素45而言，在以下内插计算中使用周围像素的5×5核心，不过在很多内插计算中，仅需要3×3核心中的像素。然而，本发明也可利用其它核心尺寸。
通常，对于每一选定像素而言，首先在5×5核心内界定3×3内插核心，且接着计算核心内的所述像素的色彩值。接着，判定边缘方向。视像素色彩及边缘方向而定，可重新计算3×3核心的一些值。接着，使用所述3×3核心判定对于选定像素而言是否存在边缘。接着，基于边缘是否存在及像素色彩而计算内插值。基于所处理的像素是否位于图像边缘以及像素的所感测色彩而将不同的内插参数应用于内插过程。
从图7流程图可更清楚地了解本发明的内插过程，图7流程图说明整个内插过程。在步骤701中，选择像素以供处理。在全部描述中，图3A、3B中所说明且作为图4中的中心像素的代表性像素45始终用作被处理的示范性像素。接着在步骤703中，界定围绕选定像素的3×3核心(例如图3A及3B中的像素34、35、36、44、45、46、54、55及56)。在步骤705中，判定像素45是否为经感测的绿像素。如果像素45是绿色，则在步骤707中，使用来自3×3核心内的像素的实际感测的像素值，根据下文的等式组(1)来计算3×3核心的绿色值。图4说明针对3×3核心内的像素的计算出的绿色值g11、g12、g13、g21、g22、g23、g31、g32、g33在3×3核心内的位置。使用图3A中所说明的绿色像素25、34、36、45、47、54、56及65的实际值来计算3×3核心。使用以下等式来计算3×3核心：
Figure GSB00000275081200051
其中“P”为像素值，且“xy”为图3A-B中所示的像素编号。如图3A-B中所示，“x”描述行，且“y”描述列。如果像素45为红或蓝(如图3B中所示)，则在步骤709中，根据以下等式组(2)，使用绿色像素24、26、33、35、37、44、46、53、55、57、64及65的值来计算3×3核心。接着使用以下等式来计算3×3绿色核心：
Figure GSB00000275081200052
在此示范性实施例中，使用周围绿色像素的实际感测值的中值内插来内插相同的核心值。在此示范性实施例中，3×3内插核心为绿色，因为如先前所提及，在拜耳CFA中，绿色像素在图像中最普遍且有影响。图4中所说明的3×3核心中的像素的值g11、g12、g13、g21、g22、g23、g31、g32、g33为图3A及3B中所说明的3×3核心中的像素的绿色值的计算结果。在边缘检测期间且在修正项的计算中，将使用绿色核心。所属领域的技术人员将了解，可使用其它像素色彩来计算3×3内插核心或核心可具有不同的尺寸。
接着在图7中所说明的步骤711中，使用经计算的3×3绿色核心来判定边缘方向。在步骤711中计算四个边缘方向的值。图4中所说明的虚线2、5、8及11为针对其而进行边缘方向计算的四个方向。剩余的虚线仅为示范性的，用于在计算四个边缘方向值时使用。在下文的等式组(3)中计算每一虚线的总和：
S1＝g11+g12+g13
S2＝g21+g22+g23
S3＝g31+g32+g33；
S4＝g11+g21+g31；
S5＝g12+g22+g32；
S6＝g13+g23+g33；                (3)
S7＝g21+g11+g12)；
S8＝g13+g22+g31；
S9＝g23+g32+g33；
S10＝g21+g31+g32；
S11＝g11+g22+g33；以及
S12＝g12+g13+g23
针对方向线2、5、8及11中的每一者计算边缘方向值DIRx，其中“DIR”为值，且“x”为方向线编号。使用以下等式组(4)来计算四个边缘方向值：
将具有最大DIR值的方向判定为边缘方向且在步骤711中判定。
接着在图7中所说明的步骤713中，判定经历处理的像素45是否为绿色。如果在步骤713中，像素45并非为绿色，则在步骤714中，判定边缘方向是否在线2的方向中(水平的)。如果边缘方向为水平的，则重新计算g22以考虑到所述边缘方向，如图3B中所说明。使用等式g22＝(g21+g23)/2来重新计算g22的值。如果在步骤714中，边缘方向并非为水平的，则在步骤715中，接着判定边缘方向是否在线5的方向中(垂直的)。如果判定所述方向在垂直方向中，则使用等式g22＝(g12+g32)/2来重新计算g22的像素值。然而，如果在步骤715中，边缘方向并非为垂直的，则在步骤719中，g22的值保持不变。如果在步骤713中判定像素为绿色，则g22的值保持不变。
接着，为了判定对于所处理的像素45而言是否存在边缘，可对于用于计算内插值的所有像素，计算相同色彩像素对之间的差值。在步骤723中，如果所处理的像素45为绿色，则在步骤725中根据下文的等式组(5)来计算差值：
Figure GSB00000275081200071
如果在步骤723中判定所处理的像素45并非为绿色，则在步骤727中根据下文的等式组(6)来计算差值：
Figure GSB00000275081200072
在步骤729中，使用等式(7)来判定所计算的差值中的最大差值是否大于预定边缘阈值：
MAX(D1...D7)＞边缘阈值。                        (7)
如果最大差值小于阈值，则识别为不存在边缘(步骤731)，然而，如果最大差值大于阈值，则识别为存在边缘(步骤733)。可将边缘阈值设置为应用特定的或基于用户的偏好而设置。
如果在步骤729中未检测出边缘，则再次判定所处理的像素45是否为绿色。如果所处理的像素45为绿色，则在步骤739中，使用第八(8)组等式来计算像素45的内插红色、绿色及蓝色值。第八(8)组内插等式为：
Figure GSB00000275081200081
其中R45、G45及B45为所处理的像素45的红、绿及蓝色内插值。注意，尽管像素45为绿色像素，但使用P45的实际感测值以及围绕P45的其它绿色像素的实际值来内插所述值。
如果在步骤735中判定所处理的像素45并非为绿色，则在步骤741中，判定所处理的像素45是否为蓝色。如果所处理的像素45为蓝色，则在步骤747中使用第九(9)组等式来计算像素45的红、绿及蓝色值。第九组内插等式为：
Figure GSB00000275081200082
其中R45、G45及B45为像素45的红、绿及蓝色内插值。如果在步骤741中，所处理的像素45并非为蓝色，则像素45为红色，且在步骤749中使用第十(10)组等式来计算像素45的红、绿及蓝色值。第十组内插等式为：
Figure GSB00000275081200083
其中R45、G45及B45为像素45的红、绿及蓝色内插值。
如果在步骤729中检测出边缘且在步骤734中所处理的像素45为绿，则使用第十一(11)组等式来计算像素45的红、绿及蓝色值的内插值。第十一组内插等式为：
Figure GSB00000275081200091
其中R45、G45及B45为像素45的红、绿及蓝色内插值且DELTAblue及DELTAred为修正项。基于在步骤711中判定的边缘所处的方向来计算DELTAblue及DELTAred的值。如果边缘方向处于水平线2方向中，则DELTAblue＝g22-(g21+g23)/2且DELTAred＝0，且如果判定边缘方向处于垂直线5方向中，则DELTAblue＝0且DELTAred＝g22-(g12+g32)/2。最后，如果判定边缘方向处于对角方向11或8中，则DELTAblue＝g22-(g21+g23)/2且DELTAred＝g22-(g12+g32)/2。
如果在步骤734中判定所处理的像素45并非为绿，则在步骤745中，判定所处理的像素45是否为蓝色。如果所处理的像素45为蓝色，则第十二(12)组等式为在步骤751中用于计算红、绿及蓝色内插值的等式。第十二组内插等式为：
Figure GSB00000275081200092
其中R45、G45及B45为像素45的红、绿及蓝色内插值，且使用等式DELTAred＝g22-(g11+g13+g31+g33)/4来计算DELTAred的值。如果在步骤745中，所处理的像素45并非为蓝色，则在步骤753中，使用第十三(13)组等式来计算红色所处理像素45的红、绿及蓝色值。第十三组内插等式为：
Figure GSB00000275081200093
其中R45、G45及B45为像素45的红、绿及蓝色内插值，且使用等式DELTAblue＝g22-(g11+g13+g31+g33)/4来计算DELTAblue的值。红及蓝色像素的DELTA修正值是基于边缘方向及绿色3×3内插核心。
如所述，本发明提供一种用于彩色平面内插的新的且新颖的系统及方法，其中不仅基于所获得的感测值且基于所处理的像素是否处于图像边缘处来计算绿、红及蓝色的内插值。根据本发明，通过内插所述色彩中的每一者的值来去除感测值与内插值之间的不平衡。另外，利用边缘检测及修正项来使图像边缘的模糊最小化。
图5说明具有像素阵列505的CMOS成像器集成电路(IC)500的方框图，像素阵列505含有多个按行及列排列的像素，包括区域510，所述区域510具有(例如)按拜耳图案排列的两个绿色像素(G)、一个蓝色像素(B)及一个红色像素(R)。阵列505中每一行的像素均由行选择线515同时接通，且每一列的像素由相应列选择线520选择性地输出。
行线515由行驱动器525响应于行地址解码器530而被选择性地激活。列选择线520由列选择器535响应于列地址解码器540而被选择性地激活。像素阵列505由计时与控制电路545操作，所述计时与控制电路545控制地址解码器530、540，以选择适当的行线及列线以进行像素信号读出。
通常包括像素重设信号(Vrst)及像素图像信号(Vsig)的像素列信号由与列选择器535相关联的取样与保持电路550读取。对于每一像素而言，由微分放大器555产生差分信号(Vrst-Vsig)，其经放大并由模拟数字转换器570(ADC)数字化。模拟数字转换器570向图像处理器575供应数字化像素信号，图像处理器575执行本发明的处理方法700。或者，图像处理器575可用如从模拟数字转换器570所接收的原始格式来输出图像文件，其可根据本发明由不同的处理器来接收并处理所述图像文件。
在图6中大体上在600处说明了包括具有像素阵列的成像器装置605的典型处理器系统，在所述像素阵列中根据本发明而内插像素信号。成像器装置605从由像素阵列供应的信号产生输出图像。处理器系统示范性说明接收CMOS成像器装置的输出的系统。此系统可包括但不限于计算机系统、相机系统、扫描仪、机器视觉系统、医学传感器系统(例如药丸传感器)及自动诊断系统及其它成像系统，其全部可利用本发明。或者，如果成像器装置605中的图像处理器575提供改进的图像信号，则本发明可在处理系统600中执行。
举例而言，处理器系统600(例如计算机系统)通常包含中央处理单元(CPU)610(例如微处理器)，其经由总线620与输入/输出(I/O)装置615通信。成像器装置605也经由总线620或其它通信链路与系统通信。基于处理器的系统600还包括随机存取存储器(RAM)625，且可包括抽取式存储器630(例如快闪存储器)，其也经由总线620与CPU 610通信。成像装置600可与具有或不具有存储装置的处理器(例如CPU、数字信号处理器或微处理器)组合于单个集成电路上或可与处理器在不同的芯片上。
本发明并非限于上文所述的实施例。举例而言，实施处理方法的程序可存储于载体媒体上，所述载体媒体可包括RAM、软盘、数据传输、压缩光盘等，且接着由接收并根据本发明处理图像文件的相关联的处理器执行，或者可在电路中实施所述处理方法，或者是以上两种情况的组合。另外，本发明可实施为用于现存软件应用程序的插件或其可独立使用。本发明并非限于本文所指定的载体媒体，且可使用此项技术中已知的任何载体媒体来实施本发明。
应了解，内插像素的绿、红及蓝色的值的其它方法也在本发明的范围内，且本发明并非限于上文所述的等式或修正项的使用。具体而言，(例如)可在计算内插值时替代本文所论述的像素或除本文所论述的像素之外使用其它周围像素。由此，应仅将上文的描述及图式视为说明实现本发明的特征及优点的示范性实施例。凡属于随附权利要求书的精神及范围内的对本发明的任何修改均应被视为本发明的一部分。因此，不应将本发明视为受前面的描述及图式限制，本发明仅受随附权利要求书的范围的限制。

Claims (29)

1.一种用于图像像素的彩色平面内插的方法，所述方法通过处理器使用彩色成像器输出的像素值来实现，所述方法包含以下步骤：
选择像素以供处理；
形成与经选择的所述像素相关联的相邻像素的核心；
针对所述核心中的所有像素计算彩色图案的一个色彩的像素值；
确定至少三个边缘方向值，所述三个边缘方向值分别表示水平边缘方向、垂直边缘方向和对角边缘方向；
使用经计算的所述一个色彩的像素值并基于所述边缘方向值来确定经选择的所述像素是否位于图像内的边缘处以及此边缘的所述方向，其中所述边缘的所述方向被确定为具有最大绝对值的所述边缘方向值；
基于经确定的所述边缘方向来重新计算所述核心中的至少一个像素值，其中所述重新计算所述至少一个像素值仅在如果所述边缘方向被确定为水平或垂直时执行；以及
基于所述相邻像素、所述选择的像素是否位于所述边缘处及所述边缘的所述方向，针对所述彩色图案中的每一色彩产生经选择的所述像素的值，其中当经选择的所述像素被确定为位于所述边缘时，至少一个经产生的所述值是基于至少一个修正项而产生的，所述至少一个修正项是基于所述边缘的所述方向和所述相邻像素的像素值来计算的。
2.根据权利要求1所述的方法，其中所述彩色图案是拜耳图案。
3.根据权利要求1所述的方法，其中所述一个色彩是绿色。
4.根据权利要求1所述的方法，其中所述确定经选择的所述像素是否位于图像内的边缘包含：
计算同一色彩的不同对像素之间的差值；及
将最大差值与预定阈值进行比较。
5.根据权利要求4所述的方法，其中所述对像素包括经选择的所述像素。
6.一种包括图像像素传感器的感测阵列的彩色成像装置，所述装置包含：
第一多个图像像素传感器，其用于产生第一色彩的感测值；
第二多个图像像素传感器，其用于产生第二色彩的感测值；
第三多个图像像素传感器，其用于产生第三色彩的感测值；
内插装置，其用于：使用所述第一色彩的所述感测值针对所述第一色彩来计算像素核心中的多个图像像素的第一组像素值，所述多个图像像素包括选择的像素及相邻像素，针对所述第一色彩，使用所述第一组像素值来确定至少三个边缘方向值，所述三个边缘方向值分别表示水平边缘方向、垂直边缘方向和对角边缘方向，基于所述边缘方向值来确定经选择的所述像素的边缘方向，确定对于经选择的所述像素是否存在边缘，且基于针对所述第一色彩的所述第一组像素值、相邻像素和所述边缘方向而计算针对经选择的所述像素的所述第一、第二和第三色彩的内插值，其中当边缘存在且经选择的所述像素是来自所述第二和第三多个图像像素传感器时，针对至少一个所述第二和第三色彩的经计算的所述内插值是基于至少一个修正项而计算的，所述至少一个修正项是基于所述第一组像素值和所述边缘方向而计算；以及用于使用所述第一、第二及第三色彩的内插值来形成代表性图像的装置。
7.根据权利要求6所述的彩色成像装置，其中在计算所述内插值之前，基于所述边缘方向而重新计算所述像素核心的至少一个值。
8.根据权利要求6所述的彩色成像装置，其中所述像素核心是3×3像素核心。
9.根据权利要求6所述的彩色成像装置，其中如下计算所述边缘方向：
DIRhorizontal＝max(|S1-S2|，|S2-S3|)；
DIRvertical＝max(|S4-S5|，|S5-S6|)；
DIRdiagonal1＝max(|S7-S8|，|S8-S9|)；及
DIRdiagonal2＝max(|S10-S11|，|S11-S12|)，
其中使用所述像素核心如下计算S1、S2、S3、S4、S5、S6、S7、S8、S9、S10、S11及S12：
S1＝g11+g12+g13
S2＝g21+g22+g23
S3＝g31+g32+g33；
S4＝g11+g21+g31；
S5＝g12+g22+g32；
S6＝g13+g23+g33；
S7＝g21+g11+g12)；
S8＝g13+g22+g31；
S9＝g23+g32+g33；
S10＝g21+g31+g32；
S11＝g11+g22+g33；以及
S12＝g12+g13+g23，
其中g11、g12及g13是所述像素核心的第一行的像素值，g21、g22及g23是所述像素核心的第二行的像素值，且g31、g32及g33是所述像素核心的第三行的像素值，且其中所述边缘方向是具有最大值的方向。
10.根据权利要求6所述的彩色成像装置，其中通过计算相邻像素的差值并将最大差值与边缘阈值进行比较来检测所述边缘。
11.根据权利要求10所述的彩色成像装置，其中当所述选择的像素是绿色时，如下计算所述差值：
D1＝|Px+1，y-1-Px-1，y+1|；
D2＝|Px，y-Px，y+2|；
D3＝|Px-1，y-Px+1，y+2|；
D4＝|Px，y-1-Px+2，y+1|；
D5＝|Px+1，y-Px-1，y+2|；及
D6＝|Px+2，y-1-Px，y+1|，
其中Px，y是所述选择的像素，且“x”指相对于所述选择的像素Px，y的像素所在的行，且“y”指相对于所述选择的像素Px，y的像素所在的列。
12.根据权利要求10所述的彩色成像装置，其中当所述选择的像素是红色或蓝色时，如下计算所述差值：
D1＝|Px+1，y-1-Px-1，y+1|；
D2＝|Px+1，y+1-Px-1，y-1|；
D3＝|Px，y+1-Px，y-1|；
D4＝|Px+1，y-Px-1，y|；
D5＝|Px，y-Px，y-2|；
D6＝|Px，y-Px，y+2|；及
D7＝|Px，y-Px+2，y|，
其中Px，y是所述选择的像素，且“x”指相对于所述选择的像素Px，y的像素所在的行，且“y”指相对于所述选择的像素Px，y的像素所在的列。
13.根据权利要求8所述的彩色成像装置，其中当所述像素是绿色时，如下计算所述3×3像素核心：
g11＝Px-1，y-1；
g12＝MEDIAN(Px-2，y，Px-1，y-1，Px，y，Px，y+1)；
g13＝Px-1，y+1；
g21＝MEDIAN(Px+1，y+1，Px，y+2，Px，y，Px-1，y+1)；
g22＝Px，y；
g23＝MEDIAN(Px+1，y+1，Px+2，y，Px，y，Px+1，y-1)；
g31＝Px+1，y-1；
g32＝MEDIAN(Px，y-2，Px-1，y-1，Px，y，Px+1，y-1)；及
g33＝Px+1，y+1，
其中Px，y是所述选择的像素，且“x”指相对于所述选择的像素Px，y的像素所在的行，且“y”指相对于所述选择的像素Px，y的像素所在的列。
14.根据权利要求8所述的彩色成像装置，其中当所述像素为红色或蓝色时，如下计算所述3×3像素核心：
g11＝MEDIAN(Px-1，y-2，Px-2，y-1，Px-1，y，Px，y-1)；
g12＝Px-1，y；
g13＝MEDIAN(Px-2，y+1，Px-1，y+2，Px-1，y，Px，y+1)；
g21＝Px，y-1；
g22＝MEDIAN(Px，y-1，Px-1，y，Px+1，y，Px，y+1)；
g23＝Px+1，y+1；
g31＝MEDIAN(Px+1，y-2，Px，y-1，Px，y+1，Px+2，y-1)；
g32＝Px+1，y；及
g33＝MEDIAN(Px，y+1，Px+1，y+2，Px+1，y，Px+2，y+1)，
其中Px，y是所述选择的像素，且“x”指相对于所述选择的像素Px，y的像素所在的行，且“y”指相对于所述选择的像素Px，y的像素所在的列。
15.根据权利要求6所述的彩色成像装置，其中当所述选择的像素是绿色且不存在边缘时，如下计算所述选择的像素的所述第一、第二及第三色彩的所述计算出的内插值：
Rx，y＝(Px-1，y+Px+1，y+Px-1，y+2+Px+1，y+2)/4；
Bx，y＝(Px，y-1+Px，y+1+Px+2，y+1+Px+2，y-1)/4；及
Gx，y＝(Px，y+Px，y+2+Px+1，y-1+Px-1，y+1)/4，
其中Px，y是所述选择的像素，且“x”指相对于所述选择的像素Px，y的像素所在的行，且“y”指相对于所述选择的像素Px，y的像素所在的列。
16.根据权利要求6所述的彩色成像装置，其中当所述选择的像素是蓝色且不存在边缘时，如下计算所述选择的像素的所述第一、第二及第三色彩的所述计算出的内插值：
Rx，y＝(Px+1，y+1+Px+1，y-1+Px-1，y+1+Px-1，y-1)/4；
Bx，y＝(Px，y+Px，y-2+Px，y+2+Px+2，y)/4；及
Gx，y＝(Px，y-1+Px-1，y+Px，y+1+Px+1，y)/4，
其中Px，y是所述选择的像素，且“x”指相对于所述选择的像素Px，y的像素所在的行，且“y”指相对于所述选择的像素Px，y的像素所在的列。
17.根据权利要求6所述的彩色成像装置，其中当所述选择的像素是红色且不存在边缘时，如下计算所述选择的像素的所述第一、第二及第三色彩的所述计算出的内插值：
Bx，y＝(Px+1，y+1+Px+1，y-1+Px-1，y+1+Px-1，y-1)/4；
Rx，y＝(Px，y+Px，y-2+Px，y+2+Px+2，y)/4；及
Gx，y＝(Px，y-1+Px-1，y+Px，y+1+Px+1，y)/4，
其中Px，y是所述选择的像素，且“x”指相对于所述选择的像素Px，y的像素所在的行，且“y”指相对于所述选择的像素Px，y的像素所在的列。
18.根据权利要求6所述的彩色成像装置，其中当所述选择的像素是绿色且存在边缘时，如下计算所述选择的像素的所述第一、第二及第三色彩的所述计算出的内插值：
Rx，y＝(Px-1，y+Px+1，y)/2+DELIAred；
Bx，y＝(Px，y-1+Px，y+1)/2+DELIAblue；及
Gx，y＝g22，
其中基于所述第一组像素值且基于所述边缘方向来计算g22及修正项DELTAred及DELTAblue，且其中Px，y是所述选择的像素，且“x”指相对于所述选择的像素Px，y的像素所在的行，且“y”指相对于所述选择的像素Px，y的像素所在的列。
19.根据权利要求6所述的彩色成像装置，其中当所述选择的像素为蓝色且存在边缘时，如下计算所述选择的像素的所述第一、第二及第三色彩的所述计算出的内插值：
Rx，y＝(Px+1，y+1+Px+1，y-1+Px-1，y+1+Px-1，y-1)/4+DEITAred；
Bx，y＝Px，y；及
Gx，y＝g22，
其中基于所述第一组像素值且基于所述边缘方向来计算g22及修正项DELTAred，且其中Px，y是所述选择的像素，且“x”指相对于所述选择的像素Px，y的像素所在的行，且“y”指相对于所述选择的像素Px，y的像素所在的列。
20.根据权利要求6所述的彩色成像装置，其中当所述选择的像素是红色且存在边缘时，如下计算所述选择的像素的所述第一、第二及第三色彩的所述计算出的内插值：
Bx，y＝(Px+1，y+1+Px+1，y-1+Px-1，y+1+Px-1，y-1)/4+DELTAred；
Rx，y＝Px，y；及
Gx，y＝g22，
其中基于所述第一组像素值且基于所述边缘方向来计算g22及DELTAred，且其中Px，y是所述选择的像素，且“x”指相对于所述选择的像素Px，y的像素所在的行，且“y”指相对于所述选择的像素Px，y的像素所在的列。
21.一种在成像像素传感器中用于彩色平面内插的处理系统，其包含：
成像装置，其包括图像像素传感器阵列，所述装置包含：
第一多个图像像素传感器，其用于产生第一色彩的感测值；
第二多个图像像素传感器，其用于产生第二色彩的感测值；
第三多个图像像素传感器，其用于产生第三色彩的感测值；
内插处理电路，其用于：使用所述第一色彩的所述感测值针对所述第一色彩来计算像素核心中的多个图像像素的第一组像素值，所述多个图像像素包括选择的像素及相邻像素，针对所述第一色彩，使用所述第一组像素值来确定至少三个边缘方向值，所述三个边缘方向值分别表示水平边缘方向、垂直边缘方向和对角边缘方向，基于所述边缘方向值来确定经选择的所述像素的边缘方向，确定对于经选择的所述像素是否存在边缘，且基于所述第一组像素值、相邻像素和经选择的所述像素的所述边缘方向而计算针对经选择的所述像素的所述第一、第二和第三色彩的内插值，其中当针对经选择的所述像素存在边缘且经选择的所述像素来自所述第二和第三多个图像像素传感器时，针对至少一个所述第二和第三色彩的经计算的所述内插值是基于至少一个修正项而计算的，所述至少一个修正项是基于所述第一组像素值和所述边缘方向而计算。
22.根据权利要求21所述的处理系统，其中基于所述边缘方向来重新计算所述像素核心的至少一个值。
23.一种处理数字色彩信号的方法，所述方法通过图像处理器使用从彩色成像装置的像素传感器的感测阵列获得的感测值来实现，所述方法包含以下动作：
从所述像素传感器中的每一者获得感测值，所述像素传感器对应于具有在红色、蓝色及绿色光谱中的一者中的波长的所施加光；及
基于边缘检测对所述像素传感器中的每一者内插红色值、蓝色值及绿色值，其中所述红色、蓝色及绿色值的所述插入包含：
使用所述像素传感器中的每一者的相邻绿色像素传感器的像素值来计算内插值的绿色核心；
使用所述内插值的绿色核心来确定针对所述像素传感器的每一者的至少三个边缘方向值，其中所述三个边缘方向值分别表示水平边缘方向、垂直边缘方向和对角边缘方向；
确定针对所述像素传感器的每一者的所述边缘方向作为具有最大绝对值的所述边缘方向值；以及
基于相邻像素传感器的像素值、所述内插值的绿色核心、各自像素传感器是否位于边缘以及经确定的所述边缘方向而计算针对所述像素传感器的每一者所述内插值。
24.根据权利要求23所述的方法，其中所述各自像素传感器是否处于边缘涉及：计算同一色彩的不同对相邻像素之间的差值；及
对最大差值与预定阈值进行比较。
25.一种用于对像素阵列的选择像素进行彩色平面内插的方法，所述方法通过处理器使用彩色成像器输出的像素值来实现，所述方法包含：
计算所述选择的像素是否位于图像边缘处；
针对所述第一色彩，使用第一色彩的感测值以确定针对所述像素阵列的像素核心中的多个像素的第一组像素值，所述多个像素包括经选择的所述像素和相邻像素；
如果所述选择的像素位于所述边缘处，使用针对所述第一色彩的所述第一组像素值来确定至少三个边缘方向值，其中所述三个边缘方向值分别表示表示水平边缘方向、垂直边缘方向和对角边缘方向，基于所述边缘方向值来确定所述边缘的所述方向，且基于针对所述第一色彩的所述第一组像素值，相邻像素和对应于所述边缘方向的第一组参数而计算针对彩色图案的每一色彩的像素值，其中当经选择的所述像素与第二色彩的感测值或所述彩色图案的第三色彩相关联时，针对所述第二和第三色彩的至少一者的经计算的所述像素值是基于所述第一组像素值和所述边缘方向来计算的；及
如果经选择的所述像素并非位于所述边缘处，则使用第二组参数基于所述相邻像素而计算所述彩色图案的每一色彩的像素值。
26.根据权利要求25所述的方法，其中所述第一及第二组参数是基于所述选择的像素的色彩。
27.根据权利要求25所述的方法，其中所述彩色图案是拜耳彩色图案。
28.根据权利要求27所述的方法，其中所述第一组参数包含针对绿色像素的第三组参数、针对蓝色像素的第四组参数及针对红色像素的第五组参数。
29.根据权利要求27所述的方法，其中所述第二组参数包含针对绿色像素的第六组参数、针对蓝色像素的第七组参数及针对红色像素的第八组参数。
CN2006800519591A 2005-12-29 2006-12-19 使用边缘检测和修正项在彩色滤光片阵列中提供彩色内插的方法及设备 Active CN101336438B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/319,398 US7830426B2 (en) 2005-12-29 2005-12-29 Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms
US11/319,398 2005-12-29
PCT/US2006/048200 WO2007078912A1 (en) 2005-12-29 2006-12-19 Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms

Publications (2)

Publication Number Publication Date
CN101336438A CN101336438A (zh) 2008-12-31
CN101336438B true CN101336438B (zh) 2011-11-09

Family

ID=37909481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800519591A Active CN101336438B (zh) 2005-12-29 2006-12-19 使用边缘检测和修正项在彩色滤光片阵列中提供彩色内插的方法及设备

Country Status (8)

Country Link
US (2) US7830426B2 (zh)
EP (1) EP1969558B1 (zh)
JP (1) JP4893973B2 (zh)
KR (1) KR101007754B1 (zh)
CN (1) CN101336438B (zh)
AT (1) ATE520100T1 (zh)
TW (1) TWI337499B (zh)
WO (1) WO2007078912A1 (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2426881B (en) * 2005-06-01 2010-12-29 Snell & Wilcox Ltd Method and apparatus for spatial interpolation of colour images
US7924483B2 (en) * 2006-03-06 2011-04-12 Smith Scott T Fused multi-array color image sensor
KR100780932B1 (ko) * 2006-05-30 2007-11-30 엠텍비젼 주식회사 컬러 보간 방법 및 장치
US8417759B2 (en) * 2007-04-09 2013-04-09 DigitalOptics Corporation Europe Limited Efficient implementations of kernel computations
US20080260291A1 (en) * 2007-04-17 2008-10-23 Nokia Corporation Image downscaling by binning
US20090077359A1 (en) * 2007-09-18 2009-03-19 Hari Chakravarthula Architecture re-utilizing computational blocks for processing of heterogeneous data streams
US20090092338A1 (en) * 2007-10-05 2009-04-09 Jeffrey Matthew Achong Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array
US8270713B2 (en) * 2007-10-16 2012-09-18 Aptina Imaging Corporation Method and apparatus providing hardware-efficient demosaicing of image data
US8086034B2 (en) 2008-02-05 2011-12-27 Aptina Imaging Corporation System and method for reducing color artifacts in digital images
JP5076186B2 (ja) * 2008-10-23 2012-11-21 株式会社メガチップス 画像拡大方法
US8073246B2 (en) * 2008-11-07 2011-12-06 Omnivision Technologies, Inc. Modifying color and panchromatic channel CFA image
US8035698B2 (en) * 2009-01-21 2011-10-11 Seiko Epson Corporation Joint automatic demosaicking and white balancing
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8638342B2 (en) 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
US8593483B2 (en) 2009-10-20 2013-11-26 Apple Inc. Temporal filtering techniques for image signal processing
US8471932B2 (en) 2010-09-30 2013-06-25 Apple Inc. Spatial filtering for image signal processing
JP2012239103A (ja) * 2011-05-13 2012-12-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
TW201305965A (zh) * 2011-07-18 2013-02-01 Novatek Microelectronics Corp 影像處理方法
KR101327227B1 (ko) 2012-02-21 2013-11-11 중앙대학교 산학협력단 영상의 구조를 고려한 노이즈 제거장치 및 방법
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
CN102938843B (zh) * 2012-11-22 2014-12-03 华为技术有限公司 图像处理方法、装置以及成像设备
JP2015065270A (ja) * 2013-09-25 2015-04-09 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
JP6415094B2 (ja) * 2014-04-25 2018-10-31 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
KR102224742B1 (ko) 2014-06-10 2021-03-09 삼성디스플레이 주식회사 영상 표시 방법
JP6478641B2 (ja) * 2015-01-08 2019-03-06 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
KR101660447B1 (ko) * 2015-03-26 2016-09-28 인천대학교 산학협력단 베이어 패턴 컬러 필터 어레이 디모자이킹을 위한 다 방향 가중 보간 방법
WO2017131618A1 (en) * 2016-01-25 2017-08-03 Hewlett-Packard Development Company, L.P. Interpolating pixel values
CN109993693B (zh) * 2017-12-29 2023-04-25 澜至电子科技（成都）有限公司 用于对图像进行插值的方法和装置
CN111163301B (zh) 2018-11-07 2021-04-20 浙江宇视科技有限公司 色彩调整方法、装置及计算机可读存储介质
CN109829852B (zh) * 2019-01-17 2023-04-25 浙江大华技术股份有限公司 颜色滤波阵列图像处理的方法、装置及存储介质
CN110517189B (zh) * 2019-08-02 2023-03-21 Oppo广东移动通信有限公司 图像处理方法和装置，及存储介质
KR102462804B1 (ko) * 2021-06-28 2022-11-04 주식회사 아이닉스 베이어 패턴 이미지에 기반한 렌즈 왜곡 보정 장치 및 그 보정 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1643904A (zh) * 2002-03-11 2005-07-20 皇家飞利浦电子股份有限公司 图像显示设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US5852475A (en) * 1995-06-06 1998-12-22 Compression Labs, Inc. Transform artifact reduction process
US6181376B1 (en) * 1997-10-14 2001-01-30 Intel Corporation Method of determining missing color values for pixels in a color filter array
JPH11122626A (ja) * 1997-10-17 1999-04-30 Nikon Corp 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体
US6614474B1 (en) * 1998-08-27 2003-09-02 Polycom, Inc. Electronic pan tilt zoom video camera with adaptive edge sharpening filter
US6674903B1 (en) * 1998-10-05 2004-01-06 Agfa-Gevaert Method for smoothing staircase effect in enlarged low resolution images
US6642962B1 (en) * 1999-09-01 2003-11-04 Neomagic Corp. Merged pipeline for color interpolation and edge enhancement of digital images
US6847396B1 (en) * 2000-04-26 2005-01-25 Sunplus Technology Co., Ltd. Interpolation method for producing full color images in using a single-chip color sensor
US6707937B1 (en) * 2000-07-14 2004-03-16 Agilent Technologies, Inc. Interpolation of edge portions of a digital image
US6978050B2 (en) * 2001-07-18 2005-12-20 Hewlett-Packard Development Company, L.P. Electronic image color plane reconstruction
KR100396898B1 (ko) * 2001-09-13 2003-09-02 삼성전자주식회사 이미지센서 출력데이터 처리장치 및 처리방법
US7542082B2 (en) * 2004-03-30 2009-06-02 Canon Kabushiki Kaisha Method and apparatus for correcting a defective pixel
KR100587143B1 (ko) * 2004-05-06 2006-06-08 매그나칩 반도체 유한회사 영상 신호의 에지 검출 방법
JP4333997B2 (ja) * 2004-08-24 2009-09-16 シャープ株式会社 画像処理装置、撮影装置、画像処理方法、画像処理プログラムおよび記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1643904A (zh) * 2002-03-11 2005-07-20 皇家飞利浦电子股份有限公司 图像显示设备

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
CHANG E ET AL.Color filter array recovery using a threshold-based variable number of gradients.《PROCEEDINGS OF THE SPIE, SPIE, BELLINGHAM, VA, US》.1999,第3650卷36-43.
CHANG E ET AL.Color filter array recovery using a threshold-based variable number of gradients.《PROCEEDINGS OF THE SPIE, SPIE, BELLINGHAM, VA, US》.1999,第3650卷36-43. *
KEHTARNAVAZ N ET AL.COLOR FILTER ARRAY INTERPOLATION USING COLOR CORRELATIONS AND DIRECTIONAL DERIVATIVES.《JOURNAL OF ELECTRONIC IMAGING, SPIE / IS & T, US》.2003,第12卷(第4期),621-632.
KEHTARNAVAZ N ET AL.COLOR FILTER ARRAY INTERPOLATION USING COLOR CORRELATIONS AND DIRECTIONAL DERIVATIVES.《JOURNAL OF ELECTRONIC IMAGING, SPIE / IS & T, US》.2003,第12卷(第4期),621-632. *
RAMANATH R.DEMOSAICKING METHODS FOR BAYER COLOR ARRAYS.《JOURNAL OF ELECTRONIC IMAGEING》.SPIE/IS&T，US,2002,第11卷(第3期),306-315.
RAMANATH R.DEMOSAICKING METHODS FOR BAYER COLOR ARRAYS.《JOURNAL OF ELECTRONIC IMAGEING》.SPIE/IS&T,US,2002,第11卷(第3期),306-315. *
XIAOMENG WANG ET AL.Demosaicing with Improved Edge Direction Detection.<CIRCUITS AND SYSTEMS, 2005. ISCAS 2005. IEEE INTERNATIONAL SYMPOSIUM ON KOBE, JAPAN 23-26 MAY 2005, PISCATAWAY, NJ, USA,IEEE>.2005,2048-2051. *
XIAOMENGWANGETAL.DemosaicingwithImprovedEdgeDirectionDetection.<CIRCUITSANDSYSTEMS 2005. ISCAS 2005. IEEE INTERNATIONAL SYMPOSIUM ON KOBE

Also Published As

Publication number Publication date
US20110032397A1 (en) 2011-02-10
EP1969558A1 (en) 2008-09-17
WO2007078912A1 (en) 2007-07-12
EP1969558B1 (en) 2011-08-10
KR20080078076A (ko) 2008-08-26
US8212900B2 (en) 2012-07-03
US7830426B2 (en) 2010-11-09
TWI337499B (en) 2011-02-11
CN101336438A (zh) 2008-12-31
JP4893973B2 (ja) 2012-03-07
KR101007754B1 (ko) 2011-01-14
JP2009522864A (ja) 2009-06-11
TW200735652A (en) 2007-09-16
ATE520100T1 (de) 2011-08-15
US20070153106A1 (en) 2007-07-05

Similar Documents

Publication Publication Date Title
CN101336438B (zh) 使用边缘检测和修正项在彩色滤光片阵列中提供彩色内插的方法及设备
US7456881B2 (en) Method and apparatus for producing Bayer color mosaic interpolation for imagers
TWI610426B (zh) 具有比例濾波陣列及像素內合併的影像感測器
EP1903766B1 (en) Image Photographing Apparatus, Method and Medium
TWI266903B (en) Color filter array and solid imaging element
US8125543B2 (en) Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection
EP1860887B1 (en) Image capturing device and method
CN107615485A (zh) 固态成像装置和电子设备
CN111491110A (zh) 高动态范围图像处理系统及方法、电子设备和存储介质
EP1961214A2 (en) System and method for a high performance color filter mosaic array
JP2733859B2 (ja) カラー撮像装置
US7259788B1 (en) Image sensor and method for implementing optical summing using selectively transmissive filters
JP2003298039A (ja) 二色フォトディテクタを有するディジタルイメージセンサ
WO2022036817A1 (zh) 图像处理方法、图像处理系统、电子设备及可读存储介质
US11902674B2 (en) Image acquisition method, camera assembly, and mobile terminal
TW200818899A (en) Method, imager and system providing paired-bayer color filter array and interlaced readout
CA2443658C (en) Method and apparatus for sensing and interpolating color image data
US20040169748A1 (en) Sub-sampled infrared sensor for use in a digital image capture device
US20050219659A1 (en) Reproduction of alternative forms of light from an object using digital imaging system
CN112351172B (zh) 图像处理方法、摄像头组件及移动终端
JP2015088944A (ja) 撮像素子
JPS61127290A (ja) 単板式カラ−撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant