CN1722852A - 用于彩色图像去马赛克的优质梯度校正线性插值 - Google Patents
用于彩色图像去马赛克的优质梯度校正线性插值 Download PDFInfo
- Publication number
- CN1722852A CN1722852A CNA2005100559295A CN200510055929A CN1722852A CN 1722852 A CN1722852 A CN 1722852A CN A2005100559295 A CNA2005100559295 A CN A2005100559295A CN 200510055929 A CN200510055929 A CN 200510055929A CN 1722852 A CN1722852 A CN 1722852A
- Authority
- CN
- China
- Prior art keywords
- interpolation
- color
- gradient
- gradient calibration
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
Abstract
提供了用于彩色图像去马赛克的梯度校正线性插值方法和系统。该方法和系统使用某种当前技术(为降低计算复杂性双线性插值技术更适合)来计算插值、计算校正项(诸如给定象素上所需色彩的梯度)、并线性组合该插值和校正项以产生象素上遗漏色彩值的经校正优质插值。校正项可以是从当前象素的当前色彩计算的梯度校正项。直接使用梯度来影响和校正由现有插值技术产生的估算色彩值。梯度校正线性插值方法和系统还可把梯度校正增益应用于梯度校正项。该梯度校正增益影响应用于插值的梯度校正量。
Description
技术领域
本发明一般涉及数字化彩色图像的处理,尤其涉及线性组合校正项与插值以获取对图像中象素上遗漏象素色彩的优质估算的方法和系统。
背景技术
数字照相机在消费者中的流行度继续稳定增长。一个原因是数字照相机的价格在继续下跌,使它们在一般消费者的消费范围之内并导致更多的消费者放弃传统的胶卷照相术而青睐数字照相机。为了限制价格,许多消费级数字彩色照相机是单传感器数字照相机。正如其名称所隐含的,在单传感器数字照相机中仅使用单个图像传感器来捕捉彩色图像中每个象素的彩色信息。通常是电荷耦合装置(CCD)或者互补金属氧化物半导体(CMOS)的每个图像传感器是一起表示彩色图像象素的传感器阵列的一部分。
每个传感器只能产生给定象素上有关一种单色的信息。然而,彩色图像是通过组合三个单独的单色图像来表示的。为了显示彩色图像,需要每个象素上的所有的红、蓝、绿(RGB)色彩值。在理想(且昂贵)的照相机系统中,将向传感器阵列中的每个象素提供三个图像传感器,每一个分别测量红、绿、蓝象素色彩。然而,在单传感器数字照相机中,在给定象素上仅能确定单一的红、蓝或绿的色彩值。为了获取另两种遗漏色彩,必需使用一种技术以从图像中的周围象素来估算或插值遗漏的色彩。该类估算和插值技术称为“去马赛克”(demosaicing)。
“去马赛克”的术语源自在图像传感器前面使用色彩过滤器阵列(CFA),且用马赛克模式排列CFA的事实。该马赛克模式仅具有图像中每个象素的一个色彩值。为了获取全色彩图像,必需对马赛克模式“去马赛克”。因而,去马赛克是把用马赛克模式CFA捕捉到的图像插值回去的技术,从而使全RGB值能与每个象素相关联。
更特别地,单传感器数字照相机使用光学路径中在CFA之后的图像传感器阵列来捕捉图像。更通用的马赛克CFA称为Bayer马赛克模式。该Bayer马赛克模式(或Bayer过滤器)如图1所示。对于每个2×2的象素组,两个对角线方向的象素有绿色过滤器,而另两个象素则有红色和蓝色过滤器。由于绿色(G)携带了大多数对人类的亮度信息,其采样率是红色(R)和蓝色(B)的两倍。Bayer过滤器在Bayer的题为“Color Imaging Array”(“彩色成像阵列”)专利号为3,971,065的美国专利中描述。
有大量的去马赛克技术可用。最简单的去马赛克方法之一是双线性插值。一般而言,双线性插值使用以对称双线性插值独立进行插值的三个色彩平面。该插值使用象素的具有与正在插值的色彩相同的色彩的最近邻象素。特别地,再看图1,在双线性插值中,落于红或蓝象素的象素位置(i,j)上的绿色值g(i,j)通过十字模式中相邻绿色均值来计算,如下所示:
(m,n)={(0,-1),(0,1),(-1,0),(1,0)}(1)
等式(1)对应于把图1中标有‘+’的象素(也称为“当前象素”)上的绿色值估算为标有‘·’的有效绿色均值。应当注意当前象素有红色,因此需要插值绿色和蓝色值。在图像边界上,仅包括落于图像内的象素,并调整缩放比例。
在给定象素上使用双线性插值如何插值遗漏色彩的图示说明在图2A-H中示出。如图2A-H所示,应当注意双线性技术通常使用较小的支持区域。支持区域是为了任一给定象素的插值而考虑其值的象素邻域的尺寸。如图2A-H所示,如下所述用于双线性插值技术的支持区域通常为3×3象素的支持区域。使用这种较小的支持区域使存储器使用和计算复杂度保持最小。
参看图2A和2B,示出的是用于得到给定象素上绿色值的等式(1)的双线性插值技术。在图2A中,通过使用与红色象素相邻的绿色象素得到红色象素上的绿色值。这些相邻的绿色象素在图2A中用“1”标记。类似地,在图2B中,通过使用与蓝色象素相邻的绿色象素得到蓝色象素上的绿色值。绿色象素被再次标以“1”。
为了得到遗漏的红色(R)或蓝色(B),仍应用等式(1)。然而,现在使用对角线十字模式。例外是,对于落在绿色象素中的象素位置(i,j),仅平均了两个红色邻象素以产生红色插值值,因为在那里只有两个直接相邻的红色象素。得到蓝色值也是一样。应当注意,等式(1)除了计算简单之外,还确保其输出值具有与输入值相同的动态范围,因此在输出值上不需要溢出检测和控制逻辑。
更特别地,图2C-2E示出了用于得到给定象素上红色值的等式(1)的双线性插值技术。特别地,在图2C中,通过使用两个红色邻象素,在红色行和蓝色列中绿色象素上得到红色值。类似地,在图2D中,通过使用红色列中两个红色邻象素得到蓝色行和红色列中绿色象素上的红色值。在图2E中,使用四个红色邻象素得到蓝色象素上的红色值。在图2C-E中,在双线性插值技术中使用的每个红色邻象素用“1”标记。
类似地,图2F-H示出用于得到给定象素上蓝色值的等式(1)的双线性插值技术。特别地,在图2F中,通过使用两个蓝色邻象素,在蓝色行和红色列的绿色象素上得到蓝色值。在图2G中,通过使用蓝色列中两个红色邻象素得到红色行和蓝色列中绿色象素上的蓝色值。在图2H中,使用四个蓝色邻象素得到红色象素上的蓝色值。在图2F-H中,在双线性插值技术中使用的每个蓝色邻象素用“1”标记。
然而,上述双线性插值技术的一个问题是它们在彩色图像中产生了严重的人工痕迹。在边缘交界和图像中其它高频率内容的地方尤甚,因为双线性插值不考虑RGB值之间的统计校正。例如,参看图2D和2F,假设象素亮度值中有很大的变化,使得在最右端的列中所有象素比其它象素都亮得多。然后,中间元素(图2F)的经插值蓝色值将有些亮,因为其右边的蓝色邻象素非常亮。然而,同一象素(图2D)的经插值红色值不会是亮的,因为其两个红色邻象素并不是非常亮。因此,在此情形中就会有较亮的经插值蓝色象素和不太亮的经插值红色象素;过多的蓝色和较少的红色将使经插值象素的色彩被染成青色,形成彩色镶边人工痕迹。因而,尽管双线性插值技术是快速、计算强度低、并易于实现的,它们仍因为它们产生严重人工痕迹(主要是模糊和彩色镶边)导致的低质图像而臭名昭著。
更好(虽然更复杂)的插值技术考虑RGB值之间的相互关系。一类插值技术通过使用经改进线性过滤器来考虑这种相互关系。例如,在Proc.ICIP 2000年9月第488-491页S.-C.Pei和I.-K.Tam的题为“Effective color interpolation in CCDcolor filter array using signal correlaion”(“使用信号校正的CCD色彩过滤器阵列中的有效色彩插值”)的文章中描述了一种这样的技术。另一类插值技术通过使用非线性过滤器来考虑这种相互关系。这些非线性过滤器本质上使插值平稳度适应图像活性或轮廓的测量。例如,这些非线性插值技术在下列文章中讨论:(1)P.Longère,X.Zhang,P.B.Delahunt和D.H.Brainard的题为“Perceptual assessment ofdemosaicing algorithm performance”(“去马赛克算法性能的直观估计”)在Proc.IEEE,90卷,123-132页,2002年1月上的文章;以及(2)R.Ramanath,W.E.Snyder和G.L.Bilbro的“Demosaicking methods for Bayer color arrays”(“Bayer色彩阵列的去马赛克方法”)在J.Electronic Imaging(电子成像),11卷,306-315页,2002年7月上的文章。
探究RGB信道之间的相互关系是非线性插值技术中改进去马赛克性能所基于的主要思路。特别地,它假设亮度/色度分解中,在象素之间色度成分不会变化太大。在Freeman的专利号为4,724,395题为“Median filter for reconstructing missingcolor samples”(“用于重建遗漏色彩样本的中值过滤器”)的美国专利中所描述的恒色度方法中,绿色信道进行双线性插值而后对红色和蓝色信道进行插值以保持定义为R/G和B/G比率的恒色度。然而,Freeman技术的一个问题是即使付出了计算这些比率的代价,该技术仍然产生了可见的人工痕迹。此外,在插值计算中使用复杂运算(诸如除法和乘法)大大地增加了计算复杂度、处理额外成本、以及实现成本。
通过先双线性地插值绿色象素,然后将中值过滤器应用于色差R-G和B-G的经插值值,可获得非线性插值技术的改进结果。通过使用基于梯度的非线性技术可获得改进性能,该技术通常估算边缘方向并调整插值公式从而过滤就可选择性地沿着边缘方向而不是跨过边缘执行了。例如,一种基于梯度的非线性技术在C.A.Laroche和M.A.Prescott的专利号为5,373,322题为“Apparatus and method foradaptively interpolating a full color image utilizing chrominance gradients”(“利用色度梯度适应性地插值全色彩图像的装置和方法”)的美国专利中描述。这种Laroche和Prescott技术通过使用红色和蓝色信道来插值绿色信道,以确定对等式(1)中绿色信道的各个项确定不相等权重的边缘方向。然后插值色差R-G和B-G。J.E.Adams和J.F.Hamilton,Jr.的专利号为5,506,619题为“Adaptive color plane interpolation ina single color electronic cameras”(“单色彩电子照相机中的适应性色彩平面插值”)的美国专利(也可参见J.E.Adams的1997年2月Proc.SPIE卷3028 117-125页中题为“Design of practical color filter array interpolation algorithms for digital cameras”(数字照相机实用色彩过滤器阵列插值算法的设计)的文章)通过考虑一阶和二阶象素差来改进Laroche和Prescott技术。但是,这些梯度技术只计算了梯度并用它来选择使用哪一种插值技术。
在E.Chang,S.Cheung和D.Y.Pan的1999年1月Proc.SPIE卷3650 36-43页中的题为“Color filter array recovery using a threshold-based variable number ofgradients”(“使用基于阈值可变数量梯度的色彩过滤器阵列复原”)的文章中描述的技术通过考虑可变数量的梯度改进了以上技术。使用软判定规则以组合水平和垂直方向上插值结果的一种更简单但有效的算法在X.Wu和N.Zhang的2003年9月Proc.ICIP卷I477-480页中题为“Primary-consistent soft-decision color demosaicfor digital cameras”(“数字照相机基本一致的软判定色彩去马赛克”)的文章中提出。
通过使用来自蓝色和红色插值的结果以校正绿色插值(反之亦然),迭代方法可得到进一步的改进。这是在R.Kimmel的1999年9月IEEE Trans.on ImageProcessing卷81221-1228页题为“Demosaicing:image reconstruction from colorCCD samples”(“去马赛克:根据彩色CCD样本的图像重建”)的文章中所描述技术的基础。在Kimmel的方法中,插值步骤基于恒色度和基于梯度方法的组合。基于迭代投射的技术在B.K.Gunturk、Y.Altunbasak、和R.M.Mersereau的在2002年9月IEEE Trans.on Image Processing卷11 997-1013页题为“Color plane interpolationusing alternating projections”(“使用交变投射的色彩平面插值”)的文章中提出。Gunturk技术在一般标准测试图像组上注明有最佳性能。然而Gunturk技术的一个问题是它具有很高的复杂性(对每个输入象素进行多达480次操作)。
上述非线性插值技术通常使用比双线性插值技术所用更大的支持区域。例如,用于这些非线性插值技术的一般是5×5支持区域。5×5支持区域在RGB值之间形成良好的相互关系并产生优质图像。较小的支持区域大大降低了图像质量,而较大的支持区域需要更多存储器并大大增加了计算复杂性。
因此,需要的是这样一种用于为彩色图像去马赛克的插值技术,它保留双线性插值技术的简便和速度,同时产生诸如非线性插值技术的较复杂技术的优质图像。还需要的是考虑RGB值之间相互关系以改进性能的优质插值技术。另外还需要的是这样的一种插值技术,即通过计算梯度来考虑该相互关系并将该经计算梯度直接用作校正项而不仅仅用其来选择插值技术。还需要的是利用比双线性技术中(其中支持区域与非线性技术中使用的具有可比性)更大的支持区域来改进质量的插值技术。另外还需要的是这样一种插值技术,即在计算插值时仅需要简单数学运算(诸如加法)以增加速度、避免计算复杂性、并允许价廉的实现。
发明内容
在此揭示的本发明包括用于数字彩色图像去马赛克的优质线性插值方法和系统。本发明通过提供便于实现并具成本效益的优质插值克服了现有插值技术的上述缺点。也就是,在此揭示的梯度校正线性插值方法和系统使用来自当前象素的色彩信息以获取校正项。然后将该校正项与现有插值技术进行线性组合以提供当前象素上遗漏色彩的经改进估算。梯度校正线性插值方法和系统比当前的线性去马赛克技术有更佳性能和更低的复杂性。另外,梯度校正线性插值方法和系统胜过了许多具有更高复杂性的现有非线性去马赛克技术。
梯度校正线性插值方法和系统可在由数字照相机捕捉的彩色图像上操作。在显示之前,图像用梯度校正线性插值方法和系统去马赛克。或者,可把被捕捉的数字彩色图像以经压缩马赛克形式存储在计算装置中。如果计算装置上的应用程序需要访问该图像,应用程序通常调用适当的应用编程接口(API)以获取解压缩数据。大多数应用程序期望数据是RGB格式的,因此在把图像数据发送给请求应用程序之前必须执行去马赛克。
梯度校正线性插值方法包括在具有当前色彩的当前象素上计算所需色彩的插值,其中在插值中使用所需色彩。然后,使用该当前色彩计算校正项。然后把该校正项与插值线性组合以获取当前象素上所需色彩的经校正插值。为了简化计算并保护计算资源,插值更适于是现有双线性插值(诸如在背景技术中所描述的)。然而,事实上插值可以是可用的现有去马赛克技术的任一种,包括线性和非线性插值。
校正项更适于是从当前象素的当前色彩计算的梯度校正项。例如,假设当前象素具有能够确定该象素绿色值的图像传感器,而且需要的是绿色象素上的红色值,如图2C和2D所示。通过使用该象素上的绿色值和绿色邻象素的值,梯度校正线性插值方法计算该绿色象素上的梯度。然后把该梯度值的固定部分(更适合为由增益因子控制的)添加到经插值红色值中(更适合为经双线性插值的红色值)。尽管某些现有的去马赛克技术的确计算梯度,但它们使用该梯度去控制如何计算插值。另一方面,在此揭示的梯度校正线性插值方法直接将梯度用作校正项。换言之,某些现有去马赛克技术计算梯度并使用该梯度来选择基于梯度的插值方法,而梯度校正线性插值方法直接使用梯度来影响和校正由现有去马赛克技术产生的值。
梯度校正项与插值线性组合。梯度校正项更适于添加到插值中以改进对所需色彩的估算。使用梯度的现有去马赛克技术通常计算并使用基于梯度的复杂运算符,诸如非线性过滤器、“if”语句以及除法运算。通过使用线性运算来把梯度校正项与插值进行线性组合(线性运算更适合是加法),梯度校正线性插值方法简化了计算。
梯度校正线性插值方法还包括把梯度校正增益应用到梯度校正项中。该梯度校正增益影响了应用于插值中的梯度校正量。例如,如果梯度校正增益是0.8,则仅有80%的梯度校正与插值进行了线性组合。可用各种方法选择梯度校正增益。通过使均方误差最小来计算最优梯度校正增益。该最优值的近似法允许使用整数算术、无除法运算、或两者组合的计算。也可基于彩色图像传感器的特征或整个数字照相机系统的特征来选择梯度校正。如果需要,梯度校正增益还可基于彩色图像的统计在图像中变化。这些统计可包括图像的全局统计、图像的局部统计、或两者。
梯度校正线性插值方法包括把支持区域定义为紧邻当前象素的象素邻域尺寸。然后选择支持区域以包括离具有当前色彩并使用支持区域计算插值和校正项的当前象素最近的象素。支持区域更适合包括以当前象素为中心的5×5象素区域。可选地,支持区域也可以大于5×5象素区域。也可以有一个以上的支持区域。例如,可使用第一支持区域来计算插值,而使用第二支持区域来计算校正项。
梯度校正线性插值系统使用如上所述的方法来以快速、简便和有效的方式产生给定象素上遗漏色彩的优质插值。梯度校正线性插值系统包括选择具有当前色彩的当前象素的当前象素选择器、以及计算在当前象素上遗漏的并需要的色彩值的第一插值的插值模块。梯度校正线性插值系统还包括计算用于插值的校正项的校正项模块、以及线性组合插值和校正项以获取当前象素上所需(或遗漏)色彩值的线性组合模块。
校正项计算模块还包括选择将应用的校正量的梯度校正选择器。此外,校正项计算模块还包括定义当前象素周围支持区域的支持区域模块、以及使用当前象素计算梯度校正的梯度校正模块。此外,校正项计算模块包括把增益应用于经计算梯度校正使得输出经调整梯度校正的梯度校正增益应用模块。
附图说明
参照以下说明书和示出本发明诸方面的附图可进一步理解本发明。从以下本发明的详细描述结合作为示例示出本发明的原理的附图,其它特征和优点将显然。
现在参看附图,相同数字贯穿其中代表相同部件:
图1示出了用于在单图像传感器数字照相机系统中彩色图像捕捉的典型Bayer马赛克模式。
图2A示出了用于得到红色象素上绿色值的双线性插值技术。
图2B示出了用于得到绿色象素上绿色值的双线性插值技术。
图2C示出了用于得到红色行和蓝色列中绿色象素上红色值的双线性插值技术。
图2D示出了用于得到蓝色行和红色列中绿色象素上红色值的双线性插值技术。
图2E示出了用于得到蓝色象素上红色值的双线性插值技术。
图2F示出了用于得到蓝色行和红色列中绿色象素上蓝色值的双线性插值技术。
图2G示出了用于得到红色行和蓝色列中绿色象素上蓝色值的双线性插值技术。
图2H示出了用于得到红色象素上蓝色值的双线性插值技术。
图3A是示出在此揭示的梯度校正线性插值系统和方法的第一示例性实现的框图。
图3B是示出在此揭示的梯度校正线性插值系统和方法的第二示例性实现的框图。
图4是示出图3所示梯度校正线性插值系统的一般操作的一般流程图。
图5是示出梯度校正线性插值过程的一般流程图。
图6A示出了用于得到红色象素上绿色值的梯度校正线性插值方法的细节。
图6B示出了用于得到如图6A所示红色象素上绿色值的5×5支持区域详图。
图6C示出了用于得到蓝色象素上绿色值的梯度校正线性插值方法的细节。
图6D示出了用于得到如图6C所示蓝色象素上绿色值的5×5支持区域详图。
图7A示出了用于得到位于红色行蓝色列的绿色象素上红色值的梯度校正线性插值方法的细节。
图7B示出了用于得到如图7A所示绿色象素上红色值的5×5支持区域详图。
图7C示出了用于得到位于蓝色行红色列的绿色象素上红色值的梯度校正线性插值方法的细节。
图7D示出了用于得到蓝色象素上红色值的梯度校正线性插值方法的细节。
图7E示出了用于得到如图7D所示蓝色象素上红色值的5×5支持区域详图。
图8A示出了用于得到位于蓝色行红色列的绿色象素上蓝色值的梯度校正线性插值方法的细节。
图8B示出了用于得到如图8A所示绿色象素上蓝色值的5×5支持区域详图。
图8C示出了用于得到位于红色行蓝色列的绿色象素上蓝色值的梯度校正线性插值方法的细节。
图8D示出了用于得到红色象素上蓝色值的梯度校正线性插值方法的细节。
图8E示出了用于得到如图8D所示红色象素上蓝色值的5×5支持区域详图。
图9示出了如图3所示梯度校正线性插值方法和系统可在其中实现的适当计算系统环境的示例。
图10是示出如图3所示的梯度校正线性插值系统细节的框图。
图11是示出如图10所示校正项计算模块细节的框图。
具体实施方式
在本发明的以下说明书中要参照附图,它形成了说明书的一部分并在其中作为说明可实践本发明的特定示例而示出。可以理解,可利用其它实施例并可作结构变化,不背离本发明的范围。
I.导言
几乎所有当前的数字照相机都对彩色图像中每个象素使用单传感器。结果,对于每个象素,仅捕捉到红、绿、蓝(RGB)三色之一。然而,为了产生彩色图像,在每个象素上需要每个RGB色彩值。因此,照相机使用一种称为“去马赛克”的技术以在每个象素上产生遗漏色彩值。
不幸地是,用于插值遗漏RGB数据的技术都是复杂性和质量之间折衷的产物。例如,双线性插值技术使用简单的计算操作、线性运算器、以及小支持区域(诸如3×3的支持区域)。这使得这些双线性插值技术快速、计算强度小、且易于实现。然而,这些双线性技术还在彩色图像中产生严重的可极大降低图像质量的人工痕迹。另一方面,某些非线性插值技术产生显著改进的图像质量,但太慢、使用了更多的处理能力、使用了复杂的计算操作、并更难实现。
在此揭示的梯度校正线性插值方法和系统包括一种新的用于彩色图像去马赛克的插值技术。该方法和系统取得由当前技术计算的插值,计算校正项(诸如给定象素上所需色彩的梯度),并把该插值和校正项加以线性组合。这种方法和系统通过用低成本运算器(诸如加法和移位)执行固定的线性运算来保持运算复杂性为最小。此外,通过直接把梯度用作校正项而不仅是选择插值方法的手段,梯度校正线性插值方法和系统通过避免复杂编程(诸如很多减慢执行的“if”语句)的需要简化了实现。由于梯度考虑了RGB值之间的相互关系而改进了图像质量。类似于非线性技术,该梯度校正线性插值方法和系统还利用了更大的支持区域以改进对遗漏色彩值的估算。
本梯度校正线性插值方法和系统与双线性插值技术相比可导致在信号噪音功率比(PSNR)中有超过5.5dB的改进,而与某些当前线性插值技术相比可导致在红色(R)和蓝色(B)插值中有约为0.7dB的改进。本梯度校正线性插值方法和系统也比大多数非线性插值技术好,因为非线性处理没有了人工痕迹并大大降低了计算复杂性。
II.一般纵览
图3A和3B是示出在此揭示的梯度校正线性插值方法和系统的两个示例性实现的框图。应该注意,图3A和3B仅仅是可实现和使用本梯度校正线性插值方法和系统的若干方法中的两种。
参看图3A,在第一个示例性实现中,梯度校正线性插值系统300驻留于数字照相机系统310中。一般而言,梯度校正线性插值系统300使用梯度校正线性插值方法以处理从图像传感器阵列315中获取的图像数据,并输出每个象素的遗漏色彩值320。尤其如图3A所示,梯度校正线性插值系统300是数字照相机系统310的一部分,并包括图像传感器阵列315。该阵列315由多个图像传感器组成(由图3A中的圆圈所示),其中每个图像传感器能够确定单个色彩值。
图像传感器阵列315包括传感器感光底层330、色彩过滤器阵列(CFA)340、以及显微镜头阵列350。应该注意,通常显微镜头阵列350排列在CFA340上,而CFA340则排列在感光底层330上,如图3A和3B的虚线所示。来自被捕捉图像(未示出)的光线进入数字照相机系统310(如箭头355所示)。显微镜头阵列350的目的是聚焦在进入光线355的每个象素上(由单图像传感器代表)。CFA 340改变了每个象素的色彩响应。传感器感光底层330捕捉特定色彩进入光线(按CFA340指令)并产生电子信号。这样,图像传感器阵列315用排列在图像传感器阵列315中的红、绿、蓝传感器采样来自图像的进入光线355。
图像传感器阵列315中的每个象素是红、绿、蓝传感器的输出。因而,传感器输出是来自对应于图像传感器阵列315中每个象素单一色彩值的每个传感器的电子信号。输出是原始的、马赛克模式的象素数据360。如上所述,为了显示全色彩图像,必须获取每个象素上的红、绿、蓝色的色彩信息。这通过去马赛克,或插值马赛克模式象素数据360中的遗漏色彩值来获取。
梯度校正线性插值系统300使用全新的去马赛克技术以插值遗漏色彩值的优质估算。梯度校正线性插值系统300驻留于位于数字照相机系统310的处理装置370。如下详述,梯度校正线性插值系统300使用梯度校正线性插值方法以获取图像传感器阵列315中每个象素320的遗漏色彩值。
现在参看图3B,在第二个示例性实现中,梯度校正线性插值系统300驻留于计算装置380。原始的马赛克模式象素数据360从数字照相机系统310发送到计算装置380。该象素数据360通常通过接口连接385发往计算装置380,该接口可以是USB接口、IEEE1394接口、蓝牙接口、或适于把原始象素数据360从数字照相机系统310运送到计算装置380的任意其它接口。如下详述,梯度校正线性插值系统300使用梯度校正线性插值方法以在每个象素上获取遗漏色彩值390用于由计算装置380使用。
III.操作纵览
现在将讨论如图3所示在这里使用的梯度校正线性插值系统300和方法的操作。图4是示出如图3所示梯度校正线性插值系统一般操作的一般流程图。梯度校正线性插值方法从输入来自彩色图像的当前象素开始(框400)。当前象素具有相关联的当前色彩。即,当前色彩是过滤当前象素的图像传感器而接收的色彩。然后,计算当前象素上所需色彩的插值(框410)。换言之,可插值或估算当前象素上的任一遗漏色彩。作为示例,如果当前色彩是绿色,则所需色彩可能是红色或蓝色。插值是现有的插值技术,使用上述包括线性、双线性、非线性、双三次、以及Lanczos插值技术的任一种。在一优选实施例中,使用双线性插值技术。此外,使用所需色彩计算插值。在计算插值中一般使用所需色彩的邻象素。
然后计算校正项(框420)。使用当前象素的当前色彩来执行该计算。通常在计算校正项中使用当前象素,以及具有当前色彩的当前象素的邻象素。在一优选实施例中,校正项是通过计算当前象素梯度而获取的梯度校正,如下进行详细讨论。
梯度校正线性插值方法和系统包括全新的标准,即边缘比色度成分具有强得多的亮度。因而,当计算在红色象素上绿色值的插值时,不会丢弃该位置上的红色值。相反,本发明利用该有价值的信息来计算校正项。而现有插值技术都丢弃了该信息。在此例中,将对相邻红色值使用现有插值技术来比较该红色值和其插值值。如果它与估算值不同,可能意味着在该象素上就有急速的亮度变化。然后本发明将通过添加该校正项的至少一部分(对应于经估算亮度改变)来校正经插值绿色值。这种比较由基于梯度的校正项隐式执行,从而不需要“if”语句或条件分支逻辑。
最后,插值和校正项进行线性组合以获取当前象素上所需色彩的经校正插值(框430)。在一优选实施例中,插值和校正项加在一起以获取经校正插值。此外,可应用梯度校正增益于梯度校正以指示与插值线性组合的梯度校正量(或部分或百分率)。如下所述,可使用各种各样的技术来选择该梯度校正增益。
不象现有的插值技术,例如当梯度校正线性插值方法为红色象素位置上的绿色值插值计算校正项时,该位置的红色值不会被丢弃。当前色彩(红色值)是有价值的信息!相反,梯度校正线性插值方法比较该红色值和其最邻近红色样本的插值(或估算)值。如果校正项与该估算不同,可能它指示了在当前象素上有急速的亮度变化。因而,梯度校正线性插值方法通过把校正项的至少一部分线性组合到插值中来校正当前象素(在此例中具有绿色)上的现有插值,其中校正项代表了经估算亮度。
IV.操作细节和工作示例
图5是示出梯度校正计算过程的一般流程图。特别地,确定梯度校正增益(框500)。如下详述,可用各种各样的方法来确定该增益。然后,定义彩色图像中当前象素周围的支持区域(框510)。该支持区域被定义为考虑其色彩值用于与诸如当前象素的任意给定象素相关联的计算的象素邻域尺寸。这些计算包括计算插值和计算校正项(诸如梯度)。
然后计算梯度校正(框520)。使用当前象素(具有当前色彩)和也具有当前色彩的支持区域中的象素来计算该梯度。然后把该梯度校正增益应用于梯度校正(框530)。应该注意,每个梯度校正增益与特定插值模式相关联。将该增益应用于校正指示使用多少梯度校正来校正插值。最后,输出经调整梯度校正(框540)。该经调整梯度校正可与插值线性组合以便改进单独插值的质量。
为了更全面地理解在此揭示的梯度校正线性插值方法和系统,展现示例性工作示例的操作细节。应该注意,该工作示例仅仅是可实现本梯度校正线性插值方法和系统的一种方法。
梯度校正
给出以下公式使用梯度校正以提供象素位置上的经校正插值。为了说明梯度校正线性插值方法和系统的细节,插值以双线性插值技术展现。然而,应该注意,可使用任何其它类型的插值技术。
尤其是为了插值红色象素(R)位置上的绿色值(G),使用以下公式:
(m,n)={(0,-2),(0,2),(-2,0),(2,0)}(3)
因而,梯度校正线性插值方法和系统通过测量由等式(3)中简单公式估算的象素位置上已知色彩的梯度ΔR,来校正双线性插值估算。梯度校正增益α控制这种校正的强度。本梯度校正线性插值方法和系统实际上是一种梯度校正双线性插值方法,其中增益参数控制要应用多少校正。
为了插值蓝色(B)象素上的绿色(G)值,使用同一公式,但由ΔB(i,j)校正。为了插值绿色(G)象素上的红色(R)值,使用以下公式:
其中ΔG(i,j)由9-点支持区域确定,如下详述。
为了插值蓝色(B)象素上的红色(R)值,使用以下公式:
其中γB(i,j)由5-点支持区域确定,如下详述。
因为对称,用于插值蓝色(B)的公式是类似的。
梯度校正增益
为了确定用于梯度校正增益的适当值(如上所述用于每种插值模式的α、β和γ之一),使用Wiener方法。换言之,计算导向最小均方差插值的值。使用从典型图像数据集计算的二阶统计来执行该计算。然后,最优Wiener系数由1/2小幂数的整数倍来近似。最优增益值的最后结果是:α=1/2、β=5/8和γ=3/4。从{α,β,γ}的值,可计算每种插值情形的等效线性有限脉冲响应(FIR)过滤器系数。结果系数值使得过滤器相当接近5×5支持区域的最优Weiner过滤器(5%均方差之内)
因而,可以相信,设计具有相当低均方插值误差的实用线性过滤器的唯一方法要使用较大的支持区域。这不但会增加计算复杂性和所需存储器,还会导致图像中边缘周围的环形人工痕迹。一种估算计算复杂性的方法是计算5×5支持区域中非零过滤器系数的数量。例如,在S.-C.Pei和I.-K.Tam的文章中(引用如上),绿色(G)信道有9个非零系数,而红色(R)和蓝色(B)信道每个平均有13个。相反,梯度校正线性插值方法和系统具有略低的复杂性,即G信道9个系数而R和B信道每个11个系数。
图6A-D是示出用于得到绿色值的梯度校正线性插值方法详图。在图6A中,要在红色象素600上得到绿色值。应该注意参数“a”与梯度校正增益α相关为a=2α,如下所述。如图6A所示,使用红色象素600周围的绿色象素来执行插值(诸如双线性插值)。另外,使用红色象素600周围的红色象素以及红色象素600自己计算梯度校正。
图6B是示出用于得到如图6A所示红色象素上绿色值的5×5支持区域详图。特别地,如图6B所示的5×5支持区域的梯度校正线性插值方法包括:
1.从双线性插值绿色开始:
2.计算红色梯度:
3.应用校正:
其中α是“校正增益”0<α<1。典型值为α=1/2。
注意可在一般FIR过滤器类公式中组合以上公式:
其中参数a直接与增益α相关,a=2α,因此对于α=2,我们有a=1。在此形式中,仅使用加法和移位(因为乘以2和4可分别通过一位和两位左移执行,而除以8则通过三位右移执行)就可把最终估算绿色(G)值计算为所指示绿色值和红色值的线性组合。
在图6C中,要在蓝色象素610上得到绿色值。如图6C所示,使用蓝色象素610周围的绿色象素来执行插值(诸如双线性插值)。另外,使用蓝色象素610周围的蓝色象素以及蓝色象素610自己计算梯度校正。
图6D是示出用于得到如图6C所示蓝色象素上绿色值的5×5支持区域详图。特别地,如图6C所示的5×5支持区域的梯度校正线性插值方法包括:
1.从双线性插值绿色开始:
2.计算蓝色梯度:
3.应用校正:
其中α是“校正增益”0<α<1。典型值为α=1/2。
与前面一样可在一般FIR过滤器类公式中组合以上公式:
其中参数a直接与增益α相关,a=2α,因此对于α=1/2,我们有a=1。再一次,很清楚仅使用加法和移位就可有效计算以上过滤操作。
图7A-E是示出用于得到红色值的梯度校正线性插值方法详图。在图7A中,要在绿色象素700上得到红色值。绿色象素700位于红色行和蓝色列上。应该注意,参数“b”与梯度校正增益β相关,b=(8/5)β,如下所述。如图7A所示,使用与绿色象素700水平相邻的两个红色象素来执行插值(诸如双线性插值)。此外,使用绿色象素700周围的绿色象素以及绿色象素700自己计算梯度校正。
图7B是示出用于得到如图7A所示的绿色象素上红色值的5×5支持区域详图。特别地,如图7A所示的5×5支持区域的梯度校正线性插值方法包括:
1.从双线性插值红色开始:
2.计算绿色梯度:
3.应用校正:
其中β是“校正增益”,0<β<1。典型值为β=5/8。
注意可在一般FIR过滤器类公式中组合以上公式:
其中参数b直接与增益β相关b=(8/5)β,因此对于β=5/8,我们有b=1。在此形式中,很清楚仅使用加法和移位(因例如乘以5可通过两位左移和加法执行)就可把最终估算红色(R)值计算为所指示红色值和绿色值的线性组合。
在图7C中,要在绿色象素710上得到红色值。但在这种情况下,绿色象素710位于蓝色行和红色列上。如图7C所示,使用与绿色象素710垂直相邻的两个红色象素来执行插值(诸如双线性插值)。类似于图7A和7B所示的情况,使用绿色象素710周围的绿色象素以及绿色象素710自己计算梯度校正。
在图7D中,要在蓝色象素720上得到红色值。应当注意,参数“c”与梯度校正增益γ相关,c=2γ,如下所述。如图7D所示,使用与蓝色象素720相邻的四个红色象素来执行插值(诸如双线性插值)。此外,使用蓝色象素720周围的蓝色象素以及蓝色象素720自己计算梯度校正。
图7E是示出用于得到如图7D所示蓝色象素上红色值的5×5支持区域详图。特别地,如图7D所示的5×5支持区域的梯度校正线性插值方法包括:
1.从双线性插值红色开始:
2.计算蓝色梯度:
3.应用校正:
其中γ是“校正增益”,0<γ<1。典型值为γ=3/4。
注意可在一般FIR过滤器类公式中组合以上公式:
其中参数c直接与增益γ相关c=2γ,因此对于γ=3/4,我们有c=3/2。在此形式中,很清楚,仅使用加法和移位(例如乘以3/2可通过一位右移和加法执行)就可把最终估算红色(R)值计算为所指示红色值和蓝色值的线性组合。
图8A-E是示出用于得到蓝色值的梯度校正线性插值方法详图。在图8A中,要在绿色象素800上得到蓝色值。绿色象素800位于蓝色行和红色列上。应该注意,参数“b”与梯度校正增益β相关,b=(8/5)β,如下所述。如图8A所示,使用与绿色象素800水平相邻的两个蓝色象素来执行插值(诸如双线性插值)。此外,使用绿色象素800周围的八个绿色象素以及绿色象素800自己计算梯度校正。
图8B是示出用于得到如图8A所示绿色象素上蓝色值的5×5支持区域详图。特别地,如图8A所示5×5支持区域的梯度校正线性插值方法包括:
1.从双线性插值蓝色开始:
2.计算绿色梯度:
3.应用校正:
其中β是“校正增益”,0<β<1。典型值为β=5/8。
注意可在一般FIR过滤器类公式中组合以上公式:
其中参数b直接与增益β相关b=(8/5)β,因此对于β=5/8,我们有b=1,如上所述。
在图8C中,要在绿色象素810上得到蓝色值。然而在此情形中,绿色象素810位于红色行和蓝色列上。如图8C所示,使用与绿色象素810垂直相邻的两个蓝色象素来执行插值(诸如双线性插值)。类似于图8A和8B所示的情况,使用绿色象素810周围的八个绿色象素以及绿色象素810自己计算梯度校正。
在图8D中,要在红色象素820上得到蓝色值。应当注意,参数“c”与梯度校正增益γ相关,c=2γ,如下所述。如图8D所示,使用与红色象素820相邻的四个蓝色象素来执行插值(诸如双线性插值)。此外,使用红色象素820周围的4个红色象素以及红色象素820自己计算梯度校正。
图8E是示出用于得到如图8D所示的红色象素上蓝色值的5×5支持区域详图。特别地,如图8D所示的5×5支持区域的梯度校正线性插值方法包括:
1.从双线性插值红色开始:
2.计算红色梯度:
3.应用校正:
其中γ是“校正增益”,0<γ<1。典型值为γ=3/4。
注意可在一般FIR过滤器类公式中组合以上公式:
其中参数c直接与增益γ相关c=2γ,因此对于γ=3/4,我们有c=3/2。在此形式中,很清楚,仅使用加法和移位就可把最终估算红色(R)值计算为所指示蓝色值和红色值的线性组合,如上所述。
应该注意有三种类型的插值模式,因此有三类梯度校正增益(α,β,γ)。可用各种各样的方式来选择这些增益。一种方式是使用最优增益值。一般而言,这些最优值为α=1/2,β=5/8,和γ=3/4。最优增益值之间的差异是因为在查看不同模式时其相互关系中的差异。
实际上,最优增益值并非正好分别是1/2、5/8和3/4。它们是接近的,是为了实现目的而由最接近的有理数(分母是2的幂数)近似而来的。这简化了操作,并排除了对浮点运算的需要,从而大大简化了计算复杂性。除以8仅仅是右移3位,因此这样的计算用整数运算就可以完成了。因此,这种增益的特定选择不得不保证计算是用没有除法的整数运算来执行的。
另一种挑选增益的方法取决于数字照相机制造商。大多数数字照相机的镜头通常执行某些光学低通过滤(或模糊)。这是因为制造商知道去马赛克将产生某些彩色边缘,且如果在它通过传感器之前使图像稍微模糊一些,可减轻去马赛克导致的边缘。
每个制造商都使用其自己的色彩矩阵(即使它是Bayer矩阵,他们也常常使用不同类型的色彩过滤)。这就是说在制造商之间频率响应看起来会略有不同。例如,对于第一个制造商的过滤器,在蓝色和红色之间的相互关系可能会比另一个制造商的过滤器少一些。给定每个不同制造商照相机的频率响应和相互关系统计,增益可根据这些统计进行微调。此外,这些增益可再次近似为较简单的值,诸如允许整数运算且无除法的值。
也可用适应式方式来选择增益。在适应性增益选择中,增益根据图像的统计改变。统计可以是全局或局部的。全局图像统计基于整个的图像。局部图像统计则不仅基于整个图像还基于图像中的特定区域。从这些统计中可计算更佳的信道间相互关系值,因此可确定相应的新的最优Wiener过滤器增益。全局或局部的图像统计以及Weiner过滤在本领域中众所周知,不在此赘述。
性能
把本梯度校正线性插值方法和系统与若干其它lxing插值技术进行比较。这种比较是这样执行的:使用众所周知的公共域柯达图像集、模拟Bayer采样阵列(简单地通过仅保存每个象素的每个RGB值之一)、以及应用各种插值算法。该二次采样方法没有真正代表数字照相机,数字照相机通常采用严谨的透镜设计以有效执行少量的低通过滤,来减少Bayer模式二次采样引起的混淆现象。然而,由于以上引用的所有文章仅执行二次采样而没有低通过滤,所作相同因此可比较其结果。另外,在Bayer二次采样之前,用少量的高斯低通过滤测试了所有的插值方法,并发现诸方法的相关性能在有过滤或没有过滤时基本上都相同。梯度校正线性插值方法和系统在信号-噪音功率比(PSNR)上比双线性插值技术有改进。此外,除了Freeman插值技术,大多数方法有5dB以上的改进。平均而言,梯度校正线性插值方法和系统比大多数其它插值技术好。
除了PSNR测量,使用柯达集的图像之一来验证视觉质量。梯度校正线性插值方法和系统产生了类似于较好的非线性方法的视觉质量(诸如在Kimmel文章中所讨论的(引用如上))而具有很低的复杂性。与Pei-Tam文章中讨论的插值技术相比,梯度校正线性插值方法和系统在略微降低的计算复杂性基础上产生较轻微的可见彩色边缘变形、以及较低的PSNR。
梯度校正线性插值方法和系统在Weiner意义上几乎是最优的,而且实际上它比许多更复杂的非线性插值技术好。与最近引入的线性去马赛克技术相比,梯度校正线性插值方法和系统在经插值图像质量上产生0.5dB的改进,而在均方误差上有12%的降低。这是因为对于绿色信道质量相同而对于红色和蓝色信道质量有约为0.7dB的改进。另外,与Pei-Tam文章中讨论的技术相比,梯度校正线性插值方法和系统还在计算复杂性上有一些降低(约为12%)。
V.示例性操作环境
梯度校正线性插值方法和系统被设计在计算环境中和计算装置上运行,诸如数字照相机系统310中包含的处理装置370或计算装置380上。现在将讨论梯度校正线性插值方法和系统在其中操作的计算环境。以下讨论旨在提供梯度校正线性插值方法和系统可在其中实现的适当计算环境的简要描述。
图9示出了图3所示梯度校正线性插值方法和系统可在其中实现的适当计算系统环境900的示例。该计算系统环境900仅是适当计算环境的一个示例,并非旨在提出本发明使用或功能性范围的任何限制。计算环境900也不应被解释为对示例性操作环境900中所示的任一组件或其组合有任何依赖性或任何需求。
本梯度校正线性插值方法和系统也可在很多其它通用或专用计算系统环境或配置中使用。适于本梯度校正线性插值方法和系统使用的众所周知的计算系统、环境、和/或配置的示例包括,但不限于,个人计算机、服务器计算机、诸如蜂窝电话和PDA的手持式或膝上型移动计算机或通信装置、多处理器系统、基于微处理器的系统、机顶盒、可编程电器消费品、网络PC、迷你计算机、大型机、包括任一种以上系统或装置的分布式计算环境等等。
本梯度校正线性插值方法和系统可以计算机可执行指令的一般上下文进行说明,诸如由计算机执行的程序模块。一般而言,程序模块包括执行具体任务或实现具体抽象数据结构的例程、程序、对象、组件、数据结构等等。本梯度校正线性插值方法和系统还可在任务由经通信网络连接的远程处理装置执行的分布式计算环境中实践。在分布式计算环境中,程序模块可置于包括存储器存储装置的本地和远程计算机存储介质。参照图9,实现本梯度校正线性插值方法和系统的示例性系统包括计算机910形式的通用计算装置。
计算机910的组件可包括,但不限于,处理单元920、系统存储器930以及把包括系统存储器在内的各种系统组件耦合到处理单元920的系统总线921。系统总线921可能是若干总线结构类型中的任何一种,包括存储器总线或存储器控制器、外围总线、以及使用多种总线架构的任一种的本地总线。作为示例,而非限制,这些结构包括工业标准结构(ISA)总线、微通道结构(MCA)总线、扩展ISA(EISA)总线、视频电子标准协会(VESA)局部总线和也称为Mezzanine总线的外围部件互连(PCI)总线。
计算机910通常包括各种计算机可读介质。计算机可读介质可以是能被计算机910访问的任何可用介质,并包括易失和非易失介质、可移动和不可移动介质。作为示例,而非限制,计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括以任何方法或技术实现、用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的易失和非易失、可移动和不可移动介质。
计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字化视频光盘(DVD)或其它光盘存储技术、磁卡、磁带、磁盘存储或其它磁性存储装置、或任何其它可用于存储所需信息并可由计算机910访问的介质。通信介质通常包括诸如载波或其它传输机制的调制数据信号中的计算机可读指令、数据结构、程序模块、或其它数据,且包括任何信息输送介质。
注意术语“调制数据信号”意指用将信息编码成信号的方式设置或改变其一个或多个特征的信号。作为示例,而非限制,通信介质包括诸如有线网络或直线连接的有线介质,和诸如声学、射频、红外线和其它无线介质的无线介质。以上任何介质的组合也应包括在计算机可读介质的范围中。
系统存储器930包括诸如只读存储器(ROM)931和随机存取存储器(RAM)932的易失和/或非易失存储器形式的计算机存储介质。包含有助于计算机910如起动时在元件间传送信息的基本例程的基本输入/输出系统(BIOS)933通常存储在ROM 931中。RAM 932通常包含可被处理单元920立即访问和/或现时操作的数据和/或程序模块。作为示例,而非限制,图9示出了操作系统934、应用程序935、其它程序模块936、和程序数据937。
计算机910还可包括其它可移动/不可移动、易失/非易失计算机存储介质。作为示例,图9图示了读取和写入不可移动、非易失磁性介质的硬盘驱动器941,读取和写入可移动、非易失磁盘952的磁盘驱动器951,以及读取和写入可移动、非易失光盘956,诸如CD-ROM或其它光学介质的光盘驱动器955。
其它也可用在示例性计算环境中的可移动/不可移动、易失/非易失计算机存储介质包括,但不限于,如磁带盒、闪存卡、数字化视频光盘、数字化录像带、固态RAM、固态ROM等等。硬盘驱动器941通常通过诸如接口940的不可移动存储器接口与系统总线921连接,而磁盘驱动器951和光盘驱动器955通常通过诸如接口950的可移动存储器接口与系统总线921连接。
如上所述并如图9所示的驱动器及其相关联的计算机存储介质为计算机910提供计算机可读指令、数据结构、程序模块、和其它数据的存储。在图9中,例如,硬盘驱动器941被示为存储操作系统944、应用程序945、其它程序模块946、和程序数据947。注意这些组件可以与操作系统934、应用程序935、其它程序模块936、和程序数据937相同或不同。在此给予操作系统944、应用程序945、其它程序模块946、和程序数据947的不同数字至少说明他们是不同的复制件。用户可通过输入装置如键盘962和通常称为鼠标、跟踪球或触摸板等定位装置961向计算机910输入命令和信息。
其它输入装置(未示出)可包括话筒、游戏杆、游戏垫、卫星接收器、扫描仪、无线电接收器、或电视或广播视频接收器等等。这些和其它输入装置常常通过与系统总线耦合的用户输入接口960与处理单元920相连,但也可通过诸如并行端口、游戏端口或通用串行总线(USB)的其它接口和总线结构连接。监视器991或其它类型的显示装置也可通过诸如视频接口990的接口与系统总线921相连。除了监视器,计算机还可包括诸如扬声器997和打印机996的其它外围输出装置,它们通过输出外围接口995相连。
计算机910可以在使用与一台或多台远程计算机,诸如远程计算机980逻辑连接的网络化环境中运行。远程计算机980可以是个人计算机、服务器、路由器、网络PC、对等装置或其它普通网络节点,而且通常包括上述与个人计算机910相关的许多或全部组件,尽管在图9中仅图示了存储器存储装置981。图9中所描绘的逻辑连接包括局域网(LAN)971和广域网(WAN)973,但也可包括其它网络。这样的网络化环境在办公室、企业范围计算机网络、企业内部互联网和因特网上是常见的。
当用于LAN网络化环境中时,计算机910通过网络接口或适配器970与局域网971连接。当用于WAN网络化环境中时,计算机910通常包括调制解调器972或其它用于在广域网973,诸如因特网中建立通信的装置。可以是内置式或外置式的调制解调器972与系统总线921通过用户输入接口960或其它适当机制连接。在网络化环境中,与计算机910相关的程序模块或其一部分可存储在远程存储器存储装置中。作为示例,而非限制,图9示出了驻留于存储器装置981中的远程应用程序985。应当理解,所示网络连接是示例性的,且也可以使用其它用于在计算机间建立通信连接的技术。
VI.系统组件
如图3A和3B所示的梯度校正线性插值系统300包括多个程序模块,这些程序模块使系统300能以快速、简单和有效的方式产生象素上遗漏色彩的优质插值。图10是示出图3所示梯度校正线性插值系统300细节的框图。现在将讨论系统300中包含的程序模块。
参看图10,一般而言,梯度校正线性插值系统300输入包括由图像传感器阵列315产生的原始、马赛克模式的象素数据360在内的色彩信息,处理该信息,并输出每个象素一个或多个遗漏色彩值320。尤其是,梯度校正线性插值系统300包括从代表彩色图像的图像传感器阵列中选择具有当前色彩的当前象素的当前象素选择器1000。插值模块1010计算当前象素上遗漏并需要之色彩值的第一插值。插值使用支持区域内具有所需色彩的象素。
梯度校正线性插值系统300还包括计算用于插值的校正项的校正项模块1020。该校正项更适合从支持区域内具有当前象素色彩的象素的梯度来进行计算。一旦计算了插值和校正项,线性组合模块1030就线性组合插值和校正项以获得当前象素上的所需(或遗漏)色彩值320。插值和校正项更适合加在一起以获取估算当前象素上所需(或遗漏)色彩值320的正确插值。
图11是输出图10所示校正项计算模块1020细节的框图。一般而言,将当前象素上所需色彩的插值1100输入至校正项计算模块1020、计算校正项、且输出调整梯度校正1110。
特别地,校正项计算模块1020包括选择要应用的校正量的梯度校正选择器1120。支持区域模块1130定义当前象素周围的支持区域。支持区域更适于是以当前象素为中心的5×5象素阵列。
校正项计算模块1020还包括使用当前象素计算梯度校正的梯度校正模块1140。另外,模块1140使用当前色彩(换言之是与当前象素相同的色彩)支持区域中的象素。梯度校正增益应用模块1150把增益应用于经计算梯度校正使得经调整梯度校正1110被输出。
本发明前面的描述是为了说明和描述目的而展现的。它并非旨在穷尽本发明或者把本发明限制在所揭示的精确形式中。根据以上教导,许多更改和变化是可能的。本发明的范围并非由本发明的详细说明书来限制,而是由所附权利要求书限制的。
Claims (40)
1.一种用于在彩色图像中当前象素上插值所需色彩的方法,所述当前象素具有当前色彩,其特征在于,所述方法包括:
使用所需色彩来计算所述当前象素上所需色彩的插值;
使用所述当前色彩计算校正项;以及
线性组合所述插值和所述校正项以获取在所述当前象素上所需色彩的经校正插值。
2.如权利要求1所述的方法,其特征在于,还包括在计算所述插值中使用所需色彩的邻象素。
3.如权利要求1所述的方法,其特征在于,还包括在计算所述校正项中使用所述当前象素。
4.如权利要求3所述的方法,其特征在于,还包括在计算所述校正项中使用所述当前色彩的邻象素。
5.如权利要求1所述的方法,其特征在于,所述插值是双线性插值技术。
6.如权利要求1所述的方法,其特征在于,所述校正项是梯度校正。
7.如权利要求6所述的方法,其特征在于,还包括把梯度校正增益应用于所述梯度校正,以确定要与所述插值线性组合的所述梯度校正量。
8.如权利要求1所述的方法,其特征在于,还包括叠加所述插值和校正项以获取经校正插值。
9.一种用于在图像传感器中当前象素上插值所需色彩的计算机实现方法,所述当前象素具有第一色彩,其特征在于,所述方法包括:
使用具有所需色彩的象素来计算所述当前象素上所需色彩的第一插值;
使用具有第一色彩的象素计算梯度校正;以及
线性组合所述第一插值和所述梯度校正以获取在所述当前象素上所需色彩的经梯度校正插值。
10.如权利要求9所述的计算机实现方法,其特征在于,还包括把梯度校正增益应用于所述梯度校正,以影响要与所述第一插值线性组合的所述梯度校正量。
11.如权利要求10所述的计算机实现方法,其特征在于,还包括选择所述梯度校正增益,使得均方误差最小以产生最优梯度校正增益。
12.如权利要求11所述的计算机实现方法,其特征在于,还包括调整所述最优梯度校正增益以产生允许使用以下至少之一进行计算的经简化梯度校正增益:(a)整数算术;(b)无除法运算。
13.如权利要求9所述的计算机实现方法,其特征在于,所述第一插值为线性插值。
14.如权利要求13所述的计算机实现方法,其特征在于,所述线性插值为双线性插值。
15.如权利要求9所述的计算机实现方法,其特征在于,所述第一插值是以下的至少之一:(a)双线性插值;(b)双三次插值;(c)Lanczos插值。
16.如权利要求9所述的计算机实现方法,其特征在于,还包括:
把支持区域定义为其值被考虑用于与任何给定象素相关联计算的象素邻域尺寸;
选择所述支持区域以包括与当前象素最近的具有所述第一色彩的象素;以及
使用所述支持区域以计算所述第一插值和所述梯度校正。
17.如权利要求16所述的计算机实现方法,其特征在于,所述支持区域是以所述当前象素为中心的5×5象素区域。
18.如权利要求16所述的计算机实现方法,其特征在于,所述支持区域大于以所述当前象素为中心的5×5象素区域。
19.如权利要求18所述的计算机实现方法,其特征在于,所述第一插值是非线性插值。
20.如权利要求16所述的计算机实现方法,其特征在于,还包括:
使用第一支持区域以计算所述第一插值;以及
使用第二支持区域以计算所述梯度校正。
21.如权利要求20所述的计算机实现方法,其特征在于,所述第一支持区域与所述第二支持区域不同。
22.一种具有计算机可执行指令的计算机可读介质,其特征在于,所述指令用于执行如权利要求9所述的计算机实现方法。
23.一种用于在彩色图像传感器中具有当前色彩的当前象素上插值遗漏的红-蓝-绿(RGB)数据的方法,其特征在于,所述方法包括:
基于所述当前象素上遗漏色彩使用第一插值技术以确定遗漏色彩估算;
基于所述当前色彩计算所述梯度校正;
以梯度校正增益乘所述梯度校正以获取经调整梯度校正;以及
以线性方式组合所述遗漏色彩估算和经调整梯度校正,以获取对应于至少某些遗漏RGB数据的线性经校正遗漏色彩估算。
24.如权利要求23所述的方法,其特征在于,所述第一插值技术是双线性插值。
25.如权利要求23所述的方法,其特征在于,所述梯度校正是线性运算符。
26.如权利要求23所述的方法,其特征在于,还包括基于所述彩色图像传感器的特征调整所述梯度校正增益。
27.如权利要求26所述的方法,其特征在于,所述彩色图像传感器被合并到数字照相机系统中,并且还包括基于所述数字照相机系统的特征调整所述梯度校正增益。
28.一种用于线性插值由具有图像传感器的数字照相机系统产生的彩色图像内当前象素上的遗漏色彩的过程,所述当前象素具有第一色彩,其特征在于,所述过程包括:
定义以所述当前象素为中心的第一支持区域;
使用插值技术插值所述遗漏色彩以获取第一遗漏色彩估算,所述插值技术使用第一支持区域中具有所述遗漏色彩的象素;
定义以所述当前象素为中心的第二支持区域;
使用所述当前象素和第二支持区域中具有所述第一色彩的象素,计算梯度校正;
把梯度校正增益应用于所述梯度校正,所述梯度校正增益表示要使用的梯度校正的比例;以及
线性组合所述第一遗漏色彩估算和所述梯度校正,以获取所述遗漏色彩的梯度校正估算。
29.如权利要求28所述的过程,其特征在于,还包括基于所述彩色图像的统计改变所述梯度校正增益。
30.如权利要求29所述的过程,其特征在于,还包括:
测量所述彩色图像的全局统计;以及
基于所述全局统计改变所述梯度校正增益。
31.如权利要求29所述的过程,其特征在于,还包括:
对所述彩色图像中每个区域测量局部统计;以及
基于所述局部统计改变所述梯度校正增益。
32.如权利要求28所述的过程,其特征在于,还包括基于所述遗漏色彩计算所述梯度校正增益。
33.如权利要求32所述的过程,其特征在于,所述遗漏色彩为绿色,并还包括把所述梯度校正增益设置为值1/2。
34.如权利要求32所述的过程,其特征在于,所述遗漏色彩为红色,并还包括把所述梯度校正增益设置为值5/8。
35.如权利要求32所述的过程,其特征在于,所述遗漏色彩为蓝色,并还包括把所述梯度校正增益设置为值3/4。
36.如权利要求28所述的过程,其特征在于,所述第一和第二支持区域都是5×5象素矩阵。
37.一种用于插值彩色图像中给定象素上的遗漏色彩的梯度校正线性插值系统,所述给定象素具有当前色彩,其特征在于,所述系统包括:
一插值模块,其计算所述遗漏色彩值的插值;
一校正项计算模块,其计算用于所述插值的校正项;以及
一线性组合模块,其线性组合所述插值和校正项以产生所述给定象素上所述遗漏色彩值的经校正插值。
38.如权利要求37所述的梯度校正线性插值系统,其特征在于,所述校正项计算模块还包括选择以给定象素为中心在所述给定象素周围的支持区域尺寸的支持区域模块。
39.如权利要求37所述的梯度校正线性插值系统,其特征在于,所述校正项计算模块还包括选择将要与所述插值线性组合的校正量的梯度校正选择器。
40.如权利要求37所述的梯度校正线性插值系统,其特征在于,所述校正项计算模块还包括使用所述给定象素和具有所述当前色彩的支持区域中象素来计算梯度校正的梯度校正模块。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/801,450 | 2004-03-15 | ||
US10/801,450 US7502505B2 (en) | 2004-03-15 | 2004-03-15 | High-quality gradient-corrected linear interpolation for demosaicing of color images |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1722852A true CN1722852A (zh) | 2006-01-18 |
CN100571402C CN100571402C (zh) | 2009-12-16 |
Family
ID=34838885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005100559295A Expired - Fee Related CN100571402C (zh) | 2004-03-15 | 2005-03-15 | 用于彩色图象去马赛克的梯度校正线性插值方法和系统 |
Country Status (5)
Country | Link |
---|---|
US (2) | US7502505B2 (zh) |
EP (1) | EP1577833A1 (zh) |
JP (1) | JP4520886B2 (zh) |
KR (1) | KR101143147B1 (zh) |
CN (1) | CN100571402C (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101621698A (zh) * | 2009-03-10 | 2010-01-06 | 北京中星微电子有限公司 | 一种彩色图像处理方法及装置 |
CN101465001B (zh) * | 2008-12-31 | 2011-04-13 | 昆山锐芯微电子有限公司 | 一种基于Bayer RGB的图像边缘检测方法 |
CN102254301A (zh) * | 2011-07-22 | 2011-11-23 | 西安电子科技大学 | 基于边缘方向插值的cfa图像去马赛克方法 |
CN101515987B (zh) * | 2008-12-30 | 2012-04-25 | 中国资源卫星应用中心 | 一种用于旋转扫描多元并扫红外相机的遥感图像辐射校正方法 |
CN102630018A (zh) * | 2012-03-27 | 2012-08-08 | 上海算芯微电子有限公司 | 去马赛克的方法和装置 |
CN102778201A (zh) * | 2011-05-13 | 2012-11-14 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
CN102957916A (zh) * | 2011-08-24 | 2013-03-06 | 联咏科技股份有限公司 | 色彩信息插补方法 |
CN103201765A (zh) * | 2010-09-28 | 2013-07-10 | 马普科技促进协会 | 用于从所观察到的数字图像序列恢复数字图像的方法与设备 |
CN112218062A (zh) * | 2020-10-12 | 2021-01-12 | Oppo广东移动通信有限公司 | 图像缩放装置、电子设备、图像缩放方法及图像处理芯片 |
Families Citing this family (137)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8471852B1 (en) | 2003-05-30 | 2013-06-25 | Nvidia Corporation | Method and system for tessellation of subdivision surfaces |
KR20050062709A (ko) * | 2003-12-22 | 2005-06-27 | 삼성전자주식회사 | 디지털 이미지 처리 장치 및 그 방법 |
US8165389B2 (en) * | 2004-03-15 | 2012-04-24 | Microsoft Corp. | Adaptive interpolation with artifact reduction of images |
US20050249429A1 (en) * | 2004-04-22 | 2005-11-10 | Fuji Photo Film Co., Ltd. | Method, apparatus, and program for image processing |
US7817869B2 (en) * | 2004-05-07 | 2010-10-19 | Sony Corporation | Variable support robust transform for multiple description coding |
JP4534594B2 (ja) * | 2004-05-19 | 2010-09-01 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 |
US7568628B2 (en) | 2005-03-11 | 2009-08-04 | Hand Held Products, Inc. | Bar code reading device with global electronic shutter control |
US7770799B2 (en) | 2005-06-03 | 2010-08-10 | Hand Held Products, Inc. | Optical reader having reduced specular reflection read failures |
KR100765751B1 (ko) * | 2005-06-08 | 2007-10-15 | 삼성전자주식회사 | 비월 주사 방식의 cmyg 컬러 포맷의 컬러 보간 방법 및그 장치 |
KR100782812B1 (ko) * | 2005-06-15 | 2007-12-06 | 삼성전자주식회사 | 에지 적응적 컬러 보간 방법 및 장치 |
CN100414964C (zh) * | 2005-08-10 | 2008-08-27 | 展讯通信(上海)有限公司 | 一种彩色滤镜阵列插值方法 |
US20070092144A1 (en) * | 2005-08-17 | 2007-04-26 | Chuanyong Bai | Random data resampling for medical imaging |
DE102005038940B4 (de) * | 2005-08-17 | 2007-08-30 | Siemens Ag | Verfahren zur Filterung tomographischer 3D-Darstellungen nach erfolgter Rekonstruktion von Volumendaten |
US7589772B2 (en) * | 2005-09-21 | 2009-09-15 | Coifman Ronald R | Systems, methods and devices for multispectral imaging and non-linear filtering of vector valued data |
EP1791340A3 (en) * | 2005-10-07 | 2007-07-25 | Seiko Epson Corporation | Printer and image processing apparatus for printing raw data |
US8571346B2 (en) | 2005-10-26 | 2013-10-29 | Nvidia Corporation | Methods and devices for defective pixel detection |
US7885458B1 (en) | 2005-10-27 | 2011-02-08 | Nvidia Corporation | Illuminant estimation using gamut mapping and scene classification |
US7750956B2 (en) | 2005-11-09 | 2010-07-06 | Nvidia Corporation | Using a graphics processing unit to correct video and audio data |
US20070133902A1 (en) * | 2005-12-13 | 2007-06-14 | Portalplayer, Inc. | Method and circuit for integrated de-mosaicing and downscaling preferably with edge adaptive interpolation and color correlation to reduce aliasing artifacts |
US8588542B1 (en) | 2005-12-13 | 2013-11-19 | Nvidia Corporation | Configurable and compact pixel processing apparatus |
US8005297B2 (en) * | 2006-01-18 | 2011-08-23 | Qualcomm Incorporated | Method and apparatus for adaptive and self-calibrated sensor green channel gain balancing |
US7706609B2 (en) * | 2006-01-30 | 2010-04-27 | Microsoft Corporation | Bayesian demosaicing using a two-color image |
US8098964B2 (en) * | 2006-02-06 | 2012-01-17 | Microsoft Corp. | Raw image processing |
US8737832B1 (en) | 2006-02-10 | 2014-05-27 | Nvidia Corporation | Flicker band automated detection system and method |
US7646910B1 (en) * | 2006-04-19 | 2010-01-12 | Ambarella, Inc. | Digital video camera non-integer-ratio Bayer domain scaler |
KR100780932B1 (ko) * | 2006-05-30 | 2007-11-30 | 엠텍비젼 주식회사 | 컬러 보간 방법 및 장치 |
DE102006028735B4 (de) * | 2006-06-20 | 2009-04-09 | Sci-Worx Gmbh | Einrichtung zur Interpolation und Filterung von digitalen Bilddaten |
JP4735978B2 (ja) * | 2006-07-21 | 2011-07-27 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US8160381B2 (en) * | 2006-08-30 | 2012-04-17 | Micron Technology, Inc. | Method and apparatus for image noise reduction using noise models |
JP4802944B2 (ja) * | 2006-08-31 | 2011-10-26 | 大日本印刷株式会社 | 補間演算装置 |
US8594441B1 (en) | 2006-09-12 | 2013-11-26 | Nvidia Corporation | Compressing image-based data using luminance |
KR100818447B1 (ko) * | 2006-09-22 | 2008-04-01 | 삼성전기주식회사 | 컬러 필터를 사용하여 검출된 영상의 컬러 보간 방법 |
US8144984B2 (en) * | 2006-12-08 | 2012-03-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program for color fringing estimation and compensation |
JP4284628B2 (ja) * | 2006-12-15 | 2009-06-24 | ソニー株式会社 | 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 |
JP4966035B2 (ja) | 2007-01-26 | 2012-07-04 | 株式会社東芝 | 固体撮像装置 |
US20080193037A1 (en) * | 2007-02-09 | 2008-08-14 | The Hong Kong University Of Science And Technology | Demosaicking methods and apparatus |
US7920751B2 (en) * | 2007-03-16 | 2011-04-05 | General Electric Company | Adaptive gradient weighting technique for detector bad cell correction |
US8723969B2 (en) | 2007-03-20 | 2014-05-13 | Nvidia Corporation | Compensating for undesirable camera shakes during video capture |
US20080253652A1 (en) * | 2007-04-10 | 2008-10-16 | Aricent Inc. | Method of demosaicing a digital mosaiced image |
US8564687B2 (en) * | 2007-05-07 | 2013-10-22 | Nvidia Corporation | Efficient determination of an illuminant of a scene |
US7889921B2 (en) * | 2007-05-23 | 2011-02-15 | Eastman Kodak Company | Noise reduced color image using panchromatic image |
US8698917B2 (en) * | 2007-06-04 | 2014-04-15 | Nvidia Corporation | Reducing computational complexity in determining an illuminant of a scene |
JP5041886B2 (ja) * | 2007-06-13 | 2012-10-03 | オリンパス株式会社 | 画像処理装置、画像処理プログラム、画像処理方法 |
US7961983B2 (en) * | 2007-07-18 | 2011-06-14 | Microsoft Corporation | Generating gigapixel images |
US8724895B2 (en) * | 2007-07-23 | 2014-05-13 | Nvidia Corporation | Techniques for reducing color artifacts in digital images |
US7825965B2 (en) * | 2007-09-07 | 2010-11-02 | Seiko Epson Corporation | Method and apparatus for interpolating missing colors in a color filter array |
WO2009044356A2 (en) * | 2007-10-05 | 2009-04-09 | Nokia Corporation | Video coding with pixel-aligned directional adaptive interpolation filters |
US20090092338A1 (en) * | 2007-10-05 | 2009-04-09 | Jeffrey Matthew Achong | Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array |
US8570634B2 (en) | 2007-10-11 | 2013-10-29 | Nvidia Corporation | Image processing of an incoming light field using a spatial light modulator |
US8780128B2 (en) | 2007-12-17 | 2014-07-15 | Nvidia Corporation | Contiguously packed data |
US9177368B2 (en) | 2007-12-17 | 2015-11-03 | Nvidia Corporation | Image distortion correction |
KR101337383B1 (ko) | 2007-12-24 | 2013-12-06 | 삼성전자주식회사 | 휴대 단말기 및 그 이미지 편집 방법 |
US8035704B2 (en) * | 2008-01-03 | 2011-10-11 | Aptina Imaging Corporation | Method and apparatus for processing a digital image having defective pixels |
US8830309B2 (en) * | 2008-01-04 | 2014-09-09 | 3M Innovative Properties Company | Hierarchical processing using image deformation |
CN101939762A (zh) * | 2008-02-07 | 2011-01-05 | Nxp股份有限公司 | 用于重构彩色图像的方法和设备 |
US8698908B2 (en) | 2008-02-11 | 2014-04-15 | Nvidia Corporation | Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera |
US9379156B2 (en) | 2008-04-10 | 2016-06-28 | Nvidia Corporation | Per-channel image intensity correction |
US10123050B2 (en) * | 2008-07-11 | 2018-11-06 | Qualcomm Incorporated | Filtering video data using a plurality of filters |
JP5256899B2 (ja) * | 2008-07-18 | 2013-08-07 | セイコーエプソン株式会社 | 画像補正装置、画像補正方法、プロジェクタおよびプロジェクションシステム |
KR101515957B1 (ko) * | 2008-09-08 | 2015-05-04 | 삼성전자주식회사 | 컬러 보간 장치와 컬러 보간 방법 |
US8373718B2 (en) | 2008-12-10 | 2013-02-12 | Nvidia Corporation | Method and system for color enhancement with color volume adjustment and variable shift along luminance axis |
US8571312B2 (en) * | 2009-01-16 | 2013-10-29 | Samsung Electronics Co., Ltd. | Image interpolation method and apparatus using pattern characteristics of color filter array |
WO2010088465A1 (en) * | 2009-02-02 | 2010-08-05 | Gentex Corporation | Improved digital image processing and systems incorporating the same |
TW201035909A (en) * | 2009-03-25 | 2010-10-01 | Altek Corp | Compensation method for removing image noise |
US8749662B2 (en) | 2009-04-16 | 2014-06-10 | Nvidia Corporation | System and method for lens shading image correction |
US8610650B2 (en) * | 2009-05-20 | 2013-12-17 | Dialog Semiconductor Gmbh | Advanced multi line addressing |
US8644640B2 (en) * | 2009-05-27 | 2014-02-04 | Microsoft Corporation | Purple fringing artifact reduction within a digital image with guidance from a green channel |
US8463035B2 (en) * | 2009-05-28 | 2013-06-11 | Gentex Corporation | Digital image processing for calculating a missing color value |
AU2009212881B2 (en) * | 2009-08-31 | 2012-06-14 | Canon Kabushiki Kaisha | Efficient radial gradient fills |
US8593483B2 (en) * | 2009-10-20 | 2013-11-26 | Apple Inc. | Temporal filtering techniques for image signal processing |
US8638342B2 (en) * | 2009-10-20 | 2014-01-28 | Apple Inc. | System and method for demosaicing image data using weighted gradients |
US8698918B2 (en) | 2009-10-27 | 2014-04-15 | Nvidia Corporation | Automatic white balancing for photography |
US8416986B2 (en) * | 2009-10-29 | 2013-04-09 | Raytheon Company | Methods and systems for processing data using non-linear slope compensation |
US8738678B2 (en) | 2009-10-29 | 2014-05-27 | Raytheon Company | Methods and systems for determining an enhanced rank order value of a data set |
US8249395B2 (en) * | 2010-03-05 | 2012-08-21 | Intel Corporation | System, method, and computer program product for picture resizing |
US8477261B2 (en) * | 2010-05-26 | 2013-07-02 | Microsoft Corporation | Shadow elimination in the backlight for a 3-D display |
KR101157997B1 (ko) * | 2010-08-19 | 2012-06-25 | 주식회사 엘지생명과학 | 자기저항센서를 이용한 검출시스템 |
US8471932B2 (en) | 2010-09-30 | 2013-06-25 | Apple Inc. | Spatial filtering for image signal processing |
DK2860980T3 (en) | 2010-09-30 | 2017-07-17 | Samsung Electronics Co Ltd | Method of interpolating images using a smoothing interpolation filter |
CN101977328B (zh) * | 2010-11-09 | 2012-09-12 | 杭州爱威芯科技有限公司 | 一种基于补色模式的颜色插值方法 |
JP5665508B2 (ja) * | 2010-11-30 | 2015-02-04 | キヤノン株式会社 | 画像処理装置及び方法、並びにプログラム及び記憶媒体 |
US8698885B2 (en) * | 2011-02-14 | 2014-04-15 | Intuitive Surgical Operations, Inc. | Methods and apparatus for demosaicing images with highly correlated color channels |
JP5631769B2 (ja) * | 2011-02-17 | 2014-11-26 | 株式会社東芝 | 画像処理装置 |
US9769430B1 (en) | 2011-06-23 | 2017-09-19 | Gentex Corporation | Imager system with median filter and method thereof |
TW201305965A (zh) * | 2011-07-18 | 2013-02-01 | Novatek Microelectronics Corp | 影像處理方法 |
TWI464704B (zh) * | 2011-08-22 | 2014-12-11 | Novatek Microelectronics Corp | 色彩資訊插補方法 |
WO2013123133A1 (en) | 2012-02-14 | 2013-08-22 | Gentex Corporation | High dynamic range imager system |
US8872946B2 (en) | 2012-05-31 | 2014-10-28 | Apple Inc. | Systems and methods for raw image processing |
US9031319B2 (en) | 2012-05-31 | 2015-05-12 | Apple Inc. | Systems and methods for luma sharpening |
US8817120B2 (en) | 2012-05-31 | 2014-08-26 | Apple Inc. | Systems and methods for collecting fixed pattern noise statistics of image data |
US9142012B2 (en) | 2012-05-31 | 2015-09-22 | Apple Inc. | Systems and methods for chroma noise reduction |
US8953882B2 (en) | 2012-05-31 | 2015-02-10 | Apple Inc. | Systems and methods for determining noise statistics of image data |
US9025867B2 (en) | 2012-05-31 | 2015-05-05 | Apple Inc. | Systems and methods for YCC image processing |
US9332239B2 (en) | 2012-05-31 | 2016-05-03 | Apple Inc. | Systems and methods for RGB image processing |
US9105078B2 (en) | 2012-05-31 | 2015-08-11 | Apple Inc. | Systems and methods for local tone mapping |
US9014504B2 (en) | 2012-05-31 | 2015-04-21 | Apple Inc. | Systems and methods for highlight recovery in an image signal processor |
US9077943B2 (en) | 2012-05-31 | 2015-07-07 | Apple Inc. | Local image statistics collection |
US8917336B2 (en) | 2012-05-31 | 2014-12-23 | Apple Inc. | Image signal processing involving geometric distortion correction |
US11089247B2 (en) | 2012-05-31 | 2021-08-10 | Apple Inc. | Systems and method for reducing fixed pattern noise in image data |
US9743057B2 (en) | 2012-05-31 | 2017-08-22 | Apple Inc. | Systems and methods for lens shading correction |
US20140010479A1 (en) * | 2012-07-09 | 2014-01-09 | Samsung Electro-Mechanics Co., Ltd. | Bilinear interpolation circuit for image and method thereof |
US9798698B2 (en) | 2012-08-13 | 2017-10-24 | Nvidia Corporation | System and method for multi-color dilu preconditioner |
US9508318B2 (en) | 2012-09-13 | 2016-11-29 | Nvidia Corporation | Dynamic color profile management for electronic devices |
US9207759B1 (en) * | 2012-10-08 | 2015-12-08 | Edge3 Technologies, Inc. | Method and apparatus for generating depth map from monochrome microlens and imager arrays |
US9307213B2 (en) | 2012-11-05 | 2016-04-05 | Nvidia Corporation | Robust selection and weighting for gray patch automatic white balancing |
CN102938843B (zh) * | 2012-11-22 | 2014-12-03 | 华为技术有限公司 | 图像处理方法、装置以及成像设备 |
CN104871206A (zh) * | 2012-12-19 | 2015-08-26 | 马维尔国际贸易有限公司 | 用于数字图像的自适应缩放的系统和方法 |
CN103152540B (zh) * | 2013-03-11 | 2016-01-20 | 深圳创维-Rgb电子有限公司 | 分辨率转换方法及装置、超高清电视机 |
US9224362B2 (en) | 2013-03-14 | 2015-12-29 | Microsoft Technology Licensing, Llc | Monochromatic edge geometry reconstruction through achromatic guidance |
US9113025B2 (en) | 2013-03-15 | 2015-08-18 | Samsung Electronics Co., Ltd. | Image signal processor circuits and methods for correcting crosstalk artifacts |
US9870598B2 (en) | 2013-04-26 | 2018-01-16 | Nvidia Corporation | Low complexity adaptive filtering for mobile captures |
US9826208B2 (en) | 2013-06-26 | 2017-11-21 | Nvidia Corporation | Method and system for generating weights for use in white balancing an image |
US9756222B2 (en) | 2013-06-26 | 2017-09-05 | Nvidia Corporation | Method and system for performing white balancing operations on captured images |
US10210599B2 (en) | 2013-08-09 | 2019-02-19 | Intuitive Surgical Operations, Inc. | Efficient image demosaicing and local contrast enhancement |
RU2557261C2 (ru) * | 2013-08-20 | 2015-07-20 | Федеральное государственное образовательное бюджетное учреждение высшего профессионального образования Московский технический университет связи и информатики (ФГОБУ ВПО МТУСИ) | Способ и устройство формирования сигналов изображения в системах цифрового телевидения стандартной и высокой четкости |
US9013611B1 (en) * | 2013-09-06 | 2015-04-21 | Xilinx, Inc. | Method and device for generating a digital image based upon a selected set of chrominance groups |
JP6302272B2 (ja) * | 2014-02-06 | 2018-03-28 | 株式会社東芝 | 画像処理装置、画像処理方法及び撮像装置 |
CN104038746B (zh) * | 2014-06-12 | 2016-06-08 | 北京英泰智软件技术发展有限公司 | 一种bayer格式图像数据插值方法 |
US20150363912A1 (en) * | 2014-06-12 | 2015-12-17 | Samsung Electronics Co., Ltd. | Rgbw demosaic method by combining rgb chrominance with w luminance |
WO2016041133A1 (en) * | 2014-09-15 | 2016-03-24 | SZ DJI Technology Co., Ltd. | System and method for image demosaicing |
KR102224851B1 (ko) | 2014-12-11 | 2021-03-08 | 삼성전자주식회사 | 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템 |
US9870600B2 (en) * | 2015-01-06 | 2018-01-16 | The Regents Of The University Of California | Raw sensor image and video de-hazing and atmospheric light analysis methods and systems |
US9530237B2 (en) | 2015-04-02 | 2016-12-27 | Apple Inc. | Interpolation circuitry and techniques for graphics processing |
US9582853B1 (en) * | 2015-08-03 | 2017-02-28 | Intel Corporation | Method and system of demosaicing bayer-type image data for image processing |
US10366471B2 (en) | 2015-12-02 | 2019-07-30 | Texas Instruments Incorporated | Universal and adaptive de-mosaicing (CFA) system |
WO2017125162A1 (en) | 2016-01-21 | 2017-07-27 | Sony Mobile Communications Inc. | Method and device for demosaicing of color images |
WO2017131618A1 (en) * | 2016-01-25 | 2017-08-03 | Hewlett-Packard Development Company, L.P. | Interpolating pixel values |
DE102016112968B4 (de) * | 2016-07-14 | 2018-06-14 | Basler Ag | Bestimmung von Farbwerten für Pixel an Zwischenpositionen |
EP3417758A1 (en) | 2017-06-19 | 2018-12-26 | Ambu A/S | A method for processing image data using a non-linear scaling model and a medical visual aid system |
CN109285113B (zh) * | 2017-07-21 | 2022-11-22 | 北京遥感设备研究所 | 一种基于梯度的改进彩色图像插值方法 |
JP7081200B2 (ja) * | 2018-02-22 | 2022-06-07 | セイコーエプソン株式会社 | 画像表示装置、及び画像表示装置の制御方法 |
US10572974B2 (en) * | 2018-04-11 | 2020-02-25 | Omnivision Technologies, Inc. | Image demosaicer and method |
CN112313934B (zh) * | 2018-06-27 | 2022-05-31 | 三菱电机株式会社 | 像素插值装置、像素插值方法、图像处理装置和记录介质 |
KR102600681B1 (ko) | 2019-03-26 | 2023-11-13 | 삼성전자주식회사 | 비닝을 수행하는 테트라셀 이미지 센서 |
US11640645B2 (en) | 2019-10-25 | 2023-05-02 | Samsung Electronics Co., Ltd. | Apparatus and method of acquiring image by employing color separation lens array |
EP4062644A1 (en) * | 2020-06-30 | 2022-09-28 | Google LLC | Gradient predictor for image compression |
CN116347186A (zh) * | 2021-12-15 | 2023-06-27 | 超威半导体(上海)有限公司 | 用于图像去马赛克的装置和方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3971065A (en) | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
US4724395A (en) | 1985-08-05 | 1988-02-09 | Polaroid Corporation | Median filter for reconstructing missing color samples |
WO1994006099A1 (en) * | 1992-09-01 | 1994-03-17 | Apple Computer, Inc. | Improved vector quantization |
US5382976A (en) * | 1993-06-30 | 1995-01-17 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients |
US5373322A (en) | 1993-06-30 | 1994-12-13 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients |
US5506619A (en) | 1995-03-17 | 1996-04-09 | Eastman Kodak Company | Adaptive color plan interpolation in single sensor color electronic camera |
US5629734A (en) * | 1995-03-17 | 1997-05-13 | Eastman Kodak Company | Adaptive color plan interpolation in single sensor color electronic camera |
US5805217A (en) * | 1996-06-14 | 1998-09-08 | Iterated Systems, Inc. | Method and system for interpolating missing picture elements in a single color component array obtained from a single color sensor |
JP4361991B2 (ja) * | 1999-08-20 | 2009-11-11 | メディア・テック・ユーエスエイ・インコーポレーテッド | 画像処理装置 |
JP2004350319A (ja) | 1999-10-14 | 2004-12-09 | Hitachi Kokusai Electric Inc | 画像信号処理方法およびその方法を用いた画像信号処理装置およびその方法の手順を表すプログラムコードを記録した記録媒体 |
US6873658B2 (en) | 1999-12-20 | 2005-03-29 | Texas Instruments Incorporated | Digital still camera system and method |
US6781626B1 (en) * | 2000-01-13 | 2004-08-24 | Biomorphic Vlsi, Inc. | System and method of color interpolation |
US6771828B1 (en) | 2000-03-03 | 2004-08-03 | Microsoft Corporation | System and method for progessively transform coding digital data |
US6847396B1 (en) * | 2000-04-26 | 2005-01-25 | Sunplus Technology Co., Ltd. | Interpolation method for producing full color images in using a single-chip color sensor |
US20020167602A1 (en) | 2001-03-20 | 2002-11-14 | Truong-Thao Nguyen | System and method for asymmetrically demosaicing raw data images using color discontinuity equalization |
US7236191B2 (en) * | 2003-04-30 | 2007-06-26 | Nokia Corporation | Method and system for image processing with pixel interpolation using second order gradients |
-
2004
- 2004-03-15 US US10/801,450 patent/US7502505B2/en active Active
-
2005
- 2005-01-29 US US11/046,324 patent/US7643676B2/en active Active
- 2005-03-14 EP EP05101957A patent/EP1577833A1/en not_active Withdrawn
- 2005-03-15 KR KR1020050021417A patent/KR101143147B1/ko active IP Right Grant
- 2005-03-15 JP JP2005072857A patent/JP4520886B2/ja not_active Expired - Fee Related
- 2005-03-15 CN CNB2005100559295A patent/CN100571402C/zh not_active Expired - Fee Related
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101515987B (zh) * | 2008-12-30 | 2012-04-25 | 中国资源卫星应用中心 | 一种用于旋转扫描多元并扫红外相机的遥感图像辐射校正方法 |
CN101465001B (zh) * | 2008-12-31 | 2011-04-13 | 昆山锐芯微电子有限公司 | 一种基于Bayer RGB的图像边缘检测方法 |
CN101621698B (zh) * | 2009-03-10 | 2013-08-07 | 北京中星微电子有限公司 | 一种彩色图像处理方法及装置 |
CN101621698A (zh) * | 2009-03-10 | 2010-01-06 | 北京中星微电子有限公司 | 一种彩色图像处理方法及装置 |
CN103201765B (zh) * | 2010-09-28 | 2016-04-06 | 马普科技促进协会 | 用于从所观察到的数字图像序列恢复数字图像的方法与设备 |
CN103201765A (zh) * | 2010-09-28 | 2013-07-10 | 马普科技促进协会 | 用于从所观察到的数字图像序列恢复数字图像的方法与设备 |
CN102778201A (zh) * | 2011-05-13 | 2012-11-14 | 索尼公司 | 图像处理设备、图像处理方法和程序 |
CN102254301A (zh) * | 2011-07-22 | 2011-11-23 | 西安电子科技大学 | 基于边缘方向插值的cfa图像去马赛克方法 |
CN102957916A (zh) * | 2011-08-24 | 2013-03-06 | 联咏科技股份有限公司 | 色彩信息插补方法 |
CN102957916B (zh) * | 2011-08-24 | 2015-01-07 | 联咏科技股份有限公司 | 色彩信息插补方法 |
CN102630018B (zh) * | 2012-03-27 | 2014-07-23 | 上海算芯微电子有限公司 | 去马赛克的方法和装置 |
CN102630018A (zh) * | 2012-03-27 | 2012-08-08 | 上海算芯微电子有限公司 | 去马赛克的方法和装置 |
CN112218062A (zh) * | 2020-10-12 | 2021-01-12 | Oppo广东移动通信有限公司 | 图像缩放装置、电子设备、图像缩放方法及图像处理芯片 |
Also Published As
Publication number | Publication date |
---|---|
EP1577833A1 (en) | 2005-09-21 |
US7643676B2 (en) | 2010-01-05 |
JP2005269645A (ja) | 2005-09-29 |
JP4520886B2 (ja) | 2010-08-11 |
KR101143147B1 (ko) | 2012-05-24 |
KR20060043650A (ko) | 2006-05-15 |
US7502505B2 (en) | 2009-03-10 |
US20050200733A1 (en) | 2005-09-15 |
US20050201616A1 (en) | 2005-09-15 |
CN100571402C (zh) | 2009-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1722852A (zh) | 用于彩色图像去马赛克的优质梯度校正线性插值 | |
TWI425831B (zh) | 偵測及校正影像感測器中之缺陷像素之系統及方法 | |
TWI454153B (zh) | 使用加權梯度用於去馬賽克影像資料之系統及方法 | |
CN1110198C (zh) | 视频格式转换装置和方法 | |
CN1662071A (zh) | 色空间的图像数据处理方法 | |
US8295595B2 (en) | Generating full color images by demosaicing noise removed pixels from images | |
JP5454075B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
CN1643936A (zh) | 图像处理设备和方法、以及图像处理设备的制造方法 | |
US8472712B2 (en) | System and method for applying lens shading correction during image processing | |
CN1310521C (zh) | 图象信号处理设备和方法、学习设备和方法以及记录介质 | |
CN101076085A (zh) | 图像捕获方法和装置以及使用该装置的电子装置 | |
CN1943248A (zh) | 摄像装置及摄像单元 | |
CN1678078A (zh) | 图像插值方法 | |
WO2011108290A2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
CN1728834A (zh) | 转换运动图像数据以及再现运动图像数据的方法和设备 | |
CN1703900A (zh) | 摄像系统和播放系统 | |
CN1595958A (zh) | 图象质量补正装置和图象质量补正方法 | |
CN1535027A (zh) | 一种用于视频编码的帧内预测方法 | |
CN109146982A (zh) | 原始图像处理系统及方法 | |
CN1917578A (zh) | 数据处理设备、数据处理方法及程序 | |
CN1857008A (zh) | 图像处理方法 | |
CN101060629A (zh) | 图像压缩/解压方法及图像编/解码器和解码电路 | |
JP2014126903A (ja) | 画像処理装置および画像処理方法、ならびに、プログラム | |
CN100350794C (zh) | 图像拾取装置及其信号处理方法 | |
CN1294534C (zh) | 防止图像传感器的绿色不一致 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20091216 Termination date: 20130315 |