CN102396235A - 产生具有减轻的移动模糊的全色图像 - Google Patents

Abstract

本发明揭示一种使用具有多个彩色通道及一个全色通道的彩色滤光片阵列图像来形成全色输出图像的方法，该方法包括：捕捉具有多个彩色通道及一个全色通道的彩色滤光片阵列图像，其中全色通道使用与彩色通道的至少一个者不同的曝光时间来捕捉；从彩色滤光片阵列图像计算经内插彩色图像及经内插全色图像；从经内插彩色图像计算变换关系；及使用经内插全色图像及函数关系形成全色输出图像。

Description

产生具有减轻的移动模糊的全色图像

发明的技术领域

本发明涉及从具有若干彩色通道及一个全色通道的彩色滤光片阵列图像产生具有减轻的移动模糊的全色图像。

背景技术

电子成像系统依靠透镜系统在电子图像传感器上形成图像，以产生视觉图像的电子表示。这种电子图像传感器的示例包含电荷耦合器件(CCD)图像传感器及有源像素传感器(APS)器件(APS器件因在互补金氧半导体工艺中制造它们的能力而经常被称为CMOS传感器)。传感器包括个别图像元素传感器或像素的二维阵列。如Bayer在1976年7月20日获授权的共同授让的美国专利No.3,971,065中所描述的，各像素通常都设置有红色、绿色或蓝色滤光片，使得可产生彩色图像。无论采用哪种电子技术(例如CCD或CMOS)，像素都用作为桶(bucket)，其中在电子成像系统捕捉图像期间累积与撞击像素的光的量成正比的光电子。

并非所有进入电子成像系统的前光学元件的光都会撞击像素。许多光在通过电子成像系统的光学路径时损失。通常，约5％的光由于透镜反射及霾而损失且约60％的光由于彩色滤光片阵列而损失。此外，一些光撞击非光敏感的像素区域。为了采集进行正确曝光所需要的光的量，电子成像传感器采集光持续称为曝光时间的一时间间隔。基于对要成像场景的亮度测量，通常采用自动曝光控制来判定将产生具有有效亮度的图像的适当曝光时间。场景越暗，电子成像系统采集光以进行正确曝光所需要的时间量越大。然而，众所周知，较长的曝光可导致模糊图像。此模糊可为物体在场景内移动的结果。当图像捕捉设备在捕捉期间相对于场景移动(例如由于相机晃动)时，亦可产生模糊。

一种减轻模糊的方法是缩短曝光时间。然而，此方法使电子图像传感器在图像捕捉期间曝光不足，故产生暗图像。可将模拟或数字增益施加至图像信号以使这些暗图像变亮，但是本领域技术人员将理解这将导致噪声图像。

另一种减轻模糊的方法是缩短曝光时间且保留通过光学路径的更多光并将其引导至电子图像传感器的像素。此方法可产生具有减轻的模糊及可接受的噪声电平的图像。然而，电子成像系统的当前产业趋势是：使成像系统变得更小且更便宜。因此，可采集更多光且保留通过光学元件的更多光的具有大孔径的高级光学元件因此是不可行的。

另一种减轻模糊的方法是缩短曝光时间且用摄影闪光灯补充可用光。摄影闪光灯产生持续几分之一秒的强光通量且曝光时间设定为包含该闪光时间。因为摄影闪光灯提供强照明，故可将曝光时间设定为比没有闪光灯时明显更短的时间间隔。因此，减轻曝光期间的模糊。然而，闪光摄影术仅在闪光灯与物体之间的距离相对小的情况下才可行。另外，闪光灯给图像捕捉器件增加额外成本及重量。

2002年8月27日授予Tull的美国专利No.6,441,848描述一种具有电子图像传感器的数码相机，该电子图像传感器藉由监测各像素收集电子的速率来移除物体移动模糊。若光撞击像素的速率变化，则像素正在观看的图像的亮度呈现为在改变。当内建于传感器阵列中的电路检测到图像亮度正在改变时，保留所收集的电荷量且记录检测到亮度改变的时间。藉由线性外推像素值而将在曝光停止处的各像素值调整为合适值，使得该像素值对应于整个图像的动态范围。此方法的一个缺点为当曝光开始时已处于移动中的物体的外推像素值高度不确定。如由传感器所见到的，图像亮度从不具有恒定值，且因此这些外推像素值的不确定性导致具有移动伪像的图像。另一缺点为其使用专门硬件，使得其不可与用于当前商用相机中的常规电子图像传感器一起使用。

另一种减轻模糊的方法是捕捉两个图像，一个使用短曝光时间且一个使用长曝光时间。短曝光时间被选择成产生具有噪声但相对没有移动模糊的图像。长曝光时间被选择成产生几乎没有噪声但可具有明显移动模糊的图像。使用图像处理算法来将两个捕捉组合为一个最终输出图像。这种方法在美国专利No.7,239,342、美国专利申请公开No.2006/0017837、美国专利申请公开No.2006/0187308及美国专利申请公开No.2007/0223831中描述。这些方法的缺点包含对存储多个图像的附加缓冲存储器、处理多个图像的附加复杂性的需要及解决物体移动模糊的困难。

另一种减轻模糊的方法是缩短曝光时间且保留通过彩色滤光片阵列的更多光。对于基于硅的图像传感器，像素组件自身大体上对可见光敏感，从而允许未经滤光的像素适合捕捉单色图像。为捕捉彩色图像，通常在像素图案上制造二维滤光片图案，其中使用不同滤光材料来使个别像素仅对可见光谱的一部分敏感。此种滤光片图案的示例为众所周知的拜耳(Bayer)彩色滤光片阵列图案，如美国专利No.3,971,065中所述。拜耳彩色滤光片阵列具有在典型条件下获得全色图像的优点，但已发现此解决方案具有其缺点。虽然需要滤光片来提供窄频带光谱响应，但是对入射光的任何滤光趋于减少到达各像素的光的量，藉此减小各像素的有效光敏感性且降低像素响应速度。

作为用于改良在变化光条件下的图像捕捉且用于改良成像传感器的整体敏感性的解决方案，已经揭示熟知的拜耳图案的变体。举例而言，Hamilton等人的题为“Capturing Images Under Varying Lighting Conditions”(在变化照明条件下捕捉图像)的共同授让的美国专利申请公开No.2007/0046807与Compton等人的题为“Image Sensor with Improved Light Sensitivity”(具有改良光敏感性的图像传感器)的美国专利申请公开No.2007/0024931两者描述组合以某种方式在空间上交错的彩色滤光片与全色滤光片元件的替代传感器配置。在此类解决方案的情况下，图像传感器的某部分检测色彩，其他全色部分被最优化以针对改良的动态范围及敏感性检测横跨可见频带的光。因此，这些解决方案提供像素图案，一些像素具有彩色滤光片(提供窄频带光谱响应)且一些像素没有彩色滤光片(未经滤光的“全色”像素或经滤光以提供宽频带光谱响应的像素)。然而，因为这些彩色像素仍遭受移动模糊，故此解决方案并不足以允许在低光条件下捕捉无移动模糊的高质量图像。

另一种减轻模糊且在低光场景中捕捉图像的方法(在天体摄影术及远端感测领域中已知)是捕捉两个图像：具有高空间分辨率的全色图像与具有低空间分辨率的多谱图像。这些图像经合并以产生具有高空间分辨率的多谱图像。这些方法在美国专利No.7,340,099、美国专利No.6,011,875及美国专利No.6,097,835中描述。这种方法的缺点包含对存储多个图像的附加缓冲存储器的需要及解决物体移动模糊的困难。

可用于减轻移动模糊的另一种方法是使用图像稳定系统，该图像稳定系统具有可移动的透镜系统或特殊成像器定位硬件。这些系统被设计成使图像保持在传感器上的稳定位置中。然而，这些系统具有复杂且昂贵的缺点。此外，它们未解决场景中的物体正在以不同速度移动的情况。

因此，存在以下需要：在不使用摄影闪光灯的情况下，从具有彩色及全色像素的彩色滤光片阵列图像产生具有减轻的移动模糊的改良彩色图像而不增加图像噪声且无显著的附加成本、复杂性或存储器需求。

发明内容

根据本发明，提供了一种使用具有多个彩色通道及一个全色通道的彩色滤光片阵列图像来形成全色输出图像的方法，该方法包括一个或多个处理器，一个或多个处理器用于提供下列处理：

a)使用彩色滤光片阵列图像传感器捕捉彩色滤光片阵列图像，该彩色滤光片阵列图像具有多个彩色通道及一个全色通道，其中全色通道使用与这些彩色通道的至少之一者不同的曝光时间来捕捉；

b)从彩色滤光片阵列图像计算经内插彩色图像及经内插全色图像；

c)从经内插彩色图像产生合成全色图像；

d)判定合成全色图像与经内插彩色图像之间的变换关系；及

e)藉由使用该变换关系处理经内插全色图像来形成全色输出图像。

本发明的一个优点在于：可产生具有减轻的模糊的改良的全分辨率彩色图像而无需使用摄影闪光灯或长曝光时间来合适地曝光单一图像。

本发明的另一个优点在于：可产生具有减轻的图像捕捉设备引起的模糊的全分辨率彩色图像而无需具有可移动透镜系统或特殊成像器定位硬件的昂贵图像稳定系统。

本发明的再一个优点在于：可产生具有减轻的模糊的全分辨率彩色图像而无需增加用于存储多个图像的缓冲存储器。

从对较佳实施例的下列详细描述及所附权利要求的查阅并且参照附图，将更清楚地理解并了解本发明的这种及其他方面、目的、特征及优点。

附图简单说明

图1是用于实现本发明的数码相机的框图；

图2是本发明的较佳实施例的框图；

图3是可用于本发明的彩色滤光片阵列图案的视图；

图4是展示如何可将邻近行中的像素像元合并在一起从而共用相同浮动扩散组件的示意图；

图5是根据一可能的像元合并策略的来自图像传感器的一部分的像素读出的视图；

图6提供红色、绿色及蓝色像素的代表性光谱量子效率曲线，以及较宽的光谱全色量子效率，全部乘以红外截止滤光片的透射特性；及

图7是更详细地展示图2的步骤214的框图。

本发明的具体描述

在下列描述中，将就通常实现为软件程序而言描述本发明的较佳实施例。本领域技术人员将容易理解亦可在硬件中构建此种软件的等效物。因为图像操纵算法及系统是众所周知的，所以本描述将具体涉及形成根据本发明的系统及方法的部分或更直接地与根据本发明的系统及方法协作的算法及系统。本文未具体展示或描述的这些算法及系统的其他方面及用于产生和以其它方式处理所涉及的图像信号的硬件或软件可选自本领域中已知的这种系统、算法、组件及元件。在下列材料中的如根据本发明所描述的系统的情况下，对本发明的实现有用的在本文中未具体展示、建议或描述的软件是常规的且在本领域的公知技术范围内。

此外，如本文所使用地，可将用于执行本发明的方法的计算机程序存储在计算机可读存储介质中，该介质可包含(例如)诸如磁盘(诸如硬盘或软盘)或磁带的磁性存储介质；诸如光盘、光带或机器可读条码的光学存储介质；诸如随机存取存储器(RAM)或只读存储器(ROM)的固态电子存储器件或用于存储计算机程序的任何其他实体器件或介质。

因为使用成像器件及用于信号捕捉和校正且用于曝光控制的相关电路的数码相机是众所周知的，故本描述将具体涉及构成根据本发明的方法及设备的部分或更直接地与根据本发明的方法及设备协作的元件。本文未具体展示或描述的元件选自本领域中已知的元件。要描述的实施例的某些方面以软件提供。在下列材料中的如根据本发明所展示并描述的系统的情况下，对于本发明的实现有用的在本文中未具体展示、描述或建议的软件是常规的且在本领域中的公知技术范围内。

现在转到图1，展示体现本发明的图像捕捉设备的框图。在此示例中，图像捕捉设备被示为数码相机。然而，虽然现在将解释数码相机，但是本发明显然亦适用于其他类型的图像捕捉设备。在所揭示的相机中，将来自主体场景的光10输入成像台11，其中藉由透镜12聚焦光以在固态彩色滤光片阵列图像传感器20上形成图像。彩色滤光片阵列图像传感器20将入射光转换为各图像元素(像素)的电信号。较佳实施例的彩色滤光片阵列图像传感器20为电荷耦合器件(CCD)类型或有源像素传感器(APS)类型。(APS设备因在互补金氧半导体工艺中制造它们的能力而经常被称为CMOS传感器)。假若具有二维像素阵列的其他类型图像传感器采用本发明的图案，则亦可使用具有二维像素阵列的其他类型图像传感器。用于本发明中的彩色滤光片阵列图像传感器20包括彩色及全色像素的二维阵列，如在描述图1之后将在本说明书的下文中变得明显。

到达彩色滤光片阵列图像传感器20的光的量通过改变孔径的虹膜块14及中性密度(ND)滤光片块13调节，该中性密度(ND)滤光片块13包含插入光学路径中的一个或多个ND滤光片。快门18处于开放的时间亦调节整体的光能级。曝光控制器40对如由亮度传感器块16所计量的在场景中可用的光的量作出响应，并控制这些调节功能的全部三者。

特定相机配置的此描述将为本领域技术人员所熟知，且将显而易见的是，存在许多变体及附加特征。例如，可添加自动聚焦系统，或透镜可为可拆卸且可互换。应了解，本发明可应用于任意类型数码相机，其中替代的组件提供类似的功能。例如，数码相机可为相对简单的对准即拍数码相机，其中快门18为取代较复杂的聚焦平面配置的相对简单的可移动叶片快门或类似物。亦可使用包含于非相机设备(诸如移动电话及机动车)中的成像组件实践本发明。

模拟信号处理器22处理来自彩色滤光片阵列图像传感器20的模拟信号并将其施加至模数(A/D)转换器24。时序产生器26产生各种时钟信号来选择行及像素，并使模拟信号处理器22与A/D转换器24的操作同步。图像传感器级28包含彩色滤光片阵列图像传感器20、模拟信号处理器22、A/D转换器24及时序产生器26。图像传感器台28的组件可为单独制造的集成电路，或可将它们如通常处置CMOS图像传感器地制造为单一集成电路。将来自A/D转换器24的所得数字像素值流存储在与数字信号处理器(DSP)36相关联的数字信号处理器(DSP)存储器32中。

在此实施例中，DSP 36是除系统控制器50及曝光控制器40以外的三个处理器或控制器之一。虽然相机功能控制在多个控制器及处理器之间的划分是典型的，但是可以各种方式组合这些控制器或处理器而不影响相机的功能操作及本发明的应用。这些控制器或处理器可包含一个或多个数字信号处理器设备、微控制器、可编程逻辑器件或其他数字逻辑电路。虽然已经描述这种控制器或处理器的组合，但是应为显而易见的是，一个控制器或处理器可被指派来执行全部所需的功能。所有这些变更可执行相同的功能且落在本发明的范畴内，且用语“处理台”将视需要用于将全部此功能涵盖于一个短语内，例如在图1中的处理台38中。

在所绘示的实施例中，DSP 36根据永久地存储在程序存储器54中并在图像捕捉期间复制到DSP存储器32以供执行的软件程序操纵DSP存储器32中的数字图像数据。DSP 36执行实践图18中所示的图像处理所需的软件。DSP存储器32可为任意类型的随机存取存储器，诸如SDRAM。包含地址及数据信号的路径的总线30将DSP 36连接至其相关的DSP存储器32、A/D转换器24及其他相关设备。

系统控制器50基于存储在程序存储器54中的软件程序控制相机的整体操作，程序存储器54可包含闪存EEPROM或其他非易失性存储器。此存储器亦可用于存储图像传感器校准数据、用户设定选择及在相机关闭时必须保留的其他数据。藉由引导曝光控制器40来操作如先前所述的透镜12、ND滤光器块13、虹膜块14及快门18，引导时序产生器26来操作彩色滤光片阵列图像传感器20及相关联元件，且引导DSP 36来处理所捕捉的图像数据，系统控制器50控制图像捕捉序列。在捕捉并处理图像之后，经由主机接口57将存储在DSP存储器32中的最终图像文件传送至主机计算机，将其存储在可去除存储卡64或其他存储设备上，并为用户显示在图像显示器88上。

系统控制器总线52包含地址、数据及控制信号的路径，并将系统控制器50连接至DSP 36、程序存储器54、系统存储器56、主机接口57、存储卡接口60及其他相关设备。主机接口57提供至个人计算机(PC)或其他主机计算机的高速连接以传送用于显示、存储、操纵或打印的图像数据。此接口可为IEEE1394或USB2.0串行接口或任意其他适当的数字接口。存储卡64通常为插入存储卡插口62并经由存储卡接口60连接至系统控制器50的紧凑型闪存(CF)卡。可利用的其他类型存储器包含而不限于PC卡、多媒体卡(MMC)或安全数字(SD)卡。

经处理的图像被复制到系统存储器56中的显示缓冲器，并经由视频编码器80连续地读出以产生视频信号。此信号从相机直接输出以显示在外部监视器上，或由显示控制器82处理并呈现在图像显示器88上。此显示器通常为有源矩阵彩色液晶显示器(LCD)，但是亦可使用其他类型显示器。

包含取景显示器70、曝光显示器72、状态显示器76、图像显示器88及用户输入74的全部或任意组合的用户接口68由在曝光控制器40及系统控制器50上执行的软件程序的组合控制。用户输入74通常包含按钮、摇臂开关、操纵杆、旋转式拨号盘或触控屏幕的某一组合。曝光控制器40操作光计量、曝光模式、自动聚焦及其他曝光功能。系统控制器50管理呈现在这些显示器的一个或多个上(例如呈现在图像显示器88上)的图形用户接口(GUI)。该GUI通常包含用于做各种选项选择的菜单及用于检查所捕捉图像的查阅模式。

曝光控制器40接受选择曝光模式、透镜孔径、曝光时间(快门速度)及曝光指数或ISO感光速率的用户输入，并相应地引导透镜12及快门18进行后续的捕捉。亮度传感器块16用于测量场景的亮度并提供在手动地设定ISO感光速率、孔径及快门速度时供用户参照的曝光计量功能。在此情况下，随着用户改变一个或多个设定，呈现在取景显示器70上的光计量指示符告诉用户图像将曝光过度或曝光不足到什么程度。在自动曝光模式下，用户改变一个设定，且曝光控制器40自动地改变另一设定以维持正确的曝光，例如对于给定的ISO感光速率，当用户减小透镜孔径时，曝光控制器40自动地增加曝光时间以维持相同的整体曝光。

ISO感光速率为静态数码相机的重要属性。曝光时间、透镜孔径、透镜透射率、场景照明的能级及光谱分散及场景反射率决定静态数码相机的曝光量级。当使用不充分的曝光从静态数码相机获得图像时，藉由增加电子或数字增益可大体上维持合适的色调重现，但是所得图像经常会含有不可接受的噪声量。随着曝光增加，增益减小，且因此可通常将图像噪声减小至可接受量级。若过分增加曝光，则在图像的明亮区域中的所得信号可超过图像传感器或相机信号处理的最大信号电平容量。这可导致修剪图像高亮以形成均匀明亮的区域，或“起晕”至图像的周围区域。因此，重要的是引导用户设定合适曝光。欲将ISO感光速率用作为这样的引导。为了容易被摄影师所理解，静态数码相机的ISO感光速率应直接关于摄影胶片相机的ISO感光速率。例如，若静态数码相机具有ISO 200的ISO感光速率，则对于ISO 200额定胶片/处理系统，相同的曝光时间及孔径应为合适。

欲使ISO感光速率与胶片ISO感光速率协调。然而，电子成像系统与排除精确等效性的基于胶片的成像系统之间存在差异。静态数码相机可包含可变增益，且可在已经捕捉图像数据之后提供数字处理，从而使色调重现能遍及相机曝光范围实现。因此，静态数码相机可能具有一感光速率范围。此范围被定义为ISO感光速率宽容度。为防止混淆，将单一值指定为固有的ISO感光速率，而ISO感光速率宽容度上限及下限指示感光速率范围，亦即包含与固有的ISO感光速率不同的有效感光速率的范围。将此铭记在心，固有的ISO感光速率为为产生指定的相机输出信号特性而从在数字静态相机的聚焦平面处提供的曝光计算的数字值。该固有感光速率通常为产生对于正常场景的给定相机系统的峰值图像质量的曝光指数值，其中曝光指数为与提供至图像传感器的曝光成反比例的数字值。

数码相机的以上描述将为本领域技术人员所熟知。将显而易见的是，此实施例存在许多变体，这些变体是可能的且经选择以降低成本、添加特征或改良相机的性能。下列描述将详细地揭示根据本发明的用于捕捉图像的相机的操作。虽然此描述参照数码相机，但是应了解本发明适用于与具有图像传感器(其具有彩色及全色像素)的任意类型的图像捕捉设备一起使用。

图1中所示的彩色滤光片阵列图像传感器20通常包含在硅基板上制造的感光像素的二维阵列，该感光像素的二维阵列提供将在各像素处的入射光转换为所测量的电信号的方式。当彩色滤光片阵列图像传感器20曝露于光时，自由电子得以产生且在各像素处的电子结构内被捕捉。捕捉这种自由电子持续某一时间周期，且然后测量所捕捉的电子的数量，或测量自由电子的产生速率可测量在各像素处的光能级。在前一种情况下，所累积的电荷移出该像素阵列，移至电荷转电压测量电路(如在电荷耦合器件(CCD)中)，或接近各像素的区域可含有电荷转电压测量电路的元件(如在有源像素传感器(APS或CMOS传感器)中)。

在下列描述中无论何时引用图像传感器，应将其理解为表示来自图1的彩色滤光片阵列图像传感器20。应进一步了解，本说明书中所揭示的本发明的图像传感器架构及像素图案的全部示例及它们的等效物用于彩色滤光片阵列图像传感器20。

在图像传感器的背景下，像素(“图像元素”的缩写)指代离散的光感测区域及与该光感测区域相关联的电荷移位或电荷测量电路。在数字彩色图像的背景下，术语像素通常指代在图像中具有相关联色彩值的特定位置。

图2是本发明的较佳实施例的高级示图，其表示用于执行本发明步骤的处理器。彩色滤光片阵列图像传感器20(图1)捕捉彩色滤光片阵列图像，该彩色滤光片阵列图像含有一个全色通道202及对应于至少两个彩色光响应的彩色通道204。彩色滤光片阵列可含有红色、绿色、蓝色及全色像素，但是诸如青色、紫红色、黄色及全色的其他通道组合是可能的。尤其重要的是包含一个全色通道。以使得全色通道曝光于光持续与这些彩色通道的至少之一不同的时间长度的方式捕捉彩色滤光片阵列图像。全色通道大体上将具有与这些彩色通道的每一个不同的曝光时间。

彩色滤光片阵列(CFA)内插块206从数码相机(图1)所捕捉的彩色滤光片阵列图像产生经内插全色图像208及经内插彩色图像210。经内插彩色图像210用于计算合成全色图像212。在较佳实施例中，合成全色图像212被计算为经内插彩色图像210的红色、绿色及蓝色通道的经加权线性组合。块210所产生的经内插彩色图像的这些红色、绿色及蓝色通道的权重被选择成使得经计算的合成全色图像212与经内插全色图像208相当。

在最终步骤中，经内插全色图像208、经内插彩色图像210及合成全色图像212用于使用形成改良图像块214而产生具有减轻的移动模糊的改良的全色输出图像216。

现在将更详细地描述图2中所概述的各个步骤。最初，数码相机(见图1)捕捉彩色滤光片阵列图像。图3绘示较佳实施例的示例彩色滤光片阵列(CFA)图案301。在此示例中，这些像素的大约一半是全色像素302，而另一半划分为红色像素304、绿色像素306及蓝色像素308。

这些全色像素的曝光时间比彩色像素的曝光时间短，藉此防止这些全色像素的过度的移动模糊，同时亦允许在充分曝光情况下捕捉色彩数据以减少彩色噪声伪像。可藉由调整对于不同类型像素累积电荷的时间量而独立地控制全色像素及彩色像素的曝光时间。

如图4中所示，在图像传感器的读出期间各种像素像元合并方案是可能的。在图4中，展示图像传感器的两个部分行：图像传感器401的第一部分行及图像传感器402的第二部分行。在此实施例中，传感器阵列下面的读出电路使用浮动扩散404，该浮动扩散404一次可切换地连接到一个或多个周围像素。浮动扩散404的实现及使用为数字图像采集技术领域技术人员所熟知。图4展示常规配置，其中各浮动扩散404服务四个周围像素(在一示例中该四个周围像素被示为像素四合体406)。

可以许多组合的任一组合将像素信号切换至浮动扩散404。在第一读出组合408中，四合体406中的各像素将其电荷单独传送至浮动扩散404且由此被个别地读取。在第二读出组合410中，全色像素P被像元合并，亦即这些全色像素P藉由同时将它们所存储的电荷清空至浮动扩散404而共用浮动扩散404；类似地，四合体中的两个彩色(G)像素被像元合并，从而同时将它们的信号切换至浮动扩散404。在第三读出组合412中，全色像素P未被像元合并，但是被单独读取；而这些彩色像素(G)被像元合并。

在本发明的较佳实施例中，全色通道202(图2)的这些全色像素并未被像元合并，而彩色通道204(图2)的彩色像素被像元合并(如在第三读出组合412中)，从而引起图5中所绘示的读出。在图5中，这些全色像素502占有棋盘图案，而这些彩色像素504共同形成低分辨率拜耳图案。

CFA内插块206(图2)使用含有一个全色通道202及多个彩色通道204的彩色滤光片阵列图像产生经内插全色图像208及经内插彩色图像210。用于执行CFA内插的方法是本领域中公知的。举例而言，可使用在美国专利申请公开No.2007/0024934中所描述的CFA内插法，该申请以引用的方式并入本文中。

在CFA内插块206已经产生经内插彩色图像210之后，经内插彩色图像210被用于计算合成全色图像212。用于计算合成全色图像212的运算简便计算藉由L＝R+2G+B给出，其中L是合成全色图像212的像素值，且R、G、B分别为经内插彩色图像210(图2)的红色、绿色及蓝色通道的像素值。在较佳实施例中，如图6中所示，测量这些红色、绿色、蓝色及全色像素的光谱响应，且合成全色图像212被计算为红色、绿色及蓝色的经加权线性组合(L＝a1 R+a2 G+a3 B)，该经加权线性组合给出与全色曲线的最佳拟合。

参照图6的曲线图，其展示在典型相机应用中具有红色、绿色及蓝色滤光片的像素的相对光谱敏感性。图6中的x轴表示以纳米为单位的光波长，波长大约从近紫外线横跨至近红外线，且y轴表示效率(标准化的)。在图6中，带宽滤光片曲线610表示用于阻挡红外光及紫外光到达图像传感器的典型带宽滤光片的光谱透射特性。因为用于图像传感器的彩色滤光片通常不阻挡红外光，故需要这种滤光片，因此这些像素不能区分红外光与在相关联彩色滤光片的通带内的光。带宽滤光片曲线610所展示的红外光阻挡特性由此防止红外光破坏可见光信号。应用红色、绿色及蓝色滤光片的典型硅传感器的光谱量子效率(亦即被捕捉并被转换为可测量电信号的入射光子的比例)被乘以带宽滤光片曲线610所表示的红外阻挡滤光片的光谱透射特性以产生由对于红色通道的红色光响应曲线614、对于绿色通道的绿色光响应曲线616及对于蓝色通道的蓝色光响应曲线618所表示的经组合的系统量子效率。应从这些曲线了解，各色彩的光响应仅对可见光谱的一部分敏感。与之相比，未应用彩色滤光片(但是包含红外阻挡滤光片特性)的相同硅传感器的光响应由对于全色通道的全色光响应曲线612所展示。藉由比较彩色光响应曲线614、616及618与全色光响应曲线612，显然全色光子响应可比这些彩色光子响应的任一个对宽光谱光灵敏二倍至四倍。

在形成改良图像块214(图2)中，经内插全色图像208、经内插彩色图像210及合成全色图像212用于产生具有减轻的移动模糊的改良的全色输出图像。

图7是根据本发明的较佳实施例的来自图2的形成改良图像块214的更详细视图。变换设计步骤702使用经内插彩色图像210(图2)及合成全色图像212(图2)，并产生红色变换704、绿色变换706及蓝色变换708。彩色图像重新构建步骤710使用经内插全色图像208(图2)及在步骤702处所产生的红色、绿色及蓝色变换来产生具有减轻的移动模糊的改良的全色输出图像216(图2)。

在图7中，可以本领域技术人员所知的任一合适方式执行变换设计步骤702。在本发明的较佳实施例中，变换设计步骤702所产生的变换是频域滤光片。使用以下方程(1)至(3)描述形成要用于红色变换704、绿色变换706及蓝色变换708的频域滤光片的一种方法：

$H_R=\frac{F_R}{F_{\mathrm{synthetic\; pan}}}---\left(1\right)$

$H_G=\frac{F_G}{F_{\mathrm{synthetic\; pan}}}---\left(2\right)$

$H_B=\frac{F_B}{F_{\mathrm{synthetic\; pan}}}---\left(3\right)$

其中F_{synthetic pan}是合成全色图像212(图2)的傅立叶变换；F_R、F_G及F_B分别是经内插彩色图像210(图2)的红色、绿色及蓝色通道的傅立叶变换；且H_R、H_G及H_B分别是红色、绿色及蓝色变换的频域滤光片。本领域技术人员将理解，亦可使用其他滤光片设计技术来构建这些频域滤光片。

在图7中，可以本领域技术人员所知的任一合适方式执行彩色图像重新构建步骤710。使用以下方程(4)至(6)描述用于执行根据本发明的较佳实施例的彩色图像重新构建步骤710的一种方法：

R^New＝F^-1(H_RF_pan)            (4)

G^New＝F^-1(H_GF_pan)            (5)

B^New＝F^-1(H_BF_pan)            (6)

其中F_pan是经内插全色图像208(图2)的傅立叶变换值；F^-1(●)是反傅立叶变换算子；且R^New、B^New及G^New分别是改良的全色输出图像216(图2)的红色、绿色及蓝色通道值。

在本发明的替代实施例中，可将经内插彩色图像210(图2)、合成全色图像212(图2)及经内插全色图像208(图2)细分为若干图像块，且对各图像块执行使用方程(1)至(6)所描述的步骤。此方法具有计算更快且更适合于受约束的计算环境的优点。

可在各种用户背景及环境中采用如在本发明的较佳实施例中所揭示的用于计算具有减轻的移动模糊的改良的全色输出图像的算法。示例性背景及环境包含但不限于：批发数字相片洗印(其涉及示例性处理步骤或阶段，诸如数字图像提交用于批量实现、数字处理、打印输出)、零售数字相片洗印(数字图像提交用于小量实现、数字处理、打印输出)、本地打印(本地数字图像输入、数字处理、打印输出)、桌面软件(将算法应用于数字图像以使它们更佳或甚至仅改变它们的软件)、数字实现(数字图像输入-来自介质或经由web、数字处理、数字图像输出-介质上，经由因特网的数字形式)、独立式终端机服务台(数字图像输入、数字处理、打印或数字介质输出)、移动动设备(例如可用作为处理单元、显示单元或给出处理指令的单元的PDA或蜂窝式电话)及用作为经由万维网所提供的服务。

在各情况下，用于计算具有减轻的移动模糊的改良的全色输出图像的算法可独立，或可为较大的系统解决方案的组件。此外，与算法的接口(例如，输入、数字处理、对用户的显示(若需要)、用户请求或处理指令的输入(若需要)、输出)可各自处在相同或不同的设备及物理位置上，且这些设备与位置之间的通信可以经由公共或私用网络连接或是基于介质的通信。在与本发明的以上揭示内容一致的情况下，这些算法自身可为完全自动，可具有用户输入(完全或部分手动)，可具有用户或操作者查阅以接受/拒绝结果，或可通过元数据辅助(元数据可由用户提供，藉由测量设备(例如在相机中)提供，或藉由算法确定)。此外，算法可与各种工作流程用户接口方案通过接口连接。

根据本发明在本文中揭示的对具有减轻的移动模糊算法的改良全色输出图像的计算可具有内部组件，这些内部组件利用各种数据检测及缩减技术(例如，面部检测、眼睛检测、皮肤检测、闪光检测)。

部件列表

10 来自物体场景的光

11 成像台

12 透镜

13 中性密度(ND)滤光片块

14 虹膜块

16 亮度传感器块

18 快门

20 彩色滤光片阵列影像传感器

22 模拟信号处理器

24 模数(A/D)转换器

26 时序产生器

28 图像传感器级

30 总线

32 数字信号处理器(DSP)存储器

36 数字信号处理器(DSP)

38 处理台

40 曝光控制器

50 系统控制器

52 系统控制器总线

54 程序存储器

56 系统存储器

57 主机接口

60 存储卡接口

62 存储卡插口

64 存储卡

68 用户接口

70 取景显示器

72 曝光显示器

74 用户输入

76 状态显示器

80 视频编码器

82 显示控制器

88 图像显示器

202 全色通道

204 彩色通道

206 彩色滤光片阵列(CFA)内插块

208 经内插全色图像

210 经内插彩色图像

212 合成全色图像

214 形成改良的图像块

216 改良的全彩色输出图像

301 彩色滤光片阵列(CFA)图案

302 全色像素

304 红色像素

306 绿色像素

308 蓝色像素

401 图像传感器的第一部分行

402 图像传感器的第二部分行

404 浮动扩散

406 像素四合体

408 第一读出组合

410 第二读出组合

412 第三读出组合

502 全色像素

504 彩色像素

610 带宽滤光片曲线

612 全色光响应曲线

614 红色光响应曲线

616 绿色光响应曲线

618 蓝色光响应曲线

702 变换设计步骤

704 红色变换

706 绿色变换

708 蓝色变换

710 彩色图像重新建构

Claims (11)

1.一种使用具有多个彩色通道及一个全色通道的彩色滤光片阵列图像来形成全色输出图像的方法，所述方法包括一个或多个处理器，所述一个或多个处理器用于提供下列处理：

a)使用彩色滤光片阵列图像传感器捕捉彩色滤光片阵列图像，所述彩色滤光片阵列图像具有多个彩色通道及一个全色通道，其中所述全色通道使用与所述彩色通道的至少一个不同的曝光时间来捕捉；

b)从所述彩色滤光片阵列图像计算经内插彩色图像及经内插全色图像；

c)从所述经内插彩色图像产生合成全色图像；

d)判定所述合成全色图像与所述经内插彩色图像之间的变换关系；以及

e)藉由使用所述变换关系处理所述经内插全色图像来形成全色输出图像。

2.如权利要求1所述的方法，其特征在于，所述经内插彩色图像的彩色通道是红色、绿色及蓝色。

3.如权利要求1所述的方法，其特征在于，所述经内插彩色图像的彩色通道是青色、紫红色及黄色。

4.如权利要求1所述的方法，其特征在于，所述合成全色图像藉由执行对所述经内插彩色图像的多个彩色通道的加权求和来计算。

5.如权利要求4所述的方法，其特征在于，在所述加权求和中使用的权重从彩色通道及全色通道的光谱响应决定。

6.如权利要求1所述的方法，其特征在于，将所述彩色滤光片阵列图像细分为若干图像块，并且判定各个图像块的变换关系。

7.如权利要求1所述的方法，其特征在于，判定所述经内插彩色图像的各彩色通道的个别变换关系。

8.如权利要求7所述的方法，其特征在于，各彩色通道的个别变换关系由频域滤光片所定义，所述频域滤光片藉由计算经内插彩色图像中的对应彩色通道的傅立叶变换与合成全色图像的傅立叶变换的比率来确定。

9.如权利要求8所述的方法，其特征在于，所述全色输出图像的各彩色通道藉由将经内插全色图像的傅立叶变换乘以对于对应彩色通道所确定的频域滤光片，并且计算反傅立叶变换来形成。

10.如权利要求8所述的方法，其特征在于，所述彩色滤光片阵列图像被细分为若干图像块，并且确定个别图像块的频域滤光片。

11.如权利要求1所述的方法，其特征在于，相对于经内插彩色图像，全色输出图像具有减轻的移动模糊度。

Images