CN101282418B - 图像处理设备及其控制方法 - Google Patents

Abstract

本发明提供一种图像处理设备及其控制方法，该设备用于对由包括具有二维排列的像素的图像传感器的摄像设备拍摄的多个、并拍摄到附着到置于图像传感器前面的光学元件上的异物的影像的图像进行校正，以降低异物的影像的影响，该设备包括：插值单元，用于根据异物的影像外的相邻像素的信号，对拍摄的图像上的与异物的影像相对应的像素的信号进行插值；指定单元，用于输入使插值单元进行插值的指令；以及控制单元，用于根据从指定单元输入的指令控制插值单元进行插值，如果插值单元不能进行插值，则接受从指定单元输入的再执行指令，以及通过改变插值的参数或插值的算法来使插值单元再执行插值。

Description

图像处理设备及其控制方法

技术领域

本发明涉及一种用于对由使用CCD或CMOS传感器等图像传感器的摄像设备所拍摄的图像的部分进行校正的技术，该部分的图像质量由于附着到置于图像传感器前面的光学元件上的异物而下降。

背景技术

近年来，市场上出现了例如数字照相机和数字摄像机等许多摄像设备，它们通过使用CCD等图像传感器生成图像信号并记录图像信号作为数据。数字照相机不需要传统上用作记录介质的感光胶片，将图像作为数据记录在取代这种胶片的半导体存储卡或硬盘驱动器等数据记录介质上。与胶片不同，这些数据记录介质允许重复擦写操作，因此可以降低消耗品支出。因此这种介质非常有用。

通常，数字照相机装配有能够在需要时显示所拍摄的图像的LCD(液晶显示器)监视器和可拆卸的大容量存储装置。

使用包括这两种装置的数字照相机可以使不再需要胶片-这种记录介质传统上作为消耗品使用，并且通过将图像显示在LCD监视器装置上，从而允许用户当场立即检查该图像。因此可以当场擦除任何不满意的图像数据或者根据需要进行重新拍摄。也就是说，与使用胶片的卤化银照相机(silver halidecameras)相比，数字照相机显著提高了拍摄照片的效率。

由于这种便利性和图像传感器的分辨率的增高等的技术创新，数字照相机的应用范围得以扩展。近年来，已出现了单镜头反光照相机(single-lens reflex camera)等许多镜头可更换的数字照相机。

然而，在数字照相机中，灰尘或微尘等小颗粒(以下简称之为灰尘)有时附着到固定于图像传感器的图像传感器保护玻璃或置于图像传感器前面的光学滤波器等(以下统称之为图像传感器光学组件)的表面上。当灰尘如此附着到图像传感器光学组件上时，灰尘遮挡了光。结果，例如，不能拍摄场景的相应部分。也就是说，所拍摄的图像的质量下降。

与在数字照相机中一样，在使用卤化银胶片的照相机中，胶片上的灰尘也被拍摄到图像上。然而，胶片逐帧移动，因此很少在所有帧上都拍摄到类似灰尘。

相反，数字照相机的图像传感器不移动，数字照相机使用同一图像传感器进行拍摄。因为这个原因，一旦灰尘附着到图像传感器光学组件上，则以相同方式在许多帧(所拍摄的图像)上都拍摄到该灰尘。尤其，镜头可更换的数字照相机存在以下问题：当更换镜头时，灰尘会进入照相机。

因此，照相机的用户必须始终小心灰尘附着到图像传感器光学组件上，并花费很大的精力检查灰尘并对灰尘进行清除。由于图像传感器尤其位于照相机内部比较深，因而不容易对灰尘进行清除或检查。

当安装/拆卸镜头时，灰尘容易进入镜头可更换的数字照相机。此外，在许多镜头可更换的数字照相机中，将焦平面快门置于紧挨图像传感器之前，因此灰尘容易附着到图像传感器光学组件上。

由于图像传感器光学组件上的这种灰尘通常附着在保护玻璃或光学滤波器上而不是图像传感器的表面，因而根据拍摄镜头的光圈值或与镜头瞳孔位置(pupil position)的距离，在不同状态下对灰尘进行成像。也就是说，当光圈值接近开放F值时，拍摄的灰尘图像变得模糊，因此，即使附着小的灰尘也对图像几乎没有影响。相反，当光圈值增大时，清晰地对这种灰尘进行成像，因此影响图像。

为了解决该问题，例如，用户使用图像编辑程序读取拍摄了灰尘的图像，指定包括灰尘的区域，在指定区域中判断有无灰尘，并且执行插值处理(以下称之为修复处理)，从而去除灰尘部分。

然而，对于用户指定的区域，当没有检测到灰尘，或者当灰尘与指定区域相接触时，上述修复处理不执行插值处理。这是因为：在没有适当检测到灰尘区域的情况下执行插值常常导致不自然的图像。在这种情况下，即使用户重复指定用以修复的同一区域，也不进行任何处理。

另外，已知这样一种方法：通过预先准备图像传感器上的仅包含灰尘的图像，并且与普通拍摄的图像结合使用该图像，从而使得灰尘不明显(参考日本特开2004-222231号公报)，该图像是在将镜头设置在大光圈值的同时通过拍摄白色墙等所获得。然而，由于用户必须始终意识到用于灰尘检测所拍摄的图像和与该图像相关联的拍摄图像之间的对应关系，因而该方法不方便。因此可以想到保持通过拍摄白色墙等所获取的表示灰尘位置的信息，并将表示灰尘的位置或大小的信息附加给通过普通拍摄操作所获得的图像数据。例如，有这样一种方法(自动修复处理)，该方法使用单独准备的图像处理设备，根据所附加的灰尘位置的信息，分析图像数据上的灰尘位置，并通过利用周围像素对所分析的区域进行插值，从而使得灰尘的图像不明显。

然而，在上述自动修复处理中，当判断为不存在灰尘时，或者当灰尘与指定区域相接触时，不执行自动修复处理的插值处理。这是因为：如在修复处理中一样，在没有适当检测灰尘区域的情况下执行插值常常导致不自然的图像。也就是说，在这种情况下，不能对于该区域进行自动修复处理。

发明内容

考虑到以上问题做出了本发明。

本发明的第一方面提供一种图像处理设备，用于对由包括具有二维排列的多个像素的图像传感器的摄像设备所拍摄的、并拍摄到附着到置于所述图像传感器前面的光学元件上的异物的影像的图像进行校正，以降低所述异物的影像的影响，所述图像处理设备包括：插值单元，用于根据所述异物的影像外的相邻像素的信号，对所拍摄的图像上的与所述异物的影像相对应的像素的信号进行插值；指定单元，用于输入使所述插值单元进行所述插值的指令；以及控制单元，用于根据从所述指定单元输入的指令控制所述插值单元进行所述插值，如果所述插值单元不能进行所述插值，则接受从所述指定单元输入的再执行指令，以及通过改变所述插值的参数或所述插值的算法来使所述插值单元再执行所述插值。

本发明的第二方面提供一种用于控制图像处理设备的方法，所述图像处理设备对由包括具有二维排列的多个像素的图像传感器的摄像设备所拍摄的、并且拍摄到附着到置于所述图像传感器前面的光学元件上的异物的影像的图像进行校正，以降低所述异物的影像的影响，所述图像处理设备包括：插值单元，用于根据所述异物的影像外的相邻像素的信号，对所拍摄图像上的与所述异物的影像相对应的像素的信号进行插值；以及指定单元，用于输入用以使所述插值单元进行所述插值的指令；所述方法包括：

使所述插值单元根据从所述指定单元输入的指令进行所述插值，如果所述插值单元不能进行所述插值时，从所述指定单元接受再执行指令，并且在接受了再执行指令时，使所述插值单元通过改变所述插值的参数或所述插值的算法来再执行所述插值。

通过以下参考附图对典型实施例的说明，本发明的其它特性将显而易见。

附图说明

图1是示意性示出图像处理设备的系统结构的框图；

图2是示出图像处理设备中的GUI的例子的图；

图3是示出图像编辑程序的内部结构的图；

图4是示出图像编辑程序的编辑历史的数据结构的图；

图5是用于详细解释插值程序的流程图；

图6是示出第一实施例中当没有检测到灰尘时要执行的再处理序列的流程图；

图7是示出第一实施例中用于改变灰尘检测半径的大小的处理序列的流程图；

图8是示出第一实施例中用于改变灰尘检测半径的中心位置的处理序列的流程图；

图9是示出第一实施例中用于改变灰尘检测算法的处理序列的流程图；

图10是示出第一实施例中表示修复处理之后的再处理的过程的用户界面的例子的图；

图11是示出作为根据本发明的第二实施例的摄像设备的镜头可更换的单镜头反光数字照相机的电路结构的框图；

图12是示出根据第二实施例的数字照相机的外观的透视图；

图13是示出根据第二实施例的数字照相机的内部结构的垂直断面图；

图14是用于解释根据第二实施例的数字照相机中的灰尘检测处理的流程图；

图15是示出灰尘校正数据的数据格式的例子的图；

图16是用于详细解释图14的步骤S27中的灰尘区域获取程序的流程图；

图17是示出图16的步骤S62中的灰尘区域判断处理的处理单元的图；

图18是示出图16的步骤S63中的灰尘区域大小计算的概况的图；

图19是用于详细解释图14的步骤S24中的拍摄处理程序的流程图；

图20是用于解释自动修复处理的基本序列的流程图；

图21是用于解释图20中的自动修复处理的变形例的序列的流程图；

图22是示出通过自动修复处理未检测到灰尘的部分的再处理序列的流程图；以及

图23是示出表示自动修复处理之后的再处理的过程的用户界面的例子的图。

具体实施方式

下面将参考附图详细说明本发明的优选实施例。

第一实施例

当利用数字照相机拍摄被摄体时，附着在例如光学低通滤波器等光学元件的表面上的灰尘或微尘等异物(灰尘)的影像被拍摄到被摄体图像上，其中，该光学元件设置于包括二维像素阵列的图像传感器的前面。该实施例将拍摄到灰尘的影像的图像数据传送给照相机外部的图像处理设备，在图像处理设备中检测图像数据中的灰尘位置，并且进行灰尘去除处理(用于降低灰尘影像对于图像质量的影响的处理)。当灰尘去除处理失败时，该实施例还进行再处理。

灰尘去除处理

现说明灰尘去除处理的过程。灰尘去除处理不是在照相机体中进行，而是在单独准备的图像处理设备中进行。

图1示意性示出图像处理设备的系统结构。

CPU 1001对该设备的全部操作进行控制，并执行例如存储在主存储单元1002中的程序。主存储单元1002主要包括从次存储单元1003读出程序并存储该程序的存储器。次存储单元1003对应于例如硬盘。主存储单元的容量通常小于次存储单元的容量。次存储单元存储大小超出主存储单元的容量的程序和数据。次存储单元1003还存储需要长期存储的数据。在该实施例中，次存储单元1003存储程序。当执行该程序时，CPU 1001将该程序载入主存储单元1002，并执行该程序。

例如，输入装置1004不仅对应于用于系统控制的鼠标和键盘，而且还对应于用于输入图像数据所需的读卡器、扫描仪和胶片扫描仪。输出装置1005的例子有监视器和打印机。该设备可以采用各种形式，并且尽可能地在以下说明省略重复说明。

该图像处理设备具有能够并行执行多个程序的操作系统。操作者可以通过使用GUI(图形用户界面)操作运行在该设备上的程序。

该实施例中的图像处理设备可以执行作为图像编辑功能的两种处理。一种是复制图章(copy stamp)处理，另一种是修复处理。复制图章处理是用于将指定图像上的某些区域与分开指定的其它区域进行组合的功能。修复处理是用于检测符合预定条件的指定图像中的孤立区域、并利用相邻像素的数据对孤立区域中的像素数据进行插值的功能。

图2是示出该图像处理设备中的图像编辑程序的GUI(图形用户界面)的图。窗口具有关闭按钮1100和标题栏1101。当用户按下关闭按钮1100时，结束该程序。将文件拖放进图像显示区域1102以指定校正对象图像。当确定了校正对象图像时，在标题栏1101中显示该文件的名称，并且显示该对象图像以适合图像显示区域1102。

以两种状态，即，适合显示状态和像素逐一显示状态显示编辑对象图像。操作显示模式按钮1108可以在这两种显示状态之间进行切换。根据该GUI，通过在图像上进行点击来指定处理位置。在适合显示状态中，根据显示放大率计算处理图像上与所点击的位置相对应的坐标，并对计算出的坐标应用该处理。根据该GUI，利用半径指定处理范围。该半径是编辑对象图像上的半径，并且有时不同于依据显示放大率的适合显示的图像上的半径。

半径滑动块1106是指定复制图章处理和修复处理的应用范围的滑动块。

当用户按下修复处理模式按钮1104时，开始修复处理。当用户在修复处理模式下左键点击图像中的一部分时，将修复处理(后面说明)应用于以左键点击的坐标为中心、以通过半径滑动块1106所指定的像素的数量为半径的区域。在应用修复处理后，处理退出修复处理模式。当用户在修复模式下右键点击图像显示区域1102或按下GUI上的任一按钮时，处理退出修复模式。

当用户按下复制图章处理模式按钮1105时，开始复制图章模式。当用户在复制图章模式下左键点击图像中的一部分时，将左键点击的坐标设置为复制源区域的中心坐标。当用户在设置复制源区域的中心坐标时再次左键点击该图像时，利用左键点击的坐标作为复制目的地区域的中心坐标和以此时通过半径滑动块1106所指定的半径作为复制半径，执行复制图章处理。然后处理退出复制图章模式，同时复制源区域的中心坐标保持未设置。当用户在复制图章模式下右键点击图像显示区域1102或者按下GUI上的任一按钮时，处理退出复制图章模式，同时保持未设置复制源区域的中心坐标。

当用户按下保存按钮1107时，保存处理后的图像。

如图3所示，该实施例的图像编辑程序同时保持源图像和处理后的图像。将通过GUI所指定的编辑处理应用于处理后的图像，并且将所应用的编辑处理登记在编辑历史中。将登记在编辑历史中的一个编辑处理称作为编辑条目。图4示出编辑条目的例子。该实施例中的编辑条目保持用于区分复制图章处理和修复处理的处理ID、表示处理应用区域的中心和半径、复制图章处理所需的从复制源坐标到复制目的地坐标的相对坐标、以及后面说明的差分图像数据。

这种执行使得能够在完全丢弃编辑历史或取消紧挨的前一编辑处理时重构源图像。

例如，可以通过利用源图像临时覆盖写处理后的图像、然后再执行编辑处理直到作为取消对象的编辑条目为止，来实现用于取消紧挨的前一编辑处理的处理。然而，如果条目的数量非常大，则再执行编辑处理可能需要很长时间。因为这个原因，每当执行编辑操作时，将执行编辑处理前后的图像数据之间的差保持在编辑条目中。保持差分图像允许仅反映与作为取消对象的编辑条目相对应的差分图像，代替从头开始再执行写入编辑条目中的编辑处理。

接着将详细说明修复处理。复制图章处理是公知的技术，因此省略对该处理的详细说明。

修复处理是用于在指定区域中检测孤立区域、并对孤立区域进行插值的处理。通过将插值程序(后面说明)应用于通过由用户利用GUI所指定的中心坐标和半径所表示的区域，实现该修复处理。

插值程序

下面将说明在修复处理中所执行的插值程序。

图5是示出插值程序的过程的流程图。

首先，在步骤S1201，判断灰尘区域(拍摄到灰尘影像的区域，称之为缺陷区域)。在这种情况下，假定P为作为修复处理对象的区域的中心坐标，而R为该区域的半径。灰尘区域是满足以下所有条件的区域。

(1)亮度低于阈值T2的区域，其中，通过T2＝Yave x 0.6+Ymax x 0.4获得T2。Yave是包括在修复处理对象区域中的像素的平均亮度，而Ymax为这些像素的最大亮度。

(2)与由中心坐标P和半径R所表示的圆不接触的区域。

(3)由(1)中所选择的低亮度像素所构成的孤立区域中的、利用与图16的步骤S63中的方法相同的方法计算出的半径值为x个像素或更多像素且小于y个像素的区域。将在后面说明图16中的步骤S63。

在该实施例中，x为三个像素，而y为30个像素。这样仅允许将孤立的小区域作为灰尘区域进行处理。

如果在步骤S1202判断为存在这种区域，则处理进入步骤S1203，以执行灰尘区域插值。如果不存在这种区域，则终止处理。

利用公知的缺陷区域插值方法执行步骤S1203中的灰尘区域插值处理。公知的缺陷区域插值方法的例子有日本特开2001-223894号公报中所公开的图案替换。日本特开2001-223894号公报中所公开的方法通过使用红外光指定缺陷区域。在该实施例中，作为缺陷区域处理在步骤S1201中所检测到的灰尘区域，并且执行图案替换，以根据正常相邻像素对灰尘区域进行插值。通过按照与利用图案替换所插值的图像数据中的插值对象像素的距离的升序选择p个普通像素，按照距离的降序选择q个普通像素，并且使用所选择像素的平均颜色，来对不能利用图案替换补偿的像素进行插值。

图6示出当在步骤S1202判断为不存在灰尘区域时要执行的处理序列。

在步骤S5101，记录不存在孤立区域的条件，即未检测到灰尘的条件。

在这种情况下，不存在孤立区域的条件包括以下条件：

(1)灰尘与由中心坐标P和半径R所表示的圆相接触。

(2)在半径R内不存在暗于阈值T2的区域。

检测到灰尘的条件包括例如灰尘区域的数量。记录这些条件。

如果在步骤S5102判断为在预定时间段(例如，两秒)内用户已指定对同一位置的区域的再处理，例如，判断为用户点击了同一地方，则进行以下处理。也就是说，判断为：未检测到灰尘区域，但是用户急切想要去除处于该位置的灰尘，处理进入步骤S5103。

如果用户没有指定再处理，则终止处理。

在步骤S5103，改变灰尘检测半径的大小，并且执行处理。将在后面说明用于改变灰尘检测半径的方法。

如果在步骤S5104判断为灰尘检测处理成功，则终止处理。如果检测处理失败，则处理进入步骤S5105，以执行改变灰尘检测半径的中心位置的处理。

将在后面说明用于改变灰尘检测半径的中心位置的方法。

如果在步骤S5106判断为检测处理成功，则终止处理。

如果检测处理失败，则处理进入步骤S5107。

在步骤S5107，改变灰尘检测算法，并且检测灰尘检测区域中的给定位置作为灰尘位置。

将在后面说明用于改变灰尘检测算法的方法。

接着将参考图7说明用于改变灰尘检测半径的方法。

在步骤S5201中，根据上述检测条件(1)和(2)改变用于改变灰尘检测半径的处理。

也就是说，如果存在一个灰尘颗粒与灰尘检测半径相接触，则处理进入步骤S5202，以增大灰尘检测半径。

如果存在多个灰尘颗粒与灰尘检测半径相接触，则处理进入步骤S5203以减小灰尘检测半径。

在步骤S5204，执行修复处理。如果在步骤S5205判断为修复处理成功，则处理进入步骤S5206。然后终止处理。

如果修复处理失败，则处理进入步骤S5207，并且在图6的步骤S5105中改变灰尘检测半径的位置。

将参考图8说明用于改变灰尘检测半径的中心位置的方法。

在步骤S5301，根据上述检测条件(1)和(2)改变灰尘检测半径的中心位置。

也就是说，如果存在多个灰尘颗粒与灰尘检测半径相接触，则处理进入步骤S5302，以沿没有灰尘与该半径相接触即均一性高的方向移动灰尘检测半径的中心位置。如果存在一个灰尘颗粒与半径相接触，则处理进入步骤S5303，以沿灰尘与半径相接触即亮度变化大的方向上移动中心位置。

在步骤S5304，执行修复处理。如果在步骤S5305判断为修复处理成功，则处理进入步骤S5306，终止处理。

根据上述技术，可以说灰尘检测半径的位置和灰尘检测半径的中心位置中的至少一个被改变。

如果修复处理失败，则处理进入步骤S5307，并且在图6的步骤S5107中改变灰尘检测算法。

现在将参考图9说明用于改变灰尘检测算法的方法。

在步骤S5401，判断为在用户任意指定的中心位置处存在灰尘。与根据平均亮度计算灰尘位置的步骤S1201相反，在该步骤中，通过使用区域扩大技术来确定灰尘区域，并且将修复处理应用于该区域。在这种情况下，区域扩大技术是用于判断与指定种子像素相邻的像素是否属于该区域的内部的技术。更具体地，将用户指定的中心位置处的像素设置为种子像素，并将如下像素定义为该区域内的像素：与种子像素相邻，并且具有与种子像素相关的信息，例如种子像素的亮度信息或颜色信息，落在预定范围内的信息。该技术还搜索与被定义为该区域内的像素的像素相邻的像素。该技术重复该处理以扩大该区域。当所有相邻像素成为具有预定范围外的信息的像素时，确定位于该区域内的所有像素。将如此确定的内部区域设置为灰尘区域，并且对该区域应用修复处理。

利用上述方法，即使对于检测失败的灰尘，通过根据来自用户的指令改变参数和算法以进行修复处理，也可以去除该灰尘。

当如此改变灰尘检测半径、灰尘检测半径的中心位置或算法时，如图10所示，该设备在画面上显示表示改变用户所指定的灰尘检测半径的位置或大小的信息。然后该设备通知用户自动处理的过程。

在该实施例中，当在首先改变灰尘检测半径的大小之后检测失败时，改变灰尘检测半径的中心位置。最后，改变处理算法，并进行处理。然而，可选地，可以按照与上述相反的顺序改变灰尘检测半径的大小和位置。

在该实施例中，仅改变一次灰尘检测半径的大小。然而，当要改变灰尘检测半径的大小和中心位置时，可以通过重复若干次该处理，来确定灰尘检测半径的大小和中心位置。在这种情况下，在通过确定重复次数、灰尘检测半径的最大值和最小值或最大移动量等所设置的范围内，重复该处理。

另一可选的，可以任意改变灰尘检测半径的大小和中心位置。在这种情况下，在通过确定重复次数等所设置的范围内，重复该处理。

第二实施例

第一实施例举例说明了这样一种情况：通过将拍摄到灰尘的图像数据传送给照相机外部的图像处理设备，进行灰尘检测处理和灰尘去除处理。第一实施例还说明了灰尘去除处理失败时要进行的再处理。

在第二实施例中，将说明这样一种情况：照相机体检测灰尘，并将灰尘校正数据附加给图像数据，然后照相机外部的图像处理设备通过使用附加给图像数据的灰尘校正数据对图像数据进行灰尘去除处理。该实施例还说明灰尘去除处理失败时要进行的再处理。

图11是示出根据本发明的第二实施例的镜头可更换的单镜头反光数字照相机的电路结构的框图。

参考图11，微型计算机402对照相机的全部操作进行控制，包括对于从图像传感器418(该实施例中为CCD)输出的图像数据的处理的控制和对LCD监视器装置417的显示控制。

当用户半按下释放按钮112(参考图12)时，接通开关(SW1)405。当接通开关(SW1)405时，该实施例的数字照相机准备拍摄。当用户将释放按钮112按至第二冲程位置(完全按下状态)时，接通开关(SW2)406。当接通开关(SW2)406时，该实施例的数字照相机开始拍摄操作。

在与拍摄镜头200(参考图13)通信和AF(自动调焦)操作时，镜头控制电路407对拍摄镜头200和光圈叶片进行驱动控制。

参考图11，外部显示控制电路408对外部显示装置(OLC)409和取景器中的显示装置(未示出)进行控制。开关感测电路410将来自包括设置在照相机中的电子拨盘411等多个开关的信号发送给微型计算机402。

电子闪光灯发射光控制电路412通过X触点412a接地，并且对外部电子闪光灯进行控制。焦距测量电路413检测AF操作的被摄体的散焦量。测光电路414测量被摄体的亮度。

快门控制电路415对快门进行控制，以进行图像传感器418的正确曝光。LCD监视器装置417和背光照明装置416构成图像显示装置。记录装置419为例如硬盘驱动器或从照相机体可拆卸的半导体存储卡。

将A/D转换器423、图像缓冲存储器424、包括DSP等的图像处理电路425、以及像素缺陷位置存储器426连接到微型计算机402，其中像素缺陷位置存储器426存储表示图像传感器中的预定像素本身有缺陷的信息。灰尘位置存储器427(用于存储图像传感器中由于灰尘而导致图像缺陷的像素位置)同样连接到微型计算机402。注意，优选非易失性存储器作为像素缺陷位置存储器426和灰尘位置存储器427。像素缺陷位置存储器426和灰尘位置存储器427可以通过使用同一存储空间内的不同地址存储信息。

非易失性存储器(428)存储由微型计算机402所执行的程序等。

图12是示出根据该实施例的数字照相机的外观的透视图。图13是图12所示的照相机的垂直断面图。

参考图12，在照相机体100的上部上设置有用于取景器观察的目镜窗口111、AE(自动曝光)锁定按钮114、AF焦距测量位置选择按钮113和用于拍摄操作的释放按钮112。在照相机体100的上部还设置有电子拨盘411、拍摄模式选择拨盘117和外部显示装置409。电子拨盘411是用于向照相机输入数值、并结合其它操作按钮切换拍摄模式的多功能信号输入装置。外部显示装置409包括液晶显示装置，显示快门速度、光圈值和拍摄模式等拍摄条件和其它信息。

将显示所拍摄的图像和各种设置窗口等的LCD监视器装置417、用于打开/关闭LCD监视器装置417的监视器开关121、十字开关116和菜单按钮124设置在照相机体100的背面。

十字开关116包括垂直和水平排列的四个按钮和处于中央的SET按钮。用户使用十字开关116向照相机发出用以选择或执行显示在LCD监视器装置417上的菜单项的指令。

菜单按钮124是用于使LCD监视器装置417显示用于对照相机进行各种设置的菜单窗口的按钮。在选择和设置拍摄模式时，用户通过在按下菜单按钮124时操作十字开关116的上、下、左和右按钮选择想要的模式，然后在选择了想要的模式时，按下SET按钮，如此完成设置。菜单按钮124和十字开关116还用以设置进行灰尘检测处理(后面说明)的灰尘检测模式、灰尘检测模式下的显示模式和识别标记。

由于该实施例中的LCD监视器装置417是传输型的，因而该装置不允许用户仅通过驱动LCD监视器装置直观地检查图像，并且该装置需要背面上的背光照明装置416，如图13所示。LCD监视器装置417和背光照明装置416构成图像显示装置。

如图13所示，作为拍摄光学系统的一部分的拍摄镜头200可通过镜头座202从照相机体100拆卸。参考图13，附图标记201表示拍摄光轴，附图标记203表示快速回位镜。

快速回位镜203被置于拍摄光路上，并且可以在以下两个位置之间移动：快速回位镜203将来自拍摄镜头200的被摄体光引导至取景器光学系统的位置(图13中所示的被称为倾斜位置的位置)和将快速回位镜203从拍摄光路移走的位置(称之为退出位置)。

参考图13，从快速回位镜203引导至取景器光学系统的被摄体光在调焦屏(focusing screen)204上形成图像。附图标记205表示用于改善取景器的可见度的聚光透镜，附图标记206表示将通过调焦屏204和聚光透镜205的被摄体光引导至用于取景器观察的目镜208和测光传感器207的五边形屋脊棱镜。

附图标记209和210分别表示构成快门的后帘和前帘。打开后帘209和前帘210将利用必要时间段的光对作为置于前后帘后的固体图像传感器的图像传感器418进行曝光。通过A/D转换器423和图像处理电路425等对由该图像传感器转换成各像素的电子信号的拍摄图像进行处理。将所得的数据作为图像数据记录在记录装置419上。

图像传感器418保持在印刷电路板211上。将作为显示板215的另一印刷电路板置于印刷电路板211的后面。LCD监视器装置417和背光照明装置416被配置在显示板215的对侧。

附图标记419表示记录图像数据的记录装置，附图标记217表示电池(便携式电源)。记录装置419和电池217是可从照相机体拆卸的。

灰尘检测处理

图14是用于解释根据该实施例的数字照相机中的灰尘检测处理(用于检测由于灰尘而导致图像缺陷的像素位置的处理)的流程图。微型计算机402通过执行存储在存储器428中的灰尘检测处理程序，执行该处理。

在第一次拍摄灰尘检测图像之后进行灰尘检测处理。用户放置照相机以使得拍摄镜头200的拍摄光轴201指向光源装置的出射面(exit surface)或白色墙等具有均一颜色的面，并准备进行灰尘检测。可选地，用户将用于灰尘检测的照明单元(取代镜头所安装的小型点光源)安装到镜头座202，并准备进行灰尘检测。例如，作为照明单元，可以使用白色LED。优选地将发光面的大小调整成等于预定光圈值(例如，该实施例中为F64)的值。

该实施例例示使用普通拍摄镜头的情况。然而，通过将上述照明单元直接安装到镜头座202足以进行灰尘检测。如上所述，在该实施例中，灰尘检测图像是具有均一颜色的图像。

当用户在完成了灰尘检测处理的准备时，通过使用例如十字开关116发出用以开始该处理的指令时，微型计算机402首先设置光圈。图像传感器附近的灰尘的成像状态根据镜头的光圈值而改变，并且灰尘图像的位置根据镜头的瞳孔位置而改变。因此，除灰尘的位置和大小外，灰尘校正数据还需包括检测时的镜头的光圈值和瞳孔位置。

然而，如果在生成灰尘校正数据的阶段预先判断为：不管是否使用不同镜头，都使用相同光圈值，则在灰尘校正数据中没有必要总是包括光圈值。另外，使用照明单元或仅允许使用特定镜头使不再需要在灰尘校正数据中保持任何瞳孔位置。也就是说，在生成灰尘校正数据的阶段，当允许使用多个镜头或者根据需要改变要设置的光圈值时，在灰尘校正数据中必须保持检测时镜头的光圈值和瞳孔位置。注意，该情况下的瞳孔位置表示与出瞳(exit pupil)的拍摄平面(焦平面)的距离。

在该实施例中，例如，指定F16作为光圈值(步骤S21)。

然后，微型计算机402使镜头控制电路407对拍摄镜头200进行光圈叶片控制，以将光圈设置成在步骤S21中所指定的光圈值(步骤S22)。另外，微型计算机402将焦点位置设置成无限远(步骤S23)。

当设置了拍摄镜头的光圈值和焦点位置时，微型计算机402以灰尘检测模式执行拍摄(步骤S24)。后面将参考图19详细说明步骤S24中所进行的拍摄处理程序。图像缓冲存储器424存储所拍摄的图像数据。

当完成拍摄操作时，微型计算机402获取拍摄时的光圈值和镜头瞳孔位置(步骤S25)。图像处理电路425读出与存储在图像缓冲存储器424中的拍摄图像的各像素相对应的数据(步骤S26)。图像处理电路425进行图16所示的处理，以获取存在灰尘部分的像素的位置和大小(步骤S27)。微型计算机402将在步骤S27中所获取的、存在灰尘部分的像素的位置和大小、以及在步骤S25中所获取的光圈值和镜头瞳孔位置信息登记在灰尘位置存储器427中(步骤S28)。如果在这种情况下使用上述照明单元，则可以不获取镜头信息。因此，如果可以不获取镜头信息，则判断为使用该照明单元，并且登记预定的镜头瞳孔位置信息和根据该照明单元的光源直径计算出的等同光圈值。

在步骤S28，将预先记录在像素缺陷位置存储器426上的、制造过程中造成的各缺陷像素(像素缺陷)的位置与读出的各像素数据的位置进行比较，以检查是否存在像素缺陷。然后，将被确定为具有除像素缺陷以外的缺陷的区域的位置登记在灰尘位置存储器427中。

图15示出存储在灰尘位置存储器427中的灰尘校正数据的数据格式的例子。如图15所示，将拍摄检测图像时的镜头信息和表示灰尘的位置和大小的信息存储为灰尘校正数据。将灰尘校正数据与普通拍摄时的图像数据的信息一起添加至图像，并在后面说明的灰尘去除处理中使用。

更具体地，将拍摄灰尘检测图像时的实际光圈值(F值)和镜头瞳孔位置存储为拍摄灰尘检测图像时的镜头信息。将所检测到的灰尘区域的数量(整数值)存储在该存储区域中。然后存储各灰尘区域各自的参数。灰尘区域参数包括作为一组的三个数值：灰尘部分的半径(例如，两字节)、有效图像区域的中心的x坐标(例如，两字节)和所述中心的y坐标(例如，两字节)。

例如，如果灰尘校正数据大小受到灰尘位置存储器427等的容量的限制，则优选按照在步骤S27中获得灰尘区域的时间顺序存储数据。这是因为：步骤S27中的灰尘区域获取程序按照显著性的降序对灰尘区域进行排序。

灰尘区域获取程序

接着将参考图16～18详细说明步骤S27中的灰尘区域获取程序。

如图17所示，在存储器中光栅化所读出的图像数据，并且以预定块为单位对该图像数据进行处理。进行这种处理以处理由于镜头或传感器特性而引起的临边昏暗(limb darkening)。临边昏暗是镜头的周边部分的亮度低于中心部分的亮度的现象。已知通过停止缩小镜头的光圈可以一定程度地减轻临边昏暗。然而，即使在停止缩小镜头的光圈的情况下，如果基于针对拍摄图像所预定的阈值来判断灰尘位置，则对于某些镜头来说也不可能正确检测周边部分处的灰尘。为了防止此，通过将图像数据分成块来降低临边昏暗的影响。

简单块分割出现了以下问题：如果阈值在块之间变化，则块间的灰尘部分的检测结果变得不准确。为了防止此，重叠块，并且将在构成重叠的任何一个块中被确定为灰尘部分的像素作为灰尘区域进行处理。

根据图16所示的过程进行块中的灰尘区域判断。首先，计算块中的最大亮度Lmax和平均亮度Lave。利用T1＝Lave x 0.6+Lmax x 0.4计算块中的阈值T1。将具有不超过该阈值的亮度的像素当作灰尘像素(步骤S61)。将以由灰尘像素所形成的各孤立区域定义为一个灰尘区域di(i＝0、1、......、n)(步骤S62)。如图18所示，对于各灰尘区域，获得构成灰尘区域的像素的水平坐标的最大值Xmax和最小值Xmin、以及垂直坐标的最大值Ymax和最小值Ymin。利用下面的等式计算表示灰尘区域di的大小的半径ri(步骤S63)。

$\mathrm{ri}=\sqrt{\left[\right\{(X\max -X\min )/2\}2+\{(Y\max -Y\min )/2\left\}2\right]}$

图18示出Xmax、Xmin、Ymax、Ymin和ri之间的关系。

在步骤S64，通过计算获取各灰尘区域的平均亮度值。

在某些情况下，灰尘校正数据大小受到例如灰尘位置存储器427的大小的限制。为了处理这种情况，基于灰尘区域的大小或平均亮度值存储多条灰尘位置信息(步骤S65)。在该实施例中，按照ri的降序进行排序。如果ri相同，则按照平均亮度值的升序进行排序。这允许将显著的灰尘优先登记在灰尘校正数据中。假定Di为排序后的灰尘区域，而Ri为灰尘区域Di的半径。

注意，可以从排序对象中排除大于预定大小的任何灰尘区域，并且将该灰尘区域置于排序后的灰尘区域列表的末尾。大的灰尘区域可能通过稍后的插值处理降低图像质量，因此，优选作为具有最低优先权的校正对象对其进行处理。

拍摄处理程序

接着将参考图19所示的流程图说明图14的步骤S24中的拍摄处理程序。微型计算机402通过执行存储在存储器428中的拍摄处理程序执行该处理。

当开始拍摄处理程序时，微型计算机402驱动图13所示的快速回位镜203，以在步骤S201中进行所谓的镜向上(mirrorup)，使得快速回位镜203退出拍摄光路。

在步骤S202，图像传感器开始存储电荷。在步骤S203，图13所示的快门的前帘210和后帘209工作以执行曝光。在步骤S204，图像传感器完成电荷存储。在步骤S205，从图像传感器读出图像信号，由A/D转换器423和图像处理电路425对该图像信号进行处理。将所得的图像数据主要存储在缓冲存储器424中。

当在步骤S206完成了从图像传感器读出所有图像信号时，微型计算机402在步骤S207将快速回位镜返回至镜向下(mirrordown)位置，从而终止这一系列拍摄操作。

在步骤S208，微型计算机402判断操作是普通拍摄操作还是灰尘检测图像拍摄操作。在普通拍摄操作时，处理进入步骤S209以将图15所示的灰尘校正数据与拍摄操作时的照相机设置值一起，与图像数据相关联地记录在记录装置419上。

更具体地，可以通过将灰尘校正数据附加地写到例如记录了拍摄操作时的照相机设置值的图像文件的标题区域的Exif区域中，来实现数据关联。还可以通过将灰尘校正数据记录为独立文件、并仅将灰尘校正数据文件的链接信息记录在图像数据中，来实现数据关联。然而，如果分开记录图像文件和灰尘校正数据文件，则在移动图像文件时可能丢失链接关系。因此，优选地将灰尘校正数据与图像数据作为一体来保持。

灰尘去除处理

接着将说明灰尘去除处理的过程。灰尘去除处理不是在照相机体中进行，而是在单独准备的图像处理设备中进行。

图1示意性示出该图像处理设备的系统结构。

在第一实施例中已说明了图1所示的图像处理设备的结构，因此将省略重复说明。

该实施例中的图像处理设备可以执行两种处理作为图像编辑功能。一种是复制图章处理，而另一种是修复处理。复制图章处理是用于将指定图像上的某些区域与分开指定的其它区域进行组合的功能。修复处理是用于检测符合预定条件的拍摄图像中的孤立区域、并利用相邻像素的数据值对孤立区域中的像素数据值进行插值的功能。

另外，该设备具有自动修复功能，该功能通过使用附加给数字照相机体中的图像数据的灰尘校正数据，自动执行指定坐标的修复处理(灰尘去除处理)。

后面将详细说明这些处理。

图2是示出该图像处理设备中的图像编辑程序的GUI(图形用户界面)的图。窗口具有关闭按钮1100和标题栏1101。当用户压下关闭按钮1100时，结束该程序。将文件拖放到图像显示区域1102以指定校正对象图像。当确定校正对象图像时，将文件名称显示在标题栏1101中，并将对象图像适合显示在图像显示区域1102中。

以两种状态显示编辑对象图像，即适合显示状态和像素逐一显示状态。通过操作显示模式按钮1108可以切换这些两种显示状态。根据该GUI，通过点击图像指定处理位置。在适合显示状态下，根据显示放大率计算与用户通过例如点击鼠标上的按钮所识别的位置相对应的处理后的图像上的坐标，并且将该处理应用于计算出的坐标。根据该GUI，利用半径确定处理范围。该半径是编辑对象图像上的半径，并且有时不同于依据显示放大率的适合显示的图像上的半径。

当用户按下自动修复按钮1103时，执行自动灰尘去除处理(后面说明)。然后将处理后的图像显示在图像显示区域1102上。仅当没有编辑图像时，自动修复按钮1103才变得有效。在执行复制图章处理、修复处理和自动修复处理时，在编辑图像之后自动修复按钮1103变成无效。

半径滑动块1106是指定复制图章处理和修复处理的应用范围的滑动块。

当用户按下修复处理模式按钮1104时，开始修复处理。当用户在修复处理模式下左键点击图像中的一部分时，将修复处理(后面说明)应用于以左键点击的坐标为中心、且以通过半径滑动块1106所指定的像素的数量作为半径的区域。在应用修复处理后，处理退出修复处理模式。当用户在修复处理模式下右键点击图像显示区域1102、或者按下GUI上的任一按钮时，处理退出修复处理模式。

当用户按下复制图章处理模式按钮1105时，开始复制图章模式。当用户在复制图章模式下左键点击图像中的一部分时，将左键点击的坐标设置为复制源区域的中心坐标。当用户在设置复制源区域的中心坐标时再次左键点击该图像时，以左键点击的坐标作为复制目的地区域的中心坐标并以此时通过半径滑动块1106所指定的半径作为复制半径，执行复制图章处理。然后处理退出复制图章模式，然而保持未设置复制源区域的中心坐标。当用户在复制图章模式下右键点击图像显示区域1102或者按下GUI上的任一按钮时，处理退出复制图章模式，然而复制源区域的中心坐标保持未设置。

当用户按下保存按钮1107时，保存处理后的图像。

该图像编辑程序同时保持源图像和处理后的图像，如图3所示。将通过GUI所指定的编辑处理应用于处理后的图像，并且将所应用的编辑处理登记在编辑历史中。将登记在编辑历史中的一个编辑处理称作为编辑条目。图4示出编辑条目的例子。该实施例中的编辑条目保持用于区分复制图章处理和修复处理的处理ID、表示处理应用区域的中心和半径、复制图章处理所需的从复制源坐标到复制目的地坐标的相对坐标、以及后面说明的差分图像数据。当执行自动修复处理时，根据灰尘校正数据执行修复处理。每当应用修复处理时，将编辑条目添加给编辑历史。

这种执行使得能够在完全丢弃编辑历史或取消紧挨的前一编辑处理时重构源图像。

例如，可以通过利用源图像临时覆盖写处理后的图像、然后再执行编辑处理直到作为取消对象的编辑条目为止，来实现用于取消紧挨的前一编辑处理的处理。然而，如果条目的数量非常大，则再执行编辑处理可能需要很长时间。因为这个原因，每当执行编辑操作时，将执行编辑处理前后的图像数据之间的差保持在编辑条目中。保持差分图像允许该设备仅反映与作为取消对象的编辑条目相对应的差分图像，代替从头开始再执行写入编辑条目中的编辑处理。

接着将详细说明修复处理和自动修复处理。复制图章处理是公知的技术，因此省略对该处理的详细说明。

修复处理是用于在指定区域中检测孤立区域、并对孤立区域中的像素值进行插值的处理。通过将插值程序(后面说明)应用于利用由GUI指定的中心坐标和半径所表示的区域，来实现该修复处理。

在自动修复处理中，从普通拍摄图像数据提取灰尘校正数据，并且根据灰尘校正数据自动执行修复处理。图20示出自动修复处理的基本过程。

图像处理设备从数字照相机(或可从数字照相机拆卸的记录装置419)读出具有灰尘校正数据的普通拍摄图像数据，并将该数据存储在主存储单元1002或次存储单元1003中(步骤S90)。

然后，该设备从普通拍摄图像数据(灰尘去除处理对象图像)提取在步骤S209添加给该拍摄图像的灰尘校正数据(步骤S91)。

该设备从在步骤S91所提取的灰尘校正数据中获取坐标序列Di(i＝1、2、......、n)、半径序列Ri(i＝1、2、......、n)、光圈值f1和透镜瞳孔位置L1(步骤S92)。在这种情况下，Ri表示在图16的步骤S65中计算出的坐标Di处的灰尘的大小。在步骤S93中，该设备获取普通拍摄图像时的光圈值f2和透镜瞳孔位置L2。在步骤S94，该设备通过下面的表达式对Di进行转换，其中，d是从图像中心到坐标Di的距离，H是灰尘与图像传感器418的表面之间的距离。例如，如下定义转换后的坐标Di’和转换后的半径Ri’：

Di′(x，y)＝(L2x(L1-H)x d/((L2-H)x L1))x

Di(x，y)

Ri′＝(Ri x f1/f2+3)x 2               ...(1)

在这种情况下，单位是像素，并且，Ri’的“+3”是空白量。因为通过使用平均亮度来检测灰尘区域必需灰尘区域外部的区域，因而(Ri x f1/f2+3)加倍。

在步骤S95，该设备将插值处理计数i初始化为0，并且在步骤S96中累加计数器i。

在步骤S97，该设备对由第i个坐标Di′和半径Ri′所表示的区域执行插值程序，以去除该区域中的灰尘部分。在步骤S98，该设备判断是否对所有坐标应用了灰尘去除处理。如果在步骤S98为“是”，则该设备终止处理。如果在步骤S98为“否”，则处理返回到步骤S96。

已知由于拍摄时的F值降低(接近开放F值)，因而灰尘图像更模糊且变得更不明显。因此考虑到：当在执行自动修复处理前参考拍摄时的F值，且该参考值小于阈值时，使不再需要进行所有修复处理。这使得即使存在许多编辑对象图像，也可以省略分析处理并有效进行处理。在该实施例中，例如，当光圈值小于F8时，跳过自动修复处理。

图21示出以这种方式变形后的自动修复处理的过程。

除在所有处理前获取拍摄时的参数以外，该处理与图20所示的处理相同，在步骤S132将所获取的参数与阈值进行比较。

插值程序

现在将说明修复处理和自动修复处理中所执行的插值程序。

图5是示出插值程序的过程的流程图。首先，在步骤S1201，进行灰尘区域(缺陷区域)确定。在这种情况下，假定P为作为修复处理对象的区域的中心坐标，并且R为该区域的半径。灰尘区域是满足所有以下条件的区域。

(1)亮度低于阈值T2的区域，其中，通过T2＝Yave x 0.6+Ymax x 0.4获得T2，Yave是包括在修复处理对象区域中的像素的平均亮度，而Ymax为这些像素的最大亮度。

(2)与由中心坐标P和半径R所表示的圆不接触的区域。

(3)由(1)中所选择的低亮度像素所构成的孤立区域中的、利用与图16的步骤S63中的方法相同的方法计算出的半径值为x个像素或更多像素且小于y个像素的区域。

在自动修复处理时，将除以上条件外还满足下面的条件的区域设置为灰尘区域。

(4)包括该圆的中心坐标P的区域。

在该实施例中，x为三个像素，而y为30个像素。这样仅允许将孤立的小区域作为灰尘区域进行处理。

如果在步骤S1202判断为存在这种区域，则处理进入步骤S1203，以执行灰尘区域插值。如果不存在这种区域，则终止该处理。利用公知的缺陷区域插值方法执行步骤S1203中的灰尘区域插值处理。公知的缺陷区域插值方法的例子有日本特开2001-223894号公报中所公开的图案替换。日本特开2001-223894号公报中所公开的方法通过使用红外光指定缺陷区域。在该实施例中，作为缺陷区域处理在步骤S1201中所检测到的灰尘区域，并且执行图案替换，以根据正常相邻像素对灰尘区域进行插值。通过按照与利用图案替换所插值的图像数据中的插值对象像素的距离的升序选择p个普通像素，按照距离的降序选择q个普通像素，并且使用所选择像素的平均颜色，来对不能利用图案替换补偿的像素进行插值。

将参考图22的流程图说明在步骤S1202判断为没有灰尘区域时要执行的处理。

在步骤S5501，在自动修复处理中，记录不存在孤立小区域的地方和没有检测到灰尘的条件。

在这种情况下，不存在孤立小区域的条件包括以下条件：

(1)灰尘与灰尘检测半径相接触。

(2)在灰尘检测半径内不存在暗于阈值T2的区域。

另外，检测到灰尘的条件包括灰尘区域的数量等。记录这些条件。

如果在步骤S5502判断为存在未出现灰尘区域的一个或更多位置，并且用户在执行自动修复处理后指定再执行自动修复处理，则执行下面的处理。判断为没有检测到灰尘区域，但是用户急切想要去除该位置处的灰尘，处理进入步骤S5503。

更具体地，如果在例如按下图2中的自动修复按钮(第一指定部件)1103时，存在被确定为在执行自动修复处理之后没有灰尘区域的一个或更多位置，则进行下面的处理。当将显示在自动修复按钮1103上的字符串改变成“自动再处理”等以允许用户按下该按钮(第二指定部件)，用户再次按下自动修复按钮1103时，该设备进行自动修复再处理。该设备除包括自动修复按钮1103以外还包括再处理指定按钮，代替改变字符串以表示该按钮作为再处理的按钮。另外，为了在执行再处理前向用户通知将进行再处理的灰尘的位置，当用户仅将鼠标光标放在按钮上时，该设备可以在图像显示区域1102上显示没有进行处理的所有灰尘区域。

如果用户没有指定再处理，则终止该处理。

在步骤S5503，该设备从未检测到的灰尘区域的最左上的位置开始进行处理。首先，该设备执行关于改变灰尘检测半径的大小的处理。用于改变灰尘检测半径的方法与第一实施例中图7所示的处理中的相同，因此省略重复说明。

如果在步骤S5504判断为检测处理成功，则处理进入步骤S5508。如果处理失败，则处理进入步骤S5505以改变灰尘检测半径的中心位置，并执行处理。

用于改变灰尘检测半径的中心位置的方法与第一实施例中图8所示的处理中的方法相同，因此省略重复说明。

如果在步骤S5506判断为检测处理成功，则处理进入步骤S5508。如果处理失败，则处理进入步骤S5507。

在步骤S5507，该设备改变灰尘检测算法，并将灰尘检测区域内的给定位置检测为灰尘位置。然后处理进入步骤S5508。

用于改变灰尘检测算法的方法与第一实施例中图9所示的处理中的方法相同，因此省略重复说明。

在步骤S5508中判断是否处理了不能检测到灰尘的所有区域。如果在步骤S5508为“否”，则处理返回到步骤S5503以处理未处理的区域。如果在步骤S5508为“是”，则终止处理。

利用上述方法，通过改变参数和算法来进行修复处理，也可以去除在自动修复处理中检测曾经失败的灰尘。

在上述自动修复处理中，根据拍摄时的F值仅判断是否应用处理，如图21的步骤S132所示。然而，实际上，灰尘越大，则越明显，因此通过组合F值和灰尘的大小足以判断是否应用处理。可选地，该设备可以计算检测时灰尘区域与周围区域之间的亮度差，并将该差存储在灰尘校正数据中，并且可以将其用于插值程序的执行判断处理。例如，可以考虑下面的方法。当光圈值接近开放F值时，小灰尘可能不明显。因此，在这种情况下跳过该处理。

在该实施例中，当在第一次改变灰尘检测半径的大小后检测失败时，改变灰尘检测半径的中心位置。最后改变处理算法，并且进行处理。然而，可选地，可以按照与上述相反的顺序改变灰尘检测半径的大小和位置。

在该实施例中，仅改变一次灰尘检测半径的大小。然而，当要改变灰尘检测半径的大小和中心位置时，可以通过重复处理若干次来判断灰尘检测半径的大小和中心位置。在这种情况下，在通过确定重复次数、灰尘检测半径的最大值和最小值、或最大移动量等所设置的范围内，重复该处理。

另外，可以以任意形式改变灰尘检测半径的大小和中心位置。在这种情况下，在通过确定重复次数等所设置的范围内重复该处理。

其它实施例

还可以通过下面的方法实现本发明。将记录用以实现上述实施例的功能的软件程序代码的存储介质(或记录介质)提供给系统或设备。该系统或设备的计算机(或CPU或MPU)读出并执行存储在该存储介质中的程序代码。在这种情况下，从存储介质读出的程序代码本身实现上述实施例的功能。存储该程序代码的存储介质构成本发明。不仅当由计算机执行读出的程序代码时，而且还当运行在计算机上的操作系统(OS)基于程序代码的指令进行部分或全部实际处理时，实现上述实施例的功能。

本发明还包括这样一种情况：将从存储介质读出的程序代码写入插入计算机中的功能扩展板或与计算机连接的功能扩展单元的存储器中。然后该功能扩展板或功能扩展单元的CPU基于程序代码的指令进行部分或全部实际处理，从而实现上述实施例。

当本发明应用于上述存储介质时，存储介质存储与上述过程相对应的程序代码。

尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这种修改、等同结构和功能。

Claims (6)

1.一种图像处理设备，用于对由包括具有二维排列的多个像素的图像传感器的摄像设备所拍摄的、并拍摄到附着到置于所述图像传感器前面的光学元件上的异物的影像的图像进行校正，以降低所述异物的影像的影响，所述图像处理设备包括：

插值单元，用于根据所述异物的影像外的相邻像素的信号，对所拍摄的图像上的与所述异物的影像相对应的像素的信号进行插值；

指定单元，用于输入使所述插值单元进行所述插值的指令；以及

控制单元，用于根据从所述指定单元输入的指令控制所述插值单元进行所述插值，如果所述插值单元不能进行所述插值则接受从所述指定单元输入的再执行指令，以及通过改变所述插值的参数或所述插值的算法来使所述插值单元再执行所述插值。

2.根据权利要求1所述的图像处理设备，其特征在于，所述指定单元在首次输入用以进行所述插值的指令的情况和输入所述再执行指令的情况间提供不同的指示。

3.根据权利要求1所述的图像处理设备，其特征在于，所述指定单元包括：第一指定单元，用于首次输入用以进行所述插值的指令；以及第二指定单元，用于输入所述再执行指令。

4.根据权利要求1所述的图像处理设备，其特征在于，还包括：

位置指定单元，用于指定所述所拍摄图像上的任意位置；以及

大小指定单元，用于指定用于所述插值的区域的大小；

其中，所述控制单元基于由所述位置指定单元和所述大小指定单元所指定的位置和大小，根据从所述指定单元输入的指令，来控制所述插值单元执行所述插值，并且在接受了所述再执行指令时，控制所述插值单元通过改变所述位置和所述大小中的至少一个来再执行所述插值。

5.根据权利要求1所述的图像处理设备，其特征在于，

所述图像处理设备将关于所述异物影像的位置和大小中的至少一个的信息与所述所拍摄图像相关联地进行存储；以及

所述控制单元基于由所述信息所表示的所述位置和所述大小，根据从所述指定单元输入的指令，来控制所述插值单元执行所述插值，并且在输入了所述再执行指令时，使所述插值单元通过改变所述位置和所述大小中的至少一个来再执行所述插值。

6.一种用于控制图像处理设备的方法，所述图像处理设备对由包括具有二维排列的多个像素的图像传感器的摄像设备所拍摄的、并且拍摄到附着到置于所述图像传感器前面的光学元件上的异物的影像的图像进行校正，以降低所述异物的影像的影响，所述图像处理设备包括：插值单元，用于根据所述异物的影像外的相邻像素的信号，对所拍摄图像上的与所述异物的影像相对应的像素的信号进行插值；以及指定单元，用于输入用以使所述插值单元进行所述插值的指令，所述方法包括：

使所述插值单元根据从所述指定单元输入的指令进行所述插值，如果所述插值单元不能进行所述插值时，从所述指定单元接受再执行指令，并且在接受了再执行指令时，使所述插值单元通过改变所述插值的参数或所述插值的算法来再执行所述插值。

Images