CN1473314A - 图像处理设备和方法、以及图像拍摄设备 - Google Patents

Abstract

一种能够处理背景图像和运动对象图像的混合的图像处理装置。区域识别模块(103)识别混合了前景对象成分和背景对象成分的混合区、和仅存在前景对象成分和背景对象成分中的一个的非混合区，和输出与识别结果相对应的区域信息。前景分离模块(105)根据区域信息，把输入图像分离成前景成分图像和背景成分图像。分离图像处理模块(106)根据分离结果，分别处理前景成分图像和背景成分图像。本发明可应用于图像处理装置。

Description

图像处理设备和方法、以及图像拍摄设备

技术领域

本发明涉及图像处理设备和方法、以及图像拍摄设备，并且特别涉及考虑到传感器所检测的信号与客观世界之间的差异的图像处理设备和方法、以及图像拍摄设备。

背景技术

一种根据输入图像生成分辨率更高的图像的处理类型是分类自适应处理(class classification adaptation processing)。分类自适应处理的一个例子是这样一种处理，其中，在空间方向，预先生成在用于生成分辨率更高的图像的处理中使用的系数，并根据生成的系数，在空间方向生成分辨率更高的图像。

图1是说明用于生成系数的传统图像处理设备的配置的框图，上述系数在用于从SD(标准清晰度)图像中生成HD(高清晰度)图像的分类自适应处理中使用。

帧存储器11以逐帧递增的方式存储输入图像，该输入图像是HD图像。帧存储器11把存储的HD图像提供给加权平均单元12和相应像素获取单元16。

加权平均单元12对存储在帧存储器11中的HD图像进行四分之一加权平均，生成SD图像，并且把生成的SD图像提供给帧存储器13。

帧存储器13以逐帧递增的方式存储由加权平均单元12提供的SD图像，并且把所存储的SD图像提供给分类单元14和预测抽头获取单元15。

分类单元14由类抽头获取单元21和波形分类单元22构成，并对感兴趣像素进行分类，上述感兴趣像素是存储在帧存储器13中的SD图像中的感兴趣像素。类抽头获取单元21从帧存储器13中获取预定个数的类抽头，其是与感兴趣像素相应的SD图像的像素，并且把所获取的类抽头提供给波形分类单元22。

图2是说明由类抽头获取单元21获取的类抽头的图。如图2所示，类抽头获取单元21获取在预定位置上的11个类抽头。

波形分类单元22根据类抽头，把感兴趣像素分到多个类当中的一个类中，并且把与所分的类相对应的类号提供给预测抽头获取单元15。波形分类单元22根据11个类抽头，把感兴趣像素分到2048个类当中的一个类中。

预测抽头获取单元15根据类号，从帧存储器13中获取与所分的类相对应的预定个数的预测抽头，该预测抽头是SD图像的像素，并把获取的预测抽头和类号提供给相应像素获取单元16。

图3是说明预测抽头获取单元15获取的预测抽头的图。如图3所示，预测抽头获取单元15获取预定位置上的9个预测抽头。

相应像素获取单元16根据预测抽头和类号，从帧存储器11中获取与待预测像素值相对应的HD图像的像素，并且把预测抽头、类号、和与所获得的待预测像素值相对应的HD图像的像素提供给标准表达式生成单元17。

标准表达式生成单元17根据预测抽头、类号、和所获取的待预测像素值，生成与该类相对应的、与预测抽头和待预测像素值之间的关系相对应的标准表达式，并且把生成的与该类相对应的标准表达式提供给系数计算单元18。

系数计算单元18求解标准表达式生成单元17所提供的标准表达式，计算与每个类相对应的系数组，并且把所计算的系数组与类号一起提供给系数组存储器19。

系数组存储器19根据类号，存储所计算的与该类相对应的系数组。

图4是说明分类自适应处理的概况的图。在分类自适应处理中，通过四分之一加权平均处理，用是HD图像的教师图像(tutor image)来生成相应的SD图像。所生成的SD图像被称为学生图像(student image)。

接着，根据是HD图像的教师图像和是相应的SD图像的学生图像，来生成用于从SD图像中生成HD图像的系数组。系数组是用于通过线性预测等方法从SD图像中生成HD图像的系数构成。通过线性预测等方法从如此生成的系数组和SD图像中生成四倍密度图像。从系数组和输入图像中生成密度更高的图像等的处理也称为映射。

根据生成的四倍密度图像和相应的HD图像，来进行SNR比较，或视觉定性评估。

从特定教师图像和相应学生图像生成的系数组也被称为特定教师图像和相应学生图像的自系数组。利用自系数组的映射也被称为自映射。从多个其它教师图像和相应学生图像生成的系数组也被称为互系数组。

另一方面，对于由摄像机拍摄移过预定静态背景的前景对象所获得的图像，在对象的运动速率相对高的情况下，会出现运动模糊(movementblurring)，并且会出现前景与背景的混合。

对于传统分类自适应处理，通过如上所述的学习处理，来为所有前景、背景、和出现前景和背景混合的部分生成一组系数，并根据该系数组进行映射处理。

下面参照图6所示的流程图，描述用于生成在用于从SD图像中生成HD图像的处理中使用的系数的传统学习处理。在步骤S11中，图像处理设备判断在学生图像中是否还存在未处理的像素，并且，在判断学生图像中还存在未处理像素的情况下，流程前进到步骤S12，以光栅扫描的顺序，从学生图像中获取感兴趣像素。

在步骤S13中，分类单元14的类抽头获取单元21从存储在帧存储器13中的学生图像中，获取与感兴趣像素相对应的类抽头。在步骤S14中，分类单元14的波形分类单元22根据类抽头，对感兴趣像素进行分类。在步骤S15中，预测抽头获取单元15根据所分的类，从存储在帧存储器13中的学生图像中获取与感兴趣像素相对应的预测抽头。

在步骤S16中，相应像素获取单元16根据所分的类，从存储在帧存储器13中的教师图像中获取与待预测像素值相对应的像素。

在步骤S17中，标准表达式生成单元17根据所分的类，把与预测抽头和待预测像素值相对应的像素的像素值加入每个类的矩阵中，然后，流程返回到步骤S11中，图像处理设备重复有关是否还存在未处理像素的判断。把与预测抽头和待预测像素值相对应的像素的像素值所加入到的每个类的矩阵对应于为每个类计算系数的标准表达式。

在步骤S11中判断学生图像中没有未处理像素的情况下，流程转到步骤S18，在步骤S18中，标准表达式生成单元17把已经设置了与预测抽头和待预测像素值相对应的像素的像素值的每个类的矩阵提供给系数计算单元18。系数计算单元18求解其中已经设置了与预测抽头和待预测像素值相对应的像素的像素值的每个类的矩阵，并计算每个类的系数组。

在步骤S19中，系数计算单元18把已经计算出来的每个类的系数输出到系数组存储器19。系数组存储器19存储每个类的系数组，然后，结束处理。

图7是说明用于通过分类自适应处理，从SD图像中生成HD图像的传统图像处理设备的配置的框图。

帧存储器31以逐帧递增的方式存储是SD图像的输入图像。帧存储器31把存储的SD图像提供给映射单元32。

把输入到映射单元32的SD图像被提供给分类单元41和预测抽头获取单元42。

分类单元41由类抽头获取单元51和波形分类单元52构成，并对本身是存储在帧存储器31中的SD图像中的感兴趣像素的感兴趣像素进行分类。类抽头获取单元51从帧存储器31中获取与感兴趣像素相对应的预定个数的类抽头，并且把获取的类抽头提供给波形分类单元52。

波形分类单元52根据类抽头，把感兴趣像素分到多个类当中的一个类中，并且把与所分的类相对应的类号提供给预测抽头获取单元42。

预测抽头获取单元42根据类号，从存储在帧存储器31中的输入图像获取与所分的类相对应的预定个数的预测抽头，并且把获取的预测抽头和类号供给给预测计算单元43。

预测计算单元43根据类号，从存储在系数组存储器33中的系数组中获取与类相对应的系数组。预测计算单元43根据与类相对应的系数组、和预测抽头，通过线性预测来预测所预测图像的像素值。预测计算单元43把预测的像素值提供给帧存储器34。

帧存储器34存储预测计算单元43提供的所预测像素值，并且输出其中已经设置了所预测像素值的HD图像。

图8是说明输入图像的像素值、和由分类自适应处理生成的输出图像的像素值的图。图8中，空心方块表示输入信号，实心圆圈表示输出信号。如图8所示，由分类自适应处理生成的图像包含了由于SD图像的带宽限制而损失的波形。在这个意义上，可以认为，通过分类自适应处理生成分辨率更高的图像的处理创建了分辨率。

下面参照图9中的流程图，描述了用于创建图像以便使用图像处理设备从SD图像中生成HD图像的传统处理，该设备通过分类自适应处理来执行用于创建分辨率的处理。

在步骤S31中，图像处理设备判断在输入图像中是否还存在未处理的像素，并且，在作出在输入图像中还存在未处理像素的判断的情况下，流程前进到步骤S32，在步骤S32中，映射单元32获取存储在系数组存储器33中的系数组。在步骤S33中，图像处理设备以光栅扫描顺序，从输入图像中获取感兴趣像素。

在步骤S34中，分类单元41的类抽头获取单元51从存储在帧存储器31中的输入图像中获取与感兴趣像素相对应的类抽头。在步骤S35中，分类单元41的波形分类单元52根据类抽头，把感兴趣像素分到一个类中。

在步骤S36中，预测抽头获取单元42根据所分的类，从存储在帧存储器31中的输入图像中获取与感兴趣像素相对应的预测抽头。

在步骤S37中，预测计算单元43根据与所分的类相对应的系数组和预测抽头，通过线性预测获取所预测图像的像素值。

在步骤S38中，预测计算单元43把所预测的像素值输出到帧存储器34。帧存储器34存储预测计算单元43所提供的像素值。过程返回到步骤S31，重复有关是否还存在未处理像素的判断。

在步骤S3 1中作出在输入图像中不存在未处理像素的判断的情况下，流程前进到步骤S39，在步骤S39中，帧存储器34输出所存储的、其中设置了所预测值的所预测图像，然后，结束处理。

此外，边缘改善处理用于把输入图像转换成分辨率提高得更高的图像。与如上所述的分类自适应处理一样，也利用边缘改善处理对整个屏幕进行相同的处理。

但是，在对象在静止背景的前面移动的情况下，不仅运动对象图像本身的混合会引起运动模糊，而且运动对象图像与背景图像的混合也会引起运动模糊。传统上，还没有考虑处理与背景图像和运动对象图像的混合相对应的图像。

发明内容

本发明就是在考虑了上述情况之后作出的，因此，本发明的一个目的是能够处理与背景图像和运动对象图像的混合相对应的图像。

根据本发明的图像处理设备包括：区域指定装置，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合所组成的混合区、和由由前景对象成分所组成的前景区和由构成背景对象的背景对象成分所组成的背景区之一所组成的非混合区中的一个或另一个，和输出与指定结果相对应的区域指定信息；分离装置，用于与区域指定信息相对应，把至少在混合区中的输入图像数据分离成前景对象成分和背景对象成分；和处理装置，用于与分离结果相对应，分别处理前景对象成分和背景对象成分。

该图像处理设备还可以包括消除装置，用于消除前景对象成分和背景对象成分至少其中之一的运动模糊，并且，处理装置分别处理经过运动模糊消除的前景对象成分和背景对象成分。

该区域指定装置还可以指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息，并且，该分离装置把输入图像数据分离成在覆盖背景区和未覆盖背景区中的前景对象成分和背景对象成分。

该处理装置可以为前景对象成分和背景对象成分中的每一个生成用于分类自适应处理的系数。

该处理装置可以通过分类自适应处理，为前景对象成分和背景对象成分中的每一个生成输出图像数据。

该处理装置可以对前景对象成分和背景对象成分中的每一个进行边缘改善。

该图像处理设备还可以包括：前景成分图像生成装置，用于通过合成在混合区中分离的前景对象成分和前景区的像素数据，来生成前景成分图像；和背景成分图像生成装置，用于通过合成在混合区中分离的背景对象成分和背景区的像素数据，来生成背景成分图像；并且，处理装置分别处理所生成的前景成分图像和背景成分图像。

根据本发明的图像处理方法包括：区域指定步骤，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合所组成的混合区、和由由前景对象成分所组成的前景区和由构成背景对象的背景对象成分所组成的背景区之一所组成的非混合区中的一个或另一个，和输出与指定结果相对应的区域指定信息；分离步骤，用于与区域指定信息相对应，把至少在混合区中的输入图像数据分离成前景对象成分和背景对象成分；和处理步骤，用于与分离结果相对应，分别处理前景对象成分和背景对象成分。

该图像处理方法还可以包括消除步骤，用于消除前景对象成分和背景对象成分至少其中之一的运动模糊，并且，在处理步骤中分别处理经过运动模糊消除的前景对象成分和背景对象成分。

在该区域指定步骤，还可以指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息，并且，在该分离步骤中，把输入图像数据分离成在覆盖背景区和未覆盖背景区中的前景对象成分和背景对象成分。

在该处理步骤，可以为前景对象成分和背景对象成分中的每一个生成用于分类自适应处理的系数。

在该处理步骤中，可以通过分类自适应处理，为前景对象成分和背景对象成分中的每一个生成输出图像数据。

在该处理步骤中，可以对前景对象成分和背景对象成分中的每一个进行边缘改善。

该图像处理方法还可以包括：前景成分图像生成步骤，用于通过合成在混合区中分离的前景对象成分和前景区的像素数据，来生成前景成分图像；和背景成分图像生成步骤，用于通过合成在混合区中分离的背景对象成分和背景区的像素数据，来生成背景成分图像；并且，在处理步骤中分别处理所生成的前景成分图像和背景成分图像。

根据本发明的记录在记录媒体中的程序包括：区域指定步骤，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合所组成的混合区、和由由前景对象成分所组成的前景区和由构成背景对象的背景对象成分所组成的背景区之一所组成的非混合区中的一个或另一个，并输出与指定结果相对应的区域指定信息；分离步骤，用于与区域指定信息相对应，把至少在混合区中的输入图像数据分离成前景对象成分和背景对象成分；和处理步骤，用于与分离结果相对应，分别处理前景对象成分和背景对象成分。

该记录在记录媒体中的程序还可以包括消除步骤，用于消除前景对象成分和背景对象成分至少其中之一的运动模糊，并且，在处理步骤中分别处理经过运动模糊消除的前景对象成分和背景对象成分。

在该区域指定步骤，还可以指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息，以及在该分离步骤中，把输入图像数据分离成在覆盖背景区和未覆盖背景区中的前景对象成分和背景对象成分。

在该处理步骤，可以为前景对象成分和背景对象成分中的每一个生成用于分类自适应处理的系数。

在该处理步骤中，可以通过分类自适应处理，为前景对象成分和背景对象成分中的每一个生成输出图像数据。

在该处理步骤中，可以对前景对象成分和背景对象成分中的每一个进行边缘改善。

该记录在记录媒体中的程序还可以包括：前景成分图像生成步骤，用于通过合成在混合区中分离的前景对象成分和前景区的像素数据，来生成前景成分图像；和背景成分图像生成步骤，用于通过合成在混合区中分离的背景对象成分和背景区的像素数据，来生成背景成分图像；并且，在处理步骤中分别处理所生成的前景成分图像和背景成分图像。

根据本发明的程序使计算机执行：区域指定步骤，用于根据输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合所组成的混合区、和由由前景对象成分所组成的前景区和由构成背景对象的背景对象成分所组成的背景区之一所组成的非混合区中的一个或另一个，和输出与指定结果相对应的区域指定信息；分离步骤，用于与区域指定信息相对应，把至少在混合区中的输入图像数据分离成前景对象成分和背景对象成分；和处理步骤，用于与分离结果相对应，分别处理前景对象成分和背景对象成分。

该程序还可以包括消除步骤，用于消除前景对象成分和背景对象成分至少其中之一的运动模糊，并且，在处理步骤中分别处理经过运动模糊消除的前景对象成分和背景对象成分。

在该区域指定步骤，还可以指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息，并且在该分离步骤中，把输入图像数据分离成在覆盖背景区和未覆盖背景区中的前景对象成分和背景对象成分。

在该处理步骤，可以为前景对象成分和背景对象成分中的每一个生成用于分类自适应处理的系数。

在该处理步骤中，可以通过分类自适应处理，为前景对象成分和背景对象成分中的每一个生成输出图像数据。

在该处理步骤中，可以对前景对象成分和背景对象成分中的每一个进行边缘改善。

该程序还可以包括：前景成分图像生成步骤，用于通过合成在混合区中分离的前景对象成分和前景区的像素数据，来生成前景成分图像；和背景成分图像生成步骤，用于通过合成在混合区中分离的背景对象成分和背景区的像素数据，来生成背景成分图像；并且，在处理步骤中分别处理所生成的前景成分图像和背景成分图像。

根据本发明的图像拍摄设备包括：图像拍摄装置，用于输出由具有预定个具有时间积分效应的像素的图像拍摄设备所拍摄的主体图像，来作为由预定个数的像素数据所组成的所拍摄图像数据；区域指定装置，用于根据所拍摄图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由由前景对象成分所组成的前景区和由构成背景对象的背景对象成分所组成的背景区之一所组成的非混合区中的一个或另一个，和输出与指定结果相对应的区域指定信息；分离装置，用于与区域指定信息相对应，把至少在混合区中的所拍摄图像数据分离成前景对象成分和背景对象成分；和处理装置，用于与分离结果相对应，分别处理前景对象成分和背景对象成分。

该图像拍摄设备还可以包括消除装置，用于消除前景对象成分和背景对象成分至少其中之一的运动模糊，并且，处理装置分别处理经过运动模糊消除的前景对象成分和背景对象成分。

该区域指定装置还可以指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的区域指定信息，并且，该分离装置把所拍摄图像数据分离成在覆盖背景区和未覆盖背景区中的前景对象成分和背景对象成分。

该处理装置可以为前景对象成分和背景对象成分中的每一个生成用于分类自适应处理的系数。

该处理装置可以通过分类自适应处理，为前景对象成分和背景对象成分中的每一个生成输出图像数据。

该处理装置可以对前景对象成分和背景对象成分中的每一个进行边缘改善。

该图像拍摄设备还可以包括：前景成分图像生成装置，用于通过合成在混合区中分离的前景对象成分和前景区的像素数据，来生成前景成分图像；和背景成分图像生成装置，用于通过合成在混合区中分离的背景对象成分和背景区的像素数据，来生成背景成分图像；并且，处理装置分别处理所生成的前景成分图像和背景成分图像。

指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合所组成的混合区、和由由前景对象成分所组成的前景区和由构成背景对象的背景对象成分所组成的背景区之一所组成的非混合区中的一个或另一个；输出与指定结果相对应的区域指定信息；与区域指定信息相对应，把至少在混合区中的输入图像数据分离成前景对象成分和背景对象成分；和与分离结果相对应，分别处理前景对象成分和背景对象成分。

因此，例如，在拍摄运动对象的情况下，可以对应于背景图像和运动对象图像的混合来处理图像。

附图说明

图1是说明传统图像处理设备的配置的框图；

图2是说明类抽头的图；

图3是说明预测抽头的图；

图4是描述分类自适应处理的概况的图；

图5是说明传统系数组的图；

图6是说明传统学习处理的流程图；

图7是说明传统图像处理设备的配置的框图；

图8是说明通过输入图像的像素值、和分类自适应处理所生成的输出图像的像素值的图；

图9是说明用于创建图像的传统处理的流程图；

图10是说明根据本发明的图像处理设备的一个实施例的配置的框图；

图11是说明图像处理设备的配置的框图；

图12是描述传感器进行图像拍摄的图；

图13是描述像素的排列的图；

图14是描述检测设备的操作的图；

图15A是描述通过拍摄与运动前景相对应的对象和与静止背景相对应的对象的图像所获得的图像的图；

图15B是描述与通过拍摄与运动前景相对应的对象和与静止背景相对应的对象的图像所获得的图像相对应的模型的图；

图16是描述背景区、前景区、混合区、覆盖背景区、和未覆盖背景区的图；

图17是图像中沿着时间方向展开的一行中相邻排列的像素的像素值的模型图，在上述图像中，拍摄了与静止前景相对应的对象和与静止背景相对应的对象；

图18是其中沿着时间方向展开像素值和分割了与快门时间相对应的时间间隔的模型图；

图19是其中沿着时间方向展开像素值和分割了与快门时间相对应的时间间隔的模型图；

图20是其中沿着时间方向展开像素值和分割了与快门时间相对应的时间间隔的模型图；

图21是说明提取前景区、背景区和混合区的像素的例子的图；

图22是说明像素如何与模型相对应的图，在该模型中，沿着时间方向展开的像素值；

图23是其中沿着时间方向展开像素值和分割了与快门时间相对应的时间间隔的模型图；

图24是其中沿着时间方向展开像素值和分割了与快门时间相对应的时间间隔的模型图；

图25是其中沿着时间方向展开像素值和分割了与快门时间相对应的时间间隔的模型图；

图26是其中沿着时间方向展开像素值和分割了与快门时间相对应的时间间隔的模型图；

图27是其中沿着时间方向展开像素值和分割了与快门时间相对应的时间间隔的模型图；

图28是说明分割图像与模型之间的相关性的图，在该模型中，沿着时间方向展开像素的像素值；

图29是说明所分割图像的例子的图；

图30是说明所分割图像的例子的图；

图31是说明利用根据本发明的图像处理设备进行图像处理的流程图；

图32是说明区域指定单元103的配置的一个例子的框图；

图33是描述图像的图，在该图像中，与前景相对应的对象正在移动；

图34是其中沿着时间方向展开像素值和分割了与快门时间相对应的时间间隔的模型图；

图35是其中沿着时间方向展开像素值和分割了与快门时间相对应的时间间隔的模型图；

图36是其中沿着时间方向展开像素值和分割了与快门时间相对应的时间间隔的模型图；

图37是描述区域判断的条件的图；

图38A是说明区域指定单元103所作的区域指定的结果的例子的图；

图38B是说明区域指定单元103所作的区域指定的结果的例子的图；

图38C是说明区域指定单元103所作的区域指定的结果的例子的图；

图38D是说明区域指定单元103所作的区域指定的结果的例子的图；

图39是说明区域指定单元103所作的区域指定的结果的例子的图；

图40是说明区域指定的处理的流程图；

图41是说明区域指定单元103的配置的另一种例子的框图；

图42是其中沿着时间方向展开像素值和分割了与快门时间相对应的时间间隔的模型图；

图43是说明背景区图像的例子的图；

图44是说明二进制对象图像提取单元302的配置的框图；

图45A是描述相关值的计算的图；

图45B是描述相关值的计算的图；

图46A是描述相关值的计算的图；

图46B是描述相关值的计算的图；

图47是说明二进制对象图像的例子的图；

图48是说明时间变化检测单元303的配置的框图；

图49是描述区域判断单元342的判断的图；

图50是说明时间变化检测单元303所作的判断的例子的图；

图51是描述区域判断单元103进行区域指定的处理的流程图；

图52是详细描述区域指定的处理的流程图；

图53是说明区域指定单元103的另一种配置的框图；

图54是描述强化单元361的配置的框图；

图55是描述运动补偿单元381的运动补偿的图；

图56是描述运动补偿单元381的运动补偿的图；

图57是描述区域指定的处理的流程图；

图58是详细描述强化处理的流程图；

图59是说明混合比计算单元104的配置的例子的框图；

图60是说明理想混合比α的例子的图；

图61是其中沿着时间方向展开像素值和分割了与快门时间相对应的时间间隔的模型图；

图62是其中沿着时间方向展开像素值和分割了与快门时间相对应的时间间隔的模型图；

图63是描述利用前景成分的相关性进行近似的图；

图64是描述C、N和P之间的关系的图；

图65是说明估计混合比处理单元401的另一种配置的框图；

图66是说明估计混合比的例子的图；

图67是说明混合比计算单元104的另一种配置的框图；

图68是说明计算混合比的处理的流程图；

图69是描述计算估计混合比的处理的流程图；

图70是描述近似混合比α的直线的图；

图71是描述近似混合比α的平面的图；

图72是描述在计算混合比α时，多个帧中的像素如何对应的图；

图73是说明混合比估计处理单元401的另一种配置的框图；

图74是说明估计混合比的例子的图；

图75是说明计算混合比的处理的流程图；

图76是描述通过与覆盖背景区相对应的模型来进行混合比估计的处理的流程图；

图77是说明前景/背景分离单元105的配置的例子的框图；

图78A是说明输入图像、前景区图像、背景区图像、前景成分图像、和背景成分图像的图；

图78B是与输入图像、前景区图像、背景区图像、前景成分图像、和背景成分图像相对应的模型图；

图79是其中沿着时间方向展开像素值和分割了与快门时间相对应的时间的模型图；

图80是其中沿着时间方向展开像素值和分割了与快门时间相对应的时间的模型图；

图81是其中沿着时间方向展开像素值和分割了与快门时间相对应的时间间隔的模型图；

图82是说明分离单元601的配置的例子的框图；

图83是说明分离前景和背景的处理的流程图；

图84是说明用于生成系数组的分离图像处理单元106的配置的框图；

图85是说明教师图像与学生图像之间的关系的图；

图86是说明学习单元14的配置的框图；

图87A是说明分类处理的图；

图87B是说明分类处理的图；

图88A是说明ADRC处理的图；

图88B是说明ADRC处理的图；

图89是说明分离图像处理单元106所生成的系数组的图；

图90是说明利用分离图像处理单元106生成系数组的学习处理的流程图；

图91是说明用于生成与背景区相对应的系数组的处理的流程图；

图92是说明通过进行分类自适应处理，沿着空间方向生成更高分辨率图像的分离图像处理单元106的配置的框图；

图93是说明映射单元807的配置的框图；

图94A是说明教师图像的混合区中的图像的例子的图；

图94B是说明与教师图像的混合区中的图像的空间方向上的位置相对应的像素值的改变的图；

图95A是说明由传统分类自适应处理生成的、在混合区中的图像的例子的图；

图95B是说明由传统分类自适应处理生成的、与混合区中的图像的空间方向上的位置相对应的像素值的改变的图；

图96A是说明由根据本发明的图像处理设备生成的、混合区中的图像的例子的图；

图96B是说明由根据本发明的图像处理设备生成的、与混合区图像的空间方向上的位置相对应的像素值的改变的图；

图97A是说明教师图像的前景区中的图像的例子的图；

图97B是说明教师图像的前景区中的图像的像素值的改变的图；

图98A是说明由传统分类自适应处理生成的、前景区中的图像的例子的图；

图98B是说明由传统分类自适应处理生成的、前景区中的图像的像素值的改变的图；

图99A是说明由根据本发明的图像处理设备生成的、前景区中的图像的例子的图；

图99B是说明由根据本发明的图像处理设备生成的、与前景区图像的空间方向上的位置相对应的像素值的改变的图；

图100是说明利用分离图像处理单元106创建图像的处理的流程图；

图101是说明用于预测与背景区域相对应的图像的处理的流程图；

图102是说明分离图像处理单元106的配置的框图，在该分离图像处理单元106中，对每个区域应用效果不同的边缘改善处理；

图103是说明边缘改善单元907的配置的框图；

图104A是描述边缘改善处理的图；

图104B是描述边缘改善处理的图；

图104C是描述边缘改善处理的图；

图105是说明滤波系数的图；

图106是说明高通滤波器921的操作的图；

图107是说明滤波系数的图；

图108是说明高通滤波器921的操作的图；

图109是说明边缘改善单元907的另一种配置的框图；

图110是说明滤波系数的图；

图111是说明滤波器941的操作的图；

图112是说明滤波系数的图；

图113是说明滤波器941的操作的图；

图114是说明分离图像处理单元106的处理的图；

图115是说明利用分离图像处理单元106进行边缘改善处理的处理的流程图；

图116是说明图像处理设备的功能的另一种配置的框图；

图117是说明混合比计算单元1101的配置的例子的框图

图118是说明前景/背景分离单元1102的配置的例子的框图；

图119是说明图像处理设备的功能的另一种配置的框图；

图120是说明所分割图像与沿着时间方向展开像素的像素值的模型之间的相关性的图；

图121是说明已经消除了运动模糊的图像与沿着时间方向展开像素的像素值的模型图之间的相关性的图；

图122是描述根据本发明的图像处理设备的处理的图；

图123是说明利用根据本发明的图像处理设备进行图像处理的流程图；

图124是说明前景/背景分离单元2001的配置的例子的框图；

图125A是说明输入图像、前景成分图像、和背景成分图像的图；

图125B是与输入图像、前景成分图像、和背景成分图像相对应的模型图；

图126是其中沿着时间方向展开像素值，和分割了与快门时间相对应的时间间隔的模型图；

图127是其中沿着时间方向展开像素值，和分割了与快门时间相对应的时间间隔的模型图；

图128是其中沿着时间方向展开像素值，和分割了与快门时间相对应的时间间隔的模型图；

图129是说明分离单元2601的配置的例子的框图；

图130A是说明所分离的前景成分图像的例子的图；

图130B是说明所分离的背景成分图像的例子的图；

图131是描述用于分离前景和背景的处理的流程图；

图132是说明运动模糊消除单元2002的配置的例子的框图；

图133是描述处理增量的图；

图134是其中沿着时间方向展开前景成分图像的像素值，和分割了与快门时间相对应的时间间隔的模型图；

图135是其中沿着时间方向展开前景成分图像的像素值，和分割了与快门时间相对应的时间间隔的模型图；

图136是其中沿着时间方向展开前景成分图像的像素值，和分割了与快门时间相对应的时间间隔的模型图；

图137是描述由运动模糊消除单元2002消除包含在前景成分图像中的运动模糊的处理的流程图；

图138是说明背景成分图像的模型的图；

图139是说明纠正背景成分图像的模型的图；

图140是说明用于生成系数组的运动模糊消除图像处理单元2004的配置的框图；

图141是说明学习单元3006的配置的框图；

图142是说明运动模糊消除图像处理单元2004生成的系数组的图；

图143是说明由运动模糊消除图像处理单元2004生成系数组的学习处理的流程图；

图144是说明生成与背景成分图像相对应的系数组的处理的流程图；

图145是说明用于进行分类自适应处理和在空间方向上生成更高分辨率图像的运动模糊消除图像处理单元2004的配置的框图；

图146是说明已经消除了运动模糊的前景成分图像的模型的图；

图147是说明已经加入运动模糊的前景成分图像的模型的图；

图148是说明映射单元3103的配置的框图；

图149是说明创建与运动模糊消除图像处理单元2004有关的图像的处理的流程图；

图150是说明预测与背景成分图像相对应的图像的处理的流程图；

图151是说明运动模糊消除图像处理单元2004的配置的框图，在运动模糊消除图像处理单元2004中，对每个图像应用效果不同的边缘改善处理；

图152是说明运动模糊消除图像处理单元2004的处理的图；

图153是说明利用运动模糊消除图像处理单元2004进行边缘改善处理的处理的流程图；

图154是说明图像处理设备的功能的另一种配置的框图；

图155是说明前景/背景分离单元501的配置的例子的框图。

具体实施方式

图10是说明根据本发明的图像处理设备的实施例的配置的框图。CPU(中央处理单元)71遵照存储在ROM(只读存储器)72或存储单元78中的程序，来执行各种类型的处理。RAM(随机存取存储器)73适当地存储CPU 71执行的程序、和数据等。这些CPU 71、ROM 72、和RAM 73通过总线74相互连接。

通过总线74，CPU 71还与输入/输出接口75相连接。输入/输出接口75与诸如键盘、鼠标、麦克风等的输入单元76相连接，并与诸如显示器、扬声器等的输出单元77相连接。CPU 71执行与从输入单元76输入的指令相对应地各种处理。然后，CPU 71把作为处理结果所获得的图像、声音等输出到输出单元77。

与输入/输出接口75相连接的存储单元78包括，例如，硬盘，并存储CPU71执行的程序和各种类型的数据。通信单元79通过因特网或其它网络与外部设备通信。在本例的情况中，通信单元79还用作获取来自传感器的输出的获取单元。

此外，可以作出这样的安排，其中，通过通信单元79获取程序，并将其存储在存储单元78中。

在磁盘91、光盘92、磁光盘93、半导体存储器94等安装在设备80上的情况下，与输入/输出接口75相连接的驱动器80驱动它们，并获取存储在存储单元中的程序和数据。如有必要，把获取的程序和数据发送到存储单元78，并将其存储在其中。

图11是说明根据本发明的图像处理设备的功能的配置的框图。

请注意，图像处理设备的每种功能由硬件来实现还是由软件来实现是无关紧要的。也就是说，本说明书中的每个框图不仅可以被当作硬件框图，而且可以被当作软件功能框图。

这里，输入到图像处理设备中的输入图像包含运动模糊。

运动模糊指的是由于现实世界中作为拍摄对象的对象的移动或由于传感器的拍摄特性所引起的、包含在与运动对象相对应的图像中的失真。

在本说明书中，与现实世界中作为拍摄对象的对象相对应的图像被称为图像对象。

提供给图像处理设备的输入图像也被提供给对象提取单元101、区域指定单元103、混合比计算单元104、和前景/背景分离单元105。

对象提取单元101粗略提取包含在输入图像中与前景对象相对应的图像对象，并且把所提取的图像对象提供给运动检测单元102。例如，对象提取单元101通过检测包含在输入图像中的与前景对象相对应的图像对象的轮廓，来粗略提取与前景对象相对应的图像对象。

对象提取单元101粗略提取包含在输入图像中与背景对象相对应的图像对象，并且把所提取的图像对象提供给运动检测单元102。例如，对象提取单元101通过输入图像和与所提取前景对象相对应的图像对象之间的差异，来粗略提取与背景对象相对应的图像对象。

此外，例如，可以作出这样的安排，其中，对象提取单元101根据在其中所配备的背景存储器中所存储的背景图像与输入图像之间的差异，来粗略提取与前景对象相对应的图像对象和与背景对象相对应的图像对象。

运动检测单元102通过诸如块匹配、分级、相位相关性、和像素递归等技术，来计算与粗略提取的前景对象相对应的图像对象的运动向量，并把所计算的运动向量和运动向量位置信息(指定与运动向量相对应的像素位置的信息)提供给区域指定单元103。

从运动检测单元102输出的运动向量包括与运动量v相对应的信息。

此外，例如，可以作出这样的安排，其中，运动检测单元102把每个图像对象的运动向量，与用于指定图像对象的像素的像素位置信息一起输出到运动模糊消除单元106。

运动量v是以像素间隔的增加来表示与运动对象相对应的图像位置的改变的值。例如，如果与前景相对应的对象图像发生移动，致使其被显示在相对于作为基准的给定帧的下一个帧中偏离4个像素的位置上，那么，与前景相对应的对象的图像的运动量v是4。

区域指定单元103把输入图像中的每一个像素分入前景区、背景区、或由覆盖背景区和未覆盖背景区组成的混合区之一中，并且把指示每个像素属于前景区、背景区、或由未覆盖背景区和覆盖背景区组成的混合区中的哪一个的信息(下文称之为区域信息)提供给混合比计算单元104和前景/背景分离单元105。注意：混合区、未覆盖背景区和覆盖背景区的细节以后再作描述。

混合比计算单元104根据输入图像、和由区域指定单元103提供的区域信息，来计算与包含在混合区中的像素相对应的混合比(下文称之为混合比α)，并且把所计算的混合比提供给前景/背景分离单元105。

混合比α是代表与具有如下所述的表达式(3)所示的像素值的背景对象(下文也称之为背景成分)相对应的图像成分的比例的值。

根据区域指定单元103所提供的区域信息、和混合比计算单元104所提供的混合比α，前景/背景分离单元105把输入图像分离成与前景对象(下文也称之为前景成分)相对应的图像成分、和只由背景成分组成的背景成分图像，并且把背景区中的图像、只由未覆盖背景区中的背景成分组成的图像(下文称之为未覆盖背景区中的背景成分图像)、和只由未覆盖背景区中的前景成分组成的图像(下文称之为未覆盖背景区中的前景成分图像)、只由覆盖背景区中的背景成分组成的图像(下文称之为覆盖背景区中的背景成分图像)、和只由覆盖背景区中的前景成分组成的图像(下文称之为覆盖背景区中的前景成分图像)、和前景区中的图像，并将其提供给分离图像处理单元106。

分离图像处理单元106分别对前景/背景分离单元105提供的、背景区中的图像、未覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、覆盖背景区中的前景成分图像、和前景区中的图像进行处理。

例如，分离图像处理单元106生成在分类自适应处理中使用的系数，该分类自适应处理用于为背景区中的图像、未覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、覆盖背景区中的前景成分图像、和前景区中的图像中的每一个生成更高分辨率图像。

例如，分离图像处理单元106通过应用分类自适应处理，来为背景区中的图像、未覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、覆盖背景区中的前景成分图像、和前景区中的图像中的每一个创建分辨率更高的图像。

此外，例如，分离图像处理单元106利用不同的系数，把程度不同的边缘改善处理应用于背景区中的图像、未覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、覆盖背景区中的前景成分图像、和前景区中的图像中的每一个。

现在参照图12到图27描述提供给图像处理设备的输入图像。

图12是描述用传感器进行图像拍摄的图。传感器构成CCD摄像机等，例如，包括作为固态图像拍摄器件的CCD(电荷耦合器件)区域(area)传感器。例如，在该图中，与现实世界中的前景相对应的对象111在与现实世界中的背景相对应的对象112与传感器之间，沿着水平方向从左边移动到右边。

传感器拍摄与前景相对应的对象111以及与背景相对应的对象112的图像。传感器以逐帧递增的方式输出拍摄的图像。例如，传感器每秒输出30帧图像。在这种情况下，传感器的曝光间隔是1/30秒。曝光间隔代表传感器开始把输入光转换成电荷，直到把输入光转换成电荷结束之间的间隔。曝光间隔在下文也被称为快门间隔。

图13是描述像素的排列的图。在图13中，A到I表示各个像素。这些像素排列在与图像相对应的平面上。在传感器上布置有与像素一一对应的检测元件。在传感器拍摄图像时，一个检测元件输出与组成图像的像素之一相对应的像素值。例如，检测元件的X方向的位置对应于图像上水平方向的位置，和检测元件的Y方向的位置对应于图像上垂直方向的位置。

例如，如图14所示，CCD的检测元件在与快门间隔相对应的间隔内把输入光转换成电荷，并且累积所转换的电荷。电荷量基本上与输入光的强度和输入光的间时间隔成正比。检测元件在与快门间隔相对应的间隔中，把从输入光转换的电荷加入累加电荷中。也就是说，检测元件在与快门间隔相对应的间隔中，累计(integrate)输入光，并且累计与所积分光相对应的电荷量。也可以认为，检测元件具有对时间的累计效应。

在检测元件中累积的电荷由图中未示出的电路转换成电压值，再把电压值转换成诸如数字数据等的像素值，然后输出它。因此，从传感器输出的各个像素值具有投影在一维空间中的值，这来源于从在快门间隔内累计与前景或背景相对应的对象具有空间广延的给定部分所得的结果。

图像处理设备提取由于传感器这样的累积操作而隐埋在输出信号中的有效信息，譬如，混合比α。

图15A和15B是描述拍摄与运动前景相对应的对象、和与静止背景相对应的对象的图像获得的图像的图。图15A显示了拍摄与运动前景相对应的对象、和与静止背景相对应的对象的图像所获得的图像。对于图15A所示的例子，与前景相对应的对象在图中沿着水平方向从左边移动到右边。

图15B是其中与图15A所示的图像的一行相对应的像素值沿着时间方向展开的模型图。图15B中的水平方向对应于图15A中的空间方向X。

背景区中的像素的像素值只由背景成分，即，与背景对象相对应的图像成分组成。前景区中的像素的像素值只由前景成分，即，与前景对象相对应的图像成分组成。

混合区中的像素的像素值由背景成分和前景成分组成。由于混合区中的像素值由背景成分和前景成分组成，因此，也可以认为混合区是失真区。混合区可被进一步分为覆盖背景区和未覆盖背景区。

覆盖背景区是沿着前景对象相对于前景区的前进方向，与领先部分相对应的位置上的混合区，因此，它是其中背景区随时间的流逝被前景覆盖的区域。

相反，未覆盖背景区是沿着前景对象相对于前景区的前进方向，与尾随部分相对应的位置上的混合区，因此，它是其中背景成分随着时间的流逝而出现的区域。

如上所述，包括前景区、背景区、覆盖背景区、或未覆盖背景区的图像被当作输入图像输入到区域指定单元103、混合比计算单元104、和前景/背景分离单元105。

图16是描述如上所述的背景区、前景区、混合区、覆盖背景区、和未覆盖背景区的图。对于图15A所示的图像的情况，背景区是静止部分，前景区是运动部分，混合区的覆盖背景区是从背景变成前景的部分，和混合区的未覆盖背景区是从前景变成背景的部分。

图17是其中沿着时间方向展开对与静止前景相对应的对象和与静止背景相对应的对象进行拍摄所得的图像一行中相邻排列的像素的像素值的模型图。例如，可以选择屏幕中排列在一行中的像素，来作为一行中相邻的像素。

图17所示的像素值F01到F04是与静止前景对象相对应的像素的像素值。图17所示所像素值B01到B04是与静止背景对象相对应的像素的像素值。

图17中的垂直方向代表时间在图中是自上而下流逝的。图17中长方形的上侧位置对应于传感器开始把输入光转换成电荷的时间，和图17中长方形的下侧位置对应于传感器结束把输入光转换成电荷的时间。也就是说，图17中从长方形的上侧到下侧的距离对应于快门间隔。

现在通过举例的方式描述其中快门间隔等于帧间隔的安排。

图17中的水平方向对应于图15A中所述的空间方向X。更明确地说，如图17中的例子所示，从用“F01”表示的长方形的左侧到用“B04”表示的长方形的右侧的距离是像素间距的8倍长，也就是说，对应于8个连续像素的间隔。

在前景对象和背景对象保持静止的情况下，输入到传感器的光在与快门间隔相对应的间隔内不会发生改变。

现在，将与快门间隔相对应的间隔分割成长度相等的两个或更多个间隔。例如，在虚拟分割数是4的情况下，图17所示的模型图可以用图18所示的模型来表示。与快门间隔内与前景相对应的对象的运动量v等相对应地设置虚拟分割数。例如，与运动量v为4相对应，虚拟分割数是4，并且把与快门间隔相对应的间隔分割成4个间隔。

图中的最上行对应于从打开快门开始的第1个分间隔。图中从顶行算起的第2行对应于从打开快门开始的第2个分间隔。图中从顶行算起的第3行对应于从打开快门开始的第3个分间隔。图中从顶行算起的第4行对应于从打开快门开始的第4个分间隔。

与运动量v相对应的分快门间隔在下文中也被称为快门间隔/v。

在与前景相对应的对象保持静止的情况下，由于输入传感器的光不发生改变，前景成分F01/v等于像素值F01除以虚拟分割数所得的值。类似地，在与前景相对应的对象保持静止的情况下，前景成分F02/v等于像素值F02除以虚拟分割数所得的值，前景成分F03/v等于像素值F03除以虚拟分割数所得的值，和前景成分F04/v等于像素值F04除以虚拟分割数所得的值。

在与背景相对应的对象保持静止的情况下，由于输入传感器的光不发生改变，背景成分B01/v等于像素值B01除以虚拟分割数所得的值。类似地，在与背景相对应的对象保持静止的情况下，背景成分B02/v等于像素值B02除以虚拟分割数所得的值，背景成分B03/v等于像素值B03除以虚拟分割数所得的值，和背景成分B04/v等于像素值B04除以虚拟分割数所得的值。

也就是说，在与前景相对应的对象保持静止的情况下，由于在与快门间隔相对应的间隔内，输入传感器的、与前景对象相对应的光不发生改变，因此，与从快门打开算起的第1快门间隔/v相对应的前景成分F01/v、与从快门打开算起的第2快门间隔/v相对应的前景成分F01/v、与从快门打开算起的第3快门间隔/v相对应的前景成分F01/v、和与从快门打开算起的第4快门间隔/v相对应的前景成分F01/v是相同的。F02/v到F04/v具有与F01/v相同的关系。

在与背景相对应的对象保持静止的情况下，由于在与快门间隔相对应的间隔内，输入传感器的、与背景对象相对应的光不发生改变，因此，与从快门打开算起的第1快门间隔/v相对应的背景成分B01/v、与从快门打开算起的第2快门间隔/v相对应的背景成分B01/v、与从快门打开算起的第3快门间隔/v相对应的背景成分B01/v、和与从快门打开算起的第4快门间隔/v相对应的背景成分B01/v是相同的。B02/v到B04/v具有与B01/v相同的关系。

现在描述在与对背景相对应的对象保持静止的同时，与前景相对应的对象发生移动的情况。

图19是在与前景相对应的对象在图中朝着右侧移动的情况下，其中沿着时间方向展开包括覆盖背景区的一行上的像素的像素值的模型图。在图19中，前景的运动量v是4。由于一个帧是一个短间隔，因此，可以作出与前景相对应的对象是一个刚体，和作恒速运动的假设。

在图19中，与前景相对应的对象图像发生移动，致使其被显示在相对于作为基准的给定帧的下一个帧中向右4个像素的位置上。

在图19中，最左边像素到从左边算起第4个像素属于前景区。在图19中，从最左算起第5个像素到第7个像素属于混合区的覆盖背景区。在图19中，最右边像素属于背景区。

由于与前景相对应的像素发生移动，致使随着时间的流逝掩藏了与背景相对应的对象，因此，在与快门间隔相对应的间隔的某个点上，包含在属于覆盖背景区的像素的像素值中的成分从背景成分变成前景成分。

例如，图19中用粗线框显示的像素值M由表达式(1)表示：

M＝B02/v+B02/v+F07/v+F06/v                    (1)

例如，由于从左边算起第5个像素包括与一个快门间隔/v相对应的背景成分和与三个快门间隔/v相对应的前景成分，从左边算起第5个像素的混合比α是1/4。由于从左边算起第6个像素包括与二个快门间隔/v相对应的背景成分和与二个快门间隔/v相对应的前景成分，从左边算起第6个像素的混合比α是1/2。由于从左边算起第7个像素包括与三个快门间隔/v相对应的背景成分和与一个快门间隔/v相对应的前景成分，从左边算起第7个像素的混合比α是3/4。

由于可以作出与前景相对应的对象是刚体和前景图像作恒速运动，致使其被显示在下一个帧中向右4个像素的位置上的假设，因此，例如，图19中从左边算起第4个像素的快门打开算起的第1快门间隔/v的前景成分F07/v等于图10中与从左边算起第5个像素的快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F07/v分别等于图19中与从左边算起第6个像素的快门打开算起的第3快门间隔/v相对应的前景成分、和图19中与从左边算起第7个像素的快门打开算起的第4快门间隔/v相对应的前景成分。

由于可以作出与前景相对应的对象是刚体和前景图像作恒速运动，致使其被显示在下一个帧中向右4个像素的点上的假设，因此，例如，图19中从左边算起第3个像素的快门打开算起的第1快门间隔/v的前景成分F06/v等于图1 9中与从左边算起第4个像素的快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F06/v分别等于图19中与从左边算起第5个像素的快门打开算起的第3快门间隔/v相对应的前景成分、和图19中与从左边算起第6个像素的快门打开算起的第4快门间隔/v相对应的前景成分。

由于可以作出与前景相对应的对象是刚体和前景图像作恒速运动，致使其被显示在下一个帧中向右4个像素的位置上的假设，因此，例如，图19中从左边算起第2个像素的快门打开算起的第1快门间隔/v的前景成分F05/v等于图19中与从左边算起第3个像素的快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F05/v分别等于图19中与从左边算起第4个像素的快门打开算起的第3快门间隔/v相对应的前景成分、和图19中与从左边算起第5个像素的快门打开算起的第4快门间隔/v相对应的前景成分。

由于可以作出与前景相对应的对象是刚体和前景图像作恒速运动，致使其被显示在下一个帧中向右4个像素的位置上的假设，因此，例如，图19中从与最左边像素的快门打开算起的第1快门间隔/v相对应的前景成分F04/v等于图19中与从左边算起第2个像素的快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F04/v分别等于图19中与从左边算起第3个像素的快门打开算起的第3快门间隔/v相对应的前景成分、和图19中与从左边算起第4个像素的快门打开算起的第4快门间隔/v相对应的前景成分。

如上所述，与运动对象相对应的前景区包括运动模糊，因此，可以认为它是失真区。

图20是在前景在图中朝着右侧移动的情况下，其中沿着时间方向展开包括未覆盖背景区的一行上的像素的像素值的模型图。在图20中，前景的运动量v是4。由于一个帧是一个短间隔，因此，可以作出与前景相对应的对象是一个刚体，和作恒速运动的假设。在图20中，与前景相对应的对象图像在相对于作为基准的给定帧的下一个帧中向右边移动了4个像素。

在图20中，最左边像素到从左边算起第4个像素属于背景区。在图20中，从最左算起第5个像素到第7个像素属于未覆盖背景的混合区。在图20中，最右边像素属于前景区。

由于与已经掩藏了与背景相对应的对象的前景相对应的对象发生移动，致使随着时间的流逝从与背景相对应的对象的前面移走，因此，在与快门间隔相对应的间隔的某个点上，包含在属于未覆盖背景区的像素的像素值中的成分从前景成分变成背景成分。

例如，图20中用粗线框表示的像素值M′由表达式(2)表示：

M′＝F02/v+F01/v+B26/v+B26/v                   (2)

例如，由于从左边算起第5个像素包括与三个快门间隔/v相对应的背景成分和与一个快门间隔/v相对应的前景成分，从左边算起第5个像素的混合比α是3/4。由于从左边算起第6个像素包括与二个快门间隔/v相对应的背景成分和与二个快门间隔/v相对应的前景成分，从左边算起第6个像素的混合比α是1/2。由于从左边算起第7个像素包括与一个快门间隔/v相对应的背景成分和与三个快门间隔/v相对应的前景成分，从左边算起第7个像素的混合比α是1/4。

并且，通过归纳表达式(1)和表达式(2)，像素值M由表达式(3)表示： $M=\mathrm{\α}\·B+\underset{i}{\mathrm{\Σ}}\mathrm{Fi}/v---\left(3\right)$

这里，α表示混合比。B表示背景的像素值和Fi/v表示前景成分。

由于可以作出与前景相对应的对象是刚体和作恒速运动，和运动量v是，例如，4的假设，因此，图20中从左边算起第5个像素的快门打开算起的第1快门间隔/v的前景成分F01/v等于图20中与从左边算起第6个像素的快门打开算起的第2快门间隔/v相对应的前景成分。类似地，F01/v分别等于图20中与从左边算起第7个像素的快门打开算起的第3快门间隔/v相对应的前景成分、和图20中与从左边算起第8个像素的快门打开算起的第4快门间隔/v相对应的前景成分。

由于可以作出与前景相对应的对象是刚体和作恒速运动，和虚拟分割数是4的假设，因此，例如，图20中从左边算起第6个像素的快门打开算起的第1快门间隔/v的前景成分F02/v等于图20中与从左边算起第7个像素的快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F07/v等于图20中与从左边算起第8个像素的快门打开算起的第3快门间隔/v相对应的前景成分。

由于可以作出与前景相对应的对象是刚体和作恒速运动，和运动量是4的假设，因此，例如，图20中从左边算起第7个像素的快门打开算起的第1快门间隔/v的前景成分F03/v等于图20中与从左边算起第8个像素的快门打开算起的第2快门间隔/v相对应的前景成分。

尽管在图18到图20的描述中描述了虚拟分割数是4的情况，但是，虚拟分割数对应于运动量v。运动量v一般对应于与前景相对应的对象的运动速度。例如，在与前景相对应的对象发生移动，致使其被显示在相对于作为基准的给定帧的下一帧中向右4个像素的位置上的情况下，运动量v是4。与运动量v相对应，虚拟分割数也是4。类似地，例如，在与前景相对应的对象发生移动，致使其被显示在相对于作为基准的给定帧的下一帧中向右6个像素的位置上的情况下，运动量v是6，且虚拟分割数也是6。

图21和图22与分快门间隔相对应地显示了前景区、背景区和由覆盖背景区和未覆盖背景区组成的混合区之间的关系，和前景成分和背景成分。

图21显示了一个例子，其中，从包括与在静止背景的前面移动的对象相对应的前景的图像中提取前景区、背景区、和混合区的像素。图21所示的参考字符A表示在静止背景前移动的对象。在图21所示的例子中，与参考字符A所表示的前景相对应的对象在屏幕上沿着水平方向移动。

帧#n+1是接在帧#n之后的帧，和帧#n+2是接在帧#n+1之后的帧。

图22显示了从帧#n到帧#n+2之一中提取前景区、背景区、和混合区的像素，和沿着时间方向展开所提取像素的像素值的模型，其中，运动量v是4。

由于与前景相对应的对象发生移动，前景区的像素值由与快门间隔/v的间隔相对应的4个不同前景成分组成。例如，图22所示的前景区的像素的最左边像素由F01/v、F02/v、F03/v、和F04/v组成。也就是说，前景区的像素包含了运动模糊。

由于与背景相对应的对象保持静止，因此，输入传感器的、与背景相对应的光在与快门间隔相对应的间隔内不发生改变。在这种情况下，背景区的像素值不包含运动模糊。

属于由覆盖背景区或未覆盖背景区组成的混合区的像素的像素值由前景成分和背景成分组成。

接着，描述一个模型，其中，在与对象相对应的图像发生移动的情况下，沿着时间方向展开在多个帧的单行相邻排列的和在这些帧中的同一位置上的像素的像素值。例如，在与对象相对应的图像在屏幕上沿着水平方向移动的情况下，可以选择排列在单行上的像素，来作为沿着单行相邻排列的像素。

图23是其中沿着时间方向展开在拍摄与静止背景相对应的对象所得的图像的三个帧中相邻排列在单行上的和在这些帧中处在同一位置上的像素的像素值的模型图。帧#n是接在#n-1之后的帧，和帧#n+1是接在#n之后的帧。其它帧用相同的方式表示。

图23所示的B01到B12的像素值是与静止背景的对象相对应的像素的像素值。由于与背景相对应的对象保持静止，因此，在帧#n-1到帧#n+1中，相应像素的像素值不发生改变。例如，在与帧#n-1中具有像素值B05相对应的位置上的帧#n中的像素和帧#n+1中的像素分别具有像素值B05。

图24是其中沿着时间方向展开在拍摄与图中向右移动的前景相对应的对象，以及与静止背景相对应的对象所得的图像的三个帧中在单行上相邻排列的和在这些帧中处在同一位置上的像素的像素值的模型图。图24所示的模型包括覆盖背景区。

由于在图24中可以作出与前景相对应的对象是刚体和作恒速运动，和前景图像发生移动，致使其被显示在下一个帧中向右4个像素的位置上的假设，因此，前景运动量v是4，和虚拟分割数也是4。

例如，从图24中的帧#n-1的最左边像素的快门打开算起的第1快门间隔/v的前景成分是F12/v，图24中从左边算起第2个像素的快门打开算起的第2快门间隔/v的前景成分也是F12/v。图24中从左边算起第3个像素的快门打开算起的第3快门间隔/v的前景成分，和图24中从左边算起第4个像素的快门打开算起的第4快门间隔/v的前景成分都是F12/v。

从图24中的帧#n-1中的最左边像素的快门打开算起的第2快门间隔/v的前景成分是F11/v，和从图24中从左边算起第2个像素的快门打开算起的第3快门间隔/v的前景成分也是F11/v。从图24中从左边算起第3个像素的快门打开算起的第4快门间隔/v的前景成分是F11/v。

从图24中的帧#n-1中的最左边像素的快门打开算起的第3快门间隔/v的前景成分是F10/v，和从图24中从左边算起第2个像素的快门打开算起的第4快门间隔/v的前景成分也是F10/v。从图24中的帧#n-1中的最左边像素的快门打开算起的第4快门间隔/v的前景成分是F09/v。

由于与背景相对应的对象保持静止，从图24中的帧#n-1中从左边算起的第2个像素的快门打开算起的第1快门间隔/v的背景成分是B01/v。从图24中的帧#n-1中从左边算起第3个像素的快门打开算起的第1和第2快门间隔/v的背景成分都是B02/v。从图24中的帧#n-1中从左边算起第4个像素的快门打开算起的第1到第3快门间隔/v的背景成分是B03/v。

在图24中的帧#n-1中，最左边的像素属于前景区，和从左边算起第2个到第4个像素属于覆盖背景区的混合区。

在图24中的帧#n-1中从左边算起的第5个像素到第12个像素属于背景区，和它们的像素值分别是B04到B11。

在图24中的帧#n中从左边算起的第1个像素到第5个像素属于前景区。在帧#n中的前景区中快门间隔/v的前景成分是F05/v到F12/v之一。

由于可以作出与前景相对应的对象是刚体和作恒速运动，和前景图像发生移动，致使被显示在下一个帧中向右4个像素的位置上的假设，因此，从图24中的帧#n中从左边算起第5个像素的快门打开算起的第1快门间隔/v的前景成分是F12/v，从图24中从左边算起第6个像素的快门打开算起的第2快门间隔/v的前景成分也是F1 2/v。从图24中从左边算起第7个像素的快门打开算起的第3快门间隔/v的前景成分、和从图24中从左边算起第8个像素的快门打开算起的第4快门间隔/v的前景成分都是F12/v。

从图24中的帧#n中从左边算起第5个像素的快门打开算起的第2快门间隔/v的前景成分是F11/v，和从图24中从左边算起第6个像素的快门打开算起的第3快门间隔/v的前景成分也是F11/v。从图24中从左边算起第7个像素的快门打开算起的第4快门间隔/v的前景成分是F11/v。

从图24中的帧#n中从左边算起第5个像素的快门打开算起的第3快门间隔/v的前景成分是F10/v，和从图24中从左边算起第6个像素的快门打开算起的第4快门间隔/v的前景成分也是F10/v。从图24中的帧#n中从左边算起第5个像素的快门打开算起的第4快门间隔/v的前景成分是F09/v。

由于与背景相对应的对象保持静止，从图24中的帧#n中从左边算起第6个像素的快门打开算起的第1快门间隔/v的背景成分是B05/v。从图24中的帧#n中从左边算起第7个像素的快门打开算起的第1和第2快门间隔/v的背景成分都是B06/v。从图24中的帧#n中从左边算起第8个像素的快门打开算起的第1到第3快门间隔/v的背景成分B07/v

在图24中的帧#n中，从左边算起第6个到第8个像素属于覆盖背景区的混合区。

在图24中的帧#n中从左边算起的第9个像素到第12个像素属于背景区，和其像素值分别是B08到B11。

在图24中的帧#n+1中从左边算起的第1个到第9个像素属于前景区。在帧#n+1中的前景区中快门间隔/v的前景成分是F01/v到F12/v之一。

由于可以作出与前景相对应的对象是刚体和作恒速运动，和前景图像发生移动，致使被显示在下一个帧中向右边4个像素的位置上的假设，因此，从图24中的帧#n+1中从左边算起第9个像素的快门打开算起的第1快门间隔/v的前景成分是F12/v，和从图24中从左边算起第10个像素的快门打开算起的第2快门间隔/v的前景成分也是F12/v。从图24中从左边算起第11个像素的快门打开算起的第3快门间隔/v的前景成分、和从图24中从左边算起第12个像素的快门打开算起的第4快门间隔/v的前景成分都是F12/v。

从图24中的帧#n+1中从左边算起第9个像素的快门打开算起的第2快门间隔/v的前景成分是F11/v，和从图24中从左边算起第10个像素的快门打开算起的第3快门间隔/v的前景成分也是F11/v。从图24中从左边算起第11个像素的快门打开算起的第4快门间隔/v的前景成分是F11/v。

从图24中的帧#n+1中从左边算起第9个像素的快门打开算起的第3快门间隔/v的前景成分是F10/v，和从图24中从左边算起第10个像素的快门打开算起的第4快门间隔/v的前景成分也是F10/v。从图24中的帧#n+1中从左边算起第9个像素的快门打开算起的第4快门间隔/v的前景成分是F09/v。

由于与背景相对应的对象保持静止，从图24中的帧#n+1中从左边算起第10个像素的快门打开算起的第1快门间隔/v的背景成分是B09/v。从图24中的帧#n+1中从左边算起第11个像素的快门打开算起的第1和第2快门间隔/v的背景成分都是B10/v。从图24中的帧#n+1中从左边算起第12个像素的快门打开算起的第1到第3快门间隔/v的背景成分是B11/v。

在图24中的帧#n+1中，从左边算起第10个到第12个像素属于覆盖背景区的混合区。

图25是从图24所示的像素值中提取的前景成分的模型图。

图26是沿着时间方向展开在拍摄与在具有静止背景的图中向右移动的对象相对应的前景所得的图像的三个帧中相邻排列在一行上的和在这些帧中处在同一位置上的像素的像素值的模型图。在图26中，模型图包括未覆盖背景区。

在图26中，可以作出与前景相对应的对象是刚体，和作恒速运动的假设。由于与前景相对应的对象发生移动，致使其被显示在下一个帧中向右边4个像素的位置上，因此，运动量v是4。

例如，从图26中的帧#n-1中的最左边像素的快门打开算起的第1快门间隔/v的前景成分是F13/v，和从图26中从左边算起第2个像素的快门打开算起的第2快门间隔/v的前景成分也是F13/v。从图26中从左边算起第3个像素的快门打开算起的第3快门间隔/v的前景成分，和从图26中从左边算起第4个像素的快门打开算起的第4快门间隔/v的前景成分都是F13/v。

从图26中的帧#n-1中从左边算起第2个像素的快门打开算起的第1快门间隔/v的前景成分是F14/v，和从图26中从左边算起第3个像素的快门打开算起的第2快门间隔/v的前景成分也是F14/v。从图26中从左边算起第3个像素的快门打开算起的第1快门间隔/v的前景成分是F15/v。

由于与背景相对应的对象保持静止，从图26中的帧#n-1中的最左边像素的快门打开算起的第2到4快门间隔/v的背景成分是B25/v。从图26中的帧#n-1中从左边算起第2个像素的快门打开算起的第3和第4快门间隔/v的背景成分都是B26/v。从图26中的帧#n-1中从左边算起第3个像素的快门打开算起的第4快门间隔/v的背景成分B27/v。

在图26中的帧#n-1中，最左边像素到第3个像素属于未覆盖背景区的混合区。

在图26中的帧#n-1中从左边算起的第4个像素到第12个像素属于前景区。帧中的前景成分是F13/v到F24/v之一。

在图26中的帧#n中最左边像素到从左边算起的第4个像素属于背景区，和其像素值分别是B25到B28。

由于可以作出与前景相对应的对象是刚体和作恒速运动，和前景图像发生移动，致使其被显示在下一个帧中向右4个像素的位置上的假设，因此，从图26中的帧#n中从左边算起第5个像素的快门打开算起的第1快门间隔/v的前景成分是F13/v，和从图26中从左边算起第6个像素的快门打开算起的第2快门间隔/v的前景成分也是F13/v。从图26中从左边算起第7个像素的快门打开算起的第3快门间隔/v的前景成分、和从图26中从左边算起第8个像素的快门打开算起的第4快门间隔/v的前景成分都是F13/v。

从26中的帧#n中从左边算起第6个像素从快门打开算起的第1快门间隔/v的前景成分是F14/v，和从图26中从左边算起第7个像素的快门打开算起的第2快门间隔/v的前景成分也是F14/v。从图26中从左边算起第8个像素的快门打开算起的第1快门间隔/v的前景成分是F15/v。

由于与背景相对应的对象保持静止，从图26中的帧#n中从左边算起第5个像素的快门打开算起的第2到第4快门间隔/v的背景成分是B29/v。从图26中的帧#n中从左边算起第6个像素的快门打开算起的第3和第4快门间隔/v的背景成分都是B30/v。从图26中的帧#n中从左边算起第7个像素的快门打开算起的第4快门间隔/v的背景成分是B31/v

在图26中的帧#n中，从左边算起第5个到第7个像素属于未覆盖背景区的混合区。

在图26中的帧#n中从左边算起的第8个像素到第12个像素属于前景区。与帧#n中的前景区中的快门间隔/v的间隔相对应的值是F13/v到F20/v之一。

在图26中的帧#n+1中的最左边像素到从左边算起的第8个像素属于背景区，和其像素值分别是B25到B32。

由于可以作出与前景相对应的对象是刚体和作恒速运动，和前景图像发生移动，致使其被显示在下一个帧中向右边4个像素的位置上的假设，因此，从图26中的帧#n+1中从左边算起第9个像素的快门打开算起的第1快门间隔/v的前景成分是F13/v，和从图26中从左边算起第10个像素的快门打开算起的第2快门间隔/v的前景成分也是F13/v。从图26中从左边算起第11个像素的快门打开算起的第3快门间隔/v的前景成分、和从图26中从左边算起第12个像素的快门打开算起的第4快门间隔/v的前景成分都是F13/v。

从图26中的帧#n+1中从左边算起第10个像素的快门打开算起的第1快门间隔/v的前景成分是F14/v，和从图26中从左边算起第11个像素的快门打开算起的第2快门间隔/v的前景成分也是F14/v。从图26中从左边算起第12个像素的快门打开算起的第1快门间隔/v的前景成分是F15/v。

由于与背景相对应的对象保持静止，从图26中的帧#n+1中从左边算起第9个像素的快门打开算起的第2到第4快门间隔/v的背景成分都是B33/v。从图26中的帧#n+1中从左边算起第10个像素的快门打开算起的第3和第4快门间隔/v的背景成分都是B34/v。从图26中的帧#n+1中从左边算起第11个像素从快门打开算起的第4快门间隔/v的背景成分B35/v。

在图26中的帧#n+1中，从左边算起第9个到第11个像素属于未覆盖背景区的混合区。

图26中的帧#n+1中从左边算起的第12个像素属于前景区。在帧#n+1中的前景区中快门间隔/v的前景成分是F13/v到F16/v之一。

图27是其中前景成分是从图26所示的像素值中提取的图像的模型图。

图28是说明被分割成前景区图像、背景区图像、覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、和未覆盖背景区的背景成分图像的输入图像如何与沿着时间方向展开像素的像素值的模型图对应的图。

如图28所示，输入图像由区域指定单元103分为前景区、背景区、覆盖背景区、和未覆盖背景区。根据指定的区域，即，前景区、背景区、覆盖背景区、和未覆盖背景区、和混合比计算单元104检测的混合比α，前景/背景分离单元105把输入图像分离为前景区中的图像、背景区中的图像、覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、和未覆盖背景区中的背景成分图像。

分别处理分离的图像，即，前景区中的图像、背景区中的图像、覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、和未覆盖背景区中的背景成分图像。

图29是说明被分割成前景区、背景区、和混合区的图像的例子的图。区域指定单元103指定输入图像的前景区、背景区、和混合区。图像处理设备可以根据指示前景区、背景区、和混合区的区域信息，把输入图像分割成前景区的图像、背景区的图像、和混合区的图像。

如图30所示，前景/背景分离单元105根据区域指定单元103提供的区域信息和混合比计算单元104提供的混合比α，把混合区的图像分离成前景成分图像和背景成分图像。

图31说明了描述利用根据本发明的图像处理设备对图像进行的处理的流程图。

在步骤S101中，根据运动检测单元102提供的运动向量和它的位置信息、和输入图像，区域指定单元103指定输入图像的前景区、背景区、覆盖背景区、和未覆盖背景区。区域指定处理的细节以后再加以描述。

在步骤S102中，混合比计算单元104根据输入图像和区域指定单元103提供的区域信息，计算混合比α。混合比计算单元104计算混合比α的处理细节以后再作描述。

在步骤S103中，前景/背景分离单元105根据区域指定单元103提供的区域信息和混合比计算单元104提供的混合比α，把输入图像分离成前景区中的图像、背景区中的图像、覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、和未覆盖背景区中的背景成分图像。前景/背景分离单元105进行图像分离的处理细节以后再作描述。

在步骤S104中，分离图像处理单元106对所分离图象的每一部分，即前景区中的图像、背景区中的图像、覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、和未覆盖背景区中的背景成分图像的进行处理，然后，结束处理。分离图像处理单元106进行图像处理的细节以后再述。

如上所述，根据本发明的图像处理设备把输入图像分离成前景区中的图像、背景区中的图像、覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、和未覆盖背景区中的背景成分图像，并且对分离的图像中的每一个，即，已经被分离的前景区中的图像、背景区中的图像、覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、和未覆盖背景区中的背景成分图像的进行处理。

图32是说明区域指定单元103的配置的例子的框图。其配置如图32所示的区域指定单元103不使用运动向量。帧存储器201以逐帧递增的方式存储输入图像。在处理的对象是帧#n的情况下，帧存储器201存储比帧#n早2个帧的帧#n-2、比帧#n早1个帧的帧#n-1、帧#n、比帧#n晚1个帧的帧#n+1、和比帧#n晚2个帧的帧#n+2。

静止/运动判断单元202-1从帧存储器201中读出帧#n+2中、处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值、和帧#n+1中、处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值，并且计算读出像素值之差的绝对值。静止/运动判断单元202-1判断帧#n+2中的像素值与帧#n+1中的像素值之差的绝对值是否大于预定阈值Th，并且，在作出差值的绝对值大于阈值Th的判断的情况下，静止/运动判断单元202-1把指示运动的静止/运动判断结果提供给区域判断单元203-1。在作出帧#n+2中的像素值与帧#n+1中的像素值之差的绝对值小于等于阈值Th的判断的情况下，静止/运动判断单元202-1把指示“静止”的静止/运动判断结果提供给区域判断单元203-1。

静止/运动判断单元202-2从帧存储器201中读出帧#n+1中、处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值、和帧#n中作为对象的像素的像素值，并且计算像素值之差的绝对值。静止/运动判断单元202-2判断帧#n+1中的像素值与帧#n中的像素值之差的绝对值是否大于预定阈值Th，并且，在作出像素值之差的绝对值大于阈值Th的判断的情况下，把指示运动的静止/运动判断结果提供给区域判断单元203-1和区域判断单元203-2。在作出帧#n+1中的像素的像素值与帧#n中的像素的像素值之差的绝对值小于等于阈值Th的判断的情况下，静止/运动判断单元202-2把指示“静止”的静止/运动判断结果提供给区域判断单元203-1和区域判断单元203-2。

静止/运动判断单元202-3从帧存储器201中读出帧#n中、作为指定区域的对象的像素的像素值、和帧#n-1中、处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值，并且计算像素值之差的绝对值。静止/运动判断单元202-3判断帧#n中的像素值与帧#n-1中的像素值之差的绝对值是否大于预定阈值Th，并且，在作出像素值之差的绝对值大于阈值Th的判断的情况下，把指示运动的静止/运动判断结果提供给区域判断单元203-2和区域判断单元203-3。在作出帧#n中的像素的像素值与帧#n-1中的像素的像素值之差的绝对值小于等于阈值Th的判断的情况下，静止/运动判断单元202-3把指示“静止”的静止/运动判断结果提供给区域判断单元203-2和区域判断单元203-3。

静止/运动判断单元202-4从帧存储器201中读出帧#n-1中，处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值、和帧#n-2中，处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值，并且计算像素值之差的绝对值。静止/运动判断单元202-4判断帧#n-1中的像素值与帧#n-2中的像素值之差的绝对值是否大于预定阈值Th，并且，在作出像素值之差的绝对值大于阈值Th的判断的情况下，把指示运动的静止/运动判断结果提供给区域判断单元203-3。在作出帧#n-1中的像素的像素值与帧#n-2中的像素的像素值之差的绝对值小于等于阈值Th的判断的情况下，静止/运动判断单元202-4把指示“静止”的静止/运动判断结果提供给区域判断单元203-3。

在静止/运动判断单元202-1提供的静止/运动判断结果指示“静止”，而静止/运动判断单元202-2提供的静止/运动判断结果指示运动的情况下，区域判断单元203-1判断帧#n中作为指定区域的对象的像素属于未覆盖背景区，并且把与该区域中的所判断像素相对应的未覆盖背景区判断标志设置成指示像素属于未覆盖背景区的“1”。

在静止/运动判断单元202-1提供的静止/运动判断结果指示运动，或静止/运动判断单元202-2提供的静止/运动判断结果指示静止的情况下，区域判断单元203-1判断帧#n中作为指定区域的对象的像素不属于未覆盖背景区，并且把与该区域中的所判断像素相对应的未覆盖背景区判断标志设置成指示像素不属于未覆盖背景区的“0”。

区域判断单元203-1把已经如上所述被设置成“1”或“0”的未覆盖背景区判断标志提供给判断标志存储帧存储器204。

在静止/运动判断单元202-2提供的静止/运动判断结果指示“静止”，而静止/运动判断单元202-3提供的静止/运动判断结果指示“静止”的情况下，区域判断单元203-2判断帧#n中作为指定区域的对象的像素属于静止区，并且把与该区域中所判断的像素相对应的静止区判断标志设置成指示该像素属于静止区的“1”。

在静止/运动判断单元202-2提供的静止/运动判断结果指示运动，或静止/运动判断单元202-3提供的静止/运动判断结果指示运动的情况下，区域判断单元203-2判断帧#n中作为指定区域的对象的像素不属于静止区，并且把与该区域中所判断的像素相对应的静止区判断标志设置成指示该像素不属于静止区的“0”。

区域判断单元203-2把已经如上所述被设置成“1”或“0”的静止区判断标志提供给判断标志存储帧存储器204。

在静止/运动判断单元202-2提供的静止/运动判断结果指示运动，而静止/运动判断单元202-3提供的静止/运动判断结果指示运动的情况下，区域判断单元203-2判断帧#n中作为指定区域的对象的像素属于运动区，并且把与该区域中所判断的像素相对应的运动区判断标志设置成指示该像素属于运动区的“1”。

在静止/运动判断单元202-2提供的静止/运动判断结果指示“静止”，或静止/运动判断单元202-3提供的静止/运动判断结果指示“静止”的情况下，区域判断单元203-2判断帧#n中作为指定区域的对象的像素不属于运动区，并且把与该区域中所判断的像素相对应的运动区判断标志设置成指示该像素不属于运动区的“0”。

区域判断单元203-2把已经如上所述被设置成“1”或“0”的运动区判断标志提供给判断标志存储帧存储器204。

在静止/运动判断单元202-3提供的静止/运动判断结果指示运动，和静止/运动判断单元202-4提供的静止/运动判断结果指示“静止”的情况下，区域判断单元203-3判断帧#n中作为指定区域的对象的像素属于覆盖背景区，并且把与该区域中所判断的像素相对应的覆盖背景区判断标志设置成指示像素属于覆盖背景区的“1”。

在静止/运动判断单元202-3提供的静止/运动判断结果指示“静止”，或静止/运动判断单元202-4提供的静止/运动判断结果指示运动的情况下，区域判断单元203-3判断帧#n中作为指定区域的对象的像素不属于覆盖背景区，并且把与该区域中所判断的像素相对应的覆盖背景区判断标志设置成指示像素不属于覆盖背景区的“0”。

区域判断单元203-3把已经如上所述被设置成“1”或“0”的覆盖背景区判断标志提供给判断标志存储帧存储器204。

判断标志存储帧存储器204存储区域判断单元203-1提供的未覆盖背景区判断标志、区域判断单元203-2提供的静止区判断标志、区域判断单元203-2提供的运动区判断标志、和区域判断单元203-3提供的覆盖背景区判断标志。

判断标志存储帧存储器204把存储在其中的未覆盖背景区判断标志、静止区判断标志、运动区判断标志、和覆盖背景区判断标志提供给合成单元205。根据判断标志存储帧存储器204提供的未覆盖背景区判断标志、静止区判断标志、运动区判断标志、和覆盖背景区判断标志，合成单元205生成指示每个像素属于未覆盖背景区、静止区、运动区、或覆盖背景区中的哪一个的区域信息，并且把区域信息提供给判断标志存储帧存储器206。

判断标志存储帧存储器206存储合成单元205提供的区域信息，并且也输出存储的区域信息。

现在参照图33到图37描述区域指定单元103进行处理的例子。

在与前景相对应的对象发生移动的情况下，屏幕上与对象相对应的图像的位置随着每个帧而改变。如图33所示，在帧#n中与处在Y_n(x，y)所指的位置上的对象相对应的图像在下一帧#n+1中处在位置Y_n+1(x，y)上。

图34是其中沿着图像运动方向相邻排列在一行中的、与前景对象相对应的图像的像素的像素值沿着时间方向展开的模型图。例如，在与前景对象相对应的图像运动方向相对于屏幕是水平方向的情况下，图34中的模型图表示其中一行中相邻像素的像素值沿着时间方向展开的模型。

在图34中，帧#n中的行与帧#n+1中的行相同。

包含在帧#n中从左边算起第2个像素到第13个像素中的、与对象相对应的前景成分包含在帧#n+1中从左边算起第6个到第17个像素中。

在帧#n中，属于覆盖背景区的像素是从左边算起的第11个到第13个像素，而属于未覆盖背景区的像素是从左边算起的第2个到第4个像素。在帧#n+1中，属于覆盖背景区的像素是从左边算起的第15个到第17个像素，而属于未覆盖背景区的像素是从左边算起的第6个到第8个像素。

对于图34所示的例子，由于包含在帧#n中的前景成分在帧#n+1中移动了4个像素，因此，运动量v是4。与运动量v相对应的虚拟分割数也是4。

接着，对在感兴趣帧之前和之后的帧中属于混合区的像素的像素值的变化加以描述。

在如图35所示，在背景保持静止而前景的运动量v是4的帧#n中，属于覆盖背景区的像素是从左边算起的第15个到第17个像素。由于运动量v是4，因此，在前一帧#n-1中，从左边算起的第15个到第17个像素只包括背景成分，并且属于背景区。此外，在再提前一个帧的#n-2中，从左边算起的第15个到第17个像素只包括背景成分，并且属于背景区。

请注意，由于与背景相对应的对象保持静止，帧#n-1中从左边算起的第15个像素的像素值与帧#n-2中从左边算起的第15个像素的像素值没有差异。同样，帧#n-1中从左边算起的第16个像素的像素值与帧#n-2中从左边算起的第16个像素的像素值没有差异，且帧#n-1中从左边算起的第17个像素的像素值与帧#n-2中从左边算起的第17个像素的像素值没有差异。

也就是说，与属于帧#n中覆盖背景区的像素相对应的帧#n-1和帧#n-2的像素只由背景成分组成，且像素值不会改变，因此，它们之间的差值的绝对值接近零。因此，静止/运动判断单元202-4作出与帧#n中属于混合区的像素相对应的帧#n-1和帧#n-2的像素的静止/运动判断结果是静止的判断。

由于属于帧#n中覆盖背景区的像素包括前景成分，所以，像素值与帧#n-1中的像素值只由背景成分组成的情况不同。因此，静止/运动判断单元202-3作出帧#n中属于混合区的像素和与之相对应的帧#n-1中的像素的静止/运动判断结果是运动。

如上所述，在静止/运动判断单元202-3提供指示运动的静止/运动判断结果，和静止/运动判断单元202-4提供指示“静止”的静止/运动判断结果的情况下，区域判断单元203-3判断相应像素属于覆盖背景区。

在如图36所示的背景保持静止和前景运动量v是4的帧#n中，包含在未覆盖背景区中的像素是从左边算起的第2个到第4个像素。由于运动量v是4，所以，在接在帧#n之后的帧#n+1中，从左边算起的第2个到第4个像素只包括背景成分，并且属于背景区。此外，在接在帧#n+1之后的下一帧#+2中，从左边算起的第2个到第4个像素只包含背景成分，并且属于背景区。

请注意，由于与背景相对应的对象保持静止，帧#n+2中从左边算起的第2个像素的像素值与帧#n+1中从左边算起的第2个像素的像素值没有差异。同样，帧#n+2中从左边算起的第3个像素的像素值与帧#n+1中从左边算起的第3个像素的像素值没有差异，且帧#n+2中从左边算起的第4个像素的像素值与帧#n+1中从左边算起的第4个像素的像素值没有差异。

也就是说，与帧#n中属于未覆盖背景区的像素相对应的帧#n+1和帧#n+2的像素只由背景成分组成，所以，它们的像素值不会改变，这样，它们之间的差值的绝对值接近零。于是，静止/运动判断单元202-1作出与帧#n中属于混合区的像素相对应的帧#n+1和帧#n+2的像素的静止/运动判断结果是“静止”。

由于帧#n中属于未覆盖背景区的像素包括前景成分，因此，像素值与帧#n+1中像素值只由背景成分组成的情况不同。于是，静止/运动判断单元202-2作出帧#n中属于混合区的像素和帧#n+1中与之相对应的像素的静止/运动判断结果是运动的判断。

如上所述，在静止/运动判断单元202-2提供指示运动的静止/运动判断结果，和静止/运动判断单元202-1提供指示“静止”的静止/运动判断结果的情况下，区域判断单元203-1判断相对像素属于未覆盖背景区。

图37是说明区域指定单元103在帧#n的判断条件的图。如果帧#n-2中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素、和帧#n-1中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为“静止”，和帧#n-1中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素、和帧#n中的像素被判断为运动，那么，区域指定单元103判断帧#n中作为判断对象的像素属于覆盖背景区。

如果帧#n-1中处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素和帧#n中的像素被判断为“静止”，和帧#n中的像素且帧#n+1中处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为“静止”，那么，区域指定单元103判断帧#n中作为判断对象的像素属于静止区。

如果帧#n-1中处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素、和帧#n中的像素被判断为运动，和帧#n中的像素和帧#n+1中处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为运动，那么，区域指定单元103判断帧#n中作为判断对象的像素属于运动区。

如果帧#n中的像素和帧#n+1中处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为运动，和帧#n+1中处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素、和帧#n+2中处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为“静止”，那么，区域指定单元103判断帧#n中作为判断对象的像素属于未覆盖背景区。

图38A到38D是说明区域指定单元103指定区域的结果的例子的图。在图38A中，用白色显示被判断为属于覆盖背景区的像素。在图38B中，用白色显示被判断为属于未覆盖背景区的像素。

在图38C中，用白色显示被判断为属于运动区的像素。在图39D中，用白色显示被判断为属于静止区的像素。

图39是说明指示判断标志存储帧存储器206输出的区域信息的混合区的、作为图像的区域信息的图。在图39中，用白色显示被判断为属于覆盖背景区或未覆盖背景区的像素，即被判断为属于混合区的像素。判断标志存储帧存储器206输出的、指示混合区的区域信息指示混合区和在前景区内具有结构(texture)的和被没有结构的部分包围着的部分。

接着，参照图40所示的流程图，描述区域指定单元103进行区域指定的处理。在步骤S201中，帧存储器201获取包括作为判断对象的帧#n在内的帧#n-2到帧#+2的图像。

在步骤S202中，静止/运动判断单元202-3判断帧#n-1的像素和与帧#n-1处在相同位置上的帧#n的像素是否保持静止，并且，在判断为“静止”的情况下，流程转到步骤S203，在步骤S203中，静止/运动判断单元202-2判断帧#n的像素和处在相同位置上的帧#n+1的像素是否保持静止。

在步骤S203中，在作出帧#n的像素和处在相同位置上的帧#n+1的像素是“静止”的判断的情况下，流程转到步骤S204，且在步骤S204中，区域判断单元203-2把与该区域中的判断像素相对应的静止区判断标志设置成指示该像素属于静止区的“1”。区域判断单元203-2把静止区判断标志提供给判断标志存储帧存储器204，然后，过程转到步骤S205。

在步骤S202中，在作出帧#n-1的像素和处在相同位置上的帧#n的像素是运动的判断的情况下，或者，在步骤S203中，在作出帧#n的像素和处在相同位置上的帧#n+1中的像素是运动的判断的情况下，帧#n的像素不属于静止区，因此，跳过步骤S204中的处理，过程转到步骤S205。

在步骤S205中，静止/运动判断单元202-3判断帧#n-1的像素和处在相同位置上的帧#n的像素是否处在运动之中，并且，在判断为运动的情况下，流程转到步骤S206，在步骤S206中，静止/运动判断单元202-2判断帧#n的像素和处在相同位置上的帧#n+1的像素是否处在运动之中。

在步骤S206中，在作出帧#n的像素和处在相同位置上的帧#n+1的像素是运动的判断的情况下，过程转到步骤S207，在步骤S207中，区域判断单元203-2把与该区域中的判断像素相对应的运动区判断标志设置成指示像素属于运动区的“1”。区域判断单元203-2把运动区判断标志提供给判断标志存储帧存储器204，然后，过程转到步骤S208。

在步骤S205中，在作出帧#n-1的像素和处在相同位置上的帧#n的像素是“静止”的判断的情况下，或者，在步骤S206中，在作出帧#n的像素和处在相同位置上的帧#n+1中的像素是“静止”的判断的情况下，由于帧#n的像素不属于运动区，跳过步骤S207中的处理，过程转到步骤S208。

在步骤S208中，静止/运动判断单元202-4判断帧#n-2的像素和处在相同位置上的帧#n-1的像素是否保持静止，并且，在判断为“静止”的情况下，流程转到步骤S209，在步骤S209中，静止/运动判断单元202-3判断帧#n-1的像素和处在相同位置上的帧#n的像素是否处在运动之中。

在步骤S209中，在作出帧#n-1的像素和处在相同位置上的帧#n的像素是运动的判断的情况下，流程转到步骤S210，在步骤S210中，区域判断单元203-3把与该区域中的所判断像素相对应的覆盖背景区判断标志设置成指示像素属于覆盖背景区的“1”。区域判断单元203-3把覆盖背景区判断标志提供给判断标志存储帧存储器204，然后，过程转到步骤S211。

在步骤S208中，在作出帧#n-2的像素和处在相同位置上的帧#n-1的像素是运动的判断的情况下，或者，在步骤S209中，在作出帧#n-1的像素和处在相同位置上的帧#n的像素是“静止”的判断的情况下，帧#n的像素不属于覆盖背景区，因此，跳过步骤S210中的处理，过程转到步骤S211。

在步骤S211中，静止/运动判断单元202-2判断帧#n的像素和处在相同位置上的帧#n+1的像素是否处在运动之中，并且，在判断为运动的情况下，流程转到步骤S212，在步骤S212中，静止/运动判断单元202-1判断帧#n+1的像素和处在相同位置上的帧#n+2的像素是否保持静止。

在步骤S212中，在作出帧#n+1的像素和处在相同位置上的帧#n+2的像素是“静止”的判断的情况下，流程转到步骤S213，在步骤S213中，区域判断单元203-1把与该区域中的所判断像素相对应的未覆盖背景区判断标志设置成指示像素属于未覆盖背景区的“1”。区域判断单元203-1把未覆盖背景区判断标志提供给判断标志存储帧存储器204，然后，过程转到步骤S214。

在步骤S211中，在作出帧#n的像素和处在相同位置上的帧#n+1的像素是“静止”的判断和情况下，或者，在步骤S212中，在作出帧#n+1的像素和处在相同位置上的帧#n+2的像素是运动的判断的情况下，由于帧#n的像素不属于未覆盖背景区，因此，跳过步骤S213中的处理，过程转到步骤S214。

在步骤S214中，区域指定单元103判断帧#n中的所有像素是否都得到区域指定，并且，在作出并非所有像素都得到区域指定的判断的情况下，过程返回到步骤S202，并重复为其它像素指定区域的处理。

在步骤S214中，在作出帧#n中的所有像素都得到区域指定的判断的情况下，流程转到步骤S215，在步骤S215中，合成单元205根据存储在判断标志存储帧存储器204中的未覆盖背景区判断标志和覆盖背景区判断标志，生成指示混合区的区域信息，并且还生成指示每个像素属于未覆盖背景区、静止区、运动区、或覆盖背景区中的哪一个的区域信息，把生成的区域信息设置到判断标志存储帧存储器206中，然后，结束处理。

如上所述，区域指定单元103可以生成指示包含在帧中的每个像素属于运动区、静止区、未覆盖背景区、或覆盖背景区中的哪一个的区域信息。

请注意，可以作出这样的安排，其中，区域指定单元103通过求出与未覆盖背景区和覆盖背景区相对应的区域信息的逻辑和，生成与混合区相对应的区域信息和由指示包含在帧中的每个像素属于运动区、静止区、或混合区的哪一个的标志组成的区域信息。

在与前景相对应的对象具有结构的情况下，区域指定单元103可以更精确地指定运动区。

区域指定单元103可以输出指示运动区的区域信息，来作为指示前景区的区域信息，或输出指示静止区的区域信息，来作为指示背景区的区域信息。

虽然已经对与背景相对应的对象保持静止的情况作了描述，但是，即使与背景区相对应的图像涉及到运动，也可以应用上述指定区域的处理。例如，如果与背景区相对应的图像作恒速运动，那么，区域指定单元103平移与运动相对应的整个图像，并且以与与背景相对应的对象保持静止的情况相同的方式进行处理。此外，如果与背景区相对应的图像在每个局部位置上都包括不同的运动，那么，区域指定单元103选择与运动相对应的像素，然后，进行上述处理。

图41是说明区域指定单元103的结构的另一个例子的框图。图41所示的区域指定单元103不使用运动向量。背景图像生成单元301生成与输入图像相对应的背景图像，并且把生成的背景图像提供给二进制对象图像提取单元302。背景图像生成单元301提取，例如，与包含在输入图像中的对象相对应的图像对象，并生成背景图像。

在图42中说明了模型图的例子，其中，沿着时间方向展开沿着与前景对象相对应的图像的运动方向在一行中相邻排列的像素的像素值。例如，图42的模型图显示了一模型，其中，在与前景对象相对应的图像的运动方向相对于屏幕是水平的情况下，一行中相邻像素的像素值沿着时间方向展开的。

在图42中，帧#n中的行与帧#n-1中的行和帧#n+1中的行相同。

在帧#n中，包含在从左边算起第6个像素到第17个像素中的、与对象相对应的前景成分包含在帧#n-1中从左边算起第2个到第13个像素中，和包含在帧#n+1中从左边算起第10个到第21个像素中。

在帧#n-1中，属于覆盖背景区的像素是从左边算起的第11个到第13个像素，而属于未覆盖背景区的像素是从左边算起的第2个到第4个像素。在帧#n中，属于覆盖背景区的像素是从左边算起的第15个到第17个像素，而属于未覆盖背景区的像素是从左边算起的第6个到第8个像素。在帧#n+1中，属于覆盖背景区的像素是从左边算起的第19个到第21个像素，而属于未覆盖背景区的像素是从左边算起的第10个到第12个像素。

在帧#n-1中，属于背景区的像素是从左边算起的第1个、和从左边算起的第14个到第21个像素。在帧#n中，属于背景区的像素是从左边算起的第1个到第5个像素、和从左边算起的第18个到第21个像素。在帧#n+1中，属于背景区的像素是从左边算起的第1个到第9个像素。

由背景图像生成单元301生成的、与图42所示的例子相对应的背景图像的例子显示在图43中。背景图像由与背景对象相对应的像素组成，并且不包括与前景对象相对应的图像成分。

二进制对象图像提取单元302根据背景图像和输入图像之间的相关性，来生成二进制对象图像，并且把生成的二进制对象图像提供给时间变化检测单元303。

图44是说明二进制对象图像提取单元302的配置的框图。相关值计算单元321计算背景图像生成单元301提供的背景图像与输入图像之间的相关性，生成相关值，并且把生成的相关值提供给阈值处理单元322。

例如，相关值计算单元321把表达式(4)作用于如图45A所示，背景图像中中心在X₄上的块3×3、和如图45B所示，输入图像的中心在与背景图像中的块相对应的Y₄上的块3×3，计算与Y₄相对应的相关值。

$\stackrel{\‾}{X}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Xi}}{9}---\left(5\right)$ $\stackrel{\‾}{Y}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Yi}}{9}---\left(6\right)$

相关值计算单元321把与每个像素相对应的、如上所述所计算的相关值提供给阈值处理单元322。

此外，还可以作出这样的安排，其中，例如相关值计算单元321把表达式(7)应用于如图46A所示的中心在X₄上的背景图像中的块3×3、和如图46B所示的与背景图像中的块相对应的中心在Y₄上的输入图像中的块3×3，并计算与Y₄相对应的差值的绝对值之和。

相关值计算单元321把如上所述计算的差值的绝对值之和作为相关值提供给阈值处理单元322。

阈值处理单元322将相关图像的像素值与阈值th0相比较，并且，在相关值小于等于阈值th0的情况下，阈值处理单元322把二进制对象图像的像素值设置成1，且在相关值大于阈值th0的情况下，阈值处理单元322把二进制对象图像的像素值设置成0，并输出其每个像素值已被设置成0或1的二进制对象图像。阈值处理单元322可以事先存储阈值th0，也可以使用从外部输入的阈值th0。

图47是说明与图42所示的输入图像的模型相对应的二进制对象图像的例子的图。在二进制对象图像中，与背景图像相关性高的像素的像素值被设置成0。

图48是说明时间变化检测单元303的配置的框图。帧存储器341在对帧#n的像素作出区域判断的时候，存储二进制对象图像提取单元302提供的、帧#n-1、帧#n、和帧#n+1的二进制对象图像。

区域判断单元342根据存储在帧存储器341中的、帧#n-1、帧#n、和帧#n+1的二进制对象图像，来判断帧#n的每个像素的区域，生成区域信息，并且输出生成的区域信息。

图49是描述区域判断单元342所作的判断的图。在帧#n的二进制对象图像的感兴趣像素是0的情况下，区域判断单元342判断帧#n的感兴趣像素属于背景区。

在帧#n的二进制对象图像的感兴趣像素是1，帧#n-1的二进制对象图像的相应像素的像素值是1，和帧#n+1的二进制对象图像的相应像素是1的情况下，区域判断单元342判断帧#n的感兴趣像素属于前景区。

在帧#n的二进制对象图像的感兴趣像素是1，和帧#n-1的二进制对象图像的相应像素是0的情况下，区域判断单元342判断帧#n的感兴趣像素属于覆盖背景区。

在帧#n的二进制对象图像的感兴趣像素是1，和帧#n+1的二进制对象图像的相对像素是0的情况下，区域判断单元342判断帧#n的感兴趣像素属于未覆盖前景区。

图50是说明了其中时间变化检测单元303判断与图42所示的输入图像的模型相对应的二进制对象图像的例子的图。由于帧#n的二进制对象图像的相应像素是0，所以时间变化检测单元303判断帧#n从左边算起的第1个到第5个像素属于背景区。

由于帧#n的二进制对象图像的像素是1，和帧#n+1的相应像素是0，所以，时间变化检测单元303判断从左边算起的第6个到第9个像素属于未覆盖背景区。

由于帧#n的二进制对象图像的像素的像素值是1，帧#n-1的相应像素是1，和帧#n+1的相应像素是1，时间变化检测单元303判断从左边算起的第10个到第13个像素属于前景区。

由于帧#n的二进制对象图像的像素是1，和帧#n-1的相应像素是0，所以时间变化检测单元303判断从左边算起的第14个到第17个像素属于覆盖背景区。

由于帧#n的二进制对象图像的相应像素是0，时间变化检测单元303判断从左边算起的第18个到第21个像素属于背景区。

现在参照图51所示的流程图，描述区域判断单元103指定区域的处理。在步骤S301中，例如，区域判断单元103的背景图像生成单元301通过根据输入图像，提取与包含在输入图像中的背景对象相对应的图像对象，生成背景图像，并且把生成的背景图像提供给二进制对象图像提取单元302。

在步骤S302中，二进制对象图像提取单元302例如，通过参照图45所述的计算，计算输入图像和背景图像生成单元301提供的背景图像之间的相关值。在步骤S303中，二进制对象图像提取单元302例如，通过将相关值与阈值相比较，从相关值和阈值中计算二进制对象图像。

在步骤S304中，时间变化检测单元303进行区域判断处理，然后，结束处理。

下面参照图52所示的流程图，详细描述与步骤S304相对应的区域判断处理。在步骤S321中，时间变化检测单元303的区域判断单元342判断存储在帧存储器341中的帧#n中的感兴趣像素是否是0，并且，在作出帧#n中的感兴趣像素是0的判断的情况下，流程转到步骤S322，作出意思是帧#n中的感兴趣像素属于背景区的设置，然后，结束处理。

在步骤S321中，在作出帧#n中的感兴趣像素是1的判断的情况下，流程转到步骤S323，和在步骤S323中，时间变化检测单元303的区域判断单元342判断存储在帧存储器341中的帧#n中的感兴趣像素是否是1，和帧#n-1中的相应像素是否是0，并且，在作出帧#n中的感兴趣像素是1，和帧#n-1中相应像素的像素值是0的判断的情况下，流程转到步骤S324，作出意思是帧#n中的感兴趣像素属于覆盖背景区的设置，然后，结束处理。

在步骤S323中，在作出帧#n中的感兴趣像素是0，或帧#n-1中的相应像素是1的判断的情况下，流程转到步骤S325，和在步骤S325中，时间变化检测单元303的区域判断单元342判断存储在帧存储器341中的帧#n中的感兴趣像素是否是1，和帧#n1中的相应像素是否是0，并且，在作出帧#n中的感兴趣像素是1，和帧#n1中的相应像素是0的判断的情况下，流程转到步骤S326，作出意思是帧#n中的感兴趣像素属于未覆盖背景区的设置，然后，结束处理。

在步骤S325中，在作出帧#n中的感兴趣像素是0，或帧#n+1中的相应像素是1的判断的情况下，流程转到步骤S327，和在步骤S327中，时间变化检测单元303的区域判断单元342把帧#n中的感兴趣像素设置成前景区，然后，结束处理。

如上所述，区域指定单元103可以指定输入图像的像素属于前景区、背景区、覆盖背景区、或未覆盖背景区中的哪一个，并且生成与指定结果相对应的区域信息。

图53是说明区域指定单元103的另一种配置的框图。图53所示的区域指定单元103使用了运动检测单元102提供的运动向量和它的位置信息。与图41所示的那些相同的部分用相同的标号表示，并且略去不述。

强化单元361根据二进制对象图像提取单元302提供的二进制对象图像的N帧，生成强化二进制对象图像，并且将其输出到时间变化检测单元303。

图54是描述强化单元361的配置的框图。运动补偿单元381根据运动检测单元102提供的运动向量和它的位置信息，来补偿N帧的二进制对象图像的运动，并且把经过运动补偿的二进制对象图像输出到切换器382。

将参照图55和图56所示的例子来描述运动补偿单元381的运动补偿。例如，在判断帧#n中的区域时，例如，如果输入如图55所示的帧#n-1、帧#n、和帧#n+1的二进制对象图像的情况下，就如图56所示的例子所指的那样，运动补偿单元381根据运动检测单元102提供的运动向量，补偿帧#n-1的二进制对象图像和帧#n+1的二进制对象图像的运动，并且，把经过运动补偿的二进制对象图像提供给切换器382。

切换器382把第1帧经过运动补偿的二进制对象图像输出到帧存储器383-1，和把第2帧经过运动补偿的二进制对象图像输出到帧存储器383-2。类似地，切换器382把第3到第N-1帧经过运动补偿的二进制对象图像中的每一个分别输出到帧存储器383-3到帧存储器383-(N-1)中的每一个，并且，把第N帧经过运动补偿的二进制对象图像输出到帧存储器383-N。

帧存储器381-1存储其第1帧已经过运动补偿的二进制对象图像，并且把所存储的二进制对象图像输出到加权单元384-1。帧存储器381-2存储其第2帧已经过运动补偿的二进制对象图像，并且把存储的二进制对象图像输出到加权单元384-2。

类似地，帧存储器383-3到帧存储器383-(N-1)中的每一个分别存储其第3到第N-1帧之一经过运动补偿的二进制对象图像中的每一个，并且把存储的二进制对象图像输出到加权单元384-3到加权单元384-(N-1)的每一个。帧存储器381-N存储其第N帧已经过运动补偿的二进制对象图像，并且把所存储的二进制对象图像输出到加权单元384-N。

加权单元384-1将帧存储器383-1提供的、其第1帧已经过运动补偿的二进制对象图像的像素值与预定权重w1相乘，并且将结果输出到累加单元385。加权单元384-2将帧存储器383-2提供的、其第2帧已经过运动补偿的二进制对象图像的像素值与预定权重w2相乘，并且将结果输出到累加单元385。

类似地，加权单元384-3到加权单元384-(N-1)中的每一个将帧存储器383-3到帧存储器383-(N-1)之一提供的、经过运动补偿的第3帧到第N-1帧之一的二进制对象图像的像素值与预定权重w3到w(N-1)之一相乘，并且将结果输出到累加单元385。加权单元384-N将帧存储器383-N提供的、经过运动补偿的第N帧的二进制对象图像的像素值与预定权重wN相乘，并且将结果输出到累加单元385。

累加单元385累加与其中经过运动补偿的第1到第N帧中的每一个被乘以预定权重w1到wN之一的、二进制对象图像相对应的像素值，并且，通过将累加的像素值与预定阈值th0相比较，生成二进制对象图像。

如上所述，强化单元361从二进制对象图像的N个帧中生成强化二进制对象图像，并将其提供给时间变化检测单元303，因此，即使输入图像含有噪声，与图41所示的情况相比，其配置如图53所示的区域指定单元103也可以更精确地指定区域。

现在参照图57所示的流程图，描述其配置如图53所示的区域指定单元103指定区域的处理。步骤S341到步骤S343中的处理分别与图51所示的流程图中所述的步骤S301到S303中的处理相同，因此，略去不述。

在步骤S344中，强化单元361进行强化处理。

在步骤S345中，时间变化检测单元303进行指定区域的处理，然后，结束处理。步骤S345中的处理细节与参照图52所示的流程图描述的处理细节相同，因此，略去不述。

现在参照图58所示的流程图，详细描述与图57所示的步骤S344中的处理相对应的强化处理。在步骤S361中，运动补偿单元381根据运动检测单元102提供的运动向量和它的位置信息，对输入的二进制对象图像进行运动补偿处理。在步骤S362中，帧存储器383-1到帧存储器383-N之一存储通过切换器382提供的、经过运动补偿的二进制对象图像。

在步骤S363中，强化单元361判断是否已经存储了N个二进制对象图像，并且，在判断还没有存储N个二进制对象图像的情况下，流程返回到步骤S361，强化单元361重复对二进制对象图像进行运动补偿的处理，和存储二进制对象图像的处理。

在步骤S363中，在判断已经存储了N个二进制对象图像的情况下，流程转到步骤S364，且加权单元384-1到384-N中的每一个将N个二进制对象图像中的每一个与权重w1到wN之一相乘，以便对其加权。

在步骤S365中，累加单元385累加N个已加权的二进制对象图像。

在步骤S366中，累加单元385例如，通过与预定阈值th1相比较，从累加图像中生成二进制对象图像，然后，结束处理。

如上所述，其配置如图53所示的区域指定单元103根据强化二进制对象图像，可以生成区域信息。

如上所述，区域指定单元103可以生成指示包含在帧中的每一个像素属于运动区、静止区、未覆盖背景区、或覆盖背景区中的哪一个的区域信息。

图59是显示混合比计算单元104的配置的例子的框图。估计混合比处理单元401通过根据输入图像，进行与覆盖背景区的模型相对应的计算，来为每个像素计算估计混合比，并且把计算的估计混合比提供给混合比确定单元403。

通过根据输入图像，进行与未覆盖背景区的模型相对应的计算，估计混合比处理单元402为每个像素计算估计混合比，并且把计算的估计混合比提供给混合比确定单元403。

由于可以作出与前景相对应的对象在快门间隔内作恒速运动的假设，因此，属于混合区的像素的混合比α具有如下所述的性质。也就是说，混合比α随着像素位置的改变线性地改变。在像素位置的改变是一维的情况下，混合比α的改变用直线来表示，而在像素位置的改变是二维的情况下，混合比α的改变用平面来表示。

请注意，一个帧的间隔很短，因此，可以作出与前景相对应的对象是刚体和作恒速运动的假设。

在这种情况下，混合比α的斜率与在快门间隔内的前景的运动量v成反比。

理想混合比α的例子显示在图60中。在混合中理想混合比α的斜率1可以表示成运动量v的倒数。

如图60所示，理想混合比α在背景区内的值为1，在前景区内的值为0，和在混合区内的值大于0和小于1。

对于图61所示的例子，利用帧#n-1中从左边算起第7个像素的像素值P06，帧#n中从左边算起第7个像素的像素值C06可以通过表达式(8)来表示。 $C06=B06/v+B06/v+F01/v+F02/v$ $=P06/v+P06/v+F01/v+F02/v$ $=2/v\·P06+\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(8\right)$

在表达式(8)中，像素值C06用混合区中像素的像素值M来表示，和像素值P06通过背景区中像素的像素值B来表示。也就是说，混合区中像素的像素值M和背景区中像素的像素值B可以分别用表达式(9)和表达式(10)来表示。

M＝C06                                        (9)

B＝P06                                        (10)

在表达式(8)中，2/v对应于混合比α。由于运动量v是4，帧#n中从左边算起第7个像素的混合比α是0.5。

如上所述，通过把感兴趣帧#n中像素值C看成混合区中的像素值，和把帧#n之前的帧#n-1中的像素值P看成背景区中的像素值，可以把表示混合比α的表达式(3)重写成表达式(11)。

C＝α·P+f                                    (11)

在表达式(11)中，f是包含在感兴趣像素中的前景成分之和∑_iFi/v。包含在表达式(11)中的变量是混合比α和前景成分的和值f这两个变量。

类似地，图62说明了其中沿着时间方向展开未覆盖背景区中运动量v是4，且虚拟分割数也是4的像素值的模型。

在未覆盖背景区中，通过把感兴趣帧#n中的像素值C当作混合区的像素值，和把帧#n后面的帧#n+1中的像素值N当作背景区中的像素值，以与上述覆盖背景区中的表示相同的方式，把表示混合比α的表达式(3)表示成表达式(12)。

C＝α·N+f                                      (12)

请注意，虽然是在背景对象保持静止的假设下来描述表达式(8)到表达式(12)的，但是，即使背景对象是运动的，也可以利用处在与背景运动量v相对应的位置上的像素的像素值，应用表达式(8)到表达式(12)。例如，在图61中，在与背景相对应的对象的运动量v是2，且虚拟分割数也是2且与背景相对应的对象在图中向右边移动的情况下，那么，在表达式(10)中背景区中的像素的像素值B是像素值P04。

由于表达式(11)和表达式(12)分别包含两个变量，因此，在这种状态下，不能获得混合比α。这里，由于图像一般存在很大的空间相关性，相邻像素具有近似相同的值。

因此，由于前景成分具有很大的空间相关性，通过变换表达式来获取混合比，以便从前一帧或后一帧中获得前景成分之和。

在图63所示的帧#n中从左边算起第7个像素的像素值Mc可以用表达式(13)来表示。 $\mathrm{Mc}=2/v\·B06+\underset{i=11}{\overset{12}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(13\right)$

表达式(13)中右边第1个变量2/v对应于混合比α。表达式(13)中右边第2个变量可以利用后一帧#n+1中的像素值表示成表达式(14) $\underset{i=11}{\overset{12}{\mathrm{\Σ}}}\mathrm{Fi}/v=\mathrm{\β}\·\underset{i=7}{\overset{10}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(14\right)$

这里，利用背景成分的空间相关性，可以作出表达式(15)成立的假设。

F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12    (15)

利用表达式(15)可以把表达式(14)重写成表达式(16)。 $\underset{i=11}{\overset{12}{\mathrm{\Σ}}}\mathrm{Fi}/v=2/v\·F$ $=\mathrm{\β}\·4/v\·F---\left(16\right)$

因此，β可以用表达式(17)来表示。

β＝2/4                                       (17)

一般说来，在作出与混合区相关的前景成分与表达式(15)所示的相同的假设的情况下，对于混合区中的所有像素，表达式(18)由内分比(internaldividing ratio)的关系构成。

β＝1-α                                   (18)

在表达式(18)成立的情况下，表达式(11)可以像表达式(19)所示的那样展开。 $C=\mathrm{\α}\·P+f$ $=\mathrm{\α}\·P+(1-\mathrm{\α})\·\underset{i=\mathrm{\γ}}{\overset{\mathrm{\γ}+V-1}{\mathrm{\Σ}}}\mathrm{Fi}/v$ $=\mathrm{\α}\·P+(1-\mathrm{\α})\·N---\left(19\right)$

类似地，在表达式(18)成立的情况下，表达式(12)可以像表达式(20)所示的那样展开。 $C=\mathrm{\α}\·N+f$ $=\mathrm{\α}\·N+(1-\mathrm{\α})\·\underset{i=\mathrm{\γ}}{\overset{\mathrm{\γ}+v-1}{\mathrm{\Σ}}}\mathrm{Fi}/v$ $=\mathrm{\α}\·N+(1-\mathrm{\α})\·P---\left(20\right)$

在表达式(19)和表达式(20)中，由于C、N和P是已知像素值，包含在表达式(19)和表达式(20)中的变量只是混合比α。表达式(19)和表达式(20)中C、N和P之间的关系在图64中说明。C是用于计算混合比α的、帧#n中感兴趣像素的像素值。N是其在空间方向上的位置与感兴趣像素的位置相对应的、帧#n+1中的像素的像素值。P是其在空间方向上的位置与感兴趣像素的位置相对应的、帧#n-1中的像素的像素值。

因此，由于表达式(19)和表达式(20)每一个只包括一个变量，可以利用三个帧中的像素值来计算混合比α。通过求解表达式(19)和表达式(20)计算精确混合比α的条件是与混合区有关的前景成分是相同的，也就是说，在前景对象保持静止的状态下获取的前景图像对象中，在与前景对象的运动方向相对应的图像对象的边界上依次排列的、数量加倍的运动量v的像素的像素值是常数。

如上所述，属于覆盖背景区的像素的混合比α通过表达式(21)来计算，和属于未覆盖背景区的像素的混合比α通过表达式(22)来计算。

α＝(C-N)/(P-N)                               (21)

α＝(C-P)/(N-P)                               (22)

图65是说明估计混合比处理单元401的配置的框图。帧存储器421以逐帧递增的方式存储输入图像，并且把作为输入图像输入的帧之后的帧提供给帧存储器422和混合比计算单元423。

帧存储器422以逐帧递增的方式存储输入图像，并且把帧存储器421提供的帧之后的帧提供给混合比计算单元423。

因此，在把帧#n+1作为输入图像输入到混合比计算单元423的情况下，帧存储器421把帧#n提供给混合比计算单元423，且帧存储器422把帧#n-1提供给混合比计算单元423。

混合比计算单元423根据帧#n中感兴趣像素的像素值C、其空间位置与感兴趣像素的位置相对应的帧#n+1中的像素的像素值N、和其空间位置与感兴趣像素的位置相对应的帧#n-1中的像素的像素值P，通过用表达式(21)表示的运算来计算感兴趣像素的混合比，并且输出计算的估计混合比。例如，在背景保持静止的情况下，混合比计算单元423根据帧#n中感兴趣像素的像素值C、在帧中与感兴趣像素处在相同位置上的帧#n+1中的像素的像素值N、和在帧中与感兴趣像素处在相同位置上的帧#n-1中的像素的像素值P，计算感兴趣像素的估计混合比，并且输出所计算的估计混合比。

如上所述，估计混合比处理单元401可以根据输入图像，计算估计混合比，并且将其提供给混合比确定单元403。

请注意，除了估计混合比处理单元401通过表达式(21)所表示的运算，来计算感兴趣像素的估计混合比，而估计混合比处理单元402通过表达式(22)所表示的运算，来计算感兴趣像素的估计混合比的处理之外，估计混合比处理单元402的处理与估计混合比处理单元401的处理相同，因此，略去不述。

图66是说明由估计混合比处理单元401计算估计混合比的例子的图。图66所示的估计混合比表示在对于一行，与作恒速运动的对象相对应的前景运动量v是11的情况下的结果。

不用说，如图60所示，在混合比合区在混估计内近似线性地变化。

返回到图59，混合比确定单元403根据区域指定单元103提供的、指示作为混合比α计算对象的像素属于前景区、背景区、覆盖背景区、和未覆盖背景区中的哪一个的区域信息，设置混合比α。

在作为对象的像素属于前景区的情况下，混合比确定单元403把混合比α设置成0，在作为对象的像素属于背景区的情况下，把混合比α设置成1，在作为对象的像素属于覆盖背景区的情况下，把混合比α设置成估计混合比处理单元401提供的估计混合比，和在作为对象的像素属于未覆盖背景区的情况下，把混合比α设置成估计混合比处理单元402提供的估计混合比。混合比确定单元403输出根据区域信息设置的混合比α。

图67是说明混合比计算单元104的另一种配置的框图。选择单元441根据区域指定单元103提供的区域信息，把属于覆盖背景区的像素、和前一帧和后一帧中与之对应的像素提供给估计混合比处理单元442。选择单元441根据区域指定单元103提供的区域信息，把属于未覆盖背景区的像素、和前一帧和后一帧中与之对应的像素提供给估计混合比处理单元443。

估计混合比处理单元442根据从选择单元441输入的像素值，通过如表达式(21)所表示的运算，计算属于覆盖背景区的感兴趣像素的估计混合比，并且把计算的估计混合比提供给选择单元444。

估计混合比处理单元443根据从选择单元441输入的像素值，通过如表达式(22)所表示的运算，计算属于未覆盖背景区的感兴趣像素的估计混合比，并且把计算的估计混合比提供给选择单元444。

在作为对象的像素属于前景区的情况下，选择单元444根据区域指定单元103提供的区域信息，选择为0的估计混合比，并且把它设置成混合比α，和在作为对象的像素属于背景区的情况下，选择单元444选择为1的估计混合比，并且把它设置成混合比α。在作为对象的像素属于覆盖背景区的情况下，选择单元444选择估计混合比处理单元442提供的估计混合比，并且把它设置成混合比α，在作为对象的像素属于未覆盖背景区的情况下，选择单元444选择估计混合比处理单元443提供的估计混合比，并且把它设置成混合比α。选择单元442输出根据区域信息选择和设置的混合比α。

如上所述，具有如图67所示的另一种配置的混合比计算单元104可以为包含在图像中的每个像素计算混合比α，并且输出计算的混合比α。

下面参照图68所示的流程图，描述其配置如图59所示的混合比计算单元104计算混合比α的处理。在步骤S401中，混合比计算单元104获取区域指定单元103提供的区域信息。在步骤S402中，估计混合比处理单元401通过与覆盖背景区相对应的模型进行计算估计混合比的处理，并且把所计算的估计混合比提供给混合比确定单元403。计算估计混合比的处理细节以后将参照图72所示的流程图加以描述。

在步骤S403中，估计混合比处理单元402通过与未覆盖背景区相对应的模型进行计算估计混合比的处理，并且把所计算的估计混合比提供给混合比确定单元403。

在步骤S404中，混合比计算单元104判断是否对整个帧都估计了混合比α，并且，在作出还没有对整个帧估计混合比的判断的情况下，流程返回到步骤S402，并执行为下一个像素估计混合比α的处理。

在步骤S404中，在作出已经对整个帧都估计了混合比的判断的情况下，流程转到步骤S405，在步骤S405中，混合比确定单元403根据区域指定单元101提供的、指示像素属于前景区、背景区、覆盖背景区、还是未覆盖背景区的区域信息，设置混合比α。在作为对象的像素属于前景区的情况下，混合比确定单元403把混合比α设置成0，在作为对象的像素属于背景区的情况下，把混合比α设置成1，在作为对象的像素属于覆盖背景区的情况下，把混合比α设置成估计混合比处理单元401所提供的估计混合比，和在作为对象的像素属于未覆盖背景区的情况下，把混合比α设置成估计混合比处理单元402提供的估计混合比，然后，结束处理。

如上所述，根据区域指定单元103提供的区域信息、和输入图像，混合比计算单元104就可以计算与每个像素相对应的作为特征量的混合比α。

其配置如图67所示的混合比计算单元104计算混合比α的处理与图68所示的流程图所述的处理相同，因此，略去不述。

现在，参照图69所示的流程图，描述与图68中的步骤S402相对应的、通过与覆盖背景区相对应的模型进行的混合比估计处理。

在步骤S421中，混合比计算单元423从帧存储器421中获取帧#n中感兴趣像素的像素值C。

在步骤S422中，混合比计算单元423从帧存储器422中获取与感兴趣像素相对应的、帧#n-1中的像素的像素值P。

在步骤S423中，混合比计算单元423获取与包含在输入图像中的感兴趣像素相对应的、帧#n+1中的像素的像素值N。

在步骤S424中，混合比计算单元423根据帧#n中感兴趣像素的像素值C、帧#n-1中像素的像素值P、和帧#n+1中像素的像素值N，计算估计混合比。

在步骤S425中，混合比计算单元423判断对于整个帧，计算估计混合比的处理是否已经结束了，并且，在作出对于整个帧，计算估计混合比的处理还没有结束的判断的情况下，流程返回到步骤S421，重复为下一个像素计算估计混合比的处理。

在步骤S425中，在作出对于整个帧，计算估计混合比的处理已经结束的判断的情况下，结束处理。

如上所述，估计混合比处理单元401根据输入图像，可以计算估计混合比。

如图68中步骤S403所示的、通过与未覆盖背景区相对应的模型进行混合比估计的处理与其中利用与未覆盖背景区的模型相对应的表达式的、如图69所示的流程图所示的处理相同，因此，略去不述。

请注意，图67所示的估计混合比处理单元442和估计混合比处理单元443通过执行与图69所示的流程图所示的处理相同的处理，来计算估计混合比，因此，略去不述。

此外，虽然是在与背景相对应的对象保持静止的假设下进行描述的，但是，即使与背景区相对应的图像处在运动之中，也可以应用如上所述的用于获取混合比α的处理。例如，在与背景相对应的图像作匀速运动的情况下，估计混合比处理单元401相对于背景运动来移动整个图像，以与与背景区相对应的象保持静止的情况相同的方式进行处理。此外，在与背景相对应的图像包含在每个局部位置上不同的背景运动的情况下，估计混合比处理单元401选择与背景运动相对应的像素，来作为与属于混合区的像素相对应的像素，并进行如上所述的处理。

此外，可以作出这样的安排，其中，混合比计算单元104通过与覆盖背景区相对应的模型，对所有像素只进行混合比估计处理，并将计算的估计混合比输出作为混合比α。在这种情况下，混合比α代表背景成分相对于属于覆盖背景区的像素的比例，和代表前景成分相对于属于未覆盖背景区的像素的比例。通过对属于未覆盖背景区的像素，计算如上所述计算的混合比α与1之间的差值的绝对值，和将计算的绝对值设置为混合比α，图像处理设备可以获取指示背景成分相对于属于未覆盖背景区的像素的比例的混合比α。

请注意，类似地，可以作出这样的安排，其中，混合比计算单元104通过与未覆盖背景区相对应的模型，对所有像素只进行混合比估计处理，并将计算的估计混合比输出作为混合比α。

现在描述估计混合比处理单元104的另一种处理。

利用由于在快门间隔内与前景相对应的对象作恒速运动而使混合比α随像素的位置线性变化的性质，可以构造出其中混合比α和前景成分之和f的在空间上近似表达式。利用多组属于混合区的像素的像素值和属于背景区的像素的像素值，通过求解其中混合比α和前景成分的和值f的近似的表达式，计算混合比α。

在一般来说，混合比α的变化是线性的情况下，混合比α用表达式(23)表示。

α＝il+p                                    (23)

在表达式(23)中，i表示沿着其中感兴趣像素的位置是0的空间方向的指标(index)。l是混合比α的直线的斜率。p是包括感兴趣像素的混合比α在内的混合比α的直线的截距。在表达式(23)中，虽然指标i是已知的，但是斜率1和截距p是未知的。

指标i、斜率l、和截距p之间的关系显示在图70中。

在图70和图71中，空心圆表示感兴趣像素，在图70中实心圆表示感兴趣像素附近的像素。

通过像表达式(23)那样近似计算混合比α，数个像素的数个不同混合比α用两个变量来表示。在图70所示的例子中，5个像素的5个混合比用两个变量，即斜率l和截距p来表示。

在以图71所示的平面方式近似计算混合比α的情况中，考虑到与图像的水平方向和垂直方向两个方向相对应的运动v，通过把表达式(23)推广到平面上，混合比α被表示成表达式(24)。

α＝jm+kq+p                                   (24)

在表达式(24)中，j表示沿着其中感兴趣像素的位置是0的水平方向的指标，而k表示沿着垂直方向的指标。m是混合比α的平面在水平方向的斜率，和q是混合比α的平面在垂直方向的斜率。p是混合比α的平面的截距。

例如，在图61所示的帧#n中，表达式(25)到表达式(27)分别对C05到C07成立。

C05＝α05·B05/v+f05                        (25)

C06＝α06·B06/v+f06                        (26)

C07＝α07·B07/v+f07                        (27)

在作出前景成分一般来说保持一致，即，F01到F03相同，和F01到F03被写成Fc的假设情况下，表达式(28)成立。

f(x)＝(1-α(x))·Fc                          (28)

在表达式(28)中，x表示沿着空间方向的位置。

把α(x)重写成表达式(24)，表达式(24)-可以被表示成表达式(29)。

f(x)＝(1-(jm+kq+p))·Fc

＝j·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)

＝js+kt+u                               (29)

在表达式(29)中，(-m·Fc)、(-q·Fc)和(1-p)·Fc被重写成表达式(30)到(32)。

s＝-m·Fc                                     (30)

t＝-q·Fc                                     (31)

u＝(1-p)·Fc                                  (32)

在表达式(29)中，j表示沿着其中感兴趣像素的位置是0的水平方向的指标，而k表示沿着垂直方向的指标。

如上所述，由于可以作出与前景对象相对应的对象在快门间隔内作恒速运动，且与前景相对应的成分一般来说保持一致的假设，可以用表达式(29)近似计算前景成分之和。

请注意，在线性近似计算混合比α的情况下，前景成分之和可以用表达式(33)表示。

f(x)＝is+u                                  (33)

利用表达式(24)和表达式(29)重写混合比α和表达式(13)中的前景成分之和，把像素值M表示成表达式(34)。

M＝(jm+kq+p)·B+js+kt+u

＝jB·m+kB·q+B·p+j·s+k·t+u                 (34)

在表达式(34)中，未知变量是6个值，即，混合比α的平面在水平方向的斜率m、混合比α的平面在垂直方向的斜率q、混合比α的平面的截距p、s、t、和u。

为表达式(34)所表示的标准表达式设置与感兴趣像素附近的像素相对应的像素值M和像素值B，通过最小二乘法求解已经为其设置了像素值M和像素值B的多个标准表达式，计算混合比α。

例如，通过把沿着水平方向感兴趣像素的指标j设置成0，把沿着垂直方向感兴趣像素的指标k设置成0，和针对感兴趣像素附近的3×3个像素，为由表达式(34)所表示的标准表达式设置像素值M或像素值B，获得表达式(35)到表达式(43)

M_-1，-1＝(-1)·B_-1，-1·m+(-1)·B_-1，-1·q+B_-1，-1·p+(-1)·s+(-1)·t+u                                        (35)

M_0，-1＝(0)·B_0，-1·m+(-1)·B_0，-1·q+B_0，-1·p+(0)·s+(-1)·t+u                                                (36)

M_+1，-1＝(+1)·B_+1，-1·m+(-1)·B_+1，-1·q+B_+1，-1·p+(+1)·s+(-1)·t+u                                        (37)

M_-1，0＝(-1)·B_-1，0·m+(0)·B_-1，0·q+B_-1，0·p+(-1)·s+(0)·t+u                                                (38)

M_0，0＝(0)·B_0，0·m+(0)·B_0，0·q+B_0，0·p+(0)·s+(0)·t+u

                                              (39)

M_+1，0＝(+1)·B_+1，0·m+(0)·B_+1，0·q+B_+1，0·p+(+1)·s+(0)·t+u                                                (40)

M_-1，+1＝(-1)·B_-1，+1·m+(+1)·B_-1，+1·q+B_-1，+1·p+(-1)·s+(+1)·t+u                                        (41)

M_0，+1＝(0)·B_0，+1·m+(+1)·B_0，+1·q+B_0，+1·p+(0)·s+(+1)·t+u                                                (42)

M_+1，+1＝(+1)·B_+1，+1·m+(+1)·B_+1，+1·q+B_+1，+1·p+(+1)·s+(+1)·t+u                                         (43)

由于水平方向中感兴趣像素的指标j是0，而垂直方向中感兴趣像素的指标k是0，感兴趣像素的混合比α等于把j＝0和k＝0代入表达式(24)所得的值，即，截距p。

因此，根据表达式(35)到表达式(43)这9个表达式，通过最小二乘法，计算水平方向的斜率m、垂直方向的斜率q、截距p、s、t、和u，可以将截距p输出作为混合比α。

现在描述应用最小二乘法计算混合比α的更具体过程。

用一个指标x表示指标i和指标k，指标i、指标k和指标x之间的关系表示成表达式(44)。

x＝(j+1)·3+(k+1)                               (44)

在水平方向的斜率m、在垂直方向的斜率q、截距p、s、t、和u分别用变量w0、w1、w2、w3、w4和w5来表示，和jB、kB、B、j、k和1分别用a0、a1、a2、a3、a4和a5来表示。考虑到误差容限(margin of error)ex，把表达式(35)到表达式(43)重写成表达式(45)。 $\mathrm{Mx}=\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy}+\mathrm{ex}---\left(45\right)$

在表达式(45)中，x表示0到8之间的整数之一。

从表达式(45)中可以导出表达式(46)。 $\mathrm{ex}=\mathrm{Mx}-\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy}---\left(46\right)$

应用最小二乘法，把误差容限的平方和E定义为表达式(47)所表示的那样。 $E=\underset{x=0}{\overset{8}{\mathrm{\Σ}}}{\mathrm{ex}}^2---\left(47\right)$

为了使误差容限达到最小，误差容限的平方和E关于变量Wv的偏导数应该趋向0。其中，v是0到5之间的整数之一。因此，计算wy，便其满足表达式(48)。 $\frac{\∂E}{\∂\mathrm{wv}}=2\·\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ex}\·\frac{\∂\mathrm{ex}}{\∂\mathrm{wv}}$ $=2\·\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ex}\·\mathrm{av}=0---\left(48\right)$

将表达式(46)代入表达式(48)中，获得表达式(49)。 $\underset{x=0}{\overset{8}{\mathrm{\Σ}}}(\mathrm{av}\·\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy})=\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{av}\·\mathrm{Mx}---\left(49\right)$

通过把，例如，搜索法(高斯消元法)等应用于把0到5之间的整数之一代入表达式(49)中的v中所获得的6个表达式中，来计算wy。如上所述，w0表示水平方向的斜率m，w1表示垂直方向的斜率q，w2表示截距p，w3表示s，w4表示t，和w5表示u。

如上所述，通过把最小二乘法应用于设置了像素值M和像素值B的表达式，可以计算水平方向的斜率m、垂直方向的斜率q、截距p、s、t、和u。

在与表达式(35)到表达式(43)相对应的描述中，虽然已经对包含在混合区中的像素的像素值M、包含在背景区中的像素的像素值B作了描述，但是，对于包含在覆盖背景区中的和包含在未覆盖背景区中的感兴趣像素的每一种情况都需要构造标准表达式。

例如，在获取包含在图61所示的帧#n的覆盖背景区中的像素的混合比α的情况下，为标准表达式设置帧#n的像素C04到C08，和帧#n-1的像素的像素值P04到P08。

在获取包含在图62所示的帧#n的未覆盖背景区中的像素的混合比α的情况下，为标准表达式设置帧#n的像素C28到C32，和帧#n+1的像素的像素值发N28到N32。

此外，例如，在计算包含在图72所示的覆盖背景区中的像素的混合比α的情况下，可以构造如下所述的表达式(50)到表达式(58)。用于计算混合比α的像素的像素值是Mc5。

Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u                                      (50)

Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u                                           (51)

Mc3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(+1)·s+(-1)·t+u                                           (52)

Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u                                           (53)

Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u

                                         (54)

Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u

                                         (55)

Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u                                           (56)

Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u

                                         (57)

Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u                                               (58)

在计算包含在帧#n中的覆盖背景区中的像素的混合比α的情况下，在表达式(50)到表达式(58)中使用与帧#n中的像素相对应的、帧#n-1中背景区中的像素的像素值Bc1到Bc9。

在图72中，空心圆表示被当作背景的像素，和实心圆被当作混合区中的像素的像素。

在计算包含在图72所示的未覆盖背景区中的像素的混合比α的情况下，可以构造如下所述的表达式(59)到表达式(67)。用于计算混合比α的像素的像素值是Mu5。

Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u                                      (59)

Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u                                           (60)

Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u                                           (61)

Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u                                           (62)

Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u

                                         (63)

Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u

                                         (64)

Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u                                           (65)

Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u

                                         (66)

Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u                                           (67)

在计算包含在帧#n中的未覆盖背景区中的像素的混合比α的情况下，在表达式(59)到表达式(67)中使用与帧#n中的像素相对应的、帧#n+1中背景区中的像素的像素值Bu1到Bu9。

图73是说明混合比估计处理单元401的配置的框图。把输入到估计混处理单元401的图像提供给延迟单元501和相加单元502。

延迟单元501把输入图像延迟一个帧，并且将其提供给相加单元502。在把帧#n输入到相加单元502中作为输入图像的那一时刻，延迟电路501把帧#n-1提供给相加单元502。

相加单元502为标准表达式设置用于计算混合比α的像素附近的像素的像素值、和帧#n-1的像素值。例如，相加单元502根据表达式(50)到表达式(58)，为标准表达式设置像素值Mc1到Mc9、和像素值Bc1到Bc9。相加单元502把已经为其设置了像素值的标准表达式提供给计算单元503。

计算单元503通过利用搜索法等求解相加单元503提供的标准表达式，计算估计混合比，并且输出计算的估计混合比。

如上所述，估计混合比处理单元401可以根据输入图像，来计算估计混合比，并且将其提供给混合比确定单元403。

请注意，估计混合比处理单元402具有与估计混合比处理单元401相同的配置，因此，略去不述。

图74是说明由估计混合比处理单元401计算的估计混合比的例子的图。图74说明了与一行有关的估计混合比，其中，与作恒速运动的对象相对应的前景的运动量v是11，并且，通过以每块7×7个像素递增生成的表达式计算结果。

可以看出，在如图60所示的混合区中，估计混合比近似线性地改变。

混合比确定单元403根据区域指定单元101提供的、指示用于计算混合比的像素属于前景区、背景区、覆盖背景区、或未覆盖背景区中的哪一个的区域信息，来设置混合比。在作为对象的像素属于前景区的情况下，混合比确定单元403把混合比设置成0，在作为对象的像素属于背景区的情况下，把混合比设置成1，在作为对象的像素属于覆盖背景区的情况下，把混合比设置成估计混合比处理单元401提供的估计混合比，和在作为对象的像素属于未覆盖背景区的情况下，把混合比设置成估计混合比处理单元402提供的估计混合比。混合比确定单元403输出根据区域信息设置的混合比。

参照图75所示的流程图，描述在估计混合比处理单元401具有图73所示的配置的情况下，混合比计算单元102计算混合比的处理。在步骤S501中，混合比计算单元102获取区域指定单元101提供的区域信息。在步骤S502中，估计混合比处理单元401通过与覆盖背景区相对应的模型进行混合比估计的处理，并且把估计混合比提供给混合比确定单元403。下面将参照图76所示的流程图来描述混合比估计的处理细节。

在步骤S503中，估计混合比处理单元402通过与未覆盖背景区相对应的模型进行混合比估计的处理，并且把估计混合比提供给混合比确定单元403。

在步骤S504中，混合比计算单元102判断是否对整个帧都估计了混合比，并且，在作出还没有对整个帧估计混合比的判断的情况下，流程返回到步骤S502，并执行为下一个像素估计混合比的处理。

在步骤S504中，在作出已经对整个帧都估计了混合比的判断的情况下，流程转到步骤S505，在步骤S505中，混合比确定单元403根据区域指定单元101提供的、指示用于计算混合比的像素属于前景区、背景区、覆盖背景区、或未覆盖背景区中的哪一个的区域信息，来设置混合比。混合比确定单元403在作为对象的像素属于前景区的情况下，把混合比设置成0，在作为对象的像素属于背景区的情况下，把混合比设置成1，在作为对象的像素属于覆盖背景区的情况下，把混合比设置成估计混合比处理单元401提供的估计混合比，而在作为对象的像素属于未覆盖背景区的情况下，把混合比设置成估计混合比处理单元402提供的估计混合比，然后，结束处理。

如上所述，根据区域指定单元101提供的区域信息、和输入图像，混合比计算单元102就可以计算与每个像素相对应的作为特征量的混合比α。

利用混合比α能够把包含在像素值中的前景成分和背景成分分离开，同时去掉包含在与运动对象相对应的图像中的运动模糊的信息。

此外，根据混合比α合成的图像能够创建包含与正在运动的对象的速度相对应的精确运动模糊的图像，就象再次对真实世界的图像进行了拍摄。

现在参照图76所示的流程图，描述与图75所示的步骤S502相对应的、通过与覆盖背景区相对应的模型进行混合比估计的处理。

在步骤S521中，相加单元502为与覆盖背景区的模型相对应的标准表达式设置包含在输入图像中的像素值、和包含在延迟电路501提供的图像中的像素的像素值。

在步骤S522中，估计混合比处理单元401判断作为对象的像素的设置是否已经结束，并且，在作出为作为对象的像素的设置还没有结束的判断的情况下，流程返回到步骤S521，并重复为标准表达式设置像素值的处理。

在步骤S522中，在作出与作为对象的像素有关的像素值的设置已经结束的判断的情况下，流程转到步骤S523，计算单元503根据已经为其设置了像素值的标准表达式，来计算估计混合比，并且输出计算的估计混合比。

如上所述，估计混合比处理单元401可以根据输入图像，计算估计混合比。

在图75所示的步骤503中，通过与未覆盖背景区相对应的模型进行混合比估计的处理与利用与未覆盖背景区的模型相对应的标准表达式的、图76中的流程图所示的处理相同，因此，略去不述。

请注意，虽然描述是在与背景相对应的对象保持静止的假设下作出的，但是，即使与背景区相对应的图像包含运动部分，也可以应用如上所述的用于获取混合比的处理。例如，在与背景区相对应的图像作恒速运动的情况下，估计混合比处理单元401相对于运动来移动整个图像，并且以与与背景相对应的对象保持静止的情况相同的方式进行处理。此外，在与背景区相对应的图像在每个局部位置上包括不同运动的情况下，估计混合比处理单元401选择与运动相对应的像素，来作为与属于混合区的像素相对应的像素，并且进行上述处理。

现在描述前景/背景分离单元105。图77是说明前景/背景分离单元105的配置的一个例子的框图。把提供给前景/背景分离单元105的输入图像也提供给分离单元601、切换器602、和切换器604。把区域指定单元103提供的、指示覆盖背景区和未覆盖背景区的区域信息提供给分离单元601。把指示前景区的区域信息提供给切换器602。把指示背景区的区域信息提供给切换器604。

把混合比计算单元104提供的混合比α也提供给分离单元601。

分离单元601根据混合比α和指示覆盖背景区的区域信息，从输入图像中的覆盖背景区中分离出背景成分，以及前景成分，并且，输出包含分离前景成分的覆盖背景区中的前景成分图像、和包含分离背景成分的覆盖背景区中的背景成分图像。

分离单元601根据混合比α和指示未覆盖背景区的区域信息，从输入图像中的未覆盖背景区中分离出背景成分，以及前景成分，并且，输出包含分离前景成分的未覆盖背景区中的前景成分图像、和包含分离背景成分的未覆盖背景区中的背景成分图像。

在输入与前景区相对应的像素的情况下，根据指示前景区的区域信息，闭合切换器602，并输出前景区中的图像。

在输入与背景区相对应的像素的情况下，根据指示背景区的区域信息，闭合切换器603，并输出背景区中的图像。

图78A和图78B是说明输入到前景/背景分离单元105的输入图像、和从前景/背景分离单元105输出的前景成分图像和背景成分图像的图。

图78A是说明所显示的图像的示意图，和图78B是包括与图78A相对应的属于前景区的像素、属于背景区的像素、和属于混合区的像素的一行像素沿着时间方向展开的模型图。

如图78A和78B所示，从前景/背景分离单元105输出的背景区中的图像由属于背景区的像素组成。

如图78A和78B所示，从前景/背景分离单元105输出的前景区中的图像由属于前景区的像素组成。

未覆盖背景区中的像素的像素值被前景/背景分离单元105分离成背景成分和前景成分。分离的背景成分构成未覆盖背景区中的背景成分图像，而分离的前景成分构成未覆盖背景区中的前景成分图像。

覆盖背景区中的像素的像素值被前景/背景分离单元105分离成背景成分和前景成分。分离的背景成分构成覆盖背景区中的背景成分图像，而分离的前景成分构成覆盖背景区中的前景成分图像。

现在对分离单元601从属于混合区的像素中分离出前景成分和背景成分的分离处理加以描述。

图79是包括与图中从左边移动到右边的对象相对应的前景的、指示前景成分和背景成分的两个帧的图像的模型。在图79所示的图像的模型中，前景的运动量v是4，且虚拟分割数也是4。

在帧#n中，最左边像素和从左边算起第14个到18个像素只由背景成分组成，并且属于背景区。在帧#n中，从左边算起第2个到4个像素由背景成分和前景成分组成，并且属于未覆盖背景区。在帧#n中，从左边算起第11个到13个像素由背景成分和前景成分组成，并且属于覆盖背景区。在帧#n中，从左边算起第5个到10个像素只由前景成分组成，并且属于前景区。

在帧#n+1中，从左边算起第1个到5个和从左边算起第1 8个像素只由背景成分组成，并且属于背景区。在帧#n+1中，从左边算起第6个到8个像素由背景成分和前景成分组成，并且属于未覆盖背景区。在帧#n+1中，从左边算起第15个到17个像素由背景成分和前景成分组成，并且属于覆盖背景区。在帧#n+1中，从左边算起第9个到14个像素只由前景成分组成，并且属于前景区。

图80是描述从属于覆盖背景区的像素中分离前景成分的处理的图。在图80中，α1到α18分别是与帧#n中的像素相对应的混合比。在图80中，从左边算起第15个到第17个像素属于覆盖背景区。

帧#n中从左边算起第15个像素的像素值C15被表示成表达式(68)：

C15＝B15/v+F09/v+F08/v+F07/v

   ＝α15·B15+F09/v+F08/v+F07/v

   ＝α15·P15+F09/v+F08/v+F07/v                     (68)

这里，α15表示帧#n中从左边算起第15个像素的混合比。P15表示帧#n-1中从左边算起第15个像素的像素值。

根据表达式(68)，帧#n中从左边算起第15个像素的前景成分之和f15被表示成表达式(69)：

f15＝F09/v+F08/v+F07/v

   ＝C15-α15·P15                              (69)

类似地，帧#n中从左边算起第16个像素的前景成分之和f16被表示成表达式(70)，和帧#n中从左边算起第17个像素的前景成分之和f17被表示成表达式(71)：

f16＝C16-α16·P16                              (70)

f17＝C17-α17·P17                              (71)

如上所述，包含在属于覆盖背景区的像素的像素值C中的前景成分fc通过表达式(72)来计算：

fc＝C-α·P                                     (72)

P表示前一帧中相对像素的像素值。

图81是描述从属于未覆盖背景区的像素中分离前景成分的处理的图。在图81中，α1到α18分别表示与帧#n中的像素相对应的混合比。在图81中，从左边算起第2个到第4个像素属于未覆盖背景区。

帧#n中从左边算起第2个像素的像素值C02被表示成表达式(73)：

C02＝B02/v+B02/v+B02/v+F01/v

   ＝α2·B02+F01/v

   ＝α2·N02+F01/v                                (73)

这里，α2表示帧#n中从左边算起第2个像素的混合比。N02表示帧#n+1中从左边算起第2个像素的像素值。

根据表达式(73)，帧#n中从左边算起第2个像素的前景成分和f02被表示成表达式(74)：

f02＝F01/v

   ＝C02-α2·N02                                 (74)

类似地，帧#n中从左边算起第3个像素的前景成分之和f03被表示成表达式(75)，和帧#n中从左边算起第4个像素的前景成分之和f04被表示成表达式(76)：

f03＝C03-α3·N03                                (75)

f04＝C04-α4·N04                                (76)

如上所述，包含在属于未覆盖背景区的像素的像素值C中的前景成分fu通过表达式(77)来计算：

fu＝C-α·N                                      (77)

N表示后一帧中相对像素的像素值。

如上所述，根据包含在区域信息中的、指示覆盖背景区的信息、和指示未覆盖背景区的信息、和每个像素的混合比α，分离单元601可以从属于混合区的像素中分离出前景成分和背景成分。

图82是说明用于执行上述处理的分离单元601的配置的一个例子的框图。输入到分离单元601的图像也提供给帧存储器621、并把指示覆盖背景区和未覆盖背景区的区域信息和混合比计算单元104提供的混合比α输入到分离处理模块622。

帧存储器621以逐帧递增的方式存储输入图像。在帧#n是处理对象的情况下，帧存储器621存储比帧#n提前一个帧的帧#n-1、帧#n、和比帧#n滞后一个帧的帧#n+1。

帧存储器621把与帧#n-1、帧#n、和帧#n+1相对应的像素提供给分离处理模块622。

分离处理模块622根据混合比α和指示覆盖背景区和未覆盖背景区的区域信息，把参照图80和图81所述的计算应用于帧存储器621提供的与帧#n-1、帧#n、和帧#n+1相对应的像素的像素值，而从帧#n中属于混合区的像素中分离出前景成分和背景成分。

分离处理模块622包括未覆盖区处理单元631和覆盖区处理单元632。

未覆盖区处理单元63 1的乘法器641将帧存储器621提供的帧#n+1中的像素的像素值乘以混合比α，将其输出到切换器642。在帧存储器621提供的帧#n中的像素(与帧#n+1中的像素相对应)属于未覆盖背景区的情况下，闭合切换器642，并把乘法器641提供的被乘以混合比α的像素值提供给计算器643。从切换器642输出的、帧#n+1中的像素的像素值被乘以混合比α之后所得的值与与帧#n相对应的像素的像素值的背景成分相同，并作为未覆盖背景区中的背景成分图像输出。

计算器643通过从帧存储器621提供的帧#n中的像素的像素值中减去切换器642提供的背景成分，来获得前景成分。计算器642输出由属于未覆盖背景区的帧#n中的像素构成的前景成分图像。

覆盖区处理单元632的乘法器65 1将帧存储器621提供的帧#n-1中的像素的像素值乘以混合比α，并将其输出到切换器652。在帧存储器621提供的帧#n中的像素(与帧#n-1中的像素相对应)属于覆盖背景区的情况下，闭合切换器652，并把乘法器651提供的被乘以混合比α的像素值提供给计算器653。从切换器642输出的、帧#n-1中的像素的像素值被乘以混合比α之后所得的值与与帧#n中的相应像素的像素值的背景成分相同，并作为覆盖背景区中的背景成分图像输出。

计算器653通过从帧存储器621提供的帧#n中的像素的像素值中减去切换器652提供的背景成分，来获得前景成分。计算器653输出由属于覆盖背景区的帧#n中的像素构成的前景成分图像。

利用作为特征量的混合比α能够使包含在像素值中的前景成分和背景成分完全得到分离。

现在参照图83中的流程图来描述前景/背景分离单元105对前景和背景的分离处理。在步骤S601中，分离单元601的帧存储器621获取输入图像，并且存储作为分离前景和背景的对象的帧#n，以及前一帧#n-1和后一帧#n+1。

在步骤S602中，分离单元601的分离处理模块622获取区域指定单元103提供的区域信息。在步骤S603中，分离单元601的分离处理模块622获取混合比计算单元104提供的混合比α。

在步骤S604中，未覆盖区处理单元631根据区域信息和混合比α，从帧存储器621提供的属于未覆盖背景区的像素的像素值中提取背景成分，并且将其作为未覆盖背景区的背景成分图像输出。

在步骤S605中，未覆盖区处理单元631根据区域信息和混合比α，从帧存储器621提供的属于未覆盖背景区的像素的像素值中提取前景成分，并且将其作为未覆盖背景区的前景成分图像输出。

在步骤S606中，覆盖区处理单元632根据区域信息和混合比α，从帧存储器621提供的属于覆盖背景区的像素的像素值中提取背景成分，并且将其作为覆盖背景区的背景成分图像输出。

在步骤S607中，覆盖区处理单元632根据区域信息和混合比α，从帧存储器621提供的属于覆盖背景区的像素的像素值中提取前景成分，并且将其作为覆盖背景区的前景成分图像输出，然后，结束处理。

如上所述，前景/背景分离单元105根据区域信息和混合比α，可以从输入图像中分离出前景成分和背景成分，并输出只由前景成分组成的前景成分图像、和只由背景成分组成的背景成分图像。

图84是说明用于生成系数组的分离图像处理单元106的配置的框图，该系数组用于沿着空间方向生成更高分辨率图像的分类自适应处理。例如，其配置如图84所示的分离图像处理单元106根据输入HD图像，生成用于从SD图像中生成HD图像的分类自适应处理的系数组。

背景区教师图像帧存储器701存储前景/背景分离单元105提供的教师图像中的背景区中的图像。背景区教师图像帧存储器701把存储的教师图像中的背景区中的图像提供给加权平均单元707-1和学习单元714-1。

未覆盖背景区背景成分教师图像帧存储器702存储前景/背景分离单元105提供的教师图像中的未覆盖背景区中的背景成分图像。未覆盖背景区背景成分教师图像帧存储器702把存储的教师图像中的未覆盖背景区中的背景成分图像提供给加权平均单元707-2和学习单元714-2。

未覆盖背景区前景成分教师图像帧存储器703存储前景/背景分离单元105提供的教师图像中的未覆盖背景区中的前景成分图像。未覆盖背景区前景成分教师图像帧存储器703把存储的教师图像中的未覆盖背景区中的前景成分图像提供给加权平均单元707-3和学习单元714-3。

覆盖背景区背景成分教师图像帧存储器704存储前景/背景分离单元105提供的教师图像中的覆盖背景区中的背景成分图像。覆盖背景区背景成分教师图像帧存储器704把存储的教师图像中的覆盖背景区中的背景成分图像提供给加权平均单元707-4和学习单元714-4。

覆盖背景区前景成分教师图像帧存储器705存储前景/背景分离单元105提供的教师图像中的覆盖背景区中的前景成分图像。覆盖背景区前景成分教师图像帧存储器705把存储的教师图像中的覆盖背景区中的前景成分图像提供给加权平均单元707-5和学习单元714-5。

前景区教师图像帧存储器706存储前景/背景分离单元105提供的教师图像中的前景区中的图像。前景区教师图像帧存储器706把存储的教师图像中的前景区中的图像提供给加权平均单元707-6和学习单元714-6。

加权平均单元707-1通过，例如，对背景区教师图像帧存储器701提供的、本身是HD图像的教师图像中的前景区中的图像进行四分之一加权平均，生成作为学生图像的SD图像，把生成的SD图像提供给背景区学生图像帧存储器708。

例如，加权平均单元707-1在图85所示的教师图像中把2×2(宽×高)的4个像素(它们是图中空心圆所代表的部分)取作一个增量，并相加每个增量中4个像素的值，并且把和值除以4。加权平均单元707-1为处在每个增量的中心上的学生图像的像素(它们是图中实心圆所代表的部分)设置如上所述的四分之一加权平均结果。

背景区学生图像帧存储器708存储加权平均单元707-1提供的、与教师图像中的背景区中的图像相对应的学生图像。背景区学生图像帧存储器708把存储的与教师图像中的背景区中的图像相对应的学生图像提供给学习单元714-1。

加权平均单元707-2通过，例如，对未覆盖背景区背景成分教师图像帧存储器702提供的、本身是HD图像的教师图像中的未覆盖背景区中的背景成分图像进行四分之一加权平均，来生成作为学生图像的SD图像，并把生成的SD图像提供给未覆盖背景区背景成分学生图像帧存储器709。

未覆盖背景区背景成分学生图像帧存储器709存储加权平均单元707-2提供的、与教师图像中的未覆盖背景区中的背景成分图像相对应的、作为SD图像的学生图像。未覆盖背景区背景成分学生图像帧存储器709把存储的与教师图像中的未覆盖背景区中的背景成分图像相对应的学生图像提供给学习单元714-2。

加权平均单元707-3通过，例如，对未覆盖背景区前景成分教师图像帧存储器703提供的、本身是HD图像的教师图像中的未覆盖背景区中的前景成分图像进行四分之一加权平均，来生成作为学生图像的SD图像，并把生成的SD图像提供给未覆盖背景区前景成分学生图像帧存储器710。

未覆盖背景区前景成分学生图像帧存储器710存储加权平均单元707-3提供的、与教师图像中的未覆盖背景区中的前景成分图像相对应的、作为SD图像的学生图像。未覆盖背景区前景成分学生图像帧存储器710把存储的与教师图像中的未覆盖背景区中的前景成分图像相对应的学生图像提供给学习单元714-3。

加权平均单元707-4通过，例如，对覆盖背景区背景成分教师图像帧存储器704提供的、本身是HD图像的教师图像中的覆盖背景区中的背景成分图像进行四分之一加权平均，来生成作为学生图像的SD图像，并把生成的SD图像提供给覆盖背景区背景成分学生图像帧存储器711。

覆盖背景区背景成分学生图像帧存储器711存储加权平均单元707-4提供的、与教师图像中的覆盖背景区中的背景成分图像相对应的、作为SD图像的学生图像。覆盖背景区背景成分学生图像帧存储器711把存储的与教师图像中的覆盖背景区中的背景成分图像相对应的学生图像提供给学习单元714-4。

加权平均单元707-5通过，例如，对覆盖背景区前景成分教师图像帧存储器705提供的、本身是HD图像的教师图像中的覆盖背景区中的前景成分图像进行四分之一加权平均，来生成作为学生图像的SD图像，并把生成的SD图像提供给覆盖背景区前景成分学生图像帧存储器712。

覆盖背景区前景成分学生图像帧存储器712存储加权平均单元707-5提供的、与教师图像中的覆盖背景区中的前景成分图像相对应的、作为SD图像的学生图像。覆盖背景区前景成分学生图像帧存储器712把存储的与教师图像中的覆盖背景区中的前景成分图像相对应的学生图像提供给学习单元714-5。

加权平均单元707-6通过，例如，对前景区教师图像帧存储器706提供的、本身是HD图像的教师图像中的前景区中的图像进行四分之一加权平均，来生成作为学生图像的SD图像，并把生成的SD图像提供给前景区学生图像帧存储器713。

前景区学生图像帧存储器713存储加权平均单元707-6提供的、与教师图像中的前景区中的图像相对应的、本身是SD图像的学生图像。前景区学生图像帧存储器713把存储的与教师图像中的前景区中的图像相对应的学生图像提供给学习单元714-6。

根据背景区教师图像帧存储器701提供的教师图像中的背景区中的图像、和背景区学生图像帧存储器708提供的与教师图像中的背景区中的图像相对应的学生图像，学习单元714-1生成与背景区相对应的系数组，并且把生成的系数组提供给系数组存储器715。

根据未覆盖背景区背景成分教师图像帧存储器702提供的教师图像中的未覆盖背景区中的背景成分图像、和未覆盖背景区背景成分学生图像帧存储器709提供的与教师图像中的未覆盖背景区中的背景成分图像相对应的学生图像，学习单元714-2生成与未覆盖背景区中的背景成分图像相对应的系数组，并且把生成的系数组提供给系数组存储器715。

根据未覆盖背景区前景成分教师图像帧存储器703提供的教师图像中的未覆盖背景区中的前景成分图像、和未覆盖背景区前景成分学生图像帧存储器710提供的与教师图像中的未覆盖背景区中的前景成分图像相对应的学生图像，学习单元714-3生成与未覆盖背景区中的前景成分图像相对应的系数组，并且把生成的系数组提供给系数组存储器715。

根据覆盖背景区背景成分教师图像帧存储器704提供的教师图像中的覆盖背景区中的背景成分图像、和覆盖背景区背景成分学生图像帧存储器711提供的与教师图像中的覆盖背景区中的背景成分图像相对应的学生图像，学习单元714-4生成与覆盖背景区中的背景成分图像相对应的系数组，并且把生成的系数组提供给系数组存储器715。

根据覆盖背景区前景成分教师图像帧存储器705提供的教师图像中的覆盖背景区中的前景成分图像、和覆盖背景区前景成分学生图像帧存储器712提供的与教师图像中的覆盖背景区中的前景成分图像相对应的学生图像，学习单元714-5生成与覆盖背景区中的前景成分图像相对应的系数组，并且把生成的系数组提供给系数组存储器715。

根据前景区教师图像帧存储器706提供的教师图像中的前景区中的图像、和前景区学生图像帧存储器713提供的与教师图像中的前景区中的图像相对应的学生图像，学习单元714-6生成与前景区相对应的系数组，并且把生成的系数组提供给系数组存储器715。

系数组存储器715存储学习单元714-1提供的与背景区相对应的系数组、学习单元714-2提供的与未覆盖背景区中的背景成分图像相对应的系数组、学习单元714-3提供的与未覆盖背景区中的前景成分图像相对应的系数组、学习单元714-4提供的与覆盖背景区中的背景成分图像相对应的系数组、学习单元714-5提供的与覆盖背景区中的前景成分图像相对应的系数组、和学习单元714-6提供的与前景区相对应的系数组。

在不需要特别区分学习单元714-1到714-6的情况下，下面将它们简称为学习单元714。

图86是说明了学习单元714的配置的框图。

分类单元731包括类抽头获取单元751和波形分类单元752，并对输入学生图像中的感兴趣像素进行分类。类抽头获取单元751获取其是与感兴趣像素相对应的学生图像的像素的预定个类抽头，并且把获取的类抽头提供给波形分类单元752。

例如，在图85中，在学生图像(它是图中实心圆所指的部分)中从上面算起第i个和从左边算起第j个的像素用X_ij表示的情况下，类抽头获取单元751获取总共由9个像素，即，与感兴趣像素X_ij相邻，处在左上角、上边、右上角、左边、右边、左下角、下边、和右下角上的8个像素X_(i-1)(j-1)、X_(i-1)j、X_(i-1)(j+1)、X_i(j-1)、X_i(j+1)、X_(i+1)(j-1)、X_(i+1)j、X_(i+1)(j+1)以及感兴趣像素X_ij组成的类抽头。把类抽头提供给波形分类单元752。

注意，在这种情况下，虽然类抽头由包括3×3个像素的正方形方块组成，但是，这未必是正方形；而是，可以使用任意形状，例如，长方形、十字形等。此外，构成类抽头的像素个数也不限于3×3个像素的9个像素。

波形分类单元752进行分类处理，其中，根据其特征把输入信号分成几类，并且，根据类抽头，把感兴趣像素分成一类。例如，波形分类单元752把感兴趣像素分到512个类之一，并且把与所分的类相对应的类号提供给预测抽头获取单元732。

这里，简要描述一下分类处理。

现在，让我们假设给定感兴趣像素和它的3个相邻像素构成如图87A所示，由2×2个像素组成的类抽头，和每个像素用1个位来代表(具有0或1的电平)。图87A所示的实心圆表示感兴趣像素。在这种情况下，如图87B所示，通过每个像素的电平分布，包含感兴趣像素的2×2个像素的四像素块可以分成16(＝(2¹)⁴)种模式。在图87B中，空心圆表示0，实心圆表示1。因此，在这种情况下，感兴趣像素可以分成16种模式，其中，模式分类就是分类处理，并且由分类单元731进行处理。

这里，一般说来，分配给每个像素大约8位。此外，对于本实施例，如上所述，类抽头由3×3个像素的9个像素组成。因此，把这样的类抽头作为一个对象进行分类处理，类抽头将会使类抽头变成被分类成其数字是(2⁸)9的非常多个类。

因此，对于本实施例，由分类单元752对类抽头进行ADCR处理，并且，通过减少构成类抽头的像素的位数，来降低类数。

为了简化描述，对于如图88A所示由排列在一行上的4个像素构成的类抽头，在ADRC处理中检测像素值的最大值MAX和像素值的最小值MIN。然后，把DR＝MAX-MIN取作由类抽头组成的块中的局部动态范围，并且根据动态范围DR，把构成类抽头的块的像素的像素值重新量化成K个位。

也就是说，从块内的每个像素值中减去最小值MIN，并且把差值除以DR/2^k。把如此获得的相除值转换成与之相对应的代码(ADRC码)。具体地说，例如，在把K取作2的情况下，如图88B所示，判断相除值属于把动态范围DR分成4个(＝2²)相等部分得到的范围中的哪一个，并且，根据相除值属于最底层的范围、从底层算起第二层的范围、从底层算起第三层的范围、还是最上层的范围，把相除值分别编码成，例如，像00B、01B、10B或11B(B表示二进制数)那样的2-位代码。然后，在解码方，通过把ADRC代码00B、01B、10B或11B转换成最底层范围内的中值L₀₀、从底层算起第二层范围内的中值L₀₁、从底层算起第三层范围内的中值L₁₀、或最上层范围内的中值L₁₁并把最小值MIN加入到转换值中，并进行解码，其中，这些范围是通过把动态范围DR分成4个相等部分获得的。

这里，如上所述的ADRC处理被称为非边缘匹配(non-edge-matching)。

注意，有关ADRC处理的细节公开在，例如，由本申请人中请的日本待审专利申请No.3-53778等中。

通过进行如上所述利用比分配给构成类抽头的像素的位数少的位数进行重新量化的ADRC处理，可以降低类数，并且，上述ADRC处理由波形分类单元752来进行。

虽然在本实施例中，波形分类单元752根据ADRC代码进行分类处理，但是，也可以作出这样的安排，对经过DPCM(预测编码)、BTC(块截断编码)、VQ(向量量化)、DCT(离散余弦变换)、Hadamard(哈达玛)变换等的数据进行分类处理。

预测抽头获取单元732根据类号，从学生图像的像素中获取与类相对应的、用于计算原始图像(教师图像)的预测值的、作为增量的预测抽头，并且把类号和获取的预测抽头提供给相应像素获取单元733。

例如，在图85中，让我们假设原始图像(教师图像)中中心在学生图像(在图中用实心圆表示)中的像素X_ij上的2×2的4个像素的像素值沿着从最左边到右边的方向，和沿着从上边到下边的方向，分别被表示成Y_ij(1)、Y_ij(2)、Y_ij(3)、Y_ij(4)，为了计算像素Y_ij(1)到Y_ij(4)的预测值计算所需的系数，预测抽头获取单元732获取由，例如，中心在学生图像中的像素X_ij上的3×3的9个像素X_(i-1)(j-1)、X_(i-1)j、X_(i-1)(j+1)、X_i(j-1)、X_ij、X_i(j+1)、X_(i+1)(j-1)、X_(i+1)j、X_(i+1)(j+1)组成的正方形预测抽头。

具体地说，例如，为了计算图85中四角形所围的、教师图像中的4个像素Y₃₃(1)到Y₃₃(4)的预测值计算所需的系数，像素X₂₂、X₂₃、X₂₄、X₃₂、X₃₃、X₃₄、X₄₂、X₄₃、X₄₄构成预测抽头(在这种情况中，感兴趣像素是X₃₃)。

相应像素获取单元733根据预测抽头和类号，获取与待预测像素值相对应的教师图像中的像素的像素值，并且把预测抽头、类号、和获取的与待预测像素值相对应的教师图像中的像素的像素值提供给标准表达式生成单元734。

例如，在计算教师图像中4个像素Y₃₃(1)到Y₃₃(4)的预测值计算所需的系数的情况下，相应像素获取单元733获取像素Y₃₃(1)到Y₃₃(4)的像素值，来作为与待预测像素值相对应的教师图像中的像素。

标准表达式生成单元734根据预测抽头、类号、和获取的待预测像素值，来生成用于计算与预测抽头和待预测像素值之间的相关性相对应的、用在自适应处理中的系数组的标准表达式，并且把生成的标准表达式与类号一起提供给系数计算单元735。

系数计算单元735通过求解标准表达式生成单元734提供的标准表达式，计算与所分的类相对应的、用在自适应处理中的系数组。系数计算单元735把计算的系数组与类号一起提供给系数组存储器707。

可以作出这样的安排，其中，标准表达式生成单元734生成与这样的标准表达式相对应的矩阵，和系数计算单元735根据生成的矩阵计算系数组。

这里，描述一下自适应处理。

例如，让我们现在考虑一下从通过几个邻近像素的像素值x₁、x₂...(被适当地称为学生数据)和预定预测系数w₁、w₂...的线性组合定义的一维线性组合模型中获取教师图像中像素值y的预测值E[y]。在这种情况下，预测值E[y]可以用如下的表达式表示。

E[y]＝w₁x₁+w₂x₂+...                             (78)

因此，为了一般化，一旦把由一组预测系数组成的矩阵W、由一组学生数据组成的矩阵X、和由一组预测值E[y]组成的矩阵Y′定义成： $X=\left[\begin{array}{cccc}{x}_{11}& x_{12}& \·\·\·& x_{1n}\\ x_{21}& x_{22}& \·\·\·& x_{2n}\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ x_{m1}& x_{m2}& \·\·\·& x_{\mathrm{mn}}\end{array}\right]$ $W=\left[\begin{array}{c}{w}_1\\ w_2\\ \·\·\·\\ w_n\end{array}\right],$ $Y^{\′}=\left[\begin{array}{c}E\left[y_1\right]\\ E\left[y_2\right]\\ \·\·\·\\ E\left[y_m\right]\end{array}\right]$

那么，如下观察表达式成立。

XW＝Y′                                         (79)

让我们现在考虑一下通过把最小二乘法应用于观察表达式，获取接近原始图像的像素值y的预测值E[y]。在这种情况下，一旦把由原始图像中的一组像素值y(被适当地称为教师数据)组成的矩阵Y和由与原始图像中的像素值y有关的预测值E[y]的一组残差(residuals)e组成的矩阵E定义成 $E=\left[\begin{array}{c}{e}_1\\ e_2\\ \·\·\·\\ e_m\end{array}\right],$ $Y=\left[\begin{array}{c}{y}_1\\ y_2\\ \·\·\·\\ y_m\end{array}\right]$

那么，根据表达式(79)，如下残差表达式成立。

XW＝Y+E                                           (80)

在这种情况下，通过求误差容限的平方和 $\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e_i}^2$

的极小值，可以获得用于获取接近原始图像中像素值y的预测值E[y]的预测系数w_i。

因此，在上述误差容限的平方和对预测系数w_i的导数等于0的情况下，也就是说，在预测系数w_i满足如下表达式的情况下，预测系数w_i是获取接近原始图像中像素值y的预测值E[y]的最佳值。 $e_1\frac{\∂e_1}{\∂w_i}+e_2\frac{{\∂e}_2}{{\∂w}_i}+\·\·\·+e_m\frac{{\∂e}_m}{\∂w_i}=0---(i=\mathrm{1,2},\·\·\·,n)---\left(81\right)$

这里，通过求表达式(80)关于预测系数w_i的微分，如下的表达式成立。 $\frac{{\∂e}_i}{{\∂w}_1}=x_{i1},\frac{{\∂e}_i}{\∂w_2}=x_{i2},...,\frac{\∂e_i}{{\∂w}_n}=x_{\mathrm{in}},(i=\mathrm{1,2},\·\·\·,m)---\left(82\right)$

从表达式(81)和表达式(82)中获取表达式(83)。 $\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i{x}_{i1}=0,\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i{x}_{i2}=0,...,\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{e}_i{x}_{\mathrm{in}}=0---\left(83\right)$

此外，考虑到残差表达式(80)中学习数据x、预测系数w_i、教师数据y、和残量e之间的关系，从表达式(83)中可以获得如下标准表达式。

可以形成与待获取的预测系数w_i的个数一样多的如表达式(84)所表示的标准表达式，因此，通过求解表达式(84)，可以获得最佳预测系数w。注意，表达式(84)可以应用，例如，搜索法(Gouss-Gordan消元法)来求解。

自适应处理包括为每个类获取最佳预测系数w、和利用预测系数w，通过方程(78)获取教师图像中像素值y附近的预测值E[y]。

标准表达式生成单元734生成用于为每个类计算最佳预测系数w的标准表达式，和系数计算单元735根据生成的标准表达式，计算预测系数w。

注意，对于不包含在变稀(thin-out)图像中，而是包含在再现的原始图像中的成分，自适应处理不同于内插处理。也就是说，虽然在只考虑表达式(78)的情况下，自适应处理与利用内插滤波器的内插处理相同，但是，与内插滤波器的抽头系数相对应的预测系数w是利用教师数据y，通过照原来样子进行学习获得的，因此，自适应处理可以再现包含在原始图像中的成分。于是，可以认为，自适应处理起照原来样子建立图像的作用。

图89是描述其配置如图84所示的分离图像处理单元106生成的系数组的图。区域指定单元103指定输入图像中的前景区、背景区、覆盖背景区、和未覆盖背景区。

前景/背景分离单元105把其中已指定了区域和通过混合比计算单元104检测出混合比α的输入图像分离成前景区中的图像、背景区中的图像、覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、和未覆盖背景区中的背景成分图像。

分离图像处理单元106根据分离图像，即前景区中的图像、背景区中的图像、覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、和未覆盖背景区中的背景成分图像，分别计算与前景区中的图像相对应的系数组、与背景区中的图像相对应的系数组、与覆盖背景区中的前景成分图像相对应的系数组、与覆盖背景区中的背景成分图像相对应的系数组、与未覆盖背景区中的前景成分图像相对应的系数组、和与未覆盖背景区中的背景成分图像相对应的系数组。

也就是说，学习单元714-1根据背景区中的分离图像，计算与背景区相对应的系数组，学习单元714-2根据未覆盖背景区中的分离背景成分图像，计算与未覆盖背景区中的背景成分图像相对应的系数组，学习单元714-3根据未覆盖背景区中的分离前景成分图像，计算与未覆盖背景区中的前景成分图像相对应的系数组，学习单元714-4根据覆盖背景区中的分离背景成分图像，计算与覆盖背景区中的背景成分图像相对应的系数组，学习单元714-5根据覆盖背景区中的分离前景成分图像，计算与覆盖背景区中的前景成分图像相对应的系数组，和学习单元714-6根据前景区中的分离图像，计算与前景区相对应的系数组。

与背景区相对应的系数组在用于预测像素值的分类自适应处理中，用于预测背景区中的像素值。与未覆盖背景区中的背景成分图像相对应的系数组在用于预测像素值的分类自适应处理中，用于预测与未覆盖背景区中的背景成分图像相对应的像素值。与未覆盖背景区中的前景成分图像相对应的系数组在用于预测像素值的分类自适应处理中，用于预测与未覆盖背景区中的前景成分图像相对应的像素值。

与覆盖背景区中的背景成分图像相对应的系数组在用于预测像素值的分类自适应处理中，用于预测与覆盖背景区中的背景成分图像相对应的像素值。与覆盖背景区中的前景成分图像相对应的系数组在用于预测像素值的分类自适应处理中，用于预测与覆盖背景区中的前景成分图像相对应的像素值。

与前景区相对应的系数组在用于预测像素值的分类自适应处理中，用于预测前景区中的像素值。

把与背景区中的图像相对应的预测图像、与未覆盖背景区中的背景成分图像相对应的预测图像、与未覆盖背景区中的前景成分图像相对应的预测图像、与覆盖背景区中的背景成分图像相对应的预测图像、与覆盖背景区中的前景成分图像相对应的预测图像、和与前景区中的图像相对应的预测图像合成成单个预测图像。

现在参照图90所示的流程图，描述其配置显示在图84中的分离图像处理单元106根据分类自适应处理生成用于预测像素值的系数组的学习处理。

在步骤S701中，加权平均单元707-1到770-6生成背景区中的图像、前景区中的图像、未覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、和覆盖背景区中的前景成分图像的学生图像。也就是说，加权平均单元707-1例如，通过对存储在背景区教师图像帧存储器701中的教师图像中的背景区中的图像进行四分之一加权平均，来生成与教师图像中的背景区中的图像相对应的学生图像。

加权平均单元707-2例如，通过对存储在未覆盖背景区背景成分教师图像帧存储器702中的教师图像中的未覆盖背景区中的背景成分图像进行四分之一加权平均，来生成与教师图像中的未覆盖背景区中的背景成分图像相对应的学生图像。

加权平均单元707-3例如，通过对存储在未覆盖背景区前景成分教师图像帧存储器703中的教师图像中的未覆盖背景区图像中的前景成分图像进行四分之一加权平均，来生成与教师图像中的未覆盖背景区中的前景成分图像相对应的学生图像。

加权平均单元707-4例如，通过对存储在覆盖背景区背景成分教师图像帧存储器704中的教师图像中的覆盖背景区图像中的背景成分图像进行四分之一加权平均，来生成与教师图像中的覆盖背景区中的背景成分图像相对应的学生图像。

加权平均单元707-5例如，通过对存储在覆盖背景区前景成分教师图像帧存储器705中的教师图像中的覆盖背景区图像中的前景成分图像进行四分之一加权平均，来生成与教师图像中的覆盖背景区中的前景成分图像相对应的学生图像。

加权平均单元707-6例如，通过对存储在前景区教师图像帧存储器706中的教师图像中的前景区中的图像进行四分之一加权平均，生成与教师图像中的前景区中的图像相对应的学生图像。

在步骤S702中，学习单元714-1根据存储在背景区教师图像帧存储器701中的教师图像中的背景区中的图像、和存储在背景区学生图像帧存储器708中的教师图像中的背景区中的图像相对应的学生图像，来生成与背景区相对应的系数组。在步骤S702中生成用于系数组的处理细节将参照图91所示的流程图加以描述。

在步骤S703中，学习单元714-2根据存储在未覆盖背景区背景成分教师图像帧存储器702中的教师图像中的未覆盖背景区中的背景成分图像、和存储在未覆盖背景区背景成分学生图像帧存储器709中与教师图像中的未覆盖背景区中的背景成分图像相对应的学生图像，生成与未覆盖背景区中的背景成分图像相对应的系数组。

在步骤S704中，学习单元714-3根据存储在未覆盖背景区前景成分教师图像帧存储器703中的教师图像中的未覆盖背景区中的前景成分图像、和存储在未覆盖背景区前景成分学生图像帧存储器710中与教师图像中的未覆盖背景区中的前景成分图像相对应的学生图像，生成与未覆盖背景区中的前景成分图像相对应的系数组。

在步骤S705中，学习单元714-4根据存储在覆盖背景区背景成分教师图像帧存储器704中的教师图像中的覆盖背景区中的背景成分图像、和存储在覆盖背景区背景成分学生图像帧存储器711中与教师图像中的覆盖背景区中的背景成分图像相对应的学生图像，生成与覆盖背景区中的背景成分图像相对应的系数组。

在步骤S706中，学习单元714-5根据存储在覆盖背景区前景成分教师图像帧存储器705中的教师图像中的覆盖背景区中的前景成分图像、和存储在覆盖背景区前景成分学生图像帧存储器712中与教师图像中的覆盖背景区中的前景成分图像相对应的学生图像，生成与覆盖背景区中的前景成分图像相对应的系数组。

在步骤S707中，学习单元714-6根据存储在前景区教师图像帧存储器706中的教师图像中的前景区的中图像、和存储在前景区学生图像帧存储器713中与教师图像中的前景区中的图像相对应的学生图像，生成与前景区相对应的系数组。

在步骤S708中，学习单元714-1到714-4分别把与背景区相对应的系数组、与未覆盖背景区中的背景成分图像相对应的系数组、与未覆盖背景区中的前景成分图像相对应的系数组、与覆盖背景区中的背景成分图像相对应的系数组、与覆盖背景区中的前景成分图像相对应的系数组、或与前景区相对应的系数组输出到系数组存储器715。系数组存储器715存储分别与背景区、前景区、未覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、和覆盖背景区中的前景成分图像相对应的系数组，然后，结束处理。

如上所述，其配置如图84所示的分离图像处理单元106可以生成与背景区中的图像相对应的系数组、与未覆盖背景区中的背景成分图像相对应的系数组、与未覆盖背景区中的前景成分图像相对应的系数组、与覆盖背景区中的背景成分图像相对应的系数组、与覆盖背景区中的前景成分图像相对应的系数组、和与前景区中的图像相对应的系数组。

注意，不用说，步骤S702到步骤S707中的处理可以以串行的方式，也可以以并行的方式进行。

现在，参照图91中的流程图，描述与步骤S702中的处理相对应，由学习单元714-1执行的用于生成与背景区相对应的系数组的处理。

在步骤S721中，学习单元714-1判断在与背景区相对应的学生图像中是否还存在未处理的像素，并且，在作出在与背景区相对应的学生图像中还存在未处理像素的判断的情况下，流程转到步骤S722，在步骤S722中，以光栅扫描顺序从与背景区相对应的学生图像中获取感兴趣像素。

在步骤S723中，分类单元731的类抽头获取单元751从存储在背景区学生图像帧存储器708中的学生图像中获取与感兴趣像素相对应的类抽头。在步骤S724中，分类单元731的波形分类单元752把ADRC处理应用于类抽头，这减少了构成类抽头的像素的位数，然后，分类感兴趣像素。在步骤S725中，预测抽头获取单元732根据所分的类，从存储在背景区学生图像帧存储器708中的学生图像图像中获取获取与感兴趣像素相对应的预测抽头。

在步骤S726中，相应像素获取单元733根据所分的类，从存储在背景区教师图像帧存储器701中的教师图像的背景区图像中获取与待预测像素值相对应的像素。

在步骤S727中，标准表达式生成单元734根据所分的类，把与预测抽头相对应的像素的像素值和待预测的像素值加入每个类的矩阵中，流程返回到步骤S721，然后分离图像处理单元106重复判断是否还存在未处理像素。预测抽头和把与预测抽头相对应的像素的像素值和待预测的像素值加入其中的每个类的矩阵对应于计算每个类的系数组的标准表达式。

在步骤S721中，在作出在学生图像中再也没有未处理像素的判断的情况下，流程转到步骤S728，在步骤S728中，标准表达式生成单元734把已为其设置了与预测抽头相对应的像素的像素值和待预测的像素值的每个类的矩阵提供给系数计算单元735。系数计算单元735通过求解已为其设置了与预测抽头相对应的像素的像素值和待预测的像素值的、每个类的矩阵，来计算与背景区相对应的、每个类的系数组。

注意，系数组不限制通过线性预测来预测像素值，也可以作出这样的安排，其中，系数计算单元735计算通过非线性预测来预测像素值的系数组。

在步骤S729中，系数计算单元735把与背景区相对应的、每个类的系数组输出到系数组存储器715，然后，结束处理。

如上所述，学习单元714-1可以生成与背景区相对应的系数组。

除了利用存储在未覆盖背景区背景成分教师图像帧存储器702中的未覆盖背景区中的背景成分图像和存储在未覆盖背景区背景成分学生图像帧存储器709中与未覆盖背景区中的背景成分图像相对应的学生图像之外，与步骤S703相对应的、由学习单元714-2执行的、用于生成与未覆盖背景区中的背景成分图像相对应的系数组的处理与参照图91所示的流程图所述的处理相同，因此，略去不述。

除了利用存储在未覆盖背景区前景成分教师图像帧存储器703中的未覆盖背景区中的前景成分图像和存储在未覆盖背景区前景成分学生图像帧存储器710中与未覆盖背景区中的前景成分图像相对应的学生图像之外，与步骤S704相对应的、由学习单元714-3执行的、用于生成与未覆盖背景区中的前景成分图像相对应的系数组的处理与参照图91所示的流程图所述的处理相同，因此，略去不述。

除了利用存储在覆盖背景区背景成分教师图像帧存储器704中的覆盖背景区中的背景成分图像和存储在覆盖背景区背景成分学生图像帧存储器711中与覆盖背景区中的背景成分图像相对应的学生图像之外，与步骤S705相对应的、由学习单元714-4执行的、用于生成与覆盖背景区中的背景成分图像相对应的系数组的处理与参照图91所示的流程图所述的处理相同，因此，略去不述。

除了利用存储在覆盖背景区前景成分教师图像帧存储器705中的覆盖背景区中的前景成分图像和存储在覆盖背景区前景成分学生图像帧存储器712中与覆盖背景区中的前景成分图像相对应的学生图像之外，与步骤S706相对应的、由学习单元714-5执行的、用于生成与覆盖背景区中的前景成分图像相对应的系数组的处理与参照图91所示的流程图所述的处理相同，因此，略去不述。

除了利用存储在前景区教师图像帧存储器706中的前景区中的图像和存储在前景区学生图像帧存储器713中与前景区中的图像相对应的学生图像之外，与步骤S707相对应，学习单元714-6生成与前景区相对应的系数组的处理与参照图91所示的流程图所述的处理相同，因此，略去不述。

如上所述，其配置如图84所示的分离图像处理单元106可以分别生成与背景区相对应的系数组、与未覆盖背景区中的背景成分图像相对应的系数组、与未覆盖背景区中的前景成分图像相对应的系数组、与覆盖背景区中的背景成分图像相对应的系数组、与覆盖背景区中的前景成分图像相对应的系数组、和与前景区相对应的系数组。

图92是说明通过进行分类自适应处理，用于沿着空间方向生成更高分辨率图像的分离图像处理单元106的配置的框图。例如，其配置如图92所示的分离图像处理单元106根据本身是SD图像的输入图像，通过执行分类自适应处理，来生成HD图像。

背景区帧存储器801存储前景/背景分离单元105提供的、由属于背景区的像素构成的、背景区中的图像。背景区帧存储器801把存储的背景区中的图像提供给映射单元807-1。

未覆盖背景区背景成分图像帧存储器802存储前景/背景分离单元105提供的、未覆盖背景区中的背景成分图像。未覆盖背景区背景成分图像帧存储器802把存储的未覆盖背景区中的背景成分图像提供给映射单元807-2。

未覆盖背景区前景成分图像帧存储器803存储前景/背景分离单元105提供的、未覆盖背景区中的前景成分图像。未覆盖背景区前景成分图像帧存储器803把存储的未覆盖背景区中的前景成分图像提供给映射单元807-3。

覆盖背景区背景成分图像帧存储器804存储前景/背景分离单元105提供的、覆盖背景区中的背景成分图像。覆盖背景区背景成分图像帧存储器804把存储的覆盖背景区中的背景成分图像提供给映射单元807-4。

覆盖背景区前景成分图像帧存储器805存储前景/背景分离单元105提供的、覆盖背景区中的前景成分图像。覆盖背景区前景成分图像帧存储器805把存储的覆盖背景区中的前景成分图像提供给映射单元807-5。

前景区帧存储器806存储前景/背景分离单元105提供的、由属于前景区的像素构成、前景区中的图像。前景区帧存储器806把存储的前景区中的图像提供给映射单元807-6。

映射单元807-1根据存储在系数组存储器808中与背景区相对应的系数组，通过分类自适应处理，生成与存储在背景区帧存储器801中的背景区中的图像相对应的预测图像。映射单元807-1把生成的预测图像提供给合成单元809。

映射单元807-2根据存储在系数组存储器808中与未覆盖背景区中的背景成分图像相对应的系数组，通过分类自适应处理，生成与存储在未覆盖背景区背景成分图像帧存储器802中的未覆盖背景区中的背景成分图像相对应的预测图像。映射单元807-2把生成的预测图像提供给合成单元809。

映射单元807-3根据存储在系数组存储器808中与未覆盖背景区中的前景成分图像相对应的系数组，通过分类自适应处理，生成与存储在未覆盖背景区前景成分图像帧存储器803中的未覆盖背景区中的前景成分图像相对应的预测图像。映射单元807-3把生成的预测图像提供给合成单元809。

映射单元807-4根据存储在系数组存储器808中与覆盖背景区中的背景成分图像相对应的系数组，通过分类自适应处理，生成与存储在覆盖背景区背景成分图像帧存储器804中的覆盖背景区中的背景成分图像相对应的预测图像。映射单元807-4把生成的预测图像提供给合成单元809。

映射单元807-5根据存储在系数组存储器808中与覆盖背景区中的前景成分图像相对应的系数组，通过分类自适应处理，生成与存储在覆盖背景区前景成分图像帧存储器805中的覆盖背景区中的前景成分图像相对应的预测图像。映射单元807-5把生成的预测图像提供给合成单元809。

映射单元807-6根据存储在系数组存储器808中与前景区相对应的系数组，通过分类自适应处理，生成与存储在前景区帧存储器806中的前景区中的图像相对应的预测图像。映射单元807-6把生成的预测图像提供给合成单元809。

合成单元809合成映射单元807-1提供的与背景区中的图像相对应的预测图像、映射单元807-2提供的与未覆盖背景区中的背景成分图像相对应的预测图像、映射单元807-3提供的与未覆盖背景区中的前景成分图像相对应的预测图像、映射单元807-4提供的与覆盖背景区中的背景成分图像相对应的预测图像、映射单元807-5提供的与覆盖背景区中的前景成分图像相对应的预测图像、和映射单元807-6提供的与前景区中的图像相对应的预测图像，并且把合成的预测图像提供给帧存储器810。

帧存储器810存储合成单元809提供的预测图像，并且将存储的图像输出作为输出图像。

在不需要特别区分映射单元801-1到807-6的情况下，可以把它们简称为映射单元807。

图93是说明映射单元803的配置的框图。

映射处理单元831包括进行分类处理的分类单元841、和进行自适应处理的预测抽头获取单元842和预测计算单元843。

分类单元841包括类抽头获取单元851和波形分类单元852，并对作为背景区中的图像、未覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、覆盖背景区中的前景成分图像、和前景压中的图像之一的分离输入图像中的感兴趣像素进行分类。

类抽头获取单元851获取与分离输入图像中感兴趣像素相对应的预定个类抽头，并且把获取的类抽头提供给波形分类单元852。例如，类抽头获取单元851获取9个类抽头，并且把获取的类抽头提供给波形分类单元852。

波形分类单元852通过把ADRC处理应用于类抽头，减少构成类抽头的像素的位数，把感兴趣像素分到预定个类之一中，并且把与所分的类相对应的类号提供给预测抽头获取单元842。例如，波形分类单元852把感兴趣像素分到512个类之一中，并且把与所分的类相对应的类号提供给预测抽头获取单元842。

预测抽头获取单元842根据类号，从作为背景区中的图像、未覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、覆盖背景区中的前景成分图像、和前景区中的图像之一的分离输入图像中获取与类相对应预定个预测抽头，并且把获取的预测抽头和类号提供给预测计算单元843。

预测计算单元843根据类号，从存储在系数组存储器808中的、与背景区、未覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、覆盖背景区中的前景成分图像、和前景区相对应的系数组中获取与类相对应的、和与待预测图像相对应的系数组。预测计算单元843根据与类相对应的、和与待预测图像相对应的系数组和预测抽头，通过线性预测，预测预测图像中的像素值。预测计算单元843把预测像素值提供给帧存储器832。

注意，可以作出这样的安排，其中，预测计算单元843通过非线性预测，预测预测图像中的像素值。

帧存储器832存储映射处理单元831提供的预测像素值，并输出由预测像素值组成的图像。

现在参照图94A到99B示出的图像，描述本发明的具有其配置如图92所示的分离图像处理单元106的图像处理设备的处理结果。

在生成通过例子示出的结果的处理中，在本发明的图像处理设备中的分类自适应处理中的类数总和大约等于传统分类自适应处理中的类数。也就是说，传统分类自适应处理中的类数是2048，而在本发明的图像处理设备中的分类自适应处理中与每个区域中的图像相对应的类数被安排成512。

此外，在传统分类自适应处理中的预测抽头数和在本发明的图像处理设备中每个区域的分类自适应处理中的预测抽头数都是9，也就是说，是相同的。

参照图94A到96B，描述覆盖背景区中的预测结果。

图94A是说明教师图像的混合区中的图像的例子的图。图94B是显示教师图像的混合区中的图像中与沿着空间方向的位置相对应的像素值的改变的图。

图95A是说明与如图94A所示的教师图像相对应，通过传统分类自适应处理生成的、混合区中的图像的例子的图。图94B是显示与如图94A所示的教师图像相对应，通过传统分类自适应处理生成的、混合区中的图像中与沿着空间方向上的位置相对应的像素值的改变的图。

图96A是说明与如图94A所示的教师图像相对应，由其配置如图92所示的分离图像处理单元106生成的、混合区中的图像的例子的图。图95B是显示与如图94A所示的教师图像相对应，由其配置如图92所示的分离图像处理单元106生成的、混合区中的图像中与沿着空间方向的位置相对应的像素值的改变的图。

与教师图像相比，通过传统分类自适应处理生成的、混合区中的图像中的像素值以阶跃方式改变，并且在实际图像中，用肉眼就可以辩认以阶跃方式改变。

相反，通过其配置如图92所示的分离图像处理单元106生成的、混合区中的图像中的像素值与传统安排相比，变化得更平滑，这表明其变化与教师图像更接近。此外，在用肉眼辩认分离图像处理单元106生成的图像的情况中，与传统安排相比，可以把图像辩认成更平滑的图像。

通过其配置如图92所示的分离图像处理单元106生成的、混合区中的图像与通过将输入图像分割成前景区、混合区、或背景区生成的图像相比，其变化更平滑。

参照图97A到图99B，描述像素值基本上随像素位置线性变化的前景区中的预测结果。

图97A是说明其中像素值基本上线性变化的教师图像中的前景区中的图像的例子的图。图97B是显示像素值基本上线性变化的教师图像的前景区中的图像中与沿着空间方向的位置相对应的像素值的改变的图。

图98A是说明通过传统分类自适应处理生成的、与图97A所示的图像相对应的、前景区中的图像的例子的图。图98B是显示通过传统分类自适应处理生成的、与图97A所示的图像相对应的、前景区中的图像中，与沿着空间方向的位置相对应的像素值的改变的图。

图99A是说明由其配置如图92所示的分离图像处理单元106生成的、与图97A所示的图像相对应的前景区中的图像的例子的图。图99B是显示由其配置如图92所示的分离图像处理单元106生成的、与图97A所示的图像相对应的前景区中的图像中，与沿着空间方向的位置相对应的像素值的改变的图。

与混合区的方式相同，与教师图像相比，通过传统分类自适应处理生成的、前景区中的图像中的像素值以阶跃方式改变，并且在实际图像中，用肉眼就可以识别其以阶跃方式的改变。

相反，通过其配置如图92所示的分离图像处理单元106生成的、前景区中的图像中的像素值与传统安排相比，变化得更平滑，并且非常接近教师图像中的值。在用肉眼辩认分离图像处理单元106生成的图像的情况中，观察不到该图像与教师图像之间的差异。

现在，参照图100所示的流程图，描述其配置如图92所示的分离图像处理单元106创建图像的处理。

在步骤S801中，映射单元807-1根据存储在系数组存储器808中与背景区相对应的系数组，通过分类自适应处理，预测与存储在背景区帧存储器801中的背景区中的图像相对应的图像。

预测与背景区中的图像相对应的图像的处理细节以后将参照图101加以描述。

在步骤S802中，映射单元807-2根据存储在系数组存储器808中与未覆盖背景区的背景成分图像相对应的系数组，通过分类自适应处理，预测与存储在未覆盖背景区背景成分图像帧存储器802中的未覆盖背景区的背景成分图像相对应的图像。

在步骤S803中，映射单元807-3根据存储在系数组存储器808中与未覆盖背景区的前景成分图像相对应的系数组，通过分类自适应处理，预测与存储在未覆盖背景区前景成分图像帧存储器803中的未覆盖背景区的前景成分图像相对应的图像。

在步骤S804中，映射单元807-4根据存储在系数组存储器808中与覆盖背景区的背景成分图像相对应的系数组，通过分类自适应处理，预测与存储在覆盖背景区背景成分图像帧存储器804中的覆盖背景区中的背景成分图像相对应的图像。

在步骤S805中，映射单元807-5根据存储在系数组存储器808中与覆盖背景区中的前景成分图像相对应的系数组，通过分类自适应处理，预测与存储在覆盖背景区前景成分图像帧存储器805中的覆盖背景区中的前景成分图像相对应的图像。

在步骤S806中，映射单元807-6根据存储在系数组存储器808中与前景区相对应的系数组，通过分类自适应处理，预测与存储在前景区帧存储器806中的前景区中的图像相对应的图像。

在步骤S807中，合成单元809合成与背景区中的图像相对应的预测图像、与未覆盖背景区的背景成分图像相对应的预测图像、与未覆盖背景区的前景成分图像相对应的预测图像、与覆盖背景区的背景成分图像相对应的预测图像、与覆盖背景区的前景成分图像相对应的预测图像、和与前景区相对应的预测图像。合成单元809把合成的图像提供给帧存储器810。帧存储器810存储合成单元809提供的合成图像。

在步骤S808中，帧存储器810输出存储的合成图像，然后，结束处理。

如上所述，具有其配置如图92所示的分离图像处理单元106的图像处理设备可以为分离图像，即，背景区中的图像、未覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、覆盖背景区的前景成分图像、和前景区中的图像中的每一个生成预测图像。

注意，不用说，步骤S801到步骤S806中的处理可以以串行的方式进行，也可以以并行的方式进行。

参照图101所示的流程图，描述与步骤S801相对应的，映射单元807-1预测与背景区相对应的图像的处理。

在步骤S821中，映射单元807-1判断在背景区中是否还存在未处理的像素，并且，在作出在背景区图像中还存在未处理像素的判断的情况下，流程转到步骤S822，在步骤S822中，映射处理单元831获取存储在系数组存储器808中与背景区相对应的系数组。在步骤S823中，映射处理单元831以光栅扫描顺序，从存储在背景区帧存储器801中的背景区的图像中获取感兴趣像素。

在步骤S824中，分类单元841的类抽头获取单元851从存储在背景区帧存储器801中的背景区的图像中获取与感兴趣像素相对应的类抽头。在步骤S825中，分类单元841的波形分类单元852通过把ADRC处理应用于类抽头，减少构成类抽头的像素的位数，并对感兴趣像素进行分类。在步骤S826中，预测抽头获取单元842根据所分的类，从存储在背景区帧存储器801中的背景区的图像中获取与感兴趣像素相对应的预测抽头。

在步骤S827中，预测计算单元843根据与背景区和所分的类相对应的系数组和预测抽头，通过线性预测，预测预测图像中的像素值。

注意，除了线性预测之外，预测计算单元843也可以通过非线性预测，预测预测图像的像素值。

在步骤S828中，预测计算单元843把预测的像素值输出到帧存储器832。帧存储器832存储预测计算单元843提供的像素值。过程返回到步骤S821，并重复是否还存在未处理像素的判断。

在步骤S821中，在作出在背景区中没有未处理像素的判断的情况下，流程转到步骤S829。在步骤S829中，帧存储器832输出存储的与背景区的图像相对应的预测图像，然后，结束处理。

如上所述，映射单元807-1根据分离输入图像的背景区中的图像，可以预测与背景区中的图像相对应的图像。

除了利用存储在未覆盖背景区背景成分图像帧存储器802中的未覆盖背景区中的背景成分图像和与未覆盖背景区中的背景成分图像相对应的系数组之外，与步骤S802相对应，映射单元807-2生成与未覆盖背景区中的背景成分图像相对应的预测图像的处理与参照图101所示的流程图所述的处理相同，因此，略去不述。

除了利用存储在未覆盖背景区前景成分图像帧存储器803中的未覆盖背景区中的前景成分图像和与未覆盖背景区中的前景成分图像相对应的系数组之外，与步骤S803相对应，映射单元807-3生成与未覆盖背景区中的前景成分图像相对应的预测图像的处理与参照图101所示的流程图所述的处理相同，因此，略去不述。

除了利用存储在覆盖背景区背景成分图像帧存储器804中的覆盖背景区中的背景成分图像和与覆盖背景区中的背景成分图像相对应的系数组之外，与步骤S804相对应，映射单元807-4生成与覆盖背景区中的背景成分图像相对应的预测图像的处理与参照图101所示的流程图所述的处理相同，因此，略去不述。

除了利用存储在覆盖背景区前景成分图像帧存储器805中的覆盖背景区中的前景成分图像和与覆盖背景区中的前景成分图像相对应的系数组之外，与步骤S805相对应，映射单元807-5生成与覆盖背景区中的前景成分图像相对应的预测图像的处理与参照图101所示的流程图所述的处理相同，因此，略去不述。

除了利用存储在前景区帧存储器806中的前景区和与背景区中的图像相对应的系数组之外，与步骤S806相对应的、映射单元807-6生成与前景区中的图像相对应的预测图像的处理与参照图101所示的流程图所述的处理相同，因此，略去不述。

如上所述，其配置如图92所示的分离图像处理单元106可以分别为每个图像，即，背景区中的图像、未覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、覆盖背景区中的前景成分图像、和前景区中的图像生成预测图像。

图102是说明用于把效果不同的边缘改善处理应用于每个图像，即，背景区中的图像、未覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、覆盖背景区中的前景成分图像、或前景区中的图像的分离图像处理单元106的配置的框图。

背景区帧存储器901存储前景/背景分离单元105提供的、由属于背景区的像素构成的背景区中的图像。背景区帧存储器901把存储的背景区中的图像提供给边缘改善单元907-1。

未覆盖背景区背景成分图像帧存储器902存储前景/背景分离单元105提供的、未覆盖背景区中的背景成分图像。未覆盖背景区背景成分图像帧存储器902把存储的未覆盖背景区中的背景成分图像提供给边缘改善单元907-2。

未覆盖背景区前景成分图像帧存储器903存储前景/背景分离单元105提供的、未覆盖背景区中的前景成分图像。未覆盖背景区前景成分图像帧存储器903把存储的未覆盖背景区中的前景成分图像提供给边缘改善单元907-3。

覆盖背景区背景成分图像帧存储器904存储前景/背景分离单元105提供的、覆盖背景区中的背景成分图像。覆盖背景区背景成分图像帧存储器904把存储的覆盖背景区中的背景成分图像提供给边缘改善单元907-4。

覆盖背景区前景成分图像帧存储器905存储前景/背景分离单元105提供的、覆盖背景区中的前景成分图像。覆盖背景区前景成分图像帧存储器905把存储的覆盖背景区中的前景成分图像提供给边缘改善单元907-5。

前景区帧存储器906存储前景/背景分离单元105提供的、由属于前景区的像素构成的前景区中的图像。前景区帧存储器906把存储的前景区中的图像提供给边缘改善单元907-6。

边缘改善单元907-1把利用通过把适合于背景区中的图像的边缘改善处理应用于存储在背景区帧存储器901中的背景区中的图像，而进行了边缘改善的背景区中的图像提供给合成单元908。

例如，边缘改善单元907-1进行与前景区相比，进一步改善本身是静止图像的背景区中的图像的边缘的边缘改善处理。因此，在把边缘改善处理应用于运动图像的情况下，可以提高背景区中的图像的分辨率，而不会出现图像的人为失真。

边缘改善单元907-2把适合于未覆盖背景区中的背景成分图像的边缘改善处理应用于存储在未覆盖背景区背景成分图像帧存储器902中的图像，并把经过边缘改善的图像提供给合成单元908。

例如，边缘改善单元907-2进行与前景区相比，进一步改善本身是静止图像的未覆盖背景区中的背景成分图像的边缘的边缘改善处理。因此，在把边缘改善处理应用于运动图像的情况下，可以提高背景区图像的分辨率，而不会出现图像的人为失真。

边缘改善单元907-3把适合于未覆盖背景区中的前景成分图像的边缘改善处理应用于存储在未覆盖背景区前景成分图像帧存储器903中的图像，并把经过边缘改善的图像提供给合成单元908。

例如，边缘改善单元907-3进行改善由与背景区相比，稍微少一点的运动前景成分构成的未覆盖背景区的前景成分图像的边缘的边缘改善处理。因此，在把边缘改善处理应用于运动图像的情况下，可以提高未覆盖背景区的前景成分图像的分辨率，而不会出现图像的人为失真。

边缘改善单元907-4把适合于覆盖背景区的背景成分图像的边缘改善处理应用于存储在覆盖背景区背景成分图像帧存储器904中的图像，并把经过边缘改善的图像提供给合成单元908。

例如，边缘改善单元907-4进行与前景区相比，进一步改善本身是静止图像的覆盖背景区的背景成分图像的边缘的边缘改善处理。因此，在把边缘改善处理应用于运动图像的情况下，可以提高背景成分图像的分辨率，而不会出现图像的人为失真。

边缘改善单元907-5把适合于覆盖背景区的前景成分图像的边缘改善处理应用于存储在覆盖背景区前景成分图像帧存储器905中的图像，并把经过边缘改善的图像提供给合成单元908。

例如，边缘改善单元907-5进行改善由与背景区相比，稍微少一点的运动前景成分构成的覆盖背景区的前景成分图像的边缘的边缘改善处理。因此，在把边缘改善处理应用于运动图像的情况下，可以提高覆盖背景区的前景成分图像的分辨率，而不会出现图像的人为失真。

边缘改善单元907-6把适合于前景区图像的边缘改善处理应用于存储在前景区帧存储器906中的前景区图像，并且把经过边缘改善的前景区图像提供给合成单元908。

例如，边缘改善单元907-6进行改善与背景区相比，稍微少一点的运动前景区图像的边缘的边缘改善处理。因此，在把边缘改善处理应用于运动图像的情况下，可以提高前景成分图像的分辨率，而不会出现图像的人为失真。

合成单元908合成边缘改善单元907-1提供的经过边缘改善的背景区图像、边缘改善单元907-2提供的经过边缘改善的未覆盖背景区的背景成分图像、边缘改善单元907-3提供的经过边缘改善的未覆盖背景区的前景成分图像、边缘改善单元907-4提供的经过边缘改善的覆盖背景区的背景成分图像、边缘改善单元907-5提供的经过边缘改善的覆盖背景区的前景成分图像、和边缘改善单元907-6提供的经过边缘改善的前景区图像，并且把合成的图像提供给帧存储器909。

帧存储器909存储合成单元908提供的合成图像，并且将存储的图像输出作为输出图像。

因此，其配置如图74所示的分离图像处理单元106可以应用与每个区域，即，背景区、未覆盖背景区、覆盖背景区、或前景区的每个图像的性质相对应的边缘改善处理，因此，可以提高图像的分辨率，而不会出现图像的人为失真。

在不需要特别区分边缘改善单元907-1到907-6的情况下，可以把它们简称为边缘改善单元907。

图103是说明边缘改善单元907的配置的框图。把分离的输入图像输入到高通滤波器921和相加单元923中。

高通滤波器921根据输入的滤波系数，从输入图像中提取其中像素值随像素位置剧烈变化的成分，即，图像高频成分，并消除其中像素值随像素位置变化小的成分，即图像低频成分，并生成边缘图像。

例如，在输入图104A所示的图像的情况下，高通滤波器921生成如图104B所示的边缘图像。

在输入的滤波系数发生改变的情况下，高通滤波器921改变要提取的图像频率、要消除的图像频率、和要提取的图像增益。

参照图105到图108，描述滤波系数和边缘图像之间的关系。

图105是说明滤波系数的第一个例子的图。在图105中，E表示10的指数。例如，E-04表示10^-4，和E-02表示10^-2。

例如，高通滤波器921将每个像素值，即，感兴趣像素像素的像素值、在空间方向Y中沿着预定方向与感兴趣像素相距1个像素到15个像素的像素的像素值、和在空间方向Y中沿着另一个方向与感兴趣像素相距1个像素到15个像素的像素的像素值乘以图105所示的滤波系数的相应系数。高通滤波器921计算将像素的每个像素值乘以与之相对应的系数获得的结果之和，并且把计算和值设置为感兴趣像素的像素值。

例如，在利用图105所示的滤波系数的情况下，高通滤波器921将感兴趣像素的像素值乘以1.2169396，将屏幕上方与感兴趣像素相距1个像素的像素的像素值乘以-0.52530356，和将屏幕上方与感兴趣像素相距2个像素的像素的像素值乘以-0.22739914。

以此类推，在利用图105所示的滤波系数的情况下，高通滤波器921将屏幕上方与感兴趣像素相距3个像素到13个像素的像素值乘以相应系数，将屏幕上方与感兴趣像素相距14个像素的像素的像素值乘以-0.00022540586，并将屏幕上方与感兴趣像素相距15个像素的像素的像素值乘以-0.00039273163。

在利用图105所示的滤波系数的情况下，以此类推，高通滤波器921将屏幕下方与感兴趣像素相距1个像素到15个像素的每个像素的像素值乘以相应系数。

高通滤波器1921计算将感兴趣像素的像素值、屏幕上方与感兴趣像素相距1个像素到15个像素的像素的每个像素值、和屏幕下方与感兴趣像素相距1个像素到15个像素的像素的每个像素值乘以相应系数所得的结果之和。高通滤波器921把计算和设置成感兴趣像素的像素值。

高通滤波器921沿着空间方向X依次移动感兴趣像素的位置，重复如上所述的处理，并为整个屏幕计算像素值。

然后，高通滤波器921将在根据上述系数计算某像素值的图像中，感兴趣像素的像素值、在空间方向X中沿着预定方向与感兴趣像素相距1个像素到15个像素的像素的每个像素值、和在空间方向X中沿着另一个方向与感兴趣像素相距1个像素到15个像素的像素的每个像素值乘以相应系数。高通滤波器921计算将像素的每个像素值乘以相应系数所得的结果之和，并且把计算的和值设置成感兴趣像素的像素值。

高通滤波器921沿着空间方向Y依次移动感兴趣像素的位置，重复如上所述的处理，并为整个屏幕计算像素值。

也就是说，在这种情况下，高通滤波器921是利用图105所示的系数的所谓一维滤波器。

图106是说明在使用图105所示的系数的情况下，高通滤波器921的操作的图。如图106所示，在使用图105所示的系数的情况下，高通滤波器921上提取图像成分的最大增益是1。

图107是说明滤波系数的第二个例子的图。

图108是说明在使用图107所示的系数进行与使用图105所示的滤波系数的处理相同的处理的情况下，高通滤波器921的操作的图。如图108所示，在使用图107所示的系数的情况下，在高通滤波器921上提取的图像成分的最大增益是1.5。

如上所述，高通滤波器921通过提供的滤波系数来改变提取的图像成分的增益。

虽然这里没有举出例子，但是，在提供不同滤波系数的情况下，高通滤波器921可以以相同的方式改变提取的图像频率和消除的图像频率。

返回到图103，高通滤波器921把生成的边缘图像提供给增益调整单元922。

增益调整单元922根据输入的增益调整系数，增强或减弱高通滤波器921提供的边缘图像。在输入的增益调整系数发生改变的情况下，增益调整单元922改变边缘图像的放大率(或衰减率)。例如，在输入表示放大率等于或大于1的增益调整系数的情况下，增益调整单元922增强边缘图像，在输入表示放大率小于1的增益调整系数的情况下，增益调整单元922减弱边缘图像。

增益调整单元922把经过增益调整的边缘图像提供给相加单元923。

相加单元923将分割的输入图像和增益调整单元922提供的经过增益调整的边缘图像相加，并输出相加图像。

例如，在输入图104A所示的输入图像，和提供来自高通滤波器921的、如图104B所示的边缘图像的情况下，相加单元923将如图104A所示的输入图像和如图104B所示的边缘图像相加，并输出如图104C所示的图像。

如上所述，边缘改善单元907把边缘改善处理应用于分割的图像。

例如，其配置如图103所示的边缘改善单元907-1利用如图107所示的系数，把程度更高的边缘改善处理应用于背景区中的图像。其配置如图103所示的边缘改善单元907-6利用如图105所示的系数，把程度相对低一些的边缘改善处理应用于前景区中的图像。

图109是说明边缘改善单元907的另一种配置的框图。在图109所示的例子中，边缘改善单元907包括滤波器941。

滤波器941根据输入滤波系数，通过增强输入图像中像素值随像素位置剧烈变化的成分，即图像高频成分，来生成边缘改善图像。

例如，在应用，例如，如图110所示的系数的情况下，滤波器941根据，例如，如图110所示的系数，进行与针对高通滤波器921所述的处理相同的处理。

图111是说明在使用如图110所示的系数的情况下，滤波器941的操作的图。如图111所示，在使用如图110所示的系数的情况下，滤波器941把图像高频成分增强到原来的2倍，让图像低频成分按原样通过，来生成边缘改善图像。

在使用如图110所示的系数的情况下，滤波器941输出与在使用如图105所示的系数和增益调整单元922的增益是1的情况下，来自其配置如图103所示的边缘改善单元907的输出图像相同的输出图像。

图112是显示提供给滤波器941的滤波系数的第二个例子的图。

图113是说明在使用如图112所示的系数的情况下，滤波器941的操作的图。如图113所示，在使用如图112所示的系数的情况下，滤波器941把图像高频成分增强到原来的2.5倍，让图像低频成分按原样通过，来生成边缘改善图像。

在使用如图112所示的系数的情况下，滤波器941输出与在使用如图107所示的系数和增益调整单元922的增益是1的情况下，来自其配置如图102所示的边缘改善单元907的输出图像相同的输出图像。

如上所述，其配置如图109所示的边缘改善单元907通过使用输入滤波系数来改变图像中的高频成分的增益，可以改变图像中边缘改善的程度。

例如，其配置如图109所示的边缘改善单元907-1利用如图112所示的系数，把程度更高的边缘改善处理应用于背景区中的图像。其配置如图109所示的边缘改善单元907-6利用如图110所示的系数，把程度相对低一些的边缘改善处理应用于前景区中的图像。

如上所述，边缘改善单元907-1和边缘改善单元907-6根据，例如，不同的滤波系数或增益调整系数，进行与分割图像的性质相对应的边缘改善处理。

图114是描述其配置如图102所示的分离图像处理单元106进行的处理的图。

区域指定单元103指定输入图像中的前景区、未覆盖背景区、覆盖背景区、和背景区。其中已经指定了区域的输入图像被前景/背景分离单元105分离成背景区中的图像、未覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、覆盖背景区中的前景成分图像、和前景区中的图像。

其配置如图102所示的分离图像处理单元106对背景区中的图像、未覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、覆盖背景区中的前景成分图像、和前景区中的图像的每一个进行与每个图像的性质相对应的边缘改善处理。

合成每一个都经过边缘改善的背景区中的图像、未覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、覆盖背景区中的前景成分图像、和前景区中的图像。

现在，参照图115所示的流程图，描述其配置如图102所示的分离图像处理单元106进行的边缘改善处理。

在步骤S901中，边缘改善单元907-1通过与背景区图像的性质相对应的边缘改善处理，对存储在背景区帧存储器901中的背景区图像进行边缘改善。

在步骤S902中，边缘改善单元907-2通过与未覆盖背景区的背景成分图像的性质相对应的边缘改善处理，对存储在未覆盖背景区背景成分图像帧存储器902中的未覆盖背景区的背景成分图像进行边缘改善。

在步骤S903中，边缘改善单元907-3通过与未覆盖背景区的前景成分图像的性质相对应的边缘改善处理，对存储在未覆盖背景区前景成分图像帧存储器903中的未覆盖背景区的前景成分图像进行边缘改善。

在步骤S904中，边缘改善单元907-4通过与覆盖背景区的背景成分图像的性质相对应的边缘改善处理，对存储在覆盖背景区背景成分图像帧存储器902中的覆盖背景区的背景成分图像进行边缘改善。

在步骤S905中，边缘改善单元907-5通过与覆盖背景区的前景成分图像的性质相对应的边缘改善处理，对存储在覆盖背景区前景成分图像帧存储器903中的覆盖背景区的前景成分图像进行边缘改善。

在步骤S906中，边缘改善单元907-6通过与前景区图像的性质相对应的边缘改善处理，对存储在前景区帧存储器906中的前景区图像进行边缘改善。

在步骤S907中，合成单元908合成每一个都经过边缘改善的前景区图像、背景区图像、覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、和未覆盖背景区的背景成分图像。合成单元908把合成的图像提供给帧存储器909。帧存储器909存储合成单元908提供的图像。

在步骤S908中，帧存储器909输出存储在其中的合成图像，然后，结束处理。

因此，其配置如图102所示的分离图像处理单元106可以进行与前景区图像、背景区图像、覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、和未覆盖背景区的背景成分图像中的每一个的性质相对应的边缘改善处理，因此，可以提高分辨率，而不会使运动图像出现人为失真。

注意，不用说，步骤S901到步骤S906中的处理可以以串行的方式进行，也可以以并行的方式进行。

此外，由分离图像处理单元106执行的处理不限于生成与SD图像和HD图像相对应的系数，或从SD图像中生成HD图像的处理，可以作出这样的安排，其中，例如，通过生成用于沿着空间方向生成更高分辨率图像的系数，来生成沿着空间方向分辨率更高的图像。此外，也可以作出这样的安排，其中，分离图像处理单元106进行用于沿着时间方向生成更高分辨率图像的处理。

注意，还可以作出这样的安排，其中，分离图像处理单元106除了对指定区域的每个图像通过行分类自适应处理或边缘改善处理以便提高分辨率的处理之外，还进行其它处理，例如，把图像大小转换成所需大小、提取诸如RGB的色彩信号、噪声消除、图像压缩、编码等。例如，通过分离图像处理单元106根据与每个区域的图像相对应的运动向量，沿着与运动向量一致的方向用低压缩比和沿着与运动向量垂直的方向用高压缩比压缩每个区域的图像，可以使图像失真比传统安排小地增加压缩比。

图116是说明用于分离输入图像和处理每个分离的图像的图像处理设备的功能的又一种配置的框图。图11所示的图像处理设备串行地进行区域指定和混合比α的计算，而图116所示的图像处理设备并行地进行区域指定和混合比α的计算。

与图11所示的框图中的功能相同的部分用相同的标号表示，并且，略去不述。

把输入图像提供给对象提取单元101、区域指定单元103、混合比计算单元1101、和前景/背景分离单元1102。

根据输入图像，混合比计算单元1101为包含在输入图像中的每个像素计算在假设该像素属于覆盖背景区的情况下的估计混合比、和在假设该像素属于未覆盖背景区的情况下的估计混合比，并且把如此计算的、在假设像素属于覆盖背景区的情况下的估计混合比、和在假设像素属于未覆盖背景区的情况下的估计混合比提供给前景/背景分离单元1102。

图117是说明混合比计算单元1101的配置的一个例子的框图。

如图117所示的估计混合比处理单元401与如图59所示的估计混合比处理单元401相同。如图117所示的估计混合比处理单元402与如图59所示的估计混合比处理单元402相同。

估计混合比处理单元401根据输入图像，通过与覆盖背景区的模型相对应的计算，为每个像素计算估计混合比，并且输出计算的估计混合比。

估计混合比处理单元402根据输入图像，通过与未覆盖背景区的模型相对应的计算，为每个像素计算估计混合比，并且输出计算的估计混合比。

根据混合比计算单元1101提供的、假设像素属于覆盖背景区的估计混合比和假设像素属于未覆盖背景区的估计混合比、和区域指定单元103提供的区域信息，前景/背景分离单元1102把输入图像分离成前景区图像、背景区图像、覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、和未覆盖背景区的背景成分图像，并且把分离的图像提供给分离图像处理单元106。

图118是说明前景/背景分离单元1102的配置的一个例子的框图。

与图77所示的前景/背景分离单元105相同的部分用相同的标号表示，并且，略去不述。

选择单元1121根据区域指定单元103提供的区域信息，选择在假设像素属于覆盖背景区的情况下的估计混合比、和在假设像素属于未覆盖背景区的情况下的估计混合比中的一个或另一个，并且把所选的估计混合比作为混合比α提供给分离单元601。

分离单元601根据区域信息和选择单元1121提供的混合比α，从属于混合区的像素的像素值中提取前景成分和背景成分，并且，将其分离成未覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、和覆盖背景区的前景成分图像。

分离单元601的配置可以与图82所示的配置相同。

如上所述，其配置如图116所示的图像处理设备能够，对每个图像，即，背景区中的图像、未覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、覆盖背景区的前景成分图像、或前景区中的图像进行与每个图像的性质相对应的处理。

如上所述，本发明的图像处理设备把输入图像分离成背景区中的图像、未覆盖背景区的背景成分图像、未覆盖背景区的前景成分图像、覆盖背景区的背景成分图像、覆盖背景区的前景成分图像、或前景区中的图像，并且，进行适合于每个分离的图像的处理，因此，生成，例如，分辨率更高的图像。

图119是说明图像处理设备的另一种配置的框图。

用相同的标号表示与图11所示相同的部分，并且，略去不述。

把提供给图像处理设备的输入图像也提供给对象提取单元101、区域指定单元103、混合比计算单元104、和前景/背景分离单元2001。

根据区域指定单元103提供的区域信息、和混合比计算单元104提供的混合比α，前景/背景分离单元2001把输入图像分离成只由与前景对象相对应的前景成分组成的前景成分图像、和只由背景成分组成的背景成分图像，把前景成分图像提供给运动模糊消除单元2002，和把背景成分图像提供给纠正单元2003。

运动模糊消除单元2002根据从运动向量中导出的运动量v、和区域信息，决定指示包含在前景成分图像中的一个或多个像素的处理增量。处理增量是指示作为对运动模糊值进行调整处理的对象的一组像素的数据。

根据前景/背景分离单元2001提供的前景成分图像、运动检测单元102提供的运动向量及其位置信息、和处理增量，运动模糊消除单元2002消除包含在前景成分图像中的运动模糊，并且把经过运动模糊量消除的前景成分图像输出到运动模糊消除图像处理单元2004。

纠正单元2003纠正背景成分图像中与混合区相对应的像素的像素值。背景成分图像中与混合区相对应的像素的像素值是在分离之前，通过从混合区中的像素的像素值中减去前景成分计算出来的。因此，与相邻背景区中的像素的像素值相比，背景成分图像中与混合区相对应的像素的像素值随混合比α而减小。

纠正单元2003纠正与如上所述的、背景成分图像中与混合区相对应的像素的像素值的混合比α相对应的增益的减量，并且把纠正的背景成分图像提供给运动模糊消除图像处理单元2004。

运动模糊消除图像处理单元2004分别对经过运动模糊消除的前景成分图像和纠正的背景成分图像进行处理。

例如，运动模糊消除图像处理单元2004为经过运动模糊消除的每个前景成分图像、和为每个纠正的背景成分图像生成用在生成更高分辨率图像的分类自适应处理中的系数。

例如，运动模糊消除图像处理单元2004通过把分类自适应处理应用于每个经过运动模糊消除的前景成分图像和每个纠正的背景成分图像，来创建分辨率更高的图像。

此外，例如，运动模糊消除图像处理单元2004利用不同系数，把程度不同的边缘改善处理应用于每个图像，即，经过运动模糊消除的前景成分图像、和经过纠正的背景成分图像。

图120是说明被分割成像素、且其中每一个像素都属于前景区、背景区、覆盖背景区、或未覆盖背景区的图像与其中沿着时间方向展开像素的像素值的模型图之间的对应关系的图。

如图120所示，区域指定单元103指定输入图像的前景区、背景区、覆盖背景区、和未覆盖背景区。

如图121所示，针对混合区的像素值，纠正分离的背景成分图像，并且对分离的前景成分图像进行运动模糊消除。

如图122所示，把输入图像分割成几个区域，并且将其分离成前景成分和背景成分。把分离的输入图像合成成前景成分图像和背景成分图像。消除包含在前景成分图像中的运动模糊。针对与混合区相对应的像素值纠正背景成分图像。

分别对经过运动模糊消除的前景成分图像、和经过纠正的背景成分图像进行处理。

图123是描述根据本发明的图像处理设备的图像处理的流程图。

在步骤S2001中，根据运动检测单元102提供的运动向量和它的位置信息、和输入图像，区域指定单元103指定输入图像中的前景区、背景区、覆盖背景区、或未覆盖背景区。步骤S2001中的区域指定处理与步骤S101所示的处理相同，因此，略去不述。

在步骤S2002中，混合比计算单元104根据输入图像和区域指定单元103提供的区域信息，计算混合比α。在步骤S2002中计算混合比α的处理与步骤S102中的处理相同，因此，略去不述。

在步骤S2003中，前景/背景分离单元2001根据区域指定单元103提供的区域信息和混合比计算单元104提供的混合比α，把输入图像分离成前景区中的图像、背景区中的图像、覆盖背景区中的前景成分图像、覆盖背景区中的背景成分图像、未覆盖背景区中的前景成分图像、和未覆盖背景区中的背景成分图像。前景/背景分离单元2001进行的图像分离处理的细节以后再作描述。

在步骤S2004中，运动模糊消除单元2002根据运动检测单元102提供的运动向量和它的位置信息、和区域指定单元103提供的区域信息，从前景/背景分离单元105提供的前景成分图像中消除运动模糊。

运动模糊消除单元2002消除运动模糊的处理细节以后再述。

在步骤S2005中，纠正单元2003纠正与前景/背景分离单元2001提供的背景成分图像的混合区相对应的像素值。

在步骤S2006中，运动模糊消除图像处理单元2004对每个经过运动模糊消除的前景成分图像和每个已经纠正的背景成分图像进行图像处理，然后，结束处理。运动模糊消除图像处理单元2004进行图像处理的细节以后再作描述。

如上所述，根据本发明的图像处理设备把输入图像分离成前景成分图像和背景成分图像，从前景成分图像中消除运动模糊，并对经过运动模糊消除的前景成分图像和背景成分图像中的每一个进行处理。

现在对前景/背景分离单元2001加以描述。图124是说明前景/背景分离单元2001的配置的一个例子的框图。把提供给前景/背景分离单元2001的输入图像也提供给分离单元2601、切换器2602、和切换器2604。把区域指定单元103提供的、指示覆盖背景区和未覆盖背景区的区域信息也提供给分离单元2601。把指示前景区的区域信息提供给切换器2602。把指示背景区的区域信息提供给切换器2604。

把混合比计算单元104提供的混合比α提供给分离单元2601。

根据指示覆盖背景区的区域信息、指示未覆盖背景区的区域信息、和混合比α，分离单元2601从输入图像中分离前景成分，并且把分离的前景成分提供给合成单元2603，以及从输入图像中分离出背景成分，并且把分离的背景成分提供给合成单元2605。

在输入与前景相对应的像素的情况下，根据指示前景区的区域信息，闭合切换器2602，并且只把包含在输入图像中与前景相对应的像素提供给合成单元2603。

在输入与背景相对应的像素的情况下，根据指示背景区的区域信息，闭合切换器2604，并且只把包含在输入图像中与背景相对应的像素提供给合成单元2605。

合成单元2603根据分离单元2601提供的与前景相对应的成分、和切换器2602提供的与前景相对应的像素，来合成前景成分图像，并且输出合成的前景成分图像。由于前景区和混合区不重叠，因此，合成单元2603通过，例如，把逻辑和运算应用于与前景相对应的成分和与前景相对应的像素，来合成前景成分图像。

在前景成分图像合成处理的第一阶段中进行的初始化处理中，合成单元2603把其中所有像素值都是0的图像存储在内置帧存储器中，并且，在前景成分图像合成处理中，合成单元2603存储(或重写)前景成分图像。因此，作为从合成单元2603输出的前景成分图像的、与背景区相对应的像素把0存储作为像素值。

合成单元2605根据分离单元2601提供的与背景相对应的成分、和切换器2604提供的与背景相对应的像素，来合成背景成分图像，并且输出合成的背景成分图像。由于背景区和混合区不重叠，因此，合成单元2605通过，例如，把逻辑和运算应用于与背景相对应的成分和与背景相对应的像素，并合成背景成分图像。

在背景成分图像合成处理的第一阶段中进行的初始化处理中，合成单元2605把其中所有像素值都是0的图像存储在内置帧存储器中，并且，在背景成分图像合成处理中，合成单元2605存储(或重写)背景成分图像。因此，作为从合成单元2605输出的背景成分图像的、与前景区相对应的像素把0存储作为像素值。

图125A和图125B是说明输入到前景/背景分离单元2001的输入图像、和从前景/背景分离单元2001输出的前景成分图像和背景成分图像的图。

图125A是说明所显示的图像的示意图，和图125B是与图125A相对应的、其中包括属于前景区的像素、属于背景区的像素、和属于混合区的像素的一行像素沿着时间方向展开的模型图。

如图125A和125B所示，从前景/背景分离单元2001输出的背景成分图像由属于背景区的像素、而包含在混合区中的像素内的背景成分组成。

如图125A和125B所示，从前景/背景分离单元2001输出的前景成分图像由属于前景区的像素、而包含在混合区中的像素内的前景成分组成。

混合区中的像素的像素值被前景/背景分离单元2001分离成背景成分和前景成分。分离的背景成分与属于背景区的像素一起组成背景成分图像。分离的前景成分与属于前景区的像素一起组成前景成分图像。

如上所述，在前景成分图像中，与背景区相对应的像素的像素值被设置成0，和与前景区相对应的像素和与混合区相对应的像素的像素值被设置成有效像素值。类似地，在背景成分图像中，与前景区相对应的像素的像素值被设置成0，和与背景区相对应的像素和与混合区相对应的像素的像素值被设置成有效像素值。

现在对分离单元2601从属于混合区的像素中分离出前景成分和背景成分的处理加以描述。

图126是包括与图中从左边移动到右边的对象相对应的前景的、指示前景成分和背景成分的两个帧的图像的模型。在图126所示的图像的模型中，前景的运动量v是4，且虚拟分割数也是4。

在帧#n中，最左边像素和从左边算起第14个到18个像素只由背景成分组成，并且属于背景区。在帧#n中，从左边算起第2个到4个像素由背景成分和前景成分组成，并且属于未覆盖背景区。在帧#n中，从左边算起第11个到13个像素由背景成分和前景成分组成，并且属于覆盖背景区。在帧#n中，从左边算起第5个到10个像素只由前景成分组成，并且属于前景区。

在帧#n+1中，从左边算起第1个到5个和从左边算起第1 8个像素只由背景成分组成，并且属于背景区。在帧#n+1中，从左边算起第6个到8个像素由背景成分和前景成分组成，并且属于未覆盖背景区。在帧#n+1中，从左边算起第15个到17个像素由背景成分和前景成分组成，并且属于覆盖背景区。在帧#n+1中，从左边算起第9个到14个像素只由前景成分组成，并且属于前景区。

图127是描述从属于覆盖背景区的像素中分离前景成分的处理的图。在图127中，α1到α18分别代表与帧#n中的像素相对应的混合比。在图127中，从左边算起第15个到第17个像素属于覆盖背景区。

帧#n中从左边算起第15个像素的像素值C15被表示成表达式(85)：

C15＝B15/v+F09/v+F08/v+F07/v

   ＝α15·B15+F09/v+F08/v+F07/v

   ＝α15·P15+F09/v+F08/v+F07/v                  (85)

这里，α15表示帧#n中从左边算起第15个像素的混合比。P15表示帧#n-1中从左边算起第15个像素的像素值。

根据表达式(85)，帧#n中从左边算起第15个像素的前景成分之和f15被表示成表达式(86)：

f15＝F09/v+F08/v+F07/v

   ＝C15-α15·P15                             (86)

类似地，帧#n中从左边算起第16个像素的前景成分之和f16被表示成表达式(87)，和帧#n中从左边算起第17个像素的前景成分之和f17被表示成表达式(88)：

f16＝C16-α16·P16                             (87)

f17＝C17-α17·P17                             (88)

如上所述，包含在属于覆盖背景区的像素的像素值C中的前景成分fc通过表达式(89)来计算：

fc＝C-α·P                                    (89)

P表示前一帧中的相应像素的像素值。

图128是描述从属于未覆盖背景区的像素中分离前景成分的处理的图。在图128中，α1到α18分别表示与帧#n中的像素相对应的混合比。在图128中，从左边算起第2个到第4个像素属于未覆盖背景区。

帧#n中从左边算起第2个像素的像素值C02被表示成表达式(90)：

C02＝B02/v+B02/v+B02/v+F01/v

   ＝α2·B02+F01/v

   ＝α2·N02+F01/v                                  (90)

这里，α2表示帧#n中从左边算起第2个像素的混合比。N02表示帧#n+1中从左边算起第2个像素的像素值。

根据表达式(90)，帧#n中从左边算起第2个像素的前景成分之和f02被表示成表达式(91)：

f02＝F01/v

   ＝C02-α2·N02                                   (91)

类似地，帧#n中从左边算起第3个像素的前景成分之和f03被表示成表达式(92)，而帧#n中从左边算起第4个像素的前景成分之和f04被表示成表达式(93)：

f03＝C03-α3·N03                                   (92)

f04＝C04-α4·N04                                   (93)

如上所述，包含在属于未覆盖背景区的像素的像素值C中的前景成分fu通过表达式(94)来计算：

fu＝C-α·N                                         (94)

N表示后一帧中的相应像素的像素值。

如上所述，根据包括包含在区域信息中的、指示覆盖背景区的信息和指示未覆盖背景区的信息、和每个像素的混合比α，分离单元2601可以从属于混合区的像素中分离出前景成分和背景成分。

图129是说明进行上述处理的分离单元2601的配置的例子的框图。把输入分离单元2601的图像提供给帧存储器2621，和把指示覆盖背景区和未覆盖背景区的区域信息、和混合比计算单元104提供的混合比α输入到分离处理模块2622中。

帧存储器2621以逐帧递增的方式存储输入图像，在处理对象是帧#n的情况下，帧存储器2621存储比帧#n早一个帧的帧#n-1、帧#n、和比帧#n晚一个帧的帧#n+1。

帧存储器2621把帧#n-1、帧#n、和#n+1中的相应像素提供给分离处理模块2622。

分离处理模块2622根据指示覆盖背景区和未覆盖背景区的区域信息和混合比α，通过把参照图127和图128所述的计算应用于帧存储器2621提供的帧#n-1、帧#n、和#n+1中相应像素的像素值，从帧#n中属于混合区的像素中分离出前景成分和背景成分，并且把它们提供给帧存储器2623。

分离处理模块2622包括未覆盖区处理单元2631、覆盖区处理单元2632、合成单元2633、和合成单元2634。

未覆盖区处理单元2631的乘法器2641将帧存储器2621提供的帧#n+1的像素的像素值乘以混合比α，并且将结果输出到切换器2642。在帧存储器2621提供的帧#n中的像素(与帧#n+1的像素相对应)属于未覆盖背景区的情况下，闭合切换器2642，将乘法器2641提供的被乘以混合比α的像素值提供给计算器2643和合成单元2634。从切换器2642输出的帧#n+1的像素的像素值被乘以混合比α所得的值与帧#n中相应像素的像素值的背景成分相同。

计算器2643通过从帧存储器2621提供的帧#n的像素的像素值中减去切换器2642提供的背景成分，来获取前景成分。计算器2643把属于未覆盖背景区的帧#n中的像素的前景成分提供给合成单元2633。

覆盖区处理单元2632的乘法器2651将帧存储器2621提供的帧#n-1的像素的像素值乘以混合比α，并且将结果输出到切换器2652。在帧存储器2621提供的帧#n中的像素(与帧#n-1的像素相对应)属于覆盖背景区的情况下，闭合切换器2652，将乘法器2651提供的被乘以混合比α的像素值提供给计算器2653和合成单元2634。从切换器2652输出的帧#n-1中的像素的像素值被乘以混合比α所得的值与帧#n中相应像素的像素值的背景成分相同。

计算器2653通过从帧存储器2621提供的帧#n的像素的像素值中减去切换器2652提供的背景成分，来获取前景成分。计算器2653把属于覆盖背景区的帧#n中的像素的前景成分提供给合成单元2633。

合成单元2633合成帧#n中的、由计算器2643提供的属于未覆盖背景区的像素的前景成分、和计算器2653提供的属于覆盖背景区的像素的前景成分，并且把结果提供给帧存储器2623。

合成单元2634合成帧#n中的、由切换器2642提供的属于未覆盖背景区的像素的背景成分、和切换器2652提供的属于覆盖背景区的像素的背景成分，并且把结果提供给帧存储器2623。

帧存储器2623分别存储分离处理模块2622提供的、帧#n中混合区内的像素的前景成分和背景成分。

帧存储器2623输出存储在其中的、帧#n中混合区内的像素的前景成分、和存储在其中的、帧#n中混合区内的像素的背景成分。

利用作为特征量的混合比α能够把包含在像素值中的前景成分和背景成分完全分离开。

通过合成从分离单元2601输出的、帧#n中混合区内的像素的前景成分、和属于前景区的像素，合成单元2603生成前景成分图像。通过合成从分离单元2601输出的、帧#n中混合区内的像素的背景成分、和属于背景区的像素，合成单元2605生成背景成分图像。

图130A是说明与图126所示的帧#n相对应的前景成分图像的例子的图。图130B是说明与图126所示的帧#n相对应的背景成分图像的例子的图。

图139A说明了与图126所示的帧#n相对应的前景成分图像的例子。由于把前景和背景分开之前，最左边像素和从左边算起第14个像素只由背景成分组成，因此，像素值是0。

在前景和背景被分开之前，从左边算起第2个到第4个像素属于未覆盖背景区，因此，背景成分是0，前景成分保持原来值。在把前景和背景分开之前，从左边算起第11个到第13个像素属于覆盖背景区，因此，前景成分是0，背景成分保持原来值。由于从左边算起第5个到第10个像素只由前景成分组成，因此，那些前景成分保持原来值。

图130B说明了与图126所示的帧#n相对应的背景成分图像的例子。在前景和背景被分开之前，最左边像素和从左边算起第14个像素由背景成分组成，因此，那些背景成分保持原来值。

在前景和背景被分开之前，从左边算起第2个到第4个像素属于未覆盖背景区，因此，前景成分是0，和背景成分保持原来值。在前景和背景被分开之前，从左边算起第11个到第13个像素属于覆盖背景区，因此，前景成分是0，背景成分保持原来值。在前景和背景被分开之前，从左边算起第5个到第10个像素只由前景成分组成，因此，像素值是0。

现在参照图131所示的流程图，描述前景/背景分离单元2001对前景和背景的分离处理。在步骤S2601中，分离单元2601的帧存储器2621获取输入图像，并且存储作为前景和背景分离对象的帧#n，以及前一帧#n-1和后一帧#n+1。

在步骤S2602中，分离单元2601的分离处理模块2622获取区域指定单元103提供的区域信息。在步骤S2603中，分离单元2601的分离处理模块2622获取混合比计算单元104提供的混合比α。

在步骤S2604中，未覆盖区处理单元2631根据区域信息和混合比α，从帧存储器2621提供的属于未覆盖背景区的像素的像素值中提取背景成分。

在步骤S2605中，未覆盖区处理单元2631根据区域信息和混合比α，从帧存储器2621提供的属于未覆盖背景区的像素的像素值中提取前景成分。

在步骤S2606中，覆盖区处理单元2632根据区域信息和混合比α，从帧存储器2621提供的属于覆盖背景区的像素的像素值中提取背景成分。

在步骤S2607中，覆盖区处理单元2632根据区域信息和混合比α，从帧存储器2621提供的属于未覆盖背景区的像素的像素值中提取前景成分。

在步骤2608中，合成单元2633合成在步骤S2605的处理中提取的、属于未覆盖背景区的像素的前景成分、和在步骤S2607的处理中提取的、属于覆盖背景区的像素的前景成分。把合成的前景成分提供给合成单元2603。此外，合成单元2603合成通过切换器2602提供的、属于前景区的像素、和分离单元2601提供的前景成分，并生成前景成分图像。

在步骤2609中，合成单元2634合成在步骤S2604的处理中提取的、属于未覆盖背景区的像素的背景成分、和在步骤S2606的处理中提取的、属于覆盖背景区的像素的背景成分。把合成的背景成分提供给合成单元2605。此外，合成单元2605合成通过切换器2604提供的、属于背景区的像素、和分离单元2601提供的背景成分，并生成背景成分图像。

在步骤S2610中，合成单元2603输出前景成分图像。在步骤S2611中，合成单元2605输出背景成分图像，然后，结束处理。

如上所述，根据区域信息和混合比α，前景/背景分离单元2001可以从输入图像中分离出前景成分和背景成分，并且输出只由前景成分组成的前景成分图像、和只由背景成分组成的背景成分图像。

现在描述从前景成分图像中消除运动模糊的处理。

图132是说明运动模糊消除单元2002的配置的例子的框图。把运动检测单元102提供的运动向量和它的位置信息、和区域指定单元103提供的区域信息提供给处理增量决定单元2801和模拟(modeling)单元2802。把前景/背景分离单元2001提供的前景成分图像提供给相加单元2804。

处理增量决定单元2801把根据运动向量、它的位置信息、和区域信息生成的处理增量，以及运动向量提供给模拟单元2802。处理增量决定单元2801把生成的处理增量提供给相加单元2804。

例如，如图133所示，在图133中用A表示的、处理增量决定单元2801生成的处理增量表示从与前景成分的覆盖背景区相对应的像素开始，直到与未覆盖背景区相对应的像素，沿着运动方向依次排列的像素、或者从与未覆盖背景区相对应的像素开始，直到与覆盖背景区相对应的像素，沿着运动方向依次排列的像素。处理增量由，例如，左上点(作为通过处理增量指定的像素的最左或最高位置像素)和右下点两个数据组成。

模拟单元2802根据运动向量和输入的处理增量，进行模拟。更明确地说，例如，可以作出这样的安排，其中，模拟单元2802事先为每个像素存储包含在处理增量中的像素个数、像素值沿着时间方向的虚拟分割数、和与前景成分的个数相对应的多个模型，并且根据处理增量和像素值沿着时间方向的虚拟分割数，选择如图134所示的指定像素值与前景成分之间的对应关系的模型。

例如，在与处理增量相对应的像素个数是12，和快门间隔中的运动量v是5的情况下，模拟单元2802把虚拟分割数设置成5，并且选择总共由8个前景成分组成的模型，其中，最左边位置的像素包括1个前景成分，从左边算起第2个像素包括2个前景成分，从左边算起第3像素包括3个前景成分，从左边算起第4个像素包括4个前景成分，从左边算起第5个像素包括5个前景成分，从左边算起第6个像素包括5个前景成分，从左边算起第7个像素包括5个前景成分，从左边算起第8个像素包括5个前景成分，从左边算起第9个像素包括4个前景成分，从左边算起第10个像素包括3个前景成分，从左边算起第11个像素包括2个前景成分，和从左边算起第12个像素包括1个前景成分。

请注意，也可以作出这样的安排，其中，模拟单元2802不是从事先存储的模型中选择模型，而是在提供运动向量和处理增量的情况下，根据运动向量和处理增量生成模型。

模拟单元2802把所选的模型提供给表达式生成单元2803。

表达式生成单元2803根据模拟单元2802提供的模型，生成表达式。下面参照图134所示的前景成分图像的模型，在前景成分的个数是8，与处理增量相对应的像素个数是12，运动量v是5，和虚拟分割数是5的情况下，描述表达式生成单元2803生成的表达式。

如果包含在前景成分图像中与快门间隔/v相对应的前景成分是F01/v到F08/v，那么，F01/v到F08/v与像素C01到C12之间的关系被表示成表达式(95)到表达式(106)：

C01＝F01/v                                  (95)

C02＝F02/v+F01/v                                      (96)

C03＝F03/v+F02/v+F01/v                                (97)

C04＝F04/v+F03/v+F02/v+F01/v                          (98)

C05＝F05/v+F04/v+F03/v+F02/v+F01/v                    (99)

C06＝F06/v+F05/v+F04/v+F03/v+F02/v                    (100)

C07＝F07/v+F06/v+F05/v+F04/v+F03/v                    (101)

C08＝F08/v+F07/v+F06/v+F05/v+F04/v                    (102)

C09＝F08/v+F07/v+F06/v+F05/v                          (103)

C10＝F08/v+F07/v+F06/v                                (104)

C11＝F08/v+F07/v                                      (105)

C12＝F08/v                                            (106)

通过变换生成的表达式，表达式生成单元2803生成另一组表达式。由表达式生成单元2803生成的另一组表达式被表示成表达式(107)到表达式(118)：

C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v                                        (107)

C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v                                        (108)

C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v                                        (109)

C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v                                       (110)

C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v                                       (111)

C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v                                       (112)

C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v                                       (113)

C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v                                       (114)

C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v                                    (115)

C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v                                    (116)

C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v                                    (117)

C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+1·F08/v                                    (118)

表达式(107)到表达式(118)可以用表达式(119)来表示： $\mathrm{Cj}=\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v---\left(119\right)$

在表达式(119)中，j表示像素位置。在本例中，j具有1到12之间的值之一。此外，i表示前景值的位置。在本例中，i具有1到8之间的一个值。与i和j的值相对应，aij具有0或1的值之一。

者虑到误差容限，表达式(119)可以用表达式(120)来表示： $\mathrm{Cj}=\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v+\mathrm{ej}---\left(120\right)$

在表达式(120)中，ej表示包含在感兴趣像素Cj中的误差容限。

可以把表达式(120)重写成表达式(121)： $\mathrm{ej}=\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v---\left(121\right)$

注意，为了使用最小二乘法，把误差容限的平方和E定义成表达式(122)： $E=\underset{i=01}{\overset{12}{\mathrm{\Σ}}}{\mathrm{ej}}^2---\left(122\right)$

为了使误差容限达到最小，应该使误差容限的平方和关于变量Fk的偏导数的值趋向0。求出满足表达式(123)的Fk： $\frac{\∂E}{\∂\mathrm{Fk}}=2\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{ej}\·\frac{\∂\mathrm{ej}}{\∂\mathrm{Fk}}$ $=2\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\{(\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v)\·(-\mathrm{akj}/v)\}=0---\left(123\right)$

在表达式(123)中，运动量v是固定值，因此，可以导出表达式(124)： $\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{akj}\·(\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v)=0---\left(124\right)$

展开表达式(124)和移动变量，得到表达式(125)： $\underset{j=01}{\overset{12}{\mathrm{\Σ}}}(\mathrm{akj}\·\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi})=v\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{akj}\·\mathrm{Cj}---\left(125\right)$

把表达式(125)展开成8个表达式，这8个表达式是把1到8之间的整数之一代入表达式(125)中的k中获得的。获得的8个表达式可以通过一个矩阵表示成一个表达式。这个表达式被称为标准表达式。

表达式生成单元2803根据这样的最小二乘法生成的标准表达式的例子被表示成表达式(126)： $\left[\begin{array}{c}54321000\\ 45432100\\ 34543210\\ 23454321\\ 12345432\\ 01234543\\ 00123454\\ 00012345\end{array}\right]\left[\begin{array}{cc}F& 01\\ F& 02\\ F& 03\\ F& 04\\ F& 05\\ F& 06\\ F& 07\\ F& 08\end{array}\right]=v\·\left[\begin{array}{c}\underset{i=08}{\overset{12}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=07}{\overset{11}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=06}{\overset{10}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=05}{\overset{09}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=04}{\overset{08}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=03}{\overset{07}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=02}{\overset{06}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=01}{\overset{05}{\mathrm{\Σ}}}\mathrm{Ci}\end{array}\right]---\left(126\right)$

如果把表达式(126)表示成A·F＝v·C，那么，C、A和v是已知的，F是未知的。此外，虽然A和v在模拟时就是已知的，但是，通过在相加运算中输入像素值，C也成为已知的。

通过把最小二乘法应用于标准表达式来计算前景成分，来处理包含在像素C中的误差容限。

表达式生成单元2803把如上所述生成的标准表达式提供给相加单元2804。

相加单元2804根据处理增量决定单元2801提供的处理增量，为表达式生成单元2803提供的矩阵表达式设置包含在前景成分图像中的像素值C。相加单元2804把已为其设置了像素值C的矩阵提供给计算单元2805。

计算单元2805通过基于诸如搜索法(Gauss-Jordan消元法)之类的方法的处理，计算经过运动模糊消除的前景成分Fi/v，计算作为经过运动模糊消除的前景的像素值的、与0到8之间的整数i之一相对应的Fi，和输出，例如，由如图135所示的、作为经过运动模糊消除的像素值的Fi组成的、经过运动模糊消除的前景成分图像。

请注意，在如图135所示的经过运动模糊消除的前景成分图像中，C03到C10中的每一个被设置成F01到F08中的每一个，以便不改变可以对应于任意位置的、前景成分图像相对于屏幕的位置。

此外，例如，如图136所示，在与处理增量相对应的像素个数是8，和运动量v是4的情况下，运动模糊消除单元2002生成用表达式(127)表示的矩阵表达式： $\left[\begin{array}{c}43210\\ 34321\\ 23432\\ 12343\\ 01234\end{array}\right]=\left[\begin{array}{cc}F& 01\\ F& 02\\ F& 03\\ F& 04\\ F& 05\end{array}\right]=v\·\left[\begin{array}{c}\underset{i=05}{\overset{08}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=04}{\overset{07}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=03}{\overset{06}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=02}{\overset{05}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=01}{\overset{04}{\mathrm{\Σ}}}\mathrm{Ci}\end{array}\right]---\left(127\right)$

运动模糊消除单元2002通过建立其个数与处理增量的长度相对应的表达式，来计算经过运动模糊调整的像素值Fi。类似地，在包含在处理增量中的像素个数是，例如，100个的情况下，通过生成与100个像素相对应的表达式，来计算Fi。

如上所述，运动模糊消除单元2002生成与运动量v和处理增量相对应的表达式，为生成的表达式设置前景成分图像的像素值，和计算经过运动模糊消除的前景成分图像。

现在参照图137所示的流程图，描述运动模糊消除单元2002消除包含在前景成分图像中的运动模糊的处理。

在步骤S2801中，运动模糊消除单元2002的处理增量决定单元2801根据运动向量和区域信息，来生成处理增量，并且把生成的处理增量提供给模拟单元2802。

在步骤S2802中，运动模糊消除单元2002的模拟单元2802选择或生成与运动量v和处理增量相对应的模型。在步骤S2803中，表达式生成单元2803根据所选的模型，创建标准表达式。

在步骤S2804中，相加单元2804为创建的标准表达式设置前景成分图像的像素值。在步骤S2805中，相加单元2804判断与处理增量相对应的所有像素的像素值是否都得到设置，并且，在作出与处理增量相对应的像素的像素值还没有全部得到设置的判断的情况下，流程返回到步骤S2804，重复为标准表达式设置像素值的处理。

在步骤S2805中，在作出与处理增量相对应的像素的像素值全部得到设置的判断的情况下，流程转到步骤S2806，计算单元2805根据其中相加单元2804提供的像素值得到设置的标准表达式，计算经过运动模糊量消除的前景的像素值，然后，结束处理。

如上所述，运动模糊消除单元2002根据运动向量和区域信息，可以从包含运动模糊的前景图像中消除运动模糊。

也就是说，包含在作为取样数据的像素值中的运动模糊可以得到消除。

接着，描述背景成分图像的纠正。

图138是说明与，例如，如图134所示的前景成分图像的模型相对应的背景成分图像的模型的图。

如图138所示，前景成分已经得到消除，因此，与混合比α相对应，原始输入图像中与混合区相对应的背景成分图像的像素的像素值与原始输入图像中与背景区相对应的像素相比，只由少数背景成分组成。

例如，在，例如，如图138所示的背景成分图像中，像素值C01由4个背景成分B02/V组成，像素值C02由3个背景成分B03/V组成，像素值C03由2个背景成分B04/V组成，和像素值C04由1个背景成分B05/V组成。

此外，对于，例如，如图138所示的背景成分图像，像素值C09由1个背景成分B10/V组成，像素值C10由2个背景成分B11/V组成，像素值C11由3个背景成分B12/V组成，和像素值C12由4个背景成分B13/V组成。

如上所述，原始输入图像中与混合区相对应的像素的像素值与原始输入图像中与背景区相对应的像素相比，只由少数背景成分组成，因此，例如，与背景区的图像相比，前景成分图像中与混合区相对应的图像变成暗图像。

纠正单元2003通过将背景成分图像中与混合区相对应的每个像素的像素值乘以与混合比α相对应的常数，来纠正背景成分图像中与混合区相对应的像素的像素值。

例如，在输入图138所示的背景成分图像的情况下，纠正单元2003将像素值C01乘以5/4，将像素值C02乘以5/3，将像素值C11乘以5/3，和将像素值C12乘以5/4。为了与，例如，如图1 35所示的经过运动模糊消除的前景成分图像的像素位置相匹配，纠正单元2003把像素值C03到像素值C11设置成0。

如上所述，纠正单元2003纠正背景成分图像中与混合区相对应的像素的像素值，并且调整经过运动模糊消除的前景成分图像像素位置。

图140是说明用于生成系数组的运动模糊消除图像处理单元2004的配置的框图，该系数组用在沿着空间方向生成更高分辨率图像的分类自适应处理中。例如，其配置如图140所示的运动模糊消除图像处理单元2004根据输入的HD图像，生成用在从SD图像中生成HD图像的分类自适应处理中的系数组。

背景成分教师图像帧存储器3001存储纠正单元2003提供的教师图像的纠正背景成分图像。背景成分教师图像帧存储器3001把存储的教师图像的背景成分图像提供给加权平均单元3003-1和学习单元3006-1。

前景成分教师图像帧存储器3002存储运动模糊消除单元2002提供的、经过运动模糊消除的、教师图像的前景成分图像。前景成分教师图像帧存储器3002把存储的教师图像的前景成分图像提供给加权平均单元3003-2和学习单元3006-2。

加权平均单元3003-1通过对本身是HD图像的教师图像的前景成分图像进行四分之一加权平均，生成作为学生图像的SD图像，把生成的SD图像提供给背景成分学生图像帧存储器3004。

例如，加权平均单元3003-1在图85所示的教师图像中把2×2(宽×高)的4个像素(它们是图中空心圆所代表的部分)取作一个增量，相加每个增量的4个像素的像素值，并且把和值除以4。加权平均单元3003-1为处在每个增量的中心上的学生图像的像素(它们是图中实心圆所代表的部分)设置如上所述的四分之一加权平均结果。

背景成分学生图像帧存储器3004存储与加权平均单元3003-1提供的教师图像的背景成分图像相对应的学生图像。背景成分学生图像帧存储器3004把存储在其中的与教师图像的背景成分图像相对应的学生图像提供给学习单元3006-1。

加权平均单元3003-2通过对，例如，前景成分教师图像帧存储器3002提供的本身是HD图像的教师图像的前景成分图像进行四分之一加权平均，来生成作为学生图像的SD图像，并且把生成的SD图像提供给前景成分学生图像帧存储器3005。

前景成分学生图像帧存储器3005存储与加权平均单元3003-2提供的教师图像的前景成分图像相对应的、作为SD图像的学生图像。前景成分学生图像帧存储器3005把存储在其中的与教师图像的前景成分图像相对应的学生图像提供给学习单元3006-2。

学习单元3006-1根据背景成分教师图像帧存储器3001提供的教师图像的背景成分图像和背景成分学生图像帧存储器3004提供的与教师图像的背景成分图像相对应的学生图像，生成与背景成分图像相对应的系数组，并且把生成的系数组提供给系数组存储器3007。

学习单元3006-2根据前景成分教师图像帧存储器3002提供的教师图像的前景成分图像和前景成分学生图像帧存储器3005提供的与教师图像的前景成分图像相对应的学生图像，生成与前景成分图像相对应的系数组，并且把生成的系数组提供给系数组存储器3007。

系数组存储器3007存储与学习单元3006-1提供的背景成分图像和与学习单元3006-2提供的前景成分图像相对应的系数组。

在不需要特别区分学习单元3006-1和学习单元3006-2的情况下，下面把它们简称为学习单元3006。

图141是说明学习单元3006的配置的框图。

分类单元3031包括类抽头获取单元3051和波形分类单元3052，并且对输入学生图像中，作为所关注的像素的感兴趣像素进行分类。类抽头获取单元3051获取作为与感兴趣像素相对应的学生图像中的像素的预定个类抽头，并且把获取的类抽头提供给波形分类单元3052。

波形分类单元3052进行根据其特征把输入信号分成几类的分类处理，并且，根据类抽头，把感兴趣像素分成512个类之一，并且把与所分的类相对应的类号提供给预测抽头获取单元3032。

预测抽头获取单元3032根据类号，从学生图像的像素中获取与该类相对应的、作为用于计算原始图像(教师图像)的预测值的增量的预测抽头，并且把类号和获取的预测抽头提供给相应像素获取单元3033。

相应像素获取单元3033根据预测抽头和类号，获取与待预测像素值相对应的教师图像中的像素的像素值，并且把预测抽头、类号、和与待预测像素值相对应的教师图像中的像素的像素值提供给标准表达式生成单元3034。

标准表达式生成单元3034根据预测抽头、类号、和与待预测像素值相对应的教师图像中的像素的像素值，生成与预测抽头和待预测像素之间的相关性相对应的、用于计算用在自适应处理中的系数组的标准表达式，并且把生成的标准表达式与类号一起提供给系数计算单元3035。

系数计算单元3035求解标准表达式生成单元3034提供的标准表达式，并计算与所分的类相对应的、用在自适应处理中的系数组。

系数计算单元3035把计算的系数组与类号一起提供给系数组存储器7025。

可以作出这样的安排，其中，标准表达式生成单元3034生成与这样的标准表达式相对应的矩阵，和系数计算单元3035根据生成的矩阵，并计算系数组。

图141是描述其配置如图140所示的运动模糊消除图像处理单元2004生成的系数组的图。区域指定单元103指定输入图像中的前景区、背景区、覆盖背景区、和未覆盖背景区。

其中已经指定了区域和由混合比计算单元104已经检测了混合比α的输入图像被前景/背景分离单元2001分离成前景成分图像和背景成分图像。

运动模糊消除单元2002从分离的前景成分图像中消除运动模糊。与前景成分图像的运动模糊的消除相对应，纠正单元2003纠正分离的背景成分图像中与混合区相对应的像素值。

根据经过运动模糊消除的前景成分图像和经过纠正的背景成分图像，运动模糊消除图像处理单元2004分别计算与前景成分图像相对应的系数组和与背景成分图像相对应的系数组。

也就是说，学习单元3006-1根据分离和纠正的背景成分图像，计算与背景成分图像相对应的系数组，和学习单元2006-2根据经过分离和运动模糊消除的前景成分图像，计算与前景成分图像相对应的系数组。

在用于预测要应用于分离和纠正背景成分图像的像素值的分类自适应处理中，与背景成分图像相对应的系数组用于预测与背景成分图像相对应的图像的像素值。

在用于预测要应用于已经经过分离和运动模糊消除的前景成分图像的像素值的分类自适应处理中，与前景成分图像相对应的系数组用于预测与前景成分图像相对应的图像的像素值。

把运动模糊加入与前景成分图像相对应的预测图像中。与运动模糊加入前景成分图像中相对应，纠正与背景成分图像相对应的预测图像。

把与纠正背景成分图像相对应的预测图像和与经过运动模糊加入的前景成分图像相对应的预测图像合成成单个预测图像。

参照图143所示的流程图，对在其配置如图140所示的运动模糊消除图像处理单元2004中，通过分类自适应处理生成用在像素值预测中的系数组的学习处理加以描述。

在步骤S3001中，加权平均单元3003-1和加权平均单元3003-2生成与背景成分图像相对应的学生图像和与前景成分图像相对应的学生图像。也就是说，加权平均单元3003-1通过，例如，对存储在背景成分教师图像帧存储器3001中的教师图像的背景成分图像进行四分之一加权平均，来生成与教师图像的背景成分图像相对应的学生图像。

加权平均单元3003-2通过，例如，对存储在背景成分教师图像帧存储器3002中的教师图像的前景成分图像进行四分之一加权平均，来生成与教师图像的前景成分图像相对应的学生图像。

在步骤S3002中，学习单元3006-1根据存储在背景成分教师图像帧存储器3001中的教师图像的背景成分图像和存储在背景成分学生图像帧存储器3004中与教师图像的背景成分图像相对应的学生图像，来生成与背景成分图像相对应的系数组。在步骤S3002中生成系数组的处理细节将参照图144所示的流程图加以描述。

在步骤S3003中，学习单元3006-2根据存储在前景成分教师图像帧存储器3002中的教师图像的前景成分图像和存储在前景成分学生图像帧存储器3005中与教师图像的前景成分图像相对应的学生图像，来生成与前景成分图像相对应的系数组。

在步骤S3004中，学习单元3006-1和学习单元3006-2分别把与背景成分图像相对应的系数和与前景成分图像相对应的系数输出到系数组存储器3007。系数组存储器3007存储与前景成分图像相对应的系数组，或与背景成分图像相对应的系数组，然后，结束处理。

如上所述，其配置如图140所示的运动模糊消除图像处理单元2004可以生成与背景成分图像相对应的学生图像、和与前景成分图像相对应的系数组。

注意，不用说，步骤S3002和步骤S3003中的处理可以串行或并行地执行。

现在，参照图144，描述与步骤S3002相对应，学习单元3006-1执行的、用于生成与背景成分图像相对应的系数组的处理。

在步骤S3021中，学习单元3006-1判断在与背景成分图像相对应的学生图像中是否还存在未处理的像素，并且，在作出在与背景成分图像相对应的学生图像中还存在未处理像素的判断的情况下，流程转到步骤S3022，在步骤S3022中，以光栅扫描顺序从与背景成分图像相对应的学生图像中获取感兴趣像素。

在步骤S3023中，分类单元3031的类抽头获取单元3051从存储在背景成分学生图像帧存储器3004中的学生图像中获取与感兴趣像素相对应的类抽头。在步骤S3024中，分类单元3031的波形分类单元3052把ADRC处理应用于类抽头，这减少了构成类抽头的像素的位数，然后，分类感兴趣像素。在步骤S3025中，预测抽头获取单元3032根据所分的类，从存储在背景成分学生图像帧存储器3004中的学生图像中获取获取与感兴趣像素相对应的预测抽头。

在步骤S3026中，相应像素获取单元3033根据所分的类，从存储在背景成分教师图像帧存储器3001中的教师图像的背景成分图像中获取与待预测像素值相对应的像素。

在步骤S3027中，标准表达式生成单元3034根据所分的类，把与预测抽头相对应的像素的像素值和待预测的像素值加入每个类的矩阵中，流程返回到步骤S3021，并且学习单元3006-1重复判断是否存在未处理像素。把与预测抽头相对应的像素的像素值和待预测的像素值加入到其中的每个类的矩阵对应于计算每个类的系数组的标准表达式。

在步骤S3021中，在作出在学生图像中再也没有未处理像素的判断的情况下，流程转到步骤S3028，在步骤S3028中，标准表达式生成单元3034把已为其设置了与预测抽头相对应的像素的像素值和待预测的像素值的每个类的矩阵提供给系数计算单元3035。系数计算单元3035通过求解已为其设置了与预测抽头相对应的像素的像素值和待预测的像素值的、每个类的矩阵，来计算与背景成分图像相对应的、每个类的系数组。

注意，系数组不限制通过线性预测来预测像素值，也可以作出这样的安排，其中，系数计算单元3035计算通过非线性预测来预测像素值的系数组。

在步骤S3029中，系数计算单元3035把与背景成分图像相对应的、每个类的系数组输出到系数组存储器3007，然后，结束处理。

如上所述，学习单元3006-1可以生成与背景成分图像相对应的系数组。

除了利用存储在前景成分教师图像帧存储器3002中的前景成分图像和存储在前景成分学生图像帧存储器105中与前景成分图像相对应的学生图像之外，与步骤S3003相对应的、学习单元3006-2生成与前景成分图像相对应的系数组的处理与参照图144所示的流程图所述的处理相同，因此，略去不述。

如上所述，其配置如图140所示的运动模糊消除图像处理单元2004可以分别生成与经过纠正的背景成分图像相对应的系数组、和与经过运动模糊消除的前景成分图像相对应的系数组。

图145是说明通过进行分类自适应处理，用于沿着空间方向生成更高分辨率图像的运动模糊消除图像处理单元2004的配置的框图。例如，其配置如图145所示的运动模糊消除图像处理单元2004根据本身是SD图像的输入图像，通过分类自适应处理，来生成HD图像。

背景成分图像帧存储器3101存储纠正单元2003提供的、经过纠正的背景成分图像。背景成分图像帧存储器3101把存储的背景成分图像提供给映射单元3103-1。

前景成分图像帧存储器3102存储运动模糊消除单元2002提供的、由属于前景区的像素组成的前景成分图像。前景成分图像帧存储器3102把存储的前景成分图像提供给映射单元3103-2。

映射单元3103-1根据存储在系数组存储器3104中与背景成分图像相对应的系数组，通过分类自适应处理，生成与存储在背景成分图像帧存储器3101中的背景成分图像相对应的预测图像。映射单元3103-1把生成的预测图像提供给纠正单元3105。

纠正单元3105把与运动模糊加入单元1106加入的运动模糊相对应的、与背景成分图像中的混合区相对应的预测图像中的预定像素的像素值设置成0；或者，将预测图像中预定像素的像素值除以与加入的运动模糊相对应的预定值。纠正单元3105把经过上述纠正的预测图像提供给合成单元3107。

映射单元3103-2根据存储在系数组存储器3104中与前景成分图像相对应的系数组，通过分类自适应处理，生成与存储在前景成分图像帧存储器3102中的前景成分图像相对应的预测图像。映射单元3103-2把生成的预测图像提供给运动模糊加入单元3106。

运动模糊加入单元3106通过提供所需运动模糊调整量v′，例如，其值是输入图像的运动量v的一半的运动模糊调整量v′，或者与运动量v没有任何关系的运动模糊调整量v′，把运动模糊加入预测图像中。运动模糊加入单元3106通过将经过运动模糊消除的前景成分图像中预测图像中的像素值Fi除以运动模糊调整量v′，计算前景成分Fi/v′，计算前景成分Fi/v′之和，并生成其中加入了运动模糊的像素值。

例如，在输入如图146所示的预测图像，和运动模糊调整量v′是3的情况下，如图147所示，像素值C02是(F01)/v′，像素值C03是(F01+F02)/v′，像素值C04是(F01+F02+F03)/v′，和像素值C05是(F02+F03+F04)/v′。

运动模糊加入单元3106把经过运动模糊加入的前景成分图像的预测图像提供给合成单元3107。

合成单元3107合成纠正单元3105提供的、与经过纠正的背景成分图像相对应的预测图像、和运动模糊加入单元3106提供的、与经过运动模糊加入的前景成分图像相对应的预测图像，并且把合成的预测图像提供给帧存储器3108。

帧存储器3108存储合成单元3107提供的预测图像，并且将存储的图像输出作为输出图像。

在不需要特别区分映射单元3103-1和映射单元3103-2的情况下，下面把它们简称为映射单元3103。

图148是说明映射单元3103的配置的框图。

映射单元3131包括进行分类处理的分类单元3141、和进行自适应处理的预测抽头获取单元3142和预测计算单元3143。

分类单元3141包括类抽头获取单元3151和波形分类单元3152，并对或者是背景成分图像或者是前景成分图像的输入图像中的感兴趣像素进行分类。

类抽头获取单元3151获取与输入图像中感兴趣像素相对应的预定个类抽头，并且把获取的类抽头提供给波形分类单元3152。例如，类抽头获取单元3151获取9个类抽头，并且把获取的类抽头提供给波形分类单元3152。

波形分类单元3152通过把ADRC处理应用于类抽头，来减少构成类抽头的像素的位数，把感兴趣像素分类成预定个类之一，并且把与所分的类相对应的类号提供给预测抽头获取单元3142。例如，波形分类单元3152把感兴趣像素分到512个类之一中，并且把与所分的类相对应的类号提供给预测抽头获取单元3142。

预测抽头获取单元3142根据类号，从输入图像中获取与该类相对应的预定个预测抽头，并且把获取的预测抽头和类号提供给预测计算单元3143。

预测计算单元3143根据类号，从存储在系数组存储器3104中的、与背景成分图像相对应的系数组和与前景成分图像相对应的系数组中获取与该类相对应的、且与输入图像相对应的系数组。预测计算单元3143根据与类相对应的、和与输入图像相对应的系数组和预测抽头，通过线性预测，来预测预测图像中的像素值。预测计算单元3143把预测的像素值提供给帧存储器3132。

注意，可以作出这样的安排，其中，预测计算单元3143通过非线性预测，来预测预测图像中的像素值。

帧存储器3132存储映射处理单元3131提供的预测像素值，并输出由预测像素值组成的图像。

现在，参照图149所示的流程图，描述其配置如图145所示的运动模糊消除单元2004创建图像的处理。

在步骤S3101中，映射单元3103-1根据存储在系数组存储器3104中与背景成分图像相对应的系数组，通过分类自适应处理，预测与存储在背景成分图像帧存储器3101中的背景成分图像相对应的图像。预测与背景成分图像相对应的图像的处理细节以后将参照图150加以描述。

在步骤S3102中，映射单元3103-2根据存储在系数组存储器3104中与前景成分图像相对应的系数组，通过分类自适应处理，来预测与存储在前景成分图像帧存储器3102中的前景成分图像相对应的图像。

在步骤S3103中，纠正单元3105纠正与背景成分图像相对应的预测图像。

在步骤S3104中，运动模糊加入单元3106把运动模糊加入到与前景成分图像相对应的预测图像中。

在步骤S3105中，合成单元3107将与背景成分图像相对应的预测图像和与前景区相对应的预测图像合成在一起。合成单元3107把合成的图像提供给帧存储器3108。帧存储器存储合成单元3107提供的图像。

在步骤S3106中，帧存储器3108输出存储的合成图像，然后，结束处理。

如上所述，含有其配置如图145所示的运动模糊消除图像单元2004的图像处理设备分别生成与背景成分图像相对应的预测图像和与经过运动模糊消除的前景成分图像相对应的预测图像。

注意，不用说，步骤S3101中的处理和步骤S3102中的处理可以以串行的方式进行，也可以以并行的方式进行。

参照图150所示的流程图，描述与步骤S3101相对应，由映射单元3103-1执行的预测与背景成分图像相对应的图像的处理。

在步骤S3121中，映射单元3103-1判断在背景成分图像中是否还存在未处理的像素，并且，在作出在背景成分图像中还存在未处理像素的判断的情况下，流程转到步骤S3122，并在步骤S3122中，映射处理单元3131获取存储在系数组存储器3104中与背景成分图像相对应的系数组。在步骤S3123中，映射处理单元3131以光栅扫描顺序，从存储在背景成分图像帧存储器3101中的背景成分图像中获取感兴趣像素。

在步骤S3124中，分类单元3141的类抽头获取单元3151从存储在背景成分图像帧存储器3101中的背景成分图像中获取与感兴趣像素相对应的类抽头。在步骤S3125中，分类单元3141的波形分类单元3152通过把ADRC处理应用于类抽头，来减少构成类抽头的像素的位数，并对感兴趣像素进行分类。在步骤S3126中，预测抽头获取单元3142根据所分的类，从存储在背景成分图像帧存储器3101中的背景成分图像中获取与感兴趣像素相对应的预测抽头。

在步骤S3127中，预测计算单元3143根据与背景成分图像和所分的类相对应的系数组和预测抽头，通过线性预测，来预测预测图像的像素值。

注意，除了线性预测之外，预测计算单元3143也可以通过非线性预测，来预测预测图像的像素值。

在步骤S3128中，预测计算单元3143把预测的像素值输出到帧存储器3132。帧存储器3132存储预测计算单元3143提供的像素值。过程返回到步骤S3121，重复是否还存在未处理像素的判断。

在步骤S3121中，在作出在背景成分图像中再也没有未处理像素的判断的情况下，流程转到步骤S3129，帧存储器输出存储的与背景成分图像相对应的预测图像，然后，结束处理。

如上所述，映射单元3103-1根据纠正的背景成分图像，可以预测与背景成分图像相对应的图像。

除了利用存储在前景成分图像帧存储器3102中的前景成分图像和与前景成分图像相对应的系数组之外，与步骤S3102相对应的、映射单元3103-2生成与前景成分图像相对应的预测图像的处理与参照图150所示的流程图所述的处理相同，因此，略去不述。

如上所述，其配置如图145所示的运动模糊消除图像处理单元2004可以分别生成与背景成分图像相对应的预测图像、和与经过运动模糊消除的前景成分图像相对应的预测图像。

图151是说明对每个背景成分图像或每个前景成分图像应用效果不同的边缘改善处理的运动模糊消除图像处理单元2004的配置的框图。

背景成分图像帧存储器3201存储纠正单元2003提供的纠正背景成分图像。背景成分图像帧存储器3201把存储的背景成分图像提供给边缘改善单元3203-1。

前景成分图像帧存储器3202存储运动模糊消除单元2002提供的、经过运动模糊消除的前景成分图像。前景成分图像帧存储器3202把存储的前景成分图像提供给边缘改善单元3203-2。

边缘改善单元3203-1把适合于背景成分图像的边缘改善处理应用于存储在背景成分图像帧存储器3201中的背景成分图像。

例如，与前景成分图像相比，边缘改善单元3203-1能进行进一步改善本身是静止图像的背景成分图像的边缘的边缘改善处理。因此，在把边缘改善处理应用于包含噪声的图像的情况下，可以提高背景成分图像的分辨率，而不会出现图像的人为失真。

边缘改善单元3203-1把经过边缘改善的背景成分图像提供给纠正单元3204。

与运动模糊加入单元3205加入的运动模糊相对应，纠正单元3204把背景成分图像中的混合区中的像素的像素值设置成0，或者，将混合区中的像素的像素值除以与加入的运动模糊相对应的预定值。纠正单元3204把如上所述纠正的图像提供给合成单元3206。

边缘改善单元3203-2把适合于前景成分图像的边缘改善处理应用于存储在前景成分图像帧存储器3202中的前景成分图像。

例如，边缘改善单元3203-2将前景成分图像与背景成分图像相比较，并进行其边缘改善程度小于对背景成分图像的边缘改善程度的边缘改善处理。因此，即使经过运动模糊消除的前景成分图像包含噪声，也不会引起图像的人为失真，并且提高了前景成分图像中的分辨率。

边缘改善单元3203-2把经过边缘改善的前景成分图像提供给运动模糊加入单元3205。

运动模糊加入单元3205把运动模糊加入经过边缘改善的前景成分图像中，并且把经过运动模糊加入的前景成分图像提供给合成单元3206。

合成单元3206将纠正单元3204提供的、经过边缘改善和纠正的背景成分图像与运动模糊加入单元3205提供的、经过边缘改善和运动模糊加入的前景成分图像合成在一起，并且把合成的预测图像提供给帧存储器3207。

帧存储器3207存储合成单元3206提供的所合成的预测图像，并且还将存储的图像输出作为输出图像。

如上所述，其配置如图151所示的运动模糊消除图像处理单元2004把与每个图像的性质相对应的边缘改善处理应用于每个背景成分图像或每个前景成分图像，因此，提高了图像的分辨率，而不会人为地使图像失真。

在不需要特别区分边缘改善单元3203-1和边缘改善单元3203-2的情况下，下面把它们简称为边缘改善单元3203。

例如，边缘改善单元3203-1具有与边缘改善单元907相同的配置，并且把边缘改善程度更高的边缘改善处理应用于背景成分图像。边缘改善单元3203-2具有与边缘改善单元907相同的配置，并且把边缘改善程度相对低的边缘改善处理应用于前景成分图像。

如上所述，边缘改善单元3203-1和边缘改善单元3203-2根据，例如，不同的滤波系数或增益调整系数，把与背景成分图像或前景成分图像的性质相对应的边缘改善处理应用于每个背景成分图像或每个前景成分图像。

图152是描述其配置如图151所示的运动模糊消除图像处理单元2004中的处理的图。

区域指定单元103指定输入图像中的前景区、背景区、覆盖背景区、和未覆盖背景区。指定了区域的输入图像由前景/背景分离单元2001分离成背景成分图像和前景成分图像。

运动模糊消除单元2002从分离的前景成分图像中消除运动模糊。纠正单元2003纠正分离背景成分图像中与混合区相对应的像素的像素值。

与每个图像的性质相对应，其配置如图151所示的运动模糊消除图像处理单元2004对纠正的背景成分图像和经过运动模糊消除的前景成分图像中的每一个进行边缘改善处理。

与运动模糊加入前景成分图像中相对应，纠正经过边缘改善的背景成分图像。把所需运动模糊加入经过边缘改善的前景成分图像。

把经过边缘改善和纠正的背景成分图像和经过边缘改善和运动模糊加入的前景成分图像合成在一起。

现在，参照图153所示的流程图，描述其配置如图151所示的运动模糊消除图像处理单元2004进行边缘改善的处理。

在步骤S3201中，边缘改善单元3203-1通过与背景成分图像的性质相对应的边缘改善处理，对存储在背景成分图像帧存储器3201中的背景成分图像进行边缘改善。

在步骤S3202中，边缘改善单元3203-2通过与前景成分图像的性质相对应的边缘改善处理，对存储在前景成分图像帧存储器3202中的前景成分图像进行边缘改善。

在步骤S3203中，与把运动模糊加入前景成分图像中相对应，纠正单元3204纠正背景成分图像中的像素的像素值。

在步骤S3204中，运动模糊加入单元3205把所需的运动模糊加入前景成分图像中。

在步骤S3205中，合成单元3206把经过边缘改善和纠正的背景成分图像和经过边缘改善和运动模糊加入的前景成分图像合成在一起。合成单元3206把合成图像提供给帧存储器3207。帧存储器3207存储合成单元3206提供的图像。

在步骤S3206中，帧存储器3207输出存储的合成图像，然后，结束处理。

如上所述，其配置如图151所示的运动模糊消除图像处理单元2004可以与每个图像的性质相对应，对每个背景成分图像和每个前景成分图像进行边缘改善处理，因此，可以提高分辨率，而不会出现图像的人为失真。

注意，不用说，步骤S3201和步骤S3202中的处理可以串行地或并行地进行。

此外，运动模糊消除图像处理单元2004执行的处理不限于生成与SD图像和HD图像相对应的系数，或从SD图像中生成HD图像，并且，可以被安排成，例如，生成用于沿着空间方向生成更高分辨率图像的系数，和生成沿着空间方向分辨率更高的图像。并且，运动模糊消除图像处理单元2004可以进行沿着时间方向生成更高分辨率图像的处理。

注意，运动模糊消除图像处理单元2004不限于分类自适应处理或边缘改善处理，并且，可以被安排成对指定区域的每个图像进行其它处理，例如，把图像大小转换成所需大小、提取诸如RGB的彩色信号、消除噪声、压缩图像、编码等。例如，通过运动模糊消除图像处理单元2004根据与每个区域的图像相对应的运动向量，沿着与运动向量一致的方向用低压缩比和沿着与运动向量垂直的方向用高压缩比压缩每个区域的图像，可以使图像失真比传统安排小地增加压缩比。

此外，还可以作出这样的安排，其中，在背景对象正在移动的情况下，图像处理设备消除包含在背景成分图像中的运动模糊，以便对从中消除了运动模糊的背景成分图像进行处理。

图154是说明用于分离输入图像和处理每个分离的图像的图像处理设备的功能的另一种配置的框图。如图119所示的图像处理设备串行地进行区域指定和混合比α的计算，而如图154所示的图像处理设备并行地进行区域指定和混合比α的计算。

与图119所示框图中的功能相同的部分用相同的标号表示，并且，略去不述。

把输入图像提供给对象提取单元101、区域指定单元103、混合比计算单元1101、和前景/背景分离单元3501。

根据输入图像，混合比计算单元1101对包含在输入图像中的每个像素计算、在假设像素属于覆盖背景区情况下的估计混合比、和在假设像素属于未覆盖背景区情况下的估计混合比，并且，把如此计算的、在假设像素属于覆盖背景区情况下的估计混合比、和在假设像素属于未覆盖背景区情况下的估计混合比提供给前景/背景分离单元3501。

图155是说明前景/背景分离单元3501的配置的一个例子的框图。

与图124所示的运动模糊消除单元2002相同的部分用相同的标号表示，并且，略去不述。

选择单元3521根据区域指定单元103提供的区域信息，选择混合比计算单元1101提供的、在假设像素属于覆盖背景区的情况下的估计混合比和在假设像素属于未覆盖背景区的情况下的估计混合比中的一个或另一个，并且把所选的估计混合比提供给分离单元2601，来作为混合比α。

分离单元2601根据选择单元3521提供的混合比α、和区域信息，从属于混合区的像素的像素值中提取前景成分和背景成分，并且将其分离成未覆盖背景区中的背景成分、未覆盖背景区中的前景成分、覆盖背景区中的背景成分、和覆盖背景区中的前景成分。

分离单元2601的配置可以与如图129所示的配置相同。

如上所述，其配置如图154所示的图像处理设备可以对每个背景成分图像和每个前景成分图像进行与每个图像的性质相对应的处理。

如上所述，对于根据本发明的图像处理设备，把输入图像分离成背景成分图像和前景成分图像，并且进行适合于分离图像的处理，从而，例如，在不会出现不自然图像的情况下，生成分辨率更高的图像。

注意，虽然作为前景的对象的运动被描述成从左向右，但是，不用说，运动方向不局限于那个方向。

在上文中，已经给出了利用摄像机，把具有三维空间和时间轴信息的真实空间中的图像投影到具有二维空间和时间轴信息的时空上的情况的例子，但是，本发明不限于这个例子，可以应用于把第一维的较多数量第一信息投影到第二维的较少数量第二信息上的情况。

请注意，传感器不限于CCD，它可以是固态图像拍摄器件，例如，CMOS(互补型金属氧化物半导体(互补型金属氧化物薄膜半导体))、BBD(斗链器件)、CID(电荷注入器件)、或CPD(电荷启动器件)等的传感器，并且，不限于检测元件排列成矩阵状的传感器，可以是检测元件排列成一行的传感器。

存储执行本发明的信号处理的程序的记录媒体不仅可以被配置成，譬如，磁盘91(包括软盘(注册商标))、光盘92(包括CD-ROM(只读光盘存储器)和DVD(数字多功能盘))、磁光盘93(包括MD(小型盘)(注册商标))或半导体存储器94等，其用于存储来自计算机(如图10所示)的、将被分别分发以便将其提供给客户的程序，而且可以被配置成包含在存储单元28等中的ROM(只读存储器)22或硬盘，其用于存储事先与计算机组装在一起以便提供给用户的程序。

此外，在本说明书中，描述记录在记录媒体中的程序的步骤当然包括按照上述次序那样的时间顺序执行的处理，并且还包括尽管没有按照时间顺序执行，但是并行地或单独执行的处理。

工业可应用性

根据本发明，可以与背景图像和运动对象的图像的混合相对应地处理图像。

Claims (35)

1.一种图像处理设备，用于处理由具有预定个具有时间积分效应的像素的图像拍摄设备获取的、由预定个数像素数据组成的输入图像数据，所述图像处理设备包括：

区域指定装置，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区的一个或另一个，和输出与指定结果相对应的区域指定信息；

分离装置，用于与所述区域指定信息相对应，把至少在所述混合区中的所述输入图像数据分离成所述前景对象成分和所述背景对象成分；和

处理装置，用于与分离结果相对应，分别处理所述前景对象成分和所述背景对象成分。

2.根据权利要求1所述的图像处理设备，还包括消除装置，用于消除所述前景对象成分和所述背景对象成分至少其中之一的运动模糊；

其中，所述处理装置分别处理经过运动模糊消除的所述前景对象成分和所述背景对象成分。

3.根据权利要求1所述的图像处理设备，其中，所述区域指定装置还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的所述区域指定信息；

和其中，所述分离装置把所述输入图像数据分离成在所述覆盖背景区和所述未覆盖背景区中的所述前景对象成分和所述背景对象成分。

4.根据权利要求1所述的图像处理设备，其中，所述处理装置为所述前景对象成分和所述背景对象成分中的每一个生成用于分类自适应处理的系数。

5.根据权利要求1所述的图像处理设备，其中，所述处理装置通过分类自适应处理，为所述前景对象成分和所述背景对象成分中的每一个生成输出图像数据。

6.根据权利要求1所述的图像处理设备，其中，所述处理装置对所述前景对象成分和所述背景对象成分中的每一个进行边缘改善。

7.根据权利要求1所述的图像处理设备，还包括：

前景成分图像生成装置，用于通过合成在所述混合区中分离的所述前景对象成分和所述前景区的所述像素数据，来生成前景成分图像；和

背景成分图像生成装置，用于通过合成在所述混合区中分离的所述背景对象成分和所述背景区的所述像素数据，来生成背景成分图像；

其中，所述处理装置分别处理生成的所述前景成分图像和所述背景成分图像。

8.一种图像处理方法，用于处理由具有预定个具有时间积分效应的像素的图像拍摄设备获取的、由预定个数的像素数据组成的输入图像数据，所述图像处理方法包括：

区域指定步骤，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区中之一组成的非混合区中的一个或另一个，和输出与指定结果相对应的区域指定信息；

分离步骤，用于与所述区域指定信息相对应，把至少在所述混合区中的所述输入图像数据分离成所述前景对象成分和所述背景对象成分；和

处理步骤，用于与分离结果相对应，分别处理所述前景对象成分和所述背景对象成分。

9.根据权利要求8所述的图像处理方法，还包括消除步骤，用于消除所述前景对象成分和所述背景对象成分至少其中之一的运动模糊；

其中，在所述处理步骤中，分别处理经过运动模糊消除的所述前景对象成分和所述背景对象成分。

10.根据权利要求8所述的图像处理方法，其中，在所述区域指定步骤中，还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的所述区域指定信息；

和其中，在所述分离步骤中，把所述输入图像数据分离成在所述覆盖背景区和所述未覆盖背景区中的所述前景对象成分和所述背景对象成分。

11.根据权利要求8所述的图像处理方法，其中，在所述处理步骤中，为所述前景对象成分和所述背景对象成分中的每一个生成用于分类自适应处理的系数。

12.根据权利要求8所述的图像处理方法，其中，在所述处理步骤中，通过分类自适应处理，为所述前景对象成分和所述背景对象成分中的每一个生成输出图像数据。

13.根据权利要求8所述的图像处理方法，其中，在所述处理步骤中，对所述前景对象成分和所述背景对象成分中的每一个进行边缘改善。

14.根据权利要求8所述的图像处理方法，还包括：

前景成分图像生成步骤，用于通过合成在所述混合区中分离的所述前景对象成分和所述前景区的所述像素数据，来生成前景成分图像；和

背景成分图像生成步骤，用于通过合成在所述混合区中分离的所述背景对象成分和所述背景区的所述像素数据，来生成背景成分图像；

其中，在所述处理步骤中，分别处理生成的所述前景成分图像和所述背景成分图像。

15.一种存储计算机可读程序的记录媒体，所述计算机可读程序用于处理由具有预定个具有时间积分效应的像素的图像拍摄设备获取的、由预定个数的像素数据组成的输入图像数据，所述程序包括：

区域指定步骤，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区中的一个或另一个，和输出与指定结果相对应的区域指定信息；

分离步骤，用于与所述区域指定信息相对应，把至少在所述混合区中的所述输入图像数据分离成所述前景对象成分和所述背景对象成分；和

处理步骤，用于与分离结果相对应，分别处理所述前景对象成分和所述背景对象成分。

16.根据权利要求15所述的记录媒体，所述程序还包括消除步骤，用于消除所述前景对象成分和所述背景对象成分至少其中之一的运动模糊；

其中，在所述处理步骤中，分别处理经过运动模糊消除的所述前景对象成分和所述背景对象成分。

17.根据权利要求15所述的记录媒体，其中，在所述区域指定步骤中，还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的所述区域指定信息；

和其中，在所述分离步骤中，把所述输入图像数据分离成在所述覆盖背景区和所述未覆盖背景区中的所述前景对象成分和所述背景对象成分。

18.根据权利要求15所述的记录媒体，其中，在所述处理步骤中，为所述前景对象成分和所述背景对象成分中的每一个生成用于分类自适应处理的系数。

19.根据权利要求15所述的记录媒体，其中，在所述处理步骤中，通过分类自适应处理，为所述前景对象成分和所述背景对象成分中的每一个生成输出图像数据。

20.根据权利要求15所述的记录媒体，其中，在所述处理步骤中，对所述前景对象成分和所述背景对象成分中的每一个进行边缘改善。

21.根据权利要求15所述的记录媒体，所述程序还包括：

前景成分图像生成步骤，用于通过合成在所述混合区中分离的所述前景对象成分和所述前景区的所述像素数据，来生成前景成分图像；和

背景成分图像生成步骤，用于通过合成在所述混合区中分离的所述背景对象成分和所述背景区的所述像素数据，来生成背景成分图像；

其中，在所述处理步骤中，分别处理生成的所述前景成分图像和所述背景成分图像。

22.一种使计算机执行如下步骤的程序，所述计算机用于处理由具有预定个具有时间积分效应的像素的图像拍摄设备获取的、由预定个数像素数据组成的输入图像数据：

区域指定步骤，用于根据所述输入图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区中的一个或另一个，和输出与指定结果相对应的区域指定信息；

分离步骤，用于与所述区域指定信息相对应，把至少在所述混合区中的所述输入图像数据分离成所述前景对象成分和所述背景对象成分；和

处理步骤，用于与分离结果相对应，分别处理所述前景对象成分和所述背景对象成分。

23.根据权利要求22所述的程序，还包括消除步骤，用于消除所述前景对象成分和所述背景对象成分至少其中之一的运动模糊；

其中，在所述处理步骤中，分别处理经过运动模糊消除的所述前景对象成分和所述背景对象成分。

24.根据权利要求22所述的程序，其中，在所述区域指定步骤中，还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的所述区域指定信息；

和其中，在所述分离步骤中，把所述输入图像数据分离成在所述覆盖背景区和所述未覆盖背景区中的所述前景对象成分和所述背景对象成分。

25.根据权利要求22所述的程序，其中，在所述处理步骤中，为所述前景对象成分和所述背景对象成分中的每一个生成用于分类自适应处理的系数。

26.根据权利要求22所述的程序，其中，在所述处理步骤中，通过分类自适应处理，为所述前景对象成分和所述背景对象成分中的每一个生成输出图像数据。

27.根据权利要求22所述的程序，其中，在所述处理步骤中，对所述前景对象成分和所述背景对象成分中的每一个进行边缘改善。

28.根据权利要求22所述的程序，还包括：

前景成分图像生成步骤，用于通过合成在所述混合区中分离的所述前景对象成分和所述前景区的所述像素数据，来生成前景成分图像；和

背景成分图像生成步骤，用于通过合成在所述混合区中分离的所述背景对象成分和所述背景区的所述像素数据，来生成背景成分图像；

其中，在所述处理步骤中，分别处理生成的所述前景成分图像和所述背景成分图像。

29.一种图像拍摄设备，包括：

图像拍摄装置，用于输出由具有预定个具有时间积分效应的像素的图像拍摄设备所拍摄的主体图像，来作为由预定个数像素数据组成的拍摄图像数据；

区域指定装置，用于根据所述所拍摄图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区、和由所述前景对象成分组成的前景区和由构成所述背景对象的背景对象成分组成的背景区之一组成的非混合区中的一个或另一个，和输出与指定结果相对应的区域指定信息；

分离装置，用于与所述区域指定信息相对应，把至少在所述混合区中的所述所拍摄图像数据分离成所述前景对象成分和所述背景对象成分；和

处理装置，用于与分离结果相对应，分别处理所述前景对象成分和所述背景对象成分。

30.根据权利要求29所述的图像拍摄设备，还包括消除装置，用于消除所述前景对象成分和所述背景对象成分至少其中之一的运动模糊；

其中，所述处理装置分别处理经过运动模糊消除的所述前景对象成分和所述背景对象成分。

31.根据权利要求29所述的图像拍摄设备，其中，所述区域指定装置还指定覆盖背景区和未覆盖背景区，和输出与指定结果相对应的所述区域指定信息；

和其中，所述处理装置在所述覆盖背景区和所述未覆盖背景区中把所述所拍摄图像数据分离成所述前景对象成分和所述背景对象成分。

32.根据权利要求29所述的图像拍摄设备，其中，所述处理装置为所述前景对象成分和所述背景对象成分中的每一个生成用于分类自适应处理的系数。

33.根据权利要求29所述的图像拍摄设备，其中，所述处理装置通过分类自适应处理，为所述前景对象成分和所述背景对象成分中的每一个生成输出图像数据。

34.根据权利要求29所述的图像拍摄设备，其中，所述处理装置对所述前景对象成分和所述背景对象成分中的每一个进行边缘改善。

35.根据权利要求29所述的图像拍摄设备，还包括：

前景成分图像生成装置，用于通过合成在所述混合区中分离的所述前景对象成分和所述前景区的所述像素数据，来生成前景成分图像；和

背景成分图像生成装置，用于通过合成在所述混合区中分离的所述背景对象成分和所述背景区的所述像素数据，来生成背景成分图像；

其中，所述处理装置分别处理生成的所述前景成分图像和所述背景成分图像。

Images