CN1300504A - 图象信号处理设备和方法、学习设备和方法以及记录介质 - Google Patents

Abstract

CCD图象传感器生成的图象信号由设置在图象信号处理部分25中的块生成部分28提取类别抽头和预测抽头。类别抽头被输出给ADRC处理部分29,预测抽头被输出给自适应处理部分31。ADRC处理部分29对输入图象信号执行ADRC处理,生成特征数据。分类处理部分30生成与特征数据相对应类别码,并把它提供给自适应处理部分31。自适应处理部分31从系数存储器32中读出与类别码相对应的预测系数组。在作为被处理对象的象素的位置上生成所有R、B、G颜色信号。

Description

图象信号处理设备和方法、学习 设备和方法以及记录介质

技术领域

本发明涉及一种图象信号处理设备，图象信号处理方法，学习设备，学习方法和记录介质。特别是，本发明涉及一种图象信号处理设备，图象信号处理方法，学习设备，学习方法和记录介质，其中图象信号所代表的象素的颜色分量借助分类自适应处理来插值，使象素可以具有红色分量(R)、绿色分量(G)和蓝色分量(B)。

背景技术

目前，有两类成象设备具有诸如CCD(电荷耦合器件)图象传感器的固态图象传感器。第一类具有一个CCD图象传感器(以下称为“单板照相机(single-plate camera)”)。第二类具有三个CCD图象传感器(以下称为“三板照相机”)。

在三板照相机中，例如，生成R信号、G信号和B信号的三个CCD图象传感器分别生成三原色信号。三原色信号被处理，从而生成彩色图象信号。该彩色图象信号被记录在记录介质上。

在单板照相机中，CCD图象传感器被设置在彩色编码滤波器的前端，该彩色编码滤波器包括由若干彩色滤波器组成的彩色滤波器阵列，其每个彩色滤波器被分配给一个象素。彩色编码滤波器生成彩色编码的多个彩色分量信号，其每一个用于一个象素。构成彩色编码滤波器的彩色滤波器阵列包括：诸如R(红色)阵列、G(绿色)阵列和B(蓝色)阵列的原色滤波器，和诸如Ye(黄色)阵列、Cy(青色)阵列和Mg(紫色)阵列的补色滤波器。在单板照相机中，CCD图象传感器为一个象素生成代表一个颜色的信号，并借助线性插值为该象素生成代表另一个颜色的另一个信号，从而提供了与三板照相机提供的图象相似的图象。该单板照相机被装在小型轻便的视频摄像机或类似物中。

设置在单板照相机中的CCD图象传感器可以安装在彩色编码滤波器的前端，该彩色编码滤波器包括像图1A所示的颜色排列那样的彩色滤波器阵列。安置在彩色滤波器后端的CCD图象传感器的每个象素仅输出对应彩色滤波器的原色R、G和B的图象信号。也就是说，位于R滤波器后端的象素输出R分量图象信号，但不能输出G分量图象信号或B分量图象信号。同样地，G分量象素仅输出G分量图象信号，而不能输出R分量图象信号或B分量图象信号。B分量象素仅输出B分量图象信号，而不能输出R分量图象信号或G分量图象信号。

图1A所示的彩色滤波器阵列的颜色排列被称作“拜尔排列(Bayerarrangement)”。在该情况下，G彩色滤波器按棋盘图案设置，R彩色滤波器和B彩色滤波器在交替的列中设置，每一个在空白方格中。

R分量信号、G分量信号和B分量信号必需在后级部分中为每个象素进行处理。为了处理这些信号，迄今已经对具有n×m个象素(n和m是正整数)的CCD图象传感器的输出执行插值处理。因而，n×m个R象素信号和n×m个G象素信号被生成，如图1B所示。也就是说，与三板照相机的那些CCD输出相当的图象信号被输出给后级部分。

例如，为了生成高达四倍密度的图象信号，进行插值，从n×m个R图象信号中生成2n×2m个R象素信号，从n×m个G图象信号中生成2n×2m个G象素信号，从n×m个B图象信号中生成2n×2m个B象素信号。

然而，在上述的单板照相机中，是执行线性处理，来插值彩色信号。该图象的波形不可避免地被变形，因而再现图象整体上不清楚。因此，执行诸如边缘加重的处理，以便增加图象的视在分辨率。由于由单板照相机输出信号达到的图象分辨率低于由三板照相机获得的图象分辨率，因此线性处理的影响导致合成图象整体上模糊。

具有相同分辨率的每个象素的三原色分量可以依据单板照相机的CCD图象传感器的输出生成，从而获得图象信号。然后依据如此生成的图象信号获得较高密度的图象信号，从而增加象素密度。然而，该方法不能提供足够的精度。

有人建议在单镜头摄像机的CCD输出端上，为R、G、B原色图象信号的每一个执行分类自适应处理，即线性插值之外的处理，从而生成与三板照相机的CCD输出相当的输出信号(参见日本专利申请第8-508623)。然而，当分类自适应处理独立地作用于R、G、B原色图象时，对每个R象素和每个B象素执行与每个G象素(两个G象素存在于每四个象素中)相同的处理，尽管在拜尔排列的彩色滤波器阵列到被使用的情况下，在图1A和图1B所示的m×n象素中只有一个R象素存在于每四个象素中和只有一个B象素存在于每四个象素中。所以，只要涉及R分量和B分量就不能完成高精度预测。

本发明的公开

所以，本发明的目的是提供一种图象信号处理设备、一种图象信号处理方法、一种学习设备、一种学习方法和一种记录介质，它们通过执行预测彩色信号的分类自适应处理使单板照相机能够生成与三板照相机作为图象输出生成的图象信号相类似的图象信号。

本发明的另一个目的是提供了一种图象信号处理设备、一种图象信号处理方法、一种学习设备、一种学习方法和一种记录介质，它们能够可靠地生成高分辨率图象信号。

本发明的再一个目的是提供了一种图象信号处理设备、一种图象信号处理方法、一种学习设备、一种学习方法和一种记录介质，它们能够以高精度预测彩色信号，从而生成高分辨率的图象信号。

根据本发明，提供一种处理输入图象信号的图象信号处理设备，所述的输入图象信号具有在每个象素位置上的各种颜色分量的任一种。该设备包括：提取装置，为输入图象信号的每个感兴趣象素提取位于每个感兴趣象素附近的多个象素；类别确定装置，依据提取装置所提取的象素确定类别；和象素生成装置，根据由类别确定装置所确定的类别在感兴趣象素的位置上生成象素，所述的象素具有至少不同于感兴趣象素的颜色分量的颜色分量。

根据本发明，提供一种处理输入图象信号的图象信号处理方法，所述的输入图象信号具有在象素位置上的各种颜色分量的任一种。该方法包括：一个提取步骤，为输入图象信号的每个感兴趣象素提取位于每个感兴趣象素附近的多个象素；类别确定步骤，依据在提取步骤中提取的象素确定类别；和象素生成步骤，用于根据在类别确定步骤中所确定的类别在感兴趣象素的位置生成象素，所述的象素具有至少不同于感兴趣象素的颜色分量的颜色分量。

根据本发明，提供一种记录介质，存储被设计来处理输入图象信号的计算机程序，所述的输入图象信号具有在象素位置上的各种颜色分量的任一种。该计算机程序包括：一个提取步骤，为输入图象信号的每个感兴趣象素提取位于每个感兴趣象素附近的多个象素；类别确定步骤，依据在提取步骤中提取的象素确定类别；和象素生成步骤，根据由类别确定装置所确定的类别在感兴趣象素的位置生成象素，所述的象素具有至少不同于感兴趣象素的颜色分量的颜色分量。

根据本发明，提供一种学习设备，包括：第一象素提取装置，用于提取位于学生图象信号的每个感兴趣象素附近的多个象素，所述的学生图象信号在各象素的位置上具有一个颜色分量；类别确定装置，依据第一象素提取装置所提取的象素确定类别；第二象素提取装置，从相应于学生图象并具有用于每个象素的多个颜色分量的教师图象中提取位于与学生图象信号的感兴趣象素的位置相对应的位置上的多个象素；和预测系数生成装置，根据第一象素提取装置和第二象素提取装置所提取的象素值，生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

根据本发明，提供一种学习方法，包括：第一象素提取步骤，用于提取位于学生图象信号的每个感兴趣象素附近的多个象素，所述的学生图象信号在各象素的位置上具有一个颜色分量；类别确定步骤，依据在第一象素提取步骤中所提取的象素确定类别；第二象素提取步骤，从相应于学生图象并具有用于每个象素的多个颜色分量的教师图象中提取位于与学生图象信号的感兴趣象素的位置相对应的位置上的多个象素；和预测系数生成步骤，根据第一象素提取步骤中和第二象素提取步骤中所提取的象素值，生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

根据本发明，提供一种记录介质，它存储被设计来执行学习处理以生成一组对应于一个类别的预测系数的计算机程序。该计算机程序包括：第一象素提取步骤，用于提取位于学生图象信号的每个感兴趣象素附近的多个象素，所述的学生图象信号在各象素位置上具有一个颜色分量；类别确定步骤，依据在第一象素提取步骤中所提取的象素确定类别；第二象素提取步骤，从相应于学生图象信号并具有用于每个象素的多个颜色分量的教师图象信号中提取位于与学生图象信号的感兴趣象素的位置相对应的位置上的多个象素；和预测系数生成步骤，根据第一象素提取步骤中和第二象素提取步骤中所提取的象素值，生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号

根据本发明，提供一种处理输入图象信号的图象信号处理装置，所述的输入图象信号具有构成一个图象的规定数目的样值，其每个代表每个象素上各种颜色的任一种。该设备包括：提取装置，为输入图象信号的每个感兴趣象素提取位于每个感兴趣象素附近的多个象素；类别确定装置，依据提取装置所提取的象素确定类别；和输出图象信号生成装置，通过依据类别确定装置所确定的类别来处理输入图象信号的每个象素，生成用于各种颜色的具有比规定数目多的样值的输出图象信号。

根据本发明，提供一种处理输入图象信号的图象信号处理方法，所述的输入图象信号具有构成一个图象的规定数目的样值，其每个代表每个象素上各种颜色的任一种。该方法包括：提取步骤，为输入图象信号的每个感兴趣象素提取位于每个感兴趣象素附近的多个象素；类别确定步骤，依据在提取步骤中所提取的象素确定类别；和输出图象信号生成步骤，通过依据类别确定步骤中所确定的类别来处理输入图象信号的每个象素，生成用于各种颜色的具有比规定数目多的样值的输出图象信号。

根据本发明，提供一种记录介质，存储被设计来处理输入图象信号的计算机程序，所述的输入图象信号具有构成一个图象的规定数目的样值，其每个代表每个象素上各种颜色的任一种。该计算机程序包括：提取步骤，为输入图象信号的每个感兴趣象素提取位于每个感兴趣象素附近的多个象素；类别确定步骤，依据提取步骤中所提取的象素确定类别；和输出图象信号生成步骤，通过依据类别确定步骤中所确定的类别来处理输入图象信号的每个象素，生成用于各种颜色的具有比规定数目多的样值的输出图象信号。

根据本发明，提供一种学习设备，包括：第一象素提取装置，从具有构成一个图象并且其每个代表象素位置上的各种颜色的任一种的规定数目样值的学生图象信号中提取位于每个感兴趣象素附近的多个象素，所述的感兴趣象素是包含在具有比规定数目多的样值的要预测的图象中的象素；类别确定装置，依据由第一象素提取装置所提取的象素确定类别；第二象素提取装置，从相应于要预测的图象并具有用于每个象素的多个颜色分量的教师图象信号中提取位于与感兴趣象素的位置相对应的位置附近的多个象素；和预测系数生成装置，根据第一象素提取装置和第二象素提取装置所提取的象素值，生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

根据本发明，提供一种学习方法，包括：第一象素提取步骤，从具有构成一个图象并且其每个代表象素位置上各种颜色的任一种的规定数目样值的学生图象信号中提取位于每个感兴趣象素附近的多个象素，所述的感兴趣象素是包含在具有比规定数目多的样值的要预测的图象中的象素；类别确定步骤，依据在第一象素提取步骤中所提取的象素确定类别；第二象素提取步骤，从相应于要预测的图象并且具有用于每个象素的多个颜色分量的教师图象信号中提取位于与感兴趣象素的位置相对应的位置附近的多个象素；预测系数生成步骤，根据在第一象素提取步骤和第二象素提取步骤所提取的象素值，生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

根据本发明，提供一种记录介质，它存储被设计来根据类别执行学习处理的计算机程序。该计算机程序包括：第一象素提取步骤，从学生图象信号中提取位于每个感兴趣象素附近的多个象素，该学生图象信号具有构成一个图象并且其每个代表象素位置上各种颜色的任一种的规定数目样值，所述的感兴趣象素是包含在具有比规定数目多的样值的要预测的图象中的象素；类别确定步骤，依据在第一象素提取步骤中所提取的象素确定类别；第二象素提取步骤，从相应于要预测的图象并且具有用于每个象素的多个颜色分量的教师图象信号中提取位于与感兴趣象素的位置相对应的位置附近的多个象素；预测系数生成步骤，根据在第一象素提取步骤和第二象素提取步骤所提取的象素值，生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

根据本发明，提供一种处理输入图象信号的图象信号处理设备，所述的输入图象信号具有在每个象素位置上的各种颜色分量的任一种。所述的设备包括：提取装置，为输入图象信号的每个感兴趣象素提取位于每个感兴趣象素附近的多个象素，所述的多个象素的每一个具有所有颜色分量中的最高密度的颜色分量；类别确定装置，依据提取装置所提取的象素确定类别；和象素生成装置，根据类别确定装置所确定的类别生成象素，所述的象素具有至少不同于感兴趣象素的颜色分量的颜色分量。

根据本发明，提供一种处理输入图象信号的图象信号处理方法，所述的输入图象信号具有在每个象素位置上的各种颜色分量的任一种。该方法包括：一个提取步骤，为输入图象信号的每个感兴趣象素提取位于每个感兴趣象素附近的多个象素，所述的多个象素的每一个具有所有颜色分量中的最高密度的颜色分量；一个类别确定步骤，依据在提取步骤中提取的象素确定类别；和一个象素生成步骤，根据在类别确定步骤中确定的类别生成象素，所述的象素具有至少不同于感兴趣象素的颜色分量的颜色分量。

根据本发明，提供一种存储被设计来处理输入图象信号的计算机程序的记录介质，所述的输入图象信号具有在每个象素位置上的各种颜色分量的任一种。该计算机程序包括：一个提取步骤，为输入图象信号的每个感兴趣象素提取位于每个感兴趣象素附近的多个象素，所述的多个象素的每一个具有所有颜色分量中的最高密度的颜色分量；一个类别确定步骤，依据在提取步骤中提取的象素确定类别；和一个象素生成步骤，根据在类别确定步骤中确定的类别生成象素，所述的象素具有至少不同于感兴趣象素的颜色分量的颜色分量。

根据本发明，提供一种学习设备，包括：第一象素提取装置，提取位于学生图象的每个感兴趣象素附近的多个象素，所述的多个象素的每一个具有所有颜色分量中的最高密度的颜色分量，所述的学生图象具有在每个象素位置上的各种颜色分量的任一种；类别确定装置，依据由第一象素提取装置提取的象素确定类别；第二象素提取装置，从相应于学生图象信号的并且具有用于每个象素的多个颜色分量的教师图象信号中，提取位于与学生图象信号的感兴趣象素位置相对应的位置附近的多个象素；和预测系数生成装置，根据第一象素提取装置和第二象素提取装置提取的象素值，生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

根据本发明，提供一种学习方法，包括：第一象素提取步骤，提取位于学生图象的每个感兴趣象素附近的多个象素，所述的多个象素的每一个具有所有颜色分量中的最高密度的颜色分量，所述的学生图象具有在每个象素位置上的各种颜色分量的任一种；类别确定步骤，依据在第一象素提取步骤中提取的象素确定类别；第二象素提取步骤，从相应于学生图象信号的并且具有用于每个象素的多个颜色分量的教师图象信号中，提取位于与学生图象信号的感兴趣象素位置相对应的位置附近的多个象素；和预测系数生成步骤，根据在第一象素提取步骤和第二象素提取步骤所提取的象素值，生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

根据本发明，提供一种记录介质，它存储被设计来根据类别执行学习处理的计算机程序。该计算机程序包括：第一象素提取步骤，提取位于学生图象的每个感兴趣象素附近的多个象素，所述的多个象素的每一个具有所有颜色分量中的最高密度的颜色分量，所述的学生图象具有在每个象素位置上的各种颜色分量的任一种；一个类别确定步骤，依据在第一象素提取步骤中提取的象素确定类别；第二象素提取步骤，从相应于学生图象信号的并且具有用于每个象素的多个颜色分量的教师图象信号中，提取位于与学生图象信号的感兴趣象素位置相对应的位置附近的多个象素；和预测系数生成步骤，根据在第一象素提取步骤和第二象素提取步骤所提取的象素值，生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

根据本发明，提供一种处理输入图象信号的图象信号处理设备，所述的输入图象信号具有在每个象素位置上的各种颜色分量的任一种。该设备包括：提取装置，为输入图象信号的每个感兴趣象素，从位于每个感兴趣象素附近的象素中提取用于每个颜色分量的多个象素；类别确定装置，包括一个特征数据生成部分和一个类别确定部分，特征数据生成部分从提取装置已经提取的每个颜色分量的象素中生成关于每个颜色分量的象素的特征数据，类别确定部分依据为每个颜色分量所生成的特征数据确定类别；和象素生成装置，根据类别确定装置所确定的类别生成象素，所述的象素具有至少不同于感兴趣象素的颜色分量的颜色分量。

根据本发明，提供一种处理输入图象信号的图象信号处理方法，所述的输入图象信号具有在每个象素位置上的各种颜色分量的任一种。所述的方法包括：提取步骤，为输入图象信号的每个感兴趣象素，从位于每个感兴趣象素附近的象素中提取用于每个颜色分量的多个象素；类别确定步骤，从提取步骤已经提取的每个颜色分量的象素中生成关于每个颜色分量的象素的特征数据，并且依据为每个颜色分量所生成的特征数据确定类别；和象素生成步骤，根据类别确定步骤所确定的类别生成象素，所述的象素具有至少不同于感兴趣象素的颜色分量的颜色分量。

根据本发明，提供一种记录介质，存储被设计来处理输入图象信号的计算机程序，所述的输入图象信号具有在每个象素位置上的各种颜色分量的任一种。该计算机程序包括：提取步骤，为输入图象信号的每个感兴趣象素，从位于每个感兴趣象素附近的象素中提取用于每个颜色分量的多个象素；类别确定步骤，从提取步骤已经提取的每个颜色分量的象素中生成关于每个颜色分量的象素的特征数据，并且依据为每个颜色分量所生成的特征数据确定类别；和象素生成步骤，根据类别确定步骤所确定的类别生成象素，所述的象素具有至少不同于感兴趣象素的颜色分量的颜色分量。

根据本发明，提供一种学习设备，包括：第一象素提取装置，从位于学生图象信号的每个感兴趣象素附近的象素中提取用于每个颜色分量的多个象素，所述的学生图象信号具有在相应象素位置上的一种颜色分量；类别确定装置，从第一象素提取装置已经提取的每个颜色分量的象素中生成关于每个颜色分量的象素的特征数据，并且依据为每个颜色分量所生成的特征数据确定类别；第二象素图象提取装置，从相应于学生图象信号并且具有用于每个象素的多个颜色分量的教师图象信号中，提取位于与学生图象信号的感兴趣象素位置相对应的位置附近的多个象素；预测系数生成装置，根据第一象素提取装置和第二象素提取装置所提取的象素值生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

根据本发明，提供一种学习方法，包括：第一象素提取步骤，从位于学生图象信号的每个感兴趣象素附近的象素中提取用于每个颜色分量的多个象素，所述的学生图象信号具有在相应象素位置上的一种颜色分量；类别确定步骤，从第一象素提取步骤已经提取的每个颜色分量的象素中生成关于每个颜色分量的象素的特征数据，并且依据为每个颜色分量所生成的特征数据确定类别；第二象素图象提取步骤，从相应于学生图象信号并且具有用于每个象素的多个颜色分量的教师图象信号中，提取位于与学生图象信号的感兴趣象素位置相对应的位置附近的多个象素；预测系数生成步骤，根据第一象素提取步骤和第二象素提取步骤所提取的象素值生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

根据本发明，提供一种记录介质，记录被设计来根据类别执行学习处理的计算机程序。该计算机程序包括：第一象素提取步骤，从位于学生图象信号的每个感兴趣象素附近的象素中提取用于每个颜色分量的多个象素，所述的学生图象信号具有在相应象素位置上的一个颜色分量；类别确定步骤，从第一象素提取步骤已经提取的每个颜色分量的象素中生成关于每个颜色分量的象素的特征数据，并且依据为每个颜色分量所生成的特征数据确定类别；第二象素图象提取步骤，从相应于学生图象信号并且具有用于每个象素的多个颜色分量的教师图象信号中，提取位于与学生图象信号的感兴趣象素位置相对应的位置附近的多个象素；预测系数生成步骤，根据第一象素提取步骤和第二象素提取步骤所提取的象素值生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

附图的简要说明

图1A、图1B和图1C是说明借助线性插值的传统的图象信号处理的示意图；

图2是显示应用本发明的数字照相机的结构的方框图；

图3是解释数字照相机如何操作的流程图；

图4是显示被并入数字照相机中的图象信号处理部分的结构的方框图；

图5是解释图象信号处理部分如何处理图象信号的流程图；

图6是显示实现预测彩色信号的分类自适应处理的部分的方框图；

图7是描绘被设计来确定一组预测系数的部分的方框图；

图8是预测抽头的结构的示意图；

图9A、图9B图9C和图9D是显示图象信号处理部分如何执行分类自适应处理，从而处理图象信号的附图；

图10A和图10B是显示一组预测系数的图；

图11A和图11B是显示另一组预测系数的图；

图12A和图12B是显示再一组预测系数的图；

图13是显示通过学习获得预测系数组的学习设备的方框图；

图14是解释学习设备如何操作的流程图；

图15A、图15B、图15C是显示学习设备如何操作的程序示意图；

图16A、图16B和图16C是描绘类别抽头(class tap)的图；

图17A、图17B和图17C是显示类别抽头的图；

图18A、图18B和图18C是显示类别抽头的图；

图19A、图19B和图19C是显示类别抽头的图；

图20A至20N是各种彩色滤波器阵列的示意图，其每一个包括诸多彩色编码滤波器，它们可以被用在装在照相机中的CCD图象传感器中；

图21A和图21B是显示图象信号处理部分可以执行的另一种类型的图象信号处理的图；

图22A和图22B是显示图象信号处理部分可以执行的再一种类型的图象信号处理的图；

图23是显示类别抽头的图；

图24是显示另一类型的类别抽头的图；

图25是显示再一类型的类别抽头的图；

图26是显示另一类型的类别抽头的图；

图27是显示预测抽头的图；

图28是显示另一类型的预测抽头的图；

图29是显示另一类型的预测抽头的图；

图30是显示不同类型的预测抽头的图；

图31是显示预测的象素的图；

图32是显示相当于图31所示的象素的类别抽头的示意图；

图33是显示相当于图31所示的象素的预测抽头的示意图；

图34是显示被预测的象素的图；

图35是显示相应于图34所示的象素的类别抽头的示意图；

图36是显示相应于图34所示的象素的预测抽头的示意图；

图37是显示预测的象素的图；

图38A和图38B是显示相应于图37所示的象素的类别抽头的示意图；

图39A和图39B是显示相应于图37所示的象素的类别抽头的示意图；

图40A、图41B和图41C示出了另一类型的抽头；

图41A、图41B和图41C示出了再一类型的抽头；

图42是计算机系统的方框图。

实现本发明的最佳方式

下面将结合附图详细说明实现本发明的最佳方式。

本发明适用于，例如图2所示类型的数字照相机。数字照相机1是被设计来摄取彩色照片的单板照相机。照相机1包括：彩色编码滤波器4和一个CCD图象传感器。彩色编码滤波器4被设置在CCD图象传感器5前面，由其每个用于一个象素的诸多彩色滤波器组成。镜头2聚焦所采集图象反射的光线。该光线经光圈3和彩色编码滤波器4加给CCD图象传感器5。因而，物体的图象在CCD图象传感器5的图象形成表面上形成。彩色编码滤波器4和CCD图象传感器5在数字照相机l中是相互分离的部件。尽管如此，它们可以被组合在一个单元中。

CCD图象传感器5在快门操作所确定的时间内接收光，该快门由定时生成器9提供的定时信号控制。传感器5生成每个象素的信号电荷(模拟值)，它对应于通过彩色编码滤波器4的光量。从而生成代表物体图象的图象信号，物体图象是入射到传感器4的光形成的。该图象信号作为图象输出加给信号调整部分6。

信号调整部分6包括AGC(自动增益控制)电路和CDS(相关二重采样)(Correiated Double Sampling)电路。AGC电路以一个恒定电平调整设置图象信号的增益。CDS电路消除由CCD图象传感器5生成的l/f噪声。

信号调整部分6的图象信号输出供给A/D变换部分7，它把图象信号转换成数字信号。该数字信号供给图象信号处理部分8。A/D变换器部分7根据定时生成部分9提供的定时信号生成数字图象信号。该数字图象信号具有例如每个样值10比特。

在数字照相机1中，定时生成器9向CCD图象传感器5、信号调整部分6、A/D变换部分7和CPU 10提供各种定时信号。CPU 10驱动电机11，以控制光圈3。CPU 10驱动电机12，使镜头2等运动，执行诸如变焦和聚焦的控制。此外，CPU 10控制闪光灯13，每当需要的时候把闪光作用到物体上。

处理部分8对A/D变换器部分7所提供的信号执行缺陷消除处理、数字箝位(clamp)处理、白平衡处理、伽马校正处理、采用分类自适应的预测处理等。

存储器15连接到图象信号处理部分8。存储器15是例如RAM(随机存取存储器)，并且被设置来存储由部分8处理图象信号所需的信号。图象信号处理部分8处理的图象信号经接口14存储到存储器16中。图象信号经接口14从存储器16提供，并记录到记录介质17中，该记录介质可移动地插入在数字照相机1中。

电机11根据CPU 10供给的控制数据驱动光圈3。用这样的驱动，使光圈3控制通过镜头2的入射光量。电机12根据CPU 10所供给的控制信号移向和离开CCD图象传感器2，从而控制聚焦状态。由此可以完成自动光圈控制、自动聚焦控制和类似控制。在CPU 10的控制下，闪光灯13向物体发射预定量的闪光。

必要时，接口14将图象信号处理部分8输出的图象信号供给存储器16。接口14还实现对图象信号的接口处理，然后将信号供给记录介质17，使该信号可以记录在介质17上。记录介质17是可移去地安装在数字照相机1的主体中的记录介质。它可以是软盘、用于硬盘驱动的盘状记录介质、诸如储存卡的快速存储器，或类似物。

控制器18由CPU 10控制，向图象信号处理部分8和接口14提供控制数据，从而控制部分8和接口14。向CPU 10提供输入操作数据，它是在用户操作具有按钮的操作部分20时所生成，所述的按钮包含一个快门按钮和一个变焦按钮。根据操作数据，CPU 10控制照相机的上述其它部件。照相机1具有电源部分19，包括电池19A和DC/DC(直流/直流)变换器19B。DC/DC变换器19B把电池19A提供的电力变换成预定值的直流电流，供给照相机1的各个部件。电池19A是可再充电电池，它被可移去地安装在数字照相机1中。

下面将参照图3的流程图详细说明图2所示的数字照相机1是如何操作的。当电源开关接通时，数字照相机1开始采集图象，步骤S1。更准确地说，CPU 10驱动电机11和电机12，实现对光圈3的聚焦和调整。物体反射的光进入镜头2，在CCD图象传感器5上形成物体的图象。

在步骤S2中，信号调整部分6调整由CCD图象传感器5生成的并且代表传感器5上形成的图象的图象信号的增益，从而按恒定电平设置增益。此外，部分6从图象信号中消除噪声。A/D变换部分7把图象信号变换成数字信号。

在步骤S3，图象信号处理部分8对A/D变换部分7所生成的数字图象信号执行包括分类自适应处理的处理。

用户可以观看所采集的图象，因为由CCD图象传感器5输出的信号所代表的图象被显示在取景器中。用户可以通过一个光学取景器观看物体的图象。

如果用户想要记录他或她通过取景器已经观看物体的图象，他或她操作设置在操作部分20上的快门按钮。在步骤S4，数字照相机1的CPU 10确定快门按钮是否已经被操作。数字照相机1重复步骤S2和S3，直至CPU10确定快门按钮已经被操作。当CPU10确定快门按钮已经操作时，操作进入步骤S5。

在步骤S5，图象信号处理部分8已经处理的图象信号经接口14供给记录介质17。因而，该图象信号被记录在记录介质17上。

下面将参照图4描述图象信号处理部分8。

图象信号处理部分8具有缺陷校正部分21，它接收来自A/D变换器部分7的数字图象信号。该图象信号可以含有不对入射光起反应或总是使电荷保持的CCD图象传感器5的那些象素所生成的象素信号。缺陷校正部分21检测这些象素信号，或有缺陷的象素信号，并处理该图象信号以避免这些有缺陷的象素信号对图象信号生成不利的影响。

在A/D变换器7中，输入模拟信号的值被移动到正值方，以便负值不被切除，并使模拟信号转变成数字信号。箝位部分22对缺陷校正部分21已经校正的图象信号进行箝位，从而消除图象信号的移动分量。

由箝位部分22箝位的图象信号被供给白平衡部分23。白平衡部分23校正箝位部分22所供给的图象信号的增益，从而调整图象信号的白平衡。其白平衡已调整的图象信号被供给伽马校正部分4。伽马校正部分24根据伽马曲线校正其白平衡已经被白平衡校正部分23校正的图象信号的电平。如此伽马校正的图象信号被供给预测处理部分25。

预测处理部分25执行分类自适应处理，把伽马校正部分24的输出变换成与例如CCD三板照相机的输出相当的图象信号。如此生成的图象信号被供给信号校正部分26。预测处理部分25包括块生成部分28、ADRC(自适应动态范围编码)部分29、分类处理部分30、自适应处理部分31、系数存储器32等等。

块生成部分28把类别抽头图象信号(稍后描述)供给ADRC处理部分29，把预测抽头图象信号供给自适应处理部分31。ADRC处理部分29对输入给它的类别抽头图象信号执行ADRC处理，从而生成再量化码。该再量化码作为特征数据被供给分类处理部分30。分类处理部分30根据ADRC处理部分29供给的特征数据对图象信号的图案进行分类。部分30生成代表分类结果的类别号(类别码)。系数存储器32向自适应处理部分31提供对应于由分类处理部分30所生成的类别号的系数组。自适应处理部分31使用从系数存储器32提供的系数组，依据从块生成部分28提供的预测抽头图象信号计算被预测的图象值。

信号校正部分26对预测处理部分25处理的图象信号进行所谓的图象形成处理，比如边缘加重，从而改善图象的视觉特征。

色空间变换部分27被设置来对经受预测处理部分25的边缘加重处理的图象信号(RGB)进行阵列变换。因而，图象信号被转换成规定格式的图象信号，比如YUV格式(由亮度Y和色差U和V组成)。或者，色空间变换部分27可以输出RGB信号，而不执行对RGB信号的阵列变换。在本发明的实施例中，当用户操作操作部分20时，可以输出YUV或者RGB信号。色空间变换部分27输出的图象信号被供给上述的接口14。

下面参照图5的流程说明图象信号处理部分8如何在图3的流程所示的步骤S3中处理图象信号。

在图象信号处理部分8中，A/D变换部分7开始处理数字图象信号。首先，在步骤S11中，缺陷校正部分21校正图象信号，消除图象信号中的缺陷，使图象信号不致受到这些缺陷的不利影响。在步骤S12中，箝位部分22对缺陷校正部分21已经校正的图象信号进行箝位，从而消除已经向右移位的图象信号的分量。

在步骤S13中，白平衡部分23校正箝位部分22已经箝位的图象信号的白平衡，从而调整彩色信号的增益。此外，在步骤S14中，伽马校正部分24根据伽马曲线校正其白平衡已经由白平衡部分23校正的图象信号的电平。

在步骤S15中，实施分类自适应处理，以预测彩色信号。该步骤包括步骤S151至S155。在步骤S151中，块生成部分28处理伽马校正部分24已经校正的图象信号，从而生成块。换言之，部分28从图象信号中提取类别抽头和预测抽头。类别抽头包含与彩色信号的各种类型相对应的象素。

在步骤S152中，ADRC处理部分29执行ADRC处理。

在步骤S153中，分类处理部分30根据ADRC处理部分29提供的特征数据对图象信号的图案进行分类。部分30向自适应处理部分31提供分配给所分类图案的类别号。

在步骤S154中，自适应处理部分31从系数存储器32中读出与分类处理部分30提供的类别号相对应的系数组。部分31用对应于各系数的图象信号乘以该组的系数。系数-信号乘积被加在一起，从而预测象素值。

在步骤S155中，确定是否在整个区域上执行处理。如果它确定该处理是在所有区域上执行的，则操作进入步骤S16。如果不是，则操作进入步骤S151，并且将处理下一个区域。

在步骤S16中，校正处理(所谓的“图象形成处理”)作用于在步骤S15中生成的并且与三板照相机的CCD输出的信号相当的图象信号，以便合成图象的视觉特征可以改善。在步骤S17中，对步骤S16中获得的图象信号执行色空间变换。例如，把RGB信号变换成YUV信号。

下面将解释分类自适应处理。图6输出了实现分类自适应处理的普通类型的部分。在该部分中，输入图象信号被提供给区域提取部分101和102。区域提取部分101从输入图象信号中提取图象区域(称为“类别抽头”)并把该图象区域提供给ADRC处理部分103。ADRC处理部分103对提供给它的信号执行ADRC处理，从而生成量化码。

ADRC处理被执行，以生成量化码。而，DCT(离散余弦变换)、VQ(矢量量化)、BTC(块事务处理编码)、非线性量化等可以被执行来生成量化码。

ADRC是已经被开发的在VTR(磁带录像机)中实现高效编码的自适应再量化方法。该方法的优点是可以以少量数据表达本地信号电平图案。由于有了这一优点，该方法可以被利用来检测图象信号的时空图案，即，空间活动。ADRC处理部分103再量化类别抽头，即提取的区域。更准确的说，它根据下式，用指定的比特数目除类别抽头中的最大值MAX与最小值MIN之间的差值：

DR=MAX-MIN+1

Q=[(L-MIN+0.5)×2n/DR]    (1)

在这里，DR是区域的动态范围，n是分配给该区域的比特数目，L是该区域中出现的象素的信号电平，Q是再量化码。例如，n可以是2，即n=2。括号([…])是指省略小数的处理。

因此，每个象素由例如八比特组成的图象信号类别抽头被转换成2-比特再量化码。如此生成的再量化码通过使用少量的信息，就可以表示图象信号类别抽头中的电平分布图案。如果类别抽头由例如七个象素组成，则执行上述处理，从而生成七个再量化码q1至q7。类别(class)码是按下述公式(2)给定的那种类型的码： $\mathrm{class}=\underset{i=1}{\mathrm{\Σ}}\mathrm{qi}{\left(2^p\right)}^i------\left(2\right)$

在这里，n是要作为类别抽头提取的象素的数目。p的值可以是2，即，p=2。

类别码、类别是特征数据，它代表空间活动，即，图象信号的时间空间中的电平分布图案。类别码。类别被供给预测系数存储器104。预测系数存储器104存储预测系数组，其每一组被分配给下面将要说明的一个类别。存储器104输出与供给存储器104的再量化码所标识的类别相对应的预测系数组。同时，区域提取部分102提取图象的区域(称为预测抽头)并把预测抽头的图象信号提供给预测部分105。预测部分105对预测系数存储器104提供系数组执行下列公式(3)的操作，从而生成输出图象信号y。

y=w₁×x₁+w₂×x₂+…+w_n×x_n    (3)

这里，x1和xn是构成预测抽头的象素值，w1和wn是预测系数。

下面将结合图7说明预测系数组应当被应用的确定处理。具有与输出图象信号的相同的图象格式的HD(高分辨率)图象信号被提供给HD-SD(高分辨率-标准分辨率)变换器部分201和象素提取部分208。HD-SD变换器部分201执行提取或类似操作，因而HD图象信号被变换成具有与输入图象信号的分辨率相似的分辨率(即，象素数量)的图象信号(以下称之为“SD(标准分辨率)图象信号”)。SD图象信号被提供给区域提取部分202和203。与上述的区域提取部分101相同，区域提取部分202也从SD图象信号中提取类别抽头，和生成代表类别抽头的图象信号。该信号被提供给ADRC处理部分204。

ADRC处理部分204执行与图6所示的ADRC处理部分103相同的ADRC处理。也就是，部分204执行ADRC处理，从而依据供给它的信号生成再量化码。该再量化码被供给类别码生成部分205。类别码生成部分205生成代表供给部分205的再量化码类别的类别码。该类别码被供给正规方程加法(normal-equation adding)部分206。同时，区域提取部分203按照与图6所示的区域提取部分102相同的方式从SD图象信号中提取预测抽头。代表该预测抽头的图象信号被供给正规方程加法部分206。

对于类别码生成部分205供给的每个类别码，正规方程加法部分206将区域提取部分203供给的图象信号与象素提取部分208供给的图象信号相加。为每个类别码如此相加的信号被供给预测系数确定部分207。根据用于每个类别码的信号，预测系数确定部分207选择构成适用于该类别码的组的预测系数。

下面将解释对预测系数组进行确定的操作。通过向图7所示的部分提供各种图象信号或HD图象信号，预测系数w1按照以下将要描述的方式进行计算。假定供给的图象信号的数目为m，我们从公式(3)得到下列公式(4)：

y_k=w₁×x_k1+w₂×x_k2+…+w_n×x_kn                         (4)

如果m＞n，则系数w1,…,wn不能直接确定。因此，误差矢量e的元素ek按下列公式(5)定义，从而确定预测系数组，使以下的公式(6)所定义的误差矢量e的平方能够变得最小。也就是，应用了所谓的“最小二乘法”，从而直接确定预测系数组。

e_k=y_k-{w₁×x_k1+w₂×k₂+…+w_n×k_n}                  (5)

(k=1,2…m) $e^2=\underset{k=0}{\overset{m}{\mathrm{\Σ}}}{e_k}^2------\left(6\right)$

实际上可用来获得使公式(6)中的e²最小的预测系数组的方法是求解用于预测系数w_i(i=1,2,…)e²的偏微分值，如下式(7)所示。在该方法中，它能够确定把0的偏微分值赋予预测系数的每个预测系数。 $\frac{{\∂e}^2}{\∂w_i}=\underset{k=0}{\overset{m}{\mathrm{\Σ}}}2\[\frac{{\∂e}_k}{{\∂w}_i}\]e_k=\underset{k=0}{\overset{m}{\mathrm{\Σ}}}2X_{\mathrm{ki}}\·e_k------\left(7\right)$

下面将描述使用公式(7)确定预测系数的操作顺序。假设X_ji和Y_i由公式(8)和(9)定义。那么公式(7)可以改写为下列公式(10)： $X_{\mathrm{ij}}=\underset{p=0}{\overset{m}{\mathrm{\Σ}}}{X}_{\mathrm{pi}}\·X_{\mathrm{pi}}------\left(8\right)$ $Y_i=\underset{k=0}{\overset{m}{\mathrm{\Σ}}}{Y}_{\mathrm{ki}}\·Y_k------\left(9\right)$

公式(10)通常被称为“正规(normal)方程”。正规(normal)方程加法部分205对供给它的信号执行公式(8)和(9)的运算，从而计算Xji和Yi(i=1,2,…,n)。预测系数确定部分207使用普通阵列分析求解正规方程(10)，从而计算预测系数w_i(i=1,2…)。

在该实例中，应用与感兴趣象素的特征数据相对应的预测系数组和预测抽头，执行对线性组合模型的操作。从而执行自适应处理。用来执行自适应处理的预测系数组可以通过学习获得。或者，自适应处理可以通过使用与类别对应的象素值或通过实行对线性组合模型的操作来完成。

上述的分类自适应处理实现了图象信号的各种变换，它从输入图象信号、变换了其扫描线方案的图象信号和类似信号中生成无噪声图象信号。所生成的这些信号被用作输出图象信号。

在数字照相机1中，每个感兴趣象素附近的多个象素从输入图象信号中提取，输入图象信号具有照相机1(单板照相机)的CCD图象传感器已经生成的颜色分量的任何一个。

类别根据如此提取的象素确定。正规方程加法部分205执行分类自适应处理，从而在感兴趣象素的位置上生成具有不同于感兴趣象素的颜色分量的象素。因此照相机可以输出等效相当于由三板照相机的CCD输出的图象信号的图象信号。

图8示出了预测抽头的结构。预测抽头由形成3×3阵列的9个象素组成，其中心象素是感兴趣象素(即，要被处理的象素)。块生成部分28为每个感兴趣象素提取预测抽头，从而生成多个块，其每一个由9个象素组成，中心象素是对应于预测抽头的感兴趣象素。感兴趣象素可以是构成一个帧的象素的任何一个。

自适应处理部分31执行自适应处理。如果代表感兴趣象素的象素信号是R信号，则将在由R信号所代表的象素位置上生成R信号、G信号和B信号。如果象素信号是G信号或B信号，则将在由G信号或B信号所代表的象素位置上生成R信号、G信号和B信号。一帧图象信号被认为是由图9A所示的8×6个象素组成。当8×6个象素顺序地经受自适应处理时，每个象素作为感兴趣象素，获得如图9B所示的8×6个R信号，获得如图9C所示的8×6个G信号，获得如图9D所示的8×6个B信号。换言之，生成了等效于由三板照相机的CCD输出的图象信号。

在本发明的数字照相机1中，实行分类自适应处理，生成相当于三板照相机的CCD的名输出的彩色信号R、G和B。因而，图象的边缘部和精细部分辨率增加，以及图象信号的S/N(信噪比)比值增加。

为了生成图10A的3×3象素阵列G11,B12,B32和G33中的中心象素G22的R信号，使用了图10B所示的预测系数组w1至w9。需要说明的是预测系数w1至w9对应于3×3个象素G11,B12,…B32,G33。在图10A和10B所示的预测系数中，感兴趣象素G22是G信号。两者都是B信号的象素B12和B32被分别安排在感兴趣象素G22，即，G信号的上方和下方。两者都是R信号的象素R12和R32被分别安排在感兴趣象素G22的左方和右方。每个都是G信号的象素G11,G13,G31和G33被分别安排在感兴趣象素G22的左上方、右上方和右下方位置上。该组的预测系数被用来在是感兴趣象素G22的G信号的位置上生成R信号。

为了生成图11A的3×3象素阵列G11,R12,…B32和G33中的中心象素R22的R信号，使用了图11B所示的预测系数组w1至w9。需要说明的是预测系数w1至w9对应于3×3个象素G11,B12,…B32,G33。在图11A和11B所示的预测系数中，感兴趣象素G22是G信号。R信号将在该感兴趣象素G22的位置上生成。两者都是R信号的象素R12和R32被分别安排在感兴趣象素G22，即，G信号的上方和下方。两者都是B信号的象素B21和B23被分别安排在感兴趣象素G22的左方和右方。该组的预测系数被用来在是感兴趣象素G22的G信号的位置上生成R信号。

为了生成图12A的3×3象素阵列R11,G12,G32和R33中的中心象素B22的R信号，使用了图12B所示的预测系数组w1至w9。需要说明的是预测系数w1至w9对应于3×3个象素R11,G12,…G32,R33。在图12A和12B所示的预测系数中，感兴趣象素B22是B信号。两者都是G信号的象素G12和G32被分别安排在感兴趣象素B22，即，B信号的上方和下方。两者都是G信号的象素G21和G23被分别安排在感兴趣象素B22的左方和右方。每个都是R信号的象素R11,R13,R31和R33被分别安排在感兴趣象素B22的左上方、右上方和右下方位置上。该组的预测系数被用来在是感兴趣象素B22的B信号的位置上生成R信号。

上述的预测系数组通过学习获得，并且被存储在系数存储器32中。

下面说明如何通过学习获得预测系数组。图13是显示学习设备的40的方框图，该学习设备40通过学习获得预测系数组。

在学习设备40中，图象信号作为教师图象信号供给提取部分41和教师图象块生成部分45。教师图象信号具有与将要作为分类自适应处理的结果生成的输出信号格式相同的格式。换句话说，教师图象信号在格式方面与等效于三板照相机的CCD输出的图象信号相同。提取部分41根据构成阵列的彩色滤波器的排列，从教师图象信号中提取象素。对于CCD图象传感器5，通过使用等效于光学低通滤波器的滤波器，从教师图象信号中提取图象。也就是，考虑实际使用的光学系统来提取象素。提取部分41的输出是学生图象信号，它被供给学生图象块生成部分42。

在引用教师图象信号与每个块的预测象素之间关系的同时，学生图象块生成部分42从提取部分41生成的学生图象信号中提取类别抽头和关于感兴趣象素的预测抽头。部分42把学生图象信号变换成被供给ADRC处理部分43和操作部分46的块。ADRC处理部分43对从学生图象块生成部分42供给的学生图象信号执行ADRC处理，从而生成特征数据。该特征数据被供给分类处理部分44。分类处理部分44从输入给它的特征数据生成类别码。该类别码输出给操作部分46。

教师图象信号是与单板照相机的CCD的输出具有相似分辨率的图象信号。换句话说，教师图象信号具有低于三板照相机所生成的图象信号的分辨率。因而，教师图象信号代表其每个由R分量、G分量和B分量组成的象素。相反，学生图象信号代表其每个仅由R、G和B分量之一组成的象素。

在引用学生图象信号的类别抽头，教师图象的类别抽头与每个块的预测象素之间的关系的同时，教师图象块生成部分45从教师图象信号提取代表预测象素的图象信号。提取的代表预测象素的图象信号给供给操作部分46。操作部分46执行对分类处理部分44供给的类别号的操作，同时维持学生图象块生成部分42所供给的预测抽头的图象信号与教师图象块生成部分45所供给的预测图象之间的关系。因而，操作部分46生成正规方程的数据，该方程的解是一组预测系数。操作部分46生成的正规方程的数据被顺序地读入数据存储器47中并在其中保持。

另一个操作部分48被设置来通过使用学习数据存储器47中存储的数据来求解正规方程。因而，为一个类别计算预测系数组。如此计算的预测系数组被存储到系数存储器49中，并与该类别相关。系数存储器49的内容被加载到上述的系数存储器32中，并且将被利用来实现分类自适应处理

下面将参照图14说明学习设备40是如何操作的。

输入给学习设备40的数字图象信号代表与三板照相机采集的图象在质量方面相当的图象。三板照相机生成的图象信号(即，教师图象信号)代表其每个具有三原色信号R、G、B的象素。另一方面，单板照相机生成在图象信号(即，学生图象信号)代表其每个仅具有三原色信号R、G、B之一的象素，输入给学习设备40的教师图象信号是例如教师信号，它通过滤波由三板照相机输出的HD信号而生成，如图15A所示，然后变换成图15B所示的1/4尺寸的HD图象信号。

在步骤S31中，教师图象块生成部分45把输入的教师图象信号变换块生成。还是在步骤S31中，学生图象块生成部分42提取位于与指定为感兴趣象素的象素相对应的位置上的预测象素值并把该象素值提供给操作部分46。

在步骤S32中，提取部分41通过实行相当于由设置在单板照相机的CCD图象传感器5中的彩色编码滤波器5所完成的滤波处理，来使代表在质量上与三板照相机所采集的图象相当的教师图象信号变疏(thin)。部分41生成图15C所示类型的学生图象信号，它对应于从结合在单板照相机中的CCD图象传感器5输出的图象信号。如此生成的学生图象信号被输出给学生图象块生成部分42。

在步骤S33中，学生图象块生成部分42把输入的学生图象信号变换块生成。部分42根据感兴趣象素生块生成的类别抽头和预测抽头。

在步骤S34中，ADRC处理部分43对从学生图象信号中提取的类别的彩色信号执行ADRC处理。

在步骤S35中，分类处理部分44对ADRC处理的结果进行分类并生成代表分配给已分类的ADRC结果的类别号的信号。

在步骤S36中，操作部分46根据学生图象块生成部分42所提供的预测抽头和教师图象块45所提供的预测图象，生成上述正规方程(10)，用于从分类处理部分44提供的类别号。正规方程(10)被储存在学习数据存储器47中。

在步骤S37中，确定存在部分46是否已经完成对所有块的处理。如果存在任何未处理的块，则操作返回到步骤S36。在这种情况下，步骤S36和S37被重复。如果确定所有的块已经被处理，则操作进入步骤S38。

在步骤S38中，操作部分48借助高斯约丹(Gauss-Jordan)消去法或Kolensky分解法求解学习数据存储器47中存储的正规方程，从而计算预测系数组。如此计算的预测系数组被存储到系数存储器49中，并且与分类处理部分44输出的类别码相关联。

在步骤S39中，确定操作部分48是否已经求解了用于所有类别的正规方程。如果该方程没有为任何类别求解，则操作返回到步骤S38。在这种情况下，步骤S38和S39被重复。

如果确定在步骤S39中已经为所有类别求解该正规方程，则中止该操作。

存储在系数存储器49中并与类别码关联的预测系数组被储存在图4所示的图象处理部分8的系数存储器32中。设置在图象信号处理部分8中的自适应处理部分31利用在系数存储器32中保持的预测系数组，通过使用由方程(3)表达的线性合成模型执行对感兴趣象素的自适应处理。

图16A至图16C，图17A至图17C，图18A至图18C和图19A至图19C示出了类别抽头。类别抽头被用来确定当由拜尔排列(Bayer arrangement)的彩色滤波器阵列彩色编码的图象信号被处理以在感兴趣象素(图中有阴影的象素)位置上生成R信号、G信号或B信号时的类别。当计算要在生成R、G或B信号的处理中应用的系数组时，该类别抽头也被使用。

图16A至16C所示的类别抽头1每个包含两个R信号。该R信号被安排在是感兴趣象素的的G信号的左边和右边。

图16A所示的类别抽头1用来计算将被应用来在感兴趣象素的G信号位置上生成R信号的预测系数组。类别抽头1由八个象素组成。更精确地说，它包括被分别安排在G信号象素(即，感兴趣象素)的左边和右边的两个R信号象素、被分别安排在第一R信号象素上边和下边并且与其相隔一个象素距离的两个R信号象素、被分别安排在第二R信号象素上边和下边并且与其相隔一个象素距离的两个R信号象素、和被分别安排在第一R信号象素的左边和第二R象素的右边并且与其相隔一个象素距离的两个R信号象素。

图16B所示的类别抽头1用来计算将被应用来在感兴趣象素的G信号的位置上生成G信号的预测系数组。该类别抽头1由九个象素组成。更精确地说，它包括：感兴趣的G信号象素；被分别安排在相对于感兴趣G信号象素的左上边、右上边、左下边和右下边位置的四个G信号象素；被分别安排在感兴趣G信号象素的上边和下边并且与其相隔一个象素距离的两个G信号象素；被分别安排在感兴趣G信号象素的左边和右边并且与其相隔一个象素距离的两个G信号象素。

图16C所示的类别抽头1用来计算将被应用来在感兴趣象素的G信号位置上生成B信号的预测系数组。该类别抽头1由八个象素组成。更精确地说，它包括被分别安排在G信号感兴趣象素的上边和下边的两个B信号象素、被分别安排在第一B信号象素左边和右边并且与其相隔一个象素距离的两个B信号象素、被分别安排在第二B信号象素左边和右边并且与其相隔一个象素距离的两个B信号象素、和被分别安排在第一B信号象素上边和第二B信号象素下边并且与其相隔一个象素距离的两个B信号象素。

图17A至图17C中的类别抽头2每个包含两个R信号。R信号被安排在是感兴趣象素的G信号的左边和右边。

图17A所示的类别抽头2用来计算将被应用来在感兴趣象素的G信号位置上生成R信号的预测系数组。类别抽头2由八个象素组成。更精确地说，它包括：被分别安排在G信号感兴趣象素的上边和下边的两个R信号象素，被分别安排在第一R信号象素上边和第二R信号象素的下边并且与其相隔一个象素距离的两个R信号象素、被分别安排在第一R信号象素的左边和右边并且与其相隔一个象素距离的两个R信号象素，和被分别安排在第二R信号象素左边和右边并且与其相隔一个象素距离的两个R信号象素。

图17B所示的类别抽头2用来计算将被应用来在感兴趣象素的G信号的位置上生成G信号的预测系数组。该类别抽头2由九个象素组成。更精确地说，它包括：感兴趣G信号象素；被分别安排在相对于感兴趣G信号象素的左上边、右上边、左下边和右下边位置的四个G信号象素；被分别安排在感兴趣G信号象素的上边和下边并且与其相隔一个象素距离的两个G信号象素；被分别安排在感兴趣G信号象素的左边和右边并且与其相隔一个象素距离的两个G信号象素。

图17C所示的类别抽头2用来计算将被应用来在感兴趣象素的G信号位置上生成B信号的预测系数组。该类别抽头2由八个象素组成。更精确地说，它包括：被分别安排在G信号感兴趣象素的左边和右边的两个B信号象素、被分别安排在第一B信号象素上边和下边并且与其相隔一个象素距离的两个B信号象素、被分别安排在第二B信号象素上边和下边并且与其相隔一个象素距离的两个B信号象素、和被分别安排在第一B信号象素的左边和第二B信号象素左边并且与其相隔一个象素距离的两个B信号象素。

图18A至图18C所示的类别抽头3每个包含两个R信号。G信号被安排在是感兴趣象素的B信号的左边和右边。

图18A所示的类别抽头3用来计算将被应用来在感兴趣象素的G信号位置上生成R信号的预测系数组。类别抽头3由八个象素组成。更精确地说，它包括：被分别安排在相对于感兴趣G信号象素的左上边、右上边、左下边和右下边位置上的四个R信号象素，被安排在第一R信号象素上边并且相隔一个象素距离的一个R信号象素，被安排在第二R信号象素的左边并且相隔一个象素距离的一个R信号象素、被安排在第三R信号象素下边并且相隔一个象素距离的一个R信号象素、和被安排在第四R信号象素右边并且相隔一个象素距离的一个R信号象素。

图18B所示的类别抽头3用来计算将被应用来在感兴趣象素的B信号的位置上生成G信号的预测系数组。该类别抽头3由8个象素组成。更精确地说，它包括：被分别安排在相对于感兴趣G信号象素的左上边、右上边、左下边和右下边位置的四个R信号象素；被安排在相对于第一G信号象素的左上边位置上的一个G信号象素；被安排在相对于第二G信号象素的左下边位置上的一个G信号象素；被安排在相对于第三G信号象素的右下边位置上的一个G信号象素；和被安排在相对于第四G信号象素的右上边位置上的一个G信号象素。

图18C所示的类别抽头3用来计算将被应用来在感兴趣象素的B信号位置上生成B信号的预测系数组。该类别抽头3由九个象素组成。更精确地说，它包括：感兴趣B信号象素；被分别安排在感兴趣B信号象素上边和下边并相隔一个象素距离的两个B信号象素；被分别安排在感兴趣B信号象素左边和右边并且相隔一个象素距离的两个B信号象素；和被分别安排在相对于感兴趣G信号象素左上边、右上边、左下边和右下边位置上并且相隔一个象素距离的四个B信号象素。

图19A至图19C所示的类别抽头4每个包含两个G信号。G信号被安排是感兴趣象素的R信号的左边和右边。

图19A所示的类别抽头4用来计算将被应用来在感兴趣象素的R信号位置上生成R信号的预测系数组。类别抽头4由九个象素组成。更精确地说，它包括：感兴趣R信号象素、被分别安排在感兴趣R信号象素的上边和下边并相隔一个象素距离的两个R信号象素、被安排在感兴趣R信号象素的左边和右边并且相隔一个象素距离的两个R信号象素、和被安排在相对于感兴趣R信号象素的左上边、右上边、左下边和右下边位置上并且相隔一个象素距离的四个R信号象素。

图19B所示的类别抽头4用来计算将被应用来在感兴趣象素的R信号的位置上生成G信号的预测系数组。该类别抽头4由8个象素组成。更精确地说，它具有：被分别安排在相对于感兴趣R信号象素的左上边、右上边、左下边和右下边位置的四个G信号象素。它还有：被安排在相对于第一G信号象素的左上边位置上并相隔一个象素距离的一个G信号象素；被安排在相对于第二G信号象素的左下边位置上并相隔一个象素距离的一个G信号象素；被安排在相对于第三G信号象素的右下边位置上并相隔一个象素距离的一个G信号象素；和被安排在相对于第四G信号象素的右上边位置上并相隔一个象素距离的一个G信号象素。

图19C所示的类别抽头4用来计算将被应用来在感兴趣象素的B信号位置上生成B信号的预测系数组。该类别抽头4由八个象素组成。更精确地说，它具有：被分别安排在相对于R信号感兴趣象素的左上边、右上边、左下边和右下边位置的四个B信号象素。它还有：被安排在第一B信号象素上边并相隔一个象素距离的一个B信号象素；被安排在第二B信号象素的左边并相隔一个象素距离的一个B信号象素；被安排在第三G信号象素下边并相隔一个象素距离的一个B信号象素；和被安排在第四G信号象素右边边并相隔一个象素距离的一个B信号象素。

在数字照相机1中，块生成部分28根据感兴趣象素的颜色和在感兴趣象素位置上生成的象素的颜色，从已经通过使用上述类别抽头1至4提取的象素中提取类别抽头。ADRC处理部分29对如此提取的类别抽头执行ADRC处理，从而生成特征数据。然后，分类处理部分30对特征数据进行分类，生成类别号(类别码)。对应于该类别号的预测系数组从系数存储器32中读出。自适应处理部分31利用如此读出的预测系数组，并采用方程(2)表示的线性组合模型实行对感兴趣象素的自适应处理。因此，可以在感兴趣象素的位置上生成具有与所有颜色分量不同的颜色分量的象素。

如上所述，类别抽头和预测抽头根据被包含在输入图象信号中的感兴趣象素来提取。然后依据提取的类别抽头生成类别码。此后，使用与类别码和提取的预测抽头对应的预测系数组，在感兴趣象素的位置上生成R信号、G信号和B信号。因而，可以获得高分辨率的图象信号。

此外，学生图象信号依据输入的教师图象信号生成，并且根据被包含在学生图象信号中的感兴趣象素提取类别抽头。位于与学生图象信号中的感兴趣象素相对应的位置上的教师图象信号的象素值被提取。类别码依据提取的类别抽头而生成。提取的类别抽头和象素值被使用，从而计算预测系数组，该预测系数组将应用于在被包含在学生图象信号中的感兴趣象素的位置上生成新的彩色信号的操作。预测系数组和类别码相互关联被存储在存储器中。因此，如此计算的预测系数组可以在处理图象信号以提供高分辨率的图象信号处理设备中使用。

如上所述，图象信号处理部分8用来执行自适应处理的预测抽头和学习设备40用来计算预测系数组的类别抽头具有不同的结构。但是，预测抽头和类别抽头可以为相同的结构。此外，预测抽头和类别抽头的结构不限于上述的结构。

如上所示，彩色编码滤波器4是具有拜尔排列的彩色滤波器阵列的滤波器。当然，本发明的任何其它彩色编码滤波器可以替代滤波器4。

图20A至图20N示出了各种可以在装在数字照相机中的CCD图象传感器5的彩色编码滤波器4中使用的彩色滤波器阵列。

图20A至图20G示出了可以在彩色滤波器4中使用的四个彩色滤波器阵列，其每个具有绿色(G)滤波器、红色(R)滤波器和蓝色(B)滤波器。

图20A示出了彩色滤波器拜尔排列。图20B示出了直列式排列。图20C示出了G条、RB棋盘排列。图20D示出了G条、RB完全棋盘排列。图20E示出了条排列。图20F示出了斜条排列。图20G示出了原色差排列。

图20H至20N示出了可以在彩色编码滤波器4中使用的彩色滤波器阵列各种排列，其每个包括透过光的补色分量的紫色(M)滤波器、黄色(Y)滤波器和青色(C)滤波器与白色(W)滤波器。图20H示出了场(field)色差顺序排列。图20I示出了帧色差顺序排列。图20J示出了MOS型排列。图20K示出了改进的MOS型排列。图20L示出了帧交织排列。图20M示出了场交织排列。图20N示出了条排列。

补色分量(M,Y,C,W和G)被定义如下：

Y=G+R

M=R+B

C=G+B

W=R+G+B

通过图20I所示的帧色差顺序排列的彩色滤波器4的光的颜色分量(YM,YG,CM和CG)被给定为：

YM=Y+M=2R+G+B

CG=C+G=2G+B

YG=Y+G=R+2G

CM=C+M=R+G+2R

通过执行对单板照相机输出的图象信号的自适应处理所生成的并且与三板照相机CCD输出的图象信号等效的图象信号显现了比用传统的线性插值法所生成的图象信号所显现的图象更清晰的图象。因此，如果该图象信号再经受插值处理以提供四倍高密度的图象，则该所得图象将具有足够的锐度。例如，图21B所示的的显示n×m G象素的图象信号、显示n×m R象素的图象信号和显示n×m B象素的图象信号，通过自适应处理从图21A所示的包括n×m象素(n和m是正整数)的CCD图象传感器输出的图象信号中生成。也就是，与三板照相机的CCD的一个输出等效的图象信号借助自适应处理生成，2n×2m R象素的图象信号借助预测处理从n×m R象素的信号中生成，2n×2m G象素的图象信号借助预测处理从n×m G象素的信号中生成，2n×2m B象素的图象信号借助预测处理从n×m B象素的信号中生成。因此，可以获得四倍高密度的清晰图象。

装入数字照相机1中的图象信号处理部分8可以借助自适应处理直接从CCD传感器5的输出中生成较高密度的图象信号(在该实例中是四倍密度)

图象信号处理部分8对(例如)CCD图象传感器输出的且由图22A所示的n×m个象素(n和m是正整数)组成的图象信号执行自适应处理。因此，部分8直接从该图象信号中生成n×m G象素、n×m R象素、n×m B象素的图象信号，如图22B所示。

在图象信号处理部分8中，块生成部分28把输入图象信号分成p×q个块(p和q是正整数)。ADRC处理部分29像下面将要说明的那样从每个块中提取类别抽头，并执行对类别抽头的自适应处理。

图23至图26示出了类别抽头的实例。这些类别抽头是在CCD图象传感器5的彩色滤波器阵列具有拜尔排列的情况下应用的类型的抽头。图23示出了用来在一个R象素周围生成四倍密度的R、G和B象素的类别抽头。在该图中，标记×被加到将要生成的象素上，类别抽头用粗线框起来。

图24和图25示出了类别抽头。其每个是用来在一个G象素周围生成R、G和B象素的类型的抽头。更精确地说，图24所示的类别抽头被应用来在被呈现在有R象素的行中的G象素的周围生成象素。图25的类别抽头被用来在有B象素的行中所呈现的G象素的周围生成四倍密度的R、G和B象素。

图26的类别抽头被用来在有B象素的行中所呈现的B象素的周围生成四倍密度的R、G和B象素。

为了环绕R象素生成代表四象素的图象信号，其每个具有R、G和B分量，ADRC处理部分29提取类别抽头，它包括那些是相应颜色的按图23框起来的26个象素。部分29对类别抽头的每个象素的R、G和B分量的信号值执行ADRC处理。

在步骤S17中，分类处理部分30对ADRC处理部分31提供的信号进行分类。也就是，部分30为那些已经被提取并对应于经ADRC处理获得的信号值的按图23框起来的26个象素确定类别。如此确定的类别号被提供给自适应处理部分31。在步骤S18中，自适应处理部分31从系数存储器32中读出对应于分类处理部分30所提供的类别号的系数组。部分31用相应的预测抽头乘该组的系数。把所得的乘积加在一起，从而生成四倍密度图象信号。

图27至图30示出了各种预测抽头。图27示出了用来围绕一个R象素生成四倍密度的四个象素的预测抽头。图28和29示出了预测抽头，其每个用来围绕一个G象素生成四倍密度的四个象素。具体地说，图28示出了用来在有R象素的行中所呈现的G象素的周围生成四倍密度象素的预测抽头。图29示出了用来在有B象素的行中所呈现的G象素的周围生成四倍密度象素的预测抽头。

图30示出了用来在一个B象素的周围生成四倍密度的四个象素的预测抽头。

从图27至图30中可以清楚地看出，本实施例中使用的任何预测抽头由位于与四倍密度的四个象素相应的感兴趣象素周围的5×5个象素组成。

为了预测位于相对于图27所示的一个R象素的左上边位置上的四倍密度象素，自适应处理部分用预测抽头乘分类处理部分30提供的类别号所标识的该组的预测系数。各个所得乘积被加在一起。这种乘法和加法被执行，从而预测位于R象素右上边、左下边和右下边位置上的三个象素。

上述的分类自适应处理从由n×m象素(每个是仅代表一个颜色的信号)的一帧图象信号中直接生成由2n×2m R象素组成的图象信号、由2n×2m G象素组成的图象信号和由2n×2m B象素组成的图象信号。这使它能够提供比从n×m R象素组成的图象信号、n×m G象素组成的图象信号和n×m B象素组成的图象信号中生成的四倍密度图象信号所代表的图象更清晰的图象。

在学习设备40中，将四倍密度图象信号变换成教师图象信号。提取部分41对输入的教师图象信号执行提取处理，以便可以使用这样的彩色滤波器，它具有与照相系统应当具有的放大倍数相反的放大倍数。从而生成相当于单板照相机的CCD图象传感器5输出的图象信号的学生图象信号。因而，它能够获得上述的预测系数组。

为了更具体地说明，在学习设备40中，生成学生图象信号，其中规定数目的抽样值分别代表象素位置上的颜色分量。包含在具有比学生图象信号大的抽样值的预测图象信号中的感兴趣象素附近的多个象素从如此提取并代表一帧图象的教师图象信号中提取。根据所提取的象素分类预测图象信号。此外，位于感兴趣象素位置附近的多个象素从相应于预测的图象信号并具有在各象素位置上的颜色分量的教师图象信号中提取。从而为每个类别生成相应于上述学生图象信号的预测系数组。如此生成的预测系数组将在预测处理中使用，以获得相应于教师图象信号的图象信号。

为了估算上述实施例的工作效率，使用拜尔排列的彩色滤波器阵列实施关于ITE(电视工程师学会)标准的九个高分辨率图象的仿真。此外，该九个高分辨率图象还被用来计算预测系数组。

与三板照相机的CCD输出等效的图象信号经受提取操作，其中应用了分类自适应处理的放大率并且考虑了各象素的位置关系。因而生成了等效于单板照相机的CCD输出的图象信号。借助利用了用于CCD输出的预测系数组的分类自适应处理，单板照相机的CCD输出被变换成在行方向和列方向中具有两倍的象素的图象信号。分类自适应处理中使用的类别抽头和预测抽头被显示在图23至图30中。类别抽头的R、G、B象素被相互独立地处理，但是预测抽头的R、G、B象素被混合使用。

仿真导致了边缘和精细部清晰的图象信号并且展现了高分辨率。该图象信号比单板照相机(图21A)的CCD的输出或单板照相机(图21B)的CCD的输出所生成的四倍密度图象信号更清晰并具有更高的分辨率。仿真也借助线性插值法实施。发现由分类处理生成的图象信号在分辨率和S/N比值方面优于由线性插值法所提供的图象信号。

在上述的实施例中，单板CCD图象传感器的输出被变换成四倍密度图象信号。不用说，本发明可以被应用来生成任何其它密度的图象信号。

此外，本发明不仅可以应用于数字照相机，也可以应用于视频摄像机和任何其它类型的图象处理设备。

可以用作上述的被设置在数字照相机1中的CCD图象传感器5中的彩色滤波器阵列4的各种类型的彩色滤波器阵列是可以得到的。一个信号值可以代表比彩色滤波器阵列中的另一个信号值多或少的信息。在这种情况下，如果彩色信号经受分类自适应处理，则预测处理的精度将逐个改变。如果使用的彩色滤波器阵列是(例如)拜尔排列和如果相互独立地对R、G和B信号执行分类自适应处理，则将以和G信号(每四个象素中存在两个)相同的方式处理R信号和B信号，尽管一个R信号和一个B信号存在于每四个象素中。结果，对于R和B信号，预测处理的精度低于对G信号的精度。

因此，如果一个信号值可以代表多于或少于另一个信号值的信息，则按高于任何其它颜色分量的密度安排的颜色分量被应用来提取用于输入图象信号的感兴趣象素的多个象素，该输入图象信号具有颜色分量的任何一个。提取的象素是那些具有比任何其它颜色分量的密度高并且位于感兴趣象素附近的颜色分量的象素。输入图象信号的类别依据如此提取的象素确定。根据确定的类别，一个象素具有不同于感兴趣象素所具有的颜色分量的一个颜色分量。因而，可以增强预测处理的精度。

下面将详细说明适用于服从在拜尔排列的彩色滤波器阵列中的彩色编码的类别抽头和预测抽头。如图31所示，例如，B象素可以是要被预测的象素。如图32所示，类别抽头由八个G象素组成。在这八个G象素中，四个象素被分别安排在要被预测的象素的上、下、左和右边。两个被安排在要被预测的象素左边的G象素的左上边和左下边的位置上，剩下的两个被安排在要被预测的象素左边的G象素的右上边和右下边的位置上。在这种情况下，预测抽头由5×5个象素组成，包括G象素、R象素和B象素，如图33所示，其中一个B象素位于5×5矩阵的中心。

R象素可以是如图34所示的要被预测的象素。在这种情况下，类别抽头由图35所示的八个G象素组成。在这八个象素中，四个被分别安排在要被预测的R象素的上边、下边、左边和右边。两个被安排在位于要被预测象素左边的G象素的左上边和左下边位置上，剩余的两个被安排在位于要被预测象素右边的G象素的右上边和右下边位置上。此情况下的预测系数由25个象素组成，包括R象素、G象素和B象素，如图35所示，其中一个R象素位于5×5矩阵的中心。

此外，G象素可以是如图37所示的要被预测的象素。在这种情况下，根据位于要被预测的象素附近的象素的颜色，类别抽头由图38A或图38B所示的九个G象素组成。准确地说，图38A所示的类别抽头包括：要被预测的G象素，被分别安排在要被预测的G象素的上边、下边、左边和右边四个G象素，被安排在被预测的G象素的上边和下边并且相隔一个R象素的两个G象素，和被安排在被预测的G象素的左边和右边并且相隔一个B象素的两个G象素。图38B所示的类别抽头包括：要被预测的G象素，被分别安排在要被预测的G象素的上边、下边、左边和右边四个G象素，被安排在被预测的G象素的上边和下边并且相隔一个B象素的两个G象素，和被安排在被预测的G象素的左边和右边并且相隔一个R象素的两个G象素。此情况下的预测系数由5×5个象素组成，包括R象素、G象素和B象素，如图39A或图39B所示，其中一个G象素被用作预备预测的象素。

如下式所示，亮度信号Y依据R、G和B的信号值生成：

Y=0.59G+0.30R+0.11B

从该式中可以看到，与其它颜色分量相比，亮度信号Y更受G分量的影响。因此，如图31所示，在拜尔排列中G象素比R象素和B象素安排得更密集。亮度信号Y包含大量的影响人类视觉性能和图象分辨率的信息。

因此，如果类别抽头由仅图象信号的G象素组成，则能够用较高精度实施分类自适应处理。

为此目的，学习设备40提取位于学生图象信号的感兴趣象素附近并且具有比任何其它颜色分量更密集的颜色分量的多个象素，所述的学生图象信号具有在每个象素位置上的代表任一种颜色的一种颜色分量。输入图象信号的类别依据如此提取的象素确定。因此能够获得可以用来完成上述的自适应处理的预测系数组。

为了估算上述实施例的工作效率，使用拜尔排列的彩色滤波器阵列对ITE(电视工程师学会)标准的九个高分辨率图象实施仿真。此外，该九个高分辨率图象还被用来计算预测系数组。与三板照相机的CCD输出等效的图象信号经历提取操作，其中应用了分类自适应处理的放大倍数并且考虑了各象素的位置关系。因而生成了等效于单板照相机的CCD输出的图象信号。通过应用与学习设备40中使用的算法相似的算法生成预测系数组。此外，借助上述的分类自适应处理，把单板照相机的CCD输出变换成在行方向和列方向中具有两倍的象素的图象信号。与应用来预测R象素(或G象素或B象素)的类别抽头是具有混合在一起R、G和B分量的情况相比，仿真导致了边缘更清晰和具有更高分辨率的一个图象信号。仿真借助线性插值法而不是分类自适应处理实施。在分辨率和S/N比值方面，与通过插值法提供的图象信号相比，分类处理生成的图象信号被发现要优于前者。

代表三个通过分类自适应处理获得的标准图象A、B和C的R、G和B信号显示出下列S/N比值，其中R、G和B象素作为类别抽头被独立地提取：

标准图象A

R:35.22db

G:35.48db

B:34.93db

标准图象B

R:32.45db

G:32.40db

B:29.29db

标准图象C

R:24.75db

G:25.31db

B:23.23db

相反，代表三个通过分类自适应处理获得的标准象素A、B和C的R、G和B信号显示出下列S/N比值，其中G象素被用作类别抽头：

标准图象A

R:35.38db

G:35.48db

B:35.13db

标准图象B

R:32.60db

G:32.40db

B:29.46db

标准图象C

R:24.99db

G:25.31db

B:23.79db

如上所示，只有比任何其它象素更密集安排的颜色分量的象素在信号值代表不同数据量情况下被用作类别抽头。从而可以增强预测的精度。

此外，根据对包含为彩色滤波器阵列的每个颜色提取的多个彩色信号的类别抽头执行的ADRC处理的结果，可以对输入图象信号的类别进行分类。在这种情况下，可以完成较高精度的预测处理。因此可以生成高分辨率的图象信号。

对于每个象素位置，从单板照相机的CCD图象传感器生成的输入图象信号中提取位于感兴趣象素附近的多个象素。然后实施ADRC处理，从而生成特征数据。该特征数据被用作已经被提取的每个颜色分量的象素的空间活动(activity)。图象信号的类别依据特征数据确定。根据这样确定的类别，预测处理部分25执行分类自适应处理，从而在感兴趣象素的位置上生成具有不同于感兴趣象素的颜色分量的象素。因此可以获得相当于三板照相机的CCD输出的图象信号。

也就是，分类处理部分30接收ADRC处理部分29的输出，即，再量化码，并对空间活动即图象信号的电平分布图案进行分类。部分30生成代表分类结果的类别号。该空间活动被更恰当地分类，则有助于提高预测抽头的精度。

下面详细说明适用于由拜尔排列的彩色滤波器阵列彩色编码的图象信号的类别抽头和预测抽头。

图40A、40B和40C示出了用于在B象素位置上生成R信号、G信号和B信号(在B象素位置上也将生成具有B分量的图象信号)的抽头。

图41A、41B和41C显示用于在G象素位置上生成R信号、G信号和B信号(在B象素位置上也将生成具有B分量的图象信号)。在图40A至图41C和图41A至图41C中，双圆圈指示要被预测的象素。换言之，双圆圈指示要被预测的象素位置。在图40G和图41B中，三角形代表要被提取以构成类别抽头的象素，或者其位置。在图40G和图40B中，三角形指示要被提取以形成预测抽头的象素位置。

为了在图40A所示的B象素位置上生成R信号、G信号和B信号，图40B中所指定的象素被提取并且被用作类别抽头。该类别抽头由九个象素(由三角形所示)组成，即，要被预测的象素和围绕该要被预测象素的八个象素。由于类别抽头仅包括一个G象素，因此，被用来借助ADRC处理实现分类的特征数据不可能被可靠地提取。但是，比实际用作类别抽头的象素更多的象素经受ADRC处理，使它能够无误地提取特征数据。

类别抽头的提取如图40C所示。具体地说，R、G和B分量将被混合的象素作为类别抽头来提取。为类别所提供的预测系数组被应用在加权处理、加法处理和类似处理中，从而在被预测的位置上预测图象信号。

在拜尔排列的情况中，用于每个R象素的象素数目、用于每个G信号的象素数目和用于每个B信号的象素数目分别是1、2和1。因此，与应用来在R象素位置上预测和生成R、G和B信号的那些结构相同的类别抽头和预测抽头可以被利用来在R象素的位置上预测和生成R信号、G信号和B信号。

为了在图41A所示的G象素位置上生成R信号、G信号和B信号，图41B中所指定的象素被提取并且被用作类别抽头。该类别抽头由九个象素(由三角形所示)组成，即，要被预测的象素和围绕该要被预测象素的八个象素。对于具有少量象素的任何颜色分量，把类别抽头扩展到包含由图41B的方格所示的那些象素。对该类别抽头的信号执行ADRC处理。仅从ADRC处理结果中提取中心象素，从而实现分类。此外实施把R、G和B之间的关系应用于分类结果的处理。例如，对每个信号执行ADRC处理的动态范围、阈值处理的结果、ADRC处理的最大和最小动态范围等，以由若干比特组成的数据项的形式加到图象信号上。因而可以高精度地预测并且生成代表高分辨率图象的图象信号。

类别抽头按图41C所示那样提取。更精确地说，R、G和B分量将被混合的象素作为类别抽头来安排。为类别所提供的预测系数组被应用在加权处理、加法处理和类似处理中，从而在被预测的位置上预测图象信号。

为了估算上述实施例的工作效率，实施假定利用了拜尔排列的彩色滤波器阵列的仿真。在该仿真中，通过运用与学习设备40中使用的算法相似的算法来生成预测系数组。此外，执行提取处理，以便依据等效于三板照相机的CCD输出的图象信号生成等效于单板照相机的CCD输出的图象信号。此外，预测处理在上述的分类自适应处理中实行。此外，借助线性插值法和借助本发明的分类自适应处理实施仿真。在分类自适应处理中，R、G和B象素被相互独立地分类。线性插值的结果可与分类自适应处理的结果相比。

更具体地说，实施关于ITE(电视工程师学会)标准的九个高分辨率图象的仿真。该九个高分辨率图象还被用来计算预测系数组。仿真生成了比线性插值所生成的图象信号在边缘和精细部更清晰的图象信号。此外，它还支持对S/N比值的改善。另外，R-和B-分量图象信号所代表的任何图象的分辨率高于对R、G和B分量图象信号独立地实施分类自适应处理的情况。因此，本发明的实施例可以提供在边缘和精细部的分辨率、S/N比值、分辨率等方面优于由线性插值或由R、G和B信号被独立分类的分类自适应处理所提供的那些信号的信号。

类别抽头或预测抽头被局限于图40A至图40C和图41A至图41C所示的那些。当然，类别抽头和预测抽头也可以根据原色滤波器阵列或补色滤波器阵列、特征(例如，要被生成的图象信号的分辨率)等来改变。例如，如果需要输出更高分辨率的图象，可以提取更多的象素以构成类别抽头或预测抽头。

如图20A至20N所示，各种类型的彩色滤波器阵列对装入单板照相机的CCD图象传感器5中的彩色滤波器4来是可用的。上述方法对由信号值所代表的信息项在密度方面不同的彩色滤波器阵列是有效的和可用的。

本发明还适用于下述的情况：例如通过增加图22A或图22B所示的CCD图象传感器的每行和每列的象素，把CCD图象传感器输出变换成具有不同于CCD图象传感器分辨率的图象信号，从而四倍增加分辨率。也就是，通过使用要生成为教师图象信号的图象信号和数字照相机1中CCD图象传感器5输出的图象信号，可以实施学习处理，从而生成预测系数组。然后把如此生成的预测系数应用于分类自适应处理。

本发明不仅适用于数字照相机，而且还适用于诸如内置摄像机的VTR的电影摄像机，和图象处理设备。此外，本发明还适用于打印机、扫描器等。

预测处理部分25所执行的分类自适应处理和学习设备40所执行的学习处理可以由图43所示的普通的计算机系统310完成。如图43所示，计算机系统310包括：总线311。CPU(中央处理单元)312、存储器313、输入接口314、用户接口315和输出接口316。实行这些处理的计算机程序被记录在记录介质上。计算机程序控制计算机，从而生成其每个代表一个象素的颜色分量的输入图象信号。存储该程序的记录介质以磁盘、CD-ROM等形态呈现给用户。此外，该程序可以通过诸如互联网的网络和数字通信卫星传送给用户。

Claims (84)

1．一种处理输入图象信号的图象信号处理设备，所述的输入图象信号具有在每个象素位置上的各种颜色分量的任一种，所述设备包括：

提取装置，为输入图象信号的每个感兴趣象素提取位于每个感兴趣象素附近的多个象素；

类别确定装置，依据提取装置所提取的象素确定类别；和

象素生成装置，用于根据由类别确定装置所确定的类别在感兴趣象素的位置上生成象素，所述的象素具有至少不同于感兴趣象素的颜色分量的颜色分量。

2．根据权利要求1所述的图象信号处理设备，其中象素生成装置在感兴趣象素的位置上生成具有所有颜色分量的象素。

3．根据权利要求1所述的图象信号处理设备，其中象素生成装置包括：存储装置，存储用于每个类别的一组预测系数；和操作装置，执行对与类别确定装置所确定的类别相对应的一组预测系数和位于已经由提取装置提取的感兴趣象素附近的象素的操作，从而生成具有至少不同于感兴趣象素的颜色分量的颜色分量的象素。

4．根据权利要求3所述的图象信号处理设备，其中操作装置执行对预测系数组和位于感兴趣象素附近的象素值的线性组合的操作。

5．根据权利要求3所述的图象信号处理设备，其中提取部分为类别确定装置和操作装置至少提取一个不同的象素。

6．根据权利要求1所述的图象信号处理设备，其中颜色分量代表红、蓝或绿色的颜色。

7．根据权利要求1所述的图象信号处理设备，还包括获取装置，获取具有在每个象素位置上的象素的图象信号，所述的象素具有各种颜色分量的一种。

8．根据权利要求7所述的图象信号处理设备，其中获取设备是固态成象元件。

9．根据权利要求8所述的图象信号处理设备，其中固态成象元件是拜尔排列的CCD图象传感器。

10．一种处理输入图象信号的图象信号处理方法，所述的输入图象信号具有在象素位置上的各种颜色分量的任一种，该方法包括：

一个提取步骤，为输入图象信号的每个感兴趣象素提取位于每个感兴趣象素附近的多个象素；

一个类别确定步骤，依据提取步骤所提取的象素确定类别；和

一个象素生成步骤，用于根据在类别确定步骤中所确定的类别在感兴趣象素的位置上生成象素，所述的象素具有至少不同于感兴趣象素的颜色分量的颜色分量。

11．根据权利要求10所述的图象信号处理方法，其中在象素生成步骤中，在感兴趣象素的位置上生成具有所有颜色分量的象素。

12．根据权利要求10所述的图象信号处理方法，其中在象素生成步骤中：操作装置对与类别确定步骤中所确定的类别相对应的一组预测系数和位于已经在提取步骤中提取的感兴趣象素附近的象素执行操作，从而生成具有不同颜色分量的象素。

13．根据权利要求12所述的图象信号处理方法，其中在象素生成步骤中，执行预测系数组和位于感兴趣象素附近的象素值的线性组合的操作。

14．根据权利要求12所述的图象信号处理方法，其中在提取步骤中，提取用于类别确定步骤和象素生成步骤的至少一个不同的象素。

15．根据权利要求10所述的图象信号处理方法，其中颜色分量代表红、蓝或绿色的颜色。

16．根据权利要求10所述的图象信号处理方法，还包括获取步骤，获取具有在每个象素位置上的象素的图象信号，所述的象素具有各种颜色分量的一种。

17．根据权利要求16所述的图象信号处理方法，其中在获取步骤中，固态成象元件获取图象信号。

18．根据权利要求17所述的图象信号处理方法，其中在获取步骤中，拜尔排列的CCD图象传感器获取图象信号。

19．一种记录介质，存储被设计来处理输入图象信号的计算机程序，所述的输入图象信号具有在象素位置上的各种颜色分量的任一种，该计算机程序包括：

一个提取步骤，为输入图象信号的每个感兴趣象素提取位于每个感兴趣象素附近的多个象素；

类别确定步骤，依据在提取步骤中提取的象素确定类别；和

象素生成步骤，根据在类别确定步骤中确定的类别在感兴趣象素的位置上生成象素，所述的象素具有至少不同于感兴趣象素的颜色分量的颜色分量。

20．根据权利要求19所述的记录介质，其中在象素生成步骤中，在感兴趣象素的位置上生成具有所有颜色分量的象素。

21．根据权利要求19所述的记录介质，其中在象素生成步骤中：操作装置对与类别确定步骤中所确定的类别相对应的一组预测系数和位于已经在提取步骤中提取的感兴趣象素附近的象素执行操作，从而生成具有不同颜色分量的象素。

22．根据权利要求21所述的记录介质，其中在象素生成步骤中，执行预测系数组和位于感兴趣象素附近的象素值的线性组合的操作。

23．根据权利要求21所述的记录介质，其中在提取步骤中，提取用于类别确定步骤和象素生成步骤的至少一个不同的象素。

24．根据权利要求19所述的记录介质，其中颜色分量代表红、蓝或绿色的颜色。

25．根据权利要求19所述的记录介质，计算机程序还包括获取步骤，获取具有在每个象素位置上的象素的图象信号，所述的象素具有各种颜色分量的一种。

26．根据权利要求25所述的记录介质，其中在获取步骤中，固态成象元件获取图象信号。

27．根据权利要求26所述的记录介质，其中在获取步骤中，拜尔排列的CCD图象传感器获取图象信号。

28．一种学习设备，包括：

第一象素提取装置，用于提取位于学生图象信号的每个感兴趣象素附近的多个象素，所述的学生图象信号具有在相应的象素的位置上的一种颜色分量；

类别确定装置，依据第一象素提取装置所提取的象素确定类别；

第二象素提取装置，从相应于学生图象并具有用于每个象素的多个颜色分量的教师图象中提取位于与学生图象信号的感兴趣象素的位置相对应的位置附近的多个象素；和

预测系数生成装置，根据第一象素提取装置和第二象素提取装置所提取的象素值，生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

29．根据权利要求28所述的学习设备，其中第一象素提取装置根据感兴趣象素的位置和感兴趣象素的颜色分量提取位于感兴趣象素附近的象素

30．根据权利要求28所述的学习设备，其中类别确定装置对第一象素提取装置提取的象素执行ADRC处理(自适应动态范围编码)，从而生成特征数据和从该特征数据确定类别。

31．一种学习方法，包括：

第一象素提取步骤，用于提取位于学生图象信号的每个感兴趣象素附近的多个象素，所述的学生图象信号具有在相应的象素的位置上的一种颜色分量；

类别确定步骤，依据第一象素提取步骤中所提取的象素确定类别；

第二象素提取步骤，从相应于学生图象并具有用于每个象素的多个颜色分量的教师图象中提取位于与学生图象信号的感兴趣象素的位置相对应的位置附近的多个象素；和

预测系数生成步骤，根据第一象素提取步骤中和第二象素提取步骤中所提取的象素值，生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

32．根据权利要求31所述的学习方法，其中在第一象素提取步骤中，根据感兴趣象素的位置和感兴趣象素的颜色分量提取位于感兴趣象素附近的象素。

33．根据权利要求31所述的学习方法，其中在类别确定步骤中，对第一象素提取步骤中提取的象素执行ADRC处理(自适应动态范围编码)，从而生成特征数据和从该特征数据确定类别。

34．一种记录介质，它存储被设计来执行学习处理以生成一组对应于一个类别的预测系数的计算机程序，所述的计算机程序包括：

第一象素提取步骤，用于提取位于学生图象信号的每个感兴趣象素附近的多个象素，所述的学生图象信号具有相应的象素位置上的一种颜色分号；

类别确定步骤，依据第一象素提取步骤中所提取的象素确定类别；

第二象素提取步骤，从相应于学生图象信号并具有用于每个象素的多个颜色分量的教师图象信号中提取位于与学生图象信号的感兴趣象素的位置相对应的位置附近的多个象素；和

预测系数生成步骤，根据第一象素提取步骤中和第二象素提取步骤中所提取的象素值，生成一组用于每个类别的预测系数，以便用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

35．根据权利要求34所述的记录介质，其中在第一象素提取步骤中，根据感兴趣象素的位置和感兴趣象素的颜色分量提取位于感兴趣象素附近的象素。

36．根据权利要求34所述的记录介质，其中在类别确定步骤中，对第一象素提取步骤中提取的象素执行ADRC处理(自适应动态范围编码)，从而生成特征数据和从该特征数据确定类别。

37．一种处理输入图象信号的图象信号处理装置，所述的输入图象信号具有构成一个图象的规定数目的样值，其每个代表每个象素的各种颜色的任一种，该设备包括：

提取装置，为输入图象信号的每个感兴趣象素提取位于每个感兴趣象素附近的多个象素；类别确定装置，依据提取装置所提取的象素确定类别；和

输出图象信号生成装置，通过依据类别确定装置所确定的类别来处理输入图象信号的每个象素，生成用于各种颜色的具有比规定数目多的样值的输出图象信号。

38．根据权利要求37所述的图象信号处理装置，其中输出图象信号生成装置包括：存储装置，存储用于每个类别的一组预测系数；和操作装置，对与类别确定装置所确定的类别相对应的一组预测系数和位于已经由提取装置提取的感兴趣象素附近的象素执行操作，从而生成输出图象信号。

39．一种处理输入图象信号的图象信号处理方法，所述的输入图象信号具有构成一个图象的规定数目的样值，其每个代表每个各种颜色的任一种，该方法包括：

提取步骤，为输入图象信号的每个感兴趣象素提取位于每个感兴趣象素附近的多个象素；

类别确定步骤，依据提取步骤中所提取的象素确定类别；和

输出图象信号生成步骤，通过依据类别确定步骤中所确定的类别来处理输入图象信号的每个象素，生成用于各种颜色的具有比规定数目多的样值的输出图象信号。

40．根据权利要求39所述的图象信号处理方法，其中在输出图象信号生成步骤中，对与类别确定步骤中所确定的类别相对应的一组预测系数和位于已经在提取步骤中提取的感兴趣象素附近的象素执行操作，从而生成输出图象信号。

41．一种记录介质，存储被设计来处理输入图象信号的计算机程序，所述的输入图象信号具有构成一个图象的规定数目的样值，其每个代表各种颜色的任一种，该计算机程序包括：

提取步骤，为输入图象信号的每个感兴趣象素提取位于每个感兴趣象素附近的多个象素；

类别确定步骤，依据提取步骤中所提取的象素确定类别；和

输出图象信号生成步骤，通过依据类别确定步骤中所确定的类别来处理输入图象信号的每个象素，生成用于各种颜色的具有比规定数目多的样值的输出图象信号。

42．根据权利要求41所述的记录介质，其中在输出图象信号生成步骤中，对与类别确定步骤中所确定的类别相对应的一组预测系数和位于已经在提取步骤中提取的感兴趣象素附近的象素执行操作，从而生成输出图象信号。

43．一种学习设备，包括：

第一象素提取装置，从学生图象信号中提取位于每个感兴趣象素附近的多个象素，所述的学生图象信号具有构成一个图象并且其每个代表象素位置上的各种颜色的任一种的规定数目样值，所述的感兴趣象素是具有比规定数目多的样值的要预测的图象中所含有的象素；

类别确定装置，依据由第一象素提取装置所提取的象素确定类别；

第二象素提取装置，从相应于要预测的图象信号和具有用于每个象素的多个颜色分量的教师图象信号中提取位于与感兴趣象素的位置相对应的位置附近的多个象素；和

预测系数生成装置，根据第一象素提取装置和第二象素提取装置所提取的象素值，生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

44．根据权利要求43所述的学习设备，其中类别确定装置对第一象素提取装置提取的象素执行ADRC处理(自适应动态范围编码)，从而生成特征数据和从该特征数据确定类别。

45．一种学习方法，包括：

第一象素提取步骤，从学生图象信号中提取位于每个感兴趣象素附近的多个象素，所述的学生图象信号具有构成一个图象并且其每个代表象素位置上各种颜色的任一种的规定数目样值，所述的感兴趣象素是具有比规定数目多的样值的要预测的图象中所含有的象素；

类别确定步骤，依据第一象素提取步骤中所提取的象素确定类别；

第二象素提取步骤，从相当于要预测的图象并且具有用于每个象素的多个颜色分量的教师图象信号中提取位于与感兴趣象素的位置相对应的位置附近的多个象素；

预测系数生成步骤，根据在第一象素提取步骤和第二象素提取步骤所提取的象素值，生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

46．根据权利要求45所述的学习方法，其中在类别确定步骤中，对第一象素提取装置提取的象素执行ADRC处理(自适应动态范围编码)，从而生成特征数据和从该特征数据确定类别。

47．一种记录介质，它存储被设计来根据类别执行学习处理的计算机程序，该计算机程序包括：

第一象素提取步骤，从学生图象信号中提取位于每个感兴趣象素附近的多个象素，所述的学生图象信号具有构成一个图象并且其每个代表象素位置上各种颜色的任一种的规定数目样值，所述的感兴趣象素是具有比规定数目多的样值要预测的图象中所含有的象素；

类别确定步骤，依据第一象素提取步骤中所提取的象素确定类别；

第二象素提取步骤，从相当于要预测的图象并且具有用于每个象素的多个颜色分量的教师图象信号中提取位于与感兴趣象素的位置相对应的位置附近的多个象素；和

预测系数生成步骤，根据在第一象素提取步骤和第二象素提取步骤所提取的象素值，生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

48．根据权利要求47所述的记录介质，其中类别确定装置对第一象素提取装置提取的象素执行ADRC处理(自适应动态范围编码)，从而生成特征数据和从该特征数据确定类别。

49．一种处理输入图象信号的图象信号处理设备，所述的输入图象信号具有在每个象素位置上的各种颜色分量的任一种，所述的设备包括：

提取装置，为输入图象信号的每个感兴趣象素提取位于每个感兴趣象素附近的多个象素，所述的多个象素的每一个具有所有颜色分量中的最高密度的颜色分量；

类别确定装置，依据提取装置所提取的象素确定类别；和

象素生成装置，根据类别确定装置所确定的类别来生成象素，所述的象素具有至少不同于感兴趣象素的颜色分量的颜色分量。

50．根据权利要求49所述的图象信号处理设备，其中象素生成装置包括：存储装置，存储用于每个类别的一组预测系数；和操作装置，对与类别确定装置所确定的类别相对应的一组预测系数和位于已经由提取装置所提取的感兴趣象素附近的象素执行操作，从而生成具有不同颜色分量的象素。

51．根据权利要求49所述的图象信号处理设备，其中象素生成装置在感兴趣象素的位置上生成具有所有颜色分量的象素。

52．一种处理输入图象信号的图象信号处理方法，所述的输入图象信号具有在每个象素位置上的各种颜色分量的任一种，该方法包括：

一个提取步骤，为输入图象信号的每个感兴趣象素提取位于每个感兴趣象素附近的多个象素，所述的多个象素的每一个具有所有颜色分量中的最高密度的颜色分量；

一个类别确定步骤，依据提取步骤中提取的象素确定类别；和

一个象素生成步骤，根据在类别确定步骤中确定的类别来生成象素，所述的象素具有至少不同于感兴趣象素的颜色分量的颜色分量。

53．根据权利要求52所述的图象信号处理方法，其中在象素生成步骤中，对与类别确定步骤中所确定的类别相对应的一组预测系数和位于已经在提取步骤中提取的感兴趣象素附近的象素执行操作，从而生成具有不同颜色分量的象素。

54．根据权利要求52所述的图象信号处理方法，其中在象素生成步骤中，具有所有颜色分量的象素在感兴趣象素的位置上生成。

55．一种存储被设计来处理输入图象信号的计算机程序的记录介质，所述的输入图象信号具有在每个象素位置上的各种颜色分量的任一种，所述的计算机程序包括：

一个提取步骤，为输入图象信号的每个感兴趣象素提取位于每个感兴趣象素附近的多个象素，所述的多个象素的每一个具有所有颜色分量中的最高密度的颜色分量；

一个类别确定步骤，依据提取步骤中提取的象素确定类别；和

一个象素生成步骤，根据在类别确定步骤中确定的类别来生成象素，所述的象素具有至少不同于感兴趣象素的颜色分量的颜色分量。

56．根据权利要求55所述的记录介质，其中在象素生成步骤中，对与类别确定装置所确定的类别相对应的一组预测系数和位于已经在提取步骤中提取的感兴趣象素附近的象素执行操作，从而生成具有不同颜色分量的象素。

57．根据权利要求55所述的记录介质，其中在象素生成步骤中，具有所有颜色分量的象素在感兴趣象素的位置上生成。

58．一种学习设备，包括：

第一象素提取装置，提取位于学生图象信号的每个感兴趣象素附近的多个象素，所述的多个象素的每一个具有所有颜色分量中的最高密度的颜色分量，所述的学生图象具有在每个象素位置上的各种颜色分量的任一种

类别确定装置，依据第一象素提取装置提取的象素确定类别；

第二象素提取装置，从相应于学生图象信号的并且具有用于每个象素的多个颜色分量的教师图象信号中，提取位于与学生图象信号的感兴趣象素位置相对应的位置附近的多个象素；和

预测系数生成装置，根据第一象素提取装置和第二象素提取装置提取的象素值生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

59．根据权利要求58所述的学习设备，其中类别确定装置对第一象素提取装置提取的象素执行ADRC处理(自适应动态范围编码)，从而生成特征数据和从该特征数据确定类别。

60．一种学习方法，包括：

第一象素提取步骤，提取位于学生图象信号的每个感兴趣象素附近的多个象素，所述的多个象素的每一个具有所有颜色分量的最高密度的颜色分量，所述的学生图象具有在每个象素位置上的各种颜色分量的任一种；

类别确定步骤，依据第一象素提取步骤中提取的象素确定类别；

第二象素提取步骤，从相应于学生图象信号的并且具有用于每个象素的多个颜色分量的教师图象信号中，提取位于与学生图象信号的感兴趣象素位置相对应的位置附近的多个象素；和

预测系数生成步骤，根据在第一象素提取步骤和第二象素提取步骤所提取的象素值生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

61．根据权利要求60所述的学习方法，其中在类别确定步骤中，对第一象素提取步骤中提取的象素执行ADRC处理(自适应动态范围编码)，从而生成特征数据和从该特征数据确定类别。

62一种记录介质，存储被设计来根据类别执行学习处理的计算机程序，所述的计算机程序包括：

第一象素提取步骤，提取位于学生图象的每个感兴趣象素附近的多个象素，所述的多个象素的每一个具有所有颜色分量的最高密度的颜色分量，所述的学生图象具有在每个象素位置上的各种颜色分量的任一种；

类别确定步骤，依据第一象素提取步骤中提取的象素确定类别；

第二象素提取步骤，从相应于学生图象信号的并且具有用于每个象素的多个颜色分量的教师图象信号中，提取位于与学生图象信号的感兴趣象素位置相对应的位置附近的多个象素；和

预测系数生成步骤，根据在第一象素提取步骤和第二象素提取步骤所提取的象素值生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

63．根据权利要求62所述的记录介质，其中在类别确定步骤中，对第一象素提取步骤中提取的象素执行ADRC处理(自适应动态范围编码)，从而生成特征数据和从该特征数据确定类别。

64．一种处理输入图象信号的图象信号处理设备，所述的输入图象信号具有在每个象素位置上的各种颜色分量的任一种，该设备包括：

提取装置，为输入图象信号的每个感兴趣象素，从位于每个感兴趣象素附近的象素中提取用于每个颜色分量的多个象素；

类别确定装置，包括一个特征数据生成部分和一个类别确定部分，特征数据生成部分从提取装置已经提取的每个颜色分量的象素中生成关于每个颜色分量的象素的特征数据，类别确定部分依据为每个颜色分量所生成的特征数据确定类别；和

象素生成装置，根据类别确定装置所确定的类别来生成象素，所述的象素具有至少不同于感兴趣象素的颜色分量的颜色分量。

65．根据权利要求64所述的图象信号处理设备，其中特征数据生成部分把已经由提取装置提取的每个颜色分量象素的空间活动生成为特征数据

66．根据权利要求6 5所述的图象信号处理设备，其中特征数据生成部分通过对每个颜色分量的象素执行ADRC(自适应动态范围编码)处理生成空间活动。

67．根据权利要求64所述的图象信号处理设备，其中提取装置从存在于感兴趣象素附近区域的象素中提取与每个颜色分量相对应的象素。

68．一种处理输入图象信号的图象信号处理方法，所述的输入图象信号具有在每个象素位置上的各种颜色分量的任一种，所述的方法包括：

提取步骤，为输入图象信号的每个感兴趣象素，从位于每个感兴趣象素附近的象素中提取用于每个颜色分量的多个象素；

类别确定步骤，从提取步骤中已经提取的每个颜色分量的象素中生成关于每个颜色分量的象素的特征数据，并且依据为每个颜色分量所生成的特征数据确定类别；和

象素生成步骤，根据类别确定步骤所确定的类别生成象素，所述的象素具有至少不同于感兴趣象素的颜色分量的颜色分量。

69．根据权利要求68所述的图象信号处理方法，其中在特征数据生成步骤中，把已经由提取装置提取的每个颜色分量象素的空间活动生成为特征数据。

70．根据权利要求69所述的图象信号处理方法，其中在类别确定步骤中，通过对每个颜色分量的象素执行ADRC(自适应动态范围编码)处理生成空间活动。

71．根据权利要求68所述的图象信号处理方法，其中在提取步骤中，从存在于感兴趣象素区域附近的象素中提取与每个颜色分量相对应的象素

72．一种记录介质，存储被设计来处理输入图象信号的计算机程序，所述的输入图象信号具有在每个象素位置上的各种颜色分量的任一种，所述的计算机程序包括：

提取步骤，为输入图象信号的每个感兴趣象素，从位于每个感兴趣象素附近的象素中提取用于每个颜色分量的多个象素；

类别确定步骤，从提取步骤中已经提取的每个颜色分量的象素中生成关于每个颜色分量的象素的特征数据，并且依据为每个颜色分量所生成的特征数据确定类别；和

象素生成步骤，根据类别确定步骤所确定的类别生成象素，所述的象素具有至少不同于感兴趣象素的颜色分量的颜色分量。

73．根据权利要求72所述的记录介质，其中在特征数据生成步骤中，把已经由提取装置提取的每个颜色分量象素的空间活动生成为特征数据。

74．根据权利要求7 3所述的记录介质，其中在类别确定步骤中，通过对每个颜色分量的象素执行ADRC(自适应动态范围编码)处理生成空间活动

75．根据权利要求72所述的记录介质，其中在提取步骤中，从存在于感兴趣象素区域附近的象素中提取与每个颜色分量相对应的象素。

76．一种学习设备，包括：

第一象素提取装置，从位于学生图象信号的每个感兴趣象素附近的象素中提取用于每个颜色分量的多个象素，所述的学生图象信号具有在相应象素位置上的一种颜色分量；

类别确定装置，从第一象素提取装置已经提取的每个颜色分量的象素中生成关于每个颜色分量的象素的特征数据，并且依据为每个颜色分量所生成的特征数据确定类别；

第二象素图象提取装置，从相应于学生图象信号并且具有用于每个象素的多个颜色分量的教师图象信号中，提取位于与学生图象信号的感兴趣象素位置相应的位置附近的多个象素；和

预测系数生成装置，根据第一象素提取装置和第二象素提取装置所提取的象素值生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

77．根据权利要求76所述的学习设备，其中类别确定装置使用已经由第一象素提取装置提取的作为特征数据的每个颜色分量的象素的空间活动来确定类别。

78．根据权利要求77所述的学习设备，其中类别确定部分通过对每个颜色分量的象素执行ADRC(自适应动态范围编码)处理生成空间活动。

79．一种学习方法，包括：

第一象素提取步骤，从位于学生图象信号的每个感兴趣象素附近的象素中提取用于每个颜色分量的多个象素，所述的学生图象信号具有在相应象素位置上的一个颜色分量；

类别确定步骤，从第一象素提取步骤已经提取的每个颜色分量的象素中生成关于每个颜色分量的象素的特征数据，并且依据为每个颜色分量所生成的特征数据确定类别；

第二象素提取步骤，从相应于学生图象信号并且具有用于每个象素的多个颜色分量的教师图象信号中，提取位于与学生图象信号的感兴趣象素位置相对应的位置附近的多个象素；和

预测系数生成步骤，根据第一象素提取步骤和第二象素提取步骤所提取的象素值生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

80．根据权利要求79所述的学习方法，其中在类别确定步骤中，使用已经在第一象素提取步骤中提取的作为特征数据的每个颜色分量的象素的空间活动来确定类别。

81．根据权利要求80所述的学习方法，其中在类别确定步骤中，通过对每个颜色分量的象素执行ADRC(自适应动态范围编码)处理生成空间活动

82．一种记录介质，记录被设计来根据类别执行学习处理的计算机程序，该计算机程序包括：

第一象素提取步骤，从位于学生图象信号的每个感兴趣象素附近的象素中提取用于每个颜色分量的多个象素，所述的学生图象信号具有在相应象素位置上的一个颜色分量；

类别确定步骤，从第一象素提取步骤已经提取的每个颜色分量的象素中生成关于每个颜色分量的象素的特征数据，并且依据为每个颜色分量所生成的特征数据确定类别；

第二象素提取步骤，从相应于学生图象信号并且具有用于每个象素的多个颜色分量的教师图象信号中，提取位于与学生图象信号的感兴趣象素位置相对应的位置附近的多个象素；和

预测系数生成步骤，根据第一象素提取步骤和第二象素提取步骤所提取的象素值生成一组用于每个类别的预测系数，用于从相应于学生图象信号的图象信号中生成相应于教师图象信号的图象信号。

83．根据权利要求82所述的记录介质，其中在类别确定步骤中，使用已经在第一象素提取步骤中提取的作为特征数据的每个颜色分量的象素的空间活动来确定类别。

84．根据权利要求83所述的记录介质，其中在类别确定步骤中，通过对每个颜色分量的象素执行ADRC(自适应动态范围编码)处理生成空间活动

Images