CN101079949B - 图像处理设备和图像处理方法 - Google Patents

Abstract

提供一种图像处理设备，包括检测原始图像中的边缘方向的边缘方向检测器；检测边缘方向的置信度的置信度检测器；检测对比强度的对比检测器；设置纹理对比权重的纹理对比权重设置器；设置边缘对比权重的边缘对比权重设置器；设置纹理权重的纹理权重设置器；设置边缘权重的边缘权重设置部件；执行纹理过滤以生成纹理过滤图像的纹理过滤器；执行边缘过滤以便生成边缘过滤图像的边缘过滤器；合并原始图像和纹理过滤图像以生成纹理合并图像的纹理合并器；以及合并纹理合并图像和边缘过滤图像以生成边缘合并图像的边缘合并器。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及图像处理设备、方法、记录介质和程序。更具体地，本发明涉及根据图像特性调整图像质量的图像处理设备、方法、记录介质和程序。

背景技术

现有文献已公开了为了增强图像边缘锐化的边缘增强方法，例如公开号为2003-16442的日本未审专利、公开号为2005-527051的PCT日文专利。

发明内容

然而，在某些情况下，仅通过增强边缘锐化来达到用户想要的图像质量是不可能的。此外，即便当以相同形式执行边缘增强时，边缘增强的效果也随着图像特性而改变，并且图像质量甚至可能下降。而且，当图像中存在具有显著不同的图像特性的区域时，即使在各个图像中，边缘增强的效果也可能改变。

因此，需要根据图像特性更合适地调整图像质量。

根据本发明的一个实施例，提供了一种图像处理设备，包括：边缘方向检测部件，用于检测在原始图像中考虑的目标像素处的边缘方向；置信度(confidence)检测部件，用于检测边缘方向的置信度；对比检测部件，用于检测目标像素的对比强度，所述对比强度表示包含并邻近目标像素的第一区域中的对比的强度；纹理对比权重设置部件，用于设置目标像素的纹理对比权重，所述纹理对比权重是基于目标像素的对比强度相对于在纹理区域中以较高出现频率出现的预定对比强度的接近程度的权重，所述纹理区域是其中像素值变化的量比平坦区域更大且比边缘区域更小的区域，所述平坦区域是其中像素值基本不变的区域，并且所述边缘区域是其中像素值剧烈变化的区域；第一边缘对比权重设置部件，用于为目标像素设置第一边缘对比权重，所述第一边缘对比权重是基于目标像素的对比强度相对于在边缘区域中以较高出现频率出现的预定对比强度的接近程度的权重；纹理权重设置部件，用于设置纹理权重，所述纹理权重是基于在包括并邻近目标像素的第二区域中各个像素的边缘方向、各个像素的边缘方向的置信度、以及各个像素的纹理对比权重的权重；边缘权重设置部件，用于设置边缘权重，所述边缘权重是基于在包括并邻近目标像素的第三区域中的各个像素的边缘方向、各个像素的边缘方向的置信度、以及各个像素的第一边缘对比权重的权重；纹理过滤部件，用于对原始图像执行纹理过滤以生成第一纹理过滤图像，所述纹理过滤针对于涉及纹理区域的处理；边缘过滤部件，用于对原始图像执行边缘过滤以生成第一边缘过滤图像，所述边缘过滤针对于涉及边缘区域的处理；纹理合并部件，用于使用基于纹理权重的权重来将原始图像和第一纹理过滤图像的相应位置处的像素值加在一起，以生成第一纹理合并图像；以及边缘合并部件，用于使用基于边缘权重的权重来将第一纹理合并图像和第一边缘过滤图像的相应位置处的像素值加在一起，以生成第一边缘合并图像。

置信度检测部件可基于使用在边缘方向上位于目标像素的任一边的像素而计算的像素值是否匹配邻近该目标像素的像素的像素值，来检测边缘方向的置信度。

作为对比强度，对比检测部件可检测对于第一区域中各个相邻图像对而获得的值之和，对于每个相邻像素对，通过将像素的像素值之间的差的绝对值乘以与像素之间的间距相关的权重来获得所述值。

纹理对比权重设置部件可设置纹理对比权重，使得纹理对比权重在对比强度大于或等于第一对比强度并小于或等于第二对比强度的范围中取最大值，所述第一对比强度和第二对比强度是在纹理区域中以较高出现频率出现的预定对比强度；使得纹理对比权重在对比强度小于第三对比强度的范围中、以及在对比强度大于第四对比强度的范围中取最小值，所述第三对比强度和第四对比强度是在纹理区域中以较低频率出现的预定对比强度；使得在对比强度大于或等于第三对比强度并小于第一对比强度的范围中，纹理对比权重随着对比强度增加而增加；并使得在对比强度大于第二对比强度并小于第四对比强度的范围中，纹理对比权重随着对比强度增加而减少。而且，第一边缘对比权重设置部件可设置第一边缘对比权重，使得第一边缘对比权重在对比强度大于第五对比强度的范围中取最大值，所述第五对比强度是在边缘区域中以较高出现频率出现的预定对比强度；使得第一边缘对比权重在对比强度小于第六对比强度的范围中取最小值，所述第六对比强度是在边缘区域中以较低出现频率出现的预定对比强度；并使得在对比强度大于或等于第六对比强度并小于第五对比强度的范围中，第一边缘对比权重随着对比强度增加而增加。

作为纹理权重，纹理权重设置部件设置对在第二区域中各个像素获得的值之和，对于每个像素，通过将边缘方向的置信度、纹理对比权重、以及与边缘方向相关的权重相乘而获得该值。而且，作为边缘权重，边缘权重设置部件设置对在第三区域中的各个像素获得的值之和，对于每个像素，通过将边缘方向的置信度、第一边缘对比权重、以及与边缘方向相关的权重相乘而获得该值。

纹理过滤部件可执行增强原始图像的预定频率带的分量的过滤。而且，边缘过滤部件可执行增强原始图像中的边缘的过滤。

纹理合并部件将原始图像和第一纹理过滤图像的相应位置处的像素的像素值加在一起，其中当纹理权重增加时，第一纹理过滤图像的像素值的比率增加，并当纹理权重降低时，原始图像的图像值的比率增加。而且，边缘合并部件将第一纹理合并图像和第一边缘过滤图像的相应位置处的像素的像素值加在一起，其中当边缘权重增加时，第一边缘过滤图像的像素值的比率增加，并当边缘权重降低时，第一纹理合并图像的像素值的比率降低。

图像处理设备还可包括设置目标像素的平坦对比权重的平坦对比权重设置部件，平坦对比权重是基于目标像素的对比强度相对于在平坦区域中以较高出现频率出现的预定对比强度的接近程度的权重；设置平坦权重的平坦权重设置部件，平坦权重是基于在包括并邻近目标像素的第四区域中各个像素的边缘方向、各个像素的边缘方向的置信度和各个像素的平坦对比权重的权重；平坦过滤部件，用于执行平坦过滤以便生成平坦过滤图像，平坦过滤针对于涉及平坦区域的处理；以及平坦合并部件，用于使用基于平坦权重的权重来将原始图像和平坦过滤图像的相应位置处的像素的像素值加在一起，以生成平坦合并图像。在这种情况下，纹理合并部件使用基于纹理权重的权重来将平坦合并图像和第一纹理过滤图像的相应位置处的像素的像素值加在一起，以生成第二纹理合并图像。而且，边缘合并部件使用基于边缘权重的权重来将第二纹理合并图像和第一边缘过滤图像的相应位置处的像素的像素值加在一起，以生成第二边缘合并图像。

平坦对比权重设置部件可设置平坦对比权重，使得平坦对比权重在对比强度小于或等于第一对比强度的范围中取最大值，所述第一对比强度是在平坦区域中以较高出现频率出现的预定对比强度；使得平坦对比权重在对比强度大于第二对比强度的范围中取最小值，所述第二对比强度是在平坦区域中以较低出现频率出现的预定对比强度；并使得当在对比强度大于第一对比强度并小于或等于第二对比强度的范围中，平坦对比权重随着对比强度增加而减少。

作为平坦权重，平坦权重设置部件可设置对在第四区域中的各个像素获得的值之和，对于每个像素，通过将倍增边缘方向的置信度、平坦对比权重、以及与边缘方向相关的权重相乘而获得该值。

平坦过滤部件可执行衰减原始图像的高频率带的分量的过滤。

过滤合并部件可将原始图像和平坦过滤图像在相应位置处的像素的像素值加在一起，其中当平坦权重增加时，平坦过滤图像的像素值的比率增加，并当平坦权重降低时，原始图像的像素值的比率增加。而且，纹理合并部件将平坦合并图像和第一纹理过滤图像在相应位置处的像素的像素值加在一起，其中当纹理权重增加时，第一纹理过滤图像的像素值的比率增加，并当纹理权重减少时，平坦合并图像的像素值的比率增加。而且，边缘合并部件将第二纹理合并图像和第一边缘过滤图像在相应位置处的像素的像素值加在一起，其中当边缘权重增加时，第一边缘过滤图像的比率增加，并当边缘权重减少时，第二纹理合并图像的比率增加。

图像处理设备还可包括第二边缘对比权重设置部件，用于为目标像素设置第二边缘对比权重，第二边缘对比权重是基于目标像素的对比强度相对于在边缘区域中以较高出现频率出现的预定对比强度的接近程度；方向选择部件，用于基于在包括并邻近目标像素的第四区域中的各个像素的边缘方向、各个像素的边缘方向的置信度和各个像素的第二边缘对比权重，选择用于选择目标像素的内插要使用的像素的选择方向；倾斜权重设置部件，用于设置倾斜权重，倾斜权重是基于在包括并邻近目标像素的第五区域中的各个像素的边缘方向、各个像素的边缘方向的置信度和各个像素的第二边缘对比权重的权重；第一内插部件，用于通过使用在所述选择方向上邻近于目标像素的任一边的像素来计算目标像素的像素值，以通过原始图像的内插来生成第一内插图像；第二内插部件，用于以与第一内插部件的内插不同的方式，通过原始图像的内插来生成第二内插图像；以及内插图像合并部件，用于使用基于倾斜权重的权重来将第一内插图像和第二内插图像在相应位置处的像素的像素值加在一起，以生成内插合并图像。在这种情况下，纹理过滤部件对内插合并图像执行纹理过滤用于生成第二纹理过滤图像，边缘过滤部件对内插合并图像执行边缘过滤以生成第二边缘过滤图像，纹理合并部件使用基于纹理权重的权重来将内插合并图像和第二纹理过滤图像在相应位置处的像素的像素值加在一起，以生成第二纹理合并图像，而边缘合并部件使用基于边缘权重的权重来将第二纹理合并图像和第二边缘过滤图像在相应位置处的像素的像素值加在一起，以生成第二边缘合并图像。

方向选择部件可基于在第四区域中的像素中具有边缘方向的高置信度和较大的第二边缘对比权重的像素的边缘方向的分布，来选择所述选择方向。

作为倾斜权重，倾斜权重设置部件可设置对在第五区域中的各个像素获得的值之和，所述值是这样获得的：对于每个像素，将边缘方向的置信度、第二边缘对比权重和与边缘方向相关的权重相乘。

纹理合并部件可将内插合并图像和第二纹理过滤图像在相应位置处的像素的像素值加在一起，其中当纹理权重增加时，第二纹理过滤图像的像素值的比率增加，并当纹理权重减少时，内插合并图像的像素值的比率增加。而且，边缘合并部件可将第二纹理合并图像和第二边缘过滤图像在相应位置处的像素的像素值加在一起，其中当边缘权重增加时，第二边缘过滤图像的像素值的比率增加，并当边缘权重减少时，第二纹理合并图像的像素值的比率增加。

根据本发明另一实施例，提供一种图像处理方法、程序、或其上记录程序的记录介质，图像处理方法或程序包括以下步骤：检测在原始图像中考虑的目标像素的边缘方向；检测边缘方向的置信度；检测目标像素的对比强度，所述对比强度表示在包括并邻近目标像素的第一区域中的对比的强度；设置目标像素的纹理对比权重，所述纹理对比权重是基于目标像素的对比强度相对于在纹理区域中以较高出现频率出现的预定对比强度的接近程度的权重，所述纹理区域是其中像素值变化的量比平坦区域更大并比边缘区域更小的区域，所述平坦区域是其中像素值基本不变的区域，并且所述边缘区域是其中像素值剧烈变化的区域；设置目标像素的边缘对比权重，所述边缘对比权重是基于目标像素的对比强度相对于在边缘区域中以较高出现频率出现的预定对比强度的接近程度的权重；设置纹理权重，所述纹理权重是基于在包括并邻近目标像素的第二区域中的各个像素的边缘方向、各个像素的边缘方向的置信度、以及各个像素的纹理对比权重的权重；设置边缘权重，所述边缘权重是基于在包括并邻近目标像素的第三区域中的各个像素的边缘方向、各个像素的边缘方向的置信度。以及各个像素的边缘对比权重的权重；对原始图像执行纹理过滤，以生成纹理过滤图像，所述纹理过滤针对于涉及纹理区域的处理；对原始图像执行边缘过滤，以生成边缘过滤图像，所述边缘过滤针对于涉及边缘区域的处理；使用基于纹理权重的权重来将原始图像和纹理过滤图像在相应位置处的像素值加在一起，以生成纹理合并图像；以及使用基于边缘权重的权重来将纹理合并图像和边缘过滤图像在相应位置处的像素的像素值加在一起，以生成边缘合并图像。

根据本发明的这些实施例，检测在原始图像中考虑的目标像素的边缘方向，检测边缘方向的置信度；检测目标像素的对比强度；对比强度表示在包括并邻近目标像素的第一区域中的对比的强度；设置目标像素的纹理比较权重，纹理比较权重是基于目标像素的对比强度相对于在纹理区域中以较高出现频率出现的预定对比强度的接近程度的权重，纹理区域是其中像素值的变化量比平坦区域更大并比边缘区域更小的区域，平坦区域是其中像素值基本不变的区域，而边缘区域是其中像素值剧烈变化的区域；设置目标像素的边缘对比权重，边缘对比权重是基于目标像素的对比强度相对于在边缘区域中以较高出现频率出现的预定对比强度的接近程度的权重；设置纹理权重，纹理权重是基于在包括并邻近目标像素的第二区域中的各个像素的边缘方向、各个像素的边缘方向的置信度、以及各个像素的纹理对比权重的权重；设置边缘权重，边缘权重是基于在包括并邻近目标像素的第三区域中各个像素的边缘方向、各个像素的边缘方向的置信度、以及各个像素的边缘对比权重的权重；对原始图像执行纹理过滤以生成纹理过滤图像，纹理过滤针对于涉及纹理区域的处理；对原始图像执行边缘过滤以生成边缘过滤图像，边缘过滤针对于涉及边缘区域的处理；使用基于纹理权重的权重，将原始图像和纹理过滤图像在相应位置处的像素值加在一起，以生成纹理合并图像；并使用基于边缘权重的权重，将纹理合并图像和边缘过滤图像在相应位置处的像素的像素值加在一起，以生成边缘合并图像。

因此，可以更准确地检测图像特性。而且，可以根据图像特性而更合适地调整图像质量。

附图说明

图1是根据本发明实施例的图像处理设备的框图；

图2是表示图1所示的归档器(profiler)的示例功能配置的框图；

图3是表示图1所示的倍增器的示例功能配置的框图；

图4是表示图1所示的增强器的示例功能配置的框图；

图5是由图1所示的图像处理设备执行的图像放大因子改变处理的流程；

图6是表示图5所示的步骤S3中密度加倍处理的细节的流程图；

图7是表示在图6所示的步骤S21和S24中执行的归档处理的细节的流程图；

图8是表示图6中的步骤S21和S24中执行的归档处理的细节的流程图；

图9是表示目标区域的示例的图；

图10是表示边缘检测区域的示例的图；

图11是表示方向分布的示例的图；

图12是表示置信度分布的示例的图；

图13是表示对比分布的示例的图；

图14是表示对比强度和对比权重之间关系的图；

图15是表示在图6所示的步骤S22和S25中执行的加倍处理的细节的流程图；

图16是表示在图6所示的步骤S23和S26中执行的增强处理的细节的流程图；

图17是用于解释在图16所示的步骤S152中执行的纹理过滤和在图16所示步骤S153中执行的边缘过滤的图；

图18是表示根据本发明另一实施例的图像处理设备的框图；

图19是表示图18所示的归档器的示例配置的框图；

图20是由图18所示的图像处理设备执行的图像质量调整处理的流程图；

图21是表示在图20所示的步骤S201和S203中执行的归档处理的细节的流程图；

图22是表示在图20所示的步骤S201和S203中执行的归档处理的细节的流程图；以及

图23是表示个人计算机的示例配置的框图。

具体实施方式

在描述本发明的实施例之前，下文将描述本发明的特征与在本说明书所述和图中所示的实施例之间的对应关系的示例。本说明书意图确保在本说明书中描述支持本发明的实施例。因此，即使这里没有将特定实施例描述为对应于本发明的特定特征，并不必然表示实施例不对应那些特征。相反，即使这里将实施例描述为对应于特定特征，也不必然表示实施例不对应其他特征。

根据本发明实施例的图像处理设备(例如，图1所示的图像处理设备1或图18所示的图像处理设备301)包括边缘方向检测部件(例如，图2所示方向检测器101或图19所示方向检测器401)，用于检测在原始图像中考虑的目标像素处的边缘方向；置信度检测部件(图2所示的置信度检测器103或图19所示的置信度检测器403)，用于检测边缘方向的置信度；对比检测部件(例如，图2所示的对比计算器105或图19所示的对比计算器405)，用于检测目标像素的对比强度，所述对比强度表征包含并邻近目标像素的第一区域中的对比的强度；纹理对比权重设置部件(例如，图2所示纹理对比分布生成器108或图19所示纹理对比分布生成器408)，用于设置目标像素的纹理对比权重(例如，weight_contrast_T)，所用于设置目标像素的纹理对比权重，所述纹理对比权重是基于目标像素的对比强度相对于在纹理区域中以较高出现频率出现的预定对比强度的接近程度的权重，所述纹理区域是其中像素值变化的量比平坦区域更大且比边缘区域更小的区域，所述平坦区域是其中像素值基本不变的区域，并且所述边缘区域是其中像素值剧烈变化的区域；第一边缘对比权重设置部件(例如，图2所示的边缘对比分布生成器109或图19所示的边缘对比分布生成器409)，用于为目标像素设置第一边缘对比权重(例如，weight_contrast_E)，第一边缘对比权重是基于目标像素的对比强度相对于在边缘区域以较高出现频率出现的预定对比强度的接近程度的权重；纹理权重设置部件(例如，图2所示的纹理强度信息生成器113或图19所示的纹理强度信息生成器413)，用于设置纹理权重(例如，weight_texture)，纹理权重是基于在包括并邻近目标像素的第二区域中的各个像素的边缘方向、各个像素的边缘方向的置信度的权重，以及各个像素的纹理对比权重的权重；边缘权重设置部件(例如，图2所示的边缘强度信息生成器114或图19所示的边缘强度信息生成器414)，用于设置边缘权重(例如，weight_edge)，边缘权重是基于在包括并邻近目标像素的第三区域中的各个像素的边缘方向、各个像素的边缘方向的置信度以及各个像素的第一边缘对比权重的权重；纹理过滤部件(例如，图4所示的纹理过滤器203)，用于对原始图像执行纹理过滤以生成第一纹理过滤图像，纹理过滤针对于涉及纹理区域的处理；边缘过滤部件(例如，图4所示的边缘过滤器205)，用于对原始图像执行边缘过滤以生成第一边缘过滤图像，边缘过滤针对于涉及边缘区域的处理；纹理合并部件(例如，图4所示的自适应纹理混合器204)，用于使用基于纹理权重的权重来将原始图像和第一纹理过滤图像的相应位置处的像素值加在一起，以生成第一纹理合并图像；以及边缘合并部件(例如，图4所示的自适应边缘混合器206)，用于使用基于边缘权重的权重来将第一纹理合并图像和第一边缘过滤图像的相应位置处的像素值加在一起，以生成第一边缘合并图像。

图像处理设备还可包括平坦对比权重设置部件(例如，图2所示平坦对比分布生成器107或图19所示平坦对比分布生成器407)，用于设置目标像素的平坦对比权重(例如，weight_contrast_F)，平坦对比权重是基于目标像素的对比强度相对于在平坦区域中以较高出现频率出现的预定对比强度的接近程度的权重；平坦权重设置部件(例如，图2所示平坦强度信息生成器112或图19所示平坦强度信息生成器412)，用于设置平坦权重(例如，weight_flat)，平坦权重是基于在包括并邻近目标像素的第四区域中的各个像素的边缘方向、各个像素的边缘方向的置信度以及各个像素的平坦对比权重的权重；平坦过滤部件(例如，图4所示的平坦过滤器201)，用于执行平坦过滤以生成平坦过滤图像，平坦过滤针对于涉及平坦区域的处理；以及平坦合并部件(例如，图4所示的自适应平坦混合器202)，用于使用基于平坦权重的权重来将原始图像和平坦过滤图像的相应位置处的像素的像素值加在一起，以生成平坦合并图像。在这种情况下，纹理合并部件使用基于纹理权重的权重来将平坦合并图像和第一纹理过滤图像的相应位置处的像素的像素值加在一起，以生成第二纹理合并图像。而且，边缘合并部件使用基于边缘权重的权重来将第二纹理合并图像和第一边缘过滤图像的相应位置处的像素的像素值加在一起，以生成第二边缘合并图像。

图像处理设备还可包括第二边缘对比权重设置部件(例如，图2所示的倾斜对比分布生成器106)，用于为目标像素设置第二边缘对比权重(例如，weight_contrast_S)，第二边缘对比权重是基于目标像素的对比强度相对于在边缘区域中以较高出现频率出现的预定对比强度的接近程度；方向选择部件(例如，图2所示的梯度选择器110)，用于基于在包括并邻近目标像素的第四区域中的各个像素的边缘方向、各个像素的边缘方向的置信度和各个像素的第二边缘对比权重，选择用于选择目标像素的内插要使用的像素的选择方向；倾斜权重设置部件(例如，图2所示的倾斜权重设置器111)，用于设置倾斜权重(例如，weight_slant)，倾斜权重是基于在包括和邻近目标像素的第五区域中各个像素的边缘方向、各个像素的边缘方向的置信度和各个像素的第二边缘对比权重的权重；第一内插部件(例如，图3所示的统计梯度内插器152)，用于通过使用在所述选择方向上邻近于目标像素的任一边的像素来计算目标像素的像素值，以通过原始图像的内插来生成第一内插图像；第二内插部件(例如，图3所示的线性内插器151)，用于以与第一内插部件的内插不同的方式，通过原始图像的内插来生成第二内插图像；以及内插图像合并部件(例如，图3所示的倾斜合并器153)，用于使用基于倾斜权重的权重来将第一内插图像和第二内插图像在相应位置处的像素的像素值加在一起，以生成内插合并图像。在这种情况下，纹理过滤部件对内插合并图像执行纹理过滤用于生成第二纹理过滤图像，边缘过滤部件对内插合并图像执行边缘过滤用于生成第二边缘过滤图像，纹理合并部件使用基于纹理权重的权重来将内插合并图像和第二纹理过滤图像在相应位置处的像素的像素值加在一起，以生成第二纹理合并图像，而边缘合并部件使用基于边缘权重的权重来将第二纹理合并图像和第二边缘过滤图像在相应位置处的像素的像素值加在一起，以生成第二边缘合并图像。

根据本发明另一实施例的图像处理方法、程序或其上记录程序的记录介质包括如下步骤：检测在原始图像中考虑的目标像素的边缘方向(例如，图7所示的步骤S56或图21所示的步骤S256)；检测边缘方向的置信度(例如，图7所示的步骤S57或图21所示的步骤S257)；检测目标像素的对比强度(例如，图7所示的步骤S60或图21所示的步骤S260)，对比强度表示在包括并邻近目标像素的第一区域中的对比的强度；设置目标像素的纹理对比权重(例如，weight_contrast_T)(例如，图8所示的步骤S66或图22所示的步骤S265)，纹理对比权重是基于目标像素的对比强度相对于在纹理区域中以较高出现频率出现的预定对比强度的接近程度的权重，纹理区域是其中像素值的变化量比平坦区域更大并比边缘区域更小的区域，平坦区域是其中像素值基本不变的区域，而边缘区域是其中像素值剧烈变化的区域；设置目标像素的边缘对比权重(例如，weight_contrast_E)(例如，图8所示的步骤S67或图22所示的S266)，边缘对比权重是基于目标像素的对比强度相对于在边缘区域中以较高出现频率出现的预定对比强度的接近程度的权重；设置纹理权重(例如，weight_texture)(例如，图8所示的步骤S71或图22所示的步骤S268)，纹理权重是基于在包括并邻近目标像素的第二区域中各个像素的边缘方向、各个像素的边缘方向的置信度、以及各个像素的纹理对比权重的权重；设置边缘权重(例如，weight_edge)(例如，图8所示的步骤S70或图22所示的步骤S267)，边缘权重是基于在包括并邻近目标像素的第三区域中各个像素的边缘方向、各个像素的边缘方向的置信度和各个像素的边缘对比权重的权重；对原始图像执行纹理过滤以生成纹理过滤图像(例如，图16所示的步骤S152)，纹理过滤针对于涉及纹理区域的处理；对原始图像执行边缘过滤用于生成边缘过滤图像(例如，图16所示的步骤S153)，边缘过滤针对于涉及边缘区域的处理；使用基于纹理权重的权重来将原始图像和纹理过滤图像在相应位置处的像素值加在一起，以生成纹理合并图像(例如，图16所示的步骤S155)；以及使用基于边缘权重的权重来将纹理合并图像和边缘过滤图像在相应位置处的像素的像素值加在一起，以生成边缘合并图像(例如，图16所示的步骤S156)。

现在，将参考附图描述本发明的实施例。

图1是表示根据本发明实施例的图像处理设备的框图。根据本实施例的图像处理设备1包括图像输入单元11、图像处理单元12和图像输出单元13。

图像输入单元11向图像处理单元12输入要被处理的图像(下文称为输入图像)，例如，从记录介质读取的图像或从外部设备传送的图像。

如在下文参考图5主要描述的，图像处理单元12转换输入图像的分辨率(即，拉大或缩减输入图像)。图像处理单元12包括归档器21、倍增器22、增强器23、缩减器24和图像存储单元25。归档器12、倍增器22、增强器23、缩减器24和图像存储单元25通过总线26互相连接。总线26也连接至图像输入单元11和图像输出单元13。虽然图像处理设备1的部件通过总线26互相交换信息，但总线26将不在下文中具体描述。

归档器21执行归档处理，如将在下文参考图7和8主要描述。更具体地，归档器21检测从外部输入的图像的边缘的方向、和边缘的置信度。而且，归档器21检测从外部输入的图像的对比强度。而且，归档器21选择用于选择要用来内插目标像素的像素的方向，并将表示选择结果的信息提供至倍增器22。

而且，归档器21设置基于边缘方向的突出性(prominence)的权重，倍增器22使用其来合并图像。边缘方向的突出性表示在图像中目标像素和相邻像素的区域中边缘方向是突出的还是模糊的。例如，当目标区域中的边缘具有高强度和基本一致的方向时，我们认为目标方向的突出性是高的，而当边缘具有低强度或变化的方向时，我们认为边缘方向的突出性是低的。归档器21向倍增器22提供表示边缘方向突出性的信息。

而且，归档器21设置基于图像的平坦分量的强度(下文称为平坦强度)的权重，由增强器23使用其来合并图像。平坦分量是指在图像中构成平坦区域的像素，其中像素值是基本不变的。平坦强度是反映平坦分量在图像目标区域中的比率的值。当像素值的变化量相对于目标区域中的位置的变化量变得越小时，平坦强度越大，而当像素值的变化量相对于位置的变化量变得越大时，平坦强度越小。归档器21向增强器23提供表示权重的信息。

而且，归档器21设置基于图像的纹理分量的强度(下文称为纹理强度)的权重，由增强器23使用其来合并图像。纹理分量指构成纹理区域的像素，纹理区域中的像素值比在平坦区域中高出一定程度地剧烈变化，如在对象的表面的纹理的情况下。纹理强度是指反映纹理分量在图像的目标区域中的比率的值。当像素值的变化量相对于目标区域中的位置变化量变得越接近一定程度时，纹理强度越大，而当像素值的变化量相对于位置变化量变得远离该一定程度时，纹理强度越低。归档器21向增强器23提供表示权重的信息。

而且，归档器21设置基于图像的边缘分量的强度(下文称为边缘强度)的权重，由增强器23使用其来合并图像。边缘分量指构成图像边缘及其邻域的像素。边缘强度是指反映边缘分量在图像的目标区域中的比率的值。当像素值的变化量相对于目标区域的位置变化量变得越大时，边缘强度越大，而当像素值的变化量相对于位置变化量变得越小时，边缘强度越低。归档器21向增强器23提供表示权重的信息。

倍增器22执行倍增处理，以倍增从外部输入的图像的水平或垂直分辨率，如将在下文参考图15主要描述。倍增器22向图像存储单元25提供通过倍增处理获得的图像。

增强器23执行增强处理，以调整从外部输入的图像的图像质量，如将在下文参考图16主要描述。增强器23向图像存储单元25提供通过增强处理获得的图像。

缩减器24根据预定方法，通过减少从外部输入的图像的分辨率来缩减图像。缩减图像的方法不限于特定方法。例如，缩减器24可使用双三次滤波器来缩减图像。缩减器24向图像存储单元25提供通过缩减获得的图像。

图像存储单元25包括存储设备，使得从图像输入单元11、归档器21、倍增器22、增强器23或缩减器24提供的图像可以临时存储在其中。而且，如果需要，图像存储单元25向图像输出单元13、归档器21、倍增器22、增强器23或缩减器24提供其中存储的图像。

图像输出单元13在显示器(未示出)上显示图像，例如从图像处理单元12输出的图像，在记录介质上记录图像或通过传输介质向另一设备发送图像。

图2是表示归档器21的示例配置的框图。归档器21包括方向检测器101、方向分布生成器102、置信度检测器103、置信度分布生成器104、对比计算器105、倾斜对比分布生成器106、平坦对比分布生成器107、纹理对比分布生成器108、边缘对比分布生成器109、梯度选择器110、倾斜权重设置器111、平坦强度信息生成器112、纹理强度信息生成器113和边缘强度信息生成器114。

方向检测器101检测从外部输入的图像中的边缘方向，如将在下文参考图7主要描述。方向检测器101向方向分布生成器102和置信度检测器103提供表示边缘方向的边缘方向信息。

方向分布生成器102生成表示由方向检测器101检测的边缘方向的分布的方向分布，如将在下文参考图11所述。方向分布生成器102向梯度选择器110、倾斜权重设置器111、倾斜权重信息生成器112、纹理强度信息生成器113和边缘强度信息生成器114提供表示方向分布的方向分布信息。

置信度检测器103检测关于从外部输入的图像的、由方向检测器101检测的边缘方向的置信度，如将在下文主要参考图7所述。置信度检测器103向置信度分布生成器104提供表示置信度的置信度信息。

置信度分布生成器104生成表示由置信度检测器103检测的置信度的分布的置信度分布，如将在下文参考图12所述。置信度分布生成器104向梯度选择器110、倾斜权重设置器111、平坦强度信息生成器112、纹理强度信息生成器113和边缘强度信息生成器114提供表示置信度分布的置信度分布信息。

对比计算器105检测表示从外部输入的图像的对比的强度的对比强度。对比计算器105向倾斜对比分布生成器106、平坦对比分布生成器107、纹理对比分布生成器108和边缘对比分布生成器109提供表示对比强度的对比信息。

倾斜对比分布生成器106设置weight_contrast_S，其是基于对比强度的权重，如将在下文参考图13和14所述。倾斜对比分布生成器106生成表示weight_contrast_S的分布的对比分布。倾斜对比分布生成器106向梯度选择器110、倾斜权重设置器111和倍增器22提供表示对比分布的对比分布信息。

平坦对比分布生成器107设置weight_contrast_F，其是基于对比强度的权重，如将在下文参考图13和14所述。平坦对比分布生成器107生成表示weight contrast F的分布的对比分布。平坦对比分布生成器107向平坦强度设置器112提供表示对比分布的对比分布信息。

纹理对比分布生成器108设置weight_contrast_T，其是基于对比强度的权重，如将在下文参考图13和14所述。纹理对比分布生成器108生成表示weight_contrast_T的分布的对比分布。纹理对比分布生成器108向纹理强度信息生成器113提供表示对比分布的对比分布信息。

边缘对比分布生成器109设置weight_contrast_E，其是基于对比强度的权重，如将在下文参考图13和14所述。边缘对比分布生成器109生成表示weight_contrast-S的分布的对比分布。边缘对比分布生成器109向边缘强度信息生成器114提供表示对比分布的对比分布信息。

下文，将weight_contrast_S、weight_contrast_F、weight_contrast_T和weight_contrast_E一起称为对比权重。

梯度选择器110根据方向分布、置信度分布和weight_contrast_S，选择要用于选择为目标像素的内插而使用的像素的方向，如将在下文参考图8所述。梯度选择器110向倍增器22提供表示选择结果的梯度选择信息。

倾斜权重设置器111根据方向分布、置信度分布和weight_contrast_S，设置weight_slant，其是基于在输入至归档器21的图像中边缘的梯度的突出性的权重，如将在下文参考图8所述。倾斜权重设置器111向倍增器22提供表示weight_slant的倾斜权重信息。

平坦强度信息生成器112根据方向分布、置信度分布和weight_contrast_F，设置weight_flat，其是基于输入至归档器21的图像的平坦强度的权重，如将在下文参考图8所述。平坦强度信息生成器112向增强器23提供表示weight_flat的平坦强度信息。

纹理强度信息生成器113根据方向分布、置信度分布和weight_contrast_T，设置weight_texture，其是基于输入至归档器21的图像的纹理强度的权重，如将在下文参考图8所述。纹理强度信息生成器113向增强器23提供表示weight_texture的纹理强度信息。

边缘强度信息生成器114设置根据方向分布、置信度分布和weight_contrast_E，设置weight_edge，其是基于输入至归档器21的图像的纹理强度的权重，如将在下文参考图8所述。边缘强度信息生成器114向增强器23提供表示weight_edge的边缘强度信息。

图3是表示倍增器22的示例配置的框图。倍增器22包括线性内插器151、统计梯度内插器152和倾斜合并器153。

线性内插器151对从外部输入的图像执行线性内插，如将在下文参考图15所述。线性内插器151向倾斜合并器153提供通过线性内插获得的图像(下文称为线性内插图像)。下文中，构成线性内插图像的像素将被称为线性内插像素。

统计梯度内插器152从倾斜对比分布生成器106获得对比分布信息。而且，统计梯度内插器152从梯度选择器110获得梯度选择信息。统计梯度内插器152对从外部输入的图像执行统计梯度内插，如将在下文参考图15所述。统计梯度内插器152向倾斜合并器153提供通过统计梯度内插获得的图像(下文称为统计梯度内插图像)。下文中，构成统计梯度内插图像的像素将被称为统计梯度内插像素。

倾斜合并器153从倾斜权重设置器111获得倾斜权重信息。如将在后面参考图16描述的，倾斜合并器153使用基于由倾斜权重信息表示的weight_slant的权重，通过将从线性内插器151提供的线性内插图像和从统计梯度内插器152提供的统计梯度内插图像在对应位置的像素的像素值加在一起，来合并两个图像。倾斜合并器153向图像存储单元25提供通过合并获得的图像(下文称为倾斜合并图像)。下文中，构成倾斜合并图像的像素将被称为倾斜合并像素。

图4是表示增强器23的示例配置的框图。增强器23包括平坦过滤器201、自适应平坦混合器202、纹理过滤器203、自适应纹理混合器204、边缘过滤器205和自适应边缘混合器206。

平坦过滤器201对从外部输入的图像像素执行平坦过滤，其主要针对于处理平坦区域，如将在下文参考图16所述。平坦过滤器201向自适应平坦混合器202提供由通过平坦过滤获得的像素组成的图像(下文称为平坦图像)。

自适应平坦混合器202使用基于由平坦强度信息表示的的weight_flat的权重，通过将从外部输入的图像和从平坦过滤器201提供的平坦图像在相应位置的像素的像素值加在一起，来合并两个图像，如下文参考图16所述。自适应平坦混合器202向自适应纹理混合器204提供通过合并获得的图像(下文称为平坦混合图像)。下文中，构成平坦混合图像的像素将被称为平坦混合像素。

纹理过滤器203对从外部输入的图像执行纹理过滤，其主要针对于处理纹理区域，如将在下文主要参考图17所述。纹理过滤器203向自适应纹理混合器204提供由通过纹理过滤获得的像素(下文称为纹理像素)组成的图像(下文称为纹理图像)。

自适应纹理混合器204使用基于由纹理强度信息表示的weight_texture的权重，通过将从自适应平坦混合器202提供的平坦混合图像和从纹理过滤器203提供的纹理图像在相应位置的像素的像素值加在一起，来合并两个图像，如将在下文主要参考图16所述。自适应纹理混合器204向自适应边缘混合器206提供通过合并获得的图像(下文称为纹理混合图像)。下文中，构成纹理混合图像的像素将被称为纹理混合像素。

边缘过滤器205对从外部输入的图像执行边缘过滤，其主要针对于处理边缘区域，如将在下文主要参考图17所述。边缘过滤器205向自适应边缘混合器206提供由通过边缘过滤获得的像素(下文称为边缘像素)组成的图像(下文称为边缘图像)。

自适应边缘混合器206使用基于由边缘强度信息表示的weight_edge的权重，通过将从自适应纹理混合器204提供的纹理混合图像和从边缘过滤器205提供的边缘图像在相应位置的像素的像素值加在一起，来合并两个图像，如将在下文参考图16所述，自适应边缘混合器206向图像存储单元25提供通过合并获得的图像(下文称为边缘混合图像)。

接下来，将参考图5至18描述由图像处理设备1执行的处理。

首先，将参考图5所示的流程图描述由图像处理设备1执行的图像放大因子改变处理。例如，当用户操作图像处理设备1的操作单元(未示出)，以将图像(输入图像)从图像输入单元11输入到图像处理单元12、并指示输入图像的放大因子的改变时，开始图像放大因子改变处理。将输入图像提供给图像存储单元25并临时存储在其中。

在步骤S1，图像处理单元12将放大因子Z设置为变量z。放大因子Z是放大或缩小输入图像的因子。例如，由用户通过操作单元(未示出)输入放大因子Z。放大因子Z选择为比0大的值。

在步骤S2，图像处理单元12检查变量z是否大于1。当确定变量z大于1时，处理进行到步骤S3。

在步骤S3，图像处理单元12执行密度倍增处理，以在垂直方向和水平方向这两者上倍增在图像存储单元25中存储的图像的分辨率。下面将参考图6详细描述密度倍增处理。具有双倍垂直和水平分辨率的图像被临时存储在图像存储单元25中。

在步骤S4，图像处理单元12将变量z的值改变为变量z的当前值的一半。

然后，处理返回至步骤S2。重复步骤S2至S4直到在步骤S2中确定变量z小于或等于1。也就是，重复用于倍增在图像存储单元25中存储的图像的垂直和水平分辨率的处理。

当在步骤S2中确定变量z小于或等于1时，即，当由用户输入的放大因子小于或等于1时、或者当通过步骤S4变量z的值小于或等于1时，处理进行至步骤S5。

在步骤S5，图像处理单元12检查变量z是否大于0且小于1。当确定变量z大于0且小于1时，处理进行到步骤S6。

在步骤S6，缩减器24执行缩减。更具体地，图像存储单元25向缩减器24提供其中存储的图像。缩减器24根据由变量z代表的放大因子，根据预定方法来缩减图像。缩减器24向图像存储单元25提供通过缩减获得的图像，并且图像存储单元25在其中临时存储该图像。

当在步骤S5中确定变量z是1时，即，当用户输入的放大因子z是1时或当经过步骤S4变量z变为1时，跳过步骤S6，并且处理进行到步骤S7。

在步骤S7，图像输出单元13显示输出。更具体地，图像存储单元25向图像输出单元13提供其中存储的图像，并且图像输出单元13向显示器(未示出)提供图像，从而显示该图像。这结束了图像放大因子改变处理。

接下来，将参考图6所示的流程图详细描述图5中所示的步骤S3执行的密度倍增处理。

在步骤S21，归档器21执行归档处理。下文将参考图7和8的流程图详细描述归档处理。

在步骤S51，图像存储单元25提供图像。更具体地，图像存储单元25向归档器21的方向检测器101、置信度检测器103和对比计算器105提供经过密度倍增处理的图像。

在步骤S52，归档器21设置目标像素和目标区域。更具体地，归档器21从通过对从图像存储单元25获得的图像进行内插而添加的像素(下文称为内插像素)中选择还没有进行归档处理的像素，并将内插像素设置为目标像素。而且，归档器21将中心围绕该目标像素的预定范围的区域(垂直Mt×水平Nt像素)设置为目标区域。Mt和Nt的值是可变的。

图9是表示目标像素和目标区域的图。在图9中，白圆表示目标像素，黑圆表示除了目标像素之外的内插像素，带阴影的圆表示在内插前的图像中(下文称为原始图像)最初存在的像素(下文称为现有像素)。水平方向的实线表示由现有像素形成的水平行(下文称为现有行)，而水平方向的虚线表示由内插像素形成的水平行(下文称为内插行)。由粗框限定的区域Rt表示目标区域。在图9所示的示例中，目标区域由以目标像素为中心围绕的垂直5(Mt＝5)×水平5(Nt＝5)个像素形成。将在Mt＝5和Nt＝5的示例的上下文中给出下面的描述。

对于由图像处理设备1处理的每个图像，下文中将假设水平方向对应于x轴方向，而垂直方向对应于y轴方向，并且x轴的正向是向右的，而y轴的正向是向上的。而且，将目标区域的左上角的内插像素的坐标标记为(x_t0，y_t0)。

在步骤S53，方向检测器101设置边缘方向检测区域。更具体地，首先，归档器21从目标区域中的内插像素中选择还没有检测边缘方向的内插像素。下文中，将此时选择的内插像素称为边缘方向检测像素。

方向检测器101从在上邻近于边缘方向检测像素的现有行中提取中心围绕在上邻近于边缘方向像素的像素周围的Nd个现有像素。而且，方向检测器101从在下邻近于边缘方向检测像素的现有行中提取中心围绕在下邻近于边缘方向检测像素的像素周围的Nd个现有像素。Nd的值是可变的。将在Nd＝5的示例的上下文中给出下面的描述。

对于在提取的现有像素中水平邻近像素之间的每个间距，方向检测器101生成虚拟像素，并在相关的现有像素之间的间距中内插该虚拟像素。通过对分别左邻近于和右邻近于虚拟像素的两个现有像素的像素值进行平均而确定虚拟像素的像素值。边缘方向检测像素、所提取的现有像素和在现有像素之间内插的虚拟像素构成边缘方向检测区域。

图10是表示具有Nd＝5的边缘方向检测区域中的像素之间的位置关系的图。在图10中，黑圆表示边缘方向检测像素，带阴影的圆表示现有像素，而虚线圆表示虚拟像素。在图10所示的边缘方向检测区域中，在分别上邻近和下邻近于边缘方向检测像素的行的每一个上，布置(locate)从原始图像提取的五个现有像素和在现有像素之间内插的虚拟像素。

下文中，在上邻近于边缘方向检测像素的行上的像素将被标记为Pu(i)(i＝0、1、2、、2Nd-2)，在下邻近于边缘方向检测像素的行上的像素将被标记为Pd(i)(i＝0、1、2、、2Nd-2)，其中，这些行的各自的左端的像素被标记为Pu(0)和Pd(0)，而这些行的各自的右端的像素被标记为Pu(2Nd-2)和Pd(2Nd-2)。在图10所示的示例中，因为nd＝5，所以这些行的各自的右端的像素被标记为Pu(8)和Pd(8)。Pu(i)和Pd(i)也用于分别标记像素Pu(i)和Pd(i)的像素值。

而且，下文中，经过在边缘方向检测区域中关于边缘方向检测像素对角布置的像素的方向将被标记为Ldir(dir＝0、1、2、、2Nd-2)，其中dir表示标识每个方向的编号。在图10所示的示例的情况中，对于经过关于边缘方向检测像素对角布置的像素Pu(0)和Pd(8)的方向L0，dir是0，以及对于经过关于边缘方向检测像素对角布置的像素Pu(1)和Pd(7)的方向L1，dir是1。类似地，dir采用从0至8的值。经过现有像素的方向将被称为现有方向，而经过虚拟像素的方向将被称为虚拟方向。在图10所示的示例中，方向L0、L2、L4、L6和L8是现有方向，而方向L1、L3、L5和L7是虚拟方向。

而且，方向检测器101对边缘方向检测区域中的像素Pu(i)和Pd(i)分别获得平滑的像素值Pu’(i)(i＝0、1、2、、2Nd-2)和Pd’(i)(i＝0、1、2、、2Nd-2)。更具体地，方向检测器101通过使用低通过滤器(LPF)(未示出)等的频带限制，来平滑原始图像，从而获得平滑图像。而且，作为边缘方向检测区域中的像素之间的现有像素的平滑像素值Pu’(i)和Pd’(i)，方向检测器101在光滑图像的相应位置处设置像素的像素值。而且，作为边缘方向检测区域中的像素之间的虚拟像素的平滑像素值Pu’(i)和Pd’(i)，方向检测器101设置左和右邻近的现有像素的平滑像素值的各个平均值。

在步骤S54，方向检测器101计算局部能量。更具体地，方向检测器101根据下列表达式(1)来计算边缘方向检测区域EL的局部能量EL：

EL＝∑(i＝0，Nd-1){Coef_EL(i)×|Pu′(2i)-Pd′(2i)|}…(1)

也就是说，通过计算边缘方向检测区域中垂直相邻的现有像素之间的每个间距的相关平滑像素值之间的差的绝对值、将对各个间距所得到的绝对值乘以预定系数(Coef_EL(i))、并将乘积相加，来计算局部能量EL。

在步骤S55，方向检测器101检测局部能量EL是否大于预定阈值。当确定局部能量EL大于预定阈值时，处理进行至步骤S56。

在步骤S56，方向检测器101检测边缘方向。更具体地，首先，当从0至2Nd-2递增dir的值时，方向检测器101重复执行下面根据表达式(2)和(3)的计算。

E(dir)＝|Pu′(dir)-Pd′(2N-2-dir)|…(2)

fiff(dir)＝|(Pu(dir)-Pd(2N-2-dir)|…(3)

然后，方向检测器101确定max_dir，其是与具有最大能量E(dir)的方向相关的dir。

而且，方向检测器101确定left_dir，其是与在经过目标像素的垂直方向以及相对于该垂直方向向左倾斜的方向(左上方向)中具有最低能量E(dir)的方向相关的dir。在图10所示的示例的情况中，left_dir是在方向L0至L4中具有最低能量E(dir)的方向的dir。

而且，方向检测器101确定right_dir，其是与在经过目标像素的垂直方向以及相对于该垂直方向向右倾斜的方向(右上方向)中具有最低能量E(dir)的方向相关的dir。在图10所示的示例的情况中，right_dir是在方向L4至L8中具有最低能量E(dir)的方向的dir。

下文中，将与经过边缘方向检测像素的垂直方向相关的dir标记为mid_dir。在图10所示的示例的情况中，mid_dir是与方向L4相关的dir。而且，下文中，与dir、max_dir、left_dir、right_dir和mid_dir相关的方向将分别被称为方向dir、方向max_dir、方向left_dir、方向right_dir和方向mid_dir。

然后，方向检测器101获得在目标像素处的边缘方向sel_dir。更具体地，当满足下面的条件表达式(4)至(6)之一时，方向检测器101设置sel_dir＝left_dir，其中angle(max_dir，left_dir)表示方向max_dir和方向left_dir之间的角度，而angle(max_dir，right_dir)表示方向max_dir和方向right_dir之间的角度：

|angle(max_dir，left_dir)|＞|angle(max_dir，right_dir)|…(4)

|angle(max_dir，left_dir)|＝|angle(max_dir，right_dir)|

∧(angle(max_dir，mid_dir)＞0)…(5)

|angle(max_dir，left_dir)|＝|angle(max_air，right_dir)|

∧(angle(max_dir，mid_dir)＝0)

∧(E(right_dir)＞E(left_dir))…(6)

而且，当满足条件表达式(7)至(9)之一时，方向检测器101设置sel_dir＝right_dir：

|angle(max_dir，left_dir)|＜|angle(max_dir，right_dir)|…(7)

|angle(max_dir，left_dir)|＝|angle(max_dir，right_dir)|

(angle(max_dir，mid_dir)＜0)…(8)

|angle(max_dir，left_dir)|＝|angle(max_dir，right_dir)|

∧(angle(max_dir，mid_dir)＝0)

∧(E(right_dir)＜E(left_air))…(9)

当不满足上面的条件表达式(4)至(9)的任何一个时，方向检测器101设置sel_dir＝mid_dir。

当边缘方向sel_dir是虚拟方向时，当满足下面的条件表达式(10)时，方向检测器101进一步设置sel_dir＝sel_dir+1：

(E(sel_dir+1)＜E(sel_dir-1)

∧(diff(sel_dir+1)＜diff(sel_dir-1))

∧(sel_dir+1≠mid_dir)…(10)

类似地，当边缘方向sel_dir是虚拟方向时，当满足下面的条件表达式(11)时，方向检测器101设置sel_dir＝sel_dir-1：

(E(sel_dir+1)＞E(sel_dir-1)

∧(diff(sel_dir+1)＞diff(sel_dir-1))

∧(sel_dir-1≠mid_dir)…(11)

方向检测器101向方向分布生成器102和置信度检测器103提供边缘方向信息，其表示局部能量EL超出预定阈值并表示边缘方向sel_dir。

在步骤S57，方向检测器101检测边缘方向sel_dir的置信度。更具体地，首先，作为边缘方向检测像素的像素值，置信度检测器103计算在相对于边缘方向检测区域中的边缘方向检测像素的边缘方向sel_dir上的两个像素(在较上面行的像素和较下面行的像素)的像素值的均值。下文中，此时计算的像素值被标记为Pp。

然后，置信度检测器103检查对边缘方向检测像素计算的像素值Pp是否匹配边缘方向检测像素周边的像素的像素值。更具体地，首先，置信度检测器103根据如下表达式(12)，计算表示关于边缘方向检测像素的像素值的垂直变化的值Vv：

Vv＝(Pu(Nd-1)-Pp)×(Pp-Pd(Nd-1))        …(12)

然后，置信度检测器103根据如下表达式(13)，计算表示在边缘方向检测像素的较上面行上的像素值的水平变化的值Vh_up：

Vh_up＝(Pu(Nd-1)-Pu(Nd))×(Pu(Nd-2)-Pu(Nd-1))    …(13)

然后，置信度检测器103根据如下的表达式(14)，计算表示在边缘方向检测像素的较下面行上的像素值的水平变化的值Vh_down：

Vh_down＝(Pd(Nd-1)-Pd(Nd))×(Pd(Nd-2)-Pd(Nd-1))    …(14)

然后，当全部满足下面的条件表达式(15)至(23)时，置信度检测器103确定像素值Pp不匹配在边缘方向检测像素的周边的像素的像素值。也就是，置信度检测器103确定所检测的边缘方向sel_dir的置信度为低，因此，基于边缘方向sel_dir计算的像素值Pp是不合适的。在此情况下，置信度检测器103设置0为在边缘方向检测像素处检测的边缘方向sel_dir的置信度。

Vv＜0                 …(15)

Vh_up＜0              …(16)

Vh_down＜0            …(17)

|Pu(Nd-1)-Pp|＞Tc1    …(18)

|Pp-Pd(Nd-1)|＞Tc2    …(19)

|Pu(Nd-1)-Pu(Nd)|＞Tc3      …(20)

|Pu(Nd-2)-Pu(Nd-1)|＞Tc4    …(21)

|Pd(Nd-1)-Pd(Nd)|＞Tc5      …(22)

|Pd(Nd-2)-Pd(Nd-1)|＞Tc6    …(23)

其中Tc1至Tc6是预定阈值。

另一方面，当不满足一个或多个条件表达式(15)至(23)时，置信度检测器103确定像素值Pp匹配在边缘方向检测像素的周边的像素的像素值。也就是，置信度检测器103确定所检测的边缘方向sel_dir的置信度为高，因此，基于边缘方向sel_dir计算的像素值Pp是合适的。在此情况下，置信度检测器103设置1为在边缘方向检测像素处检测的边缘方向sel_dir的置信度。

也就是，基于在使用相对于边缘方向检测像素位于边缘方向sel_dir上的像素计算的像素值和在边缘方向检测像素的周边的像素的像素值之间的匹配，来检测边缘方向sel_dir的置信度。

置信度检测器103向置信度分布生成器104提供表示置信度的置信度信息，然后处理进行至步骤S60。

下文中，在坐标(x，y)处的内插像素的边缘方向的置信度将被标记为confidence(x，y)。

当在步骤S55确定局部能量EL小于或等于预定阈值时，处理进行至步骤S58。

在步骤58，方向检测器101尝试性地设置边缘方向。更具体地，方向检测器101假设当前边缘方向检测区域是不包括边缘的平坦低能量区域，并尝试性地设置mid_dir作为边缘方向sel_dir。方向检测器101向方向分布生成器102和置信度检测器103提供表示局部能量EL小于或等于预定阈值并表示边缘方向sel_dir的边缘方向信息。

在步骤S59，置信度检测器103尝试性地设置置信度。更具体地，置信度检测器103将表示置信度还没有固定的2设置为当前边缘方向检测像素处的边缘方向的置信度。置信度检测器103向置信度分布生成器104提供表示置信度的置信度信息。

在步骤S60，对比计算器105检测对比强度。更具体地，对比计算器105在中心围绕边缘方向检测像素的原始图像的垂直Mc×水平Nc个像素的区域(下文称为对比检测区域)中提取像素。Mc和Nc的值是可变的。下文中，在对比检测区域中将使用i方向对应于水平方向、j方向对应于垂直方向以及左上角的像素的坐标表示为(0，0)的坐标系统。

对比计算器105根据如下的表达式(24)，计算边缘方向检测像素处的对比强度：

Int_Contrast(x，y)

＝∑_{i1＝0...Nc-1}∑_{j1＝0...Mc-1}∑i2＝_0...Nc-1∑j_2＝0...Mc-1

{Coef_Contrast(i1-i2，j1-j2)×|Porg(i1，j1)-Porg(i2，J2)|}...(24)

Int_Contrast(x，y)表示在通过内插获得的图像中的坐标(x，y)处的边缘方向检测像素的对比强度。Porg(i1，j1)和Porg(i2，j2)分别表示在坐标(i1，j1)和(i2，j2)处的像素的像素值。Coef_Contrast(i1-i2，j1-j2)表示基于坐标(i1，j1)和(i2，j2)之间的间距的权重，其随着间距减少而变大，并随着间距增加而变小。也就是，边缘方向检测像素处的对比强度是通过将中心围绕边缘方向检测像素的对比检测区域中各个像素的像素值之间的差的绝对值乘以基于像素之间的间距的权重而获得的值之和。

对比计算器105向倾斜对比分布生成器106、平坦对比分布生成器107、纹理对比分布生成器108和边缘对比分布生成器109提供表示对比强度的对比信息。

在步骤S61，归档器21检查是否已完成对于目标区域中的所有内插像素的处理。当确定还没有完成对目标区域中的所有内插像素的处理时，即当还没有对目标区域中的所有内插像素检测边缘方向及其置信度和对比强度时，处理返回至步骤S53。重复步骤S53至S61，直到在步骤S61确定已对目标区域中的所有内插像素完成处理，其中已对目标区域中的所有内插像素检测了边缘方向及其置信度和对比强度。

当在步骤S61确定已对目标区域中的所有内插像素完成处理时，处理进行至步骤S62。

在步骤S62，方向分布生成器102生成方向分布。更具体地，方向分布生成器102根据从方向检测器101提供的边缘方向信息，生成表示目标区域中各个内插像素处的边缘方向的分布的方向分布。图11表示图9所示的目标区域中方向分布的示例。在图11所示的示例中，指示了：与目标区域中最上面的内插行上的各个内插像素处的边缘方向相对应的dir的值从左开始是4、4、8、8、8，与目标区域的中间内插行上的各个内插像素处的边缘方向相对应的dir的值从左开始是8、7、8、7、8，以及与目标区域中在最低内插行上各个内插像素处的边缘方向相对应的dir的值从左开始是8、8、8、4、4。

方向分布生成器102向梯度选择器110、倾斜权重设置器111、平坦强度信息生成器112、纹理强度信息生成器113和边缘强度信息生成器114提供表示方向分布的方向分布信息。

在步骤S63，置信度分布生成器104生成置信度分布。更具体地，置信度分布生成器104基于从置信度检测器103提供的置信度信息，生成表示目标区域中的各个内插像素处的置信度的分布的置信度分布。图12表示图9所示的目标区域中的置信度分布的示例。在图12所示的示例中，指示了：在目标区域中的最上面的内插行上的各个内插像素处的置信度从左开始是2、2、1、1、1，在目标区域中的中间内插行上的各个内插像素处的置信度从左开始是1、1、0、1、1，以及，在目标区域中的最低内插行上的各个内插像素处的置信度从左开始是1、1、1、2、2。

置信度分布生成器104向梯度选择器110、倾斜权重设置器111、平坦强度信息生成器112、纹理强度信息生成器113和边缘强度信息生成器114提供表示置信度分布的置信度分布信息。

在步骤S64中，倾斜对比分布生成器106生成用于图像内插的对比分布。更具体地，倾斜对比分布生成器106根据如下表达式(25)为目标区域中每个内插像素计算weight_contrast_S：

$\mathrm{Weight}\_\mathrm{contrast}\_S(x,y)=\left\{\begin{array}{cc}0.0& (\mathrm{Int}\_\mathrm{Contrast}(x,y)<\mathrm{Ts}1)\\ \frac{\mathrm{int}\_\mathrm{Contrast}(x,y)-\mathrm{Ts}2}{\mathrm{Ts}2-\mathrm{Ts}1}& (\mathrm{Ts}1\&le;\mathrm{Int}\_\mathrm{Contrast}(x,y)\&le;\mathrm{Ts}2)\\ 1.0& (\mathrm{Int}\_\mathrm{Contrast}(x,y)>\mathrm{Ts}2)\end{array}\right....\left(25\right)$

Weight_contrast_S(x，y)表示具有坐标(x，y)的内插像素处的weight_contrast_S。Ts1和Ts2表示阈值。阈值Ts1和Ts2是可变的。

倾斜对比分布生成器106生成表示目标区域中在内插像素处的weight_contrast_S的分布的对比分布。图13表示weight_contrast_S的对比分布。在图13所示的示例中，指示了：在目标区域中最上内插行上各个内插像素处的weight_contrast_S从左开始是0.0、0.0、0.3、0.8、1.0，在目标区域中在中间内插行上各个内插像素处的weight_contrast_S从左开始是1.0、0.7、0.0、0.0、0.7，在目标区域中在最低内插行上各个内插像素处的weight_contrast_S从左开始是1.0、1.0、0.0、0.0、0.5。倾斜对比分布生成器106向倍增器22的梯度选择器110、倾斜权重设置器111和统计梯度内插器152提供表示weight_contrast_S的对比分布的对比分布信息。

在步骤S65，平坦对比分布生成器107生成平坦分量的对比分布。更具体地，平坦对比分布生成器107根据如下表达式(26)计算目标区域中每个内插像素处的weight_contrast_F：

$\mathrm{Weight}\_\mathrm{contrast}\_F(x,y)=\left\{\begin{array}{cc}1.0& (\mathrm{Int}\_\mathrm{Contrast}(x,y)<\mathrm{Tf}1)\\ \frac{-\mathrm{int}\_\mathrm{Contrast}(x,y)-\mathrm{Tf}2}{\mathrm{Tf}2-\mathrm{Tf}1}& (\mathrm{Tf}1\&le;\mathrm{Int}\_\mathrm{Contrast}(x,y)\&le;\mathrm{Tf}2)\\ 0.0& (\mathrm{Int}\_\mathrm{Contrast}(x,y)>\mathrm{Tf}2)\end{array}\right....\left(26\right)$

weight_contrast_F(x，y)表示具有坐标(x，y)的内插像素处的weight_contrast_F。Tf1和Tf2表示阈值。阈值Tf1和Tf2是可变的。

平坦对比分布生成器107生成表示在目标区域中内插像素处的weight_contrast_F的分布的对比分布。平坦对比分布生成器107向平坦强度信息生成器112提供表示weight_contrast_F的对比分布的对比分布信息。

在步骤S66，纹理对比分布生成器108生成纹理分量的对比分布。更具体地，纹理对比分布生成器108根据如下表达式(27)计算目标区域中每个内插像素的weight_contrast_T：

$\mathrm{Weight}\_\mathrm{contrast}\_T(x,y)=\left\{\begin{array}{cc}0.0& (\mathrm{Int}\_\mathrm{Contraast}(x,y)<\mathrm{Tt}1)\\ \frac{\mathrm{Int}\_\mathrm{Contrast}(x,y)-\mathrm{Tt}1}{\mathrm{Tt}2-\mathrm{Tt}1}& (\mathrm{Tt}1\&le;\mathrm{Int}\_\mathrm{Contrast}(x,y)\&le;\mathrm{Tt}2)\\ 1.0& (\mathrm{Tt}2\&le;\mathrm{Int}\_\mathrm{Contrast}(x,y)\&le;\mathrm{Tt}3)\\ \frac{-\mathrm{Int}\_\mathrm{Contrast}(x,y)+\mathrm{Tt}4}{\mathrm{Tt}4-\mathrm{Tt}3}& (\mathrm{Tt}3\&le;\mathrm{Int}\_\mathrm{Contrast}(x,y)\&le;\mathrm{Tt}4)\\ 0.0& (\mathrm{Int}\_\mathrm{Contraast}(x,y)>\mathrm{Tt}4)\end{array}\right....\left(27\right)$

weight_contrast_T(x，y)表示具有坐标(x，y)的内插像素处的weight_contrast_T。Tt1至Tt4表示阈值。阈值Tt1至Tt4是可变的。

纹理对比分布生成器108生成表示在目标区域中内插像素处的weight_contrast_T的对比的对比分布。纹理对比分布生成器108向纹理强度信息生成器113提供表示weight_contrast_T的对比分布的对比分布信息。

在步骤S67，边缘对比分布生成器109生成边缘分量的对比分布。更具体地，边缘对比分布生成器109根据如下表达式(28)计算目标区域中每个内插像素的weight_contrast_E：

$\mathrm{Weight}\_\mathrm{contrast}\_E(x,y)=\left\{\begin{array}{cc}0.0& (\mathrm{Int}\_\mathrm{Contrast}(x,y)<\mathrm{Te}1)\\ \frac{\mathrm{int}\_\mathrm{Contrast}(x,y)-\mathrm{Te}1}{\mathrm{Te}2-\mathrm{Te}1}& (\mathrm{Te}1\&le;\mathrm{Int}\_\mathrm{Contrast}(x,y)\&le;\mathrm{Te}2)\\ 1.0& (\mathrm{Int}\_\mathrm{Contrast}(x,y)>\mathrm{Te}2)\end{array}\right....\left(28\right)$

weight_contrast_E(x，y)表示具有坐标(x，y)的内插像素处的weight_contrast_E。Te1和Te2表示阈值。阈值Te1和Te2是可变的。

边缘对比分布生成器109生成表示在目标区域中内插像素处的weight_contrast_E的分布的对比分布。边缘对比分布生成器109向边缘强度信息生成器114提供表示weight_contrast_E的对比分布的对比分布信息。

图14是表示对比强度和对比权重之间关系的图，其中水平轴表示对比强度，而垂直轴表示对比权重。

在图14中，线Le表示在阈值Ts1＝阈值Te1且阈值Ts2＝阈值Te2的示例中对比强度和weight_contrast_S和weight_contrast_E之间的关系。weight_contrast_S在对比强度＜Ts1时取最小值0.0，在Ts1≤对比强度Ts2时随对比强度增加而增加，并在对比强度＞Ts2时取最大值1.0。weight_contrast_E在对比强度＜Te1时取最小值0.0，在Te1≤对比强度≤Te2时增加，并取对比强度＞Te2的最大值。

阈值Ts2之上的范围(阈值Te2之上的范围)是在边缘区域(在其像素处)中出现频率较高的对比强度的范围，并且阈值Ts1之下的范围(阈值Te1之下的范围)是在边缘区域(在其像素处)中出现频率较低的对比强度的范围。因此，weight_contrast_S和weight_contrast_E是基于目标像素处的对比强度相对于在边缘区域中出现频率较高的预定对比强度的接近程度的值。

阈值Ts1和Te1可选择为不同值，以及阈值Ts1和Te1可选择为不同值。

在图14中，线Lf表示对比强度和weight_contrast_F之间的关系。更具体地，weight_contrast_F在对比强度＜Tf1时取最大值1.0，在Tf1≤对比强度≤Tf2时随着对比强度减少而减少，并在对比强度＞Tf2时取最小值0.0。

阈值Tf1之下的范围是在平坦区域(在其像素处)中出现频率较高的对比强度的范围，以及阈值Tf2之上的范围是在平坦区域(在其像素处)中出现频率较低的对比强度的范围。因此，weight_contrast_S是基于目标像素处的对比强度相对于在平坦区域中出现频率较高的预定对比频率的接近程度的值。

在图14中，线Lt表示对比强度和weight_contrast_T之间的关系。更具体地，weight_contrast_T在对比强度＜Tt1时取最小值0.0，在Tt1≤对比强度≤Tt2时随着对比强度增加而增加，在Tt2＜对比强度＜Tt3时取最大值1.0，在Tt3≤对比强度≤Tt4时随着对比强度增加而减少，并且在对比强度＜Tt4时取最小值0.0。

从阈值Tt2至阈值Tt3的范围是在纹理区域(在其像素处)中出现频率较高的对比强度的范围，以及阈值Tt1之下的范围和阈值Tt4之上的范围是在纹理区域(在其像素处)中出现频率较低的对比强度的范围。因此，weight_contrast_T是基于在目标像素处的对比强度相对于平坦区域中出现频率较高的预定对比强度的接近程度的值。

在步骤S68，梯度选择器110选择梯度。更具体地，梯度选择器110根据如下表达式(29)计算目标像素处的平衡度(balance)：

Balance(x，y)＝∑dir＝_N，...2N-2Population(L_dir)-∑_{i＝0，...N-2}Polulation(L_dir)...(29)

Balance(x，y)表示具有坐标(x，y)的目标像素处的平衡度。Population(L_dir)表示在目标区域的内插像素中边缘方向sel_dir为L_dir、置信度为1并且weight_contrast_S大于或等于预定阈值的内插像素的总数。

当Balance(x，y)＝0时，梯度选择器110选择L_N-1(垂直方向)作为用于选择要为目标像素的内插而使用的像素的方向。当Balance(x，y)＞0时，梯度选择器110选择L_N至L_2N-2(相对于垂直方向向右倾斜的方向(右上方向))作为用于选择要为目标像素的内插而使用的像素的方向。当Balance(x，y)＜0时，梯度选择器110选择L₀至L_N-2(相对于垂直方向向左倾斜的方向(左上方向))作为用于选择要为目标像素的内插而使用的像素的方向。

即，基于在目标区域中边缘方向的置信度较高的和weight_contrast_S的值较大的像素处的边缘方向的分布，来选择用于选择要为目标像素的内插而使用的像素的方向。

梯dddc度选择器110向倍增器22的统计梯度内插器152提供表示所选择的方向的信息。

在步骤S69，倾斜权重设置器111设置倾斜方向的权重。更具体地，倾斜权重设置器111根据如下表达式(30)计算weight_slant，其是基于中心围绕目标像素的目标区域中的边缘方向的突出性的权重：

$\mathrm{Weight}\_\mathrm{slant}(x,y)=$

$\underset{i=0}{\overset{\mathrm{Nt}-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{\frac{\mathrm{Mt}-1}{2}}{\mathrm{\&Sigma;}}}\{\mathrm{Coef}\_\mathrm{Balance}(\mathrm{sel}\_\mathrm{dir}(x_{t0}+{i,y}_{t0}+2i))$

$\&times;\mathrm{Confidence}(x_{t0}+i,y_{\mathrm{to}}+2i)\&times;\mathrm{Weight}\_\mathrm{contrast}\_S(x_{\mathrm{to}}+i,y_{\mathrm{to}}+2i)\}...\left(30\right)$

weight_slant(x，y)表示具有坐标(x，y)的目标像素处的weight_slant。Coef_Balance(x，y)(sel_dir(x_t0+i，y_t0+2i))是为具有坐标(x_t0+i，y_t0+2i)的内插像素的边缘方向sel_dir(x_t0+i，y_t0+2i)设置的权重。

通过计算对在目标区域中的各个内插像素通过将每个内插像素的边缘方向的置信度、内插像素的weight_contrast_S、以及内插像素处的边缘方向sel_dir的权重Coef_Balance相乘而获得的值之和而获得weight_slant。也就是，weight_slant随着目标区域中每个内插像素处的边缘方向的置信度以及weight_contrast_S的值增加(随着当前目标区域中边缘方向的突出性增加)而增加，并随着目标区域中每个内插像素处的边缘方向的置信度以及weight_contrast_S的值减少(随着当前目标区域中边缘方向的突出性减少)而减少。

倾斜权重设置器111向倍增器22的倾斜合并器153提供表示weight_slant的倾斜权重信息。

在步骤S70，边缘强度信息生成器114生成边缘强度信息。更具体地，边缘强度信息生成器114根据如下表达式(31)计算weight_edge，其是基于中心围绕目标像素的目标区域中的边缘强度的权重：

$\mathrm{Weight}\_\mathrm{edge}(x,y)=$

$\underset{i=0}{\overset{\mathrm{Nt}-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{\frac{\mathrm{Mt}-1}{2}}{\mathrm{\&Sigma;}}}\{\mathrm{Coef}\_\mathrm{edge}(\mathrm{sel}\_\mathrm{dir}(x_{t0}+{i,y}_{t0}+2i))$

$\&times;\mathrm{Confidence}(x_{t0}+i,y_{\mathrm{to}}+2i)\&times;\mathrm{Weight}\_\mathrm{contrast}\_E(x_{\mathrm{to}}+i,y_{\mathrm{to}}+2i)\}...\left(31\right)$

weight_edge(x，y)表示具有坐标(x，y)的目标像素处的weight_edge。Coef_edge(x，y)(sel_dir(x_t0+i，y_t0+2i))是为具有坐标(x_t0+i，y_t0+2i)的内插像素的边缘方向sel_dir(x_t0+i，y_t0+2i)设置的权重。例如，当要增强特定方向上的边缘时，将该边缘方向的Coef_edge选择为比其他边缘方向的Coef_edge更大的值。

通过计算对在目标区域中的各个内插像素通过将每个内插像素处的边缘方向的置信度、内插像素处的weight_contrast_E、以及内插像素处的边缘方向sel_dir的权重Coef_Edge相乘而获得的值之和而获得weight_edge。也就是，weight_edge随着目标区域中每个内插像素处的边缘方向的置信度和weight_contrast_E的值增加(随着目标区域中边缘强度增加)而增加，并随着目标区域中每个内插像素处的边缘方向的置信度和weight_contrast_E的值减少(随着目标区域中边缘强度减少)而减少。

边缘强度信息生成器114生成表示weight_edge的边缘强度信息，并向增强器23的自适应边缘混合器206输出边缘强度信息。

在步骤S71，纹理强度信息生成器113生成纹理强度信息。更具体地，纹理强度信息生成器113根据如下表达式(32)计算weight_texture，其是基于中心围绕目标像素的目标区域中的纹理强度的权重：

$\mathrm{Weight}\_\mathrm{texture}(x,y)=$

$\underset{i=0}{\overset{\mathrm{Nt}-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{\frac{\mathrm{Mt}-1}{2}}{\mathrm{\&Sigma;}}}\{\mathrm{Coef}\_\mathrm{texture}(\mathrm{sel}\_\mathrm{dir}(x_{t0}+{i,y}_{t0}+2i))$

$\&times;\mathrm{Confidence}(x_{t0}+i,y_{\mathrm{to}}+2i)\&times;\mathrm{Weight}\_\mathrm{contrast}\_T(x_{\mathrm{to}}+i,y_{\mathrm{to}}+2i)\}...\left(32\right)$

weight_texture(x，y)表示具有坐标(x，y)的目标像素处的weight_texture。Coef_Texture(x，y)(sel_dir(x_t0+i，y_t0+2i))是为具有坐标(x_t0+i，y_t0+2i)的内插像素的边缘方向sel_dir(x_t0+i，y_t0+2i)设置的权重。

通过计算对在目标区域中的各个内插像素通过将每个内插像素处的边缘方向的置信度、内插像素处的weight_contrast_T、以及内插像素处的边缘方向sel_dir的权重Coef_texture相乘而获得的值之和而获得weight_texture。也就是，weight_texture随着目标区域中每个内插像素处的边缘方向的置信度和weight_contrast_T的值增加(随着目标区域中纹理强度增加)而增加，并随着目标区域中每个内插像素处的边缘方向的置信度和weight_contrast_T的值减少(随着目标区域中边缘强度减少)而减少。

纹理强度信息生成器113生成表示weight_texture的纹理强度信息，并向增强器23的自适应纹理混合器204输出纹理强度信息。

在步骤S72，平坦强度信息生成器112生成平坦强度信息。更具体地，平坦强度信息生成器112根据如下表达式(33)计算weight_flat，其是基于中心围绕目标像素的目标区域中的平坦强度的权重：

$\mathrm{Weight}\_\mathrm{flat}(x,y)=$

$\underset{i=0}{\overset{\mathrm{Nt}-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{\frac{\mathrm{Mt}-1}{2}}{\mathrm{\&Sigma;}}}\{\mathrm{Coef}\_\mathrm{flat}(\mathrm{sel}\_\mathrm{dir}(x_{t0}+{i,y}_{t0}+2i))$

$\&times;\mathrm{Confidence}(x_{t0}+i,y_{\mathrm{to}}+2i)\&times;\mathrm{Weight}\_\mathrm{contrast}\_F(x_{\mathrm{to}}+i,y_{\mathrm{to}}+2i)\}...\left(33\right)$

weight_flat(x，y)表示具有坐标(x，y)的目标像素处的weight_flat。Coef_flat(x，y)(sel_dir(x_t0+i，y_t0+2i))是为具有坐标(x_t0+i，y_t0+2i)的内插像素的边缘方向sel_dir(x_t0+i，y_t0+2i)设置的权重。

通过计算对在目标区域中的各个内插像素通过将每个内插像素处的边缘方向的置信度、内插像素处的weight_contrast_F、以及内插像素处的边缘方向sel_dir的权重Coef_Flat相乘而获得的值之和而获得weight_flat。也就是，weight_flat随着目标区域中每个内插像素处的边缘方向的置信度和weight_contrast_F的值增加(随着目标区域中平坦强度增加)而增加，并随着目标区域中每个内插像素处的边缘方向的置信度和weight_contrast_F的值减少(随着目标区域中平坦强度减少)而减少。

平坦强度信息生成器112生成表示weight_flat的平坦强度信息，并向增强器23的自适应平坦混合器202输出平坦强度信息。

在步骤S73，归档器21检查是否已对图像中的所有内插像素完成处理。当确定还没有对图像中的所有内插像素完成处理，即，还没有对图像中的所有内插像素完成梯度的选择以及weight_slant、weight_edge、weight_texture和weight_flat的设置时，处理返回到步骤S52。然后，重复步骤S52至S73，直到在步骤S73确定已对所有内插像素完成处理，由此对图像中的所有内插像素执行了梯度的选择以及weight_slant、weight_edge、weight_texture和weight_flat的设置。

当在步骤S73确定已对所有像素完成处理时，完成归档处理。

返回参见图6，在步骤S22，倍增器22执行倍增处理。现在，下文将参考图15所示的流程图详细描述倍增处理。

在步骤S200，图像存储单元25提供图像，更具体地，图像存储单元25向倍增器22的线性内插器151和统计梯度内插器152提供将要对其执行密度倍增处理的图像。

在步骤S102，倍增器22设置目标像素和目标区域。更具体地，类似于执行之前参照图7所述的步骤S52的归档器21，倍增器22选择还没有经过倍增处理的内插像素，并将内插像素设置为目标像素，并将中心围绕该目标像素的预定区域设置为目标区域。

在步骤S103，线性内插器151执行线性内插。更具体地，线性内插器151对在目标像素在垂直方向上的较上和较下侧存在的多个像素执行预定过滤，由此通过线性内插获得目标像素的像素值。线性内插器151向倾斜合并器153提供表示像素值的信息。下文中，由线性内插器151获得的在坐标(x，y)处的内插像素的像素值被表示为P_linear_inter(x，y)。不具体限制线性内插器151的内插方法，只要它不同于统计梯度内插器152使用的方法即可。或者，例如，可使用除了线性内插之外的内插方法。

在步骤S104，统计梯度内插器152执行统计梯度内插。更具体地，当之前参考图8所述的步骤S68中梯度选择器110已选择相对于垂直方向向左倾斜的方向时，统计梯度内插器152根据如下表达式(34)计算统计梯度内插像素，其是通过对目标像素的统计梯度内插而获得的像素值：

$P\_\mathrm{stat}\_\mathrm{grad}\_\mathrm{inter}(x,y)=\frac{\underset{\mathrm{dir}=0}{\overset{\mathrm{Nd}-2}{\mathrm{\&Sigma;}}}\{\mathrm{Population}\left(L_{\mathrm{dir}}\right)\&times;P\_\mathrm{grad}\_\mathrm{ave}\left(L_{\mathrm{dir}}\right)\}}{\underset{\mathrm{dir}=0}{\overset{\mathrm{Nd}-2}{\mathrm{\&Sigma;}}}\mathrm{Population}\left(L_{\mathrm{dir}}\right)}...\left(34\right)$

P_stat_grad_inter(x，y)表示具有坐标(x，y)的目标像素处的统计梯度内插像素。作为表达式(34)中的L_dir，使用之前所述的边缘方向检测区域所用的方向。P_grad_ave(L_dir)表示在目标像素的邻近的上面和下面的现有行上的两个现有像素的像素值的均值。Polulation(L_dir)的定义与之前给出的表达式(29)中的相同。总而言之，当梯度选择器110已选择相对于垂直方向向左倾斜的方向时，通过对根据目标区域中内插像素的边缘方向的分布而加权的、在相对于垂直方向穿过目标像素而向左倾斜的方向上邻近于目标像素的像素的像素值求和而得到统计梯度内插像素。

另一方面，当在之前参考图8所述步骤S68中梯度选择器110已选择相对于垂直方向向右倾斜的方向时，统计梯度内插器152根据如下表达式(35)计算目标像素的统计梯度内插像素：

$P\_\mathrm{stat}\_\mathrm{grad}\_\mathrm{inter}(x,y)=\frac{\underset{\mathrm{dir}=\mathrm{Nd}}{\overset{2\mathrm{Nd}-2}{\mathrm{\&Sigma;}}}\{\mathrm{Population}\left(L_{\mathrm{dir}}\right)\&times;P\_\mathrm{grad}\_\mathrm{ave}\left(L_{\mathrm{dir}}\right)\}}{\underset{\mathrm{dir}=\mathrm{Nd}}{\overset{2\mathrm{Nd}-2}{\mathrm{\&Sigma;}}}\mathrm{Population}\left(L_{\mathrm{dir}}\right)}...\left(35\right)$

也就是，当梯度选择器110已选择相对于垂直方向向右倾斜的方向时，通过对根据目标区域中内插像素的边缘方向的分布而加权的、在相对于垂直方向穿过目标像素而向右倾斜的方向上邻近于目标像素的像素的像素值求和而得到统计梯度内插像素。

当在之前参考图8所述步骤S68中梯度选择器110已选择垂直方向时，统计梯度内插器152通过计算目标像素邻近的上面和下面的像素的像素值的均值来获得目标像素的统计梯度内插像素。

统计梯度内插器152向倾斜合并器153提供统计梯度内插像素。

在步骤S105，倾斜合并器153合并像素。更具体地，倾斜合并器153根据如下表达式(36)，使用基于weight_slant的权重，将线性内插像素和统计梯度内插像素加在一起，从而生成倾斜合并像素：

P_slant_comb(x，y)

＝(1-weight_slant(x，y)×P_linearinter(x，y)

+weight_slant(x，y)×P_stat_grad_inter(x，y)…(36)

也就是，倾斜合并器153合并线性内插像素和统计梯度内插像素，其中当weight_slant增加(当目标区域中的边缘方向的突出性增加)时，统计梯度内插像素的比率增加而线性内插像素的比率减少，并且当weight_slant减少(当目标区域中的边缘方向的突出性减少)时，统计梯度内插像素的比率减少而线性内插像素的比率增加。

倾斜合并器153向图像存储单元25提供倾斜合并像素。图像存储单元25临时存储倾斜合并像素。

在步骤S106，倍增器22检查是否已完成所有像素内插。当还没有对所有内插像素生成倾斜合并像素时，倍增器22确定还没有完成像素内插。然后，处理返回至步骤S102。然后，重复步骤S102至S106，直到在步骤S106中确定已全部完成像素内插，从而对所有内插像素生成倾斜合并像素。

当在步骤S106中确定已全部完成像素内插时，完成倍增处理。

返回参考图6，在步骤S23，增强器23执行增强处理，现在，下面将参考图16所示的流程图描述增强处理。

在步骤S151，平坦过滤器201对倾斜合并图像执行平坦过滤。更具体地，图像存储单元25向增强器23的平坦过滤器201、自适应平坦混合器202、纹理过滤器203和边缘过滤器205提供由倾斜合并像素组成的倾斜合并图像。对于倾斜合并图像中的每个像素，平坦过滤器201使用衰减预定空间频带中的分量的过滤器来对由该像素和邻近像素组成的区域执行平坦过滤。

例如，平坦过滤器201使用衰减图像的高频带中的分量的平滑过滤器来执行平坦过滤，如中值过滤器或低通过滤器。在这种情况下，由经过平坦过滤获得的像素组成的平坦图像是其中倾斜合并图像已被整体平滑的图像，因此，抑制了由于噪音等引起的像素值的微小波动。在平坦过滤器201使用平滑过滤器来执行平坦过滤的示例的上下文中给出下面的描述。

平坦过滤器201向自适应平坦混合器202提供由通过平坦过滤获得的平坦分量组成的平坦图像。

在步骤S152，纹理过滤器203对倾斜合并图像执行纹理过滤。更具体地，例如，当目标像素是图17所示的像素m时，纹理过滤器203对由中心围绕目标像素m周围的像素c、h、m、r和w组成的垂直区域执行一维纹理过滤。例如，将此时使用的过滤系数选择为(1/4-α_T/2，0，-α_T+1/2，0，1/4-α_T/2)(0.5＜α_T)。当目标像素m的坐标是(x，y)时，根据如下表达式(37)获得目标像素m的纹理像素的像素值：

p_texture(x，y)＝c×(1/4-α_T/2)+m×(α_T+1/2)+w×(1/4-α_T/2)…(37)

p_texture(x，y)表示具有坐标(x，y)的、纹理图像中的像素(纹理像素)的像素值。系数α_T是用于调整由纹理过滤增强纹理分量的程度的系数。因此，由纹理像素组成的纹理图像是其中已增强预定频带的分量、使得倾斜合并图像整体更锐利的图像。

纹理过滤器203向自适应纹理混合器204提供由纹理像素组成的纹理图像。

在步骤S153，边缘过滤器205对倾斜合并图像执行边缘过滤205。更具体地，例如，如图17所示，边缘过滤器205对由中心围绕目标像素m周围并由像素c、h、m、r和w组成的垂直区域执行一维过滤。例如，将此时使用的过滤系数选择为(1/4-α_E/2，1/4，α_E，1/4，1/4-α_E/2)(0.5＜α_E)。当目标像素m的坐标是(x，y)时，根据如下表达式(38)获得目标像素m的边缘像素的像素值：

p_edge(x，y)＝c×(1/4-α_E/2)+h×1/4+m×α_E+r×1/4+w×(1/4-α_E/2)…(38)

p_edge(x，y)表示具有坐标(x，y)的、边缘图像中的像素(边缘像素)的像素值。系数α_E是用于调整由边缘过滤增强边缘分量的程度的系数。因此，由边缘像素组成的边缘图像是其中已增强倾斜合并图像中的边缘的图像。

边缘过滤器205向自适应边缘混合器206提供由边缘像素组成的边缘图像。

在步骤S154，自适应平坦混合器202对倾斜合并图像和平坦图像执行自适应平坦混合。更具体地，自适应平坦混合器202根据如下表达式(39)计算构成平坦混合图像的平坦混合像素的像素值：

p_flat_mix(x，y)

＝(1-weight_flat(x，y)×P_slant_comb(x，y)+weight_flat(x，y)×P_flat(x，y)

                                                        …(39)

p_flat(x，y)表示具有坐标(x，y)的、平坦图像中的像素(平坦像素)的像素值。p_flat_mix(x，y)表示具有坐标(x，y)的平坦混合图像中像素(平坦混合像素)的像素值。自适应平坦混合器202将倾斜合并图像和平坦图像在相应位置上的像素值加在一起，其中，当weight_flat增加(当目标区域中的平坦强度增加)时，平坦图像的像素值的比率增加而倾斜混合图像的像素值的比率减少，并且当weight_flat减少(当目标区域中的平坦强度减少)时，平坦图像的像素值的比率减少而倾斜混合图像的像素值的比率增加。

因此，平坦混合图像是如下的图像：其中在包括倾斜合并图像的大量平坦分量的区域中通过平滑已抑制了噪音，并且其中在不包括倾斜合并图像的大量平坦分量的区域中没有执行处理或基本没有执行处理。

自适应混合器202向自适应纹理混合器204提供由通过自适应平坦混合获得的平坦混合像素组成的平坦混合图像。

在步骤S155，自适应纹理混合器204对平坦混合图像和纹理图像执行自适应纹理混合。更具体地，自适应纹理混合器204根据如下表达式(40)计算构成纹理混合图像的像素的像素值：

p_texture_mix(x，y)

＝(1-weight_texture(x，y)×P_flat_mix(x，y)+weight_texture(x，y)×P_texture(x，y)

                                                                …(40)

p_texture_mix(x，y)表示具有坐标(x，y)的、纹理混合图像中像素(纹理混合像素)的像素值。自适应纹理混合器204将平坦混合图像和纹理图像在相应位置上的像素值加在一起，其中当weight_texture增加(当目标区域中的纹理强度增加)时，纹理图像的像素值的比率增加而平坦混合图像的像素值的比率减少，并且当weight_texture减少(当目标区域中的纹理强度减少)时，平坦混合图像的像素值的比率增加而纹理图像的像素值的比率减少。

因此，纹理混合图像是如下图像：其中在包括平坦混合图像的大量纹理分量的区域中已改善了图像锐度，并且其中在不包括平坦混合图像的大量纹理分量的区域中没有执行处理或基本没有执行处理。

在步骤S156，自适应边缘混合器206对纹理混合图像和边缘图像执行自适应边缘混合，并完成增强处理。更具体地，自适应边缘混合器206根据如下表达式(41)计算构成边缘混合图像的边缘混合像素的像素值：

p_edge_mix(x，y)

＝(1-weight_edge(x，y)×P_texture_mix(x，y)+weight_edge(x，y)×P_edge(x，y)

                                                            …(41)

p_edge_mix(x，y)表示具有坐标(x，y)的、边缘混合图像中的像素(边缘混合像素)的像素值。自适应边缘混合器206将纹理混合图像和边缘图像在相应位置的像素值加在一起，其中当weight_edge增加(当目标区域中的边缘强度增加)时，边缘图像的像素值的比率增加而纹理混合图像的像素值的比率减少，并且当weight_edge减少(当目标区域中的边缘强度减少)时，纹理混合图像的像素值的比率增加而边缘图像的像素值的比率减少。

因此，边缘混合图像是如下图像：其中在包括纹理混合图像的大量边缘分量的区域中已增强了边缘，并且其中在不包括纹理混合图像的大量边缘分量的区域中没有执行处理或基本没有执行处理。

自适应边缘混合器206向图像存储单元25提供由通过自适应边缘混合而获得的边缘混合像素组成的边缘混合图像。图像存储单元25临时存储边缘混合图像。

返回参考图6，在步骤S24至S26中，类似于上述的步骤S21至S23地执行处理。然而，在S24至S26，对通过步骤S21至S23生成的边缘混合图像的水平方向执行增强处理。也就是，在边缘混合图像的水平方向内插像素。在步骤S26的增强处理中生成的图像，即通过垂直和水平像素内插获得的图像(下文称为倍增密度图像)被提供至图像存储单元25并临时存储在其中。

如上所述，通过基于边缘方向及其置信度和对比强度，考虑图像的边缘方向来内插像素，以与邻近像素协作的形式内插像素，并改善了通过分辨率转换获得的图像(倾斜内插图像)的图像质量。而且，通过使用基于对比强度而获得的weight_flat、weight_texture和weight_edge，在没有复杂处理的情况下，要被处理的图像可以被正确划分为包括大量平坦分量的区域、包括大量纹理分量的区域和包括大量边缘分量的区域。而且，因为过滤是在基本单独地对在包括大量平坦分量的区域、包括大量纹理分量的区域和包括大量边缘分量的区域中的倾斜内插图像执行的。因此，可以根据图像特性而更适当地调整图像质量，从而可以容易地获得具有用户想要的图像质量的图像。

接下来，将参考18至22描述本发明的另一实施例。

图18是根据本发明另一实施例的图像处理设备的框图。根据此实施例的图像处理设备301包括图像输入单元11、图像处理单元311和图像输出单元13。图像处理单元311包括归档器321、增强器23和图像存储单元25。在图18中，对应于图1所示部件的部分用相同附图标记表示，将省略以相同形式执行的处理的重复描述。

如后面将主要参考图20所述的，图像处理单元311执行图像质量调整处理，以调整输入图像的图像质量。图像处理单元311向图像输出单元13提供通过图像质量调整处理获得的图像。

如后面将参考图21所述的，归档器321执行归档处理。更具体地，归档器321检测从外部输入的图像的边缘的方向和边缘方向的置信度。而且，归档器321检测从外部输入的图像的对比强度。而且，归档器321为从外部输入的图像设置weight_flat、weight_texture和weight_edge。归档器321向增强器23提供表示weight_flat、weight_texture和weight_edge的信息。

图19是表示归档器321的示例配置的框图。归档器321包括方向检测器401、方向分布生成器402、置信度检测器403、置信度分布生成器404、对比计算器405、平坦对比分布生成器407、纹理对比分布生成器408、边缘对比分布生成器409、平坦强度信息生成器412、纹理强度信息生成器413和边缘强度信息生成器414。在图19中，对应图2所示部分的那些部分由2个低位数相同的数字表示，并将省略以相同形式执行的处理的重复描述。

如后面将参考图21所述的，方向分布生成器402生成表示由方向检测器401检测的边缘方向的分布的方向分布。方向分布生成器402向平坦强度信息生成器412、纹理强度信息生成器413和边缘强度信息生成器414提供表示方向分布的方向分布信息。

如后面将参考图22所述的，置信度分布生成器404生成表示由置信度检测器403检测的置信度的分布的置信度分布。置信度分布生成器404向平坦强度信息生成器412、纹理强度信息生成器413和边缘强度信息生成器414提供表示置信度分布的置信度分布信息。

如后面将参考图22所述的，对比计算器405检测表示从外部输入的图像的对比的强度的对比强度。对比计算器405向平坦对比分布生成器407、纹理对比分布生成器408和边缘对比分布生成器409提供表示对比强度的对比信息。

接下来，将参考图20至22描述由图像处理设备301执行的处理。

首先，将参考图20描述由图像处理设备301执行的图像质量调整处理。例如，当用户操作图像处理设备301的操作单元(未示出)以将图像(输入图像)从图像输入单元11向图像处理单元311输入并指示调整输入图像的图像质量时，图像质量调整处理开始。将输入图像提供给图像存储单元25并临时存储在其中。

在步骤S201，归档器321执行归档处理。现在，下文将参考图21和22的流程图详细描述归档处理。

在步骤S251，图像存储单元25提供图像。更具体地，图像存储单元25向归档器321的方向检测器401、置信度检测器403、和对比计算器405提供输入图像。

在步骤S252，归档器321设置目标像素和目标区域。更具体地，归档器321从由图像存储单元25获得的图像的像素中选择还没有进行归档处理的像素，并将该像素设置为目标像素。而且，归档321将中心围绕目标像素周围的预定范围的区域设置为目标区域。

在步骤S253，方向检测器401设置边缘方向检测区域。更具体地，首先，归档器321从目标区域中的像素中选择还没被检测边缘方向的像素。下文中，此时选择的像素将被称为边缘方向检测像素。类似于图7的步骤S52，方向检测器401设置由从边缘方向检测像素邻近上下的行提取的像素和虚拟像素组成的边缘方向检测区域。

在步骤S254，类似于之前参考图7所述的步骤S54，方向检测器401计算边缘方向检测区域的局部能量EL。

在步骤S255，类似于之前参考图7所述的步骤S55，方向检测器401检查局部能量EL是否大于预定阈值。当确定局部能量EL大于预定阈值时，处理进行到步骤S256。

在步骤S256，类似于之前参考图7所述的步骤S56，方向检测器401检测边缘方向检测像素的边缘方向sel_dir。方向检测器401向方向分布生成器402和置信度监测器403提供表示局部能量EL超出预定阈值并表示边缘方向sel_dir的边缘方向信息。

在步骤S257，类似于之前参考图7所述的步骤S57，置信度监测器403检测在步骤S256中检测到的边缘方向sel_dri的置信度。置信度监测器403向置信度分布生成器404提供表示置信度的置信度信息，处理接着进行到步骤S260。

当在步骤S255确定局部能量EL小于或等于预定阈值时，处理进行至步骤S258。

在步骤S258，类似于之前参考图7所述的步骤S58，方向检测器401尝试性地设置边缘方向sel_dir。方向检测器401向方向分布生成器402和置信度监测器403提供表示局部能量EL小于或等于预定阈值并表示边缘方向sel_dir的边缘方向信息。

在步骤S259，类似于之前参考图7所述的步骤S59，置信度监测器403尝试性地设置置信度。置信度监测器403向置信度分布生成器404输出表示置信度的置信度信息。

在步骤S260，类似于之前参考图7所述的步骤S60，对比计算器405检测中心围绕边缘方向检测像素的对比检测区域中的对比强度。对比计算器405向平坦对比分布生成器407、纹理对比分布生成器408和边缘对比分布生成器409提供表示对比强度的对比信息。

在步骤S261，归档器321检查是否已对目标区域中的所有像素完成处理。当确定还未对目标区域中的所有像素完成处理时，处理返回至步骤S253。然后，重复步骤S253至S261直到在步骤S261确定已对目标区域中的所有像素完成处理，从而对目标区域中的所有像素检测了边缘方向及其置信度和对比强度。

当在步骤S261确定已对目标区域中的所有像素完成处理时，处理返回至步骤S262。

在步骤S262，类似于之前参考图8所述的步骤S62，方向分布生成器402生成表示目标区域中的各个像素处的边缘方向的分布的方向分布。方向分布生成器402向平坦强度信息生成器412、纹理强度信息生成器413和边缘强度信息生成器414提供表示方向分布的方向分布信息。

在步骤S263，类似于之前参考图7所述的步骤S63，置信度分布生成器404生成表示目标区域中各个像素处的置信度的分布的置信度分布。置信度分布生成器404向平坦强度信息生成器412、纹理强度信息生成器413和边缘强度信息生成器414提供表示置信度分布的置信度分布信息。

在步骤S264，类似于之前参考图8所述的步骤S65，平坦对比分布生成器407计算目标区域中的各个像素处的weight_contrast_F的值，并生成表示目标区域中的各个像素处的weight_contrast_F的值的分布的对比分布。平坦对比分布生成器407向平坦强度信息生成器412提供表示weight_contrast_F的对比分布的对比分布信息。

在步骤S265，类似于之前参考图8所述的步骤S66，纹理对比分布生成器408计算目标区域中的各个像素处的weight_contrast_T的值，并生成表示目标区域中的各个像素处的weight_contrast_T的值的分布的对比分布。纹理对比分布生成器408向纹理强度信息生成器413提供表示weight_contrast_T的对比分布的对比分布信息。

在步骤S266，类似于之前参考图8所述的步骤S67，边缘对比分布生成器409计算目标区域中的各个像素处的weight_contrast_E的值，并生成表示目标区域中的各个像素处的weight_contrast_E的值的分布的对比分布。边缘对比分布生成器409向边缘强度信息生成器414提供表示weight_contrast_E的对比分布的对比分布信息。

在步骤S267，类似于之前参考图7所述的步骤S70，边缘强度信息生成器414计算目标像素的weight_edge，并向增强器23的自适应边缘混合器206提供表示weight_edge的边缘强度信息。虽然在之前参考图7所述的S70中，使用目标区域中的内插像素的边缘方向及其置信度和对比强度来计算weight_edge，但在步骤S267中，使用目标区域中的现有像素的边缘方向及其置信度和对比强度来计算weight_edge。

在步骤S268，类似于之前参考图7所述的步骤S71，纹理强度信息生成器413计算目标像素的weight_texture，并向增强器23的自适应纹理混合器204提供表示weight_texture的纹理强度信息。虽然在之前参考图7所述的S70中，使用目标区域中的内插像素的边缘方向及其置信度和对比强度来计算weight_texture，但在步骤S268中，使用目标区域中的现有像素的边缘方向及其置信度和对比强度来计算weight_texture。

在步骤S269，类似于之前参考图7所述的步骤S72，平坦强度信息生成器412计算目标像素的weight_flat，并向增强器23的自适应平坦混合器202提供表示weight_flat的平坦强度信息。虽然在之前参考图7所述的S71中，使用目标区域中的内插像素的边缘方向及其置信度和对比强度来计算weight_flat，但在步骤S269中，使用目标区域中的现有像素的边缘方向及其置信度和对比强度来计算weight_flat。

在步骤S270，归档器321检查是否已对图像中的所有像素完成处理。当确定还没有对图像中的所有像素完成处理时，处理返回至步骤S252。然后，重复步骤S252至S270，直到在步骤S270确定已对目标区域中的所有像素完成处理，从而对图像中的所有像素设置了weight_edge、weight_texture和weight_flat。

当在步骤S270确定已对图像中的所有像素完成处理时，完成归档处理。也就是，在图像处理设备301执行的归档处理中，与图像处理设备1执行的归档处理相反，最后对输入图像中的所有像素设置weight_edge、weight_texture和weight_flat。

返回参见图20，在步骤S202，对输入图像执行之前参考图16所述的增强处理。因此，基本上，单独地对包括大量平坦分量的区域、包括大量纹理分量的区域和包括大量边缘分量的区域执行过滤。

然后，在步骤S203至S204，执行类似于之前所述的步骤S201至S202中执行的处理。然而，在步骤S203至S204中，对于通过在步骤S202中执行的增强处理而获得的图像的水平方向执行归档处理和增强处理。通过在步骤S204执行的增强处理而获得的图像，即，通过对于垂直方向和水平方向这两者增强输入图像而获得的图像被提供至图像存储单元25并临时存储在其中。

在步骤S205，类似于之前参考图5所述的步骤S7，显示输出。这结束了图像质量调整处理。

如上所述，检测在原始图像中考虑的目标像素的边缘方向；检测边缘方向的置信度；检测目标像素的对比强度；对比强度表示在包括并邻近目标像素的第一区域中的对比的强度；设置目标像素的纹理对比权重，纹理对比权重是基于目标像素的对比强度相对于在纹理区域中以较高出现频率出现的预定对比强度的接近程度的权重，纹理区域是其中像素值的变化量比平坦区域更大并比边缘区域更小的区域，平坦区域是其中像素值基本不变的区域，而边缘区域是其中像素值剧烈变化的区域；设置目标像素的边缘对比权重，边缘对比权重是基于目标像素的对比强度相对于在边缘区域中以较高出现频率出现的预定对比强度的接近程度的权重；设置纹理权重，纹理权重是基于在包括并邻近目标像素的第二区域中的各个像素的边缘方向、各个像素的边缘方向的置信度、以及各个像素的纹理对比权重的权重；设置边缘权重，边缘权重是基于在包括和邻近目标像素的第三区域中的各个像素的边缘方向、各个像素的边缘方向的置信度、以及各个像素的边缘对比权重的权重；对原始图像执行纹理过滤以生成纹理过滤图像，纹理过滤针对于涉及纹理区域的处理；对原始图像执行边缘过滤以生成边缘过滤图像，边缘过滤针对于涉及边缘区域的处理；使用基于纹理权重的权重来将原始图像和纹理过滤图像在相应位置处的像素值加在一起，以生成纹理合并图像；以及使用基于边缘权重的权重来将纹理合并图像和边缘过滤图像在相应位置处的像素的像素值加在一起，以生成边缘合并图像。

虽然使用相同目标区域来选择梯度并获得weight_slant、weight_edge、weight_texture和weight_flat，但可为各个目的来改变目标区域的范围。

而且，因为对包括大量平坦分量的区域执行平坦过滤对于具有微小噪音的像素不是那么有效，例如，可从图像处理设备1省略平坦对比分布生成器107、平坦强度信息生成器112、平坦过滤器201和自适应平坦混合器202，使得对倾斜合并图像不执行平坦过滤和自适应平坦混合。还是在本情况中，可获得具有用户想要的图像质量的图像。类似地，可从图像处理设备301省略平坦对比分布生成器407、平坦强度信息生成器412、平坦过滤器201和自适应平坦混合器202，使得对输入图像不执行平坦过滤和自适应平坦混合。

而且，即使省略了倍增处理后的增强处理，仍考虑边缘方向来执行图像内插。因此，与现有内插技术相比，可以获得更好的图像质量。

而且，当在图像处理设备1中提供通过现有技术放大图像的放大器(enlarger)，以及例如当图像被放大六倍时，通过现有技术，可能两次执行倍增处理，以放大图像四倍并进一步将所得到的图像放大3/2。

而且，在密度倍增处理中，可能只对于图像的垂直方向或水平方向倍增密度。例如，可能通过只执行图6所示的步骤S21至S23来只对于垂直方向倍增密度，并可能通过只执行图6所示的步骤S24至S26来只对于水平方向倍增密度。例如，只对于垂直方向的倍增可用于隔行-逐行(IP)转换。

本发明可以应用于调整图像质量的设备或转换图像分辨率的设备，如各种图像显示设备、图像重放设备和图像记录设备。

上述的处理序列可以由硬件或软件执行。当由软件执行处理序列时，将构成软件的程序从程序记录介质安装至能通过其上安装的各种程序来执行各种功能的专用硬件中嵌入的计算机或通用个人计算机等。

图23是表示根据程序执行以上所述的处理序列的个人计算机900示例配置的框图。中央处理单元(CPU)901根据在只读存储器(ROM)902或记录单元908中存储的程序执行各种处理。当需要时，随机存取存储器(RAM)903存储CPU 901执行的程序、相关数据等。CPU 901、ROM 902和RAM 903通过总线904互相连接。

CPU 901也通过总线904连接至输入/输出接口905。输入/输出接口905连接到包括键盘、鼠标、麦克风等的输入单元906以及包括显示器、扬声器等的输出单元907。CPU 901根据从输入单元906输入的指令执行各种处理。然后，CPU 901向输出单元907输出处理结果。

输入/输出接口905也连接诸如硬盘的记录单元908。记录单元908存储CPU 901执行的程序和各种数据。通信单元909通过诸如因特网或局域网的网络执行与外部设备的通信。

而且，可通过通信单元909获得程序并在记录单元908中存储程序。

而且，驱动器910连接至输入/输出接口905。当在驱动器910上安装诸如磁盘、光盘、磁性光盘、或半导体盘的可移除介质911时，驱动器910驱动可移除介质911，以获得其上记录的程序、数据等。在需要时，已获得的程序、数据等被传输至并存储在记录单元908中。

如图23所示，用于存储被安装在计算机上以由计算机执行的程序的程序记录介质可以是例如可移除介质911，其是诸如磁盘(例如，软盘)、光盘(例如，CD-ROM(紧致盘只读存储器)或DVD(数字万能盘))、磁光盘或半导体存储器的封装介质，或临时或永久存储程序的ROM 902、或记录单元908的硬盘。需要时程序可以经由通信单元909存储在程序记录介质上，通信单元909是使用有线或无线通信介质(例如局域网、因特网、或者数字卫星广播)的接口，如路由器或调制解调器。

应该理解，定义在程序记录介质上存储的程序的步骤可包括并行或单独执行的处理，以及在本说明书中描述的顺序执行的处理。

本领域技术人员应理解，根据设计需求和其他因素可发生各种修改、组合和子组合，只要它们在所附权利要求书或等同物的范围之内。

相关申请的交叉引用

本发明包含在2006年2月7日向日本特许厅提交的日本专利申请JP2006-029507的有关主题，在此引入其全部文本作为参考。

Claims (17)

1.一种图像处理设备，包括：

边缘方向检测部件，用于检测在原始图像中考虑的目标像素处的边缘方向；

置信度检测部件，用于检测边缘方向的置信度；

对比检测部件，用于检测目标像素的对比强度，所述对比强度表示包含并邻近目标像素的第一区域中的对比的强度；

纹理对比权重设置部件，用于设置目标像素的纹理对比权重，所述纹理对比权重是基于目标像素的对比强度相对于在纹理区域中以较高出现频率出现的预定对比强度的接近程度的权重，所述纹理区域是其中像素值变化的量比平坦区域更大且比边缘区域更小的区域，所述平坦区域是其中像素值基本不变的区域，并且所述边缘区域是其中像素值剧烈变化的区域；

第一边缘对比权重设置部件，用于为目标像素设置第一边缘对比权重，所述第一边缘对比权重是基于目标像素的对比强度相对于在边缘区域中以较高出现频率出现的预定对比强度的接近程度的权重；

纹理权重设置部件，用于设置纹理权重，所述纹理权重是基于在包括并邻近目标像素的第二区域中各个像素的边缘方向、各个像素的边缘方向的置信度、以及各个像素的纹理对比权重的权重；

边缘权重设置部件，用于设置边缘权重，所述边缘权重是基于在包括并邻近目标像素的第三区域中的各个像素的边缘方向、各个像素的边缘方向的置信度、以及各个像素的第一边缘对比权重的权重；

纹理过滤部件，用于对原始图像执行纹理过滤以生成第一纹理过滤图像，所述纹理过滤针对于涉及纹理区域的处理；

边缘过滤部件，用于对原始图像执行边缘过滤以生成第一边缘过滤图像，所述边缘过滤针对于涉及边缘区域的处理；

纹理合并部件，用于使用基于纹理权重的权重来将原始图像和第一纹理过滤图像的相应位置处的像素值加在一起，以生成第一纹理合并图像；以及

边缘合并部件，用于使用基于边缘权重的权重来将第一纹理合并图像和第一边缘过滤图像的相应位置处的像素的像素值加在一起，以生成第一边缘合并图像。

2.如权利要求1所述的图像处理设备，

其中置信度检测部件基于使用在边缘方向上位于目标像素的任一边的像素而计算的像素值是否匹配邻近该目标像素的像素的像素值，来检测边缘方向的置信度。

3.如权利要求1所述的图像处理设备，

其中，作为对比强度，对比检测部件检测用于第一区域中各个相邻图像对的、通过对于每个相邻像素对将像素的像素值之间的差的绝对值乘以与像素之间的间距相关的权重而获得的值之和。

4.如权利要求1所述的图像处理设备，

其中，纹理对比权重设置部件设置纹理对比权重，使得纹理对比权重在对比强度大于或等于第一对比强度并小于或等于第二对比强度的范围中取最大值，所述第一对比强度和第二对比强度是在纹理区域中以较高出现频率出现的预定对比强度；使得纹理对比权重在对比强度小于第三对比强度的范围中、以及在对比强度大于第四对比强度的范围中取最小值，所述第三对比强度和第四对比强度是在纹理区域中以较低频率出现的预定对比强度；使得在对比强度大于或等于第三对比强度并小于第一对比强度的范围中，纹理对比权重随着对比强度增加而增加；并使得在对比强度大于第二对比强度并小于第四对比强度的范围中，纹理对比权重随着对比强度增加而减少，以及

其中，第一边缘对比权重设置部件设置第一边缘对比权重，使得第一边缘对比权重在对比强度大于第五对比强度的范围中取最大值，所述第五对比强度是在边缘区域中以较高出现频率出现的预定对比强度；使得第一边缘对比权重在对比强度小于第六对比强度的范围中取最小值，所述第六对比强度是在边缘区域中以较低出现频率出现的预定对比强度；并使得在对比强度大于或等于第六对比强度并小于第五对比强度的范围中，第一边缘对比权重随着对比强度增加而增加。

5.如权利要求1所述的图像处理设备，

其中，作为纹理权重，纹理权重设置部件设置对在第二区域中各个像素获得的值之和，对于每个像素，通过将边缘方向的置信度、纹理对比权重、以及与边缘方向相关的权重相乘而获得该值，以及

其中，作为边缘权重，边缘权重设置部件设置对在第三区域中的各个像素获得的值之和，对于每个像素，通过将边缘方向的置信度、第一边缘对比权重、以及与边缘方向相关的权重相乘而获得该值。

6.如权利要求1所述的图像处理设备，

其中，纹理过滤部件执行增强原始图像的预定频率带的分量的过滤，以及

其中，边缘过滤部件执行增强原始图像中的边缘的过滤。

7.如权利要求1所述的图像处理设备，

其中，纹理合并部件将原始图像和第一纹理过滤图像的相应位置处的像素的像素值加在一起，其中当纹理权重增加时，第一纹理过滤图像的像素值的比率增加，并当纹理权重降低时，原始图像的图像值的比率增加，以及

其中，边缘合并部件将第一纹理合并图像和第一边缘过滤图像的相应位置处的像素的像素值加在一起，其中当边缘权重增加时，第一边缘过滤图像的像素值的比率增加，并当边缘权重降低时，第一纹理合并图像的像素值的比率增加。

8.如权利要求1所述的图像处理设备，还包括：

平坦对比权重设置部件，用于设置目标像素的平坦对比权重，所述平坦对比权重是基于目标像素的对比强度相对于在平坦区域中以较高出现频率出现的预定对比强度的接近程度的权重；

平坦权重设置部件，用于设置平坦权重，所述平坦权重是基于在包括并邻近目标像素的第四区域中各个像素的边缘方向、各个像素的边缘方向的置信度、以及各个像素的平坦对比权重的权重；

平坦过滤部件，用于执行平坦过滤以生成平坦过滤图像，所述平坦过滤针对于涉及平坦区域的处理；以及

平坦合并部件，用于使用基于平坦权重的权重来将原始图像和平坦过滤图像的相应位置处的像素的像素值加在一起，以生成平坦合并图像；

其中，纹理合并部件使用基于纹理权重的权重来将平坦合并图像和第一纹理过滤图像的相应位置处的像素的像素值加在一起，以生成第二纹理合并图像，以及

其中，边缘合并部件使用基于边缘权重的权重来将第二纹理合并图像和第一边缘过滤图像的相应位置处的像素的像素值加在一起，以生成第二边缘合并图像。

9.如权利要求8所述的图像处理设备，

其中，平坦对比权重设置部件设置平坦对比权重，使得平坦对比权重在对比强度小于或等于第一对比强度的范围中取最大值，所述第一对比强度是在平坦区域中以较高出现频率出现的预定对比强度；使得平坦对比权重在对比强度大于第二对比强度的范围中取最小值，所述第二对比强度是在平坦区域中以较低出现频率出现的预定对比强度；并使得当在对比强度大于第一对比强度并小于或等于第二对比强度的范围中，平坦对比权重随着对比强度增加而减少。

10.如权利要求8所述的图像处理设备，

其中，作为平坦权重，平坦权重设置部件设置对在第四区域中的各个像素获得的值之和，对于每个像素，通过将边缘方向的置信度、平坦对比权重、以及与边缘方向相关的权重相乘而获得该值。

11.如权利要求8所述的图像处理设备，

其中，平坦过滤部件执行衰减原始图像的高频率带的分量的过滤。

12.如权利要求8所述的图像处理设备，

其中，平坦合并部件将原始图像和平坦过滤图像在相应位置处的像素的像素值加在一起，其中当平坦权重增加时，平坦过滤图像的像素值的比率增加，并当平坦权重降低时，原始图像的像素值的比率增加，

其中，纹理合并部件将平坦合并图像和第一纹理过滤图像在相应位置处的像素的像素值加在一起，其中当纹理权重增加时，第一纹理过滤图像的像素值的比率增加，并当纹理权重减少时，平坦合并图像的像素值的比率增加，以及

其中，边缘合并部件将第二纹理合并图像和第一边缘过滤图像在相应位置处的像素的像素值加在一起，其中当边缘权重增加时，第一边缘过滤图像的比率增加，并当边缘权重减少时，第二纹理合并图像的比率增加。

13.如权利要求1所述的图像处理设备，还包括

第二边缘对比权重设置部件，用于为目标像素设置第二边缘对比权重，所述第二边缘对比权重是基于目标像素的对比强度相对于在边缘区域中以较高出现频率出现的预定对比强度的接近程度的权重；

方向选择部件，用于基于在包括并邻近目标像素的第四区域中的各个像素的边缘方向、各个像素的边缘方向的置信度以及各个像素的第二边缘对比权重，选择用于选择目标像素的内插要使用的像素的选择方向；

倾斜权重设置部件，用于设置倾斜权重，所述倾斜权重是基于在包括并邻近目标像素的第五区域中的各个像素的边缘方向、各个像素的边缘方向的置信度以及各个像素的第二边缘对比权重的权重；

第一内插部件，用于通过使用在所述选择方向上邻近于目标像素的任一边的像素来计算目标像素的像素值，以通过原始图像的内插来生成第一内插图像；

第二内插部件，用于以与第一内插部件的内插不同的方式，通过原始图像的内插来生成第二内插图像；以及

内插图像合并部件，用于使用基于倾斜权重的权重来将第一内插图像和第二内插图像在相应位置处的像素的像素值加在一起，以生成内插合并图像；

其中，纹理过滤部件对内插合并图像执行纹理过滤以生成第二纹理过滤图像，

其中，边缘过滤部件对内插合并图像执行边缘过滤以生成第二边缘过滤图像，

其中，纹理合并部件使用基于纹理权重的权重来将内插合并图像和第二纹理过滤图像在相应位置处的像素的像素值加在一起，以生成第二纹理合并图像，以及

其中，边缘合并部件使用基于边缘权重的权重来将第二纹理合并图像和第二边缘过滤图像在相应位置处的像素的像素值加在一起，以生成第二边缘合并图像。

14.如权利要求13所述的图像处理设备，

其中，方向选择部件基于在第四区域中的像素中具有边缘方向的高置信度和较大的第二边缘对比权重的像素的边缘方向的分布，来选择所述选择方向。

15.如权利要求13所述的图像处理设备，

其中，作为倾斜权重，倾斜权重设置部件设置对在第五区域中的各个像素获得的值之和，对于每个像素，将边缘方向的置信度、第二边缘对比权重、以及与边缘方向相关的权重相乘而获得该值。

16.如权利要求13所述的图像处理设备，

其中，纹理合并部件将内插合并图像和第二纹理过滤图像在相应位置处的像素的像素值加在一起，其中当纹理权重增加时，第二纹理过滤图像的像素值的比率增加，并当纹理权重减少时，内插合并图像的像素值的比率增加，以及

其中，边缘合并部件将第二纹理合并图像和第二边缘过滤图像在相应位置处的像素的像素值加在一起，其中当边缘权重增加时，第二边缘过滤图像的像素值的比率增加，并当边缘权重减少时，第二纹理合并图像的像素值的比率增加。

17.一种图像处理方法，包括以下步骤：

检测在原始图像中考虑的目标像素的边缘方向；

检测边缘方向的置信度；

检测目标像素的对比强度，所述对比强度表示在包括并邻近目标像素的第一区域中的对比的强度；

设置目标像素的纹理对比权重，所述纹理对比权重是基于目标像素的对比强度相对于在纹理区域中以较高出现频率出现的预定对比强度的接近程度的权重，所述纹理区域是其中像素值变化的量比平坦区域更大并比边缘区域更小的区域，所述平坦区域是其中像素值基本不变的区域，并且所述边缘区域是其中像素值剧烈变化的区域；

设置目标像素的边缘对比权重，所述边缘对比权重是基于目标像素的对比强度相对于在边缘区域中以较高出现频率出现的预定对比强度的接近程度的权重；

设置纹理权重，所述纹理权重是基于在包括并邻近目标像素的第二区域中的各个像素的边缘方向、各个像素的边缘方向的置信度、以及各个像素的纹理对比权重的权重；

设置边缘权重，所述边缘权重是基于在包括并邻近目标像素的第三区域中的各个像素的边缘方向、各个像素的边缘方向的置信度。以及各个像素的边缘对比权重的权重；

对原始图像执行纹理过滤，以生成纹理过滤图像，所述纹理过滤针对于涉及纹理区域的处理；

对原始图像执行边缘过滤，以生成边缘过滤图像，所述边缘过滤针对于涉及边缘区域的处理；

使用基于纹理权重的权重来将原始图像和纹理过滤图像在相应位置处的像素值加在一起，以生成纹理合并图像；以及

使用基于边缘权重的权重来将纹理合并图像和边缘过滤图像在相应位置处的像素的像素值加在一起，以生成边缘合并图像。

Images