CN101571954B - 亚像素配准 - Google Patents

Abstract

亚像素图像对齐包括：将第一图像的第一像素和第二图像的第二像素映射到坐标系，并且对所映射的第一像素应用一次或更多次亚像素位移。对于每次亚像素位移，基于代表所移动的第一像素和所映射的第二像素间通道值变化的多个梯度计算总能量。亚像素图像对齐进一步包括确定提供最低总能量的亚像素位移。

Description

亚像素配准

技术领域

本发明涉及图像配准技术，更具体地涉及一种亚像素配准方法和系统。

背景技术

鲁棒图像配准是计算机视觉和新兴的计算式摄影(CP)领域研究的核心问题之一。现在存在各种鲁棒图像配准技术，并且它们基于诸如对齐图像内特征或应用稠密像素到像素对应等方法。

计算式摄影中的一般方法是对同一场景拍摄多张照片，每张都以略微不同的方式拍摄，并且随后将图像合并以产生单张照片。产生该最终照片的一些目的包括，例如，在后期处理中对图像重聚焦或提高照片的动态范围。在一些情况下，CP的目的是基于多幅较低分辨率的图像产生单幅超分辨率图像。

尽管可以通过提高照相机图像传感器的分辨率获得超分辨率图像，然而较高分辨率的传感器也带来更高的制造成本以及更大的散粒噪声。而且，提高传感器芯片尺寸以容纳更大量的像素导致增大电容，这会降低数据传输速率。另外，在形成超分辨率图像过程中，在图像间应用像素级配准可导致伪像如模糊和出现双重特征。

发明内容

本说明书涉及亚像素图像对齐。

一般地，本说明书所描述的主题的一个方面可以以计算机实现的方法实施，其包括：将第一图像的第一像素和第二图像的第二像素映射到坐标系，对所映射的第一像素应用一次或更多次亚像素位移，对于每次亚像素位移，基于代表所移动第一像素和所映射第二像素间通道值变化的多个梯度计算总能量，并且确定提供最低总能量的亚像素位移。该方面的其他实施例包括相应的系统和计算机程序产品。

这些和其他实施例可以可选地包括以下一个或更多特性。计算机实现的方法也可以包括在将第一像素和第二像素映射到坐标系之前对第一图像和第二图像应用像素级对齐。

在一些实现中，计算总能量可以包括从包括多个所移动的第一像素和所映射的第二像素的第三像素确定一个或更多平面。平面的顶点可以与第三像素在坐标系中的位置重合。

在一些情况下，通道是亮度、强度和alpha值之一。

在一些实现中，通道对应于颜色空间的维度。

计算总能量可以包括基于平面上通道值的变化计算每个平面的能量。计算每个平面的能量可以包括计算每个平面的梯度

在一些应用中，计算总能量包括对每个平面的能量求和。

在一些实现中，计算机实现的方法包括优化一次或更多次亚像素位移，将所优化的一次或更多次亚像素位移应用到所映射的第一像素，对于每次所优化的亚像素位移，基于代表由所优化的亚像素位移所移动的第一像素和所映射的第二像素间通道值变化的多个优化梯度，计算优化总能量，并且确定提供最低优化总能量的优化亚像素位移。

在某些情况下，一次或更多次亚像素位移在固定范围内应用于所映射的第一像素。

本说明书所描述的主题的特定实施例可以被实施以实现以下一个或更多优势。在一些情况下，亚像素配准可以用于从几幅较低分辨率的图像构建超分辨率图像。

在很多计算机视觉问题中，需要确定像素、对像、帧或图像之间的位移或运动的量。然而，像素级配准有时不能解析位移量。相反，亚像素配准可以用于在可接受的细节水平上确定并且解析位移。

附图和下文描述了本发明的一个或更多实施例的细节。通过描述、附图和权利要求书可以理解本发明的其他特性、方面和优势。

附图说明

图1示出了光场照相机的例子；

图2示出了合并低分辨率图像以形成高分辨率图像的例子；

图3A示出了用于对图像应用亚像素分辨率的示例处理流程图；

图3B示出了示例系统的示意图；

图4示出了将图像与坐标系匹配的例子；

图5A-5C示出了对两个示例图像应用像素和亚像素配准；

图6A示出了通过连接相邻像素形成的图像平面的例子；以及

图6B示出了从像素构建的平面的例子。

具体实施方式

术语“超分辨率”也称为分辨率增强，用于描述从一组较低分辨率图像获得一幅高分辨率图像或一系列高分辨率图像的处理。存在多种用于获得低分辨率图像的技术，包括例如使用多个传感器对单个场景成像，使用同时捕捉场景的多幅低分辨率图像的单个传感器，或使用单个传感器在一个时段内对场景成像。

一种已知为“光场照相机”的特定类型的照相机同时地从略微不同的视角捕获同一场景的多张照片。图1示出了光场照相机1的例子。照相机1包括在单个图像传感器4前面由多个微镜头3组成的微镜头阵列2。微镜头3彼此有偏移，使得每个微镜头捕获所拍摄场景5的略有不同的视图。不同的视图V1、V2、V3、V4被图像传感器4记录。因为每个微镜头位置上的少许偏移，每个所记录的图像都代表了原始场景的子采样(混迭的)版本并且包含互补信息。利用有关位移的知识，所记录的图像可以被合并以去除混迭并且根据互补信息产生场景的较高分辨率的最终图像。

例如，图2示出了由光场照相机分别获得的同一场景的三幅低分辨率图像6、8、10，即例子所示的埃菲尔铁塔。每幅图像中的场景与其他两幅图像中的场景都略有偏移。因此，每幅低分辨率图像可以包括可以被合并到单张高分辨率图像12的互补信息。

相应地，为产生高分辨率图像，需要确定每幅图像中的场景的相对位置。基于该位置信息，图像可以被位移以对齐基本场景并且构成高分辨率图像。然而，如果仅使用图像间像素配准执行场景对齐，可能产生伪像如模糊和出现双重特征。伪像的产生是因为在像素配准期间场景对齐受到像素尺寸的限制。像素是图片元素(picture element)的缩写并且表示图形图像中的单个点。数字图像可以被表示为以列和行排列的像素的集合，其中像素的值可以对应于图像颜色空间值。图像颜色空间的例子包括但不限于颜色空间如CMYK、RGB、HSV、HSL、YPbPr、灰度或黑白。

然而，亚像素配准实现更精确的场景对齐。在亚像素配准中，图像相对于彼此被移动亚像素距离。一旦获得图像最佳相对位置，来自每幅图像的互补场景信息被用于构建最终超分辨率图像。

流程图3A示出了在两幅图像IM₁和IM₂之间应用亚像素配准的示例处理。图像IM₁和IM₂包括但不限于由装置(例如光场照相机)记录的图像和计算机生成的图像。IM₁和IM₂描绘相同的或相似的场景，其中IM₂中的场景位置偏离于IM₁中的场景位置。从装置获取的图像随后被提供给能够修改并且存储图像信息的机器或系统，如计算机。处理包括：在图像IM₁和IM₂之间应用像素级配准(301)；将配准图像IM₁和IM₂与坐标平面匹配(303)；对图像IM₂应用亚像素位移(305)；使用所移动的和未移动的像素构建平面单元(307)；基于平面单元的梯度计算并且存储总能量(309)；对不同的亚像素位移重复步骤(305)-(309)(310)；并且确定提供最低总能量的IM₂亚像素位移(311)。图3A描述的处理可以被配置在计算机系统上自动地运行或者在用户提供的信息的辅助下运行。尽管图3A描述的过程仅针对两幅图像，亚像素配准处理也可以应用于三幅或更多图像。步骤(305)-(309)重复的次数可以根据亚像素位移的大小和亚像素位移所应用的距离而限定。替代地，用户可以定义步骤(305)-(309)应重复的次数。

图3B示出了可用于执行图3A的处理流程的示例系统100的示意图。系统100包括粗图像配准组件102、亚像素配准组件104和超分辨率组件106。可以有比所示出的更少或更多的组件。图像14和16作为输入被提供给粗图像配准组件102。尽管示出了两幅图像，另外的图像可以作为输入被提供给粗图像配准组件102。图像可以以数字或模拟形式通过有线或无线网络提供。在收到图像14、16时，组件102应用粗对齐/配准算法。算法产生粗对齐信息，该信息随后被提供给亚像素配准组件104。

亚像素配准组件104接收粗对齐信息和图像14、16并且对图像应用亚像素配准。亚像素配准组件104包括用于应用亚像素配准的若干子组件。亚像素配准组件104可以包括比所示出的更少或更多的子组件。子组件包括：将所接收的图像映射到坐标系的图像映射组件101；对至少一幅所接收的图像应用亚像素位移的亚像素位移组件103；基于所移动的和未移动的像素构建平面单元的图像平面构建组件105；以及基于平面单元的梯度计算总能量并且确定哪一个亚像素位移提供最低总能量的计算组件107。亚像素配准组件104随后将亚像素位移和能量信息输出给超分辨率组件106。

在从亚像素配准组件104接收到亚像素位移和能量信息时，超分辨率组件106基于所接收的图像信息构建超分辨率图像。图3B所示的组件和子组件的功能性可以由一个或更多处理器执行。另外，图3B所示的组件和子组件可以在一个或更多网络连接的一个或更多装置中实现。

现在更详细地描述图3A的流程图所描述的和图3B的示意图所示的处理。鉴于每幅图像IM₁和IM₂从不同视角显示相似的场景，对于第一图像与第二图像，一个或更多特定特征或对象(例如树、车、人等)的位置可以不同。相应地，优选地在应用任何亚像素位移之前粗略地对齐两幅图像的场景/特征。使用像素级配准实现这种对齐(301)。在像素级配准中，使图像IM₂中的像素与图像IM₁中对应于在所捕获场景中找到的相同或几乎相同的特征的像素位置配准/对齐。像素级配准算法的例子包括但不限于：线性变换，如平移、旋转和整体缩放；多项式包裹(polynomial wrapping)；Lucas Kanade光流估计；随机采样符合算法(RANSAC)；以及相位相关。

在对图像应用像素级配准后，每幅图像随后与坐标平面(例如笛卡尔平面的x和y坐标)匹配(303)，其中平面的全体整数坐标对应于图像像素位置。例如，图4示出，对于一边有三个像素的图像20，图像20与具有坐标范围x＝0..2和y＝0..2的网格21匹配。图像左上角的像素22匹配坐标(x＝0，y＝0)。同样，图像右下角的像素24匹配网格21上的坐标(x＝2，y＝2)。图像的其余像素相应地匹配到坐标平面。然而，坐标平面不限于笛卡尔系统。图像可以被映射到其他坐标平面，包括但不限于圆或极坐标平面。

随后第三坐标z被引入到每幅图像。z坐标表示对应于图像的特定通道或颜色空间值的像素值。例如，第三坐标可以对应于该特定像素的图像亮度、强度或alpha值。替代地，或另外地，第三坐标可以对应于特定像素的图像颜色通道如红、绿、蓝、青、品红、黄、黑、色调、饱和度或亮度。也可以使用其他图像值。作为结果，为每幅图像形成三维网格G_i(x，y，z)，其中对于图像IM₁，i＝1；并且对于图像IM₂，i＝2。对于3个或更多图像，i＝1，2，...，N，其中N是图像总数。

再参照图3A，一旦得到每幅图像IM_1，2的网格G_1，2，对网格G₂沿矢量S＝(sx，sy)应用(305)任意位移，使得网格G₂有新坐标G₂ ^*＝G₂(x，y，z)+S。然而，矢量位移S仅沿着网格的x-y平面。也就是说，每个像素上的图像通道/颜色空间值没有改变。这样，在沿着x-y平面的新位置，网格G₂ ^*的z坐标值保持与位移之前相等。

而且，亚像素位移的值可以按照希望设置。例如，如果图像像素以整数间隔排列，则矢量位移可以被限定于不大于像素间距离的距离，即亚像素位移，其中sx，xy＜|1|。然而，也可以为亚像素位移sx，xy定义其他值。亚像素位移S的值可以由用户输入或可以借助计算机随机产生。另一方面，网格G₁不移动。

图5A-5C示出了对两幅分别的图像26和30应用像素和亚像素配准的例子。图像26由像素28组成，而图像30由像素32组成(见图5A)。每幅图像26、30表示场景的略微不同的视图。每个像素28中的水平线和每个像素32中的垂直线不对应于成像场景的部分。相反，这些线仅用做识别像素所属图像的标记。如图5B所示，对图像26和30都应用粗像素级配准。随后使配准图像26、30在xy平面(由虚线31表示)上重叠以形成网格G₁(x，y，z)和G₂(x，y，z)。随后对G₂的像素32沿矢量S应用亚像素位移。矢量S包括在x方向的位移(sx)和在y方向上的位移(sy)。如图5C所示，亚像素位移将网格G₂移动到xy平面上的新位置，由G₂(x+sx，y+sy，z)表示。

移动网格G₂后，通过连接来自网格G₁和网格G₂的相邻像素构建图像平面。图6A示出了通过连接相邻像素形成的图像平面的例子。像素32(图6A中的虚线圆形)对应于已经移动了矢量S的网格G₂的像素，而像素28(图6A中的实线圆形)对应于未移动的网格G₁的像素。在所移动的像素32有四个最近相邻像素的区域，围绕网格G₂的像素32形成四个平面(A、B、C和D)。如果像素32位于接近坐标平面的边缘，使得只有两个最近相邻像素，则只构建两个平面。在一些实现中，仅使用非边界像素以保证有四个最近相邻像素。

图像平面A、B、C和D是三维平面，其中在每个像素上的平面高度由像素z坐标值给出。也就是说，图像通道值对应于图像平面的z坐标。例如，图6B示出了从网格G₁的像素P₁、P₂和网格G₂的像素P₃构建的图像平面34的例子，并且以三维空间表示。如果z坐标表示灰度，则值0可以等于黑色而值1可以等于白色。对于图6B示出的例子，每个像素P₁和P₂都有灰色分量，并且因此具有0至1之间的z坐标(例如z₁，z₂)。相比而言，像素P₃的颜色值是白色，使得其灰度对应的z坐标等于1。相应地，图像平面34由穿过三个非共线点P₁(x₁，y₁，z₁)，P₂(x₂，y₁，z₂)和P₃(x₂+sx，y₁+sy，1)展开的平面形成。

移动网格G₂并且构建图像平面的一个基本理由是确定第一图像相对于第二图像的最佳位置，使得可以从第一和第二图像构建合成的高分辨率图像。用于确定亚像素位移是否将网格G₂放置在最佳位置的一种技术是，基于每个像素平面的能量计算特定亚像素位移(例如S₁)的总图像能量(例如E₁)。该总图像能量E1随后与为不同亚像素位移值(例如S₂，S₃，...S_M)计算的图像能量(例如E₂，E₃，...E_M)比较，其中M是所应用的亚像素位移的总数。得到最低总图像能量的亚像素位移S对应于网格G₂的最佳位移。为确定特定亚像素位移的总图像能量，对于指定矢量位移S，计算图像中每个平面Ep上的能量。随后对所有构建平面的计算得出的每个平的能量求和。Ep计算为沿x方向的平面梯度(例如dz/dx)的平方和沿y方向的平面梯度(例如dz/dy)的平方之和。值dz/dx和dz/dy分别对应于在x和y方向上平面高度的变化。这样，图6A中平面A1的能量计算为：平面A1面积上的Ep_A1＝(dz/dx)²+(dz/dy)²。以相似方法计算平面B1、C1和D1的能量Ep_B1、Ep_C1和Ep_D1。也可以使用其他技术来计算由于矢量位移产生的能量。随后对图像中的每个平面的能量求和计算得到总图像能量，即：

E＝Ep_A+Ep_B+Ep_C+Ep_D

其中Ep_A＝Ep_A1+Ep_A2+...，Ep_B＝Ep_B1+Ep_B2+...，Ep_C＝Ep_C1+Ep_C2+...，并且Ep_D＝Ep_D1+Ep_D2+...。作为例子，如果所移动的网格G₂包括四个像素并且每个所移动的像素有四个平面，则16个平面中每个平面的能量可以相加到一起产生总图像能量。

一旦为指定矢量位移S计算了总图像能量E，位移S的图像能量E即被存储在存储器中并且重复处理，即网格G₂再次移动S，并且计算总图像能量E并且存储以用于后续位移。当为指定范围内的每个矢量位移S计算了图像能量时，比较所存储的能量以确定对应于最小总图像能量的网格G₂的位置(x_min，y_min)。对应于最小能量的网格位置的值可以输出给用户或存储到存储器中。

当找到最小能量时，处理可以被进一步优化以识别最小能量发生的更精确位置。例如，sx和/或sy的值可以减小2、4、6、8或10倍。sx和/或sy的值也可以减小其他值。另外，网格G₂位移的范围也可以被进一步限制。例如，网格G₂的位移可以限制在 $x<(x_{\min }\&ForAll;\mathrm{dx})$ 和 $y<(y_{\min }\&ForAll;\mathrm{dy})$ 的距离，其中dx和/或dy等于0.5、0.25、0.1、0.05、0.025。dx和dy也可以使用其他值。可以根据希望来重复识别对应于最小能量的网格G₂的位置并且进一步优化亚像素位移的前述处理。

本说明书描述的主题的实施例和功能性操作可以以数字电子电路实现，或以计算机软件、固件或硬件实现，包括在本说明书中公开的结构及其对等结构，或其一个或更多的组合实现。本说明书描述的主题的实施例可以作为一个或更多计算机程序产品实现，即一个或更多计算机程序指令模块，其编码于计算机可读介质上由数据处理装置执行或用于控制数据处理装置的操作。计算机可读介质可以是机器可读的存储装置，机器可读的存储基体，存储器装置，实现机器可读传播信号的物质组合，或以上一个或更多的组合。术语“数据处理装置”包括所有用于处理数据的装置、设备和机器，包括例如可编程处理器、计算机或多个处理器或计算机。除了硬件，装置可以包括为该计算机程序创建执行环境的代码，例如构成处理器固件、协议堆栈、数据库管理系统、操作系统或以上一个或更多的组合的代码。传播信号是人工产生的信号，例如机器产生的电、光或电磁信号，其产生以编码信息用于传输给适当的接收器装置。

可以以任何形式的编程语言，包括编译或翻译语言，编写计算机程序(也公知为程序、软件、软件应用、脚本或代码)，并且可以以任何形式布置，包括作为独立程序或作为模块、组件、子程序或其他适用于计算环境的单元。计算机程序不需要对应于文件系统中的文件。程序可以存储在文件的一个部分，该文件保存其他程序或数据(例如存储于标记语言文档中的一个或更多脚本)，存储在专为该程序的单一文件中，或存储在多个协调文件中(例如存储一个或更多模块、子程序或代码部分的文件)。计算机程序可以布置在一台计算机或多台计算机上执行，该多台计算机位于一个地点或分布在多个地点并且通过通信网络互联。

本说明书中描述的过程和逻辑流程可以由一个或更多可编程处理器执行，其执行一个或更多计算机程序，以通过对输入数据操作和产生输出而执行功能。过程和逻辑流程也可以由特殊目的的逻辑电路执行，并且装置也可以作为特殊目的的逻辑电路实现，例如FPGA(现场可编程门阵列)或ASIC(特定于应用的集成电路)。

适用于执行计算机程序的处理器包括，例如，一般和特殊目的的微处理器，以及任何种类数字计算机的任意一个或更多处理器。一般地，处理器从只读存储器或随机存取存储器或从两者接受指令和数据。计算机的基本元件是用于执行指令的处理器以及用于存储指令和数据的一个或更多存储器。一般地，计算机也包括或可操作地连接到用于存储数据的一个或更多大型存储装置，如磁盘、磁-光盘或光盘，以便从其接收数据或向其发送数据或既接收也发送数据。然而，计算机不需要有这样的装置。而且，计算机可以嵌入到另一个装置中，例如移动电话、个人数字助理(PDA)、移动音频播放器、全球定位系统(GPS)接收器，等等。适用于存储计算机程序指令和数据的计算机可度介质包括所有形式的非易失性存储器、介质和存储装置，包括例如半导体存储装置，例如EPROM，EEPROM，以及可擦除存储装置；磁盘，例如内部硬盘或可移除磁盘；磁-光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可以由特殊目的的逻辑电路补充或集成于其中。

为了提供与用户的交互，本说明书描述的主题的实施例可以在有显示装置的计算机上实现，例如有CRT(阴极射线管)或LCD(液晶显示器)显示器，用于向用户显示信息，并且有键盘和指针设备，例如鼠标或追踪球，用户可以通过这些向计算机提供输入。也可以使用其他种类的装置提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。

本说明书包括很多细节，但这些不应理解为对本发明范围或权利要求书的限制，而是对特定于本发明特定实施例的特性的描述。本说明书中描述的在不同实施例环境下的某些特性也可以在单一实施例中组合实现。反过来，所描述的在单一实施例环境下的各种特性也可以在多个实施例中分别地实现或以任何适当的子组合实现。而且，尽管上文中的特性描述为以某些组合作用并且甚至初始地在权利要求书中如此描述，在某些情况下，权利要求书中的组合的一个或更多特性可以从组合中分离，并且权利要求书中的组合可以用于子组合或子组合的变型。

类似地，在图中以特定的顺序示出操作，但不应理解为：要求以示出的特定顺序或顺序地执行这些操作或者要执行所有示出的操作以实现所期望的结果。在某些情况下，多任务处理和平行处理可能是有利的。而且，上文描述的实施例的各种系统组件的分离不应理解为在所有实施例中都需要这种分离，并且应当理解，所描述的程序组件和系统能够一般地共同集成到单一软件产品或打包到多个软件产品中。

这样，已经描述了本发明的特定实施例。其他实施例也在权利要求书的范围内。例如，可以以不同的顺序执行权利要求书中陈述的动作并且仍旧实现所期望的结果。

Claims (20)

1.一种用于亚像素配准的方法，包括：

将第一图像的第一像素和第二图像的第二像素映射到坐标系；

对所映射的第一像素应用一次或更多次亚像素位移；

对于每次亚像素位移，基于代表所移动的第一像素和所映射的第二像素间通道值变化的多个梯度计算总能量；以及

确定提供最低总能量的亚像素位移。

2.根据权利要求1所述的方法，进一步包括：

在将第一像素和第二像素映射到坐标系之前对第一图像和第二图像应用像素级对齐。

3.根据权利要求1所述的方法，其中所述计算总能量包括：

从第三像素确定一个或更多平面，其中所述第三像素包括多个所移动的第一像素和所映射的第二像素。

4.根据权利要求3所述的方法，其中所述平面的顶点与所述第三像素在所述坐标系中的位置重合。

5.根据权利要求1所述的方法，其中所述通道是亮度、强度和alpha值之一。

6.根据权利要求1所述的方法，其中所述通道对应于颜色空间中的一个维度。

7.根据权利要求4所述的方法，其中所述计算总能量进一步包括：

基于平面上通道值的变化来计算每个平面的能量。

8.根据权利要求7所述的方法，其中所述计算每个平面的能量包括：

计算每个平面的梯度。

9.根据权利要求7所述的方法，其中所述计算总能量进一步包括：对每个平面的能量求和。

10.根据权利要求1所述的方法，进一步包括：

优化所述一次或更多次亚像素位移；

将所优化的一次或更多次亚像素位移应用到所映射的第一像素；

对于每次所优化的亚像素位移，基于代表由所优化的亚像素位移所移动的第一像素和所映射的第二像素间通道值变化的多个优化梯度，计算优化总能量；以及

确定提供最低优化总能量的优化亚像素位移。

11.一种用于亚像素配准的设备，包括：

用于将第一图像的第一像素和第二图像的第二像素映射到坐标系的装置；

用于对所映射的第一像素应用一次或更多次亚像素位移的装置；

用于对每次亚像素位移，基于代表所位移的第一像素和所映射的第二像素间通道值变化的多个梯度计算总能量的装置；以及

用于确定提供最低总能量的亚像素位移的装置。

12.根据权利要求11所述的设备，进一步包括：用于在将第一像素和第二像素映射到坐标系之前对第一图像和第二图像应用像素级对齐的装置。

13.根据权利要求11所述的设备，其中所述计算总能量的装置包括：用于从第三像素确定一个或更多平面的装置，其中所述第三像素包括多个所移动的第一像素和所映射的第二像素。

14.根据权利要求13所述的设备，所述平面的顶点与所述第三像素在所述坐标系中的位置重合。

15.根据权利要求11所述的设备，其中所述通道是亮度、强度和alpha值之一。

16.根据权利要求11所述的设备，其中所述通道对应于颜色空间中的一个维度。

17.根据权利要求14所述的设备，其中所述计算总能量的装置进一步包括：

用于基于平面上通道值的变化计算每个平面的能量的装置。

18.根据权利要求17所述的设备，其中所述计算每个平面的能量的装置包括：用于计算每个平面的梯度的装置。

19.根据权利要求17所述的设备，其中所述计算总能量的装置进一步包括：用于对每个平面的能量求和的装置。

20.根据权利要求11所述的设备，进一步包括：

用于优化所述一次或更多次亚像素位移的装置；

用于将所优化的一次或更多次亚像素位移应用到所映射的第一像素的装置；

用于对于每次所优化的亚像素位移，基于代表由所优化的亚像素位移所移动的第一像素和所映射的第二像素间通道值变化的多个优化梯度，计算优化总能量的装置，并且

用于确定提供最低优化总能量的优化亚像素位移的装置。

Images