CN102982560A - 根据rgb和深度图像的表面分割 - Google Patents

Abstract

描述了根据RGB和深度图像的表面分割。在一个示例中，计算机接收场景的图像。图像具有像素，每个像素均具有相关联的颜色值和相关联的深度值，该深度值表示从图像传感器到场景中的表面的距离。计算机使用深度值来得到存在于场景内的三维平面集合。成本函数用于确定每个像素是否属于平面之一，并且相应地对图像元素加标记。成本函数具有与像素的深度值以及像素和至少一个相邻像素的颜色值相关的项。在各个示例中，可以扩展平面直至其相交以确定场景的范围，并且可以将不属于平面的像素标记为表面上的物体。

Description

根据RGB和深度图像的表面分割

技术领域

本发明涉及图像处理领域，更具体地，涉及一种图像分割的计算机实现方法和图像分割系统。

背景技术

室内场景的计算机解释对于诸如机器人学、安全和交互式游戏的多种应用是有用的。自动化室内场景解释的一个方面是对于墙、天花板、地板和支撑表面的3D平面参数和范围的确定。确定这些可以使得计算机能够得到诸如房间的大小和房间内的物体的位置的信息。

然而，尽管室内场景通常是高度结构化的，但是它们可能是复杂的。例如，从任意给定视点，场景的大部分可能是被遮蔽的，从而要求计算机越过可视表面而进行推理。用于根据图像解释室内图像的一些技术使用来自各个线索的简单几何模型，或者试图推出度量表示，但是如果遮蔽过大则可能较艰难。

以下描述的实施例不限于解决已知的室内场景解释技术的任意或所有缺点的实现。

发明内容

以下给出了本公开内容的简化概述以为读者提供基本的理解。该概述不是本公开内容的大范围概况，并且其不标定重要/关键的要素或者界定说明书的范围。其唯一的目的在于以简化形式给出此处公开的概念的选集，作为稍后给出的更详细描述的序言。

描述了根据RGB和深度图像的表面分割。在一个示例中，计算机接收场景的图像。图像具有每个均具有相关联的颜色值和相关联的深度值的像素，该深度值表示从图像传感器到场景中的表面的距离。计算机使用深度值来得到存在于场景内的三维平面集合。成本函数用于确定每个像素是否属于平面之一，并且相应地标记图像元素。成本函数具有与像素的深度值以及像素和至少一个相邻像素的颜色值相关的项。在各个示例中，平面可以延伸直至它们相交以确定场景的范围，并且不属于平面的像素可以被标记为表面上的物体。

当多个附带特征通过参考结合附图考虑的以下详细描述而变得更好理解时，这些附带特征将更容易明白。

附图说明

本描述将根据以下按照附图阅读的详细描述而更好理解，其中：

图1示出了场景的RGB和深度图像以及所解释的俯视图；

图2示出了用于捕获RGB和深度图像的捕获装置的示意图；

图3示出了用于使用RGB和深度图像来分割表面的总体处理；

图4示出了用于在分割之前对图像进行预处理的处理的流程图；

图5示出了用于确定场景的图像中存在的平面的处理的流程图；以及

图6示出了可实现表面分割技术的实施例的示例性的基于计算的装置。

相同的附图标记用于表示附图中的相同部分。

具体实施方式

以下结合附图提供的详细描述旨在作为本示例的描述并且不旨在仅表示可构造或利用本示例的形式。该描述阐述了示例的功能和用于构造和操作示例的步骤序列。然而，相同的或等同的功能和序列可由不同的示例来实现。

图1示出了使用以下描述的技术对室内场景执行的解释的类型的示例。图1示出可见光摄像装置捕获的示例室内场景的红绿蓝或RGB图像102和深度摄像装置捕获的同一场景的深度图像104。

RGB图像102由多个图像元素构成，每个图像元素表示对于图像的该点的可见光颜色值（例如，RGB强度）。注意，在下文中使用术语“图像元素”来指示像素、像素组、体素或图像的其它高阶分量。注意，在一些示例中，可见光图像不需要为RGB图像的形式，而是可以使用任意类型的适当颜色值表示。RGB图像102示出了典型室内场景的各种元素，包括墙106、地板107、靠着右手侧墙的第一物体108、靠近摄像装置的第二物体110以及在房间的左手侧角落的第三物体112。第一、第二和第三物体都是具有支撑表面的大物体，诸如桌子、椅子、沙发等。换言之，另外的物体可以放置在这些物体上。例如，图1示出了放置在第一物体108上的杯子114以及放置在第三物体112的顶部上的球116。

深度图像104示出了与RGB图像102相同的场景，并且也包括多个图像元素。然而，在深度图像104中，每个图像元素不表示元素而是表示深度摄像装置与场景中的该点处的物体或表面之间的距离。在图1的示例中，距离被表示为灰度级值，其中黑色图像元素表示近值，并且白色图像元素表示远值，二者之间为灰色阴影。注意，包围图1中的物体的黑色边缘线仅是为了清楚，并且不存在真实的深度图像中。

RGB图像102和深度图像104在一起的组合因此提供了关于场景中的物体的颜色和空间布局两者的信息。以下描述的图像分割技术使用关于场景的这两种信息源来解释室内环境的布局。这在图1的俯视图118中示出。俯视图指示房间的范围，即，边界墙106遇到的地方。这如下所述自动地来确定，甚至在这被遮蔽而无法查看的情况下也可自动地确定。例如，在图1中，地板与远处的墙相遇的房间的两个角落被物体遮蔽。俯视图118还指示房间内的物体相对于边界墙的位置。

注意，俯视图仅是场景的一种可能解释，并且被提供以易于图形表示。以下描述的技术也可以以2D和3D从任意其它透视来解释场景。

现在参照图2，其示出了可以用于捕获如图1所示的场景的RGB图像102和深度图像104的捕获装置200的示意图。如图2所示，捕获装置200包括至少一个图像传感器200。在图2所示的示例中，图像传感器202包括被布置成捕获场景的深度图像的深度摄像装置204。如以上所指出的，所捕获的深度图像可以包括所捕获的场景的2D区域，其中2D区域中的每个图像元素表示深度值，诸如从深度摄像装置204到所捕获的场景中的物体的长度或距离。

可以使用任意适当的技术来获得深度信息，这些适当的技术包括例如飞行时间、结构化光、立体图像等。在一些示例中，捕获装置200可以将深度信息组织到“Z层”或可与从深度摄像装置沿着其视线延伸的Z轴垂直的层中。

捕获装置200还可以包括发射器206，发射器206被布置成以深度信息可以由深度摄像装置204确定的方式来照射场景。在一个示例中，捕获装置200可以使用结构化光来捕获深度信息。在这样的技术中，可以使用发射器206将图案化的光（例如，被显示为已知的图案（诸如点、网格或条纹图案）的光）投射到场景上。图案化的光可以是例如来自激光器的红外（IR）光，以使得其对于人眼不可见。在撞到场景中的一个或多个目标或物体的表面时，图案发生变形。这样的图案变形可以由深度摄像装置204（其可以对IR光敏感）来捕获并且然后被分析以确定从捕获装置200到场景中的物体上的位置的物理距离。

在另一示例中，在深度摄像装置204是IR飞行时间摄像装置的情况下，发射器206将IR光发射到场景上，并且深度摄像装置204被布置成检测来自场景中的一个或多个目标和物体的表面的反向散射光。在一些示例中，可以从发射器206发射脉冲红外光，以使得在出射光脉冲与相应的入射光脉冲之间的时间可以由深度摄像装置来检测并且被测量和用于确定从捕获装置200到场景中的目标或物体上的位置的物理距离。另外，在一些示例中，可以将来自发射器206的出射光波的相位与在深度摄像装置204处的入射光波的相位进行比较以确定相移。然后，可以使用相移来确定从捕获装置200到目标或物体上的位置的物理距离。在另一示例中，可以使用飞行时间分析来通过经由各种技术（包括例如快门光脉冲成像（shuttered light pulse imaging））分析反射光束随时间的强度来间接地确定从捕获装置200到目标或物体上的位置的物理距离。

在另一示例中，深度摄像装置204可以为从不同角度查看场景的两个或更多个物理上分开的摄像装置的形式，以获得可以被分解以生成深度信息的视觉立体数据。在该情况下，发射器206可以用于照射场景或者可以被省略。

除了深度摄像装置204之外，图像传感器202还包括被称为RGB摄像装置208的常规摄像装置。RGB摄像装置208被布置成以上述方式以可见光频率捕获场景的图像。

图2所示的捕获装置200还包括至少一个处理器210，该处理器210与图像传感器202（即，图2的示例中的深度摄像装置204和RGB摄像装置208）和发射器206通信。处理器210可以为通用微处理器或者专用信号/图像处理器。处理器210被布置成执行指令以控制成像传感器202和发射器206捕获深度图像和/或RGB图像。处理器210还可以可选地被布置成如在下文中更详细地描述的那样对这些图像执行处理。

图2所示的捕获装置200还包括存储器212，存储器212被布置成存储用于由处理器210执行的指令、深度摄像装置204或RGB摄像装置208捕获的图像或者任意其它适当的信息、图像等。在一些示例中，存储器212可以包括随机存取存储器（RAM）、只读存储器（ROM）、缓存、闪存、硬盘或者任意其它适当的存储部件。存储器212可以是与处理器210通信的分开部件或者被集成到处理器210中。

捕获装置200还包括与处理器210通信的输出接口214并且被布置成经由通信链路将数据提供到计算装置216。计算装置216然后可以如以下所描述的那样对RGB和深度图像执行解释。以下参照图6提供关于计算装置216的结构的更多细节。通信链路可以例如是有线连接（诸如USB、火线、以太网等）和/或无线连接（诸如WiFi、蓝牙等）。在其它示例中，输出接口214可以与一个或多个通信网络（诸如因特网）接口并且经由这些网络将数据提供到计算装置216。

现在参照图3，其示出了用于使用RGB和深度图像来分割表面和解释场景的总体处理。图3的处理初始地对RGB和深度图像进行预处理，并且然后对RGB和深度图像执行分开的计算。在图3中，这些分开的计算被示出为并行的，但是它们也可以顺序地执行。来自图3的处理的输出是存在于场景中的3D平面的集合和表示图像元素属于哪个平面（在存在的情况下）的每个图像元素的标记。通过评估成本函数来执行对图像元素加标记。成本函数具有与图像元素的RGB和深度值相关的项，并因此组合且同时考虑RGB和深度信息。以下提供关于该处理的操作的更多细节。

在更详细地描述该处理的操作之前，首先概述一些符号。在下文中，（u,v）定义图像中的图像元素（例如，像素）坐标的列和行。（X,Y，Z）或XYZ或X是3D世界坐标（即，场景本身内的坐标）。（N_X,N_Y,N_Z）或N是3D表面法线。P=[a b c d]是3D平面参数。每个场景被认为具有地板、墙的集合以及支撑表面的集合。这些表面中的每个是平面化的并且由平面方程aX+bY+cZ+d=0、3D范围以及指示可视区域的像素坐标集合来表示。

如所指出的，图3的处理中的第一步骤是对图像进行预处理302。现在参照图4更详细地描述该预处理。预处理操作的输入是RGB图像102和深度图像104，RGB图像102和深度图像104是对准的，使得其相应的图像元素与场景中的同一点相关。如果需要，可以使用RGB和深度摄像装置的内在和外在参数以及标准多视图几何技术来执行深度图像和RGB图像的对准。

由于用于确定深度信息的技术（例如，结构化光），深度图像可能具有缺失或噪声值。为了对此进行校正，填充402缺失的深度值。这可以使用描绘技术来执行，在描绘技术中，通过沿着RGB图像中的类似颜色传播附近深度值来找到缺失的深度值。作为填充缺失的深度值的结果，在每个图像元素处，现在是颜色值和XYZ距离值，其中，根据图像元素坐标（u,v）、深度Z（来自深度摄像装置测量）以及已知焦距f和光心（u₀,v₀）的深度摄像装置参数来计算X和Y坐标。

接下来，在分析场景之前，将图像坐标与房间坐标对齐，以使得地板法线为Y（向上）方向。对齐基于曼哈顿世界假设，即，大部分可视表面（诸如桌子、地板和墙）将沿着三个正交方向（称为三个主方向）之一。为了获得主方向的候选，从RGB图像提取404直线，并且计算406每条所提取的直线的3D方向。这可以使用奇异值分解（具有最大特征值的特征向量）来执行。

通常，这可以导致主方向的大量（例如，100至200个）候选。选择408大致在Y方向上的线，并且对于每条所选择的线，采样410两个正交候选以形成三元组v₁、v₂、v₃。使用以下公式来计算412每个三元组的得分：

$S(v_1,v_2,v_3)=\underset{j=1}{\overset{3}{\mathrm{\Σ}}}[\frac{w_N}{N_N}\underset{i}{\mathrm{\Σ}}\exp (-\frac{{(N_i\·v_j)}^2}{{\mathrm{\σ}}^2})+\frac{w_L}{N_L}\underset{i}{\mathrm{\Σ}}\exp (-\frac{{(L_i\·v_j)}^2}{{\mathrm{\σ}}^2})]$

其中，v₁、v₂、v₃是三个主方向，N_i是图像元素i的表面法线，L_i是直线的方向，N_N和N_L是表面点和线的数量，并且w_N和w_L是3D法线和线得分的预定权重。在各个示例中，可以设置以下权重（但是可以使用替选）：w_N=0.7，w_L=0.3，并且σ=0.01。

选择414具有最大得分的主方向候选的集合，并且该主方向候选的集合被标记为v_X、v_Y和v_Z，其中，v_Y被选择为最靠近原始Y方向的方向。然后可以使用旋转矩阵R=[v_X v_Y v_Z]将场景的3D点、法线和平面与房间坐标的主方向对齐416。

返回到图3，在预处理操作之后，结果是如上所述的那样与房间坐标对齐的RGB图像304和深度图像306。如上所述，然后可以以可操作方式并行地对RGB和深度图像执行多个操作，以便计算在成本函数中使用的项。首先，考虑深度图像。

使用深度图像306执行的一个操作是得到308存在于场景内的三维平面的集合。这通过对深度图像应用随机抽样一致性（RANSAC）类型算法来执行，以生成多个提出的平面，并且基于具有关于所提出的平面的阈值距离的深度值的图像元素的数量从这些提出的平面选择平面的集合。现在参照图5更详细地描述该处理。

图5示出了用于确定场景的图像中存在的平面的RANSAC处理的流程图。从深度图像采样502第一图像元素。在一个示例中，采样可以是随机的，或者在其它示例中，这可以基于预定模式或序列。然后，在相对于第一图像元素的指定位置采样504第二和第三图像元素。例如，可以根据在y方向上距第一图像元素的固定距离来采样第二图像元素，并且可以根据在x方向上距第一图像元素的固定距离来采样第三图像元素。在一个示例中，固定距离可以是20个像素，但是可以使用任意适当值。

计算506穿过三个采样图像元素中的每个的XYZ坐标的所提出的平面。然后确定508一些或所有其它图像元素与三维平面之间的距离。所提出的平面P由平面方程aX+bY+cZ+d=0的[a b c d]来用参数表示。对参数进行归一化以使得a²+b²+c²=1，使得点（X,Y，Z）到平面P的距离为|aX+bY+cZ+d|。

如果图像元素在平面P的阈值距离内，则将图像元素设置510为“内围（inlier）”。在一个示例中，如果图像元素到平面的距离在0.005Z内，则认为该图像元素是内围。在该示例中阈值与深度成比例，这是由于深度越大则深度摄像装置的距离分辨率越粗。存储512平面P的内围的数量。

确定514是否要采样更多图像元素。如果要，则以新的开始样本重复处理。例如，可以采样预定数量的不同图像元素，以保证在该图像中标识足够的平面。在一个示例中，处理可以重复几百次以生成大量所提出的平面。

一旦确定514不再取得图像元素的更多样本，则读取对于每个所提出的平面的所存储内围的数量，并且按照内围的数量进行排序516。然后，从所提出的平面选择518平面集合，其中，该平面集合表示被认为存在于场景内的表面。在一个示例中，可以通过选择具有大于阈值数量的内围的每个所提出的平面（例如，具有至少2500个内围的平面）来选择该平面集合。在另一示例中，可以通过选择所排序的平面列表的预定部分（例如，排名前50的平面或者所排序的列表的前5%）来选择该平面集合。在另外的示例中，还（或者替选地）可以将另外的因素纳入考虑，诸如平面之间的重叠程度（例如，如果与排序较高的平面存在高于特定百分比的重叠，则不选择该平面）。

图5的处理的输出因此是被认为表示存在于场景内的表面的平面集合。再次返回到图3，对深度图像306执行的另一处理是计算310在深度图像的每个图像元素处的表面法线。可以根据图像元素的XYZ坐标和至少两个相邻或周围图像元素的XYZ坐标来计算图像元素的表面法线。例如，这可以包括使用奇异值分解来对图像元素和周围图像元素的一些或全部的XYZ坐标进行最小平方平面拟合，以及确定该平面的法线。

转到图3中对RGB图像304执行的操作，计算312每个图像元素与其周围图像元素之间的强度差别。例如，可以计算每个图像元素与其周围的八个图像元素（称为8个所连接的邻居）之间的强度值差别并与该图像元素相关联地来存储该强度值差别。

如上所述，为了确定哪些图像元素对应于各个平面，构造并评估成本函数。成本函数（也可以称为能量函数）可以为具有一元项和成对项的条件随机域（CRF）的形式。一元项将来自深度图像的信息纳入考虑，并且确定给定图像元素的3D坐标和法线是否靠近来自集合的平面之一。成对项将RGB强度差别信息纳入考虑，并且基于图像元素之间的RGB强度的梯度来平滑结果。因此，在成本函数中，同时考虑RGB和深度图像信息。

在一个示例中，可以使用以下成本函数：

$E(\mathrm{data},y)=\underset{p\∈\mathrm{PS}}{\mathrm{\Σ}}1(y_i=p){\mathrm{\α}}_i[\underset{i}{\mathrm{\Σ}}{f}_{3d}(X_i,y_i)+f_{\mathrm{norm}}(N_i,y_i)]+\underset{i,j\∈N_8}{\mathrm{\Σ}}{f}_{\mathrm{pair}}(y_i,y_j)$

其中，data是RGB和深度图像数据，y是对平面的图像元素分配，y_i是图像元素i的平面标记，其中，y_i=0……N_p，其中N_p是平面的数量（0=没有与图像元素相关联的平面），PS是所得到的平面的集合，1(·)是指示函数，α_i是加权因数（以下讨论）。f_3d(X_i，y_i)和f_norm(N_i，y_i)是一元项，其中X_i是图像元素i的3D坐标并且N_i是图像元素i的法线。N₈是图像元素i的8个所连接的邻居并且f_pair(y_i，y_j)是成对项。

可以从所得到的平面集合和上述算出的表面法线来构造314一元项。一元项f_3d和f_norm对图像元素处的3D值和法线是否与平面的3D值和法线匹配进行编码。每个项被定义为log(Pr(dist|inlier)/Pr(dist|outlier))，即，给定像素是内围或外围的情况下，3D点或法线与平面的3D点或法线之间的距离的概率的对数比。在示例中，可以使用具有100个分区（bin）的直方图来计算概率，但是也可以使用其它值。根据图像元素具有直接记录的深度测量（α_i=1）还是具有来自预处理的插值深度测量（α_i=0.25）还是没有深度测量（α_i＝0），用α_i对一元项加权。

可以使用上述RGB强度差别来构造316成对项。在示例中，成对项可以由f_pair(y_i，y_j)＝β₁+β₂||I_i-I_j||²给出。β₁和β₂的值可以被设置为任意适当的值。在一个示例中，β₁=1并且β₂=45/μ_g，其中μ_g是8个所连接的邻居内连接的像素的强度值的均方差。

可以通过找到对每个图像元素的平面标识符（或者零）的分配以使得成本函数的值最小化来求解318成本函数。这可以使用图形切割算法来求解。在一个示例中，利用α膨胀的图形切割可以用于最小化成本函数。一旦这被解出，则每个图像元素具有指示图像元素属于哪个平面的相关联的平面标识符或者替选地图像元素不属于所得到的平面之一的指示符。在一些示例中，可以取代图形切割算法而使用其它类型的算法来最小化成本函数。例如，可以使用树加权消息传递算法（tree weighted message passingalgorithm）、使用信任传播算法、通过求解线性规划松弛或者通过应用任意其它适当的算法来最小化成本函数。

为每个图像元素分配属于平面或者不属于平面的指示符可以用于辅助图像的进一步分割。例如，可以移除分配给平面的所有图像元素，以使得仅剩下未分配给平面的那些图像元素。这可以被认为是代表不在场景内的非平面物体的图像元素。换言之，这剩下与放置在场景的表面上的物体相关的图像元素。例如，再次参照图1，杯子114和球116的图像元素不会分配给平面，并且因此可以容易地从图像分割以用于进一步处理。

在一个示例中，可以分割与平面不相关的图像元素，并且可以分离不同组的图像元素（它们可能与不同的物体相关）。诸如SVM或决策森林的分类算法可以应用于每组图像元素以确定与该组图像元素相关的物体的类型（例如，图像元素表示杯子）。

在各个示例中，如上述所得到的存在于场景中的平面的知识可以用于得到关于场景的进一步信息。例如，存在于场景内的每个3D平面均可以延伸以确定不同的平面在何处相交，并且可以确定在x、y和z方向中的每个方向上距捕获装置的最远相交（在距离方面）。这些最远的相交指示室内场景的范围，即，边界墙与地板/天花板相遇以及彼此相遇的地方。这因此允许即使这被场景中的物体遮蔽而无法直接观察也可以确定房间的范围。

现在参照图6，其示出了示例性计算装置216的各个部件，该示例性计算装置216可被实现为任意形式的计算和/或电子装置，并且可在该示例性计算装置216中实现图像分割技术的实施例。

计算装置216包括一个或多个处理器600，这一个或多个处理器600可以是微处理器、控制器、图形处理单元或者任意其它适当类型的处理器，用于处理计算可执行指令以控制装置的操作，从而执行上述图像分割技术。

计算装置216还包括一个或多个输入接口602，这一个或多个输入接口602被布置为接收并处理来自一个或多个装置的输入，这一个或多个装置诸如为捕获装置200（以及可选地，游戏控制器、键盘和/或鼠标中的一个或多个）。

计算装置216还包括输出接口604，输出接口604被布置成将显示信息输出到可以与计算装置216分离或集成的显示装置606。显示信息可提供图形用户界面。在示例中，如果显示装置606是触敏显示装置，则其还可用作用户输入装置。输出接口还可将数据输出到除显示装置之外的装置，例如，本地连接的打印装置（图6中未示出）。装置还包括通信接口608，通信接口608可通过一个或多个通信网络发送或接收数据。

计算机可执行指令可使用计算装置216可访问的任意计算机可读介质来提供。计算机可读介质例如可包括诸如存储器610的计算机存储介质和通信介质。诸如存储器610的计算机存储介质包括易失性和非易失性、可拆卸和不可拆卸介质，这些介质以用于信息（诸如计算机可读指令、数据结构、程序模块或其它数据）存储的任意方法或技术来实现。计算机存储介质包括但不限于RAM、ROM、EPROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字通用盘（DVD）或其它光存储装置、磁卡带、磁带、磁盘存储装置或其它磁存储装置、或者可以用于存储计算装置访问的信息的任意其它非传输介质。相对地，通信介质可以以调制数据信号（诸如载波）或者其它传输机制来实现计算机可读指令、数据结构、程序模块或者其它数据。如这里所定义的，计算机存储介质不包括通信介质。因此，计算机存储介质不应被解释为传播信号本身。尽管计算机存储介质（存储器610）被示出为在计算装置216内，但是应理解，存储可以是分布式的或者远程设置的且经由网络或其它通信链路（例如，使用通信接口608）来访问。

包括操作系统612的平台软件或任意其它适当平台软件可设置在计算装置216处以使得能够在该装置上执行应用软件614。可以在计算装置216上执行的其它软件包括：用于根据深度图像确定表面法线的表面法线计算逻辑616、用于计算相邻图像元素之间的RGB强度差别的强度差别逻辑618、用于确定存在于场景中的平面的平面提出逻辑620（参见图5）、用于求解成本函数的图形切割逻辑622以及用于对图像预处理的预处理逻辑624（参见图4）。数据存储装置626被设置用于存储数据，诸如RGB和深度图像、所得到的平面参数、表面法线、强度差别以及其它数据。

术语“计算机”在此处用于指示具有处理能力从而其可以执行指令的任意装置。本领域技术人员将认识到，这种处理能力被合并到许多不同的装置中并且因此术语“计算机”包括PC、服务器、移动电话、个人数字助理和多种其它装置。

此处描述的方法可通过有形存储介质上的机器可读形式的软件来执行，例如，以包括计算机程序代码装置的计算机程序的形式，该计算机程序代码装置被适配成当在计算机上运行程序时执行此处描述的任意方法的所有步骤，并且其中，计算机程序可在计算机可读介质上实现。有形（或非暂态）存储介质的示例包括计算机存储装置并且不包括所传播的信号，该计算机存储装置包括诸如盘、拇指驱动器、存储器等的计算机可读介质。软件可以适合于在并行处理器或串行处理器上执行，以使得可以以任意适当的顺序或同时执行方法步骤。

这确认该软件可以是有价值的、可分开交易的商品。旨在包括在“哑（dumb）”或标准硬件上运行或对其进行控制以执行期望功能的软件。还旨在包括“描述”或定义硬件配置的软件，诸如HDL（硬件描述语言）软件，如用于设计硅芯片或者用于配置通用可编程芯片以执行期望的功能。

本领域技术人员将认识到，用于存储程序指令的存储装置可以分布于网络中。例如，远程计算机可存储被描述为软件的处理的示例。本地或终端计算机可访问远程计算机并且下载软件的一部分或全部以运行程序。替选地，本地计算机可按照需要下载程序的片段，或者在本地终端处执行一些软件指令并且在远程计算机（或计算机网络）处执行一些软件指令。本领域技术人员还将认识到，通过利用本领域技术人员公知的传统技术，可通过专用电路（诸如DSP、可编程逻辑阵列等）来执行软件指令的全部或部分。

如对本领域人员来说明显的是，此处给出的任意范围或装置值可被扩展或改变而不会损失所寻求的效果。

尽管已经以特定于结构特征和/或方法动作的语言描述了主题，但是应理解，所附权利要求中限定的主题不一定限于上述的特定特征或动作。相反，上述的特定特征和动作被公开作为实现权利要求的示例形式。

应理解，上述的益处和优点可与一个实施例相关或者可与多个实施例相关。实施例不限于解决任意或全部所述问题的那些实施例或者具有任意或全部所述益处和优点的那些实施例。还应理解，对“一个（an）”项的提及表示这些项中的一个或多个。

此处描述的方法的步骤可以以任意适当的顺序或者适当时同时执行。另外，在不背离此处描述的主题的精神和范围的情况下，各个块可从任意方法删除。任意上述示例的方面可与任意所述其它示例的方面组合以形成另外的示例，而不会损失所寻求的效果。

术语“包括”在此处用于表示包括所标识的方法块或元素，但是这样的块或元素不包括排他式列表，并且方法或设备可包含另外的块或元素。

应理解，以上描述仅作为示例给出并且本领域技术人员可做出各种修改。以上说明书、示例和数据提供了示例性实施例的结构和使用的完整描述。尽管以上以一定程度的具体性或者参照一个或多个单独的实施例描述了各个实施例，但是本领域技术人员可以对所公开的实施例做出大量变更，而不背离本说明书的精神或范围。

根据本发明的实施例，还公开了以下附记：

附记1．一种图像分割的计算机实现方法，包括：

在处理器处接收包括多个图像元素的场景的图像，每个图像元素均具有相关联的颜色值和相关联的深度值，所述深度值表示从图像传感器到场景元件的距离；

使用所述深度值来得到存在于所述场景内的三维平面集合；以及

对于每个图像元素，确定所述图像元素是否属于来自所述集合的平面并且相应地对所述图像元素加标记，其中，所述确定包括评估关于所述平面集合的成本函数，所述成本函数具有与所述图像元素的深度值以及所述图像元素和至少一个相邻图像元素的颜色值相关的项。

附记2．根据附记1所述的方法，其中，评估所述成本函数的步骤包括针对每个图像元素选择相关联的平面以使得所述成本函数最小化。

附记3．根据附记1所述的方法，其中，所述成本函数包括一元项和成对项。

附记4．根据附记3所述的方法，其中，评估步骤包括使用所述图像元素的深度值来计算所述一元项以及使用所述图像元素和所述至少一个相邻图像元素的颜色值来计算所述成对项。

附记5.根据附记4所述的方法，其中，所述颜色值是红绿蓝强度值。

附记6．根据附记5所述的方法，还包括以下步骤：对于每个图像元素，计算所述图像元素的所述红绿蓝强度值与所述至少一个相邻图像元素的红绿蓝强度值之间的强度差别。

附记7.根据附记6所述的方法，其中，计算所述成对项的步骤使用所述强度差别。

附记8．根据附记1所述的方法，其中，所述成本函数是条件随机域。

附记9．根据附记1所述的方法，其中，评估所述成本函数的步骤包括计算图形切割算法以最小化所述成本函数。

附记10．根据附记9所述的方法，其中，所述图形切割算法是α膨胀算法。

附记11．根据附记1所述的方法，其中，使用所述深度值来得到存在于所述场景内的三维平面集合包括使用所述深度值应用随机抽样一致性RANSAC过程以生成多个所提出的平面，以及基于具有关于所提出的平面的阈值距离的深度值的图像元素的数量来从所提出的平面选择所述平面集合。

附记12．根据附记11所述的方法，其中，所述RANSAC过程包括：

i）从所述图像选择三个采样图像元素；

ii）将三维平面拟合于所述采样图像元素的深度值；

iii）确定所述图像元素的至少一部分的深度值与所述三维平面之间的距离；

iv）将在所述平面的阈值距离内的那些图像元素设置为内围；

v）存储所述平面的内围的数量；以及

针对多个不同的采样图像元素，重复步骤i）至v）。

附记13．根据附记1所述的方法，还包括以下步骤：对于每个图像元素，根据所述图像元素的深度值和至少两个相邻图像元素的深度值来计算表面法线值。

附记14．根据附记13所述的方法，其中，计算表面法线值的步骤包括使用奇异值分解来对所述图像元素的深度值和所述至少两个相邻元素的深度值进行最小平方平面拟合以及确定该平面的法线。

附记15．根据附记1所述的方法，还包括以下步骤：

延伸存在于所述场景内的所述三维平面以确定所述平面之间的相交；

确定距所述图像传感器的最远相交；以及

将所述最远相交设置为所述场景的范围。

附记16．根据附记1所述的方法，还包括以下步骤：如果所述图像元素不属于所述平面之一，则将所述图像元素标记为物体。

附记17．一种图像分割系统，包括：

输入接口，被布置成从捕获装置接收场景的图像，所述图像包括多个图像元素，每个图像元素均具有相关联的颜色值和相关联的深度值，所述深度值表示从所述捕获装置到所述场景中的表面的距离；

至少一个处理器，被布置成使用所述深度值来得到存在于所述场景内的三维平面集合，并且对于每个图像元素，确定所述图像元素是否属于来自所述集合的平面以及相应地对所述图像元素加标记，

其中，所述至少一个处理器被布置成通过评估关于所述平面集合的成本函数来确定所述图像元素是否属于平面，所述成本函数具有与所述图像元素的深度值以及所述图像元素和至少一个相邻图像元素的颜色值相关的项。

附记18．根据附记17所述的系统，其中，所述捕获装置包括深度摄像装置和RGB摄像装置。

附记19．根据附记18所述的系统，其中，所述深度摄像装置包括以下中的至少一个：结构化光发射器、飞行时间摄像装置以及立体摄像装置。

附记20．具有装置可执行指令的一个或多个有形装置可读介质，所述装置可执行指令当由计算系统执行时，指导所述计算系统执行以下步骤：

从组合的RGB和深度摄像装置接收包括多个图像元素的场景的图像，每个图像元素具有相关联的RGB强度值和相关联的深度值，所述深度值表示从所述深度摄像装置到场景元素的距离；

对所述深度值使用随机抽样一致性处理以得到存在于所述场景内的三维平面集合；以及

对于每个图像元素，确定所述图像元素是否属于来自所述集合的平面，并且如果属于，则利用平面标识符对所述图像元素加标记，并且如果不属于，则将所述图像元素标记为物体，

其中，所述确定包括评估关于所述平面集合的成本函数，所述成本函数具有与所述图像元素的深度值以及所述图像元素和至少一个相邻图像元素的RGB强度值相关的项。

Claims (10)

1.一种图像分割的计算机实现方法，包括：

在处理器（600）处接收包括多个图像元素的场景的图像，每个图像元素均具有相关联的颜色值和相关联的深度值，所述深度值表示从图像传感器（202）到场景元件的距离；

使用所述深度值来得到存在于所述场景内的三维平面集合；以及

对于每个图像元素，确定所述图像元素是否属于来自所述集合的平面并且相应地对所述图像元素加标记，其中，所述确定包括评估关于所述平面集合的成本函数，所述成本函数具有与所述图像元素的深度值以及所述图像元素和至少一个相邻图像元素的颜色值相关的项。

2.根据权利要求1所述的方法，其中，评估所述成本函数的步骤包括针对每个图像元素选择相关联的平面以使得所述成本函数最小化。

3.根据权利要求1所述的方法，其中，所述成本函数包括一元项和成对项。

4.根据权利要求3所述的方法，其中，评估步骤包括使用所述图像元素的深度值来计算所述一元项以及使用所述图像元素和所述至少一个相邻图像元素的颜色值来计算所述成对项。

5.根据权利要求4所述的方法，还包括以下步骤：对于每个图像元素，计算所述图像元素的红绿蓝强度值与所述至少一个相邻图像元素的红绿蓝强度值之间的强度差别，并且其中，计算所述成对项的步骤使用所述强度差别。

6.根据权利要求1所述的方法，其中，使用所述深度值来得到存在于所述场景内的三维平面集合包括使用所述深度值应用随机抽样一致性RANSAC过程以生成多个所提出的平面，以及基于具有关于所提出的平面的阈值距离的深度值的图像元素的数量来从所提出的平面选择所述平面集合。

7.根据权利要求6所述的方法，其中，所述RANSAC过程包括：

i）从所述图像选择三个采样图像元素；

ii）将三维平面拟合于所述采样图像元素的深度值；

iii）确定所述图像元素的至少一部分的深度值与所述三维平面之间的距离；

iv）将在所述平面的阈值距离内的那些图像元素设置为内围；

v）存储所述平面的内围的数量；以及

针对多个不同的采样图像元素，重复步骤i）至v）。

8.根据权利要求1所述的方法，还包括以下步骤：

延伸存在于所述场景内的所述三维平面以确定所述平面之间的相交；

确定距所述图像传感器的最远相交；以及

将所述最远相交设置为所述场景的范围。

9.根据权利要求1所述的方法，还包括以下步骤：如果所述图像元素不属于所述平面之一，则将所述图像元素标记为物体。

10.一种图像分割系统，包括：

输入接口（602），被布置成从捕获装置（200）接收场景的图像，所述图像包括多个图像元素，每个图像元素均具有相关联的颜色值和相关联的深度值，所述深度值表示从所述捕获装置（200）到所述场景中的表面的距离；

至少一个处理器（600），被布置成使用所述深度值来得到存在于所述场景内的三维平面集合，并且对于每个图像元素，确定所述图像元素是否属于来自所述集合的平面以及相应地对所述图像元素加标记，

其中，所述至少一个处理器（600）被布置成通过评估关于所述平面集合的成本函数来确定所述图像元素是否属于平面，所述成本函数具有与所述图像元素的深度值以及所述图像元素和至少一个相邻图像元素的颜色值相关的项。

Images