CN102763420B

CN102763420B - 深度相机兼容性

Info

Publication number: CN102763420B
Application number: CN201180007815.7A
Authority: CN
Inventors: S·卡茨; A·阿德莱尔; G·吉勒博阿
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2010-02-02
Filing date: 2011-01-10
Publication date: 2015-07-29
Anticipated expiration: 2031-01-10
Also published as: CN102763420A; KR20120138741A; EP2531979B1; HK1177311A1; US8687044B2; WO2011097049A3; JP5778182B2; US20110187819A1; EP2531979A4; EP2531979A2; CA2786436A1; KR101783379B1; JP2013519089A; CA2786436C; WO2011097049A2

Abstract

通过接收具有与深度图像消费者不兼容的不支持深度相机参数的本机深度图像并将该本机深度图像转换成具有与该深度图像消费者相兼容的支持的虚拟深度相机参数的虚拟深度图像来提供深度图像消费者和多个不同的深度图像生产者之间的兼容性。随后，可以将这种虚拟深度图像输出给所述深度图像消费者。

Description

深度相机兼容性

背景技术

相机可用于捕捉场景的静止图像。快速连续拍摄的若干静止图像可用于生成包括多个帧的电影，每一帧对应于不同的静止图像。尽管这样的图像在各种不同的应用中是非常有用的，但这样的图像并非很好地适于某些目的。具体而言，常规的静止图像和电影不提供足以准确地评估在场景中所捕捉的各种表面的相对深度的信息。已经开发了不同类型的深度相机以满足这种需求。然而，各种不同类型的深度相机可能产生在一个或多个方面都彼此不同的深度图像。这样，使用深度图像的应用仅仅与产生具有期望特性的深度图像的特定类型的深度相机相兼容。

发明内容

提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。

根据本公开的一个方面，可以通过接收具有与深度图像消费者不兼容的不支持深度相机参数的本机深度图像并将该本机深度图像转换成具有与该深度图像消费者相兼容的支持的虚拟深度相机参数的虚拟深度图像来提供深度图像消费者和多个不同的深度图像生产者之间的兼容性。随后，可以将这种虚拟深度图像输出给所述深度图像消费者。

附图说明

图1示出示例的深度图像使用环境。

图2示出根据本公开的一实施例的深度相机可交替系统。

图3A和3B图解示出深度相机视锥体。

图4A-4C示出根据本公开的示例深度图像生产者。

图5示出用于提供在一个深度相机消费者和多个不同的深度相机生产者之间的兼容性的示例方法。

图6示出提供深度相机兼容性的另一示例方法。

图7图解示出在离开光源一定距离处的传感器上所创建的阴影效果的示例。

图8图解示出说明通过阴影合成算法查找附有阴影的像素的示例图示。

图9图解示出在深度抽象层内的示例图像处理块。

图10更加详细地图解示出了图9的示例图像处理块。

图11示意性地示出根据本公开的一实施例的计算系统。

具体实施方式

本公开涉及深度相机兼容性。如在此所述，兼容性技术允许同一计算系统使用不同型号的深度相机。一个应用开发者可以容易地创建与各种不同的深度相机相兼容的应用，这些深度相机包括在应用开发者创建应用时还不存在的深度相机。根据本公开的一个方面，应用开发者可以创建被配置为与通用虚拟深度相机一起工作的应用，并且兼容性技术可以将来自各种不同的深度相机的本机输入转换成一种与通用虚拟深度相机相兼容的形式。这样，应用可以与各种不同的深度相机相兼容，包括使用完全不同的深度查找技术（例如结构化光、飞行时间、立体视觉等）的深度相机。

使用在此所述的技术，应用开发者不需要知晓用于支持各种不同的深度相机的乏味且艰难的工作，代之以可以为单个通用虚拟深度相机进行开发。同时，兼容性技术促进了可以提供改进性能、更低制造和/或操作成本、改进的能量效率和/或其他有用特性的新的深度相机的开发和实现。这样，当开发了新的相机技术时，这种技术就能在与先前开发的应用向后兼容的新相机中实现。

图1示出计算系统10的非限制性示例，该计算系统可以设计具有提供如上所介绍的相机兼容性的深度相机可交替系统。具体而言，图1示出了游戏控制台12，该游戏控制台12可以用于玩各种各样不同的游戏、播放一种或多种不同的媒体类型、和/或控制或操纵非游戏应用。图1还示出高清电视（即或HDTV 16）形式的显示器14，该显示器14可被用于向用户（诸如，用户18）呈现视觉信息。此外，图1示出了深度相机20形式的捕捉设备，该捕捉设备可被用于视觉地监视一个或多个用户（例如，用户18）。虽然是在游戏系统上下文中描述的，但应该理解可以在配置用于使用来自深度相机的深度图像的几乎任意计算系统中实现深度相机可交替系统。

诸如游戏控制台12的计算系统可以用于识别、分析和/或跟踪诸如用户18之类的一个或多个目标。可将目标移动解释为操作系统和/或应用控制。事实上，操作系统和/或应用的任何可控方面可以通过用户18之类的目标的移动来控制。

另外或可替换地，通过深度相机20获取的深度信息可以用于除跟踪目标之外的目的。作为示例，深度相机20可以被用于可视地调查一个房间和/或一个或多个物体。从深度相机20获取的深度信息可以被用于创建正被调查的房间和/或物体的三维计算机可读的模型。

作为另一个示例，可以将深度相机用作在诸如车辆或机器人之类移动的计算系统上的近程传感器。

诸如深度相机20之类的深度相机可以被用于提供这些和各种其他有用的功能。具体而言，可以为提供任意数目的不同的利用来自深度相机的深度信息的功能而开发和部署应用。然而，大多数应用包括用于减少来自深度相机的视场的真实世界的特性的复杂的算法和处理策略。例如，骨骼跟踪算法和处理策略可以被用于用跟踪诸如用户18的目标的骨骼的机器表示来建模该目标。作为另一个示例，地板查找算法可以被用于查找场景中的地板。

没有使用在此所述的相机兼容性技术的应用可以被设计为接收特定格式和/或具有特定参数的深度信息。这种应用不能使用与所期望的格式和/或参数不匹配的深度信息。在一些情况中，与所期望的格式和/或参数不匹配的深度信息可能破坏这样的应用。

每种不同类型的深度相机可以产生具有一个或多个格式化差异和/或不同的参数的深度信息。这样，直到现在，应用是考虑针对特定深度相机来设计的。然而，当应用被设计成仅与一个特定深度相机一起使用，该应用也就不能支持可以以未知格式和或用意料之外的参数来输出深度信息的新相机。

图2图解地示出了提供在一个深度图像消费者32和多个不同的深度图像生产者34（例如深度图像生产者34a、深度图像生产者34b以及深度图像生产者34c）之间的兼容性的深度相机可交替系统30。如在此所用，深度图像消费者是指被配置为利用来自深度相机的深度信息的任意操作系统、应用、服务、进程、模块、引擎或其他对象。

深度相机可交替系统30相对于深度图像消费者可以使用的深度相机的型号提供了更多的灵活性。具有不同参数的相机、基于不同的深度查找技术的相机以及产生不同类型的深度图像的相机可以可交替地与深度相机可交替系统30一起使用。

作为示例，深度图像生产者34a可以包括使用结构化光技术来估计深度图像的深度相机；并且深度图像生产者34b可以包括使用飞行时间技术来估计深度图像的深度相机。由于深度相机可交替系统30，这两个相机都与深度图像消费者32相兼容。深度图像消费者32不需要针对与这两个相机中的任一个相机的兼容性而特别设计。可以在这两个相机中的任一个相机发布之前开发深度图像消费者32。换句话说，深度相机可交替系统30促进了深度图像消费者和各种不同的深度相机（包括在深度图像消费者开发之后所开发的深度相机）之间的兼容性。

如图2所示，深度相机可交替系统30包括初始化模块36、捕捉模块38、虚拟化模块40以及输出模块42。在至少一些实施例中，深度相机可交替系统30的初始化模块、捕捉模块、虚拟化模块、输出模块和/或其他组件可以被实现为应用编程接口（API）的一部分。API可以由操作系统、应用、库和/或其他对象实现以建立在深度图像生产者和深度图像消费者之间使用的通信约定。API可以包括用于在深度图像生产者和深度图像消费者之间通信的例程、数据结构、对象类和协议的规范。而且，API可以包括功能块或与功能块对接，所述功能块被配置为处理深度图像的各个方面，例如，如下参考虚拟化模块40和仿真模块44所描述的。

初始化模块36可以被配置为了解诸如深度图像消费者32之类的深度图像消费者所支持的虚拟深度相机参数。为了允许这样的了解，可以开发诸如骨骼跟踪游戏应用之类的深度图像消费者以与除了特定深度相机（例如特定构造和型号的结构化光深度相机）之外的或取代特定深度相机的虚拟深度相机相兼容。在这种实例中，深度图像消费者可以被配置为提供深度图像消费者所期望的虚拟深度相机参数的指示（例如x-y-z分辨率、视锥体、深度图像类型等）。而且，初始化模块可以被配置为从深度图像消费者接收所支持的虚拟深度相机参数的指示。如上所述，初始化模块可被可选地实现为API的一部分，深度图像消费者和深度图像生产者可以使用它来彼此通信。

所支持的虚拟深度相机参数的指示可以指定虚拟深度相机的期望视锥体和/或虚拟深度相机的期望分辨率。这样的期望的视锥体和/或期望分辨率可以不同于特定深度相机的本机视锥体和本机分辨率。所支持的虚拟深度相机参数的指示可以指定虚拟深度相机所基于的实际深度相机的型号。下面的描述概述了初始化模块36可以了解的不同参数的非限制性采样。

深度相机通常在每个像素处测量从最近的表面到深度相机传感器的径向距离。通过从深度相机沿光线将该距离投射入建模真实世界的三维空间中，可以将这个距离转换成世界坐标。这种处理产生了不存在紧密的线性边界的三维样本区域。实际上，这些点由深度相机的视锥体（在两个同心球体的两个三维弧之间所捕获的空间（假设没有透镜畸变））来划界。图3A示出示例深度相机48的示例视锥体46。

由深度相机可测量的景深来确定同心球体的位置。较小的同心球体具有等同于该深度相机的最小可测量距离的半径，而较大的同心球体具有等同于该深度相机的最大可测量距离的半径。在空间中的三维弧的大小由该深度相机的视野（例如视角）来确定。深度相机的视锥体的位置和方向由深度相机的物理位置和物理朝向来确定。在视锥体中包括了多少不同的像素是由该深度相机的分辨率来确定的。深度的敏感度（分辨率）取决于作为来自该深度相机的输出而被接收的每像素的位数。然而，实际的敏感度可能更低。

参数（例如景深、视野、分辨率、位置、方向、透镜畸变等）对于不同的相机来说可以是不同的。在相机之间的参数中的差异可以造成困难，因为深度图像消费者对于这种差异可以是高度敏感的。这样，取代为接收来自具有某种深度相机参数的特定深度相机的深度图像来进行开发，可以开发深度图像消费者以与具有虚拟深度相机参数的虚拟深度相机相兼容。如下所述，深度相机可交替系统可以根据虚拟深度相机的虚拟参数有效地转换从实际相机接收到的深度信息，这样，深度图像的消费者可以使用来自实际相机的深度信息。

在一些实施例中，可以配置初始化模块36以生成瞄准指令37来方便瞄准与深度图像消费者的所支持的虚拟深度相机参数相兼容的深度相机。作为示例，深度图像消费者可能期望一个向下朝着地板瞄准的深度相机，以便扫描用户的脚。这样，可以生成瞄准指令以传达该期望。在深度相机包括定位电动机或其他自动重定位其自身的装置（例如深度图像生产者34c的深度相机）的实施例中，初始化模块可以被配置为向深度相机发送瞄准指令，以便深度相机可以根据该瞄准指令重定位自己。在一些实施例中，可以通过视觉和/或音频指令将瞄准指令传递给用户，以便用户手动重定位深度相机。

在一些实施例中，可以将坐标系统抽象化，以便深度图像消费者将接收具有期望坐标系统的深度图像。在一些实例中，这可能涉及通过使用测量视线的硬件或通过测量地板相对于相机的角度来旋转坐标系统以与地板（例如）对齐。

捕捉模块38可被配置为接收来自深度图像生产者的本机深度图像。作为一个非限制性示例，捕捉模块可以接收来自包括飞行时间相机的深度图像生产者的本机深度图像。如上所述，捕捉模块可被可选地实现为API的一部分，深度图像消费者和深度图像生产者可以使用它来彼此通信。

深度图像生产者可以仅包括深度相机，或者深度图像生产者可以包括深度相机以及板外（off-board）处理引擎。如图4A所示，深度图像生产者34′可以包括相机上处理器52，它被配置为将原始深度数据（未示出）转换成本机深度图像54。在这样的情况下，可以配置捕捉模块38’来通过相机上处理器52接收本机深度图像54。如图4B所示，深度图像生产者34”可以包括相机外处理器56，它将原始深度数据60转换成本机深度图像54”。相机外处理器56可以是其上运行了深度图像消费者32”的计算系统10”的一部分。在这样的情况下，可以配置捕捉模块38”来通过相机外处理器56接收本机深度图像。如图4C所示，深度图像生产者34”’可以包括相机上处理器52”’和相机外处理器56”’，它们合作以将原始深度数据（未示出）转换成本机深度图像54”’。在这样的情况下，可以配置捕捉模块38”’以通过相机上处理器52”’和相机外处理器56”’接收本机深度图像54”’。具体而言，相机上处理器52”’可以向相机外处理器56”’传递已经相对于原始深度相机数据被部分处理过的中间数据62。如在图4B的示例中，相机外处理器56”’可以是其上运行例如深度图像消费者32”’的计算系统10”’的一部分。

转回到图2，可以配置虚拟化模块40以将本机深度图像转换成具有与所述深度图像消费者相兼容的所支持的虚拟深度相机参数的虚拟深度图像。具体而言，可以配置虚拟化模块以根据通过初始化模块从深度图像消费者接收的虚拟参数的指示将本机深度图像转换成虚拟深度图像。虚拟化模块可以可选择地被实现为API的一部分或作为与深度图像消费者和深度图像生产者用于通信的API相兼容的应用或服务。

作为一个示例转换，可以配置虚拟化模块40以通过剪辑本机深度图像的视锥体来将本机深度图像转换成虚拟深度图像。在图3B中稍微图解示出了这种转换的一个示例。以实线示出了虚拟视锥体70。可以由虚拟深度相机参数来指定虚拟视锥体70。在同一视图中所叠加的是实际深度相机74的本机视锥体72。本机视锥体72以虚线示出。通过比较可以看出，本机视锥体72具有比虚拟视锥体70更宽的视野和更深的景深。这样，本机视锥体72不能与期望虚拟视锥体70的深度图像消费者相兼容。

虚拟化模块可以剪辑本机视锥体到虚拟视锥体。换句话说，可以从深度图像中移除由深度相机74读取的位于虚拟视锥体的视野和/或景深之外的深度信息。在一些实施例中，所移除的信息可以简单地被忽略，而保持虚拟视锥体中的深度信息不变。在一些实施例中，所移除的深度信息可以被用于有选择地修改虚拟视锥体中的深度信息。

作为另一个示例转换，可以配置虚拟化模块40以通过改变本机深度图像的分辨率（例如降低本机深度图像的分辨率）来将本机深度图像转换成虚拟深度图像。虚拟化任意重采样算法可被用于改变分辨率。作为非限制性示例，可以使用最近-邻居算法，其中具有希望分辨率的采样网格与来自实际深度相机的深度图像概念上对齐。采样网格的每个采样像素可以分配来自实际深度相机的与该采样像素最近的像素的深度值。作为其他非限制性示例，重采样算法可以取最近像素的平均或距离加权平均。

上述提供的剪辑视锥体和改变分辨率的示例是非限制性的。应该理解，可以将深度图像消费者设计为期望具有任意数目的不同虚拟参数的虚拟相机，并且可以根据这样的参数来转换实际深度图像以便实现与深度图像消费者的虚拟深度相机的兼容。

转回图2，在一些实施例中，虚拟化模块40可以包括仿真模块44，该仿真模块44被配置为通过将本机深度图像处理为具有深度图像消费者所支持的支持类型的仿真深度图像来将本机深度图像转换为虚拟深度图像。换句话说，深度图像消费者可以被设计为期望使用特定型号的深度相机和/或特定深度获取技术（例如结构化光或飞行时间）来创建的深度图像。当来自不同类型的深度相机的深度图像最终产生其中每个像素被分配了一个深度值的深度图像时，所述不同类型的深度相机之间的差异可以导致被分配给每个像素的深度值之间的各种差异。可以设计深度图像消费者来处理来自特定深度相机的特定类型的深度图像。这样，可以配置仿真模块44以将来自不支持的深度相机的深度图像改变为看上去好像其源自支持的深度相机。

例如，仿真模块44可以将来自飞行时间深度相机的本机深度图像转换成仿真由结构化光深度相机所产生的深度图像的仿真深度图像。这个示例是非限制性的。可以配置仿真模块44以将来自几乎任意相机技术的本机深度图像转换成仿真由几乎任意其他类型的相机技术所产生的深度图像的仿真深度图像。

当仿真模块44可以是一些实施例中的虚拟化模块40的一部分时，应该理解在此所述的仿真技术可以独立于诸如视锥体剪辑和/或分辨率改变的任意其他虚拟化技术来执行。在任一情况下，仿真模块44可以可选地被实现为API的一部分或作为与深度图像消费者和深度图像生产者用于通信的API相兼容的应用或服务。

当包括仿真模块时，仿真模块可以包括下述一项或多项：噪声抑制模块80、边缘增强模块82、无效模块84、深度量化模块86、小物体校正模块88以及阴影模拟模块90。

噪声抑制模块80可被配置为保持本机深度图像中具有不同深度值的邻近像素区域之间的深度边缘。下面参考图6的118详细描述噪声抑制模块80的功能性。

边缘增强模块82可被配置为增强本机深度图像中具有不同深度值的邻近像素区域之间的深度边缘。下面参考图6的126详细描述边缘增强模块82的功能性。

无效模块84可以被配置为无效在预定范围之外的具有组合的照明度和倾斜度的像素。下面参考图6的120-124详细描述无效模块84的功能性。

深度量化模块86可被配置为量化深度值。下面参考图6的128详细描述深度量化模块86的功能性。

小物体校正模块88可被配置为将更深的深度值分配给属于在阈值大小之下的物体的像素。下面参考图6的130详细描述小物体校正模块88的功能性。

阴影模拟模块90可被配置为将阴影像素值分配给基本上由与飞行时间深度相机基本上隔开的虚拟照明器的虚拟有利位置所封闭的像素。下面参考图6的132详细描述阴影模拟模块90的功能性。

虚拟化模块40将来自实际深度相机的本机深度图像转换为具有与深度图像消费者相兼容的所支持的虚拟深度相机参数的虚拟深度图像。输出模块42被配置为将这个虚拟深度图像输出给深度图像消费者。随后，深度图像消费者可以接收虚拟深度图像以用于分析和/或进一步处理。输出模块可被可选地实现为API的一部分，深度图像消费者和深度图像生产者可以使用它来彼此通信。虽然初始化模块36、捕捉模块38、虚拟化模块40以及输出模块42在以上是作为分离的模块来描述的，但应该理解，这些模块中的两个或更多模块可以在操作上组合到一个公共API中。

图5示出用于提供在一个深度相机消费者和多个不同的深度相机生产者之间的兼容性的方法100。方法100可使用例如图2的深度相机可交替系统30来实现。

在102，方法100包括接收所支持的虚拟深度相机参数的指示。如上所述，虚拟深度相机参数可以指定虚拟深度相机的视锥体、虚拟深度相机的分辨率、虚拟深度相机所基于的实际深度相机的型号和/或虚拟深度相机的其他特性。

在104，方法100包括接收具有与深度图像消费者不兼容的不支持的深度相机参数的本机深度图像。在106，方法100包括将本机深度图像转换为虚拟深度图像，所述虚拟深度图像具有与深度图像消费者相兼容的所支持的虚拟深度相机参数。如上所述，转换本机深度图像可以包括下述一项或多项：剪辑本机深度图像的视锥体、减少本机深度图像的分辨率和/或将本机深度图像处理成具有由深度图像消费者所支持的支持类型的仿真深度图像。

在108，方法100包括将虚拟深度图像输出到深度图像消费者。由于虚拟深度图像被特别针对所支持的虚拟深度相机参数进行了定制，深度图像消费者可以使用所述虚拟深度图像。然而，由于方法100可以应用到来自不同的深度相机的各种不同的本机深度图像，深度图像消费者并没有被局限于接收来自单个特定类型的深度相机的深度图像。

图6示出提供深度相机兼容性的另一方法110。在112，方法110包括从深度图像消费者接收该深度图像消费者所支持的虚拟深度相机参数。这包括，例如，接收与深度图像消费者相兼容的模型深度相机（例如结构化光深度相机）的指示。

在114，方法110包括接收具有深度图像消费者所不支持的不支持类型的本机深度图像。例如，本机深度图像可以来自源，而不是模型深度相机。这样，本机深度图像可能与深度图像消费者不兼容并具有不支持的类型。继续上面介绍的示例，深度图像消费者可以支持来自结构化光深度相机的深度图像。然而，可以从诸如飞行时间深度相机之类的另一个源处接收本机深度图像，并且因此，该本机深度图像具有深度图像消费者不支持的类型。

在116，方法110包括将本机深度图像处理成具有深度图像消费者所支持的支持类型的仿真深度图像。换句话说，可以修改仿真深度图像以仿真与深度图像消费者相兼容的深度图像，例如由模型深度相机产生的深度图像。继续上面介绍的示例，例如，从飞行时间相机接收的本机深度图像可以被处理成仿真深度图像，该仿真深度图像仿真了由结构化光深度相机所产生的深度图像。

如图6所示，将本机深度图像处理成仿真深度图像可以利用各种技术，如下将详细描述的那样。应该理解的是这样的技术并不是限制性的。而且，也可替换地或另外地应用在图6中未示出的其它技术。

在118，方法110可以包括将边缘保持滤波器应用于本机深度图像。在处理从飞行时间深度相机所接收的本机深度图像的情况下，这样的本机深度图像可以具有随机噪声，所述随机噪声是飞行时间深度相机的标准副产品。然而，结构化光深度相机本身具有更加平滑的信号，并且这样的信号甚至可以在软件中进一步过滤。这样，为了仿真这种类型的更平滑的信号，从飞行时间深度相机所接收的本机深度图像可以被处理以抑制来自飞行时间深度图的噪声而无需损害显著的深度特征。为了这样做，可以使用边缘保持滤波器来抑制来自本机深度图像的噪声。例如通过使用在Perona-Malik的著作（使用各向不均扩散的缩放空间和边缘检测，关于图案分析和机器智能的IEEE会报，v.12n.7，p.629-639，1990）中所描述的那些内容的非线性部分差分方程以及Weickert等人（J.Weickert，B.M.ter Haar Romeny，M.A.Viergever，用于非线性扩散滤波器的效率和可靠性方案，IEEE会报，图像处理，v.7n.3，pp.398-410，1998）来使用任意适合的方案。可以将边缘阈值参数设定到相机的深度准确度的上限（例如K=10[cm]）。通过将边缘保持滤波器应用到本机深度图像上，本机深度图像中的噪声等级可以显著下降，而本机深度图像中物体之间的断开性也能很好地被保留。

继续图6，在120，方法110可以包括通过在照明图像（例如当从IR光检测到用于照明飞行时间分析中的场景时）上实施中值滤波器来构建置信图。在处理从飞行时间深度相机所接收的本机深度图像来仿真结构化光深度相机的深度图像的情况下，这样的置信图可以被用于仿真在结构化光深度相机中发生的像素无效现象。在结构化光技术中，通过查找图案匹配来计算深度；如果找到匹配，则可以相对准确地计算深度，然而如果找不到匹配，则不能计算深度且在该像素处的测量无效。在飞行时间技术中，通常可以在各处测量深度，但以不同的准确度（例如取决于照明等级）来测量。这样，在飞行时间深度图像中的照明等级可以容易地预测在哪里深度测量是不准确的（例如所述信号在阴暗区域中有太多噪声），从而仿真结构化光深度图像。为了这样做，可以使用照明图像作为输入来构建置信图。通过首先在照明图像上实施中值滤波器以移除轮廓并抑制噪声来构建所述置信图。随后，对于每个像素，可以使用软阈值函数，例如

F_{k} (s) = \frac{1}{1 + {(s / k)}^{2}}

其中，参数k可以在相机版本间变化。作为示例，在一些实施例中k可以被设为60。

除了构建置信图之外，还期望标识图像中的其他区域。这样，在122，方法110可以包括从本机深度图像中构建斜面图（oblique surface map）。在处理从飞行时间相机接收的本机深度图像以仿真结构化深度相机的深度图像的情况下，通过标识很可能对应于图案匹配困难的区域来进一步仿真在结构化深度相机中发生的像素无效现象。由结构化光照明设备所投影的图案可以涂抹在倾斜物体上（即相对于照明光线的锐角的表面），并且在那图案匹配经常失败并产生无效测量。因此，从飞行时间深度相机接收的本机深度图像可以通过构建斜面图来标识倾斜表面来处理。这可包括计算每个像素的世界表面角，例如，使用诸如视野和分辨率之类的相机参数并随后通过高斯滤波来对其平滑。而且，可以使用软阈值函数，例如如上定义的F_k，其中k＝45。

在124，方法110可以包括将置信图和斜面图统一成无效测试图。在置信图和斜面图都具有在0到1之间的值时，可例如通过将这两个图相乘并以0.5的阈值来进行限阈来统一这两个图。可以使用中值滤波器来规范结果。这种处理可以被用于使位于预定范围之外的像素无效。

继续图6，在126，方法110可以包括用本机深度图像中不同的深度值来增强在邻近像素区域之间的边缘。在处理从飞行时间深度相机接收的本机深度图像的情况下，这样的飞行时间深度相机趋向于模糊边缘，因为在这种技术中计算的深度值是在像素视野中的深度的平均。然而，在边缘上的结构化光深度相机的深度通常不被测量，并且数据被合成，从而创建物体之间的锐转变。这样，为了仿真来自结构化光深度相机的深度图像，可以处理来自飞行时间深度相机的本机深度图像来用不同的深度值增强邻近像素区域之间的边缘以使得边缘更加锐利。对于这样的边缘增强，可以使用任意适合的方案，并且一个这样的适合方案将在下面详细描述。

可以为一个像素计算在x方向中的前向差异D+和后向差异D-。随后，可以如下确定掩码：Mask_x＝1if(min(D+，D-)＞4cm)，0 otherwise，通过弯曲倾斜（ramp）以避免台阶边缘。随后可以在y方向上完成类似的计算以完成Mask_y。那么，对于每个像素，Mask_x或Mask_y中任一个＝＝1，则取3x3邻居中的最大值。

继续图6，在128，方法110可以包括量化深度值。在处理从飞行时间深度相机接收的本机深度图像的情况下，深度值被量化以仿真从结构化光深度相机接收的深度图像。结构化光技术是基于三角测量来计算所述深度。所述深度是图案位移的函数，因为本机传感器分辨率是有限的，因此它被量化。在飞行时间技术中，深度测量不涉及本机分辨率。这样，可以期望将量化效果结合到经转换的深度图中。这可以按任何合适的方案完成。一种这样的合适方案包括取结构化光深度相机的参数（例如视野、本机传感器分辨率、焦距、传感器和照明中心之间的距离）以及深度图来构造类似于在基于三角测量的相机中出现的公式相类似的非线性量化公式。作为示例，可以如下将像素中的转换T定义为深度D的函数，

T(D)＝INT(focal_length*(camera_illum/D+TAN(angle))/pixel_size+0.5)

，（T(D)＝INT（焦距*（相机_照明/D+TAN(角度))/像素大小+0.5））

其中，focal_length是结构化光深度相机的焦距，pixel_size是传感器像素大小，camera_illum是相机传感器和照明中心之间的距离，而angle是物体相对于垂直于相机传感器中心的线的角度。那么，作为转换T(D)的函数的量化Q可以如下描述，

Q(T)＝camera_illum/((T)*pixel_size/focal_length-TAN(angle))

-camera_illum/((T+1)*pixel_size/focal_length-TAN(angle)).

（Q(T)＝相机_照明/(T)*像素大小/焦距-TAN(角度))）

-相机_照明/(T+1)*像素大小/焦距-TAN(角度))

这样，深度图具有与结构化光技术中的三角测量计算所创建的深度相类似的方式经量化的深度。

继续图6，在130，方法110可以包括将更深的深度值分配给属于在阈值大小之下的物体的像素。在处理从飞行时间深度相机接收的本机深度图像的情况下，更深的深度值可以被分配给小物体的像素以仿真从结构化光深度相机接收的深度图像。结构化光深度相机是基于图案，该图案不能被很好地投射到那些太小的物体上。因此，这样的小物体通常被分配给背景深度值。可以以任何适合的方式将更深的深度值分配给小物体的像素。一种这样的方案包括执行形态闭合。这样，结构化元素取决于分辨率。作为示例，可以使用具有大约3x3大小的球状元素。这样，可以校正在深度图像中可以观察到的最小物体大小，并且效果类似于在结构化光深度相机中实现的后期处理。

继续图6，在132，方法110可以包括将阴影像素值分配给在空间上虚拟地离开飞行时间深度相机的虚拟照明器的虚拟有利位置所虚拟阻塞的像素。在处理从飞行时间深度相机接收的本机深度图像的情况下，分配阴影像素值以仿真从结构化光深度相机接收的深度图像。如上所述，结构化光深度相机在三角测量的原理上工作。由于这个事实，光源与传感器相间隔，并且在相机的传感器上创建“阴影”效果。这样，“阴影像素”是对于传感器可见但从光源的位置来看不是直接可见的像素，如图7所示。在此，第一物体140阻塞第二物体142接收来自光发射器144的直射光。这样，除了接收第一物体140的图像146和第二物体142的图像148之外，传感器150还接收第二物体142的阴影像素152。

这样，可以期望在从飞行时间深度相机所接收的本机深度图像中模拟这种“阴影”人工产物。应该理解，由于在传感器和周围的发射器之间的小距离，在飞行时间深度相机中已经出现了阴影效果，然而，这可以在相机中归一化，并且因此，所述阴影效果在所产生的深度视频中不可见。

一种用于合成阴影的示例使用了轻量算法。该算法在光发射器将位于模型深度相机中的相同位置处创建虚拟相机。随后，该算法将深度采样从原始传感器转换成该虚拟传感器。这种转换可使用下述公式来完成：

{fl}_{x} = \frac{imgWidthPix}{2 TAN ({FOV}_{x})},

X_{world} = \frac{Z_{world}}{{fl}_{x}} (X_{sensorImage} - principal {Pt}_{x}),

X_{emitterImage} = \frac{{fl}_{x} (X_{world} + dis \tan ceToEmitter)}{Z_{world}} + \frac{1}{2} imgWidthPix,

被封闭在这个虚拟传感器中的采样被阴影化。扫描“发射器x图像”的每个行，并且如果像素不具有在已经扫描的值中的最大的X_{发射器图像}值，则阴影化这些像素。图8示出由于在值X_世界中下跌，阴影像素152被考虑为阴影化的理念。

为了克服由于深度测量的不准确性带来的某些小波动，可以向“阴影像素”的图应用形态“开放”滤波。该步骤移除了小的阴影，并且使得边缘看起来更加像方形，这样，仿真了来自结构化光深度相机的边缘。

继续图6，在134，方法110包括输出具有支持类型的仿真深度图像。这种仿真图像可以被不能处理来自深度相机的本机深度图像的深度图像消费者所使用。使用上述示例，设计成处理来自结构化光深度相机的结构化光深度图像的应用可以基于使用飞行时间深度相机所测量的本机深度图像来接收并处理仿真深度图像。

图9是示出在深度抽象层中的示例图像处理块160的高级实现图表。图10更加详细地示出了图9的图像处理块160。如图9和10所示，图像处理块160可以接收原始深度图、与IR照明图像相关的信息以及深度相机参数以作为输入。图像处理块可以输出可由深度图像消费者使用的经抽象的仿真深度图像162，如上所述。

如下面参考图1所述，可以使用各种不同的计算系统，而不偏离本公开的精神。参考图1描述的操作环境是作为示例来提供的，但并不意味着以任何方式来进行限制。相反，所示出的操作环境旨在展示可以在不背离本公开的范围的情况下应用于各种各样不同的操作环境的一般概念。类似地，图2中所说明的深度相机可交替系统的图解描述提供了用于描述深度图像虚拟化和深度图像仿真的简化框架，但并不旨在将本申请仅仅局限于在附图中所示出的这些配置。相反，在此所述的方法和过程可以绑定到各种不同类型的计算系统。

图1示出非限制性的示例计算系统，该计算系统可被配置为实现具有游戏控制台12和深度相机20的深度相机可交替系统。作为另一更通用的示例，图11示意性地示出可执行此处描述的深度图像抽象和/或深度图像仿真的计算系统170。计算系统170可以采取各种不同的形式，尤其包括但不限于：游戏控制台、个人计算系统、军用跟踪和/或定标系统、以及提供绿屏或者运动捕捉功能的特征采集系统。

计算系统170可包括逻辑子系统172、在操作上连接到逻辑子系统的数据保持子系统174、显示子系统176、和/或深度图像生产者178。计算系统可任选地包括未示出在图11中的组件，并且/或者示出在图11中的某些组件可以是未被集成在计算系统中的外围组件。

逻辑子系统172可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统可被配置为执行一个或多个指令，该一个或多个指令是一个或多个程序、例程、对象、组件、数据结构、应用编程接口或其他逻辑构造的一部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、从不同的计算对象通信信息和/或将信息通信到不同的计算对象，或以其他方式得到所希望的结果。逻辑子系统可包括被配置为执行软件指令的一个或多个处理器。附加地或替代地，逻辑子系统可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑子系统可任选地包括分布在两个或更多个设备上的独立组件，这些独立组件在一些实施例中可被远程放置。

数据保持子系统174可包括一个或多个物理的、非瞬时的设备，这些设备被配置成保持数据和/或可由该逻辑子系统执行的指令，以实现此处描述的方法和过程。在实现这样的方法和过程时，可以变换数据保持子系统174的状态（例如，以保持不同的数据）。数据保持子系统174可包括可移动介质和/或内置设备。数据保持子系统174可以包括光学存储器设备、半导体存储器设备（如RAM、EEPROM、闪存等）、和/或磁存储器设备等。数据保持子系统174可包括具有以下特性中的一个或多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可以将逻辑子系统172和数据保持子系统174集成到一个或更多个常见设备中，如专用集成电路或片上系统。

术语“模块”和“引擎”可用于描述被实现以执行一个或多个特定功能的计算系统170的一个方面。在某些情况下，可经由逻辑子系统172通过执行由数据保持子系统174保存的指令来实例化此类模块或引擎。应该理解，可从相同的应用、代码块、对象、例程、和/或功能实例化不同模块和/或引擎。同样，在某些情况下，可通过不同的应用、代码块、对象、例程、和/或功能来实例化相同的模块和/或引擎。作为示例，在此参考图2所描述的一个或多个模块可以作为一个API实现。

显示子系统176可用于呈现由数据保持子系统174所保持的数据的可视表示。在此处所描述的方法和过程改变由数据保持子系统保持的数据，并由此变换数据保持子系统的状态时，同样可以变换显示子系统176的状态以在视觉上表示底层数据的改变。显示子系统176可以包括使用实际上任何类型的技术的一个或多个显示设备。可将这些显示设备与逻辑子系统172和/或数据保持子系统174一起组合在共享封装中，或这些显示设备可以是外围显示设备，如图1所示。

计算系统170还包括被配置成获得一个或多个目标和/或场景的深度图像的深度图像生产者178。深度图像生产者178可以被配置为通过任何合适的技术（例如，飞行时间、结构化光、立体图像等等）捕获具有深度信息的视频。如此，深度图像生产者178可包括深度相机、摄像机、立体相机、和/或其他合适的捕捉设备。如上述参考图4A4C所述，深度图像生产者可以包括一个或多个相机上处理器和/或相机外处理器以将原始深度数据转换成深度图像。换句话说，深度相机可选地包括一个或多个配置用于执行一个或多个深度分析功能的一个或多个板载处理单元。深度相机可以包括固件以促进更新这样的板载处理逻辑。

例如，在飞行时间分析中，深度图像生产者178可包括配置用于发射红外光到场景随后使用传感器检测来自场景表面的反向散射光的飞行时间相机。在某些情形中，可以使用脉冲式红外光，其中可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备到场景中的特定位置的物理距离。在某些情形中，可比较向外的光波的相位和向内的光波的相位以确定相位偏移，相位偏移可用于确定从捕捉设备到场景中的特定位置的物理距离。

在另一示例中，可使用飞行时间分析，通过经由例如快门式光脉冲成像的技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备到场景中的特定位置的物理距离。

在另一示例中，结构化光分析可以被深度图像生产者178用于捕捉深度信息。在这样的分析中，图案化光（即，被显示成诸如网格图案或条纹图案等已知图案的光）可以被投影到场景上。在场景的表面上，图案成为变形的，而图案的这一变形可被研究以确定从捕捉设备到场景中的特定位置的物理距离。

在另一示例中，捕捉设备可包括两个或更多物理上分离的相机，它们从不同角度观察场景以获得可视立体数据。在这些情形中，可解析视觉立体数据以生成深度图像。在其他实施例中，深度图像生产者178可以使用其他技术来测量和/或计算深度值。

在一些实施例中，可以将两个或更多不同的相机合并成深度图像生产者的一部分。例如，深度相机和摄像机（例如RGB摄像机）可以被合并到深度图像生产者中。当使用视频摄像机时，它可用于提供目标追踪数据、确认数据以用于场景分析、图像捕捉、脸部识别、高精度手指（或其他小特征）追踪、光感应、和或其他功能的错误修正。

而且，当上述描述着眼于单个深度相机的使用/仿真时，应该理解，上述兼容性技术也可用于同时使用/仿真两个或更多深度相机。例如，可使用两个相机来查看邻近的场景，并且API可以有效地将来自这两个相机的信息组合在一起以仿真具有更宽视野的单个相机。作为另一个示例，可以使用单个、广角相机，并且API可以产生两个分离的深度图像，就像是由在不同方向上查看的具有窄视野的两个相机所产生的图像。

在一些实施例中，可使用两个或更多深度相机来从不同有利位置查看同一场景。在这种情况中，API可以有效地组合来自这两个相机的信息以便以对深度图像消费者透明的方式来提供更多/更好的3D数据。

应该理解，此处所述的配置和/或方法在本质上是示例性的，并且这些具体实施例或示例不应被认为是局限性的，因为多个变体是可能的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行、或者在某些情况下被省略。同样，可以改变上述过程的次序。

本公开的主题包括各种过程、系统和配置、此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效物的所有新颖和非显而易见的组合和子组合。

Claims

1.一种深度相机可交替系统，包括：

用于了解深度图像消费者所支持的虚拟深度相机参数的初始化模块；

用于从深度图像生产者处接收本机深度图像的捕捉模块，所述本机深度图像具有与所述深度图像消费者不兼容的不支持的深度相机参数；

用于将所述本机深度图像转换成虚拟深度图像的虚拟化模块，所述虚拟深度图像具有与所述深度图像消费者相兼容的所支持的虚拟深度相机参数；以及

用于将所述虚拟深度图像输出给所述深度图像消费者的输出模块。

2.如权利要求1所述的深度相机可交替系统，其特征在于，其中所述初始化模块被配置为从所述深度图像消费者处接收所述所支持的虚拟深度相机参数的指示。

3.如权利要求2所述的深度相机可交替系统，其特征在于，其中所述所支持的虚拟深度相机参数的指示指定了虚拟深度相机的视锥体。

4.如权利要求2所述的深度相机可交替系统，其特征在于，其中所述所支持的虚拟深度相机参数的指示指定了虚拟深度相机的分辨率。

5.如权利要求2所述的深度相机可交替系统，其特征在于，其中所述所支持的虚拟深度相机参数的指示指定了虚拟深度相机所基于的实际深度相机的型号。

6.如权利要求1所述的深度相机可交替系统，其特征在于，其中所述初始化模块被配置为生成瞄准指令以方便瞄准与所述深度图像消费者的所支持的虚拟深度相机参数相兼容的深度相机。

7.如权利要求6所述的深度相机可交替系统，其特征在于，其中所述初始化模块被进一步配置为将瞄准指令发送给所述深度相机。

8.如权利要求1所述的深度相机可交替系统，其特征在于，其中所述虚拟化模块被配置为通过剪辑所述本机深度图像的视锥体来将所述本机深度图像转换成所述虚拟深度图像。

9.如权利要求1所述的深度相机可交替系统，其特征在于，其中所述虚拟化模块被配置为通过降低所述本机深度图像的分辨率来将所述本机深度图像转换成所述虚拟深度图像。

10.如权利要求1所述的深度相机可交替系统，其特征在于，其中所述深度图像生产者包括将原始深度相机数据转换成所述本机深度图像的相机上处理器，并且所述捕捉模块被配置为通过所述相机上处理器来接收所述本机深度图像。

11.如权利要求1所述的深度相机可交替系统，其特征在于，其中所述深度图像生产者包括将原始深度相机数据转换成所述本机深度图像的相机外处理器，并且所述捕捉模块被配置为通过所述相机外处理器来接收所述本机深度图像。

12.如权利要求1所述的深度相机可交替系统，其特征在于，其中所述深度图像生产者包括协作将原始深度相机数据转换成所述本机深度图像的相机上处理器和相机外处理器，并且所述捕捉模块被配置为通过所述相机上处理器和相机外处理器来接收所述本机深度图像。

13.如权利要求1所述的深度相机可交替系统，其特征在于，所述初始化模块、捕捉模块、虚拟化模块以及输出模块被作为应用编程接口的一部分来实现。

14.一种提供在深度图像消费者和多个不同的深度图像生产者之间的兼容性的方法，所述方法包括：

接收具有与深度图像消费者不兼容的不支持的深度相机参数的本机深度图像；

将所述本机深度图像转换成虚拟深度图像，所述虚拟深度图像具有与所述深度图像消费者相兼容的所支持的虚拟深度相机参数；以及

将所述虚拟深度图像输出给所述深度图像消费者。

15.如权利要求14所述的方法，其特征在于，进一步包括：接收所支持的虚拟深度相机参数的指示，所述指示指定了：虚拟深度相机的视锥体、虚拟深度相机的分辨率以及虚拟深度相机所基于的实际深度相机的型号中的一项。