CN102222347B

CN102222347B - 使用波阵面编码来创建深度图像

Info

Publication number: CN102222347B
Application number: CN201110172788.0A
Authority: CN
Inventors: S·麦克尔道尼
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2010-06-16
Filing date: 2011-06-16
Publication date: 2014-07-09
Anticipated expiration: 2031-06-16
Also published as: US8558873B2; US20110310226A1; CN102222347A

Abstract

诸如在运动捕捉系统中的3-D深度照相机系统使用照明器来跟踪视野中的诸如人之类的目标，其中，视野是使用多个衍射光束来照明的。图像传感组件根据双螺旋点扩散函数，使用相位掩模来获得物体的图像，并基于双螺旋点扩散函数的光点的相对旋转来确定图像的每一部分的深度。在另一方面，使用双重图像传感器来获取参考图像和相位编码的图像。图像中的特征的相对旋转可以与深度相关。可以使用参考图像的点扩散函数的光学传递函数来获取深度信息。

Description

使用波阵面编码来创建深度图像

背景

运动捕捉系统获取关于物理空间中的人或其他对象的位置及运动的数据，并且可以使用该数据作为计算系统中的应用程序的输入。可以有许多应用，例如用于军事、娱乐、体育和医学目的。例如，可以将人的运动映射到三维(3-D)人骨架模型，并用于创建动画化的人物或化身。运动捕捉系统可包括光学系统，包括那些使用可见光和不可见光的(例如红外光)系统，它们使用照像机来检测视野中人或其他物体的存在。然而，现有系统在最小物体大小和视野方面是受限制的。

发明内容

提供了用于检测运动捕捉系统中的3-D深度照相机中的运动的处理器实现的方法、运动捕捉系统和有形计算机可读存储。这样的深度照像机用于例如检测用户在视野中的移动，并将该移动转换为对运动捕捉系统中的应用程序的控制输入。例如，用户可以作出手势来导航菜单、在浏览或购物体验中交互、选择要玩的游戏、或访问通信特征，如向朋友发送消息。或者，用户可以使用手、腿或整个身体来控制化身在3-D虚拟世界中的移动。

在一个实施方式中，3-D深度照相机系统包括照明器和成像传感器。照明器创建至少一个准直光束，而衍射光学元件接收该光束，并创建照亮包括人目标的视野的衍射光束。图像传感器使用来自视野的光来提供人目标的检测到的图像，而且还包括相位元件，该相位元件调整图像，以便照亮目标的每一衍射光束的点扩散函数将作为双螺旋来成像。提供了至少一个处理器，该处理器基于检测到的图像的每一个衍射顺序的双螺旋的旋转来确定人目标的深度信息，并响应于该深度信息，区别人目标在视野内的运动。

在另一个实施方式中，用于对视野中的物体进行成像的3-D深度照相机系统包括提供该物体的参考图像的第一传感器，以及使用相位掩模来提供物体的已编码图像的第二传感器，其中，该相位掩模根据双螺旋点扩散函数来对来自物体的光进行编码。该系统还包括至少一个处理器，其至少基于参考图像的强度分布(i_ref)和已编码图像的强度分布(i_dh)来确定物体的深度信息。例如，至少一个处理器可以根据下式来确定深度信息：F^-1{F(i_dh)xH_ref/F(i_ref)}，其中，F表示傅里叶变换，F^-1表示傅里叶逆变换，而(H_ref)表示参考图像的点扩散函数的光学传递函数。

提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。

附图说明

在附图中，相同编号的元件彼此对应。

图1描绘了运动捕捉系统的示例实施例。

图2描绘了图1的运动捕捉系统的示例框图。

图3描绘了可以在图1的运动捕捉系统中使用的计算环境的一个示例框图。

图4描绘了可以在图1的运动捕捉系统中使用的计算环境的另一个示例框图。

图5描绘了用于跟踪运动捕捉系统中的人目标的方法。

图6描绘了如在图5的步骤500中阐述的用于跟踪人目标的移动的示例方法。

图7描绘了如在图6的步骤600中阐述的用于接收深度信息的示例方法。

图8描绘了一个示例情形：其中，如在图6的步骤600中阐述的那样，使用照明器和图像传感器来提供深度信息。

图9描绘了图8的照明器802的更详细的视图。

图10描绘了图8的图像传感器806的更详细的视图。

图11描绘了由图10的图像传感器检测到的光的旋转角对比散焦参数。

图12描绘了由图10的图像传感器检测到的光的旋转角对比深度。

图13描绘了在不同深度的双螺旋点扩散函数和标准点扩散函数的光照图。

图14描绘了在深度z＝0时根据图13的双螺旋点扩散函数提供的光束的振幅。

图15描绘了在深度z＝z₀/2时根据图13的双螺旋点扩散函数提供的光束的振幅。

图16描绘了对于不同的光的波长，根据图13的双螺旋点扩散函数的方位角对比散焦位置。

图17描绘了对应于图16的光点之间的距离对比散焦位置。

图18描绘了在焦点处根据图13的双螺旋点扩散函数提供的光束。

图19描绘了在散焦处根据图13的双螺旋点扩散函数提供的光束。

图20A描绘了根据图13的双螺旋点扩散函数提供的光束的出射光瞳振幅。

图20B描绘了与图20A的振幅相关联的出射光瞳相位。

图21描绘了根据图13的双螺旋点扩散函数提供的光束的方位角对比物距。

图22A、22B、22C、22D、22E和22F描绘了根据图21的分别在物距1、1.5、2、3、4和5m处的非相干点扩散函数。

图23描绘了用于使用双重图像传感器来跟踪运动捕捉系统中的人目标的方法。

图24描绘了另一个示例情形：其中，如在图6的步骤600中阐述的那样，使用双重图像传感器来提供深度信息。

图25描绘了没有相位掩模的图24的第一图像传感器2402。

图26A描绘了图24的示例情形中的参考图像。

图26B、26C和26D分别描绘了图24的示例情形中的分别在物距1、2或4m时的衍射图像。

图27描绘了如在图6的步骤608中阐述的用户的示例模型。

具体实施方式

当前，有两种创建深度图像的主要方法。使用结构化光的一种方法利用图案来照亮，然后测量该图案的几何失真并根据该失真来确定深度。使用飞行时间法(time-of-flight)的第二种方法发送已调制信号，然后测量该已调制信号的相位变化。这两种方法都需要照明系统，并且在最小物体大小和视野方面具有限制。在此提出测量从其中希望深度图像的场景返回的波阵面的属性。这是通过以已知方式通过相位元件来对波阵面进行编码，然后通过知道图像强度和相位信息来对深度信息进行去卷积来完成的。如此，使用相位元件来对波阵面信息进行编码以测量深度图像。可以在图像传感器中提供相位元件。

图1描绘了运动捕捉系统10的示例实施例，其中，人8如在用户的家中与应用程序进行交互。运动捕捉系统10包括显示器196、深度照相机系统20、以及计算环境或装置12。深度照相机系统20可包括图像照像机组件22，其具有诸如红外线(IR)发射器之类的照明器24、诸如红外照像机之类的一个或多个图像传感器26、以及红-绿-蓝(RGB)照像机28。人8，也被称为用户或玩家，站在深度照像机的视野6内。线2和4表示视野6的边界。在此示例中，深度照相机系统20以及计算环境12提供应用程序，其中，显示器196上的化身197追踪人8的移动。例如，当人抬起手臂时，化身也可以抬起手臂。化身197站在3-D虚拟世界的公路198上。可以定义笛卡儿世界坐标系，其包括沿着深度照相机系统20的焦距延伸(例如，水平地)的z轴、垂直地延伸的y轴、以及横向地并且水平地延伸的x轴。注意，随着显示器196在y轴方向垂直地延伸，且z轴从深度照相机系统垂直于y轴和x轴并平行于用户8所站立的地面地伸出，附图的透视被修改为简化。

一般而言，运动捕捉系统10被用来识别、分析，和/或跟踪一个或多个人目标。计算环境12可包括计算机、游戏系统或控制台等等，以及执行应用程序的硬件组件和/或软件组件。

深度照相机系统20可包括被用来在视觉上监视一个或多个诸如人8之类的人的照像机，以便可以捕捉、分析、以及跟踪由人执行的姿势和/或移动，以在应用程序内执行一个或多个控制或动作，如动画化化身或屏幕上人物或选择用户界面(UI)中的一个菜单项。

运动捕捉系统10可以连接到诸如显示器196之类的视听设备，例如，电视机、监视器、高清晰度电视机(HDTV)等等，或者甚至向用户提供视觉和音频输出的墙或其他表面上的投影。还可以经由单独的设备来提供音频输出。为驱动显示器，计算环境12可包括提供与应用程序相关联的视听信号的诸如图形卡之类的视频适配器和/或诸如声卡之类的音频适配器。显示器196可以通过例如S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等等连接到计算环境12。

可以使用深度照相机系统20来跟踪人8，以使得用户的姿势和/或移动被捕捉并用于动画化化身或屏幕上人物，和/或被解释为对正在由计算机环境12执行的应用程序的输入控制。

人8的一些移动可被解释为可对应于除了控制化身之外的动作的控制。例如，在一个实施方式中，玩家可以使用运动来结束、暂停或保存游戏，选择级别，查看高分，与朋友进行交流等等。玩家可以使用移动来从主要用户界面中选择游戏或其他应用程序，或以别的方式导航选项菜单。如此，可以有人8的全套运动可用，可使用它们，并以任何合适的方式分析它们，以与应用程序进行交互。

运动捕捉系统10还可以用于将目标移动解释成处于游戏或意味着娱乐和休闲的其他应用程序的领域之外的操作系统和/或应用程序控制。例如，操作系统和/或应用程序的实质上任何可控方面都可以由人8的移动来控制。

图2描绘了图1的运动捕捉系统的示例框图。深度照相机系统20可以被配置为通过任何合适的技术捕捉带有深度信息(包括可以包括深度值的深度图像)的视频，这些技术包括例如飞行时间、结构化光、立体图像等等。深度照相机系统20可以将深度信息组织为“Z层”，或可垂直于沿着其视线从深度照像机延伸的Z轴的层。

深度照相机系统20可包括图像照像机组件22，该图像照像机组件22捕捉物理空间中的场景的深度图像。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素都可具有表示与图像照像机组件22的直线距离的相关联的深度值，从而提供3-D深度图像。

图像照相机组件22可包括诸如红外线(IR)发射器24之类的照明器24、诸如红外照像机之类的一个或多个图像传感器26、以及红-绿-蓝(RGB)照像机28，它们可以用于捕捉场景的深度图像。通过红外发射器24和红外照像机26的组合来形成3-D深度照像机。例如，在飞行时间分析中，照明器24可以将红外光发射到物理空间上，并且图像传感器26检测从物理空间中的一个或多个目标和物体的表面反向散射的光。在某些实施方式中，可以使用脉冲式红外光，从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从深度照相机系统20到物理空间中的目标或物体上的特定位置的物理距离。可将入射光波的相位与出射光波的相位进行比较来确定相移。然后可以使用该相移来确定从深度照相机系统到目标或物体上的特定位置的物理距离。

也可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度变化以间接地确定从深度照相机系统20到目标或物体上的特定位置的物理距离。

在另一示例实施方式中，深度照相机系统20可使用结构化光来捕捉深度信息。在这样的分析中，图案化光(即，被显示成诸如网格图案或条纹图案等已知图案的光)可以通过例如照明器24被投影到场景上。在撞击到场景中的一个或多个目标或物体的表面时，作为响应，图案可变形。图案的这种变形可由例如图像传感器26和/或RGB照相机28来捕捉，然后可被分析以确定从深度照相机系统到目标或物体上的特定位置的物理距离。

深度照相机系统20可包括可以从不同的角度观察场景的两个或更多在物理上分离的照像机，以获取可以被解析以生成深度信息的视觉立体数据。

深度照相机系统20还可以包括话筒30，其包括例如接收声波并将其转换成电信号的换能器或传感器。另外，话筒30可用于接收也可由人提供的诸如声音之类的音频信号，以控制可由计算环境12运行的应用程序。音频信号可包括人的口声，如说的话、口哨声、喊声及其他发声，以及非口声，如掌声或跺脚。

深度照相机系统20可包括与3-D深度照像机22进行通信的处理器32。处理器32可包括可执行指令的标准化处理器、专用处理器、微处理器等，这些指令可包括例如用于接收深度图像的指令；用于基于深度图像来生成体元网格的指令；用于移除体元网格中所包括的背景以隔离与人目标相关联的一个或多个体元的指令；用于确定被隔离的人目标的一个或多个肢端的位置或定位的指令；用于基于一个或多个肢端的位置或定位来调整模型的指令；或任何其他合适的指令，下面将对它们进行更详细的描述。

深度照相机系统20还可以包括存储器组件34，该存储器组件34可以存储可以由处理器32执行的指令，以及存储由3-D照像机或RGB照像机捕捉到的图像或图像的帧，或任何其他合适的信息、图像等等。根据一个示例实施方式，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的有形计算机可读存储组件。存储器组件34可以是经由总线21与图像捕捉组件22和处理器32通信的单独的组件。根据另一实施方式，存储器组件34可以集成到处理器32和/或图像捕捉组件22中。

深度照相机系统20可以通过通信链路36与计算环境12进行通信。通信链路36可以是有线和/或无线连接。根据一个实施方式，计算环境12可以经由通信链路36向深度照相机系统20提供时钟信号，该时钟信号指出何时从位于深度照相机系统20的视野中的物理空间捕捉图像数据。

另外，深度照相机系统20可以通过通信链路36向计算环境12提供深度信息和由例如图像传感器26和/或RGB照相机28捕捉到的图像，和/或可以由深度照相机系统20所生成的骨架模型。然后，计算环境12可以使用模型、深度信息、以及捕捉到的图像来控制应用程序。例如，如图2所示，计算环境12可包括诸如姿势过滤器的集合之类的姿势库190，每一个过滤器都具有关于可以由骨架模型(随着用户移动)执行的姿势的信息。例如，可以为各种手势(如手的猛击或投掷)提供姿势过滤器。通过将检测到的运动与每一个过滤器进行比较，可以标识由人执行的指定的姿势或移动。还可以确定执行移动的程度。

可以将由深度照相机系统20以骨架模型的形式捕捉的数据以及与它相关联的移动与姿势库190中的姿势过滤器进行比较，以标识(如由骨架模型所表示的)用户何时执行了一个或多个特定移动。那些移动可以与应用程序的各种控制相关联。

计算环境也可以包括处理器192，其用于执行存储在存储器194中的指令，以向显示设备196提供音频-视频输出信号，并实现如此处所描述的其他功能。

图3描绘了可以在图1的运动捕捉系统中使用的计算环境的示例框图。可以使用计算环境来解释一个或多个姿势或其他移动，并作为响应，更新显示器上的视觉空间。上文所描述的诸如计算环境12等的计算环境可包括诸如游戏控制台等的多媒体控制台100。多媒体控制台100具有中央处理单元(CPU)101，其具有一级高速缓存102、二级高速缓存104、以及闪速ROM(只读存储器)106。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的核，以及由此具有附加的一级和二级高速缓存102和104。诸如闪存ROM之类的存储器106可存储当多媒体控制台100通电时在引导过程的初始阶段期间加载的可执行代码。

图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108传输到视频编码器/视频编解码器114。视频处理流水线向A/V(音频/视频)端口140输出数据，以便传输到电视机或其他显示器。存储器控制器110连接到GPU 108，以便于处理器对各种类型的存储器112，比如RAM(随机存取存储器)的访问。

多媒体控制台100包括优选地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口124、第一USB主控制器126、第二USB控制器128以及前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口(NW IF)124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。

提供系统存储器143来存储在引导进程期间加载的应用程序数据。提供了介质驱动器144，其可以包括DVD/CD驱动器、硬盘驱动器、或其他可移动介质驱动器。介质驱动器144可以是多媒体控制台100内部或外部的。应用程序数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。介质驱动器144经由诸如串行ATA总线或其他高速连接等总线连接到I/O控制器120。

系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。

前板I/O子部件130支持展示在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。

CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其他组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。

当多媒体控制台100通电时，应用程序数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用程序可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包含的应用程序和/或其他媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。

多媒体控制台100可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。

当多媒体控制台100通电时，可以保留指定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括预留存储器(例如，16MB)、CPU和GPU周期(例如，5％)、网络带宽(例如，8kbs)等等。由于这些资源是在系统引导时预留的，因此，从应用程序的观点来看，预留的资源不存在。

具体而言，存储器保留优选地大得足以包含启动内核、并发系统应用程序和驱动程序。CPU保留优选地为恒定的，使得如果所保留的CPU使用量不被系统应用程序使用，则空闲线程将消耗任何未使用的周期。

对于GPU保留，通过使用GPU中断来显示由系统应用程序生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例地缩放。在完整的用户界面被并发系统应用程序使用的情况下，优选地使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率，也就不会引起TV重新同步。

在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用程序来提供系统功能。系统功能被封装在一组在上述所保留的系统资源中执行的系统应用程序中。操作系统内核标识是系统应用程序线程而非游戏应用程序线程的线程。系统应用程序优选地被调度为在预定时间并以预定时间间隔在CPU101上运行，以便为应用程序提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用程序所引起的高速缓存分裂最小化。

当并发系统应用程序需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用程序。多媒体控制台应用程序管理器(如下所述)在系统应用程序活动时控制游戏应用的音频水平(例如，静音、衰减)。

输入设备(例如，控制器142(1)和142(2))由游戏应用程序和系统应用程序共享。输入设备不是所保留的资源，但却在系统应用程序和游戏应用程序之间切换以使其各自具有设备的焦点。应用程序管理器优选地控制输入流的切换，无需知道游戏应用程序的知识，且驱动程序维护关于焦点切换的状态信息。控制台100可以从图2的包括照像机26和28的深度照相机系统20接收附加的输入。

图4描绘了可以在图1的运动捕捉系统中使用的计算环境的另一个示例框图。在运动捕捉系统中，可以使用计算环境来解释一个或多个姿势或其他移动，并作为响应，更新显示器上的视觉空间。(不要分段)

计算环境220包括通常包括各种有形计算机可读存储介质的计算机241。这可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM 223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。图形接口231与GPU 229进行通信。作为示例而非限制，图4描绘了操作系统225、应用程序226、其他程序模块227，以及程序数据228。

计算机241也可以包括其它可移动/不可移动、易失性/非易失性计算机存储介质，例如，读写不可移动、非易失性磁性介质的硬盘驱动器238，读写可移动、非易失性磁盘254的磁盘驱动器239，以及读写诸如CD ROM或其他光学介质之类的可移动、非易失性光盘253的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性有形计算机可读存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常由不可移动存储器接口，诸如接口234连接至系统总线221，磁盘驱动器239和光盘驱动器240通常由可移动存储器接口，诸如接口235连接至系统总线221。

上文所讨论的并且在图4中所描绘的驱动器以及其相关联的计算机存储介质为计算机241提供了计算机可读指令、数据结构、程序模块及其他数据的存储。例如，硬盘驱动器238被描绘为存储了操作系统258、应用程序257、其他程序模块256、以及程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。在此给操作系统258、应用程序257、其他程序模块256、以及程序数据255提供了不同的编号，以说明至少它们是不同的副本。用户可以通过诸如键盘251和指示设备252(通常被称为鼠标、轨迹球或触摸板)之类的输入设备向计算机241中输入命令和信息。其他输入设备(未示出)可以包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等等。这些和其他输入设备通常通过耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，诸如并行端口、游戏端口或通用串行总线(USB)来连接。图2的深度照相机系统20，包括照像机26和28，可以为控制台100定义附加的输入设备。监视器242或其他类型的显示器也通过接口，诸如视频接口232，连接至系统总线221。除监视器之外，计算机还可以包括可以通过输出外围接口233连接的诸如扬声器244和打印机243之类的其他外围输出设备。

计算机241可以使用到诸如远程计算机246之类的一个或多个远程计算机的逻辑连接在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，通常包括上文相对于计算机241所描述的许多或全部元件，但是图4中只描绘了存储器设备247。逻辑连接包括局域网(LAN)245和广域网(WAN)249，但是，也可以包括其他网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。

当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接至LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他装置。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在联网环境中，相对于计算机241所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图4描绘了驻留在存储器设备247上的远程应用程序248。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其他手段。

计算环境可包括其上包含有计算机可读软件的有形计算机可读存储，计算机可读软件用于对至少一个处理器进行编程以执行用于生成用于如此处所描述的人体跟踪的代理培训数据的方法。有形计算机可读存储可包括，例如，组件222、234、235、230、253和254中的一个或多个。此外，计算环境的一个或多个处理器可以提供用于生成用于人体跟踪的代理培训数据的处理器实现的方法，包括如此处所描述的处理器实现的步骤。处理器可包括，例如，组件229和259中的一个或多个。

图5描绘了用于跟踪运动捕捉系统中的人目标的方法。步骤500包括跟踪深度照相机系统的视野中的人目标或用户。人目标是指，例如，深度照相机系统的视野中的一个或多个人。有关进一步的细节，参见例如图6。步骤502包括基于跟踪向应用程序提供控制输入。例如，表示诸如用户的姿势或姿态之类的运动的控制输入。步骤504包括在应用程序中处理控制输入。例如，这可包括更新显示器上的化身的位置，其中如在图1中所描绘的该化身表示用户，选择用户界面(UI)中的一个菜单项，或者许多其他可能的动作。

图6描绘了如在图5的步骤500中阐述的用于跟踪人目标的示例方法。示例方法可以使用例如深度照相机系统20和/或计算环境12、100或420来实现，如参考图2-4所讨论的。可以扫描一个或多个人目标，以生成诸如骨架模型、网格人模型之类的模型，或人的任何其他合适的表示。在骨架模型中，每一个身体部位都可以被表征为定义骨架模型的关节和骨头的数学矢量。身体部位在关节处可以相对于彼此移动。

然后，可以使用该模型来与由计算环境执行的应用程序进行交互。扫描以生成模型可以在应用程序被启动或运行时发生，或在如被扫描的人通过应用程序控制的其他时候发生。

人可以被扫描以生成骨架模型，该骨架模型可以被跟踪，以便用户的物理移动或运动可以充当调整和/或控制应用程序的参数的实时用户界面。例如，可以使用人的被跟踪的运动来在电子角色扮演游戏中移动化身或其他屏幕上人物；在电子赛车游戏中控制屏幕上车辆；在虚拟环境中控制对象的构建或组织；或对应用程序执行任何其他合适的控制。

根据一个实施方式，在步骤600中，例如，从深度照相机系统接收深度信息。深度照相机系统可以捕捉或观察可包括一个或多个目标的视野。在一个示例性实施方式中，深度照相机系统可以使用诸如飞行时间分析、结构化光分析、立体视觉分析等等之类的任何合适的技术，获取与捕捉区域中的一个或多个目标相关联的深度信息，如所讨论的。深度信息可包括具有多个观察到的像素的深度图像或图，其中，每一个观察到的像素都具有观察到的深度值，如所讨论的。下面进一步提供步骤600的进一步的细节。

可以将深度图像降采样到较低的处理分辨率，以便可以更加轻松地利用较少的计算开销来使用和处理它。另外，可以从深度图像移除和/或平滑掉一个或多个高变度和/或有噪声的深度值；可以填充和/或重构遗漏的和/或被移除的深度信息的某些部分；和/或可以对接收到的深度信息执行任何其他合适的处理，以便可以使用深度信息来生成诸如骨架模型之类的模型(参见图27)。

步骤602判断深度图像是否包括人目标。这可包括对深度图像中的每一个目标或物体进行泛色填充，将每一个目标或物体与图案进行比较以判断深度图像是否包括人目标。例如，可以将深度图像的选定区域或点中的像素的各种深度值进行比较，以确定可以定义目标或物体的边缘，如上文所描述的。可以基于确定的边缘，对Z层的可能的Z值进行泛色填充。例如，与确定的边缘相关联的像素和该边缘内的区域的像素可以彼此相关联，以定义可以与图案相比较的捕捉区域中的目标或物体，下面将更详细地描述。

如果深度图像包括人目标，则在判断步骤604，执行步骤606。如果判断步骤604为假，则在步骤600中接收附加的深度信息。

每一个目标或物体与其比较的图案可包括一个或多个数据结构，这些数据结构具有共同地定义人的典型身体的变量集合。可以将与例如视野内的人目标和非人目标的像素相关联的信息与变量进行比较，以标识人目标。在一个实施方式中，可以基于身体部位，对该集合中的每一个变量赋予权重。例如，图案中的诸如头和/或肩之类的各种身体部位可以具有与其相关联的权重值，这些权重值可以大于诸如腿之类的其他身体部位的权重值。根据一个实施方式，当将目标与变量进行比较以判断目标是否可能是人以及哪些目标可能是人时，可以使用权重值。例如，变量和具有较大的权重值的目标之间的匹配所产生的目标是人的似然性比与带有较小的权重值的目标匹配所产生的目标是人的似然性更大。

步骤606包括扫描人目标以寻找身体部位。可以扫描人目标，以提供与人的一个或多个身体部位相关联的诸如长度、宽度等等之类的测量值，以提供该人的准确模型。在一示例实施方式中，人目标可以是被隔离的，并且可以创建人目标的位掩模来扫描一个或多个身体部位。可以通过例如对人目标进行泛色填充来创建位掩模，以便人目标可以与捕捉区域元素中的其他目标或物体分离。然后，可以对于一个或多个身体部位分析位掩模，以生成人目标的模型，如骨架模型、网格人模型等等。例如，根据一个实施方式，可以使用由扫描的位掩模确定的测量值来定义骨架模型中的一个或多个关节。可以使用一个或多个关节来定义可以对应于人的身体部位的一个或多个骨头。

例如，人目标的位掩模的顶部可以与头的顶部的位置相关联。在确定头的顶部之后，可以向下扫描位掩模，以便随后确定颈的位置、肩的位置等等。可以将例如位于被扫描的位置的位掩模的宽度与和例如颈、肩等等相关联的典型宽度的阈值进行比较。在一替换实施方式中，可以使用与扫描的并与位掩模中的身体部位相关联的先前位置的距离来确定颈、肩等等的位置。可以基于例如其他身体部位的位置来计算诸如腿、脚等等之类的某些身体部位。在确定一个身体部位的值后，创建包括该身体部位的测量值的数据结构。数据结构可包括来自由深度照相机系统在不同的时间点提供的多个深度图像的平均扫描结果。

步骤608包括生成人目标的模型。在一个实施方式中，可以使用由扫描的位掩模确定的测量值来定义骨架模型中的一个或多个关节。一个或多个关节被用来定义对应于人的身体部位的一个或多个骨头。也参见图27。

可以调整一个或多个关节，直到各关节在一个关节和人的一个身体部位之间的典型距离范围之内，以生成更加准确的骨架模型。还可以基于例如与人目标相关联的身高来进一步调整模型。

在步骤610中，通过每秒钟多次更新人的位置，来跟踪模型。随着用户进入物理空间，使用来自深度照相机系统的信息来调整骨架模型，以使该骨架模型表示人。具体而言，可以向骨架模型的一个或多个受力面施加一个或多个力，以将骨架模型调整为更加紧密地对应于物理空间中的人目标的姿势的姿势。

一般而言，可以使用用于跟踪人的移动的任何已知技术。

图7描绘了如在图6的步骤600中阐述的用于接收深度信息的示例方法。步骤700-704可以由照明器执行，而步骤706-716可以由图像传感器执行，图像传感器可包括或以其他方式与一个或多个处理器相关联。在步骤700中，光源向准直仪提供光束。在步骤702中，准直仪接收光束，并提供准直光束。在步骤704中，向衍射光学元件提供准直光束，该衍射光学元件在诸如家庭中的房间之类的视野中提供多个衍射光束。

在步骤706中，从视野反射的光穿过图像传感器中的相位掩模。反射光可以是可见或不可见光，如近红外光。在步骤708中，图像传感器中的感应元件检测穿过相位掩模的光的像素强度值。检测到的光包括许多对光点，在步骤710中，可以确定光点的旋转角。在步骤712中，对于每一对光点，基于相关联的旋转角，确定散焦参数ψ。在步骤714中，对于每一对光点，基于相关联的散焦参数ψ，确定从照明器到物体的距离。在步骤716中，基于距离，提供深度数据。例如，此可以是深度图的形式，其中，每一个像素都与一个深度值相关联。

图8描绘了一个示例情形：其中，如在图6的步骤600中阐述的那样，使用照明器和图像传感器来提供深度信息。深度照像机800包括在视野中输出光的照明器802，以及感应从视野反射的光的图像传感器806。照明器和图像传感器分别具有相应的光轴804和808。照明器朝向诸如人目标812之类的物体输出示例光线或光束810。在此示例中，人目标举起他的或她的右臂。在人目标的特定部分814，光束以光线816反射，光线816由图像传感器感应。光线的连续光谱将由照明器输出，被物体反射，并由图像传感器感应。描绘了沿着光轴与深度照像机的各种深度或距离，包括表示参考聚焦深度或焦距的深度z0，逐渐地远离深度照像机的距离z1、z2和z3，以及逐渐地靠近深度照像机的距离-z1、-z2和-z3。如下面进一步说明的，深度的范围可以被视为物体812在焦点之外的散焦范围。参考聚焦深度可能是最佳聚焦深度，但是，这可以在视野内变化。

图9描绘了图8的照明器802的更详细的视图。在一个可能的实现中，诸如一个或多个LED或激光之类的光源900可以被用来向准直透镜904提供光束902，而准直透镜904又向衍射光学元件908提供准直光束906。衍射光学元件908跨定义视野的图案输出多个衍射光束910。

一般而言，衍射光学元件被用作光束复制器，该光束复制器生成相同几何形状的许多光束，每一个光束都传播到视野内的不同位置。每一个光束都通过衍射级来表示，零级是直线穿过衍射光学元件的光束。衍射光学元件从单一准直光束提供多个较小的光束。较小光束在所希望的预定图案中定义深度照像机的视野。例如，在运动跟踪系统中，希望以允许跟踪站在或坐在房间里的人目标的方式来照亮房间。为跟踪整个人目标，视野应该在足够宽的角度，在高度和宽度方面延伸，以便照亮人的整个高度和宽度以及当与运动跟踪系统的应用程序进行交互时人可以来回移动的区域。可以基于诸如人的预期高度和宽度之类的因素，包括当手臂被抬高到头上或被抬到侧面时手臂的跨度，当与应用程序进行交互时人可以移动的区域的大小，人与照像机的预期的距离，以及照像机的焦距，来设置适当的视野。

例如，视野可以足以照亮站立在距离照像机有3-15英尺或更多的人，其中，带有手臂跨度的人是7英尺高，6英尺宽，且人预期在中心位置的+/-6英尺的区域中移动，例如，在144平方英尺的占地面积中移动。可以基于人可以移动或存在的预期的深度范围，来设置散焦范围。在其他情况下，视野可以被设计成只照亮人的上身区域。当已知用户可能会坐下而不是站起来并来回移动时，缩小的视野是可以接受的。视野可以类似地被设计成照亮除人以外的物体。衍射光学元件908可以从单一准直光束提供许多较小的光束，如成千上万的较小的光束。每一个较小的光束都具有单个准直光束的功率的一小部分。较小的衍射光束可以具有名义上相等的强度。

透镜904和衍射光学元件908具有共同的光轴912。

图10描绘了图8的图像传感器806的更详细的视图。图像传感器1050可包括沿着光轴1010排列的相位掩模1002、透镜1006和传感元件1012。相位掩模是创建双螺旋图案的东西。可以使用诸如光刻之类的已知技术以在玻璃表面上产生不同高度的区域来产生造成双螺旋所需的特定相位，来制作相位掩模。传感元件可包括，例如，具有像素网格的CMOS图像传感器，每一个像素都感应一个光强度级别，以便获取视野内的光强度的分布。从视野反射的光1000穿过相位掩模1002，以提供穿过透镜1006的相位编码的准直光束1004。此光进而到达传感元件1012。图像传感器具有从-z3到z3的范围的散焦。每一个深度是对应于图8中的相同名称的深度的片。相位掩模1002、透镜1006和传感元件1012具有共同的光轴914。

图11描绘了由图9的照明器所提供的光的旋转角比对散焦参数。旋转角是由所两个光点所定义的角度(参见图13)。例如，角度可以被定义为两个光点之间的直线和诸如水平轴之类的参考轴之间的角度。旋转角可以被定义在任何深度，并在某一深度范围内旋转180度。为了跟踪运动捕捉系统中的人目标，通常，深度范围可以是例如至少1米(m)。这与某些应用形成对照，例如用于使用小得多的深度范围(例如，几微米)的组织的显微镜成像，其中，一微米是10-6m。在此预定义的深度范围(这是光学组件的函数)中，可以唯一地将每一个旋转映射到在运动捕捉系统中有意义的深度，例如，如用于跟踪人目标。还可以将给定旋转映射到预定义深度范围以外的深度。

旋转角可以在几乎180度的范围内。描绘了500、550和600nm波长的光的结果。如所示出的，对于不同的波长，有一致的旋转角对比散焦参数的关系。散焦是指沿着光轴远离参考焦点的平面或表面的平移距离(例如，图8中在z＝0处)。带有低光圈值的光学系统将具有浅的焦深，而较大的光圈值将提供较大的焦深。可以通过来定义散焦参数ψ，其中，λ是光的波长，r是孔径大小，z_obj是参考聚焦深，而z_obj′是实际物距或深度。

图12描绘了由图10的图像传感器检测到的光的旋转角对比深度。对于500、550和600nm波长的光，获得一致的结果。如所示出的，有一致的旋转角对比深度参数的关系。可以基于深度照像机的光学装置，来设置深度的范围。

图13描绘了在不同的深度双螺旋点扩散函数和标准点扩散函数的光照图。沿着深度轴或z轴，分别在深度-z3、-z2、-z1、z0、z1、z2、z3提供双螺旋点扩散分布1300、1302、1304、1306、1308、1310和1312。为了进行比较，分别在深度-z3、-z2、-z1、z0、z1、z2、z3提供标准点扩散分布1320、1322、1324、1326、1328、1330和1332。双螺旋旋转点扩散函数(PSF)比标准PSF提供更多散焦信息，因为双螺旋PSF以散焦旋转，并且比标准PSF展开得慢。从而，旋转角信息可以用于以更大的准确性估计散焦(深度)。

实现双螺旋PSF的一种示例方法是通过拉盖尔-高斯光束的重叠。拉盖尔-高斯(LG)光束模式的重叠构成自成像光束(带有旋转和缩放)。使用光束的一个横平面中的复合场来作为目标光学系统的振幅传递函数。那么，光学系统的PSF是双螺旋。根据拉盖尔-高斯模式：

其中

G (ρ, z) = \frac{1}{w (z)} \exp (- {\tilde{ρ}}^{2}) \exp (\frac{{ikρ}^{2}}{2 R (z)}) \exp (- iψ (z))

R_{n, m} (\tilde{ρ}) = {(\sqrt{2} \tilde{ρ})}^{| m |} L_{\frac{n - | m |}{2}}^{| m |} (2 {\tilde{ρ}}^{2})

Z_n(z)＝exp(inψ(z)))

ψ (z) =arctan (\frac{z}{z_{0}})

R (z) = z [1 + {(\frac{z}{z_{0}})}^{2}]

C_{n, m} = \sqrt{\frac{\frac{2}{π [\frac{n - | m |}{2}]!}}{[\frac{n + | m |}{2}]!}}

其中是通过高斯光点尺寸缩放的径向坐标，以作为瑞利长度。瑞利长度是沿着光束从光腰到断面的面积翻倍的位置的传播方向的距离，其中，w₀是光束腰。是广义拉盖尔多项式，而整数n、m遵守关系：n＝|m|，|m|+2，|m|+4，...

例如，LG模式(n，m)：(1，1)，(5，3)，(9，5)，(13，7)，(17，9)的重叠产生双螺旋旋转光束。通过优化，以上面的光束作为起始点，获得高效率的双螺旋光束，如S.R.P.Pavani和R.Piestun在“High-efficiency rotating point spread functions”(高效率旋转点扩散函数)光学快报，第16卷，第5期，3484-3489页，2008年3月中所讨论的，该文以引用的方式并入本文中。

使用波阵面编码，获得双螺旋PSF。波阵面编码一般是用于使用一个或多个专门设计的相位掩模来创建诸如透镜之类的光学组件的光学传递函数的方法。

图14和15示出了在不同位置的双螺旋光束。具体而言，图14描绘了在深度z＝0(表示参考聚焦深度)时根据图13的双螺旋点扩散函数提供的光束的振幅。这里，w₀＝1mm。描绘了x轴(水平)和y轴(垂直)方向的振幅的变化。照明等级在从较低的照明(黑)到更高的照明(白)范围内变化。可以看出，提供了两个不同的光点，作为白区域。

图15描绘了在深度z＝z₀/2(表示瑞利长度z₀的二分之一)时根据图13的双螺旋点扩散函数提供的光束的振幅。两个光点之间的旋转是明显的。

图16描绘了对于不同的光的波长，即，0.55μm、0.70μm和0.83μm，根据图13的双螺旋点扩散函数，方位角对比散焦位置。关于PSF跨聚焦平面的旋转，可以使用双螺旋光束(在z＝0)的复合场作为振幅传递函数，诸如通过将它放在深度照像机的照明期的出射光瞳上。出射光瞳是光学系统中的虚拟光圈。只有穿过此虚拟光圈的光线才可以退出系统。

图17描绘了对应于图16的光点之间的距离对比散焦位置。随着波长变得越短，距离也变得越短。距离的比例取决于具体实现。

图18和19示出了在不同的图像平面的强度PSF函数。具体而言，图18描绘了在焦点处根据图13的双螺旋点扩散函数提供的光束，而图19描绘了在散焦处根据图13的双螺旋点扩散函数提供的光束。基于与深度照像机的距离，可以清楚地看到两个光点以及两个光点的旋转。当聚焦时，两个光点水平地排列，当散焦时，两个光电与水平线成一定角度。较亮的区域具有更高的感应的照明。

图20A描绘了根据图13的双螺旋点扩散函数提供的光束的出射光瞳振幅。图20B描绘了与图20A的振幅相关联的出射光瞳相位。考虑带有F#＝3(光圈值，也被称为焦距比或光圈数刻度)的成像系统。向系统的出射光瞳应用双螺旋光束的复合场。由于有限光瞳大小，双螺旋光束的复合场实际被截断，以匹配出射光瞳。如果双螺旋场在光瞳大小内，此截断的效果不显著。这里，使用利用w₀＝0.8mm的高斯光束光腰大小的LG模式生成的双螺旋光束。在图20A和20B中示出了出射光瞳函数。

图21描绘了根据图13的双螺旋点扩散函数提供的光束的方位角对比物距。在此示例中，角度从1m处的大约-90度变换到大约5m处的+90度。角度在2m处是零度。图像平面位于2米的额定物距的其近轴焦平面上。

图22A、22B、22C、22D、22E和22F描绘了根据图21的分别在物距1、1.5、2、3、4和5m处的非相干点扩散函数。具体地，在图22A中，旋转角大约是-90度，表示1m的距离。在图22B中，旋转角大约是-40度，表示1.5m的距离。在图22C中，旋转角大约是零度，表示2m的距离。在图22D中，旋转角大约是40度，表示3m的距离。在图22E中，旋转角大约是60度，表示4m的距离。在图22F中，旋转角大约是90度，表示5m的距离。如此，1-5m是可以确定人或其他目标的深度的示例深度范围。

图23描绘了用于使用双重图像传感器来跟踪运动捕捉系统中的人目标的方法。在此方法中，使用两个或更多图像传感器来获取场景的图像，如人在其中移动同时与运动捕捉系统进行交互的房间的图像。此方法不依赖于通过深度照相机系统的照明器对场景的任何特定类型的照明，并且可以在根本没有深度照相机系统照明的情况下工作。具有一个没有相位掩模的成像器以及一个带有相位掩模的成像器。然后，可以使用各种技术来对相位去卷积。步骤2300-2302涉及与没有相位掩模的成像器相关联的步骤，如在图25中所描绘的，而步骤2304-2308涉及与带有相位掩模的成像器相关联的步骤，如在图10中所描绘的。步骤2300-2302可以与步骤2304-2308在相同时间发生，以便在相同时间点获取场景的双重图像。在步骤2300中，来自视野内的物体的光穿过第一图像传感器的透镜。视野可以被视为图像传感器的视野，例如，图像传感器可以感应的场景的区域。在步骤2302中，光到达第一图像传感器元件，而形成参考图像，其带有像素强度值iref。图像传感器中的每一个像素都可以检测具有相关联的强度或振幅的光。图像中的iref值的集合表示图像的图像强度分布。在一种方法中，第一图像传感器不使用相位编码掩模。

在步骤2304中，来自视野内的物体的光穿过第二图像传感器的相位编码掩模，以产生相位编码的光。例如，这可以类似于图10的掩模1002。在步骤2306中，相位编码的光穿过第二图像传感器的透镜。在步骤2308中，相位编码的光到达第二图像传感器元件，并形成相位编码的图像，其带有像素强度值idh。下标“dh”表示双螺旋点扩散函数，其被用来对由第二图像传感器接收到的光进行编码。图像中的idh值的集合表示图像的图像强度分布。

步骤2310根据下列关系来确定深度信息：F^-1{F(i_dh)xH_ref/F(i_ref)}，其中，F表示傅里叶变换，F^-1表示傅里叶逆变换，而H_ref是参考图像的点扩散函数的光学传递函数，如下面进一步描述的。

图24描绘了另一个示例情形：其中，如在图6的步骤600中阐述的那样，使用双重图像传感器来提供深度信息。如上文所提及的，不需要照明器，从而缩小深度照像机2400的大小、成本和功耗。另外，与激光用于照明器中的情况相比，避免了安全问题。深度照像机2400包括第一图像传感器2402和第二图像传感器2406，它们分别具有各自的光轴2404和2408。第一图像传感器2402可以是没有相位掩模的成像器，如在图25中所描绘的，而第二图像传感器2406可以是带有相位掩模的成像器，如在图10中所描绘的。

从人目标2412的特定部分2414以被第一图像传感器感应的光线2410发射光，，并以被第二图像传感器2406感应的光线2416发射光。光线的连续光谱将由人目标从人目标的不同的部分输出，并被图像传感器感应。描绘了沿着光轴与深度照像机的各种深度或距离，包括表示参考焦深或焦距的深度z0，逐渐地远离深度照像机的距离z1、z2和z3，以及逐渐地靠近深度照像机的距离-z1、-z2和-z3，类似于图8。

图25描绘了没有相位掩模的图24的第一图像传感器2402。在图像传感器2550中，来自场景的光2500穿过透镜2502，从那里到诸如CMOS(互补金属氧化物半导体)图像传感器之类的成像元件2504。透镜2502和成像元件2504可以具有共同的光轴2506。

具体而言，图26A描绘了图24的示例情形中的原始参考图像。这是在完美的标准成像系统中在几何学上获得的图像。该图像描绘了各种测试形状。图26B、26C和26D示出了在不同的物距带有双螺旋传输函数的所得的已编码图像。具体而言，图26B、26C和26D分别描绘了图24的示例情形中的在物距1、2或4m时的衍射图像。沿着x轴和y轴的单位是像素。可以看出，已编码图像具有根据旋转角彼此偏离的冗余图像特征。参考图像具有相同图像特征，但是，它们不会冗余地出现。可以基于特征的旋转角来确定成像的目标的深度信息。例如，在图26A的参考图像中描绘了特征2600。此相同特征将表现为图26B的已编码图像中的冗余特征2602和2604。旋转角可以通过水平线和冗余特征的对应部分之间的直线之间的角度来定义。这里，旋转角接近于90度。在每一张图的右侧提供了光强度比例。

关于基于双螺旋PSF的深度提取，提取深度信息的一种方式是通过使用两个帧和去卷积算法来恢复PSF。有关进一步的细节，参见A.Greengard、Y.Y.Schechner和R.Piestun所著的“Depth from diffracted rotation”(来自衍射旋转的深度)，光学快报，第31卷，第2期，181-183页，2006年1月15日)，该文以引用的方式并入本文中。除由双螺旋PSF系统获取的图像之外，需要对散焦最不敏感而同时在整个所感兴趣的深度范围内相对清晰的参考帧。可以根据下列公式来估计双螺旋PSF：

{\hat{h}}_{dh} (Ψ) = F^{- 1} {H_{dh} (Ψ)} = F^{- 1} (\frac{I_{dh}}{I_{ref}} H_{ref})

其中，F表示傅里叶变换，Ψ是散焦参数，H_dh和H_ref分别是双螺旋PSF和参考PSF的光学传递函数。参考PSF是来自没有相位掩模的图像传感器的PSF。I_dh是由双螺旋系统获取的像素(例如，图26B、26C或26D)的图像强度值i_ref的傅里叶变换，而I_ref是参考图像(例如，图26A)的像素的图像强度值i_dh的傅里叶变换。一旦恢复PSF，就可以通过校准，通过旋转角来估计深度。

另一个方法是直接估计由投影仪/照明器所生成的结构化光点形成的旋转角。如果光点足够小并很好地分离，那么每一光点都在图像上生成可区分的双螺旋，从该双螺旋，可以估计旋转角，因此，也能估计散焦(深度)。然而，光点图像大小(通过理想的透镜和无衍射)应该小于双螺旋PSF光点距离，以便所得的双螺旋图案适用于角度估计。此光点大小极限(两个双螺旋光点之间的距离，并可以小于＜9μm)非常接近于点光源的衍射限制的光点尺寸。如果成像系统被适当地优化，包括双螺旋PSF、透镜、结构化光，以及成像传感器，则此方法是可行的。

图27描绘了如在图6的步骤608中阐述的用户的示例模型。模型2700在-z方向面向深度照像机，以致于所示出的截面位于x-y平面。注意垂直y轴和横向x轴。在其他图中提供了类似的符号。该模型包括许多参考点，如头2702的顶部、头的底部或下巴2713、右肩2704、右肘2706、右手腕2708和右手2710，如例如由指尖区域所表示的。从用户面向照像机的角度，定义了左右侧。该模型还包括左肩2714、左肘2716、左手腕2718和左手2720。还描绘了腰部区域2722，以及右臀部2724、右膝2726、右脚2728、左臀部2730、左膝2732和左脚2734。肩线2712是肩2704和2714之间的线，通常是水平的。例如，还描绘了在点2722和2713之间延伸的上躯干中心线2725。

前面的对本技术的详细描述只是为了说明和描述。它不是为了详尽的解释或将本技术限制在所公开的准确的形式。鉴于上述教导，许多修改和变型都是可能的。所描述的实施例只是为了最好地说明本技术的原理以及其实际应用，从而使精通本技术的其他人在各种实施例中最佳地利用本技术，适合于特定用途的各种修改也是可以的。本技术的范围由所附的权利要求进行定义。

Claims

1.一种3-D深度照相机系统，包括：

(a)照明器（24，802），所述照明器包括：

(i)至少一个准直光源（900），所述至少一个准直光源提供准直光束（902）；

(ii)衍射光学元件（908），所述衍射光学元件接收所述准直光束，并创建多个衍射光束（910），所述衍射光束（910）照亮包括人目标（8）的视野（6）；

(b)图像传感器（1050），所述图像传感器使用来自所述人目标的不同部分的所述多个衍射光束的反射光来提供所述人目标的检测到的图像，所述图像传感器包括相位掩模（1002），所述相位掩模（1002）调整所述检测到的图像，以使来自所述人目标的不同部分的所述多个衍射光束的反射光中的每一个的点扩散函数作为双螺旋来成像；以及

(c)与所述图像传感器相关联的至少一个处理器（32），所述至少一个处理器确定所述人目标的所述不同部分的深度信息，并响应于所述深度信息区别所述人目标在所述视野内的运动。

2.如权利要求1所述的3-D深度照相机系统，其特征在于：

所述至少一个处理器基于所述深度信息来确定所述人目标的3-D模型。

3.如权利要求1或2所述的3-D深度照相机系统，其特征在于：

所述至少一个处理器基于所述深度信息来跟踪所述人目标随时间的移动，并向应用程序提供对应的控制输入，而所述应用程序基于所述控制输入来更新显示器。

4.如权利要求1所述的3-D深度照相机系统，其特征在于：

所述衍射光学元件创建所述多个衍射光束，作为多个衍射级；以及

所述至少一个处理器基于所述检测到的图像的每一衍射级的所述双螺旋的旋转，来确定所述人目标的不同部分的深度信息。

5.如权利要求4所述的3-D深度照相机系统，其特征在于：

所述至少一个处理器基于根据旋转角彼此偏移的两个不同的光点的旋转，来确定所述人目标的不同部分的深度信息。

6.如权利要求5所述的3-D深度照相机系统，其特征在于：

所述旋转角在至少一米的深度范围内变化180度。

7.如权利要求1所述的3-D深度照相机系统，其特征在于：

所述至少一个处理器至少基于所述检测到的图像的强度分布，来确定所述深度信息。

8.一种用于对视野中的物体成像的3-D深度照相机系统，包括：

第一传感器（2402），所述第一传感器提供所述物体的参考图像而不使用相位掩模，其中所述参考图像包括在所述参考图像中不冗余地出现的图像特征；

第二传感器（2406），所述第二传感器使用相位掩模（1002）来提供所述物体的已编码图像，其中所述已编码图像也包括所述图像特征，但所述图像特征在所述已编码图像中表现为根据旋转角彼此偏离的冗余图像特征，所述相位掩模根据双螺旋点扩散函数来对来自所述物体的光进行编码；以及

至少一个处理器（32），所述至少一个处理器至少基于所述参考图像的强度分布i_ref和所述已编码图像的强度分布i_dh来确定所述物体的深度信息。

9.如权利要求8所述的3-D深度照相机系统，其特征在于：

所述已编码图像是相位编码的。

10.如权利要求8或9所述的3-D深度照相机系统，其特征在于：

所述至少一个处理器基于所述深度信息来跟踪所述物体的移动，并向应用程序提供对应的控制输入，而所述应用程序基于所述控制输入来更新显示器。

11.如权利要求10所述的3-D深度照相机系统，其特征在于：

所述物体是人目标。

12.如权利要求8所述的3-D深度照相机系统，其特征在于：

所述至少一个处理器响应于所述深度信息来区别所述物体在所述视野内的运动。

13.如权利要求8所述的3-D深度照相机系统，其特征在于：

所述参考图像是未编码的。

14.如权利要求8所述的3-D深度照相机系统，其特征在于：

所述至少一个处理器使用所述参考图像的点扩散函数的光学传递函数H_ref来确定所述深度信息。

15.如权利要求14所述的3-D深度照相机系统，其特征在于：

所述至少一个处理器根据：F^-1{F(i_dh)×H_ref/F(i_ref)}，来确定所述深度信息，其中，F表示傅里叶变换，而F^-1表示傅里叶逆变换。