CN102193624A - 用于基于姿势的用户界面的物理交互区 - Google Patents

Abstract

本发明提供了一种用于基于姿势的用户界面的物理交互区。在具有深度相机的运动捕捉系统中，基于用户的大小和其他因素来定义用户的物理交互区。区是其中用户执行手姿势来向应用提供输入的体。区的形状和位置可对用户来定制。区被锚定到用户，使得可从视野中的任何位置执行姿势。并且，即使在用户旋转他或她的身体从而用户没有面向相机时，区也被保持在用户和深度相机之间。显示器基于从区的坐标系到显示器的坐标系的映射来提供反馈。用户可移动显示画面上的光标或控制化身。

Description

用于基于姿势的用户界面的物理交互区

技术领域

本发明涉及运动捕捉系统，尤其涉及运动捕捉系统中的用户移动跟踪。

背景技术

运动捕捉系统获得关于人或其他主体在物理空间中的位置和移动的数据，并可使用该数据作为计算系统中的某一应用的输入。可能有许多应用，如出于军事、娱乐、体育和医疗目的。例如，人的运动可被映射到三维(3-D)人类骨架模型并用于创建动画人物或化身。包括使用可见和不可见(例如，红外)光的系统在内的光学系统使用相机来检测视野中的人的存在。然而，需要允许人与应用更自然地交互的进一步改进。

发明内容

提供了一种用于方便用户与运动捕捉系统中的应用交互的处理器实现的方法、运动捕捉系统和有形计算机可读存储。

为了最大化由运动捕捉系统提供的娱乐或其他体验的可达性，提供了一种用于将用户移动转换成命令的直观技术。例如，用户可作出手的姿势来导航菜单、在浏览或购物体验中交互、选择要玩的游戏、或访问诸如向朋友发送消息等通信特征。在示例方法中，用户控制光标来从屏幕上菜单选择项目，或者控制化身在3-D虚拟世界中的移动。为了方便用户的控制，定义了在其中跟踪诸如手的移动等用户的移动的物理交互区。该区基于用户的物理特性来调整大小、定形和定位，以允许用户基于该用户的自然生物力学移动范围来舒适地访问显示画面的各部分。

在一个实施例中，提供了用于在运动捕捉系统中跟踪用户移动的处理器实现的方法。该方法包括多个处理器实现的步骤。该方法包括在运动捕捉系统的视野中跟踪用户的身体，包括确定用户身体的模型。例如，这可以是基于人类身体的常见特性的骨架模型。确定该模型的参考点，如肩线和头位置、躯干高度、总高度和手臂长度。这些参考点可用于确定物理交互区的大小和位置。该区是视野中的3-D体，且具有相对于至少一个参考点来定义的坐标系。该方法还包括跟踪该区中用户的手相对于该区的坐标系的移动。尽管详细讨论了对手的跟踪，但所提供的原理也可应用于对诸如腿等其他身体部位的跟踪。基于该跟踪，将区中手的移动转换成显示画面上的对应动作，如光标的移动或3-D虚拟世界中化身的移动。显示画面因此基于区中手的移动，以基于用户的坐标系而非基于世界的坐标系来更新。

区可被锚定到用户，使得该区例如随着用户在视野中到处走动而移动。结果，可检测用户的手的运动，而不管用户是否正在走动，也不管用户站在或坐在哪里。此外，区可保持定位在用户与运动捕捉系统的深度相机之间，即使用户将其身体转离相机。

此外，区和显示画面可具有不同的形状。例如，区可以是弯曲的，而显示画面是矩形的。区中的每一点可被映射到显示画面中的对应点，使得用户能在自然运动范围中移动的同时访问整个显示画面。例如，用户可按曲线运动从一边到另一边移动他或她的手，以肘为轴转动。在一种可能的方法中，该运动可被转换成显示画面中的水平运动。从区到显示画面的最优映射可取决于不同因素，包括在显示画面上运行的应用的输入模态。可使用诸如从一边到另一边的手运动等2-D移动以及诸如用手前推运动等3-D移动两者。

提供本概要以用简化形式介绍在下面的说明书中进一步描述的精选概念。本概述并不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。

附图说明

在附图中，标号相同的元素彼此对应。

图1描绘了运动捕捉系统的示例实施例。

图2a描绘了图1的运动捕捉系统的示例框图。

图2b描绘了由图1的运动捕捉系统实现的示例软件栈。

图3描绘了可以在图1的运动捕捉系统中使用的计算环境的示例框图。

图4描绘了可以在图1的运动捕捉系统中使用的计算环境的另一示例框图。

图5描绘了用于方便用户与运动捕捉系统交互的方法。

图6a描绘了用于如图5的步骤500所述地跟踪个人的移动的示例方法。

图6b描绘了用于如图5的步骤506所述地基于用户在一个或多个区中的移动来向应用提供输入的示例方法。

图7a描绘了用于如图5的步骤502所述地确定用户的物理交互区的示例方法。

图7b描绘了用于如图5的步骤502所述地确定用户的物理交互区的另一示例方法。

图8描绘了用于如图5的步骤508所述地在应用处处理输入的示例方法。

图9a描绘了如图6a的步骤608所述的具有物理交互区的用户的示例模型。

图9b描绘了图9a的物理交互区的细节。

图9c描绘了图9a的用户的模型和物理交互区的侧面图。

图9d描绘了如图9c中见到的物理交互区的细节。

图10a描绘了图9a的模型的示例，其中用户手的位置改变。

图10b描绘了如图6a的步骤608所述的用户的示例模型，其具有包含用户的双手的预期移动范围的物理交互区。

图10c描绘了如图6a的步骤608所述的用户的示例模型，其具有两个物理交互区，每一个物理交互区包含相应的手的预期移动范围。

图11a描绘了如图6a的步骤608所述的用户的示例模型，其具有如侧视图中看见的带有两个子集区的弯曲物理交互区，其中用户的手在后面的子集区中。

图11b描绘了如图11b中所见的用户的示例模型，其中用户的手在前面的子集区中。

图11c描绘了如图6a的步骤608所述的用户的示例模型，其具有如俯视图中看见的带有两个子集区的弯曲物理交互区，其中用户的肩线与深度相机轴成90度。

图11d描绘了如图6a的步骤608所述的用户的示例模型，其具有如俯视图中看见的带有两个子集区的弯曲物理交互区，其中用户的肩线与深度相机轴成45度。

图11e描绘了如图6a的步骤608所述的用户的示例模型，其具有如俯视图中看见的带有两个子集区的弯曲物理交互区，其中用户的肩线与深度相机轴平行。

图11f描绘了如图6a的步骤608所述的用户的示例模型，其具有如侧视图中看见的带有两个子集区的弯曲物理交互区，其中用户的肩线与深度相机轴平行。

图11g描绘了如图6a的步骤608所述的用户的示例模型，其具有如俯视图中所见的带有若干子集区的弯曲物理交互区。

图11h描绘了如图6a的步骤608所述的用户的示例模型，其具有如俯视图中所见的带有三个子集区的弯曲物理交互区。

图12a描绘了如结合图6b讨论的不同大小的区。

图12b描绘了如图6a的步骤608所述的具有较大和较小大小的弯曲物理交互区的用户的示例模型。

图12c描绘了图12b的模型的示例，其中用户手的位置改变，但被包含在较小的区中。

图13a描绘了其中光标基于用户手的移动在两个位置之间移动的示例显示，作为如图5的步骤508所述的在应用处处理输入的一个示例。

图13b描绘了对于相对较大的用户，引起图13a的光标移动的用户手的移动。

图13c描绘了对于相对较小的用户，引起图13a的光标移动的用户手的移动。

图13d描绘了如引起图13a的光标移动的、区中的点和显示画面中的对应点之间的映射。

图14a描绘了包括供用户选择的菜单项的示例显示，作为如图5的步骤508所述的在应用处处理输入的示例。

图14b描绘了在用户使得光标移到菜单项之一上从而导致附加菜单选项出现之后图14a的示例显示。

图14c描绘了在用户使得光标移到附加菜单选项之一上之后图14b的示例显示。

图15a描绘了包括供用户选择的菜单项的示例显示，作为如图5的步骤508所述的在应用处处理输入的示例。

图15b描绘了在用户使得菜单项从右到左滚动从而导致附加菜单选项出现之后图15a的示例显示。

图15c描绘了在用户使得光标移到附加菜单项上之后图15b的示例显示。

图16a描绘了包括供用户选择的菜单项的示例显示，作为如图5的步骤508所述的在应用处处理输入的示例。

图16b描绘了在用户用粗略的手移动使得光标移至显示画面的边缘区域之后图16a的示例显示。

图16c描绘了在用户用精细的手移动使得光标移到所需菜单项上之后图16b的示例显示。

图17a描绘了包括可由用户处理的物体的3-d虚拟世界的示例显示，作为如图5的步骤508所述的在应用处处理输入的示例。

图17b描绘了对应于图17a的显示的空的示例物理交互区。

图17c描绘了在远位置中显示化身的手来伸进虚拟世界以抓取物体之后图17a的显示。

图17d描绘了图17b的示例物理交互区中的用户的手，其引起图17a的显示。

图17e描绘了在近位置显示化身的手来检查靠近的物体之后图17c的显示。

图17f描绘了图17b的示例物理交互区中的用户的手，其引起图17e的显示。

图17g描绘了在向上移动化身的手来检查物体的顶侧之后图17e的显示。

图17h描绘了图17b的示例物理交互区中的用户的手，其引起图17g的显示。

图17i描绘了在向后移动化身的左手并向前移动化身的右手来检查物体的左侧表面之后图17e的显示。

图17j描绘了图17b的示例物理交互区中的用户的手，其引起图17i的显示。

具体实施方式

提供了用于允许用户容易地与运动捕捉系统中的应用交互的技术。深度相机系统可以跟踪物理空间中用户身体的移动，并导出该身体的模型，该模型对于每一相机帧每秒若干次地更新。可处理该模型来标识参考点，参考点指示用户的大小以及他或她的姿势或姿态。基于该信息，可相对于用户位置定义物理交互区，如用于跟踪用户的手和手臂的移动。通过调整该区来使其适应个别用户，用户可以使用自然移动来与应用交互，使得用户的舒适程度以及用户向应用提供准确的控制输入的能力得到改进。在应用的某些模式中，区可以是活动的。在其他模式中，应用可接收基于例如在基于世界的坐标系中对用户的完全身体跟踪的输入。可提供用于在两个模式之间转换的适当技术。

图1描绘了其中个人8可以与应用交互的运动捕捉系统10的示例实施例。运动捕捉系统10包括显示器196、深度相机系统20、以及计算环境或装置12。深度相机系统20可包括图像相机组件22，其具有红外(IR)光组件24、三维(3-D)相机26和红-绿-蓝(RGB)相机28。也称为个人或玩家的用户8站在深度相机的视野6中。线2和4表示视野6的边界。在该示例中，深度相机系统20和计算环境12提供了其中显示器196上的化身197跟踪用户8的移动的应用。例如，当用户举起手臂时，化身可举起手臂。化身197在3-D虚拟世界中站在路198上。可定义笛卡尔世界坐标系，其包括沿着深度相机系统20的焦距(例如水平)延伸的z轴、垂直延伸的y轴、以及横向且水平延伸的x轴。注意，附图的透视被修改成简化表示，显示器196在y轴方向上垂直延伸，z轴垂直于y轴和x轴且与用户8所站立的地平面平行地从深度相机系统延伸出来。

一般而言，运动捕捉系统10用于识别、分析和/或跟踪人类目标。计算环境12可包括计算机、游戏系统或控制台等，以及执行应用的硬件组件和/或软件组件。

深度相机系统20可以包括相机，相机用于在视觉上监视诸如用户8等的一个或多个人，从而可以捕捉、分析并跟踪用户所执行的姿势和/或移动，来执行应用中的一个或多个控制或动作，如使化身或屏幕上人物活动起来或选择用户界面(UI)中的一菜单项，如将在下面更详细地描述的。

运动捕捉系统10可以连接到诸如显示器196等可向用户提供视觉和音频输出的视听设备，如电视机、监视器、高清电视机(HDTV)等，或甚至是墙或其他表面上的投影。音频输出也可经由单独的设备来提供。为驱动显示器，计算环境12可包括提供与应用相关联的视听信号的诸如图形卡等视频适配器，和/或诸如声卡等音频适配器。显示器196可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。

用户8可使用深度相机系统20来跟踪，使得用户的姿势和/或移动被捕捉并用于使化身或屏幕上人物活动起来，和/或被解释为对计算机环境12所执行的应用的输入控制。

用户8的某些移动可被解释为可对应于除控制化身之外的动作的控制。例如，在一实施例中，玩家可使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。玩家可使用移动来从主用户界面选择游戏或其他应用，或以其他方式导航选项菜单。由此，用户8的全范围运动可以用任何合适的方式来获得、使用并分析以与应用进行交互。

个人可在与应用交互时抓握诸如支柱等物体。在此类实施例中，个人和物体的移动可用于控制应用。例如，可以跟踪并利用玩家手持球拍的运动来控制模拟网球游戏的应用中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用玩家手持诸如塑料剑等玩具武器的运动来控制提供海盗船的应用的虚拟世界中对应的武器。

运动捕捉系统10还可用于将目标移动解释为游戏和出于娱乐和休闲目的的其他应用范围之外的操作系统和/或应用控制。例如，操作系统和/或应用的基本上任何可控方面可由用户8的移动来控制。

图2a描绘了图1a的运动捕捉系统10的示例框图。深度相机系统20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等，捕捉带有包括深度图像的深度信息的视频，该深度图像可包括深度值。深度相机系统20可将深度信息组织为“Z层”，即可与从深度相机沿其视线延伸的Z轴垂直的层。

深度相机系统20可包括图像相机组件22，如捕捉物理空间中的场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的每一像素具有代表距离图像相机组件22的线性距离的相关联的深度值。

图像相机组件22可包括可用于捕捉场景的深度图像的红外(IR)光组件24、三维(3-D)相机26、以及红-绿-蓝(RGB)相机28。例如，在飞行时间分析中，深度相机系统20的IR光组件24可将红外光发射到物理空间上，然后可使用传感器(未示出)，使用例如3-D相机26和/或RGB相机28，来检测来自该物理空间中的一个或多个目标和对象的表面的反向散射光。在某些实施例中，可以使用脉冲式红外光，从而可以测量出射光脉冲与相应的入射光脉冲之间的时间并将其用于确定从深度相机系统20到物理空间中的目标或对象上的特定位置的物理距离。可将传出光波的相位与传入光波的相位进行比较来确定相移。然后可以使用相移来确定从深度相机系统到对象或目标上的特定位置的物理距离。

飞行时间分析也可用于通过经由包括例如快门式光脉冲成像等各种技术来分析反射光束随时间的强度，来间接地确定从深度相机系统20到目标或对象上的特定位置的物理距离。

在另一示例实施例中，深度相机系统20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件24被投影到场景上。在撞击到场景中的一个或多个目标或物体的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机26和/或RGB相机28来捕捉，然后可被分析以确定从深度相机系统到目标或对象上的特定位置的物理距离。

深度相机系统20可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。

深度相机系统20还可包括话筒30，话筒30包括例如接收声波并将其转换成电信号的换能器或传感器。另外，话筒30可用于接收由个人提供的诸如声音等音频信号，来控制由计算环境12运行的应用。音频信号可包括诸如说出的单词、口哨、叫声和其他话语等个人的口声，以及诸如拍手或跺脚等非口声。

深度相机系统20可包括与图像相机组件22进行通信的处理器32。处理器32可包括可执行指令的标准化处理器、专用处理器、微处理器等，这些指令包括例如用于接收深度图像的指令；用于基于深度图像来生成三维像素网格的指令；用于移除包括在三维像素网格中的背景以便隔离与人类目标相关联的一个或多个三维像素的指令；用于确定隔离的人类目标的一个或多个骨端的位置或定位的指令；用于基于一个或多个骨端的位置或定位来调整模型的指令；或任何其他合适的指令，这些将在下文中更详细描述。

深度相机系统20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、以及存储3-D相机或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的有形计算机可读存储组件。存储器组件34可以是经由总线21与图像捕捉组件22和处理器32进行通信的单独组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。

深度相机系统20可以经由通信链路36与计算环境12进行通信。通信链路36可以是有线和/或无线连接。根据一个实施例，计算环境12可经由通信链路36向深度相机系统20提供时钟信号，该信号指示何时从位于深度相机系统20的视野中的物理空间捕捉图像数据。

另外，深度相机系统20可经由通信链路36向计算环境12提供深度信息和由例如3-D相机26和/或RGB相机28捕捉的图像，和/或可由深度相机系统20生成的骨架模型。计算环境12然后可使用该模型、深度信息和捕捉的图像来控制应用。例如，如图2a所示，计算环境12可包括诸如姿势过滤器集合等姿势库190，每一姿势过滤器具有关于可由骨架模型(在用户移动时)执行的姿势的信息。例如，可为各种手姿势提供姿势过滤器，如手的挥击或投掷。通过将检测到的运动与每一过滤器进行比较，可标识个人执行的指定姿势或移动。也可确定执行移动的范围。

可将由深度相机系统20捕捉的骨架模型形式的数据以及与其相关联的移动与姿势库190中的姿势过滤器进行比较来标识用户(如骨架模型所表示的)何时执行了一个或多个特定移动。那些移动可与应用的各种控制相关联。

计算环境还可包括用于执行存储在存储器194中的指令以向显示设备196提供音频-视频输出信号并实现如此处所描述的其他功能的处理器192。

图2b描绘了由图1的运动捕捉系统实现的示例软件栈。在以下进一步讨论的示例技术中，计算环境12可实现软件栈，该软件栈包括较低层的骨架跟踪组件191、中间层的区确定组件193、以及较高层的应用195。

图3描绘了可以在图1的运动捕捉系统中使用的计算环境的示例框图。计算环境可用于解释一个或多个姿势或其他移动并作为响应来更新显示器上的视觉空间。上面描述的诸如计算环境12等计算环境可以是诸如游戏控制台等多媒体控制台100。多媒体控制台100包括具有1级高速缓存102、2级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。1级高速缓存102和2级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的核，以及由此的附加的1级和2级高速缓存102和104。诸如闪存ROM等存储器106可存储在多媒体控制台100通电时在引导过程的初始阶段期间加载的可执行代码。

图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线将数据输出到A/V(音频/视频)端口140以传输到电视机或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如RAM(随机存取存储器)。

多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外部存储器设备146(例如闪存、外部CD/DVD ROM驱动器、可移动介质等)的主机。网络接口(NW IF)124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。

提供系统存储器143来存储在引导进程期间加载的应用程序数据。提供媒体驱动器144且其可包括DVD/CD驱动器、硬盘驱动器、或其它可移动媒体驱动器。媒体驱动器144对于多媒体控制台100可以内置或外置的。应用程序数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其它高速连接等总线连接到I/O控制器120。

系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。

前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。

CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其它组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。

当多媒体控制台100通电时，应用程序数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包含的应用和/或其他媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。

多媒体控制台100可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。

当多媒体控制台100通电时，保留指定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留(例如，16MB)、CPU和GPU周期(例如，5％)、网络带宽(例如，8kbs)等。因为这些资源是在系统引导时保留的，所以所保留的资源对应用而言是不存在的。

具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留较佳地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。

对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率，也就不会引起TV重新同步。

在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在一组在上述所保留的系统资源中执行的系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。

当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。

输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维持有关焦点切换的状态信息。控制台100可从包括相机26和28的图2a的深度相机系统20接收附加输入。

图4描绘了可以在图1的运动捕捉系统中使用的计算环境的另一示例框图。计算环境可用于解释一个或多个姿势或其他移动并作为响应来更新显示器上的视觉空间。计算环境220包括计算机241，计算机241通常包括各种游戏计算机可读存储介质。这可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。图形接口231与GPU 229进行通信。作为示例而非局限，图4描绘了操作系统225、应用程序226、其它程序模块227和程序数据228。

计算机241还可包括其他可移动/不可移动、易失性/非易失性计算机存储介质，如从不可移动、非易失性磁介质读取或对其写入的硬盘驱动器238，从可移动、非易失性磁盘254读取或对其写入的磁盘驱动器239，以及从诸如CDROM或其他光介质等可移动、非易失性光盘253读取或对其写入的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性有形计算机可读存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常由诸如接口234等不可移动存储器接口连接至系统总线221，磁盘驱动器239和光盘驱动器240通常由诸如接口235等可移动存储器接口连接至系统总线221。

以上讨论并在图4中描绘的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。例如，硬盘驱动器238被描绘为存储操作系统258、应用程序257、其它程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。操作系统258、应用程序257、其他程序模块256和程序数据255在这里被标注了不同的标号是为了说明至少它们是不同的副本。用户可以通过输入设备，诸如键盘251和定点设备252——通常被称为鼠标、跟踪球或触摸垫——向计算机241输入命令和信息。其他输入设备(未示出)可以包括麦克风、游戏杆、游戏手柄、碟形卫星天线、扫描仪等等。这些和其他输入设备通常由耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，诸如并行端口、游戏端口或通用串行总线(USB)连接。包括相机26和28的图2的深度相机系统20可为控制台100定义附加输入设备。监视器242或其他类型的显示器也经由接口，诸如视频接口232连接至系统总线221。除监视器以外，计算机也可以包括其他外围输出设备，诸如扬声器244和打印机243，它们可以通过输出外围接口233连接。

计算机241可使用至一个或多个远程计算机，如远程计算机246的逻辑连接在网络化环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，且通常包括许多或所有以上相对于计算机241描述的元件，但是在图4中仅示出了存储器存储设备247。逻辑连接包括局域网(LAN)245和广域网(WAN)249，但也可以包括其它网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。

当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接至LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他装置。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在网络化环境中，关于计算机241所描述的程序模块或其部分可被储存在远程存储器存储设备中。作为示例而非限制，图4示出了远程应用程序248驻留在存储器设备247上。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其他手段。

物理交互区

图5描绘了用于方便用户与运动捕捉系统交互的方法。一般而言，基于用户的移动来控制应用提出了许多挑战。例如，运动捕捉系统中的显示器可以根据诸如3-D游戏等应用提供四处散开的若干对象。站在显示器前面的用户能够以这些对象中的一个为目标并与其交互。然而，用户不知道将他或她的手移到何处来选择、抓取、移动或命中该对象。用户要将手向右移动几英寸，还是移到他或她头上的一英尺？对这一难题的解决方案应为用户提供容易且直观的方式来理解他或她的身体与显示器上的对象之间的关系。两个元素可一起起作用来建立这一关系：(1)用户的真实世界物理空间与虚拟世界屏幕空间之间的空间映射，以及(b)揭示该映射的某种形式的实时屏幕上反馈(视觉和/或音频)。

真实世界和虚拟世界之间的映射在位于显示器前方的用户确切地知道在物理空间中移动到何处以及移动得多远来与虚拟世界中的某样东西交互时起作用。映射关系的本质取决于用户的所需活动。例如，如果一游戏需要身体活动，如像足球守门员那样的积极地跳跃和侧向移动时，例如从大的真实世界物理空间到虚拟世界屏幕空间的映射是适当的。相反，如果游戏需要极其小的移动，可能仅仅需要手臂和手的移动，则从上身周围的小物理空间到屏幕空间的映射是适当的。

两种类型的空间映射包括基于世界的映射和基于用户的映射。在基于世界的映射中，活动空间，即相机视野中的每样东西，是固定的。当用户在活动空间中到处移动时，相机跟踪并标识用户相对于活动空间的移动。基于世界的映射一般涉及完全身体跟踪，如在上述守门员的示例中那样。另一方面，在基于用户的空间映射中，有关系的是用户如何相对于其自身移动，而非用户如何相对于周围的世界移动。基于用户的空间映射涉及部分身体跟踪(如在以上示例中的手臂和手运动中那样)。例如，正在挥动的手臂和手，而非从活动空间的一侧到另一侧的移动，是要跟踪的东西。相关空间被锚定到用户。

在有效空间映射的框架内，响应于用户的移动返回给用户的反馈将帮助用户成功地与游戏或其他应用交互。大多数游戏将主要使用完全身体跟踪，且在这些情况下相机只需跟踪用户的完整身体(骨架)。在这一情况下，一种直观形式的屏幕上用户反馈是以化身形式在屏幕上表示用户的完整身体。然而，某些情形可能获益于计算上较不昂贵的部分身体跟踪。例如，这对于与包括按钮、列表、菜单等的传统屏幕界面的交互可能是有用的，其中完整身体交互是可能的但不是必需或需要的。提供这一反馈的一种有效方式是显示由用户的手的移动来控制的光标。例如，光标可以在显示画面上以与用户的手的移动1∶1的运动来移动。这种交互一般发生在称为物理交互区或区的运动域中。用于空间映射的解决方案可使用该区及其相关联的属性，包括大小、形状和位置。

在这一解决方案中，如图5中的高层处所描述的，步骤500包括在深度相机的视野中跟踪用户。步骤500也结合图6a来描述。步骤502包括为用户确定一个或多个物理交互区。步骤502也结合图7a、7b和9a-12来描述。可以为每一帧计算区，即使在区是不活动的时候，在这一情况下应用不使用区。步骤506包括使用基于用户的坐标基于用户相对于一个或多个区的移动来向应用提供输入。步骤506也结合图6b来描述。步骤508包括在应用处处理输入。步骤508也结合图8和13a-17j来描述。应用基于其当前上下文来决定区输入是否是相关的。步骤504包括使用基于世界的坐标基于对用户的完整身体跟踪来向应用提供输入。例如，这可引起化身的移动，如图1中所描绘的。在某些情况下，区输入可能是不活动的，从而仅使用完全身体跟踪。区输入模式可以在应用到达某一模式时被激活，诸如当完成游戏时，且应用经由菜单提示用户提供输入。在其他情况下，区输入模式可由用户激活，如当用户将手放在区中的时候。例如，将手放在区中例如持续如1-2秒的某一时间段可被应用解释为进入用户使用区输入模式来提供输入的模式的命令。

图6a描绘了用于如图5的步骤500所述地跟踪个人的移动的示例方法。该示例方法可以使用例如结合图2a-4讨论的深度相机系统20和/或计算环境12、100或220来实现。可以扫描一个或多个人来生成模型，如骨架模型、网格人类模型、或个人的任何其他合适的表示。在骨架模型中，每个身体部位可被表征为定义骨架模型的关节和骨骼的数学向量。身体部位可以在关节处相对于彼此移动。

该模型然后可用于与由计算环境执行的应用交互。进行扫描来生成模型可以在启动或运行应用时发生，或如所扫描的个人的应用所控制的在其他时间发生。

可扫描个人来生成骨架模型，可跟踪该骨架模型使得用户的物理移动或运动可用作调整和/或控制应用的参数的实时用户接口。例如，所跟踪的个人的移动可用于在电子角色扮演游戏中移动化身或其他屏幕上人物；在电子赛车游戏中控制屏幕上车辆；在虚拟环境中控制物体的构成或组织；或执行应用的任何其他合适的控制。

根据一个实施例，在步骤600，例如从深度相机系统接收深度信息。深度相机系统可以捕捉或观察可包括一个或多个目标的视野。在一示例实施例中，如所讨论的，深度相机系统可使用诸如飞行时间分析、结构化光分析、立体视觉分析等任何合适的技术来获得与捕捉区域中的一个或多个目标相关联的深度信息。如所讨论的，深度信息可包括具有多个所观察的像素的深度图像，其中每一所观察的像素具有所观察的深度值。

深度图像可以被降采样到较低处理分辨率，以使其可被更容易地使用且以更少的计算开销来处理。另外，可从深度图像中移除和/或平滑掉一个或多个高变度和/或含噪声的深度值；可填入和/或重构缺少的和/或移除的深度信息的部分；和/或可对所接收的深度信息执行任何其他合适的处理，使得该深度信息可用于生成结合图9a、9c、10a-10c、11a-11h、12b和12c讨论的诸如骨架模型等模型。

在判定步骤604，判定深度图像是否包括人类目标。这可包括对深度图像中的每一目标或对象进行泛色填充，将每一目标或对象与模式进行比较来确定该深度图像是否包括人类目标。例如，可以比较深度图像的所选区域或点中的像素的各种深度值来确定可定义如上所述的目标或对象的边。可基于所确定的边来对Z个层的可能的Z个值进行泛色填充。例如，与所确定的边相关联的像素以及边内的区域的像素可互相关联来定义可与图案进行比较的捕捉区域中的目标或对象，这将在下文中更详细描述。

如果判定步骤604为真，则执行步骤606。如果判定步骤604为假，则在步骤600接收附加深度信息。

对照其来比较每一目标或对象的模式可包括具有共同定义典型的人类身体的一组变量的一个或多个数据结构。与例如视野中的人类目标和非人类目标的像素相关联的信息可以与各变量进行比较来标识人类目标。在一个实施例中，该组中的每一变量可基于身体部位来加权。例如，模式中诸如头和/或肩等各个身体部位可具有与其相关联的、可大于诸如腿等其他身体部位的权重值。根据一个实施例，可在将目标与变量进行比较来确定目标是否以及哪一目标可以是人类时使用权重值。例如，变量与目标之间的具有较大权重值的匹配可产生比具有较小权重值的匹配更大的该目标是人类的可能性。

步骤606包括扫描人类目标来寻找身体部位。可以扫描人类目标来提供与个人的一个或多个身体部位相关联的诸如长度、宽度等度量，以提供该个人的准确模型。在一示例实施例中，可隔离该人类目标，并且可创建该人类目标的位掩模来扫描一个或多个身体部位。该位掩模可通过例如对人类目标进行泛色填充，使得该人类目标可以与捕捉区域元素中的其他目标或对象分离来创建。随后可分析该位掩模来寻找一个或多个身体部位，以生成人类目标的模型，如骨架模型、网格人类模型等。例如，根据一实施例，可使用由所扫描的位掩码确定的度量值来定义骨架模型中的一个或多个关节。该一个或多个关节可用于定义可对应于人类的身体部位的一根或多根骨。

例如，人类目标的位掩模的顶部可以与头的顶部的位置相关联。在确定了头的顶部之后，可以向下扫描该位掩模来随后确定颈的位置、肩的位置等等。例如，在所扫描的位置处的位掩模的宽度可以与和例如颈、肩等相关联的典型宽度的阈值进行比较。在替换实施例中，可以使用离位掩模中先前扫描的并与身体部位相关联的位置的距离来确定颈、肩等的位置。诸如腿、脚等的某些身体部位可基于例如其他身体部位的位置来计算。在确定了身体部位的值之后，可创建包括身体部位的度量值的数据结构。该数据结构可包括从深度相机系统在不同时间点提供的多个深度图像中平均的扫描结果。

步骤608包括生成人类目标的模型。在一实施例中，可使用由所扫描的位掩模确定的度量值来定义骨架模型中的一个或多个关节。该一个或多个关节用于定义可对应于人类的身体部位的一根或多根骨。

可调整一个或多个关节，直到这些关节在人类的关节和身体部位之间的典型距离范围之内，以生成更准确的骨架模型。该模型可基于例如与人类目标相关联的高度来进一步调节。

在步骤610，通过每秒若干次更新个人的位置来跟踪该模型。当用户在物理空间中移动时，使用来自深度相机系统的信息来调整骨架模型，使得该骨架模型表示一个人。具体地，可向该骨架模型的一个或多个受力方面施加一个或多个力，来将该骨架模型调整成更接近地对应于物理空间中的人类目标的姿态的姿态。

一般而言，可使用用于跟踪个人的移动的任何已知技术。

图6b描绘了用于如图5的步骤506所述地基于用户在一个或多个区中的移动来向应用提供输入的示例方法。在一个可能的实现中，定义多个区。例如，可定义第一和第二区，其中第二区小于第一区且至少部分地与第一区重叠。参见例如图12b来获得进一步的细节。步骤620包括处理来自第一区中的用户移动的数据。该数据可包括第一区的坐标系中的坐标，其中该坐标表示在一时间点，如对于一照相机帧用户的手的位置。可使用诸如指尖等手的参考位置来表示手的位置。也可标识各个手指，并且如果有足够的分辨率，则各个手指可具有各自的参考位置。类似地，步骤622包括处理来自第二区中的用户移动的数据。如步骤620中一样，该数据可包括第二区的坐标系中的坐标，其中该坐标表示在同一时间点用户的手的位置。步骤624包括选择最适当的区。

例如，如果参考位置所表示的用户的手已经被包含在较小的第二区中持续了一定量的时间，如1-2秒，则可选择该较小的第二区。一般而言，使用较小的区与较大的区相比允许用户更容易地向应用提供输入，但由于深度相机系统的有限分辨率，准确度可能会降低。例如，以腕为支点转动且肘大致在固定位置的小的手移动可被包含在较小的区中。另一方面，如果手的移动没有被包含在较小的区中，则可选择较大的区。这可在例如有以肘为支点的较大转动时发生。最初，可使用较大的区，并且较小的区可能基于随着时间所检测的手的位置来选择。这一方法可涉及在一段时间内存储手位置相对于时间的持续记录。当使用多于两个区时，可最初选择最大的区，然后在确定了手的移动范围之后，可选择包含该手移动的最小的区。

在另一方法中，用户简档可指示用户倾向于使用小的手移动，从而可使用对应的小区。

步骤626包括提供来自相对于所选区的用户移动的数据。这可包括所选区的坐标系中的位置坐标。

图7a描绘了用于如图5的步骤502所述地确定用户的物理交互区的示例方法。步骤700包括从用户的骨架模型确定参考点。参见例如图9a、9c、10a-10c、11a-11h、12b和12c。步骤702包括基于参考点来确定用户的姿势。例如，这可包括确定肩线，例如用户的两肩之间的线，以及确定哪一个肩最靠近深度相机。参见例如图11c-11f。步骤704包括基于参考点来确定用户的大小。参见例如图9a。步骤706包括例如基于用户的大小和模型的一个或多个参考点来确定区的大小和位置。步骤708包括任选地将区数据存储到用户简档。区数据可包括例如关于区的大小和/或位置以及用户的大小(例如，图9a中讨论的高度、尺寸L1和L2等等)的数据。在这一方法中，当同一用户随后在另一会话中与该应用交互时，可标识该用户和基于用户的身份来访问的区数据。所访问的区数据可用于若干用途。在一种可能的方法中，保存随时间的区数据的历史，如数天或数周，以便分析用户的移动以及相应地定制区大小、形状和/或位置。

例如，通过记录手的移动范围，可以确定用户减小了手的移动性并且倾向于作出比一般用户更小的运动。在这一情况下，可相应地减小区大小。记录手的移动范围的一个示例可包括记录手在不同时间经历的坐标(x，y，z)、记录手从坐标系中的指定点(如中心)移动的最大距离等等。或者，可以确定用户减小了右手的移动性但未减小左手的移动性。在这一情况下，当使用右手时，可相应地减小右手区的区大小，但是左手区的区大小可被保持在对于与特定用户大小相同的一般用户适当的额定大小。或者，用户可对可被记录并用于设置区的大小和形状的移动具有偏好。例如，可将特定用户的移动与预定义平均移动进行比较来确定与预定义平均移动的偏差。或者，系统可确定用户通常伸手到区中来使得光标到达显示画面上的菜单项，但是无法到达该菜单项，例如过低，这指示该区应更小。或者，系统可确定用户通常到达区中来使得光标到达显示画面上的菜单项，但是超过了该菜单项，这指示该区应更大。

另一种可能的方法是提供允许用户显式地设置关于区的偏好的用户界面。或者，该用户界面可提示用户执行一系列运动，并且使用结果来设置区大小、形状和位置。

图7b描绘了用于如图5的步骤502所述地确定用户的物理交互区的另一示例方法。图7b的过程可以例如在图7a的过程之后执行。步骤710包括标识用户，并从对应的用户简档中访问区数据。区数据可包括例如关于区的大小、形状和/或位置的数据。可以诸如通过用户例如通过输入用户标识符而登录到应用来标识用户，或者通过将用户的当前检测的骨架模型与先前存储的模型进行匹配来标识用户。步骤712包括从用户的当前检测的骨架模型确定参考点。步骤714包括确定用户的姿势。步骤716包括确定区的大小和位置。注意，如果用户的大小与区数据一起存储，则不必重新确定用户的大小。

图8描绘了用于如图5的步骤508所述地在应用处处理输入的示例方法。所描述的处理可以在应用层和/或任何其他软件层发生。在一种可能的方法中，当区输入不活动时，应用使用基于世界的坐标来接收用户的移动的输入(步骤800)。基于该输入，在步骤808诸如通过使得其移动跟随用户的移动的化身被显示，或通过提供基于用户的整个身体移动的另一输入，来更新显示画面。区输入可能是不活动的，例如在应用处于未使用区输入的模式的时候，如当用户例如作为守门员正在使用整个身体移动玩游戏的时候。或者，当应用未从用户接收到发起区输入的命令时，区输入可以是不活动的。

在其他时刻，区输入是活动的，例如当应用处于使用区输入的模式的时候，如菜单选择模式；或者，当应用从用户接收到发起区输入的命令时区输入可以是活动的，如用户将手放在区中持续了指定的最小时间量。对区的激活也可取决于诸如用户的姿势或姿态等其他因素。当区输入是活动的时候，在步骤802，应用使用基于用户的坐标来接收输入。该输入可以按照区的坐标来表示例如用户的手在该区中的位置。在笛卡尔坐标系中，位置可由(x，y，z)坐标来标识。

步骤804包括例如使用映射以基于用户的坐标为基础来确定基于显示的坐标。参见例如图13a-13d。步骤806包括任选地识别姿势，如半空中的手姿势。姿势的一个示例是在指定量的时间内手在区中移动了特定距离，例如在挥拳移动中。步骤808包括诸如通过移动光标(参见例如图13a-13d)、选择菜单项(参见例如图14a-14c)、滚动菜单(参见例如图15a-15c)或通过移动化身(参见例如图17a-17j)来更新显示画面。

图9a描绘了如图6a的步骤608所述的具有物理交互区的用户的示例模型。模型900在z方向上面向深度相机，使得所示的截面是x-y平面。注意垂直的是y轴和横向的是x轴。在其他附图中提供了类似的标记法。该模型包括多个参考点，如头902的顶部、头的底部或下巴913、右肩904、右肘906、右腕908、和由例如指尖区域表示的右手910。另一方法是通过手的中心点来表示手位置。该模型还包括左肩914、左肘916、左腕918、以及由例如指尖区域表示的左手920。还描绘了腰部区域922，以及右臀924、右膝926、右脚928、左臀930、左膝932和左脚934。肩线是在肩904和914之间的通常为水平的线。描绘了示例区940。在该示例中，该区是矩形体(包括正方形体)。

用户的大小可以基于参考点来确定。例如，可以在下巴913和腰922之间定义躯干高度L1，并且手臂长度L2可以被定义为左肩914和左肘916之间的距离与左肘916和左手920之间的距离之和。也可使用904和914之间的肩线的长度。

图9b描绘了图9a的物理交互区的细节。该区包括宽度为xw的上表面946、高度为yh的侧表面944和948、以及宽度为xw的下表面942。此外，在一个可能的实现中，该区是相对于原点在z轴方向上与右肩904重合的坐标系来定义的。即，z轴方向上的假象线穿过右肩904和区940的原点。将用户的肩选为区的锚点仅是一个示例。其他可能的选择包括用户躯干的中心、用户的肘、或各种内插的身体点。对锚点的选择独立于对坐标空间中的原点的选择。

在该示例中，区的侧表面944离肩点/原点904的距离为xw1，区的侧表面948离肩点/原点904的距离为xw2，区的上表面946离肩点/原点904的距离为yh1，区的下表面942离肩点/原点904的距离为yh2。区940可以在x方向上关于肩点/原点904对称，在这一情况下，xw1＝xw2；或者可以是非对称的，在这一情况下xw1≠xw2。类似地，区940可以在y方向上关于肩点/原点904对称，在这一情况下，yh1＝yh2；或者可以是非对称的，在这一情况下yh1≠yh2。参考点910所表示的手的位置可以相对于区及其坐标系由坐标(-x，y)来定义。坐标系的原点可以在任何所需位置，不论是在区内或在区外。

图9c描绘了用户的模型和图9a的物理交互区的侧面图。模型960在y-z平面的截面中看到。用户的手在区940中举起。前臂在该区中，上臂的一部分也在该区中。

图9d描绘了如图9c中见到的物理交互区的细节。沿着z轴在左肩904和该区的后表面950之间有距离zd1，沿着z轴在该区的后表面950和该区的前表面954之间有距离zd，且沿着z轴在该区的后表面950和位于垂直平面952中的手910之间有距离zd2。手的位置可由该区的笛卡尔坐标系中的(x，y，z)坐标来表示。

一般而言，物理交互区是被调整来适合个别用户的3-D体空间，从而提供了到单独的用户界面屏幕的空间映射关系。区的大小、形状、位置和组成使得用户能够在其中舒适且有效地执行2-D和3-D姿势，以便在没有物理接触的情况下虚拟地与UI交互。可对不同情形和/或用户使用不同的区大小和形状。区可以使用以下准则来定义。

1.区大小可基于照相机所看见的东西，例如按照用户身体尺寸、姿态/姿势和其他因素来自动确定和调整。

2.区位置可被锚定到用户，如用户的模型上的一个或多个参考点所表示的，其结果是区随着用户移动。此外，当用户在视野中的不同地方和/或在不同位置移动或坐下或站着时，用户的身体可以旋转且不正好与显示器对准。在这一情况下，区可以被自动重新定位来保持在用户和深度相机之间。这适应用户的心智模型，即为了与显示画面上的UI交互，用户需要朝向显示器来做姿势。区可以按照最小区1200、舒适区1202、性能区1204和触及包容线区1206(从最小到最大)来定义。参见例如图12a。舒适区可以从用户身体的中心偏移。

3.舒适区和最小区还可为每一个手单独定义。

4.区可被用作辨别用户何时参与和脱离与应用或运动捕捉系统的交互的机制。

5.根据用户的自然生物力学移动范围，区形状可以是弯曲的。

6.区可以具有不同的区域(子集区)，使得例如基于对一个子集区中用户的手的检测、或对在区之间穿过的用户的手的检测、或进入或离开区来向应用提供不同输入。

7.比用户的触及包容线小的区可具有相机仍能准确地跟踪用户的外部边距，以便支持诸如“姿势猛击”(参见例如图16a-16c)和屏幕外交互等特征。

对区的使用可提供以下好处：

1.向用户提供了直观、准确的定标控制，而不论用户、TV屏幕或其他显示器或照相机的位置和定向。

2.提供了一致的交互模型，而不论屏幕大小、分辨率或宽高比。任何显示，例如不论大小和形状，可被投影到给定区上。从区的一侧到另一侧的手移动可以引起光标、化身或其他对象从显示画面的一侧到另一侧的移动。在区的例如30％上的手移动可导致显示画面上30％的移动，即使相同的30％覆盖不同大小的显示画面上的不同物理距离。在这一情况下，在手移动的距离与显示画面上移动的距离之间存在线性关系或映射。还有可能在手移动的距离与显示画面上移动的距离之间提供非线性的，例如指数关系或映射。不同的子集区也可以与不同的映射相关联或触发显示画面上的不同动作。

3.区可基于用户的身体度量来针对用户定制，而不需要用户进行校准或显式定制。

4.区可针对不同姿势风格来优化(例如，用于定点姿势的准确度和效率、用于化身的全范围移动、或使化身移动)。

5.区的实现可以对用户完全透明。用户不需要显式地理解或不需要使用户知道区或其复杂性。

6.区提供了用户可用于参与和脱离系统、知道他们的动作何时是交互性的且何时不是的、缓解非预期交互的可能性的机制。例如，当用户进入到区中时，用户参与UI，且当用户离开区时，用户脱离UI。例如，当用户将手插入到舒适区中时，用户正在参与UI且能够与UI交互，且当用户将手从同一区中移开时，用户脱离。UI可在用户参与或脱离时提供视觉和/或音频反馈。

对定点和操纵姿势的使用可基于用户的手与屏幕上UI元素之间的关系。该关系可以例如用于参与确认、跟踪和定向以及定标、选择和操纵。该关系出现在用户的身体前面的物理3-D空间中，被称为物理交互区。用户可在一个或多个区内移动他或她的手或双手来与屏幕上UI交互。

找到适当的区大小、形状和位置对于最大化有效性同时确保舒适是有用的。为了有效，区应当足够大以便适应相机的有限空间分辨率并支持UI中的离散对象。相机的分辨率确定运动必须多大来被系统识别。较大的区提供了较高的“分辨率”，从而缓解了相机噪声的影响并允许检测更微妙的手移动。然而，为了舒适，区应当足够小(且适当定位)来避免用户的过度伸展和用力，这会导致疲劳和不准确。一个最优解决方案确定适当的大小、形状和位置，并且确定是否应使用理想地与多个移动或活动相对应的多个区。

如结合图12a所提到的，可定义四个概念区，即最小区1200、舒适区1202、性能区1204和触及包容线区1206。不同区大小可适用于不同情形和用户。此外，系统可基于当前情形和/或用户在不同区大小之间动态地切换。触及包容线区1206是用于需要跟踪用户的整个身体和运动范围的情形的最大区大小，如用于涉及对个人的完整身体的使用的游戏。性能区1204是略微小一点的区，且基于具有可接受性能的用户的最远可及处，如用于执行象征性姿势和屏幕外定标或交互。舒适区1202基于用户的舒适可及处来调整大小，如用于执行定点姿势和操纵屏幕上对象。最小区是最小的区，且基于用户控制应用的理想最小移动，如通过仅提供腕移动。

用户的姿势或姿态可引起区大小的改变。例如，用于站立用户的舒适区大小可略微大于当用户坐着时的同一舒适区的大小。使用骨架跟踪系统获得的用户的身体尺寸可用于调整区的大小并将其适合到每一个别用户。例如，成人的舒适区的大小将大于孩子的舒适区的大小。由此，区大小可对应于用户的大小。参见例如图13b和13c。

任何区的实际大小或尺寸可以是可调整的参数。一般而言，用于站立的成人的舒适区大小可具有大约是手臂长度(L2)的110％的宽度xw，以及大约是从下巴913到腰922的距离L1的高度yh。区大小也可基于用户的高度。参见图9a和9b。

区相对于用户来定位。例如，在关注以手为中心的移动的情况下，区可以关于其中手自然地运动的身体来定位。当作出舒适运动时，手不经常跨过身体的中线。因此，为每一只手提供单独的区可能是适当的。左手区朝向身体的左侧偏移，而右手区朝向右侧偏移。参见图10c。每一区朝向用户的身体的一侧位移，使得用户的肘靠近水平中心：

沿着z轴或深度轴，区可从用户的身体朝外定位，或者在用户的身体和区的后表面之间有一小间隙。再一次，这可以是可调整的参数。区被锚定到用户，并且在用户在相机系统的大视野内到处移动时跟随用户。因此，只要用户在相机的视野内，他/她就可有效地与屏幕上UI元素交互。这允许移动和多用户参与。区可基于肩线和头而非肘来锚定到身体。这样，当一个人不管怎样旋转时，区可维持其位置并保持锚定。如果用户的身体不直接面向显示器的相机，则区本身可围绕用户自动旋转来适当地定位其自身以便保留在用户和相机之间。参见例如图11c-11e。

一般而言，用户将朝向显示器且不一定朝向相机做姿势，因为显示器包含了用户与其交互并控制的元素。然而，相机和显示器将通常是位于一处的。通过在用户旋转他或她的身体时将区保持在用户和相机之间，用户的手在区中的移动可继续被检测到，并且维持了区内的手移动与任何屏幕上光标或定标系统之间的直观关联。在用户正在与其交互的显示器偏离到用户的侧面的同时，并不迫使用户笨拙地将用户的手的移动直接保持在用户身体的前方。

图10a描绘了图9a的模型的示例，其中用户手的位置改变，如参考点910所表示的。在该模型的描绘1000中，参考点910的位置可由该区的笛卡尔坐标系中的对应的一组(x，y，z)坐标来标识。

图10b描绘了如图6a的步骤608所述的用户的示例模型1000，其具有包含用户的双手的预期移动范围的物理交互区。在模型的这一描绘1020中，定义了单个区1022。用户可使用双手来控制显示画面。例如，一个手可选择显示画面上的菜单项，使得附加菜单项弹出，而另一个手从该附加菜单项中进行选择。或者，双手可用于在虚拟3-D空间中抓取并移动对象。参见例如图17a-17j。

图10c描绘了如图6a的步骤608所述的用户的示例模型，其具有两个物理交互区，每一个物理交互区包含相应的手的预期移动范围。在该模型的描绘1024中，使用先前讨论的区940来定义用户的右手的位置(在图的左侧)，并且使用另一个区1112来定义用户的左手的位置(在图的右侧)。

图11a描绘了如图6a的步骤608所述的用户的示例模型，其具有如侧面图中看见的带有两个子集区的弯曲物理交互区，其中用户的手在后面的子集区1104中。在该模型的描绘1100中，区1102包括在边界线1102和1105之间的、较靠近用户的第一、后面的子集区1104，以及在边界线1105和1107之间的、离用户更远的第二、前面的子集区1106。关于曲率，在一种方法中，曲率半径对于不同的子集区域或相对于后部对于区的前部可以不同。此处，线1103的曲率半径大于线1105的曲率半径，而线1105的曲率半径又大于线1107的曲率半径。在另一可能的方法中，曲率半径对于线1103、1105和1107是相同的。

尽管描绘了y-z平面中的区1102的截面，但该截面在x方向上可以是均匀的或变化的。在一种可能的方法中，线1103、1105和1105各自是球面的相应部分的一部分，其中线1103是比线1105大的球面的一部分，线1105是比线1107大的球面的一部分。其他区形状也是可能的。区形状可以符合手和手臂的自然生物力学移动。

一般而言，区的形状可被设为以下两个竞争元素的折衷：(1)用户将手移动保持在平面上以便匹配平面显示屏幕的意图，以及(2)自然地引入弯曲移动的一般的身体力学和疲劳。为此，某些区边界可以弯曲，且曲率量是可调整的参数。例如，区内的水平平面可以是弯曲的，其中离身体越远曲率增加。曲率还有可能是对称的或变化的，使得向左的曲率将不匹配向右的曲率(例如，对于惯用右手的区)。

类似地，区内的垂直平面可以是弯曲的，其中离身体越远曲率增加。曲率可以是对称的或变化的，使得向上的曲率不同于向着区的底部的曲率。

图11b描绘了如图11b中所见的用户的示例模型，其中用户的手在前面的子集区1106中。该模型的描绘1120可以表示由用户从图11a的位置开始执行的推动姿势。

图11c描绘了如图6a的步骤608所述的用户的示例模型，其具有如俯视图中看见的带有两个子集区的弯曲物理交互区，其中用户的肩线与深度相机轴成90度。在该模型的描绘1140中，示出了先前提到的左侧肩904、右侧肩913、肩线912、右侧肘906、右侧腕908和右侧手910。描绘了具有在边界线1143和1145之间的第一子集区1142和在边界线1145和1147之间的第二子集区1144的弯曲区1141。点1146是与区1141相关联的示例参考点，且在边界线1143上。点1146沿着z轴离右肩1146的距离为z1。点1146可以是用于定义区1141和该区中的用户移动的坐标系的原点。

一般而言，可使用任何类型的坐标系来描述区和该区内的用户移动。示例包括笛卡尔坐标系、曲线坐标系以及极坐标系，包括圆、圆柱和球坐标系。此外，可执行坐标变换来按已知方式从一个坐标系转换或映射到另一坐标系。

图11d描绘了如图6a的步骤608所述的用户的示例模型，其具有如俯视图中看见的带有两个子集区的弯曲物理交互区，其中用户的肩线与深度相机轴成45度。在该模型的描绘1150中，用户的左肩914比右肩904更靠近相机(相机在图的右边，在z方向上朝向左边)。左肩914因此可被选为定位区1141的参考点，例如使得区的参考点1146在-z方向上与参考点1146的距离为zd。这是当如肩线912所例示的用户身体在视野中旋转时区被保持在用户和相机之间的一个示例。通过适应这一旋转，不迫使用户采用面向正前方的姿势来向应用提供输入。

图11e描绘了如图6a的步骤608所述的用户的示例模型，其具有如俯视图中看见的带有两个子集区的弯曲物理交互区，其中用户的肩线与深度相机轴平行。在该模型的描绘1152中，用户在-z方向上斜着看向相机。再一次，左肩914可被选为定位区1141的参考点，例如使得区的参考点1146在-z方向上与参考点1146的距离为zd。这是当如肩线912所例示的用户身体在视野中旋转时区被保持在用户和相机之间的另一个示例。

图11f描绘了如图6a的步骤608所述的用户的示例模型，其具有如轮廓视图中看见的带有两个子集区的弯曲物理交互区，其中用户的肩线与深度相机轴平行。该模型的描绘1160相对于与图11a和11b中的相同的区1102示出。在这一情况下，用户做姿势并看向相机。

图11g描绘了如图6a的步骤608所述的用户的示例模型，其具有如俯视图中所见的带有若干子集区的弯曲物理交互区。重复图11c中所使用的模型的描绘1140，其中用户在-z方向上直接面向相机。然而，提供了包括在用户前方在z方向以及横向地在x方向上的多个子区的区1170。子区是区的一部分。例如，子区1176、1178、1180和1182被称为深度子区，因为它们处于相对于相机的不同深度处，它们可在-z方向上一个接着一个地排列。横向子区1172在用户的左侧，而横向子区1174在用户的右侧。当在特定子区中、在特定子区之间转换等中检测到用户的手时，可在应用中触发不同动作。

一般而言，区的内部空间可以是一个大的无差别的空间，或被划分成深度子区和/或横向子区。子区的数量、大小、形状和位置是可调整的参数。子区向系统提供了又一层信息，以便基于用户的手在哪一子区中来提供不同行为或特征(例如，改变模式、UI反馈等等)。

对于深度子区，横向子区可被认为是环绕深度子区或其他中央子区或区的(整个区1170的)的边距。这一边距可以提供附加能力和好处。例如，用户可以执行“姿势猛击”(参见例如图15a-15c)来通过最小化移动到边缘所需的精度来更容易地对位于显示画面的边缘或周界处的UI对象进行定标。用户只需粗略并快速地将手手移到子区的边缘(例如，从子区1178、1180或1182到子区1172或1174)，从而越过深度区边界并进入横向区，或甚至横向地行进得更远越过横向区。UI跟踪反馈停留在显示画面的边缘处，从而使得用户然后能够以精细移动将手向上或向下移动来定标并选择所需项目。猛击移动可在例如手在最小时间段内在区中移动最小距离时被检测到。

另一示例好处或使用涉及即使在用户的手伸到子区边缘外时也继续的交互。例如，想象横跨显示画面的整个宽度的水平菜单项列表(参见例如图15a-15c)。用户可将手移到子区1178、1180或1182的任一端来滚动该列表。将手横向地移得更远一直到横向子区1172或1174或甚至超过显示画面/区边缘可增加滚动速度。越远，则滚动速度越快。

对子区的使用的另一示例涉及当用户将手在z方向中伸出恰好超过中央子区时不使用户脱离。可以提供允许用户脱离系统使得他们停止影响UI和与UI交互的技术。用户脱离的一种方式是将手从区中移开。在这一情况下，子区深度边距(例如，子区1176)可提供缓冲，使得当手偶然穿过区边界一点点时不以脱离来惩罚用户。一旦处于边距中，可经由显示器和/或音频输出来向用户提供反馈，指示它们接近被脱离。然而，用户可保持参与UI直到手掉到区的底部之外，或直到例如定时器超时而手未进入中央子区1178、1180和1182之一。

在另一示例中，不同的深度子区1178、1180和1182提供不同的滚动速度或其他UI响应速度，从而用户在-z方向上将手推离身体越远，响应越快。或者，子区1178和1180可提供常见的UI响应速度，而子区1182提供较高的速度。许多变型是可能的。

图11h描绘了如图6a的步骤608所述的用户的示例模型，其具有如俯视图中所见的带有三个子集区的弯曲物理交互区。在该模型的描绘1199中，右臂在第一位置和第二位置中示出，其中第一位置具有对应于肘906、腕908和手910的参考点，而第二位置具有对应于肘906’、腕908’和手910’的参考点。区1190具有与图11g的区1170相似的总大小，但提供了三个子区。提供了中央子区1196连同左侧横向子区1192和右侧横向子区1194。以上讨论的姿势猛击的示例可通过手从参考点910到参考点910’的移动来表示。还可应用条件，即，姿势猛击要求手在指定时间内移动指定距离。注意，指定距离可以随着用户大小和区大小而变化，使得当区较小时该距离较小。可应用另一条件，即姿势猛击要求手从子区1196移到或移过横向子区1192或1194之一。

图12a描绘了如结合图6b讨论的不同大小的区。如所提到的，区可包括最小区1200、舒适区1202、性能区1204和触及包容线区1206。尽管示出了圆圈来图示不同区大小的概念，但实际区形状可以变化。通常，区至少部分地重叠。此外，可能使用多于一个区大小和/或形状，并且在指定情形中在对不同的区大小/形状的使用之间转换。

图12b描绘了如图6a的步骤608所述的具有较大和较小大小的弯曲物理交互区的用户的示例模型。在用户的该模型的描绘1210中，左臂向下在用户的侧面，且因此对于该手臂没有区是活动的。然而，右臂向上且用户正在移动右手。最初，可使用大区1225。在用户的移动已经被观察达一段时间之后，可以得出该移动实质上限制于较小的区域，使得系统可切换到改为使用区1220。在另一可能的选项中，系统获知特定用户倾向于作出限制于较小区域的手运动，使得在最初标识用户时可使用较小的区1220。如先前所讨论的，这一在特定体内作出手运动的趋势可作为数据与用户简档记录在一起。

图12c描绘了图12b的模型的示例，其中用户手的位置改变，但被包含在较小的区中。该模型的描绘1230示出用户将手移动相对较小的量，以腕为支点旋转，而不显著改变手臂位置。再一次，手的移动可基于示例参考点910的移动来跟踪。

图13a描绘了其中光标基于用户手的移动在两个位置之间移动的示例显示，作为如图5的步骤508所述的在应用处处理输入的一个示例。图13b描绘了对于相对较大的用户，引起图13a的光标移动的用户手的移动。图13c描绘了对于相对较小的用户，引起图13a的光标移动的用户手的移动。

如所提到的，即使区是弯曲的而显示画面是矩形的，用户的移动也可以从区的坐标系映射到显示画面1300的坐标系。例如，区可具有如所示出的具有x和y轴的笛卡尔坐标系，其中该坐标系的原点在区的左下角。z轴可以延伸到页面之外。注意，可在2-D或3-D中跟踪移动。此外，由于区被缩放到用户的大小，因此较小的用户能够就如较大的用户所能够的那样舒适地访问显示器的所有部分。

例如，在图13b中，对较大的用户1322提供了较大的区1320。当由模型1326描绘且由参考点1324表示的手在区坐标(x2，y2)处的第一位置时，显示器中的光标可被移动到显示器坐标(xd2，yd2)处的对应的第一位置1304。当由模型1328描绘且由参考点1330表示的手在区坐标(x1，y1)处的第二位置时，显示器中的光标可被移动到显示器坐标(xd1，yd1)处的对应的第二位置1302。当手从区中的第一位置移到第二位置时，光标可移动到显示器上位置1304和1302之间的不同位置。

类似地，在图13c中，为较小的用户1342提供了较小的区1340。当由模型1346描绘且由参考点1344表示的手在区坐标(x2，y2)处的第一位置时，显示器中的光标可被移动到显示器坐标(xd2，yd2)处的对应的第一位置1304。当由模型1348描绘且由参考点1350表示的手在区坐标(x1，y1)处的第二位置时，显示器中的光标可被移动到显示器坐标(xd1，yd1)处的对应的第二位置1302。如前一样，当手从区中的第一位置移到第二位置时，光标可移动到位置1304和1302之间的不同位置。

图13d描绘了如引起图13a的光标移动的、区中的点和显示画面中的对应点之间的映射。如所提到的，区中的每一点可使用任何映射技术来映射到显示画面上的相应点。此处，重复图13d的区1320以及显示器1300。如箭头所表示的，区的左上点1370被映射到显示器的左上点1371，区的中上点1372被映射到显示器的中上点1373，且区的右上点1374被映射到显示器的右上点1375。类似地，区的左下点1376被映射到显示器的左下点1377，且区的右下点1378被映射到显示器的右下点1379。同样，区中的弯曲中线1380被映射到显示器中的水平线1381。区中在所提到的点中间的其他点可相应地被映射到显示器中的中间点。

如所提到的，在线性映射中，例如在区的30％上的手移动可导致显示器上30％的移动，即使相同的30％覆盖不同大小的显示画面上的不同物理距离。或者，可使用非线性映射，例如其中在例如区的30％上的手移动导致显示画面上的50％移动。此外，将手定位在区的左边缘使得光标移到显示画面的左边缘。同一个区可被映射到任何电视机、监视器或其他显示器，而不论显示器的大小、宽高比或分辨率。此外，区和显示器可具有任何形状。通常，显示器将是矩形的，但这不是必需的。例如，投影显示器可采用各种形状。

图14a描绘了包括供用户选择的菜单项的示例显示，作为如图5的步骤508所述的在应用处处理输入的示例。显示画面1400包括菜单项A 1402、菜单项B 1404和菜单项C 1406。菜单项可用于任何类型的界面，如用于在线购物或浏览、观看电视时间表并选择要观看或记录的节目、选择要玩的游戏、选择诸如要与其通信的朋友等通信选项、配置系统设置等等。这是2-D显示的一个示例。当区活动时，光标可出现在初始位置1401。用户然后可作出手移动，以便例如移动光标来查看并选择菜单项。作为一个示例，用户可在区中保持手臂向上同时手掌朝前，如图9c所示。为了将光标移动到显示器中更高的地方，用户可将手移动到区中更高的地方。

图14b描绘了在用户使得光标到菜单项之一上从而导致附加菜单选项出现之后图14a的示例显示。在该显示的描绘1420中，用户将光标移至菜单项B1404从而选择该项，并且使得附加的相关菜单选项弹出，即菜单项B1 1408和菜单项B2 1410。在一种方法中，当光标移到菜单选项上持续了某一时间量，例如0.5-1秒时，在没有用户的进一步移动的情况下，该菜单项被认为是被选中。菜单项B 1404周围的较粗的边框可指示该项已被选中。也可使用其他视觉和/或音频反馈技术来标识选中的项。在另一种方法中，用户作出确定性的动作来选择菜单项，如将手向前移动，如同在该菜单项上推一样。可以例如基于检测到例如在指定时间内手沿着-z轴在区中移动指定距离来触发推。同样，该距离可被调整以使用户舒适，使得当用户较大时该距离较大。

图14c描绘了在用户使得光标移到附加菜单选项之一上之后图14b的示例显示。在该显示的描绘1440中，例如，用户可将手移动到区中较低的地方来使得光标移动到菜单项B1 1408上从而选择该项，并使得应用采取相应的动作。在某些情况下，随后可出现附加菜单项，从中用户可作出附加选择。

图15a描绘了包括供用户选择的菜单项的示例显示，作为如图5的步骤508所述的在应用处处理输入的示例。描绘了滚动列表或菜单的示例。在这一情况下，一次显示固定数量的菜单项，例如3个，并且附加的菜单项可通过将它们旋转到显示画面中的位置而将其他项旋转到显示画面外面来查看。滚动可以如本示例中那样是水平的，或者可以是垂直的。最初，显示画面1500包括菜单项A 1502、菜单项B 1504、菜单项C 1506和菜单项D 1580的一部分。光标1501也在初始位置。为滚动菜单，用户可执行姿势，如在区中将手从右移动到左。滚动姿势可通过在区中在指定时间内指定距离的移动来检测，例如在猛击运动中。当检测到滚动姿势时，菜单从右滚动到左。在一种可能的方法中，菜单滚动一个项，从而获得图15b的显示。

图15b描绘了在用户使得菜单项从右到左滚动从而导致附加菜单选项出现之后图15a的示例显示。该显示的描绘1520包括菜单项A 1502的一部分、完整的菜单项B 1504、完整的菜单项C 1506以及完整的菜单项D 1508。还出现了附加菜单项1510的一部分。在另一种可能的方法中，菜单滚动多于一个项。菜单滚动的项数可以是手运动的距离和/或速度的函数。用户可以在同一方向上(从右到左)执行另一滚动姿势来将菜单进一步向左滚动。或者，用户可以在相反的方向上(从左到右)执行滚动姿势来将菜单向右回滚。假定用户不需要进一步的滚动，则获得图15c的显示。

图15c描绘了在用户使得光标移到附加菜单项上之后图15b的示例显示。在该显示的描绘1540中，用户在区中执行了移动，这使得光标1501移动到菜单项D 1508，从而选择该项，如加粗的边框所指示的。

图16a描绘了包括供用户选择的菜单项的示例显示，作为如图5的步骤508所述的在应用处处理输入的示例。提供了先前讨论的姿势猛击的一个示例。显示的描绘1600包括菜单项A 1602、菜单项B 1604、菜单项C 1606和菜单项C 1608的弹出框。该显示还包括在显示的左上部分的设置项1610、以及在显示的左下部分的帮助项1612。光标1601当前在非边缘位置的菜单项C 1606上。假定用户例如希望选择设置项1610。在一种可能的方法中，用户在区中将手移动受控距离，该距离对应于显示器画面在菜单项C 1606和设置项1610之间的距离。

然而，一种简化的方法允许用户作出在指定时间内从右到左在区中将手移动指定距离的粗略姿势，使得光标移到显示画面的左边缘并保持在那里，如图16b中所描绘的。图16b提供了在用户用粗略的手移动使得光标移至显示画面的边缘区域之后图16a的示例显示的描绘1620。本质上，允许用户超过所需光标位置。用户然后可做出向上的更受控或精细移动，以将光标移到预期的设置项1610上来选择该项，如图16c中的描绘1640所指示的。图16c描绘了在用户用精细的手移动使得光标移到所需菜单项上之后图16b的示例显示。

图17a描绘了包括可由用户处理的对象的3-d虚拟世界的示例显示，作为如图5的步骤508所述的在应用处处理输入的示例。显示1700包括虚拟世界中的架子1703，该架子由(xd，yd，zd)坐标系来描述。三个物体被放置在架子上，即物体A 1702、物体B 1704和物体C 1706。例如，该显示可用于允许用户虚拟地购买游戏，其中每一个物体表示包含该游戏的盒子，且每一个盒子包括具有描述该游戏的文字或图像的侧面或面。例如，物体B 1704包括正面和顶面。物体也可以是其他大小和形状。最初，区还不是活动的，例如由于用户尚未将他的手放在区中。图17b描绘了对应于图17a的显示的、空的示例物理交互区1710。该区由(x，y，z)坐标系来描述。

图17c描绘了在远位置中显示化身的手来伸进虚拟世界以抓取物体之后图17a的显示。在该显示的描绘1718中，用户看见显示中的物体，并且向物体B 1704伸手来例如进一步检查该物体。为此，用户将他或她的手1730和1750伸到区1710中，如图17d所描绘的。图17d描绘了图17b的示例物理交互区中的用户的手，其引起图17a的显示。左手1730在区中由参考点1732定义的位置，该位置由坐标(x1，y1，z1)来描述。右手1750在区中由参考点1752定义的位置，该位置由坐标(x2，y1，z1)来描述。左手1730被映射到显示器中在3-D虚拟世界的对应位置处的化身的左手1720，而右手1750被映射到显示器中在3-D虚拟世界中的对应位置处的化身的右手1740。此处，用户正将手伸向物体A 1704，从而手相对远离区1710中的用户，如由z1深度坐标所指示的。这是自然移动，用户可在真实世界中作出该自然移动来向前伸并抓取物体。

当化身的手靠近物体B 1704时，应用可例如通过略微移动对象或将对象举到架子上方来提供对象已被抓住的视觉反馈，或提供声音。

图17e描绘了在近位置显示化身的手来靠近检查物体之后图17c的显示。在该显示的描绘1738中，用户已经抓住了物体B 1704并且将其移得更近来检查它。化身的手1722和1742以及物体B 1704的描绘指示它们比图17c中的更接近用户。

图17f描绘了图17b的示例物理交互区中的用户的手，其引起图17e的显示。作为一个示例，双手1730和1750被移得更接近用户，如由z坐标z2＞z1所指示的。为了简单起见，假定手在区中相同的x和y位置，如图17d中那样。左手1730在(x1，y1，z2)处，而右手1750在(x2，y1，z2)处。

图17g描绘了在向上移动化身的手来检查物体的顶侧之后图17e的显示。在该显示的描绘1758中，用户已经抓住了物体B 1704并且正在旋转它来使得顶侧面向前。。化身的手1724和1744的描绘指示相比于图17e的向上旋转。

图17h描绘了图17b的示例物理交互区中的用户的手，其引起图17g的显示。作为一个示例，双手1730和1750向上移动并旋转，如由y坐标y2＞y1所指示的。手1730和1750也可被移动得更接近用户，如由z坐标z3＞z2所指示的。为了简单起见，假定手在区中相同的x位置，如图17f中那样。左手1730在(x1，y2，z3)处，而右手1750在(x2，y2，z3)处。

图17i描绘了在以扭转或旋转运动向后移动化身的左手并向前移动化身的右手来检查物体的左侧表面之后图17e的显示。在该显示的描绘1778中，用户已经抓住了物体B 1704并且正在旋转它来使得左侧面向前。化身的手1726和1746的描绘指示相比于图17e的向右旋转。

图17j描绘了图17b的示例物理交互区中的用户的手，其引起图17i的显示。作为一个示例，左手1730在区中向后移动(从z2到z4)，且右手1750向前移动(从z2到z0)。为了简单起见，假定手在区中相同的x和y位置，如图17f中那样。左手1730在(x1，y1，z4)处，而右手1750在(x2，y1，z0)处。

在此所述技术的上述详细描述是为了说明和描述而提供的。并非旨在穷举本技术或将其限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。选择上述实施例来最好地解释本技术的原理及其实践应用，从而使本领域其他人能够在各种实施例中并用各种适于所构想的特定用途的修改一起最好地利用本技术。本技术的范围旨在由所附权利要求书来定义。

Claims (15)

1.一种用于在运动捕捉系统中跟踪用户移动的处理器实现的方法，包括以下处理器实现的步骤：

在所述运动捕捉系统(10)的视野(6)中跟踪身体(8)，包括确定所述身体的模型(900)；

确定所述模型的参考点(902-934)；

基于所述参考点来确定区(940)的大小和位置，所述区是所述视野中的3-D体，并且具有相对于所述参考点的至少一个来定义的坐标系；

相对于所述区的坐标系来跟踪所述区中所述身体的手(1326、1328、1346、1348)的移动；以及

基于所述跟踪，将所述区中所述手的移动转换成显示器上的对应动作(196、1300)。

2.如权利要求1所述的处理器实现的方法，其特征在于：

所述区偏离所述身体的中心，且根据所述身体的自然生物力学移动范围来弯曲。

3.如权利要求1或2所述的处理器实现的方法，其特征在于，跟踪所述手的移动包括确定所述手已进入所述区，所述方法还包括：

响应于确定所述手已进入所述区，在所述显示器上启动用户界面。

4.如权利要求1至3中的任一项所述的处理器实现的方法，其特征在于：

基于所述参考点来确定另一区的大小和位置，所述另一区是所述视野中的3-D体，并且具有相对于所述参考点的至少一个来定义的坐标系；

相对于所述另一区的坐标系来跟踪所述另一区中所述身体的另一个手的移动；以及

基于跟踪所述另一个手的移动，将所述另一区中所述另一个手的移动转换成所述显示器上的对应动作。

5.如权利要求1至4中的任一项所述的处理器实现的方法，其特征在于：

所述显示器上的对应动作是光标的移动；以及

跟踪所述手的移动包括确定所述手在指定时间段内从第一位置移到第二位置，响应于此，所述光标从所述显示器上的非边缘位置移到所述显示器上的边缘位置，其中所述第二位置在所述区的边距处。

6.如权利要求1至5中的任一项所述的处理器实现的方法，其特征在于，还包括：

基于所述参考点来确定所述身体的大小，其中所述区的大小基于所述身体的大小。

7.如权利要求1至6的任一项所述的处理器实现的方法，其特征在于，所述区包括至少第一和第二子集，且所述方法还包括：

检测所述手在所述第一或第二子集中，其中所述显示器上的对应动作响应于检测所述手在所述第一或第二子集中。

8.如权利要求1至7中的任一项所述的处理器实现的方法，其特征在于：

当所述身体在所述视野中走动时所述区被锚定到所述身体。

9.如权利要求1至8中的任一项所述的处理器实现的方法，其特征在于：

所述参考点标识所述身体的肩，且所述区的位置相对于哪一个肩最接近所述运动捕捉系统的深度相机来定义，使得所述区保持在所述身体和所述深度相机之间。

10.如权利要求1至9中的任一项所述的处理器实现的方法，其特征在于：

所述显示器上的对应动作是菜单的滚动。

11.如权利要求1至10中的任一项所述的处理器实现的方法，其特征在于：

所述显示器上的对应动作是化身的3-D移动。

12.如权利要求1至11中的任一项所述的处理器实现的方法，其特征在于，还包括：

基于所述区的大小将数据存储到所述身体的简档。

13.一种运动捕捉系统，包括：

具有视野(6)的深度相机系统(20)；

显示器(196、1300)；以及

与所述深度相机系统和所述显示器通信的一个或多个处理器(32、192)，所述处理器执行指令来跟踪用户移动并向所述显示器提供信号来显示图像；

其中所述深度相机系统和所述一个或多个处理器：

为跟踪所述视野中的身体(8)，确定所述身体的模型(900)；

确定所述模型的参考点(902-934)；

基于所述参考点来确定区(940)的大小和位置，所述区是所述视野中的3-D体，并且具有相对于所述参考点的至少一个来定义的坐标系，且被锚定到所述身体的模型；

相对于所述区的坐标系来跟踪所述区中所述身体的手(1326、1328、1346、1348)的移动；

将所述区中所述手的移动从所述区的坐标系转换到所述显示器的坐标系；以及

基于所述手的所转换的移动来更新所述显示器。

14.如权利要求13所述的运动捕捉系统，其特征在于：

所述参考点标识所述身体的手的一部分；以及

所述身体的手的移动基于所述手的所述部分的移动被转换成所述显示器上的对应动作。

15.如权利要求13或14所述的运动捕捉系统，其特征在于：

所述显示器是矩形的；

所述区根据所述身体的自然生物力学移动范围而弯曲；以及

所述显示器基于所述显示器中的点与所述区中的对应点之间的映射被更新。

Images