CN102770828B - 用于人机界面的控制柄交互 - Google Patents

用于人机界面的控制柄交互 Download PDF

Info

Publication number
CN102770828B
CN102770828B CN201180008874.6A CN201180008874A CN102770828B CN 102770828 B CN102770828 B CN 102770828B CN 201180008874 A CN201180008874 A CN 201180008874A CN 102770828 B CN102770828 B CN 102770828B
Authority
CN
China
Prior art keywords
control handle
user
man
operating space
machine interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180008874.6A
Other languages
English (en)
Other versions
CN102770828A (zh
Inventor
A·马汀格利
J·希尔
A·达亚尔
B·克兰普
A·瓦赛尔
C·克莱因
A·普洛斯
A·基普曼
J·马戈利斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN102770828A publication Critical patent/CN102770828A/zh
Application granted granted Critical
Publication of CN102770828B publication Critical patent/CN102770828B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

公开了一种用于提供屏上图形控制柄以控制用户与屏上对象之间的交互的系统。控制柄定义用户可对对象执行什么动作，如滚动文本或图形导航菜单。提供启示来引导用户通过与控制柄进行交互的过程。

Description

用于人机界面的控制柄交互
背景
在过去，诸如计算机游戏和多媒体应用之类的计算应用使用控制器、遥控器、键盘、鼠标等来允许用户操纵应用的游戏角色或其他方面。近来，计算机游戏和多媒体应用已开始使用相机和软件姿势识别引擎来提供人机界面（“HCI”）。使用HCI，检测、解释用户姿势并将其用于控制应用的游戏角色或其他方面。
在HCI系统中，手的姿势通常被用来控制与游戏或其他应用的交互。现有姿势识别系统通常集中于基于位置的指向姿势或基于运动的象征姿势。对于指向姿势，用户指挥屏幕上的追随该用户的手的光标。这样的姿势识别系统具有各种缺陷，包括抖动和手移动与光标位置之间的等待时间（例如，延迟时间）以及有限的用户界面（UI）密度。对于基于运动的象征姿势，解释用户的移动，并且如果匹配预定义的姿势，则采取某相关联的动作。基于运动的系统具有若干缺陷，包括虚假肯定、姿势冲突、以及不能提供立即启示和反馈（必须首先识别一特定姿势）。
发明内容
本发明技术一般涉及一种使用屏上图形控制柄来控制用户与屏上对象之间的交互的系统。在各实施例中，控制柄是与给定对象相关联地显示在显示画面上的UI对象。控制柄定义用户可对对象执行什么动作，如滚动遍历文本或图形导航菜单。用户占用控制柄并执行姿势来操纵该控制柄，如在显示屏上向上、下、左、右来移动该控制柄。这一操纵造成在对象上执行相关联的动作。提供启示（affordance）来引导用户通过与控制柄进行交互的过程。
在一实施例中，本发明技术涉及耦合到用于捕捉用户位置并提供人机界面的捕捉设备的计算环境。这一系统执行一种便于用户与用于人机界面的显示画面的区域进行交互的方法，包括以下步骤：(a)生成与用户界面的该区域相关联的控制柄；(b)检测用户占用了在所述步骤(a)生成的控制柄；(c)接收用户的姿势的指示；以及(d)响应于所述步骤(c)对用户界面的所述区域执行动作。
又一实施例涉及耦合到用于捕捉用户位置并提供人机界面的捕捉设备的计算环境的处理器可读存储介质，该处理器可读存储介质将处理器编程成执行一种便于用户与人机界面的显示画面的动作区域进行交互的方法。这一实施例包括：(a)在显示画面上显示与用户界面的该区域相关联的图形控制柄，该图形控制柄提供用于占用该动作区域的显式占用点并且该图形控制柄定义在接收到用户的预定义的姿势之后用户可如何与该动作区域进行交互；(b)作为检测到用户位置的结果，接收用户正追踪控制柄的指示；(c)在用户追踪到控制柄时，建立对该控制柄的占用；(d)接收用户的姿势的指示；以及(e)当在所述步骤(d)接收到的姿势指示与所述步骤(a)的预定义姿势相匹配时，对显示画面的动作区域执行由该图形控制柄所定义的动作。
又一实施例涉及一种人机界面，包括：显示画面上的动作区域，所述动作区域能够进行以下操作中的至少一个：执行动作和使得对它执行动作；显示在显示画面上并与该动作区域相关联的控制柄，该控制柄提供对动作区域的显式占用点并定义用户可如何与该动作区域进行交互；以及显示在显示画面上的、与该控制柄相关联的、用于定义用户可如何操纵该控制柄的导轨（rail）。
附图简述
图1示出了目标识别、分析和跟踪系统的示例实施例，其中用户正在与该系统进行交互。
图2示出包括根据本发明技术的一实施例的控制柄的示例屏幕显示。
图3示出了可在目标识别、分析和跟踪系统中使用的捕捉设备的一个示例实施例。
图4A示出了可用于本发明技术的目标识别、分析和跟踪系统中的计算环境的示例实施例。
图4B示出了可用于本发明技术的目标识别、分析和跟踪系统中的计算环境的另一示例实施例。
图5是本发明技术的一实施例的操作流程图。
图6是控制柄吸引光标的操作流程图。
图7是本发明系统识别一姿势的操作流程图。
图8示出包括根据本发明技术的一实施例的控制柄和导轨的示例屏幕显示。
图9示出包括根据本发明技术的又一实施例的控制柄和导轨的示例屏幕显示。
详细描述
现在将参考图1-9来描述本发明技术的各实施例，其一般涉及使用屏上控制柄来控制用户与屏上对象之间的交互的姿势识别和交互系统。在各实施例中，控制柄是用于与人机界面交互、关于人机界面进行导航以及控制人机界面的UI对象。在各实施例中，控制柄提供与诸如UI上的对象之类的动作区域的显式占用点，并提供关于用户可如何与该对象交互的启示。一旦用户占用（engage）了控制柄，用户可例如通过移动该控制柄或执行与该控制柄相关联的一个或多个姿势来操纵该控制柄。
最初参考图1-3，用于实现本发明技术的硬件包括目标识别、分析和跟踪系统10，该系统可用于识别、分析和/或跟踪诸如用户18等人类目标。目标识别、分析和跟踪系统10的各实施例包括用于执行游戏或其他应用的计算环境12，以及用于提供来自游戏或其他应用的音频和视觉表示的视听设备16。系统10还包括用于捕捉用户18的位置和所执行的移动的捕捉设备20，计算环境12接收、解释并使用这些位置和移动来控制游戏或其他应用。下面将更详细地解释这些组件中的每一个。
如图1所示，在一示例实施例中，在计算环境12上执行的应用可向用户18呈现UI19。该UI可以是游戏应用或平台的一部分，且在各实施例中可以是用于访问游戏应用或平台的所选区域的导航菜单。计算环境12在UI19上生成一个或多个控制柄21，每个控制柄绑定到或以其他方式关联到UI19上的动作区域23。每个控制柄通常是显示在屏幕上的用于控制相对于其相关联的动作区域的操作的图形对象，如下文中更为详细地解释的。
在各实施例中，控制柄21可在显示画面上成形为圆形或三维球体，但是本领域的技术人员将理解在另选的实施例中控制柄可以是各种其他形状中的任何一种。如下文解释的那样，控制柄21的存在和外观可改变，这取决于用户是否存在以及取决于用户是否正占用控制柄。在各实施例中，控制柄的形状在所有动作区域23中可以是相同的，但是在其他实施例中，构想了不同动作区域具有不同形状的控制柄。尽管图1示出了单个控制柄21，但是UI19可包括多个控制柄21，每个控制柄与不同的动作区域23相关联，如下文所解释的。
如此处使用的，“动作区域”是UI19上的任何区域，它可具有与之相关联的控制柄，且能够在其控制柄被操纵时执行动作，或能够在其控制柄被操纵时使动作在其上执行。在各实施例中，动作区域23可以是被显示为导航菜单的一部分的文本或图形对象。然而，在各实施例中，动作区域23无需是导航菜单的一部分，且无需是特定的所显示的图形对象。动作区域23可另选地是UI的某一区域，当通过其控制柄被访问时，该区域使得某一动作在该区域处或者是总体上在UI上被执行。
在动作区域是显示画面上的特定图形对象时，与该图形对象相关联的控制柄21可被显示在该图形对象上或显示在该图形对象附近（在围绕该图形对象外围的任何位置处）。在又一实施例中，控制柄21可不被映射到特定对象。在该实施例中，动作区域23可以是UI19上的包括多个图形对象的区域。当与该动作区域相关联的控制柄21被操纵时，可对该动作区域23中的所有对象执行动作。在又一实施例中，控制柄21可被集成到图形对象中。在这一实施例中，没有与对象分开的控制柄21的视觉显示。相反，当对象被抓住或以其他方式被选择时，对象充当控制柄21，且执行与控制柄相关联的动作。这些动作将在以下更详细地描述。
界面19还可包括经由用户移动来控制的光标25。具体来说，捕捉设备20捕捉用户指向的位置，如下所解释的，且计算环境解释该图像数据以在视听设备16上的所确定的点处显示光标25。光标可向用户提供关于该用户正明确地指向视听设备上的何处的闭环反馈。这方便了对视听设备16上的控制柄的选择，如下文所解释的。类似地，每个控制柄可具有类似于磁场的引力，用于在光标足够接近控制柄时将光标拉到控制柄。该特征也在下文中更详细地解释。光标25可总是可见的，仅在用户存在于视野中时可见，或仅在用户正在跟踪显示画面上的具体对象时可见。
控制柄21的一个目的是提供显式占用点，从该点用户能够与动作区域23交互。在操作中，用户会将光标25引导到控制柄21上，并执行姿势以附连到该控制柄。用户在其中移动的三维真实空间可被定义为参照系，其中z轴是从捕捉设备20笔直水平延伸出的轴，x轴是垂直于z轴的水平轴，y轴是垂直于z轴的垂直轴。给定该参照系，用户可通过在x-y平面中移动他或她的手以将光标定位在控制柄上，然后沿z轴向捕捉设备移动手，来附连到控制柄。在光标被定位在控制柄上的情况下，计算环境12将用户的手的向内（inward）移动（即沿z轴，渐渐靠近屏幕上控制柄21）解释为用户试图附连到控制柄，且计算环境执行该动作。在各实施例中，屏幕上x-y移动是在弯曲的坐标空间中完成的。也就是说，用户的移动仍旧主要在x方向和y方向上，但考虑到人类手臂遵循的弯曲路径，计入了z方向上的某一定量的扭曲。
存在具有变化的占用方法的不同类型的控制柄。第一种控制柄可以是单手控制柄。这些类型的控制柄可由用户的右手或左手来占用，但非两手都能占用。第二种类型的控制柄可以是双手控制柄。这些类型的控制柄能够由用户的右手或左手占用。可为右手和左手版本创建双手控制柄的单独的实例，并定位到动作区域的左侧或右侧，以便定位该控制柄来供用户在3D空间中进行更自然的占用。第三种类型的控制柄是两手成对控制柄。这些控制柄要求用户的两只手来完成交互。这些交互利用视觉启示以及在各实施例中利用听觉启示，来告知用户如何完成更复杂的交互，如下所解释的。
图1包括单手控制柄21的示例。图2是包括控制柄的附加示例的显示画面的图示。图2中朝向UI19顶部的控制柄21是与动作区域23相关联的单手控制柄21，在该示例中该动作区域是文本导航菜单。朝向UI19的底部的两个控制柄21是与动作区域23相关联的双手控制柄的示例。在图2的示例中，动作区域23是一个或多个图形导航对象（也称为“槽”），示出通过用户选择某一槽下面的两个角处的两个控制柄21可对其执行某一动作的具体软件标题。
不同的控制柄21也可能够在被用户占用时进行不同的移动。例如，某些控制柄被约束到在单个方向移动（例如沿屏幕的x轴或y轴）。提供其他控制柄用于沿x轴和y轴的二轴移动。还有控制柄被提供用于绕x-y平面的多向移动。又有一些控制柄可专门地或作为多向运动的一部分沿z轴移动。每个控制柄可包括用于清楚地指示用户可如何操纵该控制柄的启示。例如，当用户接近控制柄21时，这里被称为“导轨”的图形指示可出现在显示画面上控制柄附近。该导轨示出控制柄21可移动以在相关联的动作区域23上完成某一动作的方向。在下文中更详细地解释了导轨，但图1示出了导轨27，导轨27指示出可沿x轴（图1中向左）移动控制柄21。如所指示的，导轨仅在用户接近控制柄21或占用控制柄21时出现。否则，它们在屏幕上是不可见的，以便不使显示画面零乱。然而，在另选的实施例中，与控制柄相关联的任何导轨可在其控制柄可见时总是可见的。
在又一实施例中，光标25也可提供关于可能的控制柄操纵的反馈和提示。也就是说，除了控制柄本身之外，光标的位置可使得导轨被显露，或提供操纵反馈。
图3示出可在目标识别、分析和跟踪系统10中使用的捕捉设备20的一个示例实施例。涉及与本发明技术一起使用的捕捉设备的附加细节在题为“DeviceForIdentifyingAndTrackingMultipleHumansOverTime（用于随时间标识和跟踪多个人的设备）”的共同待审的专利申请号12/475,308中阐述，该申请通过引用而整体结合于此。然而，在一示例实施例中，捕捉设备20可以被配置成通过任何合适的技术，包括例如，飞行时间法、结构化光、立体图像等等，来捕捉具有可包括深度值的深度图像的视频。根据一个实施例，捕捉设备20可以将所计算的深度信息组织成“Z层”，即与从深度相机沿其视线延伸的Z轴相垂直的层。
如图3所示，捕捉设备20可包括图像相机组件22。根据一个示例实施例，图像相机组件22可以是可捕捉场景的深度图像的深度相机。深度图像可包括被捕捉的场景的二维（2-D）像素区域，其中2-D像素区域中的每一个像素都可以（例如以厘米、毫米等等为单位）表示来自相机的被捕捉的场景中的物体的长度。
如图3所示，根据一个示例实施例，图像相机组件22可包括可用于捕捉场景的深度图像的IR光组件24、三维（3-D）相机26，以及RGB相机28。例如，在飞行时间分析中，捕捉设备20的IR光组件24可将红外光发射到场景上，并且随后可使用传感器（未示出）、用例如3-D相机26和/或RGB相机28来检测从场景中的一个或多个目标和物体的表面反向散射的光。
根据另一实施例，捕捉设备20可包括可以从不同的角度观察场景的两个或更多个在物理上分开的相机，以获取可以被解析以生成深度信息的视觉立体数据。
捕捉设备20还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的变换器或传感器。根据一个实施例，话筒30可用于减少目标识别、分析和跟踪系统10中的捕捉设备20与计算环境12之间的反馈。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等之类的应用。
在一示例实施例中，捕捉设备20还可包括能与图像相机组件22通信的处理器32。处理器32可包括标准化处理器、专用处理器、微处理器等，它们可执行用于接收深度图像、判断合适的目标是否可被包括在深度图像中、将合适的目标转换为目标的骨架表示或模型的指令，或任何其他适合的指令。
捕捉设备20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、3-D相机或RGB相机捕捉到的图像或图像的帧、或任何其他合适的信息、图像等。根据一示例实施例，存储器组件34可包括随机存取存储器（RAM）、只读存储器（ROM）、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图3所示，在一个实施例中，存储器组件34可以是与图像相机组件22和处理器32通信的分开组件。根据另一个实施例，可将存储器组件34集成到处理器32和/或图像相机组件22中。
如图3所示，捕捉设备20可经由通信链路36与计算环境12通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。根据一个实施例，计算环境12可以经由通信链路36向捕捉设备20提供时钟，该时钟可用于确定何时捕捉例如场景。
另外，捕捉设备20可以通过通信链路36向计算环境12提供深度信息和由例如3-D相机26和/或RGB相机28捕捉到的图像、以及可以由捕捉设备20生成的骨架模型。存在用于判断由捕捉设备20检测到的目标或对象是否与人类目标相对应的各种已知技术。骨架映射技术因而可用于确定该用户的骨架上的各个点，手、腕、肘、膝、鼻、踝、肩的关节，以及骨盆与脊椎相交之处。其他技术包括：将图像变换成人的人体模型表示以及将图像变换成人的网格模型表示。
骨架模型随后可被提供给计算环境12，使得计算环境可以跟踪该骨架模型，以标识例如用户指向哪里以及用户正执行什么运动。如同下面所解释的，用户可以通过与控制柄21进行交互并执行特定预定义姿势来与UI19进行交互。计算环境12还可包括用于识别这些来自用户18的预定义姿势的姿势识别引擎190。下文提供了姿势识别引擎190的进一步细节。
图4A示出可用来解释用户与控制柄21的交互并用于识别一个或多个姿势的计算环境的示例实施例。以上参考附图1和3所描述的诸如计算环境12等计算环境可以是多媒体控制台100，诸如游戏控制台。如图4A所示，多媒体控制台100具有中央处理单元（CPU）101，所述CPU具有一级高速缓存102、二级高速缓存104，以及闪存ROM106。一级高速缓存102和二级高速缓存104临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU101可被提供为具有一个以上的核，并且由此具有附加的一级高速缓存102和二级高速缓存104。闪存ROM106可存储在多媒体控制台100通电时引导过程的初始阶段期间加载的可执行代码。
图形处理单元（GPU）108和视频编码器/视频编解码器（编码器/解码器）114形成用于高速和高分辨率图形处理的视频处理流水线。将数据经由总线从GPU108传送到视频编码器/视频编解码器114。视频处理流水线向A/V（音频/视频）端口140输出数据，以便传输到电视机或其他显示器。存储器控制器110连接到GPU108，以便于处理器对各种类型的存储器112（诸如，但不限于RAM）的访问。
多媒体控制台100包括优选地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB主控制器128以及前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、以及外置存储器设备146（例如，闪存、外置CD/DVDROM驱动器、可移动介质等）的主机。网络接口124和/或无线适配器148提供对网络（例如，因特网、家庭网络等）的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中的任何一种。
提供系统存储器143来存储在引导过程期间加载的应用数据。提供媒体驱动器144，并且其可包括DVD/CD驱动器、硬盘驱动器，或其他可移动媒体驱动器等。媒体驱动器144可内置或外置于多媒体控制台100。应用数据可经由媒体驱动器144访问，以供多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其他高速连接（例如IEEE1394）等总线连接到I/O控制器120。
系统管理控制器122提供与确保多媒体控制台100的可用性相关的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140，以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152、以及任何LED（发光二极管）或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
多媒体控制台100内的CPU101、GPU108、存储器控制器110、以及各种其他组件经由一条或多条总线互连，该总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线体系结构中的任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连（PCI）总线、PCI-Express总线等。
当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中，并且可在CPU101上执行。应用可在导航到多媒体控制台100上可用的不同媒体类型时呈现提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中所包含的应用和/或其他媒体可从媒体驱动器144启动或播放，以将附加功能提供给多媒体控制台100。
多媒体控制台100可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，在通过网络接口124或无线适配器148可用的宽带连接集成的情况下，多媒体控制台100还可作为更大网络社区中的参与者来操作。
当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留量（例如，16MB）、CPU和GPU周期保留量（例如，5％）、网络带宽保留量（例如，8kbs）等。因为这些资源是在系统引导时保留的，所以所保留的资源从应用的角度而言是不存在的。
具体而言，存储器保留量优选地足够大，以包含启动内核、并发系统应用程序和驱动程序。CPU保留量优选地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留量，通过使用GPU中断来调度代码以将弹出窗口渲染为覆盖图，从而显示由系统应用程序生成的轻量消息（例如，弹出窗口）。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在完整的用户界面被并发系统应用使用的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率和引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源内执行的一组系统应用中。操作系统内核标识出作为系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU101上运行，以便提供对应用而言一致的系统资源视图。调度是为了使在控制台上运行的游戏应用的高速缓存中断最小化。
当并发系统应用需要音频时，由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器（如下所描述的）在系统应用活动时控制游戏应用的音频级别（例如，静音、衰减）。
输入设备（例如，控制器142(1)和142(2)）由游戏应用和系统应用共享。输入设备不是保留资源，而是在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器优选控制输入流的切换，而无需知道游戏应用的知识，并且驱动器维护关于焦点切换的状态信息。相机26、28和捕捉设备20可为控制台100定义附加输入设备。
图4B示出可以是用来解释用户与控制柄21的交互并解释系统10中的一个或多个姿势的、图1和3中示出的计算环境12的计算环境220的另一示例实施例。计算系统环境220只是合适的计算环境的一个示例，并且不旨在对当前公开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在一些实施例中，各个所示的计算元素可包括被配置成实例化本公开的特定方面的电路。例如，本公开中使用的术语“电路”可包括被配置成通过固件或开关来执行功能的专用硬件组件。在其他示例实施例中，术语“电路”可包括通过体现可操作以执行功能的逻辑的软件指令来配置的通用处理单元、存储器等。在电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。由此，对于硬件实现还是软件实现的选择是设计选择之一并留给实现者。
在图4B中，计算环境220包括通常包括各种计算机可读介质的计算机241。计算机可读介质可以是能被计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括诸如ROM223和RAM260之类的易失性和/或非易失性存储器形式的计算机存储介质。包含诸如在启动期间帮助在计算机241内的元件之间传输信息的基本例程的基本输入/输出系统224（BIOS）通常储存储在ROM223中。RAM260通常包含处理单元259可立即访问和/或当前正在操作的数据和/或程序模块。作为示例而非限制，图4B示出了操作系统225、应用程序226、其他程序模块227，以及程序数据228。
计算机241也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。只作为示例，图4B示出了读写不可移动非易失性磁性介质的硬盘驱动器238、读写可移动非易失性磁盘254的磁盘驱动器239、以及读写诸如CDROM或其他光学介质之类的可移动的非易失性光盘253的光盘驱动器240。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器238通常通过诸如接口234之类的不可移动存储器接口连接到系统总线221，并且磁盘驱动器239和光盘驱动器240通常通过诸如接口235之类的可移动存储器接口连接到系统总线221。
上面所讨论的并且在图4B中所示出的驱动器以及它们的相关联的计算机存储介质，为计算机241提供了计算机可读的指令、数据结构、程序模块及其他数据的存储。例如，在图4B中，硬盘驱动器238被示为存储了操作系统258、应用程序257，其他程序模块256，以及程序数据255。注意，这些组件可与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可与它们不同。在此操作系统258、应用程序257、其他程序模块256以及程序数据255被给予了不同的编号，以说明至少它们是不同的副本。用户可通过诸如键盘251和定点设备252（通常称为鼠标、跟踪球或触摸垫）之类的输入设备将命令和信息输入计算机241。其他输入设备（未示出）可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些以及其他输入设备通常通过耦合到系统总线的用户输入接口236连接到处理单元259，但也可通过诸如并行端口、游戏端口或通用串行总线（USB）之类的其他接口和总线结构来连接。相机26、28和捕捉设备20可为控制台100定义附加输入设备。监视器242或其他类型的显示设备也通过诸如视频接口232之类的接口连接至系统总线221。除了监视器以外，计算机还可包括诸如扬声器244和打印机243之类的其他外围输出设备，它们可通过输出外围接口233来连接。
计算机241可使用到一个或多个远程计算机（诸如，远程计算机246）的逻辑连接而在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他公共网络节点，通常包括上文参考计算机241所描述的许多或全部元件，但是图4B中只示出了存储器存储设备247。图4B中所描绘的逻辑连接包括局域网（LAN）245和广域网（WAN）249，但是也可以包括其他网络。此类联网环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接到LAN245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN249建立通信的其他手段。调制解调器250可以是内置的或外置的，可经由用户输入接口236或其他适当的机制连接到系统总线221。在联网环境中，相对于计算机241所示的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图4B示出了驻留在存储器设备247上的远程应用程序248。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。
以下将参考图5的流程图来描述本发明技术的一实施例。以下步骤可由与计算环境12相关联的处理器101（图4A）或299（图4B）来执行。在步骤300，该系统跟踪进入捕捉设备20的视野的用户。如上所示，设备20能够跟踪视野中的用户并生成他们的移动的骨架模型。在步骤304，该系统检测用户占用该系统。在各实施例中，这样的占用可通过用户将一只手或双手举到在本文中被称为物理交互区的区域中来检测。物理交互区是用户18的物理空间中的该用户最可能从中与UI19进行交互的区域。
然而，在各实施例中，该系统在确定用户是否占用系统10时可以分析各种因素。这些因素可共同造成一置信度水平，并且在该置信度水平高于某一预定阈值时，该系统检测到占用。这些因素可包括用户的身体移动（移动全身对只移动手降低置信度）；用户的身体定向（面对相机增加置信度）；哪一只手在物理交互区中（手在用户面向相机的一侧增加置信度）；以及用户最后脱离（disengage）的方式和时间（增加的时间降低置信度）。这一置信度水平可随时间累积，并且在该置信度水平总和超过某一所设立的阈值时，该系统检测到占用。
在用户尝试占用但置信度尚未达到这一阈值的简短时间中，可以提供实时反馈（例如，光标逐渐出现）以指示该系统正在识别该用户但尚未授予姿势控制。
在建立了占用之后，在步骤306，该系统检测用户跟踪到目标UI对象。具体而言，该系统感测到用户正指向一目标UI对象。在各实施例中，UI对象可以是控制柄21。该系统可依赖于用户来实现正确的指向运动，以使光标25处于目标控制柄21上方中心。在其他实施例中，控制柄21实际上可具有引力。因而，基于包括光标25与控制柄21的邻近度的各因素，计算环境可以将光标拉到控制柄21，从而提供与用户需要有多精确地将光标25定位在控制柄21正上方有关的误差裕量。在一另选的实施例中，该引力可能不影响光标的位置。相反，如果光标满足了以下解释的一个或多个准则，光标可改为呈现出它好像在控制柄上方悬停的属性。例如，控制柄和/或光标的外观可改变，并且可以向用户显示视觉启示和反馈，该启示和反馈向该用户示出他或她可如何与控制柄进行交互。
图6示出其中在控制柄21周围模拟引力的实施例。在这样的实施例中，在步骤324，该系统检测用户跟踪到目标控制柄。在步骤326，该系统确定光标25是否满足了被拉到控制柄21并处于控制柄21上方中心的准则。如果光标满足步骤326的准则，则在步骤330中，它能处于目标对象上方的中心并轻轻保持在其上方（轻轻保持意味着需要比在光标未处于控制柄上方中心时移动光标所需的手移动更加显著的手移动才能移动光标）。此时，控制柄和/或光标的外观也可改变以指示控制柄的激活，并且可以向用户显示视觉启示和反馈。或者，如同下面解释的，光标的位置可保持不变，但控制柄可激活，并且可以提供视觉启示和反馈。
在步骤326中应用的与光标25是否被控制柄21的引力所捕捉有关的准则可包括光标25与控制柄21的邻近度，以使得邻近度越近，它越可能被拉向控制柄。该准则可包括用户的指向手相对于他或她的身体的深度的改变，以便越来越靠近捕捉设备20的移动使得光标更可能被拉到控制柄。并且该准则可包括靠近控制柄所花费的时间，其中靠近控制柄所花费的时间越长，光标越可能被拉到控制柄。在其他实施例中，可以应用其他准则。在各实施例中，光标25在被拉到控制柄时维持它的形状。在其他实施例中，光标25可被拉到控制柄或可不被拉到控制柄，但光标可变化或改变形状以指示它占用了控制柄。
返回图5，一旦用户跟踪到目标控制柄，在步骤308，该系统检测用户附连到目标控制柄。如上所示，在光标位于控制柄上方时，计算环境12随后可感测附连到该对象，其中用户将他或她的手沿z轴移动得更近。作为替换或补充，该用户可以执行附连运动（将手指从张开移动到握住位置），该姿势被解释为用户附连到光标处于其上方中心的对象。感测用户希望占用控制柄的其他方法包括在物理活动区内定义特定热点，其中用户知道将他或她的手放在该特定热点以附连到控制柄并且简单地在对象上方悬停预定时间段。感测用户希望占用控制柄的其他方法可在其他实施例中中提供。
一旦用户附连到控制柄（或者另选地，在光标很近时），在步骤310，该系统可以显示该控制柄21的启示。控制柄21可包括各种各样的启示，一些启示在图1和图8到9中示出。在图1中，启示是导轨27，该导轨示出用户可抓住控制柄并将它向左侧滑动（从图1的视角看）。这通过用户一旦抓住控制柄21则将他或她的手向左侧移动来实现。一旦抓住了控制柄，则控制柄对于给定手移动所移动得长度可以是与对于在显示画面上移动其他对象相同的比率、较不敏感（即，对于给定手移动，控制柄移动得更少）、或更敏感（即，对于给定手移动，控制柄移动得更多）。
导轨27一般是一旦用户附连或几乎附连到给定控制柄21则与该控制柄相关联地显示的图形对象，它示出用户可如何操纵该控制柄。导轨可具有箭头，以阐明可以对控制柄实现的运动。在各实施例中，导轨27可以是水平和/或垂直的，以示出相关联的控制柄可被水平地和/或垂直地操纵。在其他示例中，导轨27不必是水平或垂直的。例如，导轨可示出用户能在对角线上移动控制柄，或一般地在x-y平面内移动控制柄。导轨27还可示出可以在非直线方向上操纵控制柄，如圆形运动。
图8示出了图2的屏幕图示，但是是在用户已经附连到屏幕上方附近的控制柄21之后的某一时间。如此，导轨27a和27b被显示给用户。导轨27a示出用户可向上或向下移动控制柄。与对控制柄21的这种操纵相关联的动作将会是在动作区域23中向上或向下滚动文本菜单。导轨27b示出用户可将控制柄向右移动（从图8的视角来看）。与对控制柄21的这一操纵相关联的动作将会是在动作区域23中滚动到菜单项的子标题处，控制柄然后将位于该处。一旦滚动到子标题，可出现新的水平导轨，以向用户示出他或她可将控制柄向左移动（从图8的视角来看）以返回到下一更高级别的菜单。
图9示出了图2的屏幕图示，但是是在用户已经附连到屏幕底部附近的控制柄21a、21b之后的某一时间。如此，导轨27c和27d被显示给用户。控制柄21a、21b以及导轨27c、27d被一起显示在槽的角落处，示出用户能够用双手选择该槽（一只手在一个控制柄上）。图9还示出朝向UI19的任一侧的控制柄21c和21d。对控制柄21c的占用并将控制柄21c向左移动（从图9的视角来看）实现了将槽29向左滚动的动作。对控制柄21d的占用并将控制柄21d向右移动（从图9的视角来看）实现了将槽29向右滚动的动作。
返回图5的流程图，在用户附连到控制柄并向用户示出了启示之后，用户可在步骤311操纵控制柄或在步骤314决定释放该对象。在步骤311，如果用户选择操纵对象，则在步骤312执行该操纵。在上文参考图8和9已经解释了对控制柄21的一些操纵和相关联的动作。然而，一般而言，对控制柄21的操纵可涉及沿x轴和/或y轴滑动控制柄、沿z轴拉控制柄、以圆形运动来转动控制柄、或使用该控制柄作为x-y平面中的操纵杆。下文解释了用于执行具体动作的具体控制柄。
现在将参考图7更详细地解释对控制柄21的操纵。在步骤338，一旦用户附连到特定控制柄，则该系统可寻找用户的移动。在步骤338，如果检测到运动，则在步骤340，该系统寻找与用户所执行的运动相匹配的预定义姿势。如果找到该控制柄所允许的这样的预定义姿势，则在步骤346相对于相关联的动作区域23来执行该动作。使用控制柄的一个优点是只有某些预定义姿势将适用于该控制柄。因而，如同下面解释的，尽管可能存在计算环境12已知的各种各样的姿势，取决于所选的特定控制柄21，计算环境12需要关注的预定义姿势的数量被缩减了。
本领域技术人员将理解分析用户位置和移动以确定用户的位置和/或移动是否符合预定义的姿势的各种方法。这些方法例如在以上合并的申请第12/475,308号以及题为“Gesture-ControlledInterfacesForSelf-ServiceMachinesAndOtherApplications”（用于自助机器和其他应用的姿势控制的界面）的美国专利申请公开第2009/0074248号中有公开，该公开通过整体引用结合于此。然而，一般而言，用户位置和移动由捕捉设备20来检测。从该数据中，可以收集与每一身体部分的位置/移动有关的各种参数并将其转发给计算环境12内的姿势识别引擎。姿势识别引擎190将该位置/移动参数与所存储的姿势的库进行比较，以确定是否存在高于阈值置信度水平的匹配。如果是，则说用户执行了相匹配的姿势并采取相关联的动作。
除了显著减少姿势识别引擎需要查找的所存储的姿势的数量之外，使用控制柄来占用对象还显著地降低了与是否执行了给定姿势有关的虚假肯定和虚假否定的风险。具体而言，通过限制可针对给定控制柄21执行的可能姿势的集合，不检查可能被错误地标识的其他姿势。
如上所示，控制柄21可被宽泛地分类成属于定义可如何占用控制柄的几组之一。即，控制柄可以是单手控制柄、双手控制柄、或两手成对控制柄。然而，控制柄21还可被分解成特定类型的动作，其中它们使得在它们相关联的动作区域23上执行这些动作或由它们相关联的动作区域23执行这些动作。即，特定一个或多个控制柄被基于动作区域可以执行的动作和可以在动作区域上执行的动作来分配给该特定动作区域。因而，例如，当动作区域旨在向上、向下、或向侧方滚动时，该动作区域将被分配了专门识别执行这些动作的姿势的控制柄，即当用户附连到该控制柄时用户的手上移、下移、或向侧方移动。下文是可处于针对给定控制柄识别的姿势集合中的一些姿势。下文不旨在作为可被应用于给定控制柄的所有可能姿势的穷尽性列表。
最常见地，在动作区域23上执行动作或由动作区域23执行动作所需的姿势只是沿其导轨之一移动控制柄21。执行这一点的用户运动将仅仅是在用户附连到控制柄时沿导轨的方向移动他或她的手。然而，可以想到，可针对给定控制柄来识别不仅仅涉及沿其导轨滑动控制柄的其他姿势。下文描述了多个控制柄名称，这些名称描述了在动作项上执行的或由动作项执行的与该控制柄相关联的动作。
·转动控制柄–用户占用转动控制柄，并且取决于它所适用的特定动作区域，能够在三个平面（x-y、y-z以及x-z）中的任一平面中执行圆形姿势。这一控制柄可被用于槽或列表导航，并且通过将对象映射到圆上的点，可被调节以用于细粒度控制或加速控制。
·滑块控制柄（单向和双向）-可以在一个或两个方向上操纵的单维度控制柄，如相关联的导轨所示。向后控制柄（如图1所示）是单向滑块控制柄的示例，而列表滚动条滑块控制柄（例如图9中所示的）是双向滑块控制柄的示例。
·虚拟操纵杆控制柄-可以模拟控制器D-垫状态并可被用于UI导航的多维和多向控制柄。用户可以在从一个状态转移到下一状态之前穿过或不穿过中性中心点。
·下拉菜单控制柄–在被占用时展现附加UI的部分屏上控制柄。这例如可被用来带出要从中选择的各项的快速启动面板。
·上下文菜单控制柄（也被称为标记菜单控制柄）-通过占用动作区域中的对象并在三个方向（上、左或右）之一上拉动它来带出的控制柄。用户可通过在向下方向上移动来脱离该控制柄，如同下面解释的。
·按钮控制柄–附连到对象的简单控制柄，该控制柄只需要用户通过占用它来选中它，以使得执行一动作。不必需要后续导轨或用户操纵来完成该交互。
·拖放（自由形式）控制柄–其在屏上和3D空间中的位置能够通过占用和操纵控制柄视觉表示到新位置来改变的控制柄。
·剥除（后退和槽）控制柄-可作为显示UI19的对象或背景场景的一部分的集成控制柄。对该控制柄的直接交互和操纵可以展现先前场景或显示画面（在后退导航的情况下），或对象的附加数据（例如槽）。
·两手拉开控制柄–需要使用两只手的选择机制。在用户占用控制柄之一时，提供反馈以告知他使用另一只手。一旦使用了两只手，则通过将两手拉开直至达到两导轨的末端来完成该姿势。
·两手轻拍控制柄–同样需要使用两只手的控制柄，但通过将两只手彼此朝对方移动来执行该姿势。视觉导轨和槽的模拟移动通知用户他要多近才能完成该姿势。
·摩擦控制柄-在它被占用后允许直接操纵项目列表的控制柄。这允许对较少数量的内容项的更细粒度的操纵。
·变速控制柄-类似于虚拟操纵杆的多维、多向控制柄，但该变速控制柄旨在支持多个平行的次级方向，每一次级方向垂直于主方向（如同字母“E”的形状）。
·棘轮控制柄-类似于滑块的控制柄，但它允许沿一轨迹重复运动而不脱离。
给定以上公开内容，本领域技术人员将明白可被用来对动作区域对象或背景执行附加动作的附加控制柄。
再次参考图5，在用户操纵控制柄来实现了给定动作之后（或者在步骤311，如果用户决定不操纵该对象），则在步骤314，用户可释放该控制柄。在各实施例中，在完成姿势之后，控制柄可被自动释放。或者，对于对象的释放可另选地由用户对系统的某一手动动作来指示。这样的手动动作包括用户的手沿z轴向远处移动、向物理交互性的区域中的特定热点移动或移出该热点、用户的手移动特定距离或在不支持的方向上移动、或某一其他用户运动。
在各实施例中，所模拟的引力可使得用户执行比释放不具有该模拟引力的其他对象本来所需的运动更大的运动才能脱离控制柄。如果未检测到释放，则在步骤312，该系统再一次寻找其他对象操纵。
在步骤314，如果用户释放对象，则在步骤316，该系统查看用户是否脱离交互，如通过放下他们的手。如果未检测到这样的脱离，则该系统返回步骤306以寻找跟踪到对象（它可以与先前附连到的对象相同或不同）。
在步骤316，如果用户脱离，则在步骤320，该系统检查用户是否离开视野。如果未离开视野，则该系统返回步骤304以检测其他用户占用。另一方面，如果用户离开视野，则该系统返回步骤300以跟踪用户何时再次进入视野。
在各实施例中，取决于用户处于图5的流程图中的何处，控制柄的外观可以变化。当视野中没有用户时，没有控制柄是可见的。一旦在视野中检测到用户，则可显示控制柄。最初它们可以带着光来显示，以告知用户UI19上的哪些位置具有控制柄21。此后，控制柄可保持中性，直至用户接近它为止，此时，它可发光以示出识别到该接近。此后，一旦用户悬停在控制柄上方，则控制柄的外观可以改变，一旦用户尝试附连到它，它可再次改变，在用户附连到它之后它可又一次改变，并且一旦用户操纵它则它可又一次改变。在其他实施例中，这些改变中的一些或全部可被省略。
给定以上描述，本发明技术提供了一种允许与人机界面系统中的屏上对象和动作区域容易地进行交互的系统。控制柄所提供的显式占用点以及对可被应用的姿势的缩减，提供了具有低虚假肯定和否定的高度可靠的系统。该系统还易于使用。清楚的启示示出了什么能被附连到以及一旦附连到控制柄则可以用它怎么做和做什么。交互易于记住且易于执行。交互也是一致的，使得对如何使用该系统的一部分的学习允许使用整个系统。
本发明系统的前述详细描述是出于说明和描述的目的而提供的。这并不旨在穷举本发明系统或将本发明系统限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。选择所述实施例以最好地解释本发明系统的原理及其实践应用，从而允许本领域技术人员能够在各种实施例中并采用各种适于所构想的特定用途的修改来最好地利用本发明系统。本发明系统的范围旨在由所附权利要求书来定义。

Claims (14)

1.在包括耦合到用于捕捉用户位置并提供人机界面的捕捉设备的计算环境的系统中，一种便于用户与所述人机界面的显示画面的区域的交互的方法，所述方法包括：
(a)生成与所述人机界面的所述区域相关联的控制柄；
(b)经由相机感测用户移动来检测所述用户占用在所述步骤(a)生成的所述控制柄，检测所述用户占用所述控制柄是通过模拟所述控制柄周围的将光标拉向所述控制柄的引力来促进的，在所述光标被拉到所述控制柄后检测到占用；
(c)接收所述用户的姿势的指示；以及
(d)响应于所述步骤(c)对所述人机界面的所述区域执行动作。
2.如权利要求1所述的方法，其特征在于，所述步骤(a)包括在所述人机界面的所述区域上显示所述控制柄的步骤。
3.如权利要求1所述的方法，其特征在于，所述步骤(a)包括在所述人机界面的所述区域附近显示所述控制柄的步骤。
4.如权利要求1所述的方法，其特征在于，所述步骤(a)包括将所述控制柄集成为所述人机界面的所述区域的一部分以便不显示分开的控制柄的步骤。
5.如权利要求1所述的方法，其特征在于，生成与所述人机界面的所述区域相关联的控制柄的所述步骤(a)包括在检测到用户在占用控制柄时所执行的姿势之后，基于要对所述区域执行的动作来将所述控制柄与所述区域相关联的步骤。
6.如权利要求1所述的方法，其特征在于，还包括显示与所述控制柄相关联的指示用户可如何与在所述步骤(a)中生成的控制柄进行交互的启示的步骤(f)。
7.一种在耦合到用于捕捉用户位置并提供人机界面的捕捉设备的计算环境中的、便于用户与所述人机界面的显示画面的动作区域进行交互的方法，所述方法包括：
(a)在所述显示画面上显示与所述人机界面的所述区域相关联的图形控制柄，所述图形控制柄提供用于占用所述动作区域的显式占用点，并且所述图形控制柄定义在接收到用户执行的预定义的姿势之后用户可如何与所述动作区域进行交互；
(b)作为检测到所述用户的位置的结果，接收所述用户正跟踪所述图形控制柄的指示；
(c)在用户跟踪到所述图形控制柄时，建立对所述图形控制柄的占用，建立对所述图形控制柄的占用是通过模拟所述图形控制柄周围的将光标拉向所述图形控制柄的引力来促进的，在所述光标被拉到所述图形控制柄后建立占用；
(d)接收所述用户的姿势的指示；
(e)当在所述步骤(d)中接收到的所述姿势指示与所述步骤(a)的所述预定义姿势相匹配时，相对于所述显示画面的所述动作区域执行所述图形控制柄所定义的动作。
8.如权利要求7所述的方法，其特征在于，所述方法还包括显示定义在建立对所述图形控制柄的占用的所述步骤(b)之后用户可如何与所述图形控制柄进行交互的启示的步骤(f)。
9.如权利要求8所述的方法，其特征在于，所述步骤(f)包括显示示出所述图形控制柄可被移动的方向的导轨的步骤。
10.如权利要求9所述的方法，其特征在于，接收所述用户的姿势的指示的所述步骤(d)包括接收在由所述步骤(f)中的导轨所定义的方向上移动所述图形控制柄的姿势的步骤。
11.如权利要求10所述的方法，其特征在于，所述步骤(e)包括在接收到向上、向下、向左、或向右移动所述图形控制柄的所述指示的所述步骤(d)之后导航通过对象的菜单的步骤。
12.一种在具有耦合到用于捕捉用户位置的捕捉设备并耦合到显示画面的计算环境的计算机系统中提供人机界面的方法，包括：
提供所述显示画面上的动作区域，所述动作区域能够进行以下操作中的至少一个：执行动作和使得对它执行动作；
提供显示在所述显示画面上并与所述动作区域相关联的控制柄，所述控制柄提供动作区域的显式占用点并定义用户如何与所述动作区域进行交互，对所述控制柄的占用是通过模拟所述控制柄周围的将光标拉向所述控制柄的引力来促进的，在所述光标被拉到所述控制柄后建立占用；以及
提供显示在所述显示画面上的、与所述控制柄相关联的、用于定义用户如何操纵所述控制柄的导轨。
13.如权利要求12所述的方法，其特征在于，所述动作区域是导航菜单，并且所述控制柄定义穿过所述导航菜单的导航路径。
14.如权利要求12所述的方法，其特征在于，在所述控制柄周围生成模拟的力，以使得用户对所述控制柄的占用更易于建立。
CN201180008874.6A 2010-02-09 2011-02-08 用于人机界面的控制柄交互 Expired - Fee Related CN102770828B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/703,115 US8499257B2 (en) 2010-02-09 2010-02-09 Handles interactions for human—computer interface
US12/703,115 2010-02-09
PCT/US2011/024078 WO2011100254A2 (en) 2010-02-09 2011-02-08 Handles interactions for human-computer interface

Publications (2)

Publication Number Publication Date
CN102770828A CN102770828A (zh) 2012-11-07
CN102770828B true CN102770828B (zh) 2015-11-25

Family

ID=44354642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180008874.6A Expired - Fee Related CN102770828B (zh) 2010-02-09 2011-02-08 用于人机界面的控制柄交互

Country Status (7)

Country Link
US (2) US8499257B2 (zh)
EP (1) EP2534556A4 (zh)
JP (1) JP2013519175A (zh)
KR (1) KR20120125285A (zh)
CN (1) CN102770828B (zh)
CA (1) CA2786852A1 (zh)
WO (1) WO2011100254A2 (zh)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101743948B1 (ko) * 2010-04-07 2017-06-21 삼성전자주식회사 인터렉티브 디스플레이에서 근접 센싱을 위한 방법 및 근접 센싱 이미지를 처리하는 방법
US20110292036A1 (en) * 2010-05-31 2011-12-01 Primesense Ltd. Depth sensor with application interface
KR101731346B1 (ko) * 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
US8920241B2 (en) * 2010-12-15 2014-12-30 Microsoft Corporation Gesture controlled persistent handles for interface guides
US9575561B2 (en) * 2010-12-23 2017-02-21 Intel Corporation Method, apparatus and system for interacting with content on web browsers
US20120221974A1 (en) * 2011-02-28 2012-08-30 Sony Network Entertainment Inc. Method and apparatus for presenting elements of a user interface
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US9030487B2 (en) * 2011-08-01 2015-05-12 Lg Electronics Inc. Electronic device for displaying three-dimensional image and method of using the same
CA2844105A1 (en) * 2011-08-31 2013-03-07 Smart Technologies Ulc Detecting pointing gestures in a three-dimensional graphical user interface
US9002099B2 (en) 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
KR20130078490A (ko) * 2011-12-30 2013-07-10 삼성전자주식회사 전자 장치 및 그의 제어 방법
US20130182005A1 (en) * 2012-01-12 2013-07-18 Cisco Technology, Inc. Virtual fashion mirror system
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
CN102662576B (zh) * 2012-03-29 2015-04-29 华为终端有限公司 基于触摸的信息发送方法及装置
US20130290116A1 (en) * 2012-04-27 2013-10-31 Yahoo! Inc. Infinite wheel user interface
US8934675B2 (en) 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
USD723057S1 (en) 2012-08-07 2015-02-24 Microsoft Corporation Display screen with animated graphical user interface
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US9501140B2 (en) * 2012-11-05 2016-11-22 Onysus Software Ltd Method and apparatus for developing and playing natural user interface applications
KR101713784B1 (ko) * 2013-01-07 2017-03-08 삼성전자주식회사 전자 장치 및 그 제어 방법
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US20140253430A1 (en) * 2013-03-08 2014-09-11 Google Inc. Providing events responsive to spatial gestures
US9519351B2 (en) 2013-03-08 2016-12-13 Google Inc. Providing a gesture-based interface
US9298266B2 (en) * 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
TWI486815B (zh) * 2013-04-08 2015-06-01 鴻海精密工業股份有限公司 顯示設備及其控制系統和方法
US9804675B2 (en) 2013-06-27 2017-10-31 Elwha Llc Tactile feedback generated by non-linear interaction of surface acoustic waves
US20150003204A1 (en) * 2013-06-27 2015-01-01 Elwha Llc Tactile feedback in a two or three dimensional airspace
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
CN105612475B (zh) 2013-08-07 2020-02-11 耐克创新有限合伙公司 具有姿态识别和功率管理的腕戴式运动装置
USD740843S1 (en) * 2013-10-25 2015-10-13 Microsoft Corporation Display screen with graphical user interface
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
CN105516815A (zh) * 2014-09-25 2016-04-20 冠捷投资有限公司 使用者通过动作控制显示装置的操作界面的方法
US10452136B2 (en) 2014-10-13 2019-10-22 Thomson Licensing Method for controlling the displaying of text for aiding reading on a display device, and apparatus adapted for carrying out the method, computer program, and computer readable storage medium
CN104318218A (zh) * 2014-10-29 2015-01-28 百度在线网络技术（北京）有限公司 图像识别方法和装置
US9715619B2 (en) 2015-03-14 2017-07-25 Microsoft Technology Licensing, Llc Facilitating aligning a user and camera for user authentication
US10057078B2 (en) 2015-08-21 2018-08-21 Samsung Electronics Company, Ltd. User-configurable interactive region monitoring
US10585576B2 (en) * 2015-10-26 2020-03-10 Google Llc Systems and methods for attributing a scroll event in an infinite scroll graphical user interface
US10133271B2 (en) * 2016-03-25 2018-11-20 Qualcomm Incorporated Multi-axis controlller
EP3451135A4 (en) * 2016-04-26 2019-04-24 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
KR20180104224A (ko) * 2017-03-09 2018-09-20 삼성전자주식회사 화면 제어 방법 및 이를 지원하는 전자 장치
US11107282B1 (en) * 2017-09-29 2021-08-31 Apple Inc. Using comfort measurements to suggest virtual reality content
TWI712985B (zh) * 2018-01-02 2020-12-11 元智大學 復健用骨架追蹤系統與方法
US11195336B2 (en) 2018-06-08 2021-12-07 Vulcan Inc. Framework for augmented reality applications
US10996831B2 (en) * 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
CN109254810B (zh) * 2018-08-03 2022-09-02 五八有限公司 列表展示方法、装置、计算机设备及计算机可读存储介质
US11435875B2 (en) * 2020-09-08 2022-09-06 Dell Products L.P. Static dynamic on screen display menu

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031866A (zh) * 2004-05-28 2007-09-05 新加坡国立大学 交互式系统和方法
WO2009018161A1 (en) * 2007-07-27 2009-02-05 Gesturetek, Inc. Enhanced camera-based input

Family Cites Families (172)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) * 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) * 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) * 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) * 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) * 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) * 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) * 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) * 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) * 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) * 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) * 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) * 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) * 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) * 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) * 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) * 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) * 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) * 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) * 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) * 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) * 1990-02-13 1991-10-29
US5101444A (en) * 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) * 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) * 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) * 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) * 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) * 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) * 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) * 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) * 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) * 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) * 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) * 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) * 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) * 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) * 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) * 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) * 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) * 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US6661468B2 (en) * 1994-05-20 2003-12-09 United Video Properties, Inc. Electronic television program guide schedule system and method
ATE224567T1 (de) * 1994-06-09 2002-10-15 Corp For Nat Res Initiatives Hinweisanordnungsschnittstelle
US5524637A (en) * 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) * 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) * 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) * 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) * 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) * 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) * 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) * 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US5808601A (en) * 1995-09-12 1998-09-15 International Business Machines Corporation Interactive object selection pointer method and apparatus
US6098458A (en) * 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) * 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) * 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) * 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) * 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
US6152856A (en) * 1996-05-08 2000-11-28 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) * 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) * 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) * 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
JP3064928B2 (ja) * 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) * 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) * 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) * 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) * 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) * 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) * 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) * 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) * 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6130677A (en) * 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) * 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6411744B1 (en) * 1997-10-15 2002-06-25 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) * 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) * 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
IL126284A (en) * 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) * 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) * 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) * 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) * 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
GB0012275D0 (en) * 2000-05-22 2000-07-12 Secr Defence Brit Three dimensional human computer interface
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7000200B1 (en) 2000-09-15 2006-02-14 Intel Corporation Gesture recognition system recognizing gestures within a specified timing
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
ATE321689T1 (de) 2002-04-19 2006-04-15 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP3190546A3 (en) 2003-06-12 2017-10-04 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
SE526119C2 (sv) 2003-11-24 2005-07-05 Abb Research Ltd Metod och system för programmering av en industrirobot
CN100573548C (zh) 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US20050285878A1 (en) * 2004-05-28 2005-12-29 Siddharth Singh Mobile platform
US20050289590A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
JP5160235B2 (ja) 2005-01-07 2013-03-13 クアルコム，インコーポレイテッド 画像中の物体の検出及び追跡
WO2006074290A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Optical flow based tilt sensor
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
CN103257684B (zh) 2005-05-17 2017-06-09 高通股份有限公司 方向敏感的信号输出方法及装置
KR100987248B1 (ko) * 2005-08-11 2010-10-12 삼성전자주식회사 이동 통신 단말의 사용자 입력 방법 및 장치
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US20090161963A1 (en) * 2007-12-20 2009-06-25 Nokia Corporation Method. apparatus and computer program product for utilizing real-world affordances of objects in audio-visual media data to determine interactions with the annotations to the objects
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US9459784B2 (en) 2008-07-25 2016-10-04 Microsoft Technology Licensing, Llc Touch interaction with a curved display
WO2010030984A1 (en) * 2008-09-12 2010-03-18 Gesturetek, Inc. Orienting a displayed element relative to a user
US20100275122A1 (en) * 2009-04-27 2010-10-28 Microsoft Corporation Click-through controller for mobile interaction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031866A (zh) * 2004-05-28 2007-09-05 新加坡国立大学 交互式系统和方法
WO2009018161A1 (en) * 2007-07-27 2009-02-05 Gesturetek, Inc. Enhanced camera-based input

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大型实时互动增强现实系统中的若干问题研究;姚争为;《中国博士学位论文全文数据库》;20100111;全文 *

Also Published As

Publication number Publication date
JP2013519175A (ja) 2013-05-23
US8499257B2 (en) 2013-07-30
US20130311944A1 (en) 2013-11-21
CN102770828A (zh) 2012-11-07
WO2011100254A3 (en) 2011-11-24
EP2534556A4 (en) 2017-05-17
WO2011100254A2 (en) 2011-08-18
CA2786852A1 (en) 2011-08-18
KR20120125285A (ko) 2012-11-14
EP2534556A2 (en) 2012-12-19
US20110197161A1 (en) 2011-08-11

Similar Documents

Publication Publication Date Title
CN102770828B (zh) 用于人机界面的控制柄交互
EP3729238B1 (en) Authoring and presenting 3d presentations in augmented reality
JP5859456B2 (ja) プレゼンテーション用カメラ・ナビゲーション
CN102622774B (zh) 起居室电影创建
CN102413887B (zh) 管理虚拟端口
JP6044079B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20180373320A1 (en) Social applications for augmented reality technologies
CN102541438A (zh) 集成话音命令模态的用户界面
CN102448560B (zh) 经由屏幕上化身进行用户移动反馈的系统和方法
RU2605370C2 (ru) Система для распознавания и отслеживания пальцев
CN102741885B (zh) 装饰显示环境
CN102184020B (zh) 用于操纵用户界面的姿势和姿势修改
CN102414641B (zh) 改变显示环境内的视图视角
CN102156658B (zh) 对象的低等待时间呈现
CN105723301A (zh) 人体工程学物理交互区域光标映射
CN102222431A (zh) 基于机器的手语翻译器
CN102253711A (zh) 使用深度传感相机来增强演示
CN102129551A (zh) 基于关节跳过的姿势检测
CN105122304A (zh) 使用增强现实的对居住空间的实时设计
CN102129709A (zh) 可视化深度
CN102520574A (zh) 飞行时间深度成像
TW201237677A (en) Natural gesture based user interface methods and systems
CN102576463A (zh) 用于移除图像的背景的系统和方法
KR20200100046A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
CN103502910B (zh) 用于操作激光二极管的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150728

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150728

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20190208