CN102448560A - 经由屏幕上化身进行用户移动反馈 - Google Patents

经由屏幕上化身进行用户移动反馈 Download PDF

Info

Publication number
CN102448560A
CN102448560A CN2010800246209A CN201080024620A CN102448560A CN 102448560 A CN102448560 A CN 102448560A CN 2010800246209 A CN2010800246209 A CN 2010800246209A CN 201080024620 A CN201080024620 A CN 201080024620A CN 102448560 A CN102448560 A CN 102448560A
Authority
CN
China
Prior art keywords
user
incarnation
computing environment
feedback
capture region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800246209A
Other languages
English (en)
Other versions
CN102448560B (zh
Inventor
E·C·吉埃默三世
T·J·帕希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102448560A publication Critical patent/CN102448560A/zh
Application granted granted Critical
Publication of CN102448560B publication Critical patent/CN102448560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/843—Special adaptations for executing a specific game genre or game mode involving concurrently two or more players on the same game device, e.g. requiring the use of a plurality of controllers or of a specific view of game data for each player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8088—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game involving concurrently several players in a non-networked game, e.g. on the same game console

Abstract

下文公开了使用化身来向基于姿势的计算环境的用户提供关于基于姿势的计算环境的一个或多个特征的反馈。在一些情形下，基于姿势的计算环境可以不使用将玩家与计算环境相关联的物理控制器。因此，可以不向玩家提供玩家号。因此通常与特定控制器相关联的权限和特征可对基于姿势的系统的用户不可用。

Description

经由屏幕上化身进行用户移动反馈
背景技术
诸如计算机游戏、多媒体应用、办公应用等许多计算应用使用控制来允许用户操纵游戏角色或应用的其他方面。通常使用例如控制器、遥控器、键盘、鼠标等等来输入这样的控制。不幸的是，这些控制可能是难以学习的，由此造成了用户和这些游戏及应用之间的障碍。此外，这些控制可能与这些控制所用于的实际游戏动作或其他应用动作不同。
概述
下文公开使用化身向通过识别用户的姿势、移动或姿态来确定用户输入的基于姿势的计算环境中的用户提供反馈。这样的基于姿势的计算环境可不使用将玩家与计算环境相关联的物理控制器。因此，可以不向玩家提供基于物理控制器的玩家号或标识符。因此，通常与特定控制器相关联的能力、特权、权限和特征可改为与所识别的用户相关联，而对用户的有关他或她的权限、能力、特征、许可等的反馈可以经由用户化身来提供。例如，该反馈可通知该用户该用户正被该系统“识别”或者他或她被作为控制器绑定于该系统，或该反馈可指示该系统对该用户的所识别的姿势的响应性、可被分配给该用户的特定玩家号、该用户是否在该系统的捕捉区域内、或该用户何时可输入姿势等。
与用户相关联的化身的各方面可在用户具有与这些方面相关联的特定权限、特征或许可时改变。例如，如果用户具有选择游戏环境中的等级或路径的权限，则其化身可改变大小、亮度、颜色、在屏幕上的位置、所描绘的各化身的排列中的位置，获得一个或多个物体等，或者甚至出现在该屏幕上。这在两个或更多个用户可同时处于基于姿势的计算环境的捕捉区域中的情形中特别重要。
基于姿势的计算环境的各方面可带来如下情形：其中需要用户反馈以使该系统适当地接收来自用户的基于姿势的命令。例如，用户可部分走出捕捉区域。为了返回该捕捉区域，用户可能需要来自该系统的反馈，该反馈通知他们说他们部分或全部在捕捉区域外。此外，该反馈可以用基于对该化身的一个或多个方面的改变的虚拟反馈的形式提供。
该化身可以向该用户提供有关基于姿势的计算环境对用户做出的姿势的响应性的反馈。例如，如果用户将他们的臂抬起到某一高度，与该用户相关联的化身也可抬起他们的臂而用户能看到他们需要将他们的臂抬到多高以使该化身完全伸展其臂。因此，可以向该用户提供有关为了从该系统接收到所需的响应用户做出的姿势必须达到的程度的反馈。
另外，该化身可被用于通知用户他们何时具有在该基于姿势的计算环境中输入基于姿势的命令的权限以及他们可输入什么类型的命令。例如，在赛车游戏中，当化身位于车辆中时，该用户可从这种安置了解他们对特定车辆具有控制并且他们可按照对计算环境的命令来输入某些专用于控制车辆的姿势。
用户可以持着物体来控制基于姿势的计算环境的一个或多个方面。该基于姿势的系统可检测、跟踪该物体并对该物体建模并将一虚拟物体放入该化身的手中。该物体的一个或多个方面可改变以通知用户该物体的特征。例如，如果该物体不在该捕捉区域中，则该物体的各方面可变化。作为另一示例，用户可持着代表例如光刀的短柄。该化身所持的虚拟物体可包括该短柄沿着该光刀的虚拟“刀刃”伸部。
附图简述
图1A、1B到1C示出其中用户在玩游戏的基于姿势的控制系统的示例实施例。
图2示出可以在基于姿势的系统中使用的捕捉设备的示例实施例。
图3示出可用于解释用户的一个或多个姿势的计算环境的示例实施例，所述用户绑定至基于姿势的系统并且与虚拟端口相关联。
图4示出可用于解释用户的一个或多个姿势的计算环境的另一示例实施例，所述用户绑定至基于姿势的系统并且与虚拟端口相关联。
图5示出游戏系统的以前的控制环境的示例，其中用电缆连接或无线连接的控制器可用于控制计算环境。
图6示出在基于姿势的系统的捕捉区域中的多个用户，所述基于姿势的系统可绑定用户、向用户提供反馈、并且将用户与虚拟端口相关联。
图7示出可用基于姿势的系统来建模的用户的一个示例，其中该用户被建模为关节和四肢，并且可以使用这些关节和四肢的运动来向基于姿势的计算环境解释各姿势。
图8描绘可在显示屏上提供的一系列样本化身。
图9描绘用于将化身与用户进行关联并经由化身向用户提供反馈的流程图。
图10描绘用于向用户提供有关他们在捕捉区域中的位置的反馈的流程图。
图11描绘用于将多个用户与化身进行关联并经由这些化身向这些用户提供反馈的流程图。
图12描绘用于将化身与用户进行关联并经由化身提供有关用户姿势的反馈的流程图。
说明性实施例的详细描述
如此处将描述的，基于姿势的系统可检测用户并将该用户与化身进行关联。该化身可用于向该用户提供有关与该用户相关联的一个或多个能力、特征、权限或特权的反馈。这些特征、权限和特权可包括例如做出菜单选择、输入命令的权限、该系统对姿势的响应性、有关用户为了将他们自己的中心定位在捕捉区域中而需要移动的方向的信息等等。在非基于姿势的计算环境中，这些特征、权限和特权可以与物理控制器相关联。然而，基于姿势的系统可能需要向用户提供有关这些许可、权限或特权的反馈，因为用户不再具有物理控制器了。
在一个实施例中，该化身可用向用户提供关于该用户所具有的权限的信息的方式来位于计算环境中并显示在显示屏上。例如，如果看到化身具有诸如武器等道具或在虚拟世界中的汽车的轮子后面，该用户可对这些物体具有基于姿势的控制。因此，向用户提供他们在计算环境中的的当前状态和特权的视觉反馈向用户提供了做出有关要向基于姿势的系统提供的输入和化身的动作的决定所必需的信息。
图1A和1B示出其中用户18正在玩拳击游戏的基于姿势的系统10的配置的示例实施例。在一示例实施例中，基于姿势的系统10可用于绑定、识别、分析、跟踪、创建化身，关联特征、权限或特权，关联到人类目标，提供反馈，接收基于姿势的输入、以及/或者适应于诸如用户18等人类目标的各方面。
如图1A所示，基于姿势的系统10可包括计算环境12。计算环境12可以是计算机、游戏系统、控制台等。根据一示例实施例，计算环境12可包括硬件组件和/或软件组件，使得计算环境12可用于执行诸如游戏应用、非游戏应用等应用。
如图1A所示，基于姿势的系统10还可包括捕捉设备20。捕捉设备20可以是例如检测器，该检测器可用于监视诸如用户18等一个或多个用户，以使得可以捕捉、分析并跟踪该一个或多个用户所执行的姿势以提供用户反馈并执行应用中的一个或多个控制或动作，如将在下面更详细地描述的。
根据一个实施例，基于姿势的系统10可连接至诸如电视机、监视器、高清电视机(HDTV)等视听设备16，所述视听设备16可以显示化身，向用户18提供和与用户相关联的权限、特征和特权、用户的移动、虚拟端口、绑定、游戏或应用视觉和/或音频有关的反馈。例如，计算环境12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与关于特征、权限和特权、游戏应用、非游戏应用等的反馈相关联的视听信号。视听设备16可从计算环境12接收视听信号，然后可向用户18输出与该视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例，视听设备16可经由例如S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆、无线连接等连接到计算环境12。
如图1A和1B所示，基于姿势的系统10可用于建模、识别、分析和/或跟踪诸如用户18等人类目标。例如，可使用捕捉设备20来跟踪用户18，以使得可将用户18的位置、移动和大小解释为可用于影响由计算机环境12执行的应用的控制。因而，根据一个实施例，用户18可移动他或她的身体来控制应用。
如图1A和1B所示，在一示例实施例中，在计算环境12上执行的应用可以是用户18可能正在玩的拳击游戏。例如，计算环境12可使用视听设备16来向用户18提供拳击对手22的视觉表示。计算环境12还可使用视听设备16来在屏幕14上提供用户18可用他或她的移动来控制的用户化身24的视觉表示。例如，如图1B所示，用户18可在物理空间中挥拳来使得用户化身24在游戏空间中挥拳。因此，根据一示例实施例，基于姿势的系统10的计算机环境12和捕捉设备20可用于识别和分析用户18在物理空间中的出拳，从而使得该出拳可被解释为对游戏空间中的用户化身24的游戏控制。
在一个实施例中，用户化身24可以是专用于用户18的。用户18可以玩任何数量的游戏，每一游戏可允许使用用户化身24。在一个实施例中，用户可从菜单选项列表中创建化身24。在另一实施例中，化身24可以通过以下步骤来被创建：检测用户18的一个或多个方面，诸如例如用户的发色、身高、大小、衬衫颜色或用户18的任何其他特征，然后基于用户18的各方面来提供化身。作为另一示例，化身24可作为捕捉设备所捕捉的用户的表示开始，用户然后可按任何方式，通过添加或移除任何特征、添加想象元素等来更改该化身。
用户18的其他移动或姿态还可被解释为其他控制或动作，如对奔跑、行走、加速、减速、停止、换挡或武器、瞄准、开火、闪避、跳跃、夺取、打开、关闭、拨弄、玩耍、挥臂、倚靠、注视、轻拍、迂回行进、曳脚走、格挡、猛刺、挥出各种不同力度的重拳等等的控制。控制化身或另外控制计算机环境可能需要的任何其他控制或动作都被包括在内。此外，某些移动或姿态可被解释为可对应于除控制用户化身24之外的动作的控制。例如，用户可使用移动或姿态来进入、退出、打开或关闭系统、暂停、自愿、切换虚拟端口、保存游戏、选择级别、简档或菜单、查看高分、与朋友通信等等。另外，用户18的全范围运动可以用任何合适的方式来获得、使用并分析以与应用进行交互。这些移动和姿态可以是对用户可用的任何移动或姿态，并且可包括进入和退出捕捉区域。例如，在一个实施例中，进入场景可以是基于姿势的系统中的进入姿势或命令。
如图1C所示，诸如用户18等人类目标可持有一物体。在这些实施例中，电子游戏的用户可手持物体从而可以使用用户和物体的运动来调整和/或控制游戏的参数。例如，可以跟踪并利用用户手持球拍21的运动来控制电子运动游戏中的屏幕上球拍来击球23。在另一示例实施例中，可以跟踪并利用用户手持物体的运动来控制电子格斗游戏中的屏幕上武器。也可以包括任何其他物体，诸如一个或多个手套、球、球棒、球杆、吉它、话筒、杆、宠物、动物、鼓等等。
在另一实施例中，用户化身24可以与一个或多个物体一起被描绘在视听显示器上。作为第一示例，基于姿势的系统可检测诸如球拍21等物体，该系统可对该物体进行建模、跟踪等。化身可与用户手持的物体一起被描绘，而虚拟物体可跟踪捕捉区域中物理物体的运动。在这样的示例中，如果物体移到捕捉区域外，则化身手持的虚拟物体的一个或多个方面可以改变。例如，如果球拍部分或全部移到捕捉区域之外，则化身手持的虚拟物体可变亮、变暗、大小增加或减小、改变颜色、消失或以其他方式改变以向用户提供关于捕捉区域中该物体的状态的反馈。
在另一示例中，化身24可与物体一起描绘以向用户提供关于与该用户相关联的权限、特权或特征的反馈。例如，如果用户正在玩田径游戏，且化身首先被描绘为没有接力赛接力棒，然后被描绘为具有接力赛接力棒，则用户可知道他们何时可能需要执行一个或多个任务。作为另一示例，如果有智力竞赛节目型游戏，则该化身可配备有屏幕上的蜂鸣器，蜂鸣器将通知用户他或她有权限抢答(buzz in)。作为一进一步示例，如果有多个用户且有菜单选择选项，则可向具有在菜单屏上做出选择的权限的用户提供一物体以向该用户指示该用户具有做出菜单选择的权限。
根据其他示例实施例，基于姿势的系统10可用于将目标移动和姿态解释为游戏领域之外的操作系统和/或应用控制。例如，事实上操作系统和/或应用的任何可控方面可由诸如用户18等目标的移动或姿态来控制。
图2示出可在基于姿势的系统10中使用的捕捉设备20的示例实施例。根据一示例实施例，捕捉设备20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉包括深度图像的带有深度信息的视频，该深度信息可包括深度值。根据一个实施例，捕捉设备20可将所计算的深度信息组织为“Z层”，或与从深度相机沿其视线延伸的Z轴垂直的层。
如图2所示，根据一示例实施例，图像相机组件25可包括可用于捕捉场景的深度图像的IR光组件26、三维(3-D)相机27和RGB相机28。例如，在飞行时间分析中，捕捉设备20的IR光组件26可以将红外光发射到场景上，然后，可以使用传感器(未示出)，用例如3-D相机27和/或RGB相机28，来检测从场景中的一个或多个目标和物体的表面反向散射的光。在某些实施例中，可以使用脉冲红外光，使得可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到场景中的目标或物体上的特定位置的物理距离。附加地，在其他示例实施例中，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或物体上的特定位置的物理距离。
根据另一示例实施例，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像在内的各种技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备20到目标或物体上的特定位置的物理距离。
在另一示例实施例中，捕捉设备20可使用结构化光来捕捉深度信息。在这一分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件26被投影到场景上。在落到场景中的一个或多个目标或物体的表面上时，作为响应，图案可变形。图案的这种变形可由例如3-D相机27和/或RGB相机28来捕捉，然后可被分析来确定从捕捉设备到目标或物体上的特定位置的物理距离。
根据另一实施例，捕捉设备20可包括两个或更多个物理上分开的相机，这些相机可从不同角度查看场景来获得可被解析以生成深度信息的视觉立体数据。
捕捉设备20还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，话筒30可以被用来减少在基于姿势的系统10中的捕捉设备20和计算环境12之间的反馈。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等应用。
捕捉设备20还可包括反馈组件31。反馈组件31可包括诸如LED或灯泡等灯、扬声器等等。反馈设备可执行改变颜色、打开或关闭、增加或减少亮度、以及以变化的速度闪烁中的至少一个。反馈组件31还可包括可提供一个或多个声音或噪声作为一个或多个状态的反馈的扬声器。反馈组件还可结合计算环境12或处理器32工作来通过捕捉设备的任何其他元件、基于姿势的系统等向用户提供一种或多种形式的反馈。
在示例实施例中，捕捉设备20还可以包括可与图像相机组件25进行可操作的通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于接收深度图像的指令、用于确定合适的目标是否可被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。
捕捉设备20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、由3-D相机或RGB相机所捕捉的图像或图像的帧、用户简档、或任何其他合适的信息、图像等等。根据一个示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图2所示，在一个实施例中，存储器组件34可以是与图像捕捉组件25和处理器32进行通信的单独的组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件25中。
如图2所示，捕捉设备20可经由通信链路36与计算环境12进行通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接之类的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接之类的无线连接。根据一个实施例，计算环境12可以经由通信链路36向捕捉设备20提供时钟，可以使用该时钟来确定何时捕捉例如场景。
另外，捕捉设备20可以通过通信链路36向计算环境12提供深度信息和由例如3-D相机27和/或RGB相机28捕捉到的图像，以及可以由捕捉设备20生成的骨架模型。计算环境12然后可使用骨架模型、深度信息和所捕捉的图像来例如创建虚拟屏幕、修改用户界面、以及控制诸如游戏或文字处理程序等应用。例如，如图2所示，计算环境12可包括姿势库190。姿势库190可包括姿势过滤器集合，每一姿势过滤器包括关于骨架模型可执行(在用户移动时)的姿势的信息。可以将由相机26、27和设备20以骨架模型及与之相关联的移动的形式捕捉的数据与姿势库190中的姿势过滤器进行比较，以标识(如由骨架模型所表示的)用户何时执行了一个或多个姿势。那些姿势可与应用的各种控制相关联。因此，计算环境12可使用姿势库190来解释骨架模型的移动并基于该移动来控制应用。
图3示出了可用于实现图1A-2的计算环境12的计算环境的示例实施例。计算环境12可包括诸如游戏控制台的多媒体控制台100。如图3所示，多媒体控制台100具有含有一级高速缓存102、二级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的核，以及由此的附加的一级和二级高速缓存102和104。闪存ROM 106可存储在多媒体控制台100通电时引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从图形处理单元108向视频编码器/视频编解码器114运送数据。视频处理流水线向A/V(音频/视频)端口140输出数据，用于传输至电视或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如但不局限于RAM(随机存取存储器)。
多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。
提供系统存储器143来存储在引导过程期间加载的应用数据。提供介质驱动器144，该介质驱动器可以包括DVD/CD驱动器、硬盘驱动器，或其他可移动介质驱动器等。介质驱动器144可以内置或外置于多媒体控制台100。应用数据可经由介质驱动器144访问，以由多媒体控制台100执行、回放等。介质驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
前面板I/O子部件130可以包括可向用户18提供多媒体控制100的控制状态的音频或视觉反馈的LED、视觉显示屏、灯泡、扬声器或任何其他装置。例如，如果系统处在捕捉设备20未检测到任何用户的状态，则可以在前面板I/O子部件130上反映这一状态。如果系统状态改变，例如，用户变成绑定至系统，则可以在前面板I/O子部件上更新反馈状态以反映状态的变化。
CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各种其他组件经由一条或多条总线互连，总线包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，介质驱动器144中包含的应用和/或其他媒体可从介质驱动器144启动或播放，以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为更大网络社区中的参与者来操作。
当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留(例如，16MB)、CPU和GPU周期保留(例如，5％)、网络带宽保留(例如，8kbs)等。因为这些资源是在系统引导时保留的，所以所保留的资源从应用的角度而言是不存在的。
具体而言，存储器保留优选地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留优选地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来调度代码来将弹出窗口呈现为覆盖图以显示由系统应用生成的轻量消息(例如，弹出窗口)。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率并引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源中执行的一组系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。
当并发系统应用需要音频时，则由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是保留资源，而是在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。相机27、28和捕捉设备20可为控制台100定义额外的输入设备。
图4示出了可用于实现图1A-2所示的计算环境12的计算环境220的另一示例实施例。计算环境220只是合适的计算环境的一个示例，并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中，所描绘的各种计算元素可包括被配置成实例化本发明的各具体方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。其他示例中，术语电路可包括由实施可用于执行功能的逻辑的软件指令配置的通用处理单元、存储器等。在其中电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。因此，对于硬件实现还是软件实现的选择是设计选择并留给实现者。
在图4中，计算环境220包括计算机241，计算机241通常包括各种计算机可读介质。计算机可读介质可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。包含诸如在启动期间帮助在计算机241内的元件之间传输信息的基本例程的基本输入/输出系统224(BIOS)通常储存储在ROM 223中。RAM 260通常包含处理单元259可立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非限制，图4示出了操作系统225、应用程序226、其他程序模块227和程序数据228。
计算机241也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图4示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器238，从可移动、非易失性磁盘254中读取或向其写入的磁盘驱动器239，以及从诸如CD ROM或其他光学介质等可移动、非易失性光盘253中读取或向其写入的光盘驱动器240。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器238通常由诸如接口234等不可移动存储器接口连接至系统总线221，并且磁盘驱动器239和光盘驱动器240通常由诸如接口235等可移动存储器接口连接至系统总线221。
以上讨论并在图4中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图4中，例如，硬盘驱动器238被示为存储操作系统258、应用程序257、其他程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。在此操作系统258、应用程序257、其他程序模块256以及程序数据255被给予了不同的编号，以说明至少它们是不同的副本。用户可以通过输入设备，例如键盘251和定点设备252——通常是指鼠标、跟踪球或触摸垫——向计算机241输入命令和信息。其他输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪、捕捉设备等。这些和其他输入设备通常通过耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，例如并行端口、游戏端口或通用串行总线(USB)来连接。相机27、28和捕捉设备20可为控制台100定义额外的输入设备。监视器242或其他类型的显示设备也通过诸如视频接口232之类的接口连接至系统总线221。除监视器之外，计算机还可以包括可以通过输出外围接口233连接的诸如扬声器244和打印机243之类的其他外围输出设备。
计算机241可以使用到一个或多个远程计算机(如远程计算机246)的逻辑连接，以在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点，并且通常包括许多或所有以上关于计算机241所描述的元件，但在图4中仅示出了存储器存储设备247。图2中所描绘的逻辑连接包括局域网(LAN)245和广域网(WAN)249，但还可包括其他网络。这些联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当用于LAN联网环境中时，计算机241通过网络接口或适配器237连接到LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他手段。调制解调器250，可以是内置的或外置的，可以经由用户输入接口236或其他适当的机制，连接到系统总线221。在联网环境中，相对于计算机241所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图4示出了远程应用程序248驻留在存储器设备247上。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。
图5示出仅使用有线地或无线地连接的控制的现有技术系统的示例实施例。在这一实施例中，诸如游戏控制器、操纵杆、鼠标、键盘等控制器294或通过电缆292或无线地连接至计算环境12。按下特定的按钮或按键可以使设定的信号被发送至计算环境。当用户按下按钮时，计算环境可以预设方式响应。而且，这些控制器一般与特定的物理端口290相关联。在现有技术游戏环境的示例中，控制器1可以被插入第一物理端口，控制器2可以被插入第二物理端口等等。控制器1可以有相关联的控制主导，或者对游戏环境中对其他控制器不可用的某些方面的控制。例如，当选择格斗游戏中的特定级别或场面时，可能只有第一控制器能选择。
诸如基于姿势的系统10等基于姿势的系统可能需要将某些能力、特征、权限和特权与一用户相关联而不使用现有技术中的物理电缆和物理端口。如果有多个用户，每个用户与一个虚拟端口相关联，则这些用户可能需要反馈以确定他们关联至哪些端口。在用户到虚拟端口的初始关联之后，如果端口需要与第二用户重新关联，则两个用户都可能需要某一反馈以指示该虚拟端口已被重新关联。当虚拟端口与不同的用户重新关联时，可以在重新关联之时或附近提供附加的音频或视觉反馈(除了可以持续显示的标准反馈之外)，以进一步警告用户重新关联已发生。可能需要通知用户关于计算环境的其他方面，而用户化身可用一种或多种方式改变以提供关于计算环境的反馈。
图6示出捕捉区域300，捕捉区域300可以如上参照图1A-1C所述地由捕捉设备20来捕捉。用户302可部分位于捕捉区域300中。在图6中，用户302未完全处在捕捉设备20的捕捉区域300中，这意味着基于姿势的系统10可能不能执行与用户302相关联的一个或多个动作。在这种情况下，由计算环境12、或捕捉设备20或视听显示器16提供给用户302的反馈可更改与该用户相关联的化身的一个或多个方面。
在另一实施例中，诸如用户304等用户可以处在捕捉区域300中。在这种情况下，基于姿势的控制系统10可将用户304绑定为该基于姿势的控制系统的控制者。可通过化身向用户304提供关于以下中的一个或多个的反馈：用户玩家号、用户对计算机环境或化身所具有的控制的范围和类型、用户的当前姿态和姿势以及任何相关联的特征权限和特权。
如果多个用户处在捕捉区域300中，则基于姿势的控制系统可以提供关于与捕捉区域中的每个用户相关联的特征、权限和特权的反馈。例如，捕捉区域中的所有用户具有响应于每个用户的运动或姿态并且基于与每个用户相关联的特征、权限和特权而以一种或多种方式改变的相应化身。
用户可走得离捕捉设备太远、太近、或向左或向右走得太远。在这一情况下，基于姿势的控制系统可以提供反馈，反馈的形式可以是‘越界’信号、或者是向用户通知他可能需要在特定方向上移动以便使捕捉设备能正确地捕捉他的图像的特定反馈。例如，如果用户304向左移动得太远，则屏幕上可弹出指导他向右返回的箭头，或者化身可指向用户需要移动的方向。提供给用户的这些指示还可以经由化身、在捕捉设备上、或由计算环境提供。音频信号可以伴随上述视觉反馈。
图7描绘了人类用户510的骨架模型，该骨架模型可以用捕捉设备20和计算环境12来创建。该模型可由基于姿势的系统10的一个或多个方面用来确定姿势等。该模型可由关节512和骨骼514组成。对这些关节和骨骼进行跟踪可以使基于姿势的系统能确定用户正在做出什么姿势。这些姿势可用于控制基于姿势的系统。此外，该骨架模型可用于构造化身并跟踪用户的姿势来控制该化身的一个或多个方面。
图8描绘了三个示例化身，每个示例化身可用作基于姿势的系统中的用户的图示。在一个实施例中，用户可使用菜单、表格等创建化身。例如，诸如发色、身高、眼睛颜色等特征可从任何数量的选项之一中选出。在另一实施例中，捕捉设备可捕捉用户的骨架模型以及关于用户的其他信息。例如，骨架模型可给出骨骼位置，而一个或多个相机可提供用户的轮廓。RGB相机可用于确定头发、眼睛、服饰、皮肤等的颜色。因此可基于用户的各方面来创建化身。此外，计算环境可创建用户的表示，然后用户可使用一个或多个表格或菜单等来修改该表示。
作为一进一步示例，系统可创建随机化身或具有用户能选择的预先创建的化身。用户可具有可含有一个或多个化身的一个或多个简档，用户或系统可针对特定的游戏会话、游戏模式等进行选择。
图8所描绘的化身可跟踪至用户可做出的运动。例如，如果捕捉区域中的用户抬起他或她的臂，则该化身的臂也可抬起。这可向用户提供关于化身的基于用户的运动的运动的信息。例如，用户可能够通过抬起他或她的手来确定哪只是化身的右手而哪只是化身的左手。此外，通过做出一系列运动来观察化身如何响应，可确定化身的响应性。作为另一示例，如果化身在特定环境中受到限制(即，化身不能移动它的腿或脚)，则用户可以通过尝试移动他或她的腿而没有从化身接收到响应来确定这个事实。此外，某些姿势可用与用户的姿势不直接相关的方式来控制化身。例如，在赛车游戏中，将一只脚向前或向后放可致使汽车加速或减速。化身可基于这样的姿势来提供关于对汽车的控制的反馈。
图9是示出一种方法的一个实施例的流程图，通过该方法，在步骤601检测到捕捉区域中的用户并在步骤603将该用户与第一化身相关联。在603，通过基于姿势的系统识别用户并将其与该化身相关联、或者通过允许用户从表格中选择简档或化身，可将该化身与第一用户相关联。作为另一示例，在603，可自动地或经由从一个或多个表格、菜单等中选择来创建化身并然后将该化身与用户相关联。作为另一示例，在603，可随机选择化身并将其与用户相关联。与其中化身与特定的物理控制器相关联的系统不同，在所示方法中，化身与已经由基于姿势的系统10的捕捉设备20和计算环境12识别的用户相关联。
在605，可将能力、特征、权限和/或特权与所识别的用户相关联。该能力、特征、权限和/或特权可以是基于姿势的计算环境中可用的任何能力、特征、权限和/或特权。一些示例而非限制包括：用户在游戏或应用中的许可、对用户可用的菜单选择选项、输入基于姿势的命令的权限、玩家号分配、检测确定、与虚拟端口的关联、绑定信息、基于姿势的系统对姿势的响应性、简档选项或基于姿势的计算环境的任何其他方面。
在607，在用户的计算会话中可以通过改变与所识别的用户相关联的化身的一个或多个方面来向用户通知一个或多个相关联的能力、权限、特征和/或特权。例如，化身可改变颜色、在大小上增加或减小、变亮或变暗、获得光晕(halo)或另一物体、在屏幕上向上或向下移动、在圈或行中将其自身与其他化身重新排序等等。化身还可用一种或多种方式移动或做出姿态以向基于姿势的计算环境的用户提供反馈。
图10是用于经由用户化身通知用户一个或多个身体部位没有在基于姿势的计算环境的捕捉区域中被检测到的方法的实施例的流程图。在620，可在诸如例如上面参考图6描述的捕捉区域300等捕捉区域中检测到第一用户。在622，可如上所述将化身与第一用户相关联。在624，基于姿势的计算环境可确定第一用户在捕捉区域中的位置。该位置可以使用上述各系统的任何组合来确定，诸如：例如，捕捉设备20、计算环境12、相机26和27或用于构建用户模型并确定该用户在捕捉区域300中的位置的任何其他元件。
在626，基于姿势的计算环境可确定在捕捉区域中没有检测到第一用户的一部分。当系统确定用户的一个或多个身体部位不在捕捉区域中时，在628，第一化身的外观可以以一种或多种方式更改以通知用户他们没有被完全检测到。例如，如果用户的双臂之一在基于姿势的计算环境的捕捉区域之外，则化身上对应的臂可改变外观。该外观可以以任何方式改变，包括但不限于：颜色、亮度、大小或形状的改变；或将诸如光晕、有向箭头、数字或任何其他物体等物体放在臂上或臂周围。作为另一示例，如果用户完全移出捕捉区域之外，或移动得离捕捉设备太近，则化身可以以一种或多种方式改变以通知第一用户它们没有被正确地检测到。在这种情况下，可在显示屏上提供显示以通知第一用户它们必须移动的方向。此外，如上所述的化身的一个或多个方面可改变以向用户提供他们的未检测状态和到检测状态的进展两者的反馈。
图11是示出检测到多个用户、将化身与每个用户相关联以及经由每个用户的化身向每个用户提供反馈的实施例的流程图。在图11中，在650，可检测捕捉区域中的第一用户并在652将第一化身与其相关联。在654，可检测到捕捉区域中的第二用户并在656将第二化身与该第二用户相关联。在658，如上所述，可经由第一化身向第一用户提供关于基于姿势的计算环境的一个或多个特征、权限和/或特权的反馈。类似地，在660，可经由第二化身向第二用户提供关于基于姿势的计算环境的一个或多个特征、权限和/或特权的反馈。
图12是示出用于经由用户化身向用户提供关于基于姿势的计算环境对他的运动的反馈的实施例的流程图。在图12中，在670，检测到捕捉区域中的第一用户。在672，将第一化身与第一用户相关联。可使用上述方法对第一用户进行跟踪和建模，并在674确定第一用户的运动或姿态。基于在674确定的运动，在676可以以一种或多种方式修改第一化身。例如，如果第一用户抬起他们的臂，则化身也可抬起他们的臂。通过观看化身，第一用户可被提供关于该计算环境和化身的各方面的反馈。例如，用户可接收关于他们身体上的哪只臂与化身的臂之一相关联的反馈。作为另一示例，用户接收向他们通知他们不需要完全伸展他们的臂来使化身完全伸展其臂的反馈。
应该理解，此处所述的配置和/或方法在本质上是示例性的，且这些具体实施例或示例不被认为是限制性的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或更多个。由此，所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行等等。同样，可以改变上述过程的次序。
另外，本公开的主题包括各种过程、系统和配置的组合和子组合，以及此处所公开的其他特征、功能、动作、和/或特性、及其等效物。

Claims (15)

1.一种用于向用户提供关于计算环境的反馈的方法，所述方法包括：
使用基于图像的捕捉设备(20)识别(601)捕捉区域(300)中第一用户(18)的存在；
将第一化身(24)与所述第一用户(18)相关联(603)并在显示屏(16)上显示所述第一化身(24)；
识别(605)所述捕捉区域(300)内的所述第一用户(18)的各方面；以及
修改(607)所述第一化身(24)的外观以向所述第一用户(18)提供关于所述第一用户(18)在所述计算环境中的能力、特征、权限或许可中的至少一项的反馈。
2.如权利要求1所述的方法，其特征在于，还包括：
使用所述基于图像的捕捉设备(20)识别(654)所述捕捉区域(300)中第二用户的存在；
将第二化身与所述第二用户相关联(656)并在所述显示屏(16)上显示所述第二化身；
识别所述捕捉区域(300)内的所述第二用户的各方面；以及
修改所述第二化身的外观以向所述第二用户提供关于所述第二用户在所述计算环境中的能力、特征、权限或许可中的至少一项的反馈(660)。
3.如权利要求2所述的方法，其特征在于，通过所述第一化身(24)在所述显示屏(16)上的存在和所述第二化身在所述显示屏(16)上的不存在指示所述第一用户(18)为活动玩家。
4.如权利要求1所述的方法，其特征在于，还包括识别所述第一用户的一个或多个身体部位没有在所述捕捉区域中被检测到(图6)，并且基于所述识别，修改所述第一化身(24)的各方面以在视觉上向所述用户(18)指示所述一个或多个身体部位没有被检测到。
5.如权利要求1所述的方法，其特征在于，修改所述第一化身(24)包括在所述第一化身(24)上或在所述第一化身(24)附近放置数字、名字或物体。
6.如权利要求1所述的方法，其特征在于，响应于来自所述用户的运动而显示所述第一化身(24)的运动指示所述第一化身(24)和所述用户之间的对应。
7.一种其上存储有用于向用户提供关于计算环境的反馈的计算机可执行指令的计算机可读存储介质，所述计算机可执行指令包括用于执行以下操作的指令：
使用基于图像的捕捉设备识别(601)捕捉区域(300)中第一用户(18)的存在；
将第一化身(24)与所述第一用户(18)相关联(603)并在显示屏(16)上显示所述第一化身(24)；
识别(605)所述捕捉区域(300)内的所述第一用户(18)的各方面；以及
修改(607)所述第一化身(24)的外观以向所述第一用户(18)提供关于所述第一用户在所述计算环境中的能力、特征、权限或许可中的至少一项的反馈。
8.如权利要求7所述的计算机可读存储介质，其特征在于，还包括用于执行以下操作的指令：
使用所述基于图像的捕捉设备识别(654)所述捕捉区域(300)中第二用户的存在；
将第二化身与所述第二用户相关联(656)并在所述显示屏(16)上显示所述第二化身；
识别(660)所述捕捉区域(300)内的所述第二用户的方面；以及
修改(660)所述第二化身的外观以向所述第二用户提供关于所述第二用户在所述计算环境中的能力、特征、权限或许可中的至少一项的反馈。
9.如权利要求8所述的计算机可读存储介质，其特征在于，还包括用于通过所述第一化身(24)在所述显示屏(16)上的存在和所述第二化身在所述显示屏(16)上的不存在指示所述第一用户(18)为活动玩家的指令。
10.如权利要求7所述的计算机可读存储介质，其特征在于，还包括用于识别所述第一用户的一个或多个身体部位没有在所述捕捉区域中被检测到(626)，以及基于所述识别修改所述第一化身的各方面以在视觉上向所述用户指示所述一个或多个身体部位没有被检测到(628)的指令。
11.如权利要求7所述的计算机可读存储介质，其特征在于，用于修改所述第一化身(24)的指令包括用于更改所述第一化身(24)的大小、颜色或亮度中的至少一项的指令。
12.如权利要求7所述的计算机可读存储介质，其特征在于，用于修改所述第一化身(24)的指令包括用于在所述第一化身(24)周围添加或移除光晕、在所述第一化身(24)下方添加或移除下划线或在所述第一化身(24)附近添加或移除箭头或其他指示标记的指令。
13.如权利要求7所述的计算机可读存储介质，其特征在于，用于修改所述第一化身(24)的指令包括用于将所述第一化身(24)在诸如行等特定排列中排序或将所述第一化身(24)放置在诸如圈等特定几何排列中的一个或多个位置处的指令。
14.一种用于向用户(18)提供关于计算环境的反馈的系统，所述系统包括：
基于图像的捕捉设备(20)，其中所述基于图像的捕捉设备(20)包括接收场景的图像数据并识别(650)捕捉区域(300)中第一用户(18)的存在的相机组件；以及
与所述基于图像的捕捉设备(20)可操作地通信的计算设备，其中所述计算设备包括处理器，所述处理器：将第一化身(24)与所述第一用户(18)相关联(652)并在显示屏(16)上显示所述第一化身(24)；识别所述捕捉区域内的所述第一用户的各方面；以及修改所述第一化身的外观以向所述第一用户提供关于所述第一用户在所述计算环境中的能力、特征、权限或许可中的至少一项的反馈(658)。
15.如权利要求14所述的系统，其特征在于，所述处理器还：使用所述基于图像的捕捉设备(20)识别所述捕捉区域中的第二用户的存在(654)；将第二化身与所述第二用户相关联(656)并在所述显示屏(16)上显示所述第二化身；识别所述捕捉区域(300)内的所述第二用户的各方面；以及修改所述第二化身的外观以向所述第二用户提供关于所述第二用户在所述计算环境中的能力、特征、权限或许可中的至少一项的反馈(660)。
CN2010800246209A 2009-05-29 2010-05-25 经由屏幕上化身进行用户移动反馈的系统和方法 Active CN102448560B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/475,304 US20100306685A1 (en) 2009-05-29 2009-05-29 User movement feedback via on-screen avatars
US12/475,304 2009-05-29
PCT/US2010/036016 WO2010138477A2 (en) 2009-05-29 2010-05-25 User movement feedback via on-screen avatars

Publications (2)

Publication Number Publication Date
CN102448560A true CN102448560A (zh) 2012-05-09
CN102448560B CN102448560B (zh) 2013-09-11

Family

ID=43221706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800246209A Active CN102448560B (zh) 2009-05-29 2010-05-25 经由屏幕上化身进行用户移动反馈的系统和方法

Country Status (3)

Country Link
US (2) US20100306685A1 (zh)
CN (1) CN102448560B (zh)
WO (1) WO2010138477A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575446A (zh) * 2014-09-24 2017-04-19 英特尔公司 面部动作驱动的动画通信系统

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8579720B2 (en) 2008-11-10 2013-11-12 Norman Douglas Bittner Putting stroke training system
US8616993B2 (en) 2008-11-10 2013-12-31 Norman Douglas Bittner Putter path detection and analysis
US9586135B1 (en) * 2008-11-12 2017-03-07 David G. Capper Video motion capture for wireless gaming
US10086262B1 (en) 2008-11-12 2018-10-02 David G. Capper Video motion capture for wireless gaming
FR2948480B1 (fr) * 2009-07-24 2012-03-09 Alcatel Lucent Procede de traitement d'image, procede d'adaptation de l'affichage d'avatars, processeur de traitement d'image, serveur de monde virtuel et terminal de communication
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US9535493B2 (en) * 2010-04-13 2017-01-03 Nokia Technologies Oy Apparatus, method, computer program and user interface
US8749557B2 (en) 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
EP2421252A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
EP2421251A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
US9304592B2 (en) * 2010-11-12 2016-04-05 At&T Intellectual Property I, L.P. Electronic device control based on gestures
CN102760302A (zh) * 2011-04-27 2012-10-31 德信互动科技（北京）有限公司 角色形象控制装置及方法
US8788973B2 (en) 2011-05-23 2014-07-22 Microsoft Corporation Three-dimensional gesture controlled avatar configuration interface
US9159152B1 (en) * 2011-07-18 2015-10-13 Motion Reality, Inc. Mapping between a capture volume and a virtual world in a motion capture simulation environment
US9778737B1 (en) * 2011-08-31 2017-10-03 Amazon Technologies, Inc. Game recommendations based on gesture type
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9051127B2 (en) * 2012-04-03 2015-06-09 Scott Conroy Grain auger protection system
US9210401B2 (en) 2012-05-03 2015-12-08 Microsoft Technology Licensing, Llc Projected visual cues for guiding physical movement
US8814683B2 (en) 2013-01-22 2014-08-26 Wms Gaming Inc. Gaming system and methods adapted to utilize recorded player gestures
US20140223326A1 (en) * 2013-02-06 2014-08-07 International Business Machines Corporation Apparatus and methods for co-located social integration and interactions
TWI537767B (zh) * 2013-10-04 2016-06-11 財團法人工業技術研究院 可調體感範圍之多人指引系統與其方法
US20160262685A1 (en) 2013-11-12 2016-09-15 Highland Instruments, Inc. Motion analysis systemsand methods of use thereof
US9462878B1 (en) 2014-02-20 2016-10-11 Appcessories Llc Self-contained, interactive gaming oral brush
GB2524993A (en) * 2014-04-08 2015-10-14 China Ind Ltd Interactive combat gaming system
KR102214194B1 (ko) * 2014-08-19 2021-02-09 삼성전자 주식회사 Rf센서를 가진 디스플레이장치 및 디스플레이장치의 사용자 감지방법
US10218882B2 (en) 2015-12-31 2019-02-26 Microsoft Technology Licensing, Llc Feedback for object pose tracker
US10771508B2 (en) 2016-01-19 2020-09-08 Nadejda Sarmova Systems and methods for establishing a virtual shared experience for media playback
EP3783461A1 (en) * 2017-08-22 2021-02-24 ameria AG User readiness for touchless gesture-controlled display systems
US10653957B2 (en) 2017-12-06 2020-05-19 Universal City Studios Llc Interactive video game system
JP7135472B2 (ja) * 2018-06-11 2022-09-13 カシオ計算機株式会社 表示制御装置、表示制御方法及び表示制御プログラム
US11282282B2 (en) 2018-12-14 2022-03-22 Vulcan Inc. Virtual and physical reality integration
US20240096033A1 (en) * 2021-10-11 2024-03-21 Meta Platforms Technologies, Llc Technology for creating, replicating and/or controlling avatars in extended reality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050215319A1 (en) * 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
CN1764931A (zh) * 2003-02-11 2006-04-26 索尼电脑娱乐公司 实时运动捕捉的方法和设备
US20070260984A1 (en) * 2006-05-07 2007-11-08 Sony Computer Entertainment Inc. Methods for interactive communications with real time effects and avatar environment interaction
US20090085864A1 (en) * 2007-10-02 2009-04-02 Gershom Kutliroff Method and system for gesture classification

Family Cites Families (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1997001112A2 (en) * 1995-06-22 1997-01-09 3Dv Systems Ltd. Telecentric 3d camera and method of rangefinding
IL114278A (en) * 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US6430997B1 (en) * 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US5880731A (en) * 1995-12-14 1999-03-09 Microsoft Corporation Use of avatars with automatic gesturing and bounded interaction in on-line chat session
US6151009A (en) * 1996-08-21 2000-11-21 Carnegie Mellon University Method and apparatus for merging real and synthetic images
NL1004648C2 (nl) * 1996-11-11 1998-05-14 Johan Michiel Schaaij Computerspelsysteem.
US6075895A (en) * 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6031934A (en) * 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
JPH11154240A (ja) * 1997-11-20 1999-06-08 Nintendo Co Ltd 取込み画像を用いて画像を作成するための画像作成装置
JPH11195138A (ja) * 1998-01-06 1999-07-21 Sharp Corp 画像処理装置
US6115052A (en) * 1998-02-12 2000-09-05 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6570555B1 (en) * 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
EP1214609B1 (en) * 1999-09-08 2004-12-15 3DV Systems Ltd. 3d imaging system
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US7006236B2 (en) * 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US7050177B2 (en) * 2002-05-22 2006-05-23 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
DE19960180B4 (de) * 1999-12-14 2006-03-09 Rheinmetall W & M Gmbh Verfahren zur Herstellung eines Sprenggeschosses
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
TW522732B (en) * 2000-02-15 2003-03-01 Sorceron Inc Method and system for distributing captured motion data over a network
US6663491B2 (en) * 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
JP4441979B2 (ja) * 2000-04-28 2010-03-31 ソニー株式会社 情報処理装置および方法、並びに記録媒体
US6784901B1 (en) * 2000-05-09 2004-08-31 There Method, system and computer program product for the delivery of a chat message in a 3D multi-user environment
US20020008716A1 (en) * 2000-07-21 2002-01-24 Colburn Robert A. System and method for controlling expression characteristics of a virtual agent
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US20050206610A1 (en) * 2000-09-29 2005-09-22 Gary Gerard Cordelli Computer-"reflected" (avatar) mirror
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
JP3725460B2 (ja) * 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US20030018719A1 (en) * 2000-12-27 2003-01-23 Ruths Derek Augustus Samuel Data-centric collaborative computing platform
US8939831B2 (en) * 2001-03-08 2015-01-27 Brian M. Dugan Systems and methods for improving fitness equipment and exercise
US6539931B2 (en) * 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7340077B2 (en) * 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US8125459B2 (en) * 2007-10-01 2012-02-28 Igt Multi-user input systems and processing techniques for serving multiple users
US7151530B2 (en) * 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US7225414B1 (en) * 2002-09-10 2007-05-29 Videomining Corporation Method and system for virtual touch entertainment
US20040063480A1 (en) * 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
US7386799B1 (en) * 2002-11-21 2008-06-10 Forterra Systems, Inc. Cinematic techniques in avatar-centric communication during a multi-user online simulation
GB2398691B (en) * 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
US20070098250A1 (en) * 2003-05-01 2007-05-03 Delta Dansk Elektronik, Lys Og Akustik Man-machine interface based on 3-D positions of the human body
US7372977B2 (en) * 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US7755608B2 (en) * 2004-01-23 2010-07-13 Hewlett-Packard Development Company, L.P. Systems and methods of interfacing with a machine
CN100573548C (zh) * 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
US20050245317A1 (en) * 2004-04-30 2005-11-03 Microsoft Corporation Voice chat in game console application
US7634533B2 (en) * 2004-04-30 2009-12-15 Microsoft Corporation Systems and methods for real-time audio-visual communication and data collaboration in a network conference environment
US20060015560A1 (en) * 2004-05-11 2006-01-19 Microsoft Corporation Multi-sensory emoticons in a communication system
US7704135B2 (en) * 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
US7991220B2 (en) * 2004-09-01 2011-08-02 Sony Computer Entertainment Inc. Augmented reality game system using identification information to display a virtual object in association with a position of a real object
EP1645944B1 (en) * 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
JP4449723B2 (ja) * 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US8369795B2 (en) * 2005-01-12 2013-02-05 Microsoft Corporation Game console notification system
US8009871B2 (en) * 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
US20060205518A1 (en) * 2005-03-08 2006-09-14 Microsoft Corporation Systems and methods for providing system level notifications in a multimedia console
KR100688743B1 (ko) * 2005-03-11 2007-03-02 삼성전기주식회사 멀티 레이어 커패시터 내장형의 인쇄회로기판의 제조방법
JP4686595B2 (ja) * 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
US7664571B2 (en) * 2005-04-18 2010-02-16 Honda Motor Co., Ltd. Controlling a robot using pose
US20070021207A1 (en) * 2005-07-25 2007-01-25 Ned Ahdoot Interactive combat game between a real player and a projected image of a computer generated player or a real player with a predictive method
GB2431717A (en) * 2005-10-31 2007-05-02 Sony Uk Ltd Scene analysis
US20070111796A1 (en) * 2005-11-16 2007-05-17 Microsoft Corporation Association of peripherals communicatively attached to a console device
CN101496032B (zh) * 2006-02-27 2011-08-17 普莱姆传感有限公司 使用斑纹解相关的距离映射的方法及设备
US20070245881A1 (en) * 2006-04-04 2007-10-25 Eran Egozy Method and apparatus for providing a simulated band experience including online interaction
US8223186B2 (en) * 2006-05-31 2012-07-17 Hewlett-Packard Development Company, L.P. User interface for a video teleconference
EP2584530A2 (en) * 2006-08-03 2013-04-24 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
US8395658B2 (en) * 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
US8131011B2 (en) * 2006-09-25 2012-03-06 University Of Southern California Human detection and tracking system
US8683386B2 (en) * 2006-10-03 2014-03-25 Brian Mark Shuster Virtual environment for computer game
US7634540B2 (en) * 2006-10-12 2009-12-15 Seiko Epson Corporation Presenter view control system and method
JP5294554B2 (ja) * 2006-11-16 2013-09-18 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステムおよびゲーム処理方法
US20080134102A1 (en) * 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
US8351646B2 (en) * 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US9569876B2 (en) * 2006-12-21 2017-02-14 Brian Mark Shuster Animation control method for multiple participants
CN102685441A (zh) * 2007-01-23 2012-09-19 欧几里得发现有限责任公司 用于提供个人视频服务的系统和方法
JP5226960B2 (ja) * 2007-02-28 2013-07-03 株式会社スクウェア・エニックス ゲーム装置及び仮想カメラの制御方法、並びにプログラム及び記録媒体
US20080215974A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Interactive user controlled avatar animations
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US20080250315A1 (en) * 2007-04-09 2008-10-09 Nokia Corporation Graphical representation for accessing and representing media files
WO2008134745A1 (en) * 2007-04-30 2008-11-06 Gesturetek, Inc. Mobile video-based therapy
US9317110B2 (en) * 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
GB2450757A (en) * 2007-07-06 2009-01-07 Sony Comp Entertainment Europe Avatar customisation, transmission and reception
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US8565535B2 (en) * 2007-08-20 2013-10-22 Qualcomm Incorporated Rejecting out-of-vocabulary words
US9111285B2 (en) * 2007-08-27 2015-08-18 Qurio Holdings, Inc. System and method for representing content, user presence and interaction within virtual world advertising environments
US8230367B2 (en) * 2007-09-14 2012-07-24 Intellectual Ventures Holding 67 Llc Gesture-based user interactions with status indicators for acceptable inputs in volumetric zones
WO2009042579A1 (en) * 2007-09-24 2009-04-02 Gesturetek, Inc. Enhanced interface for voice and video communications
US8049756B2 (en) * 2007-10-30 2011-11-01 Brian Mark Shuster Time-dependent client inactivity indicia in a multi-user animation environment
JP5844044B2 (ja) * 2007-11-21 2016-01-13 クアルコム，インコーポレイテッド デバイスアクセス制御
WO2009067670A1 (en) * 2007-11-21 2009-05-28 Gesturetek, Inc. Media preferences
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) * 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US8149210B2 (en) * 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US8368753B2 (en) * 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US20090259937A1 (en) * 2008-04-11 2009-10-15 Rohall Steven L Brainstorming Tool in a 3D Virtual Environment
US20110107239A1 (en) * 2008-05-01 2011-05-05 Uri Adoni Device, system and method of interactive game
US8864652B2 (en) * 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
EP2327005B1 (en) * 2008-07-25 2017-08-23 Qualcomm Incorporated Enhanced detection of waving gesture
AU2009281762A1 (en) * 2008-08-15 2010-02-18 Brown University Method and apparatus for estimating body shape
NO333026B1 (no) * 2008-09-17 2013-02-18 Cisco Systems Int Sarl Styringssystem for et lokalt telepresencevideokonferansesystem og fremgangsmate for a etablere en videokonferansesamtale.
US8176421B2 (en) * 2008-09-26 2012-05-08 International Business Machines Corporation Virtual universe supervisory presence
US8648865B2 (en) * 2008-09-26 2014-02-11 International Business Machines Corporation Variable rendering of virtual universe avatars
US8108774B2 (en) * 2008-09-26 2012-01-31 International Business Machines Corporation Avatar appearance transformation in a virtual universe
US9399167B2 (en) * 2008-10-14 2016-07-26 Microsoft Technology Licensing, Llc Virtual space mapping of a variable activity region
US20100153858A1 (en) * 2008-12-11 2010-06-17 Paul Gausman Uniform virtual environments
US20100169796A1 (en) * 2008-12-28 2010-07-01 Nortel Networks Limited Visual Indication of Audio Context in a Computer-Generated Virtual Environment
US8584026B2 (en) * 2008-12-29 2013-11-12 Avaya Inc. User interface for orienting new users to a three dimensional computer-generated virtual environment
US9176579B2 (en) * 2008-12-29 2015-11-03 Avaya Inc. Visual indication of user interests in a computer-generated virtual environment
US20100169799A1 (en) * 2008-12-30 2010-07-01 Nortel Networks Limited Method and Apparatus for Enabling Presentations to Large Numbers of Users in a Virtual Environment
US9142024B2 (en) * 2008-12-31 2015-09-22 Lucasfilm Entertainment Company Ltd. Visual and physical motion sensing for three-dimensional motion capture
US8161398B2 (en) * 2009-05-08 2012-04-17 International Business Machines Corporation Assistive group setting management in a virtual world

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1764931A (zh) * 2003-02-11 2006-04-26 索尼电脑娱乐公司 实时运动捕捉的方法和设备
US20050215319A1 (en) * 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
US20070260984A1 (en) * 2006-05-07 2007-11-08 Sony Computer Entertainment Inc. Methods for interactive communications with real time effects and avatar environment interaction
US20090085864A1 (en) * 2007-10-02 2009-04-02 Gershom Kutliroff Method and system for gesture classification

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575446A (zh) * 2014-09-24 2017-04-19 英特尔公司 面部动作驱动的动画通信系统
CN106575446B (zh) * 2014-09-24 2020-04-21 英特尔公司 面部动作驱动的动画通信系统

Also Published As

Publication number Publication date
US20170095738A1 (en) 2017-04-06
US20100306685A1 (en) 2010-12-02
WO2010138477A2 (en) 2010-12-02
CN102448560B (zh) 2013-09-11
WO2010138477A3 (en) 2011-02-24

Similar Documents

Publication Publication Date Title
CN102448560B (zh) 经由屏幕上化身进行用户移动反馈的系统和方法
CN102413887B (zh) 管理虚拟端口
CN102947777B (zh) 用户跟踪反馈
CN102413885B (zh) 用于对运动捕捉应用模型跟踪的系统和方法
CN102596340B (zh) 用于将动画或运动应用到角色的系统和方法
CN102414641B (zh) 改变显示环境内的视图视角
CN102129293B (zh) 在运动捕捉系统中跟踪用户组
CN102129292B (zh) 在运动捕捉系统中识别用户意图
CN102448561B (zh) 姿势教练
CN102665838B (zh) 用于确定和跟踪目标的肢端的方法和系统
KR101643020B1 (ko) 애니메이션을 체이닝하는 방법 및 애니메이션 블렌딩 장치
CN102576466B (zh) 用于跟踪模型的系统和方法
CN102301398B (zh) 用于捕捉场景的深度信息的设备、方法和系统
CN102301315B (zh) 姿势识别器系统架构
CN102207771A (zh) 推断参与运动捕捉系统的用户意图
CN102356373A (zh) 虚拟对象操纵
CN102449576A (zh) 姿势快捷方式
CN102448562A (zh) 用于跟踪模型的系统和方法
CN102448566A (zh) 骨架以外的姿势
CN102221883A (zh) 自然用户界面的主动校准
JP2005319191A (ja) ゲームシステム、プログラム、情報記憶媒体および画像生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150506

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150506

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.