CN102413887B - 管理虚拟端口 - Google Patents

管理虚拟端口 Download PDF

Info

Publication number
CN102413887B
CN102413887B CN201080020148.1A CN201080020148A CN102413887B CN 102413887 B CN102413887 B CN 102413887B CN 201080020148 A CN201080020148 A CN 201080020148A CN 102413887 B CN102413887 B CN 102413887B
Authority
CN
China
Prior art keywords
user
virtual port
posture
port
main virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080020148.1A
Other languages
English (en)
Other versions
CN102413887A (zh
Inventor
K·斯通-佩雷
J·马戈利斯
M·J·菲诺齐奥
B·E·基恩
R·J·波特
S·G·拉塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102413887A publication Critical patent/CN102413887A/zh
Application granted granted Critical
Publication of CN102413887B publication Critical patent/CN102413887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/843—Special adaptations for executing a specific game genre or game mode involving concurrently two or more players on the same game device, e.g. requiring the use of a plurality of controllers or of a specific view of game data for each player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3202—Hardware aspects of a gaming system, e.g. components, construction, architecture thereof
    • G07F17/3204—Player-machine interfaces
    • G07F17/3206—Player sensing means, e.g. presence detection, biometrics
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3202—Hardware aspects of a gaming system, e.g. components, construction, architecture thereof
    • G07F17/3204—Player-machine interfaces
    • G07F17/3209—Input means, e.g. buttons, touch screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics

Abstract

这里公开了用于管理虚拟端口的技术。每个这样的虚拟端口可以具有不同的相关联的特征，诸如特权、权限或选项。当一个或多个用户处在基于姿势的系统的捕捉场景中时，该系统可以将虚拟端口与用户相关联并且维持虚拟端口。还提供了用于解除虚拟端口和用户间的关联或者用于在两个或更多用户间交换虚拟端口的技术。

Description

管理虚拟端口
背景
在典型的计算环境中，用户具有诸如键盘、鼠标、游戏杆等输入设备，输入设备可以通过电缆、电线、无线连接或某些其他连接手段来连接到计算环境。如果对计算环境的控制要从已连接的控制器转移到基于姿势的控制，用户可能不再有一个已连接的设备来向计算环境通知用户所关联的端口。而且，如果多个用户处于基于姿势的环境的捕捉区域内，系统必须确定要忽略哪个用户的姿势、要关注谁、或者谁与哪个端口相关联。最终，如果多个用户同时向计算环境提供基于姿势的输入，系统可能需要在多个用户之间进行区分，并且为其确定优先级或协议。
理论上的基于姿势的控制系统中的用户体验也会表现出若干问题。例如，当计算环境具有诸如控制器或键盘这样的已设定输入时，用户可以确定他具有连至端口的控制器、他正在按压按键或按钮、以及系统正在响应。当对计算环境的控制被转移至用户的姿势时，用户可能需要这样的反馈：这些反馈使他们知道他正在被感测、他作为控制器被绑定至系统、等等。
因而，需要这样的系统和方法：其中计算环境可为计算环境选择主用户。也需要用这样的方法和系统：它们能将用户登入或登出系统、当控制为基于姿势时允许移交或以其他方式获得、丢失、或转移对计算环境的控制。
概述
这里公开了用于管理虚拟端口的技术。这里也公开了用于将用户绑定至基于姿势的系统并且向用户提供反馈的技术。
在一实施例中，定义了多个状态，所述多个状态表示用户与系统的虚拟端口的交互级别。这些状态可以包括例如未绑定/未检测的状态，在该状态中，在捕捉区域内未检测到任何用户，且捕捉设备未绑定至用户。状态还可以包括未绑定/检测状态，在该状态中，可以在区域中检测到用户，但系统尚未绑定至用户。状态还可以包括已绑定/已检测状态，在该状态中，用户既被捕捉设备所检测、又绑定至捕捉设备，且在此状态中，用户可能向基于姿势的系统提供基于姿势的命令。系统也可以处在已绑定/未检测状态，在该状态中，已绑定的用户移动到捕捉设备的检测区域之外。
可以向用户提供反馈，以表明端口的当前状态并且表明状态的变化。这种反馈可以例如采取视觉显示的形式，视觉显示可以是开灯或关灯、改变色彩或是闪光。也可以采用其他适当类型的反馈，诸如音频反馈。
另一实施例提出了用于在基于姿势的系统中将用户与虚拟端口相关联的系统和方法。进入计算会话中的第一用户作出进入姿势。当基于姿势的系统检测到该进入姿势时，系统可以将第一用户关联至主虚拟端口。如果第二用户进入捕捉区域并且作出进入姿势，系统可以将第二用户与第二虚拟端口相关联。如果第三用户进入捕捉区域并且作出进入姿势，系统可以向第三用户分配第三端口。可以对任何数量的附加用户重复这一将用户分配至相应端口的模式。每个虚拟端口可以具有其自身的相应特征集合，包括例如特权、权限或选项。例如，尽管不必要，主端口可以具有对其他端口不可用的附加特征。
在另一实施例，两个或更多用户可以决定改变虚拟端口。例如，如果有两个用户，一个用户具有主端口、另一个具有第二端口，则用户可以作出例如握手这样的姿势，此后计算机将交换这两个用户的虚拟端口。
在另一实施例中，第一用户可以采取退出姿势来退出对系统的基于姿势的控制。在该实施例的一方面，如果有和计算环境中的虚拟端口相关联的其他用户，系统可以在第一用户退出后重新关联虚拟端口。
在另一实施例中，应用可以具有允许用户进入、退出、移交、系统暂停等的特定姿势。特定应用也可为个别任务要求自愿者。在这一情况下，一个或多个用户可以作出自愿姿势，这使该系统至少在该特定任务的持续期内重新分配虚拟端口。
附图简述
图1A、1B和1C示出了其中用户在玩游戏的基于姿势的控制系统的示例实施例。
图2示出可以在基于姿势的系统中使用的捕捉设备的示例实施例。
图3示出可用于解释用户的一个或多个姿势的计算环境的示例实施例，所述用户绑定至基于姿势的系统并且与虚拟端口相关联。
图4示出可用于解释用户的一个或多个姿势的计算环境的另一示例实施例，所述用户绑定至基于姿势的系统并且与虚拟端口相关联。
图5示出游戏系统的以前的控制环境的示例，其中用电缆连接或无线连接的控制器可用于控制计算环境。
图6示出在基于姿势的系统的捕捉区域中的多个用户，所述基于姿势的系统绑定用户、向用户提供反馈、并且将用户与虚拟端口相关联。
图7示出可用基于姿势的系统来建模的用户的一个示例，其中该用户被建模为关节和四肢，并且可以使用这些关节和四肢的运动来向基于姿势的计算环境解释各姿势。
图8示出用户可以在基于姿势的系统中作出的一系列姿势，这些姿势可用来将一个或多个用户与虚拟端口相关联、进行移交、退出、暂停、选择、移动等。
图9描述了用于将基于姿势的系统从未绑定状态改变为绑定状态并且向用户提供他的状态的反馈的流程图。
图10示出用于在用户正移出捕捉区域时向用户提供与用户状态有关的用户反馈的流程图。
图11描述了用于将虚拟端口与用户相关联的流程图。
图12描述了基于来自基于姿势的系统的自愿请求而将虚拟端口与两个或更多用户相关联的流程图。
图13描述了用于创建虚拟端口在两个或更多用户间的移交的流程图。
说明书实施例的详细描述
如这里将描述的，基于姿势的系统可以绑定至各个人并且将他们与虚拟端口相关联，而同时提供绑定状态和虚拟端口关联的反馈。计算环境的其他方面可适于绑定用户或通知用户，将其与虚拟端口相关联，或者保持一致的体验。
图1A和1B示出其中用户18玩拳击游戏的基于姿势的系统10的配置的示例实施例。在示例实施例中，基于姿势的系统10可用于绑定、识别、分析、跟踪、关联至人类目标，提供反馈，以及/或者适合于诸如用户18这样的人类目标的各方面。
如图1A所示，基于姿势的系统10可包括计算环境12。计算环境12可以是计算机、游戏系统或控制台等等。根据一示例实施例，计算环境12可包括硬件组件和/或软件组件，使得计算环境12可用于执行诸如游戏应用、非游戏应用等应用。
如图1A所示，基于姿势的系统10还可包括捕捉设备20。捕捉设备20可以是例如检测器，该检测器可用于监视诸如用户18等一个或多个用户，以使得可以捕捉、分析并跟踪一个或多个用户所执行的姿势以执行应用中的一个或多个控制或动作，如将在下面更详细地描述的。
根据一个实施例，基于姿势的系统10可连接至诸如电视机、监视器、高清电视机(HDTV)等视听设备16，所述视听设备16可以向用户18提供与虚拟端口和绑定、游戏或应用视觉和/或音频有关的反馈。例如，计算环境12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与关于虚拟端口和绑定、游戏应用、非游戏应用等的反馈相关联的视听信号。视听设备16可从计算环境12接收视听信号，然后可向用户18输出与该视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例，视听设备16可经由例如S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆、无线连接等连接到计算环境12。
如图1A和1B所示，基于姿势的系统10可用于识别、分析和/或跟踪诸如用户18等人类目标。例如，可使用捕捉设备20来跟踪用户18，以使得可将用户18的位置、移动和尺寸解释为可用于影响由计算机环境12执行的应用的控制。因而，根据一个实施例，用户18可移动他或她的身体来控制应用。
当没有用户处在捕捉设备20的捕捉区域中时，基于姿势的系统10可以提供和系统10的该未绑定/无检测状态有关的反馈。当用户18进入感测设备20的捕捉区域时，反馈状态可以从未绑定/无检测状态改变为未绑定/检测的反馈状态。系统10然后可以绑定至用户18，这可以将反馈状态从未绑定/检测改变为已绑定。在用户18已经绑定至基于姿势的计算环境12之后，他可以作出一姿势，该姿势继而使系统10的其余部分打开。用户18也可以作出第二姿势，第二姿势会使其进入与虚拟端口的关联。反馈状态可以改变，使得用户18知道他与虚拟端口相关联。用户18然后可以提供一系列姿势来控制基于姿势的系统10。例如，如果用户18寻求打开系统10的一个或多个菜单或者暂停一个或多个过程，他可以作出暂停或菜单姿势。在完成计算会话后，用户可以作出退出姿势，该退出姿势使基于姿势的系统10解除用户18与虚拟端口的关联。这可以使反馈状态从与虚拟端口相关联的状态改变为已绑定/已检测状态。用户18然后可以移出传感器的范围，这可以使反馈状态从已绑定/已检测改变为无检测。如果系统10解开用户18的绑定，反馈状态可以改变为未绑定状态。
如图1A和1B所示，在一示例实施例中，在计算环境12上执行的应用可以是用户18可能正在玩的拳击游戏。例如，计算环境12可使用视听设备16来向用户18提供拳击对手22的视觉表示。计算环境12还可使用视听设备16来提供用户18可用他或她在屏幕14上的移动来控制的用户化身24的视觉表示。例如，如图1B所示，用户18可在物理空间中挥拳来使得用户化身24在游戏空间中挥拳。因此，根据一示例实施例，基于姿势的系统10的计算机环境12和捕捉设备20可用于识别和分析用户18在物理空间中的出拳，从而使得该出拳可被解释为对游戏空间中的用户化身24的游戏控制。
用户18可以与计算环境12中的虚拟端口相关联。虚拟端口的状态反馈可以按以下形式被给予用户18：视听设备16上的声音或显示、诸如LED或电灯泡这样的显示、或计算环境12上的扬声器、或者向用户提供反馈的任何其他手段。反馈可用于向用户18通知以下内容：他何时处于捕捉设备20的捕捉区域中、他是否绑定至基于姿势的系统10、他与什么虚拟端口相关联、以及他何时对诸如化身24这样的化身具有控制。用户18的姿势可以改变系统10的状态，并由此改变用户18从系统10接收到的反馈。
用户18的其他移动也可被解释为其他控制或动作，诸如上下快速摆动、闪避、滑步、格挡、直拳或挥动各种不同力度的拳等控制。此外，某些移动可被解释为可对应于除控制用户化身24之外的动作的控制。例如，用户18可使用移动进入、退出、打开或关闭系统、暂停、自愿、切换虚拟端口、保存游戏、选择级别、简档或菜单、查看高分、与朋友通信等等。另外，用户18的全范围运动可以用任何合适的方式来获得、使用并分析以与应用程序进行交互。
在图1C中，诸如用户18这样的人类目标可持有球拍21这样的物体。在这些实施例中，电子游戏的用户可手持物体从而可以使用用户和物体的运动来调整和/或控制游戏的参数，诸如击打屏幕上的球23。可以跟踪并利用玩家手持球拍21的运动来控制电子运动游戏中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用用户手持物体的运动来控制电子格斗游戏中的屏幕上武器。也可以包括任何其他物体，诸如一个或多个手套、球、球棒、球杆、吉它、话筒、杆、宠物、动物、鼓等等。
根据其他示例实施例，基于姿势的系统10还可用于将目标移动解释为游戏领域之外的操作系统和/或应用控制。例如，事实上操作系统和/或应用的任何可控方面可由诸如用户18等目标的移动来控制。
如图2所示，根据一示例实施例，图像相机组件25可包括可用于捕捉场景的深度图像的IR光组件24、三维(3-D)相机26和RGB相机28。例如，在飞行时间分析中，捕捉设备20的IR光组件26可以将红外光发射到场景上，然后，可以使用传感器(未示出)，用例如3-D相机27和/或RGB相机28，来检测从场景中的一个或多个目标和物体的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光从而可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备20到场景中的目标或物体上的特定位置的物理距离。另外，在其他示例性实施例中，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或物体上的特定位置的物理距离。
根据另一示例实施例，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像在内的各种技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备20到目标或物体上的特定位置的物理距离。
在另一示例实施例中，捕捉设备20可使用结构化光来捕捉深度信息。在这一分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件26被投影到场景上。在落到场景中的一个或多个目标或物体的表面上时，作为响应，图案可变形。图案的这种变形可由例如3-D相机27和/或RGB相机28来捕捉，然后可被分析来确定从捕捉设备到目标或物体上的特定位置的物理距离。
根据另一实施例，捕捉设备20可包括可以从不同的角度观察场景的两个或更多个在物理上分开的照相机，以获取可以被解析以生成深度信息的视觉立体数据。
捕捉设备20还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，话筒30可以被用来减少在基于姿势的系统10中的捕捉设备20和计算环境12之间的反馈。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等应用。
捕捉设备20还可包括反馈组件31。反馈组件31可包括诸如LED或灯泡等灯、扬声器等等。反馈设备可执行改变颜色、打开或关闭、增加或减少亮度、以及以变化的速度闪烁中的至少一个。反馈组件31还可包括可提供一个或多个声音或噪声作为一个或多个状态的反馈的扬声器。反馈组件还可结合计算环境12或处理器32工作来通过捕捉设备、基于姿势的系统等的任何其他元件向用户提供一种或多种形式的反馈。
在一示例实施例中，捕捉设备20还可以包括可与图像相机组件25进行可操作的通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于接收深度图像的指令、用于确定合适的目标是否可被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。
捕捉设备20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、由3-D相机或RGB相机所捕捉的图像或图像的帧、用户简档、或任何其他合适的信息、图像等等。根据一个示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图2所示，在一个实施例中，存储器组件34可以是与图像捕捉组件25和处理器32进行通信的单独的组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件25中。
如图2所示，捕捉设备20可经由通信链路36与计算环境12进行通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等无线连接。根据一个实施例，计算环境12可以向捕捉设备20提供时钟，可以使用该时钟来确定何时通过通信链路36捕捉，例如，场景。
另外，捕捉设备20可以通过通信链路36向计算环境12提供深度信息和由例如3-D相机27和/或RGB相机28捕捉到的图像，以及可以由捕捉设备20生成的骨架模型。计算环境12然后可使用骨架模型、深度信息和所捕捉的图像来例如创建虚拟屏幕、修改用户界面、以及控制诸如游戏或文字处理程序等应用。例如，如图2所示，计算环境12可包括姿势库190。姿势库190可包括姿势过滤器集合，每一姿势过滤器包括关于骨架模型可执行(在用户移动时)的姿势的信息。可以将由相机26、27和设备20以骨架模型及与之相关联的移动的形式捕捉的数据与姿势库190中的姿势过滤器进行比较，以标识(如由骨架模型所表示的)用户何时执行了一个或多个姿势。那些姿势可与应用的各种控制相关联。因此，计算环境12可使用姿势库190来解释骨架模型的移动并基于该移动来控制应用程序。
图3示出可用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的示例实施例。上面参考图1A-2所描述的诸如计算环境12等计算环境可以是诸如游戏控制台等多媒体控制台100。如图3所示，多媒体控制台100具有含有一级高速缓存102、二级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的内核，以及由此的附加的一级和二级高速缓存102和104。闪存ROM 106可存储在当多媒体控制台100通电时的引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速和高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线向A/V(音频/视频)端口140输出数据，以便传输到电视机或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如但不局限于RAM(随机存取存储器)。
多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。
提供系统存储器143来存储在引导过程期间加载的应用数据。提供了媒体驱动器144，其可以包括DVD/CD驱动器、硬盘驱动器，或其他可移动媒体驱动器等等。媒体驱动器144可以在多媒体控制台100的内部或外部。应用数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
前面板I/O子部件130可以包括可向用户18提供多媒体控制100的控制状态的音频或视觉反馈的LED、视觉显示屏、灯泡、扬声器或任何其他装置。例如，如果系统处在捕捉设备20未检测到任何用户的状态，则可以在前面板I/O子部件130上反映这一状态。如果系统状态改变，例如，用户变成绑定至系统，则可以在前面板I/O子部件上更新反馈状态以反映状态的变化。
CPU 101、GPU 108、存储器控制器110和多媒体控制台100内的各个其他组件经由一条或多条总线互连，所述总线包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包含的应用和/或其他媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。
当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器保留量(例如，16MB)、CPU和GPU周期保留量(例如，5％)、网络带宽保留量(例如，8kbs)等。因为这些资源是在系统引导时保留的，所以所保留的资源对应用程序而言是不存在的。
具体而言，存储器保留量较佳地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留量较佳地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留量，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率也无须引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源中执行的一组系统应用中。操作系统内核标识了是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把对于控制台上运行的游戏应用的高速缓存中断最小化。
当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。相机27、28和捕捉设备20可为控制台100定义额外的输入设备。
图4示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境220的另一示例实施例，该计算环境可以是图1A-2所示的计算环境12。计算系统环境220只是合适的计算环境的一个示例，并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中，所描绘的各种计算元素可包括被配置成实例化本发明的各具体方面的电路。例如，本发明中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。其他示例中，术语电路可包括由实施可用于执行功能的逻辑的软件指令配置的通用处理单元、存储器等。在其中电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。因此，对于硬件实现还是软件实现的选择是设计选择并留给实现者。
在图4中，计算环境220包括计算机241，计算机241通常包括各种计算机可读介质。计算机可读介质可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包含诸如在启动期间帮助在计算机241内的元件之间传输信息的基本例程，基本输入/输出系统224(BIOS)通常储存储在ROM 223中。RAM 260通常包含处理单元259可立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非限制，图4示出了操作系统225、应用程序226、其他程序模块227和程序数据228。
计算机241也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图4示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器238，从可移动、非易失性磁盘254中读取或向其写入的磁盘驱动器239，以及从诸如CD ROM或其他光学介质等可移动、非易失性光盘253中读取或向其写入的光盘驱动器240。可在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器238通常由诸如接口234等不可移动存储器接口连接至系统总线221，并且磁盘驱动器239和光盘驱动器240通常由诸如接口235等可移动存储器接口连接至系统总线221。
以上讨论并在图4中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图4中，例如，硬盘驱动器238被示为存储操作系统258、应用程序257、其他程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。在此操作系统258、应用程序257、其他程序模块256以及程序数据255被给予了不同的编号，以说明至少它们是不同的副本。用户可以通过输入设备，例如键盘251和定点设备252——通常是指鼠标、跟踪球或触摸垫——向计算机241输入命令和信息。其他输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其他输入设备通常通过耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，例如并行端口、游戏端口或通用串行总线(USB)来连接。相机27、28和捕捉设备20可为控制台100定义额外的输入设备。监视器242或其他类型的显示设备也通过诸如视频接口232之类的接口连接至系统总线221。除监视器之外，计算机还可以包括可以通过输出外围接口233连接的诸如扬声器244和打印机243之类的其他外围输出设备。
计算机241可以使用到一个或多个远程计算机(如远程计算机246)的逻辑连接，以在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点，并且通常包括许多或所有以上关于计算机241所描述的元件，但在图4中仅示出了存储器存储设备247。图2中所描绘的逻辑连接包括局域网(LAN)245和广域网(WAN)249，但还可包括其他网络。这些联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当用于LAN网络环境中时，计算机241通过网络接口或适配器237连接到LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过例如因特网等WAN 249建立通信的其他手段。调制解调器250，可以是内置的或外置的，可以经由用户输入接口236或其他适当的机制，连接到系统总线221。在联网环境中，相对于计算机241所描述的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非限制，图4示出了远程应用程序248驻留在存储器设备247上。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其他手段。
图5示出仅使用所连接的控制的现有技术系统的示例实施例。在这一实施例中，控制器294或通过电缆292或无线地连接至计算环境12，控制器294诸如游戏控制器、游戏杆、鼠标、键盘等。按下特定的按钮或按键可以使设定的信号被发送至计算环境。而且，这些控制器一般与特定的物理端口290相关联。在游戏环境的例子中，控制器1可以被插入第一物理端口，控制器2可以被插入第二物理端口。控制器1可以有相关联的控制主导，或者对游戏环境中对其他控制器不可用的某些方面的控制。例如，当选择格斗游戏中的特定级别或场面时，也许只有第一控制器能选择。
诸如基于姿势的系统10这样的基于姿势的系统可能需要将虚拟端口与一个或多个用户相关联，并且在不使用现有技术的物理电缆和端口的情况下将第一控制器与用户相关联。如果有多个用户，每个用户与一个虚拟端口相关联，则用户可能需要反馈以确定他们关联至哪些端口。在用户到虚拟端口的初始关联之后，如果端口需要与第二用户重新关联，则两个用户都需要某一反馈以指示虚拟端口已被重新关联。当虚拟端口与不同的用户重新关联时，可以在重新关联之时或附近提供附加的音频或视觉反馈(除了可以持续显示的标准反馈之外)，以进一步警告用户重新关联已发生。每个用户的游戏环境的其他方面可能不随着虚拟端口的重新关联而改变，所述其他方面诸如用户在屏幕上的人物、用户在分屏游戏中所处在的屏幕侧、以及其他方面。
图6示出捕捉区域300，捕捉区域300可以如上参照图2所述地由捕捉设备20来捕捉。在一实施例中，如果诸如捕捉区域300这样的捕捉区域中没有用户，则计算环境12的前面板、捕捉设备20或视听显示器16可以提供该第一状态的反馈。这个第一状态可以被视为未绑定/无检测状态。
在图6的第二实施例中，第一用户302可能部分地步入捕捉区域300中。在图6中，第一用户302未完全处在捕捉设备20的捕捉区域300中，这意味着基于姿势的系统100也许不能绑定至第一用户302。在这种情况下，由计算环境12或捕捉设备20或者由视听显示器16提供给第一用户302的反馈可以描述未绑定/已检测状态。基于姿势的控制系统10可以在用户步入捕捉区域的任何时刻、或者在用户(如用户302)仅仅部分地在捕捉区域中时，处在未绑定/已检测状态。
在另一实施例中，第二用户304可以处在捕捉区域300中。在这种情况下，基于姿势的控制系统10可能绑定第二用户304，作为基于姿势的控制系统10的控制者。可以以由捕捉设备20、视听显示器16或计算环境12中的至少一个所反馈的已绑定状态的形式，将反馈提供至用户304。
在另一方面，如果诸如304这样的第二用户绑定至基于姿势的控制系统并且步出捕捉区域300，系统可以进入这样一个状态：在该状态中，第二用户304仍与系统10绑定但当前未被检测。这一状态可以是已绑定/未检测状态。反馈可以在第二用户304在他仍绑定至基于姿势的控制系统的时间段期间返回至捕捉区域300时，由捕捉区域20、计算环境12或视听设备16中的至少一个来提供。用户与虚拟端口等的关联在用户退出捕捉区域300时仍然得以保持。
如果多个用户处在捕捉区域300中，则基于姿势的控制系统10可以提供和捕捉区域中每个用户的状态有关的反馈。例如，所有用户可以绑定至基于姿势的系统10并且与各虚拟端口相关联，并且被提供对每个用户特定的绑定/相关联状态的反馈。所提供的反馈还可以包括对第一用户302和第二用户304的关于他们所关联至哪个虚拟端口的反馈。例如，第一用户302可以与主虚拟端口相关联，可以提供反馈以便向第一用户302指示他与主虚拟端口相关联。
在具有捕捉区域300的基于姿势的控制系统10的另一方面，用户可能向捕捉设备20的左边或右边移步过远、过近或过多。在这一情况下，基于姿势的控制系统10可以提供反馈，反馈的形式可以是‘越界’信号、或者是向用户通知他可能需要在特定方向上移动以便使捕捉设备20能正确地捕捉他的图像的特定反馈。例如，如果第二用户304向左边移动过远，则在屏幕上可以弹出一个箭头，指示他回到右边。向用户提供的这种指示也可以由捕捉设备20或计算环境12来提供。音频信号可以伴有上述的这种视觉反馈。
在一个实施例中，不同的反馈状态采用不同颜色的发光器的形式。例如，‘未绑定/未检测’状态的反馈可以是黑色的或被关闭的，‘未绑定/已检测’状态的反馈可以是黄色的，‘已绑定/已检测’状态的反馈可以是绿色的，‘已绑定/未检测’或‘越界’状态的反馈可以是蓝色的。该色彩方案仅仅作为例子而提供，可以使用任何其他色彩方案。在另一实施例中，反馈状态可以包括闪光对恒定发光。例如，‘未绑定/未检测’状态的反馈可以是断电的，‘未绑定/已检测’状态的反馈可以闪光，而已绑定状态的反馈可以是恒定发光的。在另一实施例中，可能存在音频反馈用于在状态之间或者在特定状态期间转移。向作为计算环境12的控制者的用户提供的关于其状态的反馈可以包括以上例子和任何其他适当反馈的任何组合。
到每个用户的反馈可以与捕捉设备20、计算环境12或视听显示器16上的化身或特定灯或显示相关联。用户在一个或多个计算会话期间所关联至的虚拟端口可能发生变化。特定的实施例可以向用户提供他们已从一个虚拟端口切换至另一个虚拟端口的反馈，然而，计算环境和到用户的反馈的某些方面可以保持相同。例如，如果用户具有与其会话相关联的特定灯或LED，则即使用户切换虚拟端口，该灯或LED仍能代表该用户。在另一示例中，即使用户切换虚拟端口，与用户相关联的化身也能保持相同。举又一个例子，如果用户切换虚拟端口，用户的化身可以被突出显示或者以其他方式示出外观上的一些变化。在另一实施例中，如果存在分屏游戏或者用户在启动会话时所处的屏幕侧，则如果存在虚拟端口的重新关联，则这些元素可能不发生变化。
图7描述了人类用户510的模型，该模型可以用捕捉设备20和计算环境12来创建。该模型可由基于姿势的系统10的一个或多个方面用来确定姿势等。该模型可由关节512和骨骼514组成。对这些关节和骨骼进行跟踪可以使基于姿势的系统能确定用户正在作出什么姿势。这些姿势可用于控制基于姿势的系统。
图8描述了一系列姿势，诸如挥手或举手520、用手臂作出X 522、或者举起单手击掌524。尽管未以已经描述若干姿势的任何方式限制，这些姿势以及任何其他姿势可以是用于基于姿势的系统10的命令。在一个实施例中，姿势可以是通用的，意味着它们不会限于特定的软件或硬件应用。在另一实施例中，在计算环境12上操作的游戏或其他程序可以是程序专用的姿势。例如，移交虚拟端口的通用姿势可以是握手；然而，诸如摔跤游戏这样的游戏可能具有程序专用的姿势，在其中如果用户举起单手击掌524就进行控制的移交。
用于将用户绑定或关联至虚拟端口的通用姿势可以包括：将作出姿势的用户与虚拟端口相关联的姿势、解除与虚拟端口的关联的姿势、暂停姿势、菜单姿势、自愿姿势、系统打开姿势、系统关闭姿势、选择姿势、退出姿势、移交姿势等等。
图9描述了用于将用户绑定至基于姿势的系统并且向其提供关于其状态的反馈的框图600。在一个实施例中，使用户作为控制者的过程包括以下步骤：检测该用户、然后绑定至他们、然后检测将用户与虚拟端口相关联的特定命令。如果没有来自系统的某种反馈，用户可能不知道他在基于姿势的系统中的状态。例如，处在“未绑定/已检测”状态的用户可能疯狂地作姿势来例如打开系统。在用户处在已绑定状态之前，系统也许不能够执行该功能，这在用户不知道他在基于姿势的系统中的状态的情况下导致用户的受挫感。举另一个例子，如果绑定至基于姿势的系统并且与虚拟端口相关联的用户移出捕捉设备的检测范围，系统可能丧失接收命令的能力。在这一情况下，向用户提供反馈、通知他需要移动才能返回至捕捉区域并且才能向基于姿势的系统输入基于姿势的命令可能是重要的。
在602，当在捕捉区域中没有检测到用户时，基于姿势的系统可以处在未绑定/无检测状态，并且可以提供表示该状态的反馈。该反馈可以是例如发光器的关闭状态、或来自扬声器的静音状态，或者它可以是具有某一色彩或形状或周期的发光器。
在604，以上参照图1A-1B描述的捕捉设备20上的传感器中的一个或多个可以检测用户。在一个实施例中，用户进入捕捉设备的相机中的一个或多个的捕捉区域。在另一实施例中，话筒等检测来自用户的声音。
在606，当检测到用户时，姿势系统的反馈状态可以从‘未绑定/无检测’反馈状态切换至‘未绑定/检测’状态。该反馈状态可以是特定色彩的发光、声音或是闪光的发光器。在一个实施例中，该状态完全被跳过，仅有的反馈状态是已绑定和未绑定。
在608，基于姿势的系统可以绑定至用户。绑定可以在系统构建模型(诸如图7所述的模型510)时发生。在另一实施例中，绑定可以包括查找一个或多个用户简档并且将用户的模型与用户简档相比较。在608处的绑定之后，系统处在以下状态：它可以接收并解释姿势作为来自用户的命令。
在610，系统可以向用户提供反馈，通知用户他正处在已绑定状态。如上所述，该反馈可以采取来自基于姿势的系统的任一屏幕、表面或投影上的任何声音或发光的形式。
图10描述了用于将用户从基于姿势的系统解除绑定的框图620。在一个实施例中，在622，端口和用户处在已绑定状态。如在624检测的，用户可能仅仅走出捕捉区域(诸如捕捉区域300)。在628，如果用户不返回，则反馈状态从已绑定状态切换至未绑定/未检测状态。在一个实施例中，在诸如用户18这样的用户退出捕捉区域和在系统变为未绑定并且向用户提供未绑定反馈之间可能存在延时。这一延时可允许在保持其虚拟端口和其计算会话的其他元素的情况下用户能在会话期间、或在一小段时间内退出捕捉区域并返回至捕捉区域。
图11描述了用于将一个或多个人关联至基于姿势的系统的虚拟端口的示例实施例的框图640。在基于姿势的系统中，用户一般不具有对已建立的物理端口的控制器。相反，用户必须将虚拟端口分配至一个或多个用户。而且，这些虚拟端口可能需要被分配为主虚拟端口或第二虚拟端口或第三虚拟端口等，并且可能具有相关联的不同特征，例如特权、权限或选项。这些特征可以在一个或多个计算会话的过程期间改变。
在642，用户可以如上所述地绑定至系统。一旦用户绑定至基于姿势的系统，他也许能够通过作出一个或多个姿势来将命令提供至系统。一个这样的姿势可以是进入姿势。在644，基于姿势的系统可以检测来自第一用户的进入命令。进入命令是任选特征，用户为了与端口相关联不一定需要提供进入命令。在一些情况下，仅仅进入捕捉区域或在捕捉区域中被检测可能足以与端口相关联。
在646，基于姿势的系统可以将用户关联至主虚拟端口。主虚拟端口可能具有对基于姿势的系统的附加控制，这些附加控制是与基于姿势的系统相关联的其他端口所不具有的。例如，可允许与主端口相关联的用户在菜单或标题页上作出初始选择。与主端口相关联的用户还可以首先作出对游戏环境中的化身或其他元素(诸如场面等)的选择。
在648，第二用户可以进入捕捉区域或在捕捉区域中被检测，并且被绑定至基于姿势的系统。一旦第二用户绑定至基于姿势的系统，他也许能够通过作出一个或多个姿势来将命令提供至系统。一个这样的姿势可以是进入姿势。第二用户所提供的进入姿势可以与第一用户所提供的进入姿势相同或不同。可能存在一个或多个进入姿势，用户可以将任一个进入姿势提供给基于姿势的系统来与虚拟端口相关联。进入命令是任选特征，用户为了与端口相关联不一定需要提供进入命令。在一些情况下，仅仅进入捕捉区域或在捕捉区域中被检测可能足以与端口相关联。
在652，第二用户可以与第二虚拟端口相关联。第二虚拟端口可能具有和与主虚拟端口相关联的特征所不同的特征。在一个例子中，第二虚拟端口可能有相关联的光标；然而，光标也许不用于在某些菜单屏或选择屏等上作出选择。在另一示例中，当主虚拟端口可能无权作出选择时，第二虚拟端口可用于在某些屏幕上选择一个或多个选项。例如，当第一用户可能不具有对屏幕或屏幕一部分的任何控制时，第二用户能够选择化身等等。
图12描述了基于姿势的系统请求自愿者并且基于自愿情况分配虚拟端口的框图660。在662，两个或更多用户可以绑定至基于姿势的环境，并且可以与两个或更多端口相关联，其中一个端口是主端口。
在664，基于姿势的环境可以向用户提供对一个或多个自愿者的请求。在一个实施例中，该过程可用于向一个或多个用户重新分配一个或多个虚拟端口。在另一实施例中，自愿可用于诸如游戏应用这样的软件或硬件应用中，其中一个或多个用户可能被分配到特定的任务。基于姿势的系统可以请求用户作出自愿姿势、移至捕捉区域中的特定点、或者可能有用户作出以充当自愿者的通用姿势。在另一实施例中，基于姿势的环境可以将虚拟聚光灯投射到房间内，自愿者可以步入此虚拟聚光灯以便进行自愿行为，这会有屏幕上表示。
在666，系统可以检测来自一个或多个用户的一个或多个自愿姿势。在668，基于姿势的系统可以基于自愿姿势来重新关联虚拟端口。在一个实施例中，当用户自愿时，主端口可以在自愿任务的持续期间与用户相关联。在另一实施例中，在会话结束前或在创建虚拟端口的重新关联的另一事件发生之前，主端口可以与自愿的用户相关联。尽管虚拟端口可以被重新关联，然而系统的其他方面可保持不变。例如，化身、位置、反馈等等可以不随着虚拟端口的重新关联而变化。在另一实施例中，当虚拟端口在用户间改变关联时，化身、位置、反馈等中的至少一个发生改变。
图13描述了用于在两个或更多用户间移交或切换虚拟端口的示例性方法的框图680。在682，一个或多个用户可以与计算环境中的一个或多个虚拟端口相关联。在684，用户之一可以作出被基于姿势的系统所检测到的移交姿势。在686，基于姿势的系统可以基于移交姿势而重新关联一个或多个虚拟端口。
例如，与第一虚拟端口相关联的第一用户可以向当前不与任何虚拟端口相关联的第二用户作出移交姿势。这可以使第一虚拟端口从第一用户被切换至第二用户。这可以使第一用户被重新分配至另一个可用的虚拟端口。
举另一个例子，与第一虚拟端口相关联的第一用户可以向当前与第二虚拟端口相关联的第二用户作出移交姿势。这可以使第一虚拟端口从第一用户被切换至第二用户。这可以使第二虚拟端口从第二用户被切换至第一用户。
举另一个例子，诸如职业性摔跤游戏，两个或更多用户可以举单手击掌，以便移交虚拟端口或对游戏的控制。在职业性摔跤的例子中，每个用户可能与一个虚拟端口相关联，但是一次只能有一个用户与主端口相关联，并因此能执行专用于主端口的某些命令。举单手击掌可以发信号通知：主端口将切换用户，从而使另一个用户能执行专用于主端口的基于姿势的命令。又例如，某些移交姿势可允许各组用户同时控制某些项或对象。例如，在移交姿势之前，仅仅第一用户能够输入命令来控制摔跤场地中的化身。然而，在移交姿势之后，第一用户和第二用户都能同时控制化身。
基于姿势的系统12可具有存储器112或存储器32或参照图2和3的计算环境12中的任何其他存储器。存储器上可以存储含有与一个或多个用户有关的信息的一个或多个简档。在一个实施例中，简档可以含有可将用户自动地与虚拟端口相关联的信息。例如，用户可以设定存储器中存储的简档，只要用户在捕捉区域内，该简档就会自动将该用户与主端口相关联。又例如，计算环境可以存储关于一个或多个用户的信息，所述信息提供了关联虚拟端口的典型或默认的次序。在另一实施例中，基于姿势的系统的主用户或所有者可以在每当处在捕捉区域中时就与主端口相关联。又例如，基于姿势的系统可以存储和一个或多个用户不能控制基于姿势的系统有关的信息，因此系统一般可以将用户与第二端口或第三端口等相关联。
基于姿势的系统也可以使用其他信息来建立与虚拟端口的关联。例如，如果一个或多个孩子与父母一方进入捕捉区域，则基于姿势的系统可以基于用户的大小和其他方面来确定存在父母一方和孩子。计算环境此后可以关联或重新关联虚拟端口，使得该父母一方与主虚拟端口相关联。又例如，如果一个或多个用户可能在向基于姿势的系统提供基于姿势的输入时有困难，系统可以将主端口与另一用户重新关联，并且提供关于所关联端口的变化的反馈。
应该理解，此处所述的配置和/或方法在本质上是示例性的，且这些具体实施例或示例不被认为是限制性的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或更多个。由此，所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行等等。同样，可以改变上述过程的次序。
另外，本发明的主题包括各种过程、系统和配置的组合和子组合、和此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效物。

Claims (11)

1.一种用于管理基于姿势的计算环境的虚拟端口的方法，所述方法包括：
检测捕捉区域中的第一用户；
将所述第一用户与主虚拟端口相关联，所述主虚拟端口具有与其它端口相关联的特征不同的特征，所述计算环境的用户能够被绑定至所述主虚拟端口或不被绑定至所述主虚拟端口；
检测所述捕捉区域中的第二用户；
将所述第二用户与第二虚拟端口相关联；
响应于所述第二用户作出自愿姿势、所述第一用户退出所述捕捉区域、作出退出命令或输掉游戏，解除所述第一用户与所述主虚拟端口的关联；以及
将所述第二用户的关联从所述第二虚拟端口更新为所述主虚拟端口。
2.如权利要求1所述的方法，其特征在于，将所述第二用户的关联从所述第二虚拟端口更新为所述主虚拟端口包括：响应于移交姿势，所述主虚拟端口从所述第一用户被传递至第二用户。
3.如权利要求1所述的方法，其特征在于，将所述第二用户的关联从所述第二虚拟端口更新为所述主虚拟端口包括：将与所述第一用户相关联的特征传递至第二用户。
4.如权利要求1所述的方法，其特征在于，将所述第一用户与主虚拟端口相关联包括：响应于输入命令，将所述第一用户与所述主虚拟端口相关联。
5.如权利要求1所述的方法，其特征在于，将所述第一用户与主虚拟端口相关联包括：响应于确定所述第一用户发出针对特定任务的自愿命令来将所述第一用户与主虚拟端口相关联。
6.如权利要求1所述的方法，其特征在于，还包括：
确定区域中的一个或多个用户的各方面；
接收用户简档信息；以及
基于所述用户的各方面和所述用户简档信息来更新虚拟端口关联。
7.一种用于管理基于姿势的计算环境的虚拟端口的系统，包括：
检测捕捉区域中的第一用户的装置；
将所述第一用户与主虚拟端口相关联的装置，所述主虚拟端口具有与其它端口相关联的特征不同的特征，所述计算环境的用户能够被绑定至所述主虚拟端口或不被绑定至所述主虚拟端口；
检测所述捕捉区域中的第二用户的装置；
将所述第二用户与第二虚拟端口相关联的装置；
响应于所述第二用户作出自愿姿势、所述第一用户退出所述捕捉区域、作出退出命令或输掉游戏，解除所述第一用户与所述主虚拟端口的关联的装置；以及
将所述第二用户的关联从所述第二虚拟端口更新为所述主虚拟端口的装置。
8.如权利要求7所述的系统，还包括：通过将所述主虚拟端口从所述第一用户传递至所述第二用户并且通过将所述第二虚拟端口从所述第二用户传递至所述第一用户，来对移交姿势作出响应的装置。
9.如权利要求7所述的系统，其特征在于，来自一个或多个用户的一个或多个姿势可被检测到，其中至少一个姿势是进入姿势。
10.如权利要求7所述的系统，其特征在于，来自一个或多个用户的一个或多个姿势可被检测到，其中至少一个姿势是移交姿势。
11.如权利要求7所述的系统，其特征在于，来自一个或多个用户的一个或多个姿势可被检测到，其中至少一个姿势是退出姿势。
CN201080020148.1A 2009-05-01 2010-04-29 管理虚拟端口 Active CN102413887B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/434,584 2009-05-01
US12/434,584 US8181123B2 (en) 2009-05-01 2009-05-01 Managing virtual port associations to users in a gesture-based computing environment
PCT/US2010/032975 WO2010127121A2 (en) 2009-05-01 2010-04-29 Managing virtual ports

Publications (2)

Publication Number Publication Date
CN102413887A CN102413887A (zh) 2012-04-11
CN102413887B true CN102413887B (zh) 2014-05-07

Family

ID=43031364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080020148.1A Active CN102413887B (zh) 2009-05-01 2010-04-29 管理虚拟端口

Country Status (9)

Country Link
US (2) US8181123B2 (zh)
EP (1) EP2424632B1 (zh)
JP (1) JP5410596B2 (zh)
KR (1) KR101674234B1 (zh)
CN (1) CN102413887B (zh)
BR (1) BRPI1014358A2 (zh)
CA (1) CA2757057C (zh)
RU (1) RU2555220C2 (zh)
WO (1) WO2010127121A2 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796594B2 (en) 2007-02-14 2010-09-14 Marvell Semiconductor, Inc. Logical bridging system and method
US9015638B2 (en) * 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8181123B2 (en) * 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
DE102009024656A1 (de) * 2009-06-12 2011-03-24 Volkswagen Ag Verfahren zum Steuern einer grafischen Benutzerschnittstelle und Bedienvorrichtung für eine grafische Benutzerschnittstelle
EP3447979B8 (en) 2009-11-02 2020-08-05 Marvell Asia Pte, Ltd. Switching system and method based on virtual interfaces
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US8795082B2 (en) * 2010-01-25 2014-08-05 Rambus Inc. Directional beam steering system and method to detect location and motion
JP2011186636A (ja) * 2010-03-05 2011-09-22 Sony Corp 情報処理装置および方法、並びにプログラム
US8964742B1 (en) 2010-07-28 2015-02-24 Marvell Israel (M.I.S.L) Ltd. Linked list profiling and updating
EP2421252A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
US9167289B2 (en) * 2010-09-02 2015-10-20 Verizon Patent And Licensing Inc. Perspective display systems and methods
KR20120051208A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사물을 이용한 제스쳐 인식 방법 및 장치
WO2012116464A1 (en) * 2011-02-28 2012-09-07 Hewlett-Packard Company User interfaces based on positions
US20120242793A1 (en) * 2011-03-21 2012-09-27 Soungmin Im Display device and method of controlling the same
US9229584B2 (en) 2011-06-13 2016-01-05 Citizen Holdings Co., Ltd. Information input apparatus
US9207767B2 (en) * 2011-06-29 2015-12-08 International Business Machines Corporation Guide mode for gesture spaces
US9142182B2 (en) * 2011-10-07 2015-09-22 Lg Electronics Inc. Device and control method thereof
CN103092810B (zh) 2011-11-02 2017-03-01 飞思卡尔半导体公司 处理器、对处理器编程的方法以及电子设备
US9164579B2 (en) * 2011-11-15 2015-10-20 Lg Electronics Inc. Electronic device for granting authority based on context awareness information
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US10345911B2 (en) 2011-12-23 2019-07-09 Intel Corporation Mechanism to provide visual feedback regarding computing system command gestures
GB2512518B (en) * 2011-12-23 2017-06-14 Sensomotoric Instr Ges Fur Innovative Sensorik Mbh Method and system for presenting at least one image of at least one application on a display device
US9684379B2 (en) 2011-12-23 2017-06-20 Intel Corporation Computing system utilizing coordinated two-hand command gestures
EP2795430A4 (en) 2011-12-23 2015-08-19 Intel Ip Corp TRANSITION MECHANISM FOR A COMPUTER SYSTEM WITH USER DETECTION
US9678574B2 (en) * 2011-12-23 2017-06-13 Intel Corporation Computing system utilizing three-dimensional manipulation command gestures
KR101237472B1 (ko) * 2011-12-30 2013-02-28 삼성전자주식회사 전자 장치 및 그의 제어 방법
TW201405443A (zh) * 2012-07-17 2014-02-01 Wistron Corp 手勢輸入系統及方法
CA2895026A1 (en) 2012-12-31 2014-07-03 Halliburton Energy Services, Inc. Time-frequency domain multiplexing apparatus, methods, and systems
US8814683B2 (en) 2013-01-22 2014-08-26 Wms Gaming Inc. Gaming system and methods adapted to utilize recorded player gestures
US20140250413A1 (en) * 2013-03-03 2014-09-04 Microsoft Corporation Enhanced presentation environments
EP2924541B1 (en) * 2014-03-28 2019-05-29 Wipro Limited System and method for guided continuous body tracking for complex interaction
US9727778B2 (en) * 2014-03-28 2017-08-08 Wipro Limited System and method for guided continuous body tracking for complex interaction
CN104281265B (zh) * 2014-10-14 2017-06-16 京东方科技集团股份有限公司 一种应用程序的控制方法、装置及电子设备
US9977565B2 (en) 2015-02-09 2018-05-22 Leapfrog Enterprises, Inc. Interactive educational system with light emitting controller
RU168332U1 (ru) * 2016-06-06 2017-01-30 Виталий Витальевич Аверьянов Устройство для воздействия на виртуальные объекты дополненной реальности
US10973678B2 (en) 2016-07-27 2021-04-13 Purewick Corporation Apparatus and methods for receiving discharged urine
US10606364B2 (en) * 2018-06-14 2020-03-31 Dell Products, L.P. Two-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
CN108965129B (zh) * 2018-06-25 2021-01-26 烽火通信科技股份有限公司 一种vpls业务组播物理端口迭代的实现方法
US11740688B2 (en) * 2019-11-13 2023-08-29 Abal Inc. Virtual space experience system
US11112875B1 (en) * 2020-03-20 2021-09-07 Huawei Technologies Co., Ltd. Methods and systems for controlling a device using hand gestures in multi-user environment
CN117170220A (zh) * 2023-09-12 2023-12-05 珠海笙科智能科技有限公司 一种基于虚拟midi端口实现ble midi控制器指令控制的方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299227A (zh) * 2008-06-27 2008-11-05 北京中星微电子有限公司 基于三维重构的多人游戏系统及方法

Family Cites Families (234)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
CN100524015C (zh) 1995-06-22 2009-08-05 3Dv系统有限公司 生成距景物距离的图象的方法和装置
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
JP2001504605A (ja) 1996-08-14 2001-04-03 ラティポフ，ヌラフメド，ヌリスラモビチ 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6124862A (en) 1997-06-13 2000-09-26 Anivision, Inc. Method and apparatus for generating virtual views of sporting events
US6075895A (en) 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
WO1999015863A1 (en) 1997-09-24 1999-04-01 3Dv Systems, Ltd. Acoustical imaging system
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
US6501515B1 (en) 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6241612B1 (en) 1998-11-09 2001-06-05 Cirrus Logic, Inc. Voice communication during a multi-player game
US7483049B2 (en) 1998-11-20 2009-01-27 Aman James A Optimizations for live event, real-time, 3D object tracking
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
WO2001018563A1 (en) 1999-09-08 2001-03-15 3Dv Systems, Ltd. 3d imaging system
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US6823363B1 (en) * 1999-10-26 2004-11-23 Beth S. Noveck User-moderated electronic conversation process
US20030132950A1 (en) 2001-11-27 2003-07-17 Fahri Surucu Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains
US7006236B2 (en) 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US6690618B2 (en) 2001-04-03 2004-02-10 Canesta, Inc. Method and apparatus for approximating a source position of a sound-causing event for determining an input used in operating an electronic device
US7050177B2 (en) 2002-05-22 2006-05-23 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
DE19960180B4 (de) 1999-12-14 2006-03-09 Rheinmetall W & M Gmbh Verfahren zur Herstellung eines Sprenggeschosses
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
US6767287B1 (en) 2000-03-16 2004-07-27 Sony Computer Entertainment America Inc. Computer system and method for implementing a virtual reality environment for a multi-player game
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7327376B2 (en) * 2000-08-29 2008-02-05 Mitsubishi Electric Research Laboratories, Inc. Multi-user collaborative graphical user interfaces
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
JP3725460B2 (ja) 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US20020075334A1 (en) * 2000-10-06 2002-06-20 Yfantis Evangelos A. Hand gestures and hand motion for replacing computer mouse events
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
AU2002315456A1 (en) 2001-06-22 2003-01-08 Canesta, Inc. Method and system to display a virtual input device
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US20030165048A1 (en) 2001-12-07 2003-09-04 Cyrus Bamji Enhanced light-generated interface for use with electronic devices
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US20030169906A1 (en) 2002-02-26 2003-09-11 Gokturk Salih Burak Method and apparatus for recognizing objects
US7310431B2 (en) 2002-04-10 2007-12-18 Canesta, Inc. Optical methods for remotely measuring objects
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US20060256081A1 (en) * 2002-07-27 2006-11-16 Sony Computer Entertainment America Inc. Scheme for detecting and tracking user manipulation of a game controller body
US8125459B2 (en) * 2007-10-01 2012-02-28 Igt Multi-user input systems and processing techniques for serving multiple users
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
JP4323180B2 (ja) * 2003-02-13 2009-09-02 日本電信電話株式会社 自己画像表示を用いたインタフェース方法、装置、およびプログラム
GB2398691B (en) 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP3190546A3 (en) 2003-06-12 2017-10-04 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US20050183035A1 (en) * 2003-11-20 2005-08-18 Ringel Meredith J. Conflict resolution for graphic multi-user interface
JP3847753B2 (ja) 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US20050215319A1 (en) 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
KR100594005B1 (ko) * 2004-04-14 2006-06-30 삼성전자주식회사 이동통신 단말기용 육성 시뮬레이션 방법 및 장치
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
WO2006025137A1 (ja) 2004-09-01 2006-03-09 Sony Computer Entertainment Inc. 画像処理装置、ゲーム装置および画像処理方法
EP1645944B1 (en) 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
JP4449723B2 (ja) 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
EP2487624B1 (en) 2005-01-07 2020-02-19 Qualcomm Incorporated(1/3) Detecting and tracking objects in images
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
US8369795B2 (en) * 2005-01-12 2013-02-05 Microsoft Corporation Game console notification system
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
US20060205517A1 (en) * 2005-03-08 2006-09-14 Malabuyo Paolo V Systems and methods for providing a system level user interface in a multimedia console
KR100688743B1 (ko) 2005-03-11 2007-03-02 삼성전기주식회사 멀티 레이어 커패시터 내장형의 인쇄회로기판의 제조방법
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
US20060258427A1 (en) 2005-05-13 2006-11-16 Igt Wide area table gaming monitor and control system
BRPI0613165A2 (pt) 2005-05-17 2010-12-21 Gesturetek Inc saìda de sinal sensìvel à orientação
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
GB2431717A (en) 2005-10-31 2007-05-02 Sony Uk Ltd Scene analysis
US8241118B2 (en) 2006-01-27 2012-08-14 Great Play Holdings Llc System for promoting physical activity employing virtual interactive arena
US7433024B2 (en) 2006-02-27 2008-10-07 Prime Sense Ltd. Range mapping using speckle decorrelation
US8766983B2 (en) 2006-05-07 2014-07-01 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
US7721207B2 (en) 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
US20080040692A1 (en) 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
WO2008014826A1 (en) * 2006-08-03 2008-02-07 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US8395658B2 (en) 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US8683386B2 (en) 2006-10-03 2014-03-25 Brian Mark Shuster Virtual environment for computer game
CA2700843C (en) 2006-10-26 2016-11-01 Richard John Baker Method and apparatus for providing personalised audio-visual instruction
US8157652B2 (en) 2006-11-10 2012-04-17 Igt Interactive gaming table
US20080134102A1 (en) 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
GB0703974D0 (en) 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US20090005141A1 (en) 2007-06-26 2009-01-01 Nokia Corporation Personalized Multiplayer Media Game or Quiz
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
JP5430572B2 (ja) * 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US7970176B2 (en) 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
WO2009059065A1 (en) 2007-10-30 2009-05-07 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
JP2011504710A (ja) * 2007-11-21 2011-02-10 ジェスチャー テック，インコーポレイテッド メディア嗜好
WO2009067676A1 (en) * 2007-11-21 2009-05-28 Gesturetek, Inc. Device access control
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US8149210B2 (en) 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US8448094B2 (en) * 2009-01-30 2013-05-21 Microsoft Corporation Mapping a natural input device to a legacy system
US8181123B2 (en) * 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
JP4900741B2 (ja) * 2010-01-29 2012-03-21 島根県 画像認識装置および操作判定方法並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299227A (zh) * 2008-06-27 2008-11-05 北京中星微电子有限公司 基于三维重构的多人游戏系统及方法

Also Published As

Publication number Publication date
KR20120011023A (ko) 2012-02-06
EP2424632A4 (en) 2013-11-06
JP5410596B2 (ja) 2014-02-05
BRPI1014358A2 (pt) 2016-04-05
CA2757057A1 (en) 2010-11-04
CN102413887A (zh) 2012-04-11
US20100281437A1 (en) 2010-11-04
WO2010127121A3 (en) 2011-02-24
US8762894B2 (en) 2014-06-24
EP2424632A2 (en) 2012-03-07
US8181123B2 (en) 2012-05-15
EP2424632B1 (en) 2018-11-14
RU2555220C2 (ru) 2015-07-10
US20120144348A1 (en) 2012-06-07
RU2011144125A (ru) 2013-05-10
JP2012525230A (ja) 2012-10-22
CA2757057C (en) 2017-09-26
WO2010127121A2 (en) 2010-11-04
KR101674234B1 (ko) 2016-11-08

Similar Documents

Publication Publication Date Title
CN102413887B (zh) 管理虚拟端口
CN102448560B (zh) 经由屏幕上化身进行用户移动反馈的系统和方法
KR101643020B1 (ko) 애니메이션을 체이닝하는 방법 및 애니메이션 블렌딩 장치
CN102414641B (zh) 改变显示环境内的视图视角
US9015638B2 (en) Binding users to a gesture based system and providing feedback to the users
CN102413885B (zh) 用于对运动捕捉应用模型跟踪的系统和方法
CN102947777B (zh) 用户跟踪反馈
CN102129293B (zh) 在运动捕捉系统中跟踪用户组
CN102448563B (zh) 用于处理场景的深度信息的方法和设备
CN102253712B (zh) 用于共享信息的识别系统
JP5859456B2 (ja) プレゼンテーション用カメラ・ナビゲーション
US8176442B2 (en) Living cursor control mechanics
CN102135798B (zh) 仿生学运动
CN102576466B (zh) 用于跟踪模型的系统和方法
CN102596340B (zh) 用于将动画或运动应用到角色的系统和方法
CN102413886B (zh) 示出身体位置
CN102770828B (zh) 用于人机界面的控制柄交互
CN102622774B (zh) 起居室电影创建
CN102541438A (zh) 集成话音命令模态的用户界面
CN102448561A (zh) 姿势教练
CN102681657A (zh) 交互式内容创建
JP2012533134A (ja) ユーザーから学習した入力を介し視覚表示を実写のようにする方法及びシステム
CN102301398A (zh) 身体扫描
CN102221883A (zh) 自然用户界面的主动校准

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150504

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150504

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.