CN102591648A - 用于界面引导的持久性把手 - Google Patents

用于界面引导的持久性把手 Download PDF

Info

Publication number
CN102591648A
CN102591648A CN2011104432104A CN201110443210A CN102591648A CN 102591648 A CN102591648 A CN 102591648A CN 2011104432104 A CN2011104432104 A CN 2011104432104A CN 201110443210 A CN201110443210 A CN 201110443210A CN 102591648 A CN102591648 A CN 102591648A
Authority
CN
China
Prior art keywords
handle
hand
guiding
computing system
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104432104A
Other languages
English (en)
Other versions
CN102591648B (zh
Inventor
B·雷维尔
J·布里奇斯
A·马丁利
J·安德森
C·克莱恩
A·达亚尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102591648A publication Critical patent/CN102591648A/zh
Application granted granted Critical
Publication of CN102591648B publication Critical patent/CN102591648B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/837—Shooting of targets
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics

Abstract

本发明涉及用于界面引导的持久性把手。一种计算系统将人类目标的手的世界空间位置转换为用户界面的屏幕空间位置，并且如果手的世界空间参数克服用户界面的把手的抓取阈值则将手锁定至该把手。当手被锁定至该把手时，该计算系统将手的世界空间位置转换为被约束沿一个或多个界面引导的屏幕空间把手位置。如果手的世界空间参数克服把手的释放阈值则在把手的释放位置将手从该把手解锁。在手从把手被解锁之后该把手被保持在该释放位置。

Description

用于界面引导的持久性把手
技术领域
本发明涉及计算系统，更具体地，涉及深度图像分析系统。
背景技术
计算机技术已进展到使人类能够以各种方式与计算机交互。一种这样的交互可发生在人类与游戏系统之间。例如，某些游戏系统可对玩家的物理移动作出响应。此类游戏系统可具有用户可能希望操纵的控件，诸如按钮、列表上的项目、内容片段等待。
概述
因此，提供了与一种计算系统有关的各种实施例。在一个示例中，该计算系统将人类目标的手的世界空间位置转换为用户界面的屏幕空间位置，并且如果手的世界空间参数克服用户界面的把手的抓取阈值则将手锁定至该把手。当手被锁定至该把手时，该计算系统将手的世界空间位置转换为被约束沿一个或多个界面引导的屏幕空间把手位置。如果手的世界空间参数克服把手的释放阈值则在把手的释放位置将手从该把手解锁。在手从把手被解锁之后该把手被保持在该释放位置。
提供本发明内容以便以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。
附图说明
图1根据本发明的一实施例示出查看所观察的场景的深度图像分析系统。
图2在某种程度上示意性地示出在所观察的场景中用示例骨架数据来建模的人类目标。
图3A-B示出无约束和有约束的光标移动的示例。
图4示出包括界面引导的用户界面中的光标移动的示例。
图5A-D示出与包括界面引导的用户界面的示例用户交互序列。
图6示出包括界面引导的用户界面的示例。
图7示意性示出根据本发明的一实施例的计算系统。
具体实施方式
诸如3D视觉计算系统等深度图像分析系统可包括能够观察一个或多个游戏玩家或其他计算机用户的深度相机。在深度相机捕捉所观察的场景内的游戏玩家或其他计算机用户的图像时，那些图像可被解释并用一个或多个虚拟骨架来建模。这样，计算系统可以能够确定例如玩家的手是松开还是握紧、或者用户正在将他的一只手左移、右移、上移还是下移。以此方式，用户可以能够抓取和/或操纵计算系统所显示的对象，如下文将描述的。
图1示出了深度图像分析系统10的非限制性示例。具体而言，图1示出了包括计算系统18的游戏系统12，该计算系统18可以用于玩各种各样不同的游戏、播放一个或多个不同的媒体类型、和/或控制或操纵非游戏应用和/或操作系统。如图1中所示，游戏系统12还包括诸如电视机或计算机监视器之类的可用于向游戏玩家呈现游戏画面的显示设备16。作为一个示例，显示设备16可用于在视觉上呈现人类目标32用其移动来控制的虚拟化身50。深度图像分析系统10可包括捕捉设备，诸如在视觉上监视或跟踪所观察的场景14内的人类目标32的深度相机22。参考图2和6更详细地讨论深度相机22。
人类目标32这里被示为所观察的场景14内的游戏玩家。人类目标32由深度相机22来跟踪，使得人类目标32的移动可由游戏系统12解释成可用于影响游戏系统12正在执行的游戏的控制。换言之，人类目标32可使用他或她的移动来控制游戏。人类目标32的移动可以被解释成几乎任何类型的游戏控制。人类目标32的某些移动可被解释成服务于除控制虚拟化身50以外的目的的控制。作为非限制性示例，人类目标32的移动可被解释为驾驶虚拟赛车、开火虚拟武器、以第一人视角导航虚拟世界、或者操纵模拟世界的各个方面的控制。移动还可被解释为辅助游戏管理控制。例如，人类目标32可以使用移动来结束、暂停、保存、选择级别、查看得分榜、控制音量、与其他玩家交流等。
深度相机22还可以用于将目标移动解释成游戏领域之外的操作系统和/或应用控制。操作系统和/或应用的实际上任何可控方面皆可由诸如人类目标32之类的游戏玩家的移动来控制。例如，如下文参照图4-6描述的，游戏玩家的移动可以控制用户界面。图1中所示出的场景是作为示例来提供的，但并不意味着以任何方式进行限制。相反，所示出的场景旨在展示可以在不背离本公开的范围的情况下应用于各种各样不同的应用的一般概念。尽管提供了游戏作为说明性示例，但相同的构思同样可以很好地适用于几乎所有其他计算机用户交互。
在此所述的方法和过程可以绑定到各种不同类型的计算系统。图1以游戏系统12的形式示出了非限制性示例。一般而言，深度图像分析系统可包括图7中以简化形式示出的计算系统60，计算系统60将在下文更详细地讨论。
图2示出了简化的处理流水线，其中所观察的场景14中的人类目标32被建模为虚拟骨架46，该虚拟骨架46可被用于牵引显示设备16上的虚拟化身50和/或用作控制游戏、应用、和/或操作系统的其他方面的控制输入。可以理解，处理流水线可包括比图2中所描述的更多的步骤和/或图2中所描述的替换步骤，而不背离本发明的范围。
如图2所示，人类目标32和所观察的场景14中的其余部分可由诸如深度相机22之类的捕捉设备来成像。深度相机可为每一像素确定在所观察的场景中一表面相对于深度相机的深度。在不偏离本公开的范围的情况下，可以使用实际上任何深度寻找技术。示例深度寻找技术参考图7的深度相机168更详细地讨论。
为每一像素所确定的深度信息可用于生成深度图42。这样的深度图可采用实际上任何合适的数据结构的形式，包括但不限于包括所观察的场景的每个像素的深度值的矩阵。在图2中，深度图42被示意性地示为人类目标32的轮廓的像素化网格。这一例示是出于理解简明的目的，而不是技术准确性。可以理解，深度图一般包括所有像素(不仅是对人类目标32进行成像的像素)的深度信息，并且深度相机22的透视不会得到图2中所描绘的轮廓。
虚拟骨架46可从深度图42导出，以提供对人类目标32的机器可读表示。换言之，从深度图42导出虚拟骨架46以便对人类目标32建模。虚拟骨架46可以按任何合适的方式从深度图中导出。在某些实施例中，可将一个或多个骨架拟合算法应用于深度图。本发明与实际上任何骨架建模技术兼容。
虚拟骨架46可包括多个关节，每一关节对应于人类目标的一部分。在图2中，虚拟骨架46被示为十五个关节的线条画。具体而言，虚拟骨架46包括左肘关节88、右肘关节86、左手关节84和右手关节82等。这一例示是出于理解简明的目的，而不是技术准确性。根据本公开的虚拟骨架可包括实际上任何数量的关节，每一关节都可与实际上任何数量的参数(例如，三维关节位置、关节旋转等)相关联。例如，虚拟骨架的手可以通过单个关节来表示，或者手可以通过六个或更多个关节(例如，一个或更多个关节用于手掌以及一个或更多个关节用于该手的五个手指中的每一个)来表示。以此方式，确定手姿态(例如，手松开或握紧)的变化是有可能的。在一些实施例中，即使手被建模为单个关节也可以检测到松开或握紧的手姿态(例如，经由对深度图的辅助分析)。
可以理解，虚拟骨节可采用包括多个骨架关节中的每个关节的一个或多个参数的数据结构的形式(例如，包括每个关节的x位置、y位置、z位置、旋转和姿态的关节矩阵)。在某些实施例中，可使用其他类型的虚拟骨架(例如，线框、一组形状图元等)。
如图2所示，可将虚拟化身50呈现在显示设备16上作为虚拟骨架46的视觉表示。由于虚拟骨架46对人类目标32进行建模，并且对虚拟化身50的呈现基于虚拟骨架46，因此虚拟化身50用作人类目标32的可视的数字表示。由此，虚拟化身50在显示设备16上的移动反映人类目标32的移动。
尽管将虚拟化身50用作可经由深度图的骨架建模由人类目标的移动来控制的游戏的一示例方面，但这并不旨在限制。人类目标可以用虚拟骨架来建模，而虚拟骨架可用于控制除虚拟化身以外的游戏或其他应用的各方面。例如，即使虚拟化身没有被呈现到显示设备，人类目标的移动也可控制游戏或其他应用。如下文更详细地描述的，人类目标的手的移动可被用于以与鼠标控制台式机用户界面的光标几乎一样的方式控制用户界面的光标。以此方式，经由自然的身体移动而不需要鼠标、专用跟踪标签、无线加速计、和/或其他输入设备的辅助就可控制诸如音量、移动遍历菜单中的项目集、和/或任何数目的其他用户界面方面之类的设置。
图3A和3B示出了用户界面上有约束和无约束光标移动的示例。在图3A和3B所示的示例中，通过虚拟骨架202对人类目标的手的移动进行建模。如所示的，虚拟骨架202的手关节204以及由此人类目标的手沿着路径206移动。手的世界空间位置经由游戏系统被转换成光标208的屏幕空间位置，并且响应于手的移动，光标208的移动被显示在显示器212的用户界面210上。在图3A的示例中，光标是无约束的，并且光标208沿着作为手关节204的3D路径206的2D表示的路径214移动。
相反，在图3B的示例中，光标被约束成沿界面引导216移动。例如，光标208(以及因此人类目标的手)可被锁定至界面引导216的把手218。下文更详细地描述了光标可被锁定至把手的方式。由于光标208被锁定至把手218，光标208的移动被限于把手218沿界面引导216的路径。这样，如果光标208被锁定至把手218，即使在手关节204沿曲线路径206从右往左移动(例如，与图3A中相同的路径)时，光标208也沿着用户界面210上的界面引导216从右往左遵循线性路径220。
图4示出了诸如电视或计算机监视器之类的显示器304上的用户界面302的非限制性示例。用户界面302包括菜单，该菜单包括用户可以选择的四个项目：新游戏306、背景308、退出游戏310、和指南312。在图4的示例实施例中，该菜单中的项目沿垂直线排列。在其他实施例中，菜单项目可以沿水平线、以椭圆形、以螺旋形、或者以任何其他合适的布置进行排列。此外，菜单并不限于四个项目而是可以包含任何合适数目的项目。
如图4中示出的实施例所示，界面引导314位于菜单左侧并且沿菜单项目垂直延伸。在其他实施例中，该界面引导可以位于菜单的右侧。在另外其他的实施例中，界面引导可以是菜单的一部分。一般而言，界面引导可具有与菜单相似的形状。例如，如图4中所示，界面引导314是与菜单相邻的垂直杆(例如，线性形状)。在其他示例中，诸如在菜单为圆形时，界面引导可为圆形并且位于菜单所形成的圆的内侧或外侧。在另外其他的示例中，界面引导可具有与菜单不同的形状。例如，界面引导可以是水平线而菜单可以为椭圆。
此外，界面引导可包括以分支配置连接的一个或多个界面引导，从而由主界面引导(例如，主干)和在与该主界面引导分叉的方向上从该主界面引导引出的一个或多个次界面引导(例如，分支)组成。例如，次界面引导可以垂直于主界面引导，或者次界面引导可各自关于主界面引导呈不同的角度(例如，50°、130°等等)。在一些实施例中，次界面引导可具有一个或多个三级界面引导，依此类推。在图4的示例实施例中，界面引导314在显示器304上是用户可见的。在其他实施例中，如下文将更详细地解释的，界面引导可能是用户不可见的。界面引导在显示器上可具有任何合适的形状或可视性。
把手316被示为耦合到图4的示例中的界面引导314。如将在下文更详细地描述的，用户可将他的手锁定至把手316以使得他能沿界面引导314滑动该把手。例如，把手316沿界面引导314的移动允许用户在菜单上滚动并且从一个菜单项(例如，新游戏306)移到另一菜单项(例如，背景308)。在图4的示例实施例中，界面引导314包括对应于每一相应菜单项306、308、310和312的停止档318、320、322和324。尽管在图4的示例中停止档318、320、322和324对于用户是可见的，但在其他实施例中这些停止档可以是用户不可见的。在另外其他实施例中，停止档可以在把手在停止档的预定距离内移动时变得为用户可见。此外，每个停止档可以有可为用户可见或不可见的相应次界面引导。例如，在一些实施例中，这些次界面引导可以是用户不可见的，并且可以在相应停止档被激活时变得可见。
停止档的可视性和数目可以取决于沿主界面引导的停止档的总数。例如，如果界面引导是沿两小时的电影的、具有对应该电影的每一秒的停止档的拖刷器，则每个停止档可保持不可见。作为另一示例，主界面引导可对应于具有七个级别的音量，并且停止档对于这七个级别中的每个级别是可见的。
如图4的示例中所示的，把手316位于界面引导314顶端对应菜单项306的停止档318处，该位置可以是用户界面302最初出现在显示器304上时把手316的默认位置。作为另一示例，把手316在停止档318的位置可以是用户的手在其处从把手316解锁的位置。下文将参照图5C和5D更详细地描述从把手解锁。
继续图4，示出光标326在用户界面302的右下角。光标326被示为具有八边形。在其他实施例中，光标可以是屏幕上的光点或者光标可具有诸如星形、箭头等其他形状。另外，光标的形状可以基于游戏或应用的状态而改变。
如图4的示例中所示，光标326被用户从用户界面302的左上角的初始位置沿路径328移动。例如，用户可保持其右臂在身前往外伸出，以使他的手在他的身体前方的一定距离(例如，2英尺)(例如，他的手的位置比他的身体的位置更靠近深度相机)。用户的手的世界空间位置随后可经由游戏系统被转换为光标的屏幕空间位置。当用户在世界空间中移动他的手时，光标可响应地在用户界面上移动。例如，如果用户往右移动他的手，则光标往右移动。此外，用户在世界空间中移动他的手的距离可以任何合适的方式被映射为光标在用户界面上移动的距离。可以考虑诸如手速之类的因素以使得快速的手移动导致较大的光标移动而慢速的手移动导致更精确的光标移动。以此方式，光标在用户界面上跟踪用户的移动，并且为用户提供对用户的虚拟的手在屏幕空间中的虚拟“位置”的视觉指示。
图5A-D示出了经由光标326与用户界面302中的界面引导314(例如，主界面引导)的用户交互序列。如图5A所示，光标326从屏幕左上角的初始位置移到把手316的位置以便锁定至把手316。光标326(以及因此用户的手)可以在手的世界空间参数克服把手316的抓取阈值时被锁定至把手316。作为示例，如果在光标充分靠近把手316时用户握紧手，则手的世界空间参数可克服把手的抓取阈值。例如，用户可在光标占据与把手相同的屏幕空间坐标时握紧他的手以便将光标锁定至把手。
作为另一示例，如果如由光标所视觉化的手的屏幕空间位置在把手的阈值距离(例如，30个像素)内达到持续时间阈值(例如，0.5到2秒)，则手的世界空间参数可克服把手的抓取阈值。例如，用户可在世界空间中移动他的手以使光标的屏幕空间位置在把手的屏幕空间位置的阈值距离内。一旦光标已在该阈值距离内达到比持续时间阈值更长的时间，则光标以及因此用户的手就被锁定至把手。
作为又一示例，如果手的屏幕空间位置在把手的阈值距离内并且手的速度小于速度阈值达到持续时间阈值，则手的世界空间参数可克服把手的抓取阈值。例如，用户可在世界空间里移动他的手以使得当光标处在把手的阈值距离内时放慢他移动手的速度。一旦手的速度低于速度阈值达到比持续时间阈值更长的时间(例如，光标悬浮于把手上方)，光标以及因此用户的手就被锁定至把手。
作为另一示例，如果手的屏幕空间位置处在把手的阈值距离内并且用户向前或向后(例如，朝向显示设备或远离显示设备)移动他的手达到阈值距离，则手的世界空间参数可克服把手的抓取阈值。例如，一旦手处在把手的阈值距离内并且用户向前移动他的手达阈值距离(例如，12英寸)，光标以及因此用户的手就被锁定至把手。
在一些实施例中，一旦光标被锁定至把手，光标就可变为对用户不可见和/或可修改把手的外观以提供对手已被锁定至把手的视觉指示。在一些实施例中，例如光标可变为不可见并且把手可在尺寸或亮度上有所提升。在一些实施例中，光标可作为把手的一部分保持对用户可见，如图5A-D的示例所示。此外，一旦光标被锁定至把手，光标就变为被约束成沿与该把手相关联的一个或多个界面引导移动。这样，手的世界空间位置被转换为被约束成沿与该把手相关联的一个或多个界面引导移动的屏幕空间把手位置。在图5B所示的示例中，一个界面引导314是可见的(例如，主界面引导)并且把手从对应菜单项306的停止档318移到对应菜单项308的停止档320。
如上所述，沿界面引导的每个停止档可对应于可从与该界面引导相关联的菜单中被选择的项目。当该停止档被激活时可显示对应该停止档的次界面引导。例如，当屏幕空间把手位置处在该停止档的阈值距离之内时该停止档可被激活。因此，当把手靠近该停止档时，次界面引导330可在与界面引导314分叉的方向上从界面引导314延伸出来并且变得对用户可见，如图5C的示例中所示的。在其他示例中，无论何时只要主界面引导可见，则与每个停止档相关联的次界面引导就可变得可见。在另外其他示例中，次界面引导可以是用户不可见的。在一些实施例中，次界面引导330可以在用户在与该停止档相关联的菜单项的方向上移动他的手时变得对用户可见。例如，用户往右向与停止档320相关联的菜单项308移动把手，并且次界面引导330如图5C所描绘那样变得可见。作为补充或替换，与停止档相关联的菜单项可以当用户在该菜单项的方向上移动他的手时移动以显示把手沿次界面引导的进度。
主界面引导和次界面引导的长度在世界空间与屏幕空间之间的转换可以是不同的。例如，用户可在世界空间中移动他的手相对小的距离以在屏幕空间中沿主界面引导移动相对大的距离。相反，用户可在世界空间中移动他的手相对大的距离以在屏幕空间中沿可能短于主界面引导的次界面引导移动相对小的距离。以此方式，选择对应于次界面引导的对象可能要求用户更为特意的运动以使得例如用户不会无意中选择他不希望选择的对象。
当把手到达次界面引导的末端时，对应该次界面引导的项目可以被选择。在诸如图5C中所示的一些实施例中，停止档332可位于次界面引导330的末端。因此，当把手316到达停止档332时，背景菜单项308被选择。在一些实施例中，当该项目被选择时，光标以及因此用户的手从把手被解锁。换言之，在一些实施例中，通过项目被选择来克服把手的自动释放阈值。
当手的世界空间参数克服把手的释放阈值时，光标可在除次界面引导的末端之外的释放位置从把手被释放。例如，当用户松开他的手时，手的世界空间参数可克服把手的释放阈值。作为另一示例，如果手的屏幕空间位置在把手的阈值距离之外达到持续时间阈值，则手的世界空间参数可克服把手的释放阈值。例如，用户可在世界空间中在远离主界面引导或次界面引导的方向上将他的手移动落在阈值距离之外的距离。如果手在阈值距离之外保持比持续时间阈值更长的时间，则光标从把手被解锁。作为另一示例，如果用户向前或向后(例如，远离显示设备或朝向显示设备)将他的手移动阈值距离则手的世界空间参数可克服把手的释放阈值。
一旦光标从把手被解锁，则光标可再次变得可见——如果其在被锁定至把手时是不可见的。例如，光标可被显示在用户界面上对应手的世界空间位置的屏幕空间位置处。此外，一旦光标从把手解锁，把手可保持其在界面引导上的位置(例如，把手的释放位置)。这样，如果在解锁后光标再次被锁定至把手，把手的起始位置就在把手的先前释放位置。以此方式，如果用户无意中将他的手从把手解锁，把手沿界面引导的进度不会丢失。此外，把手可被留在界面引导上对应所期望的选择和/或设置的期望位置。在图5C的示例中，如果用户将他的手从把手316解锁，把手316保持在沿次界面引导330的位置。
在其他实施例中，当用户克服把手的释放阈值并且将他的手从把手解锁时，把手可快速移到最近停止档的屏幕空间位置。例如，图5D示出其中光标326从把手316被解锁的示例。由于在手从把手316解锁时用户最靠近停止档320，所以把手316快速移到停止档320。在一些实施例中，例如，把手可快速移到沿主界面引导的最近的停止档而不论次界面引导上最近停止档的距离如何，因为快速移到次界面引导上的停止档可能导致对相应菜单项的非所愿的选择。
因此，人类目标(例如，用户)的手的移动可被转换为用户界面上光标的运动。用户可将光标锁定至与用户界面中的菜单相关联的界面引导的把手。用户的手在世界空间中的移动随后转换为该把手沿界面引导的移动。当用户从界面引导解锁时，不论是有意还是无意地，把手沿界面引导的位置保持在释放位置。以此方式，光标下一次被锁定至把手时把手的起始位置始于把手的先前释放位置。
继续到图6，示出经由光标与用户界面中的界面引导进行用户交互的另一非限制性示例。在图6所示的示例实施例中，用户界面502被显示在可以是电视屏幕、计算机监视器之类的显示器504上。用户界面502包括沿水平线的具有一系列色彩项目的线性菜单，包括红506、黄508、和蓝510。例如，这些色彩项目可以是用户可选择的可供用于用户界面502的背景色。如图6中所示，该菜单在左右方向上延伸以指示存在当前在显示器504上不可见的其他色彩选项。
用户界面502还包括被示为菜单项下方的水平条的主界面引导512、以及从主界面引导512垂直地延伸出(例如，垂直于主界面引导512)的次界面引导514。此外，主界面引导512包括停止档516、518、和520。在图6所示的实施例中，当末端停止档516或518中的任何一个被激活时，发起菜单的滚动。例如，如图所示，光标522(以及因此用户的手)被锁定至位于停止档518处的把手524。这样，菜单向右滚动以显露菜单中的其他项目。如果光标522代之以被锁定至把手524并且把手524被置于停止档516处，则菜单将向左滚动。以此方式，用户可以例如查看太大而适应不了显示器的菜单中的所有项目，或者用户可滚动遍历书籍或文档的页面。
当不再需要滚动时，用户可以例如将把手524从停止档518移开。在一些实施例中，界面引导可以在其末端不包括停止档，并且可在把手到达没有停止档的末端时发起滚动。此外，在用户的手的世界空间位置试图将把手移动远越过界面引导的末端时可以增加滚动的速度。在其他实施例中，界面引导例如可在其末端处包括对应于在用户界面(例如，菜单)中视觉地表示的可变滚动速度的多个停止档。
继续图6，当所希望的色彩显示在次界面引导514上方时，例如用户可将把手524移到停止档520以终止滚动。把手524随后可以沿次界面引导514向上移动以选择次界面引导514上方的项目。如上所述，一旦项目被选择，光标522就可从把手524被释放。此外，当用户在沿主界面引导512的任意点处从把手524解锁时，如上所述，把手524可保持在之前被释放的位置。这样，用户没有丢失其在列表中的位置。
因此，把手沿界面引导的移动可被用于沿与界面引导相关联的菜单滚动。当不再需要滚动时，或者如果用户无意中将他的手从把手解锁，光标可以从把手被解锁并且保持把手的释放位置。
在此所述的方法和过程可以绑定到各种不同类型的计算系统。图1示出了以计算系统18、HDTV 16和深度相机22为形式的非限制性示例。作为另一更一般的示例，图7示意性地示出可以执行这里所述的一个或多个目标识别、跟踪和分析方法和过程的计算系统160。计算系统160可采取各种不同的形式，包括但不限于游戏控制台和个人计算系统等等。
计算系统160可包括逻辑子系统162、数据保持子系统164、显示子系统166和/或捕捉设备168。计算系统可任选地包括图7中未示出的组件，和/或图7中所示的某些组件可以是未集成在计算系统中的外围组件。
逻辑子系统162可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统可被配置成执行一个或多个指令，该一个或多个指令是一个或多个程序、例程、对象、组件、数据结构、或其它逻辑构造的一部分。可实现此类指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所需结果。逻辑子系统可包括被配置成执行软件指令的一个或多个处理器。另外地或替换地，逻辑子系统可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统可任选地包括分布在两个或更多个设备上的独立组件，在某些实施例中这些独立组件可位于远程。
数据保持子系统164可包括一个或多个物理设备，该一个或多个物理设备被配置为保持可由逻辑子系统执行以实现此处所述的方法和过程的数据和/或指令。在实现这样的方法和过程时，可以变换数据保持子系统164的状态(例如，以保持不同的数据)。数据保持子系统164可包括可移动介质和/或内置设备。数据保持子系统164可以包括光学存储器设备、半导体存储器设备(如RAM、EEPROM、闪存等)、和/或磁存储器设备等。数据保持子系统164可包括具有以下特性中的一个或多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可以将逻辑子系统162和数据保持子系统164集成到一个或更多个常见设备中，如专用集成电路或片上系统。
图7还示出使用计算机可读可移动介质170形式的数据保持子系统的一方面，该方面可用于存储和/或传送可执行来实现此处所述的方法和过程的数据和/或指令。
术语“模块”可用于描述被实现来执行一个或多个特定功能的计算系统160的一个方面。在某些情况下，可通过逻辑子系统162执行由数据保持子系统164所保持的指令来实例化这一模块。应该理解，可从相同的应用、代码块、对象、例程、和/或功能实例化不同模块和/或引擎。同样，在某些情况下，可通过不同的应用、代码块、对象、例程、和/或功能来实例化相同的模块和/或引擎。
如此处所述，计算系统160包括深度图像分析模块172，该深度图像分析模块172被配置成跟踪人类在固定的、世界空间坐标系中的世界空间姿态。术语“姿态”指人类的位置、定向、身体安排等。如此处所述，计算系统160包括交互模块174，该交互模块174被配置成用可移动的、界面空间坐标系来建立虚拟交互区，该可移动的、界面空间坐标系跟踪人类并相对于固定的、世界空间坐标系移动。如此处所述，计算系统160包括变换模块176，该变换模块176被配置成将在固定的、世界空间坐标系中定义的位置变换成在可移动的、界面空间坐标系中定义的位置。计算系统160还包括显示模块178，该显示模块178被配置成输出显示信号，该显示信号用于在与可移动的、界面空间坐标系中定义的位置相对应的桌面空间坐标处显示界面元素。
显示子系统166可用于呈现由数据保持子系统164所保持的数据的可视表示。由于此处所描述的方法和过程改变由数据保持子系统保持的数据，并由此变换数据保持子系统的状态，因此同样可以变换显示子系统166的状态以在视觉上表示底层数据的改变。作为一个非限制性示例，可通过显示子系统166以响应于用户在物理空间中的移动而在虚拟桌面中改变位置的界面元素(例如，光标)的形式来反映这里所述的目标识别、跟踪和分析。显示子系统166可以包括使用实际上任何类型的技术的一个或多个显示设备。可将这些显示设备与逻辑子系统162和/或数据保持子系统164一起组合在共享封装中，或如图1和9所示这些显示设备可以是外围显示设备。
计算系统160还包括被配置成获得一个或多个目标的深度图像的捕捉设备168。捕捉设备168可以被配置成通过任何合适的技术(例如，飞行时间、结构化光、立体图像等等)捕捉具有深度信息的视频。如此，捕捉设备168可包括深度相机、摄像机、立体相机、和/或其他合适的捕捉设备。
例如，在飞行时间分析中，捕捉设备168可以向目标发射红外光，然后使用传感器来检测从目标的表面反向散射的光。在一些情况下，可以使用脉冲式红外光，其中可以测量出射光脉冲和相应的入射光脉冲之间的时间并将该时间用于确定从该捕捉设备到目标上的特定位置的物理距离。在一些情况下，出射光波的相位可以与入射光波的相位相比较以确定相移，并且该相移可以用于确定从该捕捉设备到目标上的特定位置的物理距离。
在另一示例中，飞行时间分析可用于通过经由诸如快门式光脉冲成像之类的技术分析反射光束随时间的强度，来间接地确定从该捕捉设备到目标上的特定位置的物理距离。
在另一示例中，结构化光分析可以被捕捉设备168利用来捕捉深度信息。在这样的分析中，图案化光(即被显示为诸如网格图案或条纹图案之类的已知图案的光)可以被投影到目标上。在目标的表面上，该图案可能变成变形的，并且可以研究该图案的这种变形以确定从该捕捉设备到目标上的特定位置的物理距离。
在另一示例中，捕捉设备可以包括两个或更多个物理上分开的相机，这些相机从不同角度查看目标以获得视觉立体数据。在这种情况下，该视觉立体数据可以被解析以生成深度图像。
在其他实施例中，捕捉设备168可以使用其他技术来测量和/或计算深度值。此外，捕捉设备168可以将计算出的深度信息组织为“Z层”，即与从深度相机沿其视线延伸到观察者的Z轴垂直的层。
在一些实施例中，两个或更多个不同的相机可以被合并到一集成的捕捉设备中。例如，深度相机和视频相机(例如RGB视频相机)可以被合并到共同的捕捉设备中。在一些实施例中，可以协作式地使用两个或更多个分开的捕捉设备。例如，可以使用深度相机和分开的视频相机。当使用视频相机时，该视频相机可用于提供：目标跟踪数据、对目标跟踪进行纠错的确认数据、图像捕捉、面部识别、对手指(或其他小特征)的高精度跟踪、光感测和/或其他功能。
要理解，至少一些目标分析和跟踪操作可以由一个或多个捕捉设备的逻辑机来执行。捕捉设备可以包括被配置成执行一个或多个目标分析和/或跟踪功能的一个或多个板载处理单元。捕捉设备可以包括便于更新这样的板载处理逻辑的固件。
计算系统160可任选地包括诸如控制器180和控制器182之类的一个或多个输入设备。输入设备可被用于控制计算系统的操作。在游戏的上下文中，诸如控制器180和/或控制器182之类的输入设备可被用于控制游戏的那些不是通过这里所述的目标识别、跟踪和分析方法和过程来控制的方面。在某些实施例中，诸如控制器180和/或控制器182之类的输入设备可包括可用于测量控制器在物理空间中的移动的加速计、陀螺仪、红外目标/传感器系统等中的一个或多个。在某些实施例中，计算系统可任选地包括和/或利用输入手套、键盘、鼠标、跟踪垫、轨迹球、触屏、按钮、开关、拨盘、和/或其他输入设备。如将理解的，目标识别、跟踪和分析可被用于控制或扩充游戏或其他应用的常规上由诸如游戏控制器之类的输入设备控制的方面。在某些实施例中，这里所述的目标跟踪可被用作对其他形式的用户输入的完全替代，而在其他实施例中，这种目标跟踪可被用于补充一个或多个其他形式的用户输入。
应该理解，此处所述的配置和/或方法在本质上是示例性的，并且这些特定实施例或示例不是限制意义，因为多个变体是可能的。此处所述的特定例程或方法可表示任意数量的处理策略中的一个或多个。由此，所示出的各个动作可按所示顺序执行、按其他顺序执行、并行地执行、或者在一些情况下省略。同样，可改变上述过程的次序。
本公开的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合，和此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效物。

Claims (15)

1.一种计算系统(160)，包括：
逻辑子系统(162)；
保持指令的数据保持子系统(164)，所述指令可由所述逻辑子系统(162)执行以便：
将人类目标(32)的手的世界空间位置转换为用户界面(210)的屏幕空间位置；
如果所述手的世界空间参数克服所述用户界面(210)的把手(218)的抓取阈值则将所述手锁定至所述把手(218)；
当所述手被锁定至所述把手(218)时，将所述手的世界空间位置转换为被约束沿一个或多个界面引导(216)的屏幕空间把手位置；
如果所述手的世界空间参数克服所述把手(218)的释放阈值则在所述把手(218)的释放位置将所述手从所述把手(218)解锁；以及
在所述手从所述把手(218)被解锁之后将所述把手(218)保持在所述释放位置。
2.如权利要求1所述的计算系统，其特征在于，如果所述人类目标握紧所述手则所述手的世界空间参数克服所述把手的所述抓取阈值。
3.如权利要求1所述的计算系统，其特征在于，如果所述手的屏幕空间位置在所述把手的阈值距离之内达到持续时间阈值则所述手的世界空间参数克服所述把手的所述抓取阈值。
4.如权利要求1所述的计算系统，其特征在于，如果所述手的屏幕空间位置在所述把手的阈值距离内并且所述手的速度小于速度阈值达到持续时间阈值，则所述手的世界空间参数克服所述把手的所述抓取阈值。
5.如权利要求1所述的计算系统，其特征在于，如果所述人类目标松开所述手则所述手的世界空间参数克服所述释放阈值。
6.如权利要求1所述的计算系统，其特征在于，如果所述手的屏幕空间位置在所述把手的阈值距离之外达到持续时间阈值则所述手的世界空间参数克服所述释放阈值。
7.如权利要求1所述的计算系统，其特征在于，将所述手的世界空间位置转换为所述用户界面的屏幕空间位置包括将所述手的世界空间位置转换为所述用户界面的光标位置以使得所述手在世界空间中的移动导致光标在屏幕空间中的相应移动。
8.一种计算系统(160)，包括：
配置成从深度相机(22)接收深度图像的外围输入；
配置成向显示设备(16)输出用户界面(210)的显示输出；
经由所述外围输入可操作性地连接至所述深度相机(22)和经由所述显示输出可操作性地连接至所述显示设备(16)的逻辑子系统(162)；
保持指令的数据保持子系统(164)，所述指令可由所述逻辑子系统(162)执行以便：
从所述深度相机(22)接收包括人类目标(32)的世界空间场景的一个或多个深度图像；
将所述人类目标(32)的手的世界空间位置转换为所述用户界面(210)的屏幕空间光标位置以使得所述手在世界空间中的移动导致光标(208)在屏幕空间中的相应移动；
如果所述手的世界空间参数克服所述用户界面(210)的把手(218)的抓取阈值则将所述光标(208)锁定至所述把手(218)；
当所述光标(208)被锁定至所述把手(218)时，将所述手的世界空间位置转换为被约束沿主界面引导(216)的屏幕空间把手位置；
如果所述手的世界空间参数克服所述把手(218)的释放阈值则在所述把手(218)的释放位置将所述光标(208)从所述把手(218)解锁；
以及
在所述光标(208)从所述把手(218)被解锁之后将所述把手(218)保持在所述释放位置。
9.如权利要求8所述的计算系统，其特征在于，一个或多个次界面引导以分叉配置从所述主界面引导延伸出。
10.如权利要求9所述的计算系统，其特征在于，所述主界面引导包括对应于所述一个或多个次界面引导中的每一个的停止档，并且所述一个或多个次界面引导之一在对应的停止档被激活时被显示。
11.如权利要求10所述的计算系统，其特征在于，在所述屏幕空间把手位置处在所述停止档的屏幕空间位置的阈值距离内时所述停止档被激活。
12.如权利要求9所述的计算系统，其特征在于，所述主界面引导包括对应所述一个或多个次界面引导中的每一个的停止档，并且如果所述手的世界空间参数在两个停止档之间克服所述把手的所述释放阈值则所述把手快速移到所述两个停止档中较近的停止档。
13.如权利要求9所述的计算系统，其特征在于，所述主界面引导包括对应于所述一个或多个次界面引导中的每一个的停止档，并且无论何时只要显示所述主界面引导就显示所述一个或多个次界面引导。
14.如权利要求9所述的计算系统，其特征在于，所述主界面引导与菜单相关联并且所述一个或多个次界面引导中的每一个对应于所述菜单中的项目。
15.如权利要求8所述的计算系统，其特征在于，还包括可由所述逻辑子系统执行以在所述屏幕空间把手位置到达所述主界面引导的末端时发起与所述主界面引导相关联的列表的滚动的指令。
CN201110443210.4A 2010-12-15 2011-12-14 用于界面引导的持久性把手 Active CN102591648B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/969,377 US8920241B2 (en) 2010-12-15 2010-12-15 Gesture controlled persistent handles for interface guides
US12/969,377 2010-12-15

Publications (2)

Publication Number Publication Date
CN102591648A true CN102591648A (zh) 2012-07-18
CN102591648B CN102591648B (zh) 2015-08-19

Family

ID=46235084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110443210.4A Active CN102591648B (zh) 2010-12-15 2011-12-14 用于界面引导的持久性把手

Country Status (3)

Country Link
US (1) US8920241B2 (zh)
CN (1) CN102591648B (zh)
HK (1) HK1171274A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105229571A (zh) * 2013-03-13 2016-01-06 微软技术许可有限责任公司 自然用户接口滚动和瞄准

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011127646A1 (en) * 2010-04-13 2011-10-20 Nokia Corporation An apparatus, method, computer program and user interface
US20120192088A1 (en) * 2011-01-20 2012-07-26 Avaya Inc. Method and system for physical mapping in a virtual world
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US8782565B2 (en) * 2012-01-12 2014-07-15 Cisco Technology, Inc. System for selecting objects on display
US9110562B1 (en) * 2012-07-26 2015-08-18 Google Inc. Snapping a pointing-indicator to a scene boundary of a video
CN104660655A (zh) * 2013-11-25 2015-05-27 腾讯科技（上海）有限公司 一种对终端进行控制的方法、装置及系统
CN106415665B (zh) * 2014-07-25 2020-05-19 英特尔公司 具有头部转动的头像面部表情动画
US10222869B2 (en) * 2015-08-03 2019-03-05 Intel Corporation State machine based tracking system for screen pointing control
EP3267289B1 (en) * 2016-07-05 2019-02-27 Ricoh Company, Ltd. Information processing apparatus, position information generation method, and information processing system
JP6699406B2 (ja) * 2016-07-05 2020-05-27 株式会社リコー 情報処理装置、プログラム、位置情報作成方法、情報処理システム
US11604517B2 (en) * 2016-09-02 2023-03-14 Rakuten Group, Inc. Information processing device, information processing method for a gesture control user interface
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
US11822771B2 (en) * 2021-06-30 2023-11-21 Microsoft Technology Licensing, Llc Structuring communication and content for detected activity areas
US20230116341A1 (en) * 2021-09-30 2023-04-13 Futian ZHANG Methods and apparatuses for hand gesture-based control of selection focus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020049722A1 (en) * 2000-10-06 2002-04-25 International Business Machines Corporation Front of screen, user interface, and national language support by downloading bitmaps from a PC to a companion device
US20090027337A1 (en) * 2007-07-27 2009-01-29 Gesturetek, Inc. Enhanced camera-based input
CN101894021A (zh) * 2010-06-29 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种嵌入式系统的界面实现方法及系统

Family Cites Families (170)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
JP2001504605A (ja) 1996-08-14 2001-04-03 ラティポフ，ヌラフメド，ヌリスラモビチ 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2002516121A (ja) 1998-03-03 2002-06-04 アリーナ， インコーポレイテッド 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
US6643721B1 (en) * 2000-03-22 2003-11-04 Intel Corporation Input device-adaptive human-computer interface
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
EP3190546A3 (en) 2003-06-12 2017-10-04 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7173604B2 (en) 2004-03-23 2007-02-06 Fujitsu Limited Gesture identification of controlled devices
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
EP2487624B1 (en) 2005-01-07 2020-02-19 Qualcomm Incorporated(1/3) Detecting and tracking objects in images
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
BRPI0613165A2 (pt) 2005-05-17 2010-12-21 Gesturetek Inc saìda de sinal sensìvel à orientação
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
JP4569555B2 (ja) * 2005-12-14 2010-10-27 日本ビクター株式会社 電子機器
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP4267648B2 (ja) * 2006-08-25 2009-05-27 株式会社東芝 インターフェース装置及びその方法
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US8144121B2 (en) * 2006-10-11 2012-03-27 Victor Company Of Japan, Limited Method and apparatus for controlling electronic appliance
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US9317110B2 (en) * 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
JP5430572B2 (ja) * 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US20090289900A1 (en) 2008-05-20 2009-11-26 Samsung Electronics Co., Ltd. Game world manipulation
CN101644987A (zh) 2008-08-08 2010-02-10 深圳富泰宏精密工业有限公司 移动终端及其菜单选择的方法
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US8351979B2 (en) * 2008-08-21 2013-01-08 Apple Inc. Camera as input interface
US8499257B2 (en) * 2010-02-09 2013-07-30 Microsoft Corporation Handles interactions for human—computer interface

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020049722A1 (en) * 2000-10-06 2002-04-25 International Business Machines Corporation Front of screen, user interface, and national language support by downloading bitmaps from a PC to a companion device
US20090027337A1 (en) * 2007-07-27 2009-01-29 Gesturetek, Inc. Enhanced camera-based input
CN101894021A (zh) * 2010-06-29 2010-11-24 宇龙计算机通信科技(深圳)有限公司 一种嵌入式系统的界面实现方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105229571A (zh) * 2013-03-13 2016-01-06 微软技术许可有限责任公司 自然用户接口滚动和瞄准
CN105229571B (zh) * 2013-03-13 2018-03-30 微软技术许可有限责任公司 自然用户接口滚动和瞄准

Also Published As

Publication number Publication date
CN102591648B (zh) 2015-08-19
US20120157208A1 (en) 2012-06-21
HK1171274A1 (zh) 2013-03-22
US8920241B2 (en) 2014-12-30

Similar Documents

Publication Publication Date Title
CN102591648B (zh) 用于界面引导的持久性把手
US9489053B2 (en) Skeletal control of three-dimensional virtual world
US8497838B2 (en) Push actuation of interface controls
CN102707876B (zh) 界面控件的按压个性化
US8385596B2 (en) First person shooter control with virtual skeleton
US9008355B2 (en) Automatic depth camera aiming
US9349040B2 (en) Bi-modal depth-image analysis
US8788973B2 (en) Three-dimensional gesture controlled avatar configuration interface
CN102542867B (zh) 用于操纵虚拟车辆的方法和系统
US10972680B2 (en) Theme-based augmentation of photorepresentative view
JP6077523B2 (ja) 手動およびカメラ・ベースのアバター制御
US8957858B2 (en) Multi-platform motion-based computer interactions
US20130080976A1 (en) Motion controlled list scrolling
CN103501869A (zh) 手动和基于相机的游戏控制
EP3109833B1 (en) Information processing device and information processing method
CN103608073B (zh) 形状跟踪做手势
WO2016056317A1 (ja) 情報処理装置および情報処理方法
WO2020226847A1 (en) Capture indicator for a virtual world
US11182944B1 (en) Animation production system
JPWO2020100216A1 (ja) 携帯端末

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1171274

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150720

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150720

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1171274

Country of ref document: HK