CN102221975B - 使用运动捕捉数据的项目导航 - Google Patents

使用运动捕捉数据的项目导航 Download PDF

Info

Publication number
CN102221975B
CN102221975B CN2011101851197A CN201110185119A CN102221975B CN 102221975 B CN102221975 B CN 102221975B CN 2011101851197 A CN2011101851197 A CN 2011101851197A CN 201110185119 A CN201110185119 A CN 201110185119A CN 102221975 B CN102221975 B CN 102221975B
Authority
CN
China
Prior art keywords
cursor
posture
central point
angle
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2011101851197A
Other languages
English (en)
Other versions
CN102221975A (zh
Inventor
J·马尔戈利斯
T·李
G·A·马丁内兹
A·A-A·基普曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102221975A publication Critical patent/CN102221975A/zh
Application granted granted Critical
Publication of CN102221975B publication Critical patent/CN102221975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

本发明揭示了使用运动捕捉数据的项目导航。提供使用运动捕捉数据以控制计算系统的用户界面中的光标导航的系统和方法。跟踪三维捕捉空间中用户手部或其他对象的移动,并在计算系统中表示为运动捕捉模型数据。该方法包括从运动捕捉模型数据中获得对象的多个位置。该方法基于对象的多个位置中的至少某些确定成曲线的姿势的中心点。将该成曲线的姿势的中心点用作为原点,为对象的多个位置中的一个确定角属性。该方法还包括基于角属性在可选项目的顺序安排中导航光标。

Description

使用运动捕捉数据的项目导航
技术领域
本发明涉及项目导航,尤其涉及使用运动捕捉数据的项目导航。
背景技术
在计算系统中使用各种各样的用户界面以使用户能够将光标移动至列表中的期望位置,从而高亮显示一特定项目供选择。但是,某些列表可能相当大,可包括数百、数千或更多的项目。此外,很多列表,无论其尺寸,具有项目的顺序安排,用户可能希望顺序地浏览。某些情形中,用户将希望快速越过大量的项目,例如以移动至远离当前光标位置的一位置。其他情形中,期望的是作出精细的和/或缓慢的调整,并且仅略微移动光标(例如,一旦已经到达大致区域,顺序浏览相对小量的项目以选择感兴趣的特定项目)。
为了到达项目的长列表中远处的项目,访问现有的用户界面以循环多个项目时,用户界面通常很慢。这可导致用户对用户界面的不耐烦和不满。或者,可执行不同的导航操作,例如向上导航至与项目相关联的更高级的类别(例如,从音乐艺术家的视觉显示向上导航至相关联的音乐流派的视觉显示)。用户然后可移至选择适合的类别,再向下导航以到达包含期望项目的本地区域。但是,该分层方法需要不同的和额外的步骤,使得浏览和选择过程更加繁琐。分层方法还阻止用户直接浏览当前和目标位置之间的各个项目,这在某些情形中可能是用户期望的。提供项目的有效导航的上述挑战在自然用户界面环境中更为显著,例如没有键盘或鼠标的计算装置,其中产生关于解释用户姿势的大量问题。
发明内容
此外,本发明提供使用运动捕捉数据以控制计算系统的系统和方法。该方法包括从运动捕捉模型数据中获得对象的多个位置,该位置表示三维运动捕捉空间中对象的用户移动。该方法基于对象的多个位置中的至少某些确定成曲线的姿势的中心点。将该成曲线的姿势的中心点用作为原点,为对象的多个位置中的一个确定角属性。该方法还包括基于角属性在用户界面的可选项目的顺序安排中导航光标。
提供本发明内容以便以简化形式介绍将在以下的详细描述中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征,也不旨在用于限定所要求保护的主题的范围。此外,所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。
附图说明
图1示出一示例性的计算情景,其中来自成曲线的姿势的运动捕捉数据可被用于控制用户界面的光标。
图2描绘了具有光标的用户界面的附加示例,可使用来自成曲线的姿势的运动捕捉数据来控制该光标。
图3提供与示例性成曲线的姿势相关联的运动捕捉数据的视觉表示。
图4提供如从运动捕捉数据中获得的对象位置的视觉表示,并且示出与该位置相关联的、被用于控制光标导航的相关参数,例如图1和2所示的光标。
图5示出从运动捕捉数据中获得的对象位置的示例性历史,以及可能与每个对象位置相关联并被用于控制用户界面中光标的导航的相关参数。
图6示出基于从运动捕捉数据中获得的对象位置确定和更新中心点。
图7描绘了使用对象位置以确定角属性用于在用户界面中通过项目的顺序安排来控制光标导航的方法。
图8示出根据本发明各个实施例的示例性计算系统。
具体实施方式
图1示出计算系统10的非限制性示例,其中运动捕捉模型数据可被用于控制由计算系统执行的用户界面。具体而言,计算系统10包括计算设备12(例如视频游戏控制台),该计算设备12可被用于玩各种各样不同的游戏、播放一个或多个不同的媒体类型、和/或控制或操纵非游戏应用程序。图1还示出了高清晰度电视或HDTV 16形式的显示器14,该显示器可被用于向例如用户18的多个用户展示视觉信息。此外,图1示出了深度相机20形式的捕捉设备,其可被用于视觉地监视例如用户18的一个或多个用户。
捕捉设备和支持硬件/软件可被用于识别、分析和/或跟踪例如用户18的一个或多个对象。由操作系统和/或应用程序控制可解释对象的移动。事实上,操作系统和/或应用程序的任何可控方面可由例如用户18的目标的移动来控制。
图1示出一情景,其中使用深度相机20跟踪用户18,从而用户18的移动可被解释以产生对由计算系统10执行的用户界面的控制,例如HDTV16上显示的用户界面22。通过操作深度相机20并支持硬件/软件,为用户生成运动捕捉模型数据。运动捕捉模型数据是用户身体以及用户随着时间的流逝作出的移动的计算机可读表示。当前的示例中,运动捕捉模型数据中用户18手部18a的移动24被表示为在三维空间中随着时间的流逝发生的多个位置。将如下面详细解释的,从运动捕捉模型数据中为对象获得的位置的历史可被用于控制用户界面22。尽管可以理解的是可采用任何适合的对象,但此处的多个示例将在手部位置和手部/手臂的移动的上下文中被讨论。
在图1的示例情景中,用户界面22包括项目28的顺序安排26(图中仅指定多个项目中的一个)。单个项目28可通过光标30改变其位置向前和向后通过项目28的移动被高亮显示以便选择。在某些装置中,顺序安排26可能相当长,可包括数百、数千或更多的项目28。因此,用户18时常会希望移动光标30通过或越过大量的项目28,同时能够对光标移动施加更为精细程度的控制,以作出通过项目的更小的移动并最终导致具体的项目28被高亮显示供选择。
可以理解的是此处“光标”是指可选项目的列表或其他安排中的可选位置。因此,对在多个项目中或之间移动或导航光标的引用还意味着在多个项目移经固定的可选位置时,具有显示屏幕上固定的可选位置。例如,图1中,顺序安排26可向左和向右移动,光标30保持在屏幕的中心。
继续图1,为了将光标30移过项目28,用户18可作出成曲线的姿势,例如手部18a的圆周移动(例如,移动24)。然后解释在运动捕捉模型数据中产生的结果手部位置以产生移动光标30的控制信号。对从运动捕捉模型数据中获得的手部位置的解释可包括向手部运动分配特性的决定,其可被表述为与每个手部位置相关联的参数值。
例如,运动捕捉数据中的手部位置可被解释以为手部18a推断一圆周运动,尽管实际的运动经常可能是未完成的或特性发生变化的(例如,未完成的曲线、弧线、圆周等)。在被解释的数据中,手部位置与推断的圆周运动可与各种已确定的参数相关联,仅举几个非限制性的示例,包括旋转的中心点、半径、旋转的方向、手部位置的角位置、角位置的变化和/或角速度。上述参数中的一个或多个可被用于控制光标30移过项目28的方式。
例如,用户可在空间中用手部快速划出多个圆周以便快速导航至项目列表中感兴趣的大致区域(例如,特定的字母表位置)。然后,随着手部旋转的速度减慢(例如,降低的角速度),光标移动因此减慢,允许列表中光标位置的更加精细的调整。该示例中,用户被使能通过单一类型的姿势执行相对更大和相对更小范围的导航。用户不必分层地向上导航或显示不同类型的界面以获得期望项目的定位。
图2提供使用当前系统和方法控制的用户界面22的附加示例。该情形中,光标30被实现为选择器,该选择器向后和向前移动以允许用户在音频文件、视频剪辑或其他媒体选择中选择期望的位置。可选项目28的顺序安排26是可被用户选择的媒体选择中的一系列位置(例如,时刻)。
将圆周运动属性分配给历史的对象位置(例如,手部位置)可能提出各种挑战。图3描述了在作出成曲线的姿势期间表示手部的被连续跟踪的位置的示例运动路径40。该示例示出姿势变化的可能性,包括曲率、半径和旋转中心等的变化。此外,用户可以以变化的速度移动其手部。同样,给定的用户可作出特性差别很大的姿势,包括姿势中的有意识的变化以影响对用户界面的不同类型的控制,例如更快地循环通过显示项目的列表。不同用户的成曲线的姿势也有所变化。圆周运动通常是形状不规则和变化的。所述系统和方法可被配置为允许用户影响对于光标移动的期望的控制,同时允许用户以其希望的任意方式作出圆周姿势。
现在参考图4和5,计算系统中存储的运动捕捉模型可提供被跟踪对象的位置的历史,其可被用于解释相关联的成曲线的姿势,例如图1中手部18a的移动24。图5示出示例性历史100,包括对象的多个位置,表示为P1至Pn。这些位置可从运动捕捉模型中获得,并可被描述以直线坐标或其他适合的描述。如所示的,各种其他参数可与位置P1至Pn中的每一个相关联和/或为位置P1至Pn中的每一个来生成。例如,历史100可为每个位置包括以下各项中的一个或多个:(1)时间T;(2)中心点CP;(3)矢量V;(4)半径R;(5)角度θ;(6)角度变化Δθ;(7)角速度ω。这些参数将在下面详细描述。历史100的下标表示参数值与从运动捕捉模型中获得的特定位置的关联。换句话说,与位置P1相关联的有时间T1、中心点CP1、矢量V1、半径R1、角度θ1、角度变化Δθ1和角速度ω1
图4提供了各种参数的图示,结合从运动捕捉模型中获得的位置,该参数可被包括在历史100中和/或为历史100被生成。如前讨论的,位置P是感兴趣的手部或其他对象的三维空间中的位置描述。运动捕捉模型典型地也将包括与该位置相关联的时间T。时间信息可被表述以各种方式,包括直接方法(例如使用时戳)、或间接地通过将给定位置与一系列运动捕捉帧中的特定帧相关联。
为历史100中的某些或全部位置P计算中心点CP。对于给定的对象位置,已计算的中心点是位置的近似值,手部或其他对象围绕该位置旋转以作出成曲线的姿势。由于其与该姿势相关联,已计算的中心点将因此时常被称为“成曲线的姿势的中心点”。中心点CP的生成为确定若干其他参数提供基础,确定中心点的方法将在下面详细说明。一旦为位置P建立了中心点CP,期望的是采用矢量和半径描述来表征位置及其相关联的中心点之间的关系。在图4的示例中,矢量V是从中心点CP延伸至位置P的矢量。半径R是位置P与已计算的中心点CP之间的距离。
角度θ是位置P的角位置的描述,被定义为矢量V和参考线或矢量102之间的角度。可采用任何适合的参考来定义角位置。某些情形中,选择水平的参考将是方便的(例如,图4的xz平面中的线)。
角度变化Δθ可基于历史100中的一个或多个先前条目被计算(图5)。一个示例中,角度变化(角坐标的变化)仅通过比较当前角位置与历史中先前条目的角位置来获得。例如,对于历史100中的位置P4,Δθ4可简单地被计算为θ43的结果。替换地,结合来自历史100中先前对象位置条目的一个或多个值,可采用包括加权、平滑和平均等方法。此外,通过使用从运动捕捉模型中获得的时间信息(图5中T1至Tn),Δθ可按角速度表述,如图5所示。角位置和/或角速度的变化可被表述为幅度(绝对值)或带符号值以指示旋转方向。带符号值通常是合适的,因为很多示例性实施例将包括将光标向前和向后导航通过项目列表的控制。
图6提供确定成曲线的姿势的中心点的示例性方法的示意性描述104。从运动捕捉模型中已经获得多个对象位置P1至P8,其反映了空间中沿顺时针方向移动的对象。中心点CP5是与位置P5相关联的中心点。当前的示例中,通过计算平均位置获得中心点计算。平均值可相关于当前位置和任何数目的其他位置来计算,其他位置位于从运动捕捉模型中获得的位置历史中。当前的示例中,中心点CP5与位置P5相关联,是位置P1至P5的平均值。
当使用平均位置来确定中心点时,可采用加权。例如,从运动捕捉模型中获得的最近的对象位置比历史中时间较久的对象位置而言对于已计算的中心点位置具有更大的影响。应当理解的是前面的描述是计算中心点的非限制性示例,在不偏离本发明的范围的情况下,很多其他替代方案是可能的。
继续图6,假设当前对象位置P5和已计算的中心点CP5,可如上述的计算各种其他参数。此外,当计算上面讨论的各种角度参数时,可将中心点CP5用作为参考中心点。例如,可通过比较从中心点CP5延伸至位置P5的矢量与从中心点CP5延伸至历史中例如P4、P3等先前位置其中之一的矢量来确定与位置P5相关联的角位置的变化。时间信息还可被用于关联角速度与位置P5
图6还示出当前系统和方法中随着时间的流逝改变中心点的能力。具体地,中心点CP8与位置P8相关联,并作为位置P1至P8的平均值被生成。因此,随位置P5和位置P8之间的时间差异,中心点可从CP5移至CP8。在中心点的更新期间,某些情形中期望的是采用平滑以避免中心点位置中的大的不连续性。
更新和改变中心点的能力可提供各种益处。对于严格或固定的中心点,用户在作出姿势时观察和感觉他们围绕中心点旋转得有多好是困难的。例如,用户旋转地离中心过近或切入中心,如果中心点不是可调整的,则解释该姿势并产生对应的光标控制时将生成错误或非预期的结果。可变的中心点在允许用户作出如下成曲线的姿势时还允许有效的姿势解释,该成曲线的姿势在特性上有所变化并且对于用户的体型、运动范围等是舒服和合适的。
再次参考图5,手部位置和相关联的参数的历史100可被用于以近乎无限的方式控制通过项目列表的光标移动。在成曲线的手部姿势的上下文中,其中用户在三维捕捉空间中尝试“拨号”或“转动曲柄”的运动,该运动的特性可产生对用户界面中光标的不同的控制,例如图1和2所示的光标30。
很多示例中,成曲线的姿势的中心点可被用作确定角属性的原点。角属性进而可被用于控制光标的导航,例如其在列表中的放置、其通过列表的速率、所遍历的项目数量等。
例如,角属性可以是关于例如图4中角度θ的参考值而确定的角度或角位置。该角度可被直接映射到项目的可导航列表中的特定位置,例如图1和2所示。例如,计算45度作为旋转姿势期间特定的手部位置的角度,对应于将光标放置于特定的位置,例如1000个项目的列表中的第n个项目。
另一示例中,角位置的变化可被用于确定用于控制光标移动的角属性。可采用缩放比例,其中光标遍历与角位置的变化尺度成比例的多个项目。更具体地,手部的完整圆周(360度)可对应于导航通过200或任何其他合适数目的可选项目。可采用任何适合的缩放比例值,该值可依赖于要被导航的列表中的项目数量,以及其他因素。该缩放比例可附加地依赖于其他参数。例如,响应于历史100中的半径值(例如,源自当前位置及相关联的中心点)对光标位置进行更精细或更粗略的调整。例如,期望的是通过给定角度的旋转导致对于更大的半径通过更多数量的项目的光标移动。此外,半径测量可被用于结合用户手臂长度的测量以得到一比率,该比率可被用于结合其他参数以控制光标速度。
另一示例中,图5的角速度可被用于确定用于控制光标导航的角属性。例如,手部旋转(如由历史100中已确定的角速度所表示的)的速度可控制光标移过可选项目的速率。此外,导航通过列表的速度可基于角速度的历史。例如,维持特定的角速度(例如,经过一阈值量的时间)可被用于生成动量效果,其中光标移动被进一步增大以帮助在列表中遍历长距离。
应该理解的是,本发明还包括使用运动捕捉数据控制计算系统的方法。图7描绘了方法120的示例,其中对象的移动被表示为运动捕捉模型数据中的多个位置,这些位置被解释为控制通过项目的顺序安排的光标移动。
122,方法可首先包括确定是否激活成曲线的姿势UI控制。出于各种其他目的,结合控制计算机来使用运动捕捉,因此期望的是采用一过程基于成曲线的姿势来具体地初始化控制光标移动的功能,例如上述的拨号手部姿势。某些情形中,具有描绘模式和用于成曲线的姿势控制的操作上下文简化了运动捕捉数据的解释。一个示例中,成曲线的姿势UI控制通过音频被初始化,例如对用户发出的语音命令或其他声音的检测。另一示例中,视觉提示可被提供在显示屏幕(例如,显示器14)上以提示用户将他们的手部移动至特定的位置或以特定的方式激活成曲线的姿势控制。另一示例中,具体的姿势可被用于进入和参与该成曲线的姿势UI控制。
124,方法包括获得对象的多个位置。如以上讨论的,对象的位置可从运动捕捉数据中获得并且代表三维空间中移动的对象,例如作出成曲线的姿势的用户的手部。
126,方法包括基于124中获得的对象位置中的至少某些来确定成曲线的姿势的中心点。某些示例中,如参考图6讨论的,通过使用124中获得的对象位置中的某些或全部确定平均位置来建立中心点。
在128,方法包括将成曲线的姿势的中心点用作为原点来确定角属性。如图5的示例,角属性可包括角度(角位置)、角位置的变化和/或角速度。最后,130,方法包括基于128中确定的角属性在项目的顺序安排中导航光标。
类似于之前描述的示例,方法120可包括不时地更新成曲线的姿势的中心点。某些情形中,为124中获得的每个位置计算新的中心点,相应地为对象位置计算角属性。其他示例中,可不太频繁地更新中心点,和/或可采用平滑以避免不连续性。
从此处描述的成曲线的姿势控制的脱离可以各种方式进行。一种方法中,一旦通过光标定位已经到达期望的项目,则保留该光标位置一段时间导致该项目被选中,从而脱离成曲线的姿势的控制。另一示例中,可以使用具体的手臂姿势,例如图1中用户的手臂戳向显示屏幕14(例如,z轴移动)。另一示例中,可采用音频提示以选择一项目并脱离成曲线的姿势的控制。同样,未选择项目时,可采用规则和/或边界条件来推断脱离。例如,用户将手臂放置身侧或指向地面时可发生脱离。
如参考图1描述的,可将上述方法和过程绑定到计算系统。图8提供执行上述方法和过程中的一个或多个的计算系统200的附加示例。计算系统200包括逻辑子系统202、数据保存子系统204和显示子系统206。计算系统200可选地包括图8未示出的其他组件,仅提一例,如运动捕捉子系统。
逻辑子系统202可包括被配置成执行一个或多个指令的一个或多个物理设备。具体而言,逻辑子系统202被示出执行数据保存子系统204包含的用户界面指令208的拷贝。如图所示及结合之前示例所述,对象位置可从数据保存子系统存储的运动捕捉模型数据210中获得并被提供给用户界面指令用于处理。处理可如之前所述的进行,以便施加对于显示子系统206上显示的用户界面的控制。具体而言,从模型中获得的对象位置可被解释以控制显示子系统206的屏幕上光标的导航。
更为概括地继续逻辑子系统202,其可被配置成执行一个或多个指令,该一个或多个指令是一个或多个程序、例程、对象、组件、数据结构、或其它逻辑构造的一部分。可以实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其它方式得到所需结果。逻辑子系统可以包括被配置为执行软件指令的一个或多个处理器。附加地或可替代地,逻辑子系统可包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统可以任选地包括分布在两个或多个设备上的独立组件,这些独立组件在某些实施例中可远程放置。
数据保存子系统204可包括一个或多个设备,该一个或多个设备被配置为保存可由逻辑子系统执行以实现此处所述的方法和过程的数据和/或指令。在实现了此类方法和过程时,可以变换数据保存子系统204的状态(例如,保存不同数据)。数据保存子系统204可以包括可移动介质和/或内置设备。数据保存子系统204可以包括光学存储器设备、半导体存储器设备、和/或磁存储器设备等。数据保存子系统204可以包括具有以下特性中的一个或多个的设备:易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中,可以将逻辑子系统202和数据保存子系统204集成到一个或多个常见设备中,如专用集成电路或片上系统。
显示子系统206可被用于呈现由数据保存子系统204保存的数据的可视表示。由于此处所描述的方法和过程改变了由数据保存子系统保存的数据,并由此变换数据保存子系统的状态,因此同样可以变换显示子系统206的状态以视觉地表示底层数据的改变。显示子系统206可以包括使用基本上任何类型的技术的一个或多个显示设备。可将该显示设备与逻辑子系统202和/或数据保存子系统204组合在共享封装中,或该显示设备可以是外围显示设备。
应该理解,此处所述的配置和/或方法在本质上示例性的,且这些具体实施例或示例不是局限性的,因为多个变体是可能。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此,所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行、或者在某些情况下省略。同样,可以改变上述过程的次序。
本发明的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合、和此处所公开的其它特征、功能、动作、和/或特性、以及其任何和全部等效物。

Claims (15)

1.一种使用运动捕捉以控制计算系统的方法,该方法包括:
从运动捕捉模型数据中获得对象的多个位置(124),所述多个位置表示三维运动捕捉空间中对象的用户移动;
基于所述对象的多个位置中的至少某些来确定成曲线的姿势的中心点(126);
将所述成曲线的姿势的中心点用作为原点,为所述对象的多个位置中的一个确定角属性(128);以及
在用户界面中,基于所述角属性在可选项目的顺序安排中导航光标(130)。
2.如权利要求1所述的方法,其特征在于,其中所述成曲线的姿势的中心点是通过使用所述多个位置确定平均位置来确定的。
3.如权利要求1所述的方法,其特征在于,所述角属性是在参考线与延伸于成曲线的姿势的中心点和对象的多个位置中的一个之间的线之间定义的角度,并且导航所述光标包括将光标定位在对应于所述角度的可选项目的顺序安排中的一位置处。
4.如权利要求1所述的方法,其特征在于,所述角属性是角位置的变化,并且导航所述光标包括使光标遍历与角位置的变化成比例的多个可选项目。
5.如权利要求4所述的方法,其特征在于,被遍历的可选项目的数量还与所述成曲线的姿势的中心点和对象的多个位置中的一个之间的半径成比例。
6.如权利要求1所述的方法,其特征在于,所述角属性是角速度,并且导航所述光标包括使光标以与角速度成比例的速率移动通过所述可选项目。
7.如权利要求1所述的方法,其特征在于,所述对象是用户的手部。
8.如权利要求1所述的方法,其特征在于,还包括:
更新所述成曲线的姿势的中心点;
使用更新后的成曲线的姿势的中心点,为对象的多个位置中的第二个确定角属性;以及
在用户界面中,基于对象的多个位置中的第二个的角属性在可选项目的顺序安排中导航光标。
9.如权利要求1所述的方法,其特征在于,所述可选项目是媒体选择中的位置。
10.一种运动捕捉以控制计算系统的系统,该系统包括:
用于从运动捕捉模型数据中获得对象的多个位置的装置,所述多个位置表示三维运动捕捉空间中对象的用户移动;
用于基于所述对象的多个位置中的至少某些来确定成曲线的姿势的中心点的装置;
用于将该成曲线的姿势的中心点用作为原点,为对象的多个位置中的一个确定角属性的装置;以及
用于在用户界面中,基于所述角属性在可选项目的顺序安排中导航光标的装置。
11.如权利要求10所述的系统,其特征在于,所述成曲线的姿势的中心点是通过使用多个位置的平均位置来确定的。
12.如权利要求10所述的系统,其特征在于,所述角属性是在参考线与延伸于成曲线的姿势的中心点和对象的多个位置中的一个之间的线之间定义的角度,并且用于导航所述光标的装置包括用于将光标定位在对应于所述角度的可选项目的顺序安排中的一位置处的装置。
13.如权利要求10所述的系统,其特征在于,所述角属性是角位置的变化,并且用于导航所述光标的装置包括用于使光标遍历与角位置的变化成比例的多个可选项目的装置。
14.如权利要求10所述的系统,其特征在于,所述角属性是角速度,并且用于导航所述光标的装置包括用于使光标以与角速度成比例的速率移动通过可选项目的装置。
15.如权利要求10所述的系统,其特征在于,还包括:
用于更新所述成曲线的姿势的中心点的装置;
用于使用更新后的成曲线的姿势的中心点,为对象的多个位置中的第二个确定角属性的装置;以及
用于在用户界面中,基于对象的多个位置中的第二个的角属性在可选项目的顺序安排中导航光标的装置。
CN2011101851197A 2010-06-22 2011-06-21 使用运动捕捉数据的项目导航 Active CN102221975B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/820,990 2010-06-22
US12/820,990 US8416187B2 (en) 2010-06-22 2010-06-22 Item navigation using motion-capture data

Publications (2)

Publication Number Publication Date
CN102221975A CN102221975A (zh) 2011-10-19
CN102221975B true CN102221975B (zh) 2013-11-20

Family

ID=44778537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101851197A Active CN102221975B (zh) 2010-06-22 2011-06-21 使用运动捕捉数据的项目导航

Country Status (2)

Country Link
US (1) US8416187B2 (zh)
CN (1) CN102221975B (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8416189B2 (en) * 2010-06-04 2013-04-09 Acer Incorporated Manual human machine interface operation system and method thereof
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP6106921B2 (ja) * 2011-04-26 2017-04-05 株式会社リコー 撮像装置、撮像方法および撮像プログラム
CN102915220B (zh) * 2011-08-04 2016-02-10 英华达(上海)科技有限公司 一种手持式投影装置及其投影方法
TWI450128B (zh) * 2011-12-05 2014-08-21 Wistron Corp 手勢偵測方法、手勢偵測系統及電腦可讀取儲存媒體
WO2013103410A1 (en) 2012-01-05 2013-07-11 California Institute Of Technology Imaging surround systems for touch-free display control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US20130194180A1 (en) * 2012-01-27 2013-08-01 Lg Electronics Inc. Device and method of controlling the same
TWI476706B (zh) * 2012-04-30 2015-03-11 Pixart Imaging Inc 偵測物件移動輸出命令的方法及其系統
CN103455135A (zh) * 2012-06-01 2013-12-18 腾讯科技(深圳)有限公司 控制被控设备的控制方法、系统
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US9530213B2 (en) 2013-01-02 2016-12-27 California Institute Of Technology Single-sensor system for extracting depth information from image blur
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9626015B2 (en) 2013-01-08 2017-04-18 Leap Motion, Inc. Power consumption in motion-capture systems with audio and optical signals
US10042510B2 (en) 2013-01-15 2018-08-07 Leap Motion, Inc. Dynamic user interactions for display control and measuring degree of completeness of user gestures
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US9280259B2 (en) 2013-07-26 2016-03-08 Blackberry Limited System and method for manipulating an object in a three-dimensional desktop environment
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9390598B2 (en) 2013-09-11 2016-07-12 Blackberry Limited Three dimensional haptics hybrid modeling
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
CN103558915B (zh) * 2013-11-01 2017-11-07 王洪亮 人体耦合智能信息输入系统及方法
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
JP6287382B2 (ja) * 2014-03-12 2018-03-07 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US10652696B2 (en) * 2014-07-30 2020-05-12 Trusted Positioning, Inc. Method and apparatus for categorizing device use case for on foot motion using motion sensor data
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
DE102014225796A1 (de) 2014-12-15 2016-06-16 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Steuerung eines Fahrzeugsystems
KR102339839B1 (ko) * 2014-12-26 2021-12-15 삼성전자주식회사 제스처 입력 처리 방법 및 장치
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
CN111782098A (zh) * 2020-07-02 2020-10-16 三星电子(中国)研发中心 一种页面导航方法、装置和智能设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729808A (zh) * 2008-10-14 2010-06-09 Tcl集团股份有限公司 一种电视遥控方法及用该方法遥控操作电视机的系统

Family Cites Families (166)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の3次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
US6152856A (en) 1996-05-08 2000-11-28 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6411744B1 (en) 1997-10-15 2002-06-25 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
ATE321689T1 (de) 2002-04-19 2006-04-15 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP3190546A3 (en) 2003-06-12 2017-10-04 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
CN100573548C (zh) 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074290A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Optical flow based tilt sensor
JP5160235B2 (ja) 2005-01-07 2013-03-13 クアルコム,インコーポレイテッド 画像中の物体の検出及び追跡
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
CN103257684B (zh) 2005-05-17 2017-06-09 高通股份有限公司 方向敏感的信号输出方法及装置
WO2006125133A2 (en) 2005-05-19 2006-11-23 Hillcrest Laboratories, Inc. Global navigation objects in user interfaces
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US8537111B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
TWI300184B (en) 2006-03-17 2008-08-21 Htc Corp Information navigation methods, and machine readable medium thereof
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US9032336B2 (en) 2006-09-07 2015-05-12 Osaka Electro-Communication University Gesture input system, method and program
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
KR20080051459A (ko) * 2006-12-05 2008-06-11 삼성전자주식회사 스크롤 처리 방법 및 장치
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US20090125824A1 (en) 2007-11-12 2009-05-14 Microsoft Corporation User interface with physics engine for natural gestural control
JP4462450B2 (ja) * 2008-03-14 2010-05-12 セイコーエプソン株式会社 放電灯点灯装置及びその制御方法並びにプロジェクタ
US20100031202A1 (en) 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
JP4720874B2 (ja) * 2008-08-14 2011-07-13 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101729808A (zh) * 2008-10-14 2010-06-09 Tcl集团股份有限公司 一种电视遥控方法及用该方法遥控操作电视机的系统

Also Published As

Publication number Publication date
CN102221975A (zh) 2011-10-19
US8416187B2 (en) 2013-04-09
US20110310007A1 (en) 2011-12-22

Similar Documents

Publication Publication Date Title
CN102221975B (zh) 使用运动捕捉数据的项目导航
US10022628B1 (en) System for feature-based motion adaptation
CN102760032B (zh) 一种信息处理的方法和电子设备
Lau et al. Precomputed search trees: Planning for interactive goal-driven animation
EP3517190B1 (en) Information processing device, terminal device, information processing method, and programme
US8788973B2 (en) Three-dimensional gesture controlled avatar configuration interface
US20110304632A1 (en) Interacting with user interface via avatar
US9067136B2 (en) Push personalization of interface controls
CN104854546A (zh) 图形用户界面的加权焦点导航
JP7127107B2 (ja) シミュレーションされた三次元(3d)環境におけるインタラクティブな入力制御
JP5303068B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN101810003A (zh) 增强的基于相机的输入
US11568594B1 (en) Systems and methods for providing immersive graphical interfaces
CN102915112A (zh) 用于近距离动作跟踪的系统和方法
Park AR-Room: a rapid prototyping framework for augmented reality applications
JP5771329B2 (ja) 動的壁紙の生成方法及び生成装置
US10037619B2 (en) Method and system for generating motion sequence of animation, and computer-readable recording medium
US11579752B1 (en) Augmented reality placement for user feedback
KR101949493B1 (ko) 멀티미디어 콘텐츠의 재생을 제어하기 위한 방법 및 시스템
JP5458245B2 (ja) 動作制御装置、その方法、及びプログラム
US20190149873A1 (en) Handheld controller gestures for virtual reality video playback
CN109766034A (zh) 快捷启动应用程序的方法、装置、设备以及存储介质
JP7409770B2 (ja) ゲームシステム、プログラム及び端末装置
JP7039294B2 (ja) プログラム、画像処理方法、及び画像処理装置
WO2022055767A1 (en) System and method for precise positioning with touchscreen gestures

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150424

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150424

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.