CN102449577B - 虚拟桌面坐标变换 - Google Patents

虚拟桌面坐标变换 Download PDF

Info

Publication number
CN102449577B
CN102449577B CN201080024894.8A CN201080024894A CN102449577B CN 102449577 B CN102449577 B CN 102449577B CN 201080024894 A CN201080024894 A CN 201080024894A CN 102449577 B CN102449577 B CN 102449577B
Authority
CN
China
Prior art keywords
model
interactive areas
mankind
machine
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080024894.8A
Other languages
English (en)
Other versions
CN102449577A (zh
Inventor
A·J·兰格里奇
D·阿迪斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102449577A publication Critical patent/CN102449577A/zh
Application granted granted Critical
Publication of CN102449577B publication Critical patent/CN102449577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6615—Methods for processing data by generating or executing the game program for rendering three dimensional images using models with different levels of detail [LOD]

Abstract

计算系统包括深度图像分析模块，该深度图像分析模块跟踪人类在固定的、世界空间坐标系中的世界空间姿态。计算系统还包括交互模块，该交互模块用可移动的、界面空间坐标系来建立虚拟交互区，该可移动的、界面空间坐标系跟踪人类并相对于固定的、世界空间坐标系移动。计算系统还包括变换模块，该变换模块将在固定的、世界空间坐标系中定义的位置变换成在可移动的、界面空间坐标系中定义的位置。

Description

虚拟桌面坐标变换
背景技术
桌面隐喻被广泛用于尝试使计算系统对用户更为友好。尽管已证明桌面隐喻比命令行界面更易于使用，但一些用户还是会因为鼠标、跟踪球、跟踪垫和其他输入设备而沮丧。
发明内容
提供本发明内容以便以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。
根据本公开的一些方面，计算系统被配置成提供可使用自然的手势来操纵的虚拟桌面。计算系统包括深度图像分析模块，该深度图像分析模块跟踪人类在固定的、世界空间坐标系中的世界空间姿态。计算系统还包括交互模块，该交互模块用可移动的、界面空间坐标系来建立虚拟交互区，该可移动的、界面空间坐标系跟踪人类并相对于固定的、世界空间坐标系移动。计算系统还包括变换模块，该变换模块将在固定的、世界空间坐标系中定义的位置变换成在可移动的、界面空间坐标系中定义的位置。
附图说明
图1示意性地示出一人类，该人类在虚拟交互区内作出各姿势来控制由电视监视器显示的虚拟桌面中的光标位置。
图2示出了用于表示人类目标的示例性身体模型。
图3示出了用于表示人类目标的示例性骨架模型的基本上正面的视图。
图4示出了用于表示人类目标的示例性骨架模型的斜视图。
图5示出了用于表示人类目标的示例性网格模型。
图6示意性地示出用于相对于人类目标的模型来定位虚拟交互区的定位矢量。
图7示意性地示出响应于人类改变在世界空间中的定向而相对于模型空间/世界空间坐标系来移动的界面空间坐标系。
图8示意性地示出了手的位置从模型空间/世界空间坐标至界面空间/桌面空间坐标的变换。
图9示意性地示出一人类，该人类在另一虚拟交互区内作出姿势来控制由电视监视器显示的虚拟桌面中的光标位置。
图10示意性示出根据本发明的一实施例的计算系统。
图11示出提供虚拟桌面的方法。
具体实施方式
本公开涉及用户可在不必持有任何运动检测控件(例如，加速计、陀螺仪等)或佩带任何特定的标记器(例如，向后反射器)的情况下使用自然的姿势(例如，手部移动)来控制的虚拟桌面。具体而言，使用深度相机或用于获取深度信息的其他源来高效并精确地建模和跟踪用户。将用户在世界空间中的位置和定向用作建立交互区的基准，该交互区具有跟踪了用户的位置和定向的位置和定向。用户可在该交互区内移动他的手或其他身体部位来控制虚拟桌面中的虚拟对象(例如，光标)的位置。
图1示出目标跟踪系统10的非限制性示例。具体而言，图1示出了游戏系统12，该游戏系统12可以用于玩各种不同的游戏、播放一个或多个不同的媒体类型、和/或控制或操纵非游戏应用。图1还示出高清电视(即或HDTV 16)形式的显示器14，该显示器14可被用于向用户(诸如，用户18)呈现视觉信息。此外，图1示出了深度相机20形式的捕捉设备，该捕捉设备可被用于视觉地监视一个或多个用户(例如，用户18)。
目标跟踪系统可以用于识别、分析和/或跟踪诸如用户18之类的一个或多个目标。可将目标移动解释为操作系统和/或应用控制。事实上，操作系统和/或应用的任何可控方面可以通过用户18之类的目标的移动来控制。
图1示出了一场景，在该场景中使用深度相机20来跟踪用户18，使得用户18的移动可以被计算系统12解释成可用来对正被计算系统12执行的虚拟桌面进行操纵的控制。换言之，用户18可以使用他的移动来控制虚拟桌面。计算系统使用HDTV 16来向用户18视觉地呈现三维桌面环境22。此外，计算系统使用HDTV 16来视觉地呈现用户18用其移动来控制的虚拟光标24a和虚拟光标24b。例如，用户的右手18a控制虚拟光标24a，且用户的左手(被遮挡)控制虚拟光标24b。
计算系统12和深度相机20可用于识别和分析用户18在固定的、世界空间坐标系26中的移动。如以下详细解释的，在与世界空间坐标系相对应的模型空间坐标系中可通过机器可读模型来表示用户18。
可在世界空间中概念化交互区28，并可在模型空间中实例化交互区28。交互区可被配置成当用户在世界空间中移动时与该用户一起移动。由此，固定的、世界空间坐标系26和可移动的、界面空间坐标系30间的关系可随着用户在世界空间中的移动而改变。结果，在模型空间中实例化的交互区的可移动的、界面空间坐标系可相对于固定的、模型空间坐标系而改变。
用户的手或其他身体部位在可移动的、界面空间坐标系中的位置可用作确定在虚拟桌面的桌面空间坐标系中的相应位置(例如，光标位置)的基础。换言之，手在世界空间中的绝对位置并不直接用于寻找虚拟桌面中的对应位置。相反，使用手在跟踪用户在世界空间中的移动的交互区内的位置来寻找虚拟桌面中的对应位置。通过这种方式，用户可舒服地使用相同的移动和姿势来控制虚拟桌面，甚至在用户向前移动、向后移动、向左移动、或向右移动、和/或向左转动、向右转动、向上转动或向下转动时也是如此。
任何给定的世界空间位置可取决于用户在世界空间中的位置和定向而与各种不同的虚拟桌面位置相对应。同样，相同的虚拟桌面位置也可取决于用户在世界空间中的位置和定向而与各种不同的世界空间位置相对应。
如下面参考图10所述，可以使用各种不同类型的目标跟踪系统，而不偏离本公开的精神。参考图1描述的场景是作为示例来提供的，但并不意味着以任何方式来进行限制。相反，所示出的场景旨在展示可以在不背离本公开的范围的情况下应用于各种各样不同的应用的一般概念。
如上所介绍地，可以用计算机可读模块来表示人类。图2示出了身体模型70形式的示例计算机可读模型的非限制性视觉表示。身体模型70是被建模的目标(例如，图1中用户18)的机器表示。该身体模型可包括一个或多个数据结构，这一个或多个数据结构包括以游戏或其他应用/操作系统的语言来共同定义被建模的目标的一组变量。
目标的模型可在不脱离本发明的范围的情况下不同地配置。在某些示例中，模型可包括将目标表示为包括刚性和/或可变形形状，即身体部位的三维模型的一个或多个数据结构。每一身体部位可被表征为数学图元，其示例包括但不限于球体、各向异性地缩放的球体、圆柱体、各向异性圆柱体、平滑圆柱体、方形、斜面方形、棱柱等。
例如，图2中的身体模型70包括身体部位bp1到bp14，这些身体部位中的每一个都表示被建模的目标的一不同部分。每一身体部位都是三维形状。例如，bp3是表示被建模的目标的左手的矩形棱柱，而bp5是表示被建模的目标的左上臂的八面棱柱。身体模型70是示例性的，因为身体模型可包含任何数量的身体部位，这些身体部位中的每一个都可以是被建模的目标的对应部分的任何机器可理解的表示。
包括两个或更多个身体部位的模型还可包括一个或多个关节。每一关节可允许一个或多个身体部位相对于一个或多个其他身体部位移动。例如，表示人类目标的模型可包括多个刚性和/或可变形身体部位，其中某些身体部位可表示人类目标的对应的解剖学身体部位。此外，该模型的每一身体部位可包括一个或多个结构件(即，“骨骼”)，且关节位于相邻骨骼的交叉点处。可以理解，某些骨骼可对应于人类目标中的解剖学骨骼，和/或某些骨骼在人类目标中可能不具有对应的解剖学骨骼。
骨骼和关节可共同构成骨架模型，它们可以是该模型的构成元素。骨架模型可包括每一身体部位的一个或多个骨架构件以及相邻骨架构件之间的关节。示例性骨架模型80和示例性骨架模型82分别如图3和4所示。图3示出了从前面查看的具有关节j1到j33的骨架模型80。图4示出了从斜视图看的也具有关节j1到j33的骨架模型82。骨架模型82还包括滚动关节j34到j47，其中每一滚动关节可用于跟踪轴向滚动角。例如，轴向滚动角可用于定义肢相对于其父肢和/或躯干的旋转定向。例如，如果骨架模型示出手臂的轴向旋转，则可使用滚动关节j40来指示相关联的腕所指向的方向(例如，手掌向上)。由此，尽管关节可受力并可调整骨架模型，但如下所述，可改为构造并利用滚动关节来跟踪轴向滚动角。更一般地，通过检查肢相对于其父肢和/或躯干的定向，可确定轴向滚动角。例如，如果正在检查小腿，则可检查小腿相对于相关联的大腿和髋部的定向以便确定轴向滚动角。
如上所述，某些模型可包括用作被建模的目标的机器表示的骨架和/或身体部位。在某些实施例中，模型可另选地或另外地包括线框网格，该线框网格可包括刚性多边形网格、一个或多个可变形网格或两者的任意组合的分层结构。作为一个非限制性示例，图5示出了模型90，该模型90包括排列成限定身体模型的形状的网格的多个三角形(例如，三角形92)。这一网格可包括每一多边形边处的弯曲限制。当使用网格时，可选择共同构成该网格的三角形和/或其他多边形的数量来达到质量和计算开销之间的所需平衡。更多三角形可提供更高的质量和/或更准确的模型，而更少三角形可需要更少的计算。包括多边形网格的身体模型不需要包括骨架，但在某些实施例中可包括骨架。
上述身体部位模型、骨架模型和多边形网格是可用作被建模的目标的机器表示的机器可读模型的非限制示例类型。其他模型也在本发明的范围之内。例如，某些模型可包括片、非均匀理性B样条、细分表面、或其他高阶表面。模型还可包括表面纹理和/或其他信息来更准确地表示被建模的目标的衣着、头发和/或其他方面。模型可任选地包括与当前姿态、一个或多个过去的姿态和/或模型物理学有关的信息。应该理解，可摆姿态的任何模型与本文描述的目标识别、分析和跟踪是兼容的。
如上所述，模型用作诸如图1中的用户18等目标的表示。当目标在物理空间中移动时，可使用来自诸如图1中的深度相机20等捕捉设备的信息来调整模型的姿态和/或基本大小/形状，以使其能更准确地表示该目标。
一个示例性方法包括通过从源接收目标的观察到的深度图像以及获得目标的姿态模型来跟踪目标。姿态模型被光栅化成合成的深度图像。然后至少部分地基于观察到的深度图像和合成的深度图像之间的差异来调整模型的姿态。这个方法可被称为模型拟合。
另一示例性方法包括：从源接收目标的观察到的深度图像，以及分析该观察到的深度图像以确定目标的各可能的关节位置以及这些关节位置是准确的相对置信度。这个方法可被称为样本(即，该方法通过示例来寻找姿态)。这个样本方法关注于使目标(例如，人类)的各姿态与已知姿态的之前训练集合相匹配。
应该理解，在此公开的控制虚拟桌面的方法包括对交互区的概念化以及从交互区到虚拟桌面的坐标变换，该方法与模型拟合、样本或实际上用于以机器可读模型的对应姿态来表示人类目标的姿态的任何其他技术相兼容。
图6示意性地示出简化形式的模型100。如上所介绍地，可使用基于模型100的位置和定向的位置和定向来建立交互区102。交互区102相对于模型100的位置可通过一个或多个矢量来描述。例如，固定长度的矢量104可以以远离模型的固定方向延伸至靠近交互区的角落106的左上方。取决于用来表示人类的模型的类型，这一矢量可使用各种不同的瞄准导向从模型上的各个不同的位置延伸出去。作为一个非限制性示例，模型可具有胸部片段108(例如，多边形、表面等)，在这种情况下，该矢量可以以朝向左上方的固定角度从该胸部片段108的中心处延伸出去。在其他实施例中，可参考一个或多个模型关节来建立交互区。在一些实施例中，可将模型构建成具有用来确定交互区的位置的可见片段(例如，骨骼)。应理解，可使用用于确定交互区相对于模型的位置的任何合适的技术，而不偏离本公开的精神。此外，应该理解，通过确定交互区在模型空间中相对于模型的位置，将交互区概念化为在世界空间中的人类的前面，因为在人类在世界空间中移动和/或改变姿态时模型提供了人类的缩放表示。
图7示出具有跟踪模型114并相对于固定的、模型空间坐标系116而移动的可移动的、界面空间坐标系112的交互区110。因为界面空间跟踪用户，因此界面空间始终在用户的正前方，或始终处于在所建立的任何其他空间关系中。用户可在世界空间中到处移动和/或改变定向，并且交互区将自动地跟踪用户。应该理解，在一些实施例中，用户可选择性地调整交互区的相对位置(例如，提高、降低、倾斜等)。
图8示意性地描绘了用于获取用户在交互区中的那一部分的界面空间位置的方法(即，获取用户的该部分的界面空间坐标)。在交互区中向外伸出手的用户在模型空间122中可由模型120来建模，其中模型空间122具有其自己的坐标系，即由各正交矢量所定义的模型空间坐标系。
模型空间坐标系是基于人类和深度相机所存在的世界空间坐标系的——即，模型120尽可能准确地表示人类，而模型空间122则尽可能准确地表示世界空间。由此，对模型空间中的模型所作出的计算在操作上等效于对世界空间中的人类所作出的对应计算。
如所描绘地，模型120具有在交互区中向外伸出的手，其中交互区可以被建模在界面空间124中，该界面空间124具有其自己的坐标系，即由所示实施例中的各正交矢量所定义的界面空间坐标系。尽管模型空间坐标系和界面空间坐标系均被描述为笛卡尔坐标系，但应理解，可使用任何其他合适的坐标系而不偏离本公开的精神。当交互区不具有长方体形状时，不同的坐标系可以是有用的。例如，如果交互区具有球形壳体的一个或多个片段的形状时，极坐标系可以是有用的。
如上所述，可基于由深度相机所获取的用户的深度图像来确定模型120的位置和定向。因此，深度相机可建立模型空间坐标系的原点，如在原点m 126处所示出的。
在由模型空间坐标系所建立的模型空间参照系中，模型矢量128表示从原点m 126延伸至模型120上的参考点130的矢量，其中正如以上参考图6所描述地，参考点130提供了用于建立交互区相对于模型的位置的基础。如图8中所描绘的，参考点130可以是在模型120的胸部上的点，然而如上所述，应理解，这是非限制性实施例，模型120上的另一合适的位置可以被使用。
如进一步示出的，交互区矢量132表示交互区相对于模型120的位置。换言之，交互区矢量132表示从参考点130到交互区中的交互区位置134的矢量。如所描绘的，交互区位置134是交互区的左上角，但是可使用交互区中的任何其他位置。如图8中进一步示出的，模型120的手延伸至交互区内的感兴趣点，即手位置136。因此，手矢量138表示从原点m 126到手位置136的矢量。术语“选择器点(selector point)”可用来指要在交互区内进行跟踪的该手或者任何其他身体部位的位置。
手位置136是“感兴趣点”，因为这个位置代表正在虚拟用户界面内进行交互的用户，并且因此手的位置可用来引导屏幕上显示的界面元素(例如，光标)。在一些实施例中，可在交互区内跟踪预先确定的身体部位(例如，双手)，并使用该身体部位来控制界面元素。而且，尽管深度相机可确定世界空间坐标系或模型空间坐标系中的手位置136，该手位置136还可被变换成交互区的界面空间参照系，使得手在交互区内的位置能用来控制界面元素，或者用于任何其他合适的原因。
因此，基于前面提到的矢量的位置和定向信息，可应用一逆矩阵来确定界面空间手矢量140，该界面空间手矢量140指示模型120的手相对于界面空间参照系的位置。这个方法将以下更详细地描述。
界面空间坐标系在界面空间124中可具有任何合适的原点。作为一示例，图8描绘了在交互区的左上角处的原点i 142，该原点与交互区位置134在同一位置。因此，界面空间手矢量140可以是从原点i 142延伸至手的位置的矢量。然后，在界面空间坐标系中，界面空间手矢量140可经由如由图案化箭头所指示的、各界面空间坐标方向中的每一个方向上的分量来表示。注意，定义界面空间手矢量140，使得每一个分量可具有0和1之间的长度。因此，然后经由限定交互区的大小(即，高度、宽度和深度)的乘法因子，可在逆变换矩阵内考虑各物理维度。
使用由各自在模型空间坐标系中表示的手矢量138和模型矢量128提供的信息，在界面空间坐标系中界面空间手矢量140可被计算如下：
界面空间手矢量＝(手矢量-模型矢量)T-1。
其中，T-1表示从模型空间坐标系到界面空间坐标系的变换矩阵，并且T-1包括用于确定交互区相对于模型的位置的信息，即交互区矢量132。
因此，矩阵T表示逆变换，即从界面空间坐标系到模型空间坐标系的变换：
(界面空间手矢量)T+模型矢量＝手矢量。
出于说明的目的，矩阵T的形成将在以下详细描述，其中在形成矩阵T之后，可计算矩阵T的逆以得到T-1。
采用由单位矢量定义的界面空间坐标系，并采用由单位矢量定义的模型空间坐标系，在模型空间坐标系中界面空间单位矢量可被描述如下：
x ^ i = x x x ^ m + x y y ^ m + x z z ^ m
y ^ i = y x y ^ m + y y y ^ m + y z z ^ m
z ^ i = z x x ^ m + z y y ^ m + z z z ^ m
其中，模型空间单位矢量的系数(即系数xx，yx等)是标量值。这些值是已知的，因为交互区在模型空间坐标系中的位置和定向是已知的。
在模型空间坐标系中交互区矢量132可以被表示为：
V → m = v x x ^ m + v y y ^ m + v z z ^ m .
同样，系数vx、vy和vz是标量值并且是已知的，因为交互区在模型空间坐标系中的位置和定向是已知的。
如图8所示，采用交互区的在方向上是高度H、在方向上是宽度W、且在方向上是深度D的各维度，变换矩阵T被写为如下：同样，值H、W、D是已知的，因为交互区的大小是已知的。因此，可计算矩阵T内的所有条目。因此，也可计算T的逆来确定T-1。在这样做了以后，可
T = x x W x y W x z W 0 y x H y y H y z H 0 z x D z y D z z D 0 v x v y v z 1
经由以下公式来计算界面空间手矢量140：
界面空间手矢量＝(手矢量-模型矢量)T-1，
其中，手矢量138和模型矢量128被表示在模型空间坐标系中，且计算得到的界面空间手矢量140将被表示在界面空间坐标系中。
最后，如图8中进一步示出的，在得到了界面空间坐标系中的界面空间手矢量140后，可通过显示器146将界面元素144显示在由界面空间手矢量140所定义的位置处。可建立界面空间坐标系，以用缩放比例或者不用缩放比例来模仿所显示的虚拟桌面的桌面空间坐标系。
尽管以上描述使用了从笛卡尔模型空间坐标系到笛卡尔界面空间坐标系的变换，但应理解，相同的原理可用来从实际上任何坐标系变换到实际上任何其他坐标系。例如，图9在某种程度上示意性地示出至少部分地由两个相交的球形壳体片段来限定的交互区150，每一片段在空间上以人类的一肩部为中心。像这个交互区150之类的具有弯曲空间的交互区可向用户提供更精确的控制。弯曲的交互区可以以用户的肩部、肘部或空间上位于用户周围的实际上任何点为中心。所示出的示例并不是限制性的，但更确切地说示出了实际上任何改变都在本公开的精神之内。当用户的每一手臂都具有其自己的交互区时，可使用分开的变换矩阵来将那条手臂的手位置从世界空间/模型空间坐标变换成界面空间坐标。
在此所述的方法和过程可以绑定到各种不同类型的计算系统。图1和9示出了计算系统12、HDTV 16和深度相机20形式的非限制性示例。作为另一更一般的示例，图10示意性地示出可以执行这里所述的一个或多个目标识别、跟踪和分析方法和过程的计算系统160。计算系统160可以采取各种不同的形式，尤其包括但不限于：游戏控制台、个人计算系统、军用跟踪和/或定标系统、以及提供绿屏或者运动捕捉功能的特征采集系统。
计算系统160可包括逻辑子系统162、数据保持子系统164、显示子系统166和/或捕捉设备168。
计算系统可任选地包括图10中未示出的组件，和/或图10中所示的某些组件可以是未集成在计算系统中的外围组件。
逻辑子系统162可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统可被配置成执行一个或多个指令，该一个或多个指令是一个或多个程序、例程、对象、组件、数据结构、或其它逻辑构造的一部分。可实现此类指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其它方式得到所需结果。逻辑子系统可包括被配置成执行软件指令的一个或多个处理器。另外或另选地，逻辑子系统可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统可任选地包括分布在两个或更多个设备上的独立组件，在某些实施例中这些独立组件可位于远程。
数据保持子系统164可包括一个或多个物理设备，该一个或多个物理设备被配置为保持可由逻辑子系统执行以实现此处所述的方法和过程的数据和/或指令。在实现这样的方法和过程时，可以变换数据保持子系统164的状态(例如，以保持不同的数据)。数据保持子系统164可以包括可移动介质和/或内置设备。数据保持子系统164可以包括光学存储器设备、半导体存储器设备(如RAM、EEPROM、闪存等)、和/或磁存储器设备等。数据保持子系统164可以包括具有以下特性中的一个或更多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可以将逻辑子系统162和数据保持子系统164集成到一个或更多个常见设备中，如专用集成电路或片上系统。
图10还示出使用计算机可读可移动介质170形式的数据保存子系统的一方面，该方面可用于存储和/或传送可执行来实现此处所述的方法和过程的数据和/或指令。
术语“模块”可用于描述被实现来执行一个或多个特定功能的计算系统160的一个方面。在某些情况下，可通过逻辑子系统162执行由数据保持子系统164所保持的指令来实例化这一模块。应该理解，可从相同的应用、代码块、对象、例程、和/或功能实例化不同模块和/或引擎。同样，在某些情况下，可通过不同的应用、代码块、对象、例程、和/或功能来实例化相同的模块和/或引擎。
如此处所述，计算系统160包括深度图像分析模块172，该深度图像分析模块172被配置成跟踪人类在固定的、世界空间坐标系中的世界空间姿态。术语“姿态”指人类的位置、定向、身体安排等。如此处所述，计算系统160包括交互模块174，该交互模块174被配置成用可移动的、界面空间坐标系来建立虚拟交互区，该可移动的、界面空间坐标系跟踪人类并相对于固定的、世界空间坐标系移动。如此处所述，计算系统160包括变换模块176，该变换模块176被配置成将在固定的、世界空间坐标系中定义的位置变换成在可移动的、界面空间坐标系中定义的位置。计算系统160还包括显示模块178，该显示模块178被配置成输出显示信号，该显示信号用于在与可移动的、界面空间坐标系中定义的位置相对应的桌面空间坐标处显示界面元素。
显示子系统166可用于呈现由数据保持子系统164所保持的数据的可视表示。由于此处所描述的方法和过程改变由数据保持子系统保持的数据，并由此变换数据保持子系统的状态，因此同样可以变换显示子系统166的状态以在视觉上表示底层数据的改变。作为一个非限制性示例，可通过显示子系统166以响应于用户在物理空间中的移动而在虚拟桌面中改变位置的界面元素(例如，光标)的形式来反映这里所述的目标识别、跟踪和分析。显示子系统166可以包括使用实际上任何类型的技术的一个或多个显示设备。可将这些显示设备与逻辑子系统162和/或数据保持子系统164一起组合在共享封装中，或如图1和9所示这些显示设备可以是外围显示设备。
计算系统160还包括被配置成获得一个或多个目标的深度图像的捕捉设备168。捕捉设备168可以被配置成通过任何合适的技术(例如，飞行时间、结构化光、立体图像等等)捕捉具有深度信息的视频。如此，捕捉设备168可包括深度相机、摄像机、立体相机、和/或其他合适的捕捉设备。
例如，在飞行时间分析中，捕捉设备168可以向目标发射红外光，然后使用传感器来检测从目标的表面反向散射的光。在一些情况下，可以使用脉冲式红外光，其中可以测量出射光脉冲和相应的入射光脉冲之间的时间并将该时间用于确定从该捕捉设备到目标上的特定位置的物理距离。在一些情况下，出射光波的相位可以与入射光波的相位相比较以确定相移，并且该相移可以用于确定从该捕捉设备到目标上的特定位置的物理距离。
在另一示例中，飞行时间分析可用于通过经由诸如快门式光脉冲成像之类的技术分析反射光束随时间的强度，来间接地确定从该捕捉设备到目标上的特定位置的物理距离。
在另一示例中，结构化光分析可以被捕捉设备168利用来捕捉深度信息。在这样的分析中，图案化光(即被显示为诸如网格图案或条纹图案之类的已知图案的光)可以被投影到目标上。在目标的表面上，该图案可能变成变形的，并且可以研究该图案的这种变形以确定从该捕捉设备到目标上的特定位置的物理距离。
在另一示例中，捕捉设备可以包括两个或更多个物理上分开的相机，这些相机从不同角度查看目标以获得视觉立体数据。在这种情况下，该视觉立体数据可以被解析以生成深度图像。
在其他实施例中，捕捉设备168可以使用其他技术来测量和/或计算深度值。此外，捕捉设备168可以将计算到的深度信息组织为“Z层”，即与从深度相机沿其视线延伸到观察者的Z轴垂直的层。
在一些实施例中，两个或更多个不同的相机可以被合并到一集成的捕捉设备中。例如，深度相机和视频相机(例如RGB视频相机)可以被合并到共同的捕捉设备中。在一些实施例中，可以协作式地使用两个或更多个分开的捕捉设备。例如，可以使用深度相机和分开的视频相机。当使用视频相机时，该视频相机可用于提供：目标跟踪数据、对目标跟踪进行纠错的确认数据、图像捕捉、面部识别、对手指(或其他小特征)的高精度跟踪、光感测和/或其他功能。
要理解，至少一些目标分析和跟踪操作可以由一个或多个捕捉设备的逻辑机来执行。捕捉设备可以包括被配置成执行一个或多个目标分析和/或跟踪功能的一个或多个板载处理单元。捕捉设备可以包括便于更新这样的板载处理逻辑的固件。
计算系统160可任选地包括诸如控制器180和控制器182之类的一个或多个输入设备。输入设备可被用于控制计算系统的操作。在游戏的上下文中，诸如控制器180和/或控制器182之类的输入设备可被用于控制游戏的那些不是通过这里所述的目标识别、跟踪和分析方法和过程来控制的方面。在某些实施例中，诸如控制器180和/或控制器182之类的输入设备可包括可用于测量控制器在物理空间中的移动的加速计、陀螺仪、红外目标/传感器系统等中的一个或多个。在某些实施例中，计算系统可任选地包括和/或利用输入手套、键盘、鼠标、跟踪垫、轨迹球、触屏、按钮、开关、拨盘、和/或其他输入设备。如将理解的，目标识别、跟踪和分析可被用于控制或扩充游戏或其他应用的常规上由诸如游戏控制器之类的输入设备控制的方面。在某些实施例中，这里所述的目标跟踪可被用作对其他形式的用户输入的完全替代，而在其他实施例中，这种目标跟踪可被用于补充一个或多个其他形式的用户输入。
图11示出根据本公开的提供虚拟桌面的示例性方法200。在202处，方法200包括从源接收人类的观察到的深度图像。在204处，方法200包括从观察到的深度图像导出人类的机器可读模型，其中在人类在世界空间中移动时该机器可读模型表示人类。在206处，方法200包括定位机器可读模型的参考点。在208处，模型200包括将交互区链接至机器可读模型上的参考点，使得当人类在世界空间中移动时交互区能随着机器可读模型上的参考点而移动。在210处，模型200包括在交互区内定位机器可读模型的选择器点。在212处，方法200包括将选择器点在交互区内的位置转换成虚拟桌面内的等效位置。如此处所使用的，术语“等效”允许造成此处描述的数学变换的线性和/或非线性缩放、形状变换、或其他改变。以这种方式，可标识机器可读模型在交互区内的的那一部分的位置。在214处，方法200包括输出显示信号，该显示信号用于在虚拟桌面中的等效位置处显示界面元素。
应该理解，此处所述的配置和/或方法在本质上是示例性的，且这些具体实施例或示例不是限制意义，因为多个变体是可能的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或更多个。由此，所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行、或者在某些情况下省略。同样，可以改变上述过程的次序。
本发明的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合，并包括此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效物。

Claims (4)

1.一种提供虚拟桌面的系统，所述系统包括：
用于从源接收人类的观察到的深度图像的装置；
用于从所述观察到的深度图像导出所述人类的机器可读模型的装置，在所述人类在世界空间中移动时所述机器可读模型表示所述人类；
用于定位所述机器可读模型的参考点的装置；
用于将交互区链接至所述机器可读模型上的所述参考点，使得当所述人类在世界空间中移动时所述交互区能随着所述机器可读模型上的所述参考点而移动的装置；
用于在所述交互区内定位所述机器可读模型的选择器点的装置；
用于将所述选择器点在所述交互区内的位置转换成所述虚拟桌面内的等效位置的装置；以及
用于输出显示信号的装置，所述显示信号用于在所述虚拟桌面内的所述等效位置处显示界面元素。
2.如权利要求1所述的系统，其特征在于，所述交互区至少部分地由球形壳体的片段来限定。
3.一种提供虚拟桌面的方法，所述方法包括：
从源接收(202)人类的观察到的深度图像；
从所述观察到的深度图像导出(204)所述人类的机器可读模型，在所述人类在世界空间中移动时所述机器可读模型表示所述人类；
定位(206)所述机器可读模型的参考点；
将交互区链接(208)至所述机器可读模型上的所述参考点，使得当所述人类在世界空间中移动时所述交互区能随着所述机器可读模型上的所述参考点而移动；
在所述交互区内定位(210)所述机器可读模型的选择器点；
将所述选择器点在所述交互区内的位置转换(212)成所述虚拟桌面内的等效位置；以及
输出(214)显示信号，所述显示信号用于在所述虚拟桌面内的所述等效位置处显示界面元素。
4.如权利要求3所述的方法，其特征在于，所述交互区至少部分地由球形壳体的片段来限定。
CN201080024894.8A 2009-06-01 2010-06-01 虚拟桌面坐标变换 Active CN102449577B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/475,882 US8487871B2 (en) 2009-06-01 2009-06-01 Virtual desktop coordinate transformation
US12/475,882 2009-06-01
PCT/US2010/036797 WO2010141398A2 (en) 2009-06-01 2010-06-01 Virtual desktop coordinate transformation

Publications (2)

Publication Number Publication Date
CN102449577A CN102449577A (zh) 2012-05-09
CN102449577B true CN102449577B (zh) 2015-06-17

Family

ID=43219646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080024894.8A Active CN102449577B (zh) 2009-06-01 2010-06-01 虚拟桌面坐标变换

Country Status (3)

Country Link
US (2) US8487871B2 (zh)
CN (1) CN102449577B (zh)
WO (1) WO2010141398A2 (zh)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8576169B2 (en) 2008-10-20 2013-11-05 Sensor Platforms, Inc. System and method for determining an attitude of a device undergoing dynamic acceleration
US8587519B2 (en) 2009-01-07 2013-11-19 Sensor Platforms, Inc. Rolling gesture detection using a multi-dimensional pointing device
US8487871B2 (en) * 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
WO2011056657A2 (en) 2009-10-27 2011-05-12 Harmonix Music Systems, Inc. Gesture-based user interface
US20110310010A1 (en) 2010-06-17 2011-12-22 Primesense Ltd. Gesture based user interface
US9141189B2 (en) 2010-08-26 2015-09-22 Samsung Electronics Co., Ltd. Apparatus and method for controlling interface
US20150153715A1 (en) * 2010-09-29 2015-06-04 Google Inc. Rapidly programmable locations in space
US9477302B2 (en) * 2012-08-10 2016-10-25 Google Inc. System and method for programing devices within world space volumes
US8957909B2 (en) * 2010-10-07 2015-02-17 Sensor Platforms, Inc. System and method for compensating for drift in a display of a user interface state
KR20120046973A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 움직임 정보 생성 방법 및 장치
US9529424B2 (en) * 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction
JP5711962B2 (ja) * 2010-12-27 2015-05-07 株式会社ソニー・コンピュータエンタテインメント ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
CN103329066B (zh) 2011-01-19 2017-03-29 惠普发展公司，有限责任合伙企业 用于多模式手势控制的方法和系统
JP2012150636A (ja) * 2011-01-19 2012-08-09 Seiko Epson Corp 投写型表示装置及び情報処理システム
US8761437B2 (en) * 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US9067136B2 (en) * 2011-03-10 2015-06-30 Microsoft Technology Licensing, Llc Push personalization of interface controls
US20120249468A1 (en) * 2011-04-04 2012-10-04 Microsoft Corporation Virtual Touchpad Using a Depth Camera
CN102799344B (zh) * 2011-05-27 2014-11-19 株式会社理光 虚拟触摸屏系统以及方法
US8845431B2 (en) 2011-05-31 2014-09-30 Microsoft Corporation Shape trace gesturing
US8657683B2 (en) 2011-05-31 2014-02-25 Microsoft Corporation Action selection gesturing
US8740702B2 (en) 2011-05-31 2014-06-03 Microsoft Corporation Action trigger gesturing
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9030487B2 (en) * 2011-08-01 2015-05-12 Lg Electronics Inc. Electronic device for displaying three-dimensional image and method of using the same
US9218063B2 (en) * 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US20130080976A1 (en) * 2011-09-28 2013-03-28 Microsoft Corporation Motion controlled list scrolling
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9459276B2 (en) 2012-01-06 2016-10-04 Sensor Platforms, Inc. System and method for device self-calibration
WO2013104006A2 (en) 2012-01-08 2013-07-11 Sensor Platforms, Inc. System and method for calibrating sensors for different operating environments
US9228842B2 (en) 2012-03-25 2016-01-05 Sensor Platforms, Inc. System and method for determining a uniform external magnetic field
US9239624B2 (en) 2012-04-13 2016-01-19 Nokia Technologies Oy Free hand gesture control of automotive user interface
CN102819315B (zh) * 2012-07-23 2016-04-13 中兴通讯股份有限公司 一种3d人机交互方法及系统
JP5590511B2 (ja) * 2012-09-19 2014-09-17 カシオ計算機株式会社 機能駆動装置、機能駆動方法および機能駆動プログラム
TWI486820B (zh) * 2012-12-28 2015-06-01 Wistron Corp 用於互動系統之座標轉換方法及電腦系統
US9881058B1 (en) 2013-03-14 2018-01-30 Google Inc. Methods, systems, and media for displaying information related to displayed content upon detection of user attention
US10220303B1 (en) 2013-03-15 2019-03-05 Harmonix Music Systems, Inc. Gesture-based music game
DE102013211566A1 (de) * 2013-06-19 2014-12-24 Siemens Aktiengesellschaft Einstellungsverfahren und entsprechende Vorrichtung für eine kontaktlose Steuerung durch eine Bedienperson
TW201510939A (zh) 2013-09-05 2015-03-16 Utechzone Co Ltd 動態影像分析系統
CN103488292B (zh) * 2013-09-10 2016-10-26 青岛海信电器股份有限公司 一种立体应用图标的控制方法及装置
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
US10126822B2 (en) 2013-12-16 2018-11-13 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual configuration
US9751019B2 (en) * 2013-12-18 2017-09-05 Activision Publishing, Inc. Input methods and devices for music-based video games
CN103713823B (zh) * 2013-12-30 2017-12-26 深圳泰山体育科技股份有限公司 实时更新操作区位置的方法及系统
CN104914985A (zh) * 2014-03-13 2015-09-16 扬智科技股份有限公司 手势控制方法及系统与视频流处理装置
CN103996327A (zh) * 2014-03-23 2014-08-20 成都理工大学 一种空间坐标变换器教具
CN105094294B (zh) * 2014-05-12 2018-07-06 联想(北京)有限公司 操作裸眼三维图形显示设备的方法及装置
NO20140637A1 (no) * 2014-05-21 2015-11-23 The Future Group As Virtuell protokoll
US10146331B2 (en) * 2014-11-28 2018-12-04 Ricoh Company, Ltd. Information processing system for transforming coordinates of a position designated by a pointer in a virtual image to world coordinates, information processing apparatus, and method of transforming coordinates
CN104474710B (zh) * 2014-12-09 2015-09-02 山东大学 基于Kinect网络的大规模场景群体用户跟踪系统与方法
KR101835434B1 (ko) 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
CN104951081B (zh) * 2015-07-09 2016-04-13 李乔亮 自动识别读写姿势的方法及其智能预警装置
JP6430340B2 (ja) * 2015-07-31 2018-11-28 株式会社東芝 位置入力装置および位置入力方法
EP3332314B1 (en) * 2015-08-04 2024-04-10 Google LLC Input via context sensitive collisions of hands with objects in virtual reality
US10503968B2 (en) 2016-03-22 2019-12-10 Intel Corporation Identifying a local coordinate system for gesture recognition
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
CN106802717A (zh) * 2017-01-20 2017-06-06 深圳奥比中光科技有限公司 空间手势遥控方法及电子设备
CN106933347A (zh) * 2017-01-20 2017-07-07 深圳奥比中光科技有限公司 三维操控空间的建立方法及设备
CN106875465B (zh) * 2017-01-20 2021-06-11 奥比中光科技集团股份有限公司 基于rgbd图像的三维操控空间的建立方法及设备
EP3542252B1 (en) 2017-08-10 2023-08-02 Google LLC Context-sensitive hand interaction
IL258689A (en) 2018-04-12 2018-05-31 Browarnik Abel A system and method for computerized semantic indexing and searching
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
CN111353930B (zh) * 2018-12-21 2022-05-24 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
CN111514584B (zh) 2019-02-01 2022-07-26 北京市商汤科技开发有限公司 游戏控制方法及装置、游戏终端及存储介质
US10620713B1 (en) * 2019-06-05 2020-04-14 NEX Team Inc. Methods and systems for touchless control with a mobile device
US10811055B1 (en) * 2019-06-27 2020-10-20 Fuji Xerox Co., Ltd. Method and system for real time synchronization of video playback with user motion
US11100790B2 (en) 2019-09-25 2021-08-24 Universal City Studios Llc Systems and methods for determining projected target location of a handheld object
CN110908512A (zh) * 2019-11-14 2020-03-24 光沦科技(杭州)有限公司 一种基于动态手势坐标映射的人机交互方法
US20240070995A1 (en) * 2022-08-31 2024-02-29 Snap Inc. Wrist rotation manipulation of virtual objects

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1802668A (zh) * 2002-09-06 2006-07-12 索尼计算机娱乐公司 用于表现三维对象的方法和设备
WO2008014826A1 (en) * 2006-08-03 2008-02-07 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures

Family Cites Families (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) * 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
EP0590101B1 (en) 1991-12-03 1999-06-23 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
WO1999044698A2 (en) 1998-03-03 1999-09-10 Arena, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
WO1998007129A1 (fr) 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
DE69840608D1 (de) 1998-12-16 2009-04-09 3Dv Systems Ltd Selbsttastende photoempfindliche oberfläche
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
SE0000850D0 (sv) 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US20020075334A1 (en) 2000-10-06 2002-06-20 Yfantis Evangelos A. Hand gestures and hand motion for replacing computer mouse events
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
AU2003212211A1 (en) 2002-04-19 2003-11-03 Iee International Electronics And Engineering S.A. Safety device for a vehicle
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US20040063480A1 (en) 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
US7620202B2 (en) 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP4708422B2 (ja) 2004-04-15 2011-06-22 ジェスチャー テック，インコーポレイテッド 両手動作の追跡
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7692627B2 (en) 2004-08-10 2010-04-06 Microsoft Corporation Systems and methods using computer vision and capacitive sensing for cursor control
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
TW200625143A (en) 2005-01-04 2006-07-16 Pixart Imaging Inc Personal computer's interactive input device and game-peripheral equipment
EP3693889A3 (en) 2005-01-07 2020-10-28 QUALCOMM Incorporated Detecting and tracking objects in images
WO2006074290A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Optical flow based tilt sensor
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
KR100687737B1 (ko) 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
US7389591B2 (en) 2005-05-17 2008-06-24 Gesturetek, Inc. Orientation-sensitive signal output
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US8487871B2 (en) * 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1802668A (zh) * 2002-09-06 2006-07-12 索尼计算机娱乐公司 用于表现三维对象的方法和设备
WO2008014826A1 (en) * 2006-08-03 2008-02-07 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures

Also Published As

Publication number Publication date
WO2010141398A3 (en) 2011-03-31
US8917240B2 (en) 2014-12-23
US20130285903A1 (en) 2013-10-31
US20100302145A1 (en) 2010-12-02
CN102449577A (zh) 2012-05-09
WO2010141398A2 (en) 2010-12-09
US8487871B2 (en) 2013-07-16

Similar Documents

Publication Publication Date Title
CN102449577B (zh) 虚拟桌面坐标变换
CN102301313B (zh) 视觉目标跟踪
TWI469812B (zh) 視覺目標追蹤
CN102640186B (zh) 虚拟目标跟踪
CN102640187B (zh) 虚拟目标跟踪
CN102648484B (zh) 虚拟目标跟踪
CN107004279B (zh) 自然用户界面相机校准
US20140160162A1 (en) Surface projection device for augmented reality
Tölgyessy et al. Foundations of visual linear human–robot interaction via pointing gesture navigation
CN102639198B (zh) 虚拟目标跟踪
US8526734B2 (en) Three-dimensional background removal for vision system
CN102648032B (zh) 虚拟目标跟踪
CN105190703A (zh) 使用光度立体来进行3d环境建模
CN103999126A (zh) 用于估计姿态的方法和装置
EP3074954A1 (en) Method and system for constructing a virtual image anchored onto a real-world object
WO2020054442A1 (ja) 関節位置の取得方法及び装置、動作の取得方法及び装置
Stilman et al. Augmented reality for robot development and experimentation
JP6770208B2 (ja) 情報処理装置
JP5597087B2 (ja) 仮想物体操作装置
US20210258476A1 (en) System for generating a three-dimensional scene of a physical environment
KR20190036864A (ko) 가상현실 전망용 망원경, 이를 이용한 전망용 가상현실 구동 방법 및 매체에 기록된 어플리케이션
JP2018128739A (ja) 画像処理装置、画像処理方法、コンピュータプログラム、及び記憶媒体
Kvalbein The use of a 3D sensor (Kinect) for robot motion compensation: The applicability in relation to medical applications
Wu et al. Explore on Doctor's Head Orientation Tracking for Patient's Body Surface Projection Under Complex Illumination Conditions
Painuly Investigation Of Motion Analysis Techniques For Animation Evaluation And Improvement

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150728

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150728

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.