CN102542867B - 用于操纵虚拟车辆的方法和系统 - Google Patents

用于操纵虚拟车辆的方法和系统 Download PDF

Info

Publication number
CN102542867B
CN102542867B CN201110430860.5A CN201110430860A CN102542867B CN 102542867 B CN102542867 B CN 102542867B CN 201110430860 A CN201110430860 A CN 201110430860A CN 102542867 B CN102542867 B CN 102542867B
Authority
CN
China
Prior art keywords
joint
posture
control
virtual vehicle
steering angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110430860.5A
Other languages
English (en)
Other versions
CN102542867A (zh
Inventor
S·拉塔
D·本内特
K·盖斯纳
R·马尔科维奇
K·兹努达
R·马西斯
M·蒙森
D·吉罗克
W·P·盖斯
D·布朗
C·麦克雷
D·西摩
W·A·奥尔森
M·瑟西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102542867A publication Critical patent/CN102542867A/zh
Application granted granted Critical
Publication of CN102542867B publication Critical patent/CN102542867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8017—Driving on land or water; Flying

Abstract

本文描述了通过虚拟骨架的驾驶模拟器控制。用通过从所观察的场景中捕捉包括深度信息的深度图像来分析所观察的场景内的人类目标的设备来执行深度图像分析。用包括多个关节的虚拟骨架来对人类目标建模。虚拟骨架被用作用于控制驱动模拟的输入。

Description

用于操纵虚拟车辆的方法和系统
技术领域
本发明涉及通过虚拟骨架的驾驶模拟器控制。 
背景技术
虽然相机技术允许记录人类的图像，但计算机传统上可能无法使用这样的图像来准确地评估人类在图像中如何移动。最近，技术已经进展成使得可在特殊相机以及一个或多个跟踪标签的帮助下解释人类移动的某些方面。例如，可用若干跟踪标签（例如，向后反射器）来仔细地装饰演员，这些跟踪标签可由若干相机从若干不同位置来跟踪。随后可使用三角测量来计算每一反射器的三维位置。因为标签被仔细地放置于演员上，且每一标签与演员身体的对应部位的相对位置是已知的，所以可使用对标签位置的三角测量来推断演员身体的位置。然而，这一技术需要使用特殊反射的标签或其他标记物。 
在科幻电影方面，计算机已经被描绘成足够的智能以在没有反射性标签或其他标记物的帮助下实际查看人类并解释人类的运动和姿势。然而，使用特殊效果创建这样的场景：其中演员遵循使得看起来就像该演员正在控制计算机的脚本动作一样的预定移动脚本仔细地表演。演员实际上并未控制计算机，而是试图创建控制的幻象。 
发明内容
提供本发明内容以便以简化形式介绍在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。 
用通过从所观察的场景中捕捉包括深度信息的深度图像来分析所观察的场景内的人类目标的设备来执行深度图像分析。用包括多个关节的虚拟骨架来对人类目标建模。虚拟骨架被用作用于控制驾驶模拟的输入。 
附图说明
图1根据本发明的一实施例示出查看所观察的场景的深度图像分析系统。 
图2在某种程度上示意性地示出用虚拟骨架来对人类目标建模。 
图3A-3F在某种程度上示意性示出了从虚拟骨架转换的姿势转向角(steering angle control)控制。 
图4示出根据本发明的实施例的虚拟车辆驾驶。 
图5-9在某种程度上示意性示出了从虚拟骨架转换的姿势驾驶控制。 
图10示意性地示出被配置成将虚拟骨架转换成姿势驾驶控制的计算系统。 
具体实施方式
诸如3D视觉游戏系统等深度图像分析系统可包括能够观察一个或多个玩家的深度相机。在深度相机捕捉所观察的场景内的玩家的图像时，那些图像可被解释并用一个或多个虚拟骨架来建模。如以下更详细描述的，虚拟骨架可被用作控制驾驶模拟器的输入。换言之，深度相机可观察正在执行被设计成控制驾驶模拟器的人类并对其建模，且可用驾驶模拟器可将其解释为不同控制的虚拟骨架来对人类目标建模。由此，人类可单单用姿势来控制驾驶模拟器，从而避免常规方向盘、踏板、操纵杆和/或其他控制器。 
图1示出了深度图像分析系统10的非限制性示例。具体而言，图1示出了游戏系统12，该游戏系统12可以用于玩各种不同的游戏、播放一个或多个不同的媒体类型、和/或控制或操纵非游戏应用。图1还示出了诸如电视机或计算机监视器之类的可用于向游戏玩家呈现游戏画面的显示设备16。作为一个示例，显示设备16可用于在视觉上呈现人类目标32用其移动来控制的虚拟化身50。深度图像分析系统10可包括捕捉设备，诸如在视觉上监视或跟踪所观察的场景14内的人类目标32的深度相机22。参考图2和10更详细地讨论深度相机22。 
人类目标32这里被示为所观察的场景14内的游戏玩家。人类目标32由深度相机22来跟踪，使得人类目标32的移动可由游戏系统12解释成可被用于影响游戏系统12正在执行的游戏的控制。换言之，人类目标32可使用他或她的移动来控制游戏。人类目标32的移动可以被解释成几乎任何类型的游戏控制。人类目标32的某些移动可被解释成服务于除控制虚拟化身50以外的目的的控制。作为非限制性示例，人类目标32的移动可被解释为操纵虚拟赛车、开火虚拟武器、以第一人视角导航虚拟世界、或者操纵模拟世界的各个方面的控制。移动还可被解释为辅助游戏管理控制。例如，人类目标32可以使用移动来结束、暂停、保存、选择级别、查看高分、与其他玩家交流等。 
深度相机22还可以用于将目标移动解释成游戏领域之外的操作系统和/或应用控制。事实上，操作系统和/或应用的任何可控方面都可以由人类目标32的移动来控制。图1中所示出的场景是作为示例来提供的，但并不意味着以任何方式进行限制。相反，所示出的场景旨在展示可以在不背离本公开的范围的情况下应用于各种各样不同的应用的一般概念。 
在此所述的方法和过程可以绑定到各种不同类型的计算系统。图1示出了游戏系统12、显示设备16和深度相机22的形式的非限制性示例。一般而言，深度图像分析系统可包括图10中以简化形式示出的计算系统60，计算系统60将在下文更详细地讨论。 
图2示出了简化的处理流水线，其中所观察的场景14中的人类目标32被建模为虚拟骨架46，该虚拟骨架46可被用于牵引显示设备16上的虚拟化身50和/或用作控制游戏、应用、和/或操作系统的其他方面的控制输入。可以理解，处理流水线可包括比图2中所描述的更多的步骤和/或图2中所描述的替换步骤，而不背离本发明的范围。 
如图2所示，人类目标32和所观察的场景14中的其余部分可由诸如深度相机22之类的捕捉设备来成像。深度相机可为每一像素确定在所观察的场景中的表面相对于深度相机的深度。在不偏离本公开的范围的情况下，可以使用实际上任何深度寻找技术。示例深度寻找技术参考图10的捕捉设备68来更详细地讨论。 
为每一像素所确定的深度信息可用于生成深度图42。这样的深度图可采 用实际上任何合适的数据结构的形式，包括但不限于包括所观察的场景的每个像素的深度值的矩阵。在图2中，深度图42被示意性地示为人类目标32的轮廓的像素化网格。这一例示是出于理解简明的目的，而不是技术准确性。可以理解，深度图一般包括所有像素(不仅是对人类目标32进行成像的像素)的深度信息，并且深度相机22的透视不会得到图2中所描绘的轮廓。 
虚拟骨架46可从深度图42导出，以提供对人类目标32的机器可读表示。换言之，从深度图42导出虚拟骨架46以便对人类目标32建模。虚拟骨架46可以按任何合适的方式从深度图中导出。在某些实施例中，可将一个或多个骨架拟合算法应用于深度图。本发明与实际上任何骨架建模技术兼容。 
虚拟骨架46可包括多个关节，每一关节对应于人类目标的一部分。在图2中，虚拟骨架46被示为十五个关节的线条画。这一例示是出于理解简明的目的，而不是技术准确性。根据本发明的虚拟骨架可包括实际上任何数量的关节，每一关节都可与实际上任何数量的参数(例如，三维关节位置、关节旋转、对应身体部位的身体姿势(例如，手打开、手合上等)等)相关联。可以理解，虚拟骨节可采用数据结构的形式，该数据结构包括多个骨架关节中的每一个的一个或多个参数(例如，包括每一关节的x位置、y位置、z位置和旋转的骨架矩阵)。在某些实施例中，可使用其他类型的虚拟骨架(例如，线框、一组形状图元等)。 
如图2所示，可将虚拟化身50呈现在显示设备16上作为虚拟骨架46的视觉表示。由于虚拟骨架46对人类目标32进行建模，并且对虚拟化身50的呈现基于虚拟骨架46，因此虚拟化身50用作人类目标32的可视的数字表示。由此，虚拟化身50在显示设备16上的移动反映人类目标32的移动。 
在某些实施例中，只有虚拟化身的部分将呈现在显示设备16上。作为一个非限制性示例，显示设备16可呈现人类目标32的第一人视角，并因此可呈现可通过虚拟化身的虚拟眼睛来查看的虚拟化身的各部分(例如，握有方向盘的伸出的手、握有步枪的伸出的手、抓住三维虚拟世界中的物体的伸出的手等)。 
尽管将虚拟化身50用作可经由深度图的骨架建模由人类目标的移动来控制的游戏的一示例方面，但这并不旨在限制。人类目标可以用虚拟骨架来建模， 而虚拟骨架可用于控制除虚拟化身以外的游戏或其他应用的各方面。例如，即使虚拟化身没有被呈现到显示设备，人类目标的移动也可控制游戏或其他应用。 
如上介绍的，驾驶模拟或游戏可经由深度图的骨架建模由人类目标的移动来控制。例如，图3-9示意性地示出在不同时刻(例如，时间t0、时间t1和时间t2)对人类目标的不同姿势建模的虚拟骨架46。如上讨论的，虚拟骨架46可从深度信息中导出，深度信息从观察人类目标的深度相机获取。虽然虚拟骨架46被示为具有关节的线条画，但应该理解，虚拟骨架可由任何何时的机器可读数据结构来表示。例如，图3A中示为点的关节可由位置坐标和/或其他机器可读信息来表示。由此，计算系统的逻辑子系统可接收虚拟骨架(即，以机器可读形式表示虚拟骨架的数据结构)并处理一个或多个关节的位置和/或其他属性。以此方式，骨架位置/移动并因此被建模的人类目标的姿势可被解释为用于控制计算系统的不同姿势控制。 
作为第一示例，图3A示出了在时间t0处于就座位置且放下手臂的虚拟骨架46。在所示实施例中，虚拟骨架尤其包括左手关节82、右手关节84、第一躯干关节88、左脚关节92、以及右脚关节94。在时间t1，虚拟骨架的手臂被抬高，就像要持握方向盘。在时间t2，转动手臂，就像转动方向盘。图3B示意性示出了时间t1的左手关节82和右手关节84的正面图。图3C示意性示出了时间t2的左手关节82和右手关节84的正面图。 
计算系统可被配置成将参考线(例如，水平线)与连接左手关节和右手关节的线之间的角度转换成姿势转向角控制。在一些实施例中，此类转换可仅在右手关节和左手关节在一个或多个躯干关节的前面伸出(即，双手处于要持握方向盘的位置)时执行。 
例如，如图3B中最佳地示出的，在时间t1，参考线302与连接左手关节82与右手关节84的线304之间的角度300是大致-2.0°。由此，所观测和建模的-2.0°相对关节位置可被建模为-2.0°转向角控制(例如，方向盘转到-2.0°)。 
作为另一示例，且如图3C中最佳地例示地，在时间t2，参考线302与连接左手关节82和右手关节84的线304之间的角度300为大致28.0°。由此， 所观测和建模的28.0°相对关节位置可被建模为28.0°转向角控制(例如，方向盘转到28.0°)。 
转换不必是1∶1。在一些实施例中，所观测的关节角度可使用线性或非线性转换函数来解释成转向角控制。 
在一些实施例中，如图3D中所例示的，可从手臂相对于躯干位置的位置解释姿势转向角控制。例如，在时间t0，虚拟骨架46处于驾驶位置。在时间t1，在左手臂越来越靠近躯干90地移动时，右手臂76远离躯干90地移动。计算机系统可被配置成将右手臂和/左手臂相对于至少一个躯干关节的位置转换成姿势转向角控制。在此情形中，姿势可被转换成向右转。类似地，在左手臂78远离躯干90地移动时右手臂76越来越靠近躯干90地移动可对用于向左转的姿势转向角控制作出贡献。 
图3E提供了从躯干和/或肩膀的位置解释姿势转向角控制的示例。例如，在时间t0，虚拟骨架46处于驾驶位置。在时间t1，躯干90旋转到右边。计算系统可被配置成将至少一个躯干关节或躯干旋转的另一指示转换成姿势转向角控制。在图3E所示的姿势可被转换成向右转。类似地，躯干旋转到左侧可被解释为向左转。在一些实施例中，手相对于躯干的定位可被解释为姿势转向角控制。例如，当在操纵姿态中手在躯干的前面伸出并在随后移至右边时，这可被解释为向右转，即使躯干随着手移动而扭转。类似地手移至左边可被解释为向左转。 
图3F提供了从躯干的侧向倾斜解释姿势转向角控制的示例。例如，在时间t0，虚拟骨架46处于驾驶位置。在时间t1，躯干90倾向右边。计算系统可被配置成将躯干的倾斜位置转换成姿势转向角控制。在图3F中所示的姿势可被转换成向右转。类似地，躯干倾向左边可被解释为向左转。 
在一些情形中，驾驶游戏和/或其他驾驶模拟可被配置成将以上所描述的姿势的两个或多个转换成转向角控制。由此，游戏玩家可使用不同类型的姿势来使虚拟车辆转向。 
姿势转向角控制可被用于操纵驾驶游戏或其他驾驶模拟的虚拟车辆。此类操纵可与姿势转向角控制的量值成比例——即，更大角度的操纵姿势会导致虚拟车辆的更急剧的转向。 
在一些实施例中，姿势转向角控制不是用来操纵虚拟车辆的唯一操纵控制。计算系统可被编程为具有可确定虚拟车辆的操纵控制、加速度控制和其他控制的人工智能。例如，此类人工智能可被用来在虚拟赛车游戏中自动驾驶对方赛车。人工智能可被调成遵从特定驾驶简档(即，谨慎、鲁莽、熟练等)。此类人工智能还可被用于帮助游戏玩家在驾驶模拟或游戏中驾驶虚拟车辆。 
换言之，还可与人工智能推荐的控制成比例地操纵虚拟车辆。当以此方式控制时，虚拟车辆与姿势转向角控制和人工智能推荐的控制两者的混合成比例地转向。由此，游戏玩家可控制车辆，但是人工智能可辅助游戏玩家，以使得游戏玩家具有更愉快的体验。 
图4示出了可在显示设备上显示的驾驶游戏，该显示设备示出了虚拟道路402上的示例虚拟车辆400A。虚拟车辆400A可由所建模的人类目标的姿势来控制，如以上所描述的。此外，可与人工智能推荐的控制和姿势转向角控制成比例地操纵虚拟车辆400A。 
姿势转向角控制和人工智能推荐的控制的相对百分比可根据一个或多个可改变游戏参数来动态地设置。换言之，驾驶模拟器可实时地修改多少百分比的操纵控制来自游戏玩家以及多少百分比来自人工智能。 
在一些实施例中，驾驶员级别(例如，初学者、中级、高级、专业等)可用作可改变游戏参数，该参数可被用来动态地设置玩家控制与人工智能控制之间的平衡。在此类实施例中，姿势转向角控制的相对百分比可被减小以向初学者驾驶员提供更大的辅助。 
在一些实施例中，虚拟车辆的速度可用作可改变游戏参数，该参数可被用来动态地设置玩家控制与人工智能控制之间的平衡。在此类实施例中，姿势转向角控制的相对百分比可随着虚拟车辆的速度的增加而减小。 
在一些实施例中，虚拟车道的转弯半径可用作可改变游戏参数，该参数可被用来动态地设置玩家控制与人工智能控制之间的平衡。在此类实施例中，姿势转向角控制的相对百分比可随着虚拟车道的转弯半径的增加而减小。换言之，像车道。 
在一些实施例中，与推荐的路径的偏差可用作可改变游戏参数，该参数可被用来动态地设置玩家控制与人工智能控制之间的平衡。在此类实施例中，姿 势转向角控制的相对百分比可随着与推荐的路径的偏差的增大而减小。换言之，随着虚拟车辆更远离推荐的驾驶路径(例如，赛车道上的最优线路)地移动，人工智能可施加更多控制以将虚拟车辆推回到车道上。通过使用图4的示例，由于虚拟车辆400A处于推荐的路径410上，，可主要依照玩家控制的结果来操纵虚拟车辆400A。另一方面，由于虚拟车辆400B严重偏离推荐的路径410，可针对虚拟车辆400B增大人工智能控制的百分比。 
虽然操纵是作为可以是从虚拟骨架解释的姿势控制和人工智能控制的混合的示例控制形式来提供的，但是这并不进行任何限制。驾驶模拟器或游戏的其他方面可经由混合控制来实现。例如，油门控制和/或刹车控制可经由混合控制来实现。一般而言，虚拟骨架的一个或多个关节的位置可被转换成姿势游戏控制，并且作为姿势游戏控制和人工智能推荐的控制的组合的混合游戏控制可被执行。 
作为下一示例，图5、5A和6B示出了可如何实现油门和刹车控制。具体地，图5示意性地示出在不同时刻(例如，时间t0、时间t1和时间t2)对人类目标的不同加速姿势建模的虚拟骨架46。计算系统可被配置成将虚拟骨架的左脚关节相对于虚拟骨架的右脚关节位置的位置转换成姿势加速度控制。此外，可与姿势加速度控制成比例地加速虚拟车辆。 
在时间t0，虚拟骨架46被示为具有处于空档位置的左脚和右脚关节。例如，这可对应于空档加速度控制——即，滑行，而没有任何油门或任何刹车。 
在时间t1，右脚关节94在左脚关节92的前面。右脚关节在左脚关节的前面可被解释为正加速度——即，踩油门。右脚在左脚前面移开的距离可对应于油门控制的量值。 
在时间t2，右脚关节94在左脚关节92后面。右脚关节在左脚关节的后面可被解释为负加速度——即，踩刹车。右脚在左脚后面移开的距离可对应于刹车控制的量值。 
可以理解，对“左”、“右”、“前”、“后”等的引用可可基于虚拟骨架的解剖。此外，虽然在此示例中使用活动的右脚，但是应当理解，加速度控制可另外或替换地通过左脚来实现。此外，虽然讨论了绝对控制(即，油门开/关、刹车开/关)，应当理解，姿势加速度控制可以是相对于默认速度，诸如 由人工智能选择的默认速度。 
图6A示意性地示出在不同时刻(例如，时间t0、时间t1和时间t2)对人类目标的不同加速度姿势建模的虚拟骨架46。计算系统可被配置成将左脚关节和右手关节远离一个或多个躯干关节的距离转换成姿势加速度控制。此外，可与姿势加速度控制成比例地加速虚拟车辆。 
在时间t0，虚拟骨架46被示为具有处于空档位置的左脚和右脚关节。例如，这可对应于空档加速度控制——即，滑行，而没有任何油门或任何刹车。在时间t1，手(即，左手关节82和右手关节84)移动成更靠近躯干。在时间t2，手远离躯干90移动。 
可与左手关节和右手关节远离一个或多个躯干关节的距离成比例地增大正加速度。例如，正加速度可以在时间t2处比在时间t0和t1处更高。类似地，正加速度可以是在时间t1处比在时间t0和t2处更低。在一些实施例中，手从躯干伸出越过阈值距离可被解释为正加速度，且手相对于阈值距离朝躯干收回可被解释为负加速度(例如，刹车)。 
图6B提供了从躯干的位置解释姿势加速度控制的示例。例如，在时间t0，虚拟骨架46处于驾驶位置。在时间t1，躯干90向前倾斜。换言之，躯干90超捕捉设备倾斜，如箭头72所标示的，由此定位躯干90更靠近捕捉设备(例如，图1的深度相机22)。计算系统可被配置成将躯干距捕捉设备的距离转换成姿势加速度控制。如图6B所示的姿势可被转换为正加速度。类似地，躯干向后倾斜可被解释为负加速度。 
在一些情形中，驾驶游戏和/或其他驾驶模拟可被配置成将以上所描述的姿势的两个或多个转换成加速度控制。由此，游戏玩家可导致虚拟车辆使用不同类型的姿势来加速或减速。 
如之前一样，应当理解，姿势加速度控制可相对于默认速度，诸如由人工智能选择的默认速度。此外，虽然手位置在以上是参照一个或多个躯干关节来描述的，但是应当理解，可使用任何其他相当和/或相似的参考，包括手关节的绝对位置。 
虽然姿势操纵和加速度控制是可从虚拟骨架转换的控制的两个示例类型，但是其他姿势控制也落在本公开的范围内。以下非线性示例被提供来建议可用 的姿势控制的宽度，但是这决不意味着进行限制。 
图7示意性地示出在不同时刻(例如，时间t0、时间t1和时间t2)对人类目标的示例涡轮增压(turbo boost)姿势建模的虚拟骨架46。计算系统可被配置成将手关节(例如，右手关节84)从一个或多个躯干关节附近(即，在时间t1)突然移至远离一个或多个躯干关节的位置(即，在时间t2)转换成姿势涡轮增压控制。此外，可响应于姿势涡轮增压控制来迅速地加速虚拟车辆。 
图8示意性地示出在不同时刻(例如，时间t0、时间t1和时间t2)对人类目标的示例换档姿势建模的虚拟骨架46。计算系统可被配置成将手关节(例如，右手关节84)靠近髋关节(例如，髋关节98)的移动转换成姿势换档控制。由此，可响应于姿势换档控制来改变虚拟车辆的排档。 
在时间t0，虚拟骨架46被示为具有处于空档换档位置的右手关节84。在时间t1，右手关节84可相对于髋关节98向前移动，其可转换为排档增加。在时间t2，右手关节84可相对于髋关节98向后移动，其可转换为排档减小。图9示意性地示出在不同时刻(例如，时间t0、时间t1和时间t2)对人类目标的其他示例换档姿态建模的虚拟骨架46。在时间t0，虚拟骨架46被示为具有处于空档换档位置的手。计算系统可被配置成将由相对应的手关节(例如，左手关节82)建模的一只或多只手的姿态转换成姿势换档控制。由此，可响应于姿势换档控制来改变虚拟车辆的排档。例如，可响应于打开和合拢左手902来减小排档。作为另一示例，可响应于打开和合拢右手来增大排档。 
手的姿态可用任何合适的方式来确定。在某些实施例中，可用足够的骨架关节来建模手以仅从骨架数据中识别出手的姿态。在某些实施例中，手关节的位置可被用来在对应深度图和/或对应色彩图像中定位手的位置。在这样的情况下，随后可评估深度图和/或色彩图像中包括手的部分以确定手是张开的姿态还是合拢的姿态。例如，可参照已知手姿态的在先训练的集合来分析深度图和/或色彩图像中包括手的部分以寻找最佳匹配的手姿态。 
上述姿势/控制是非限制性示例。其他姿势和控制也在本发明的范围之内。此外，可同时执行和转换上述姿势中的两个或更多个。例如，游戏玩家可导致虚拟车辆通过在打开和合拢伸出的右手时，同时向前移动右脚、相对于伸出的右手抬高伸出的左手，来绕着角落加速。 
虽然参考了驾驶游戏进行了描述，但上述姿势还可应用于其他游戏或应用。此外，上述姿势可用于控制物理对象，诸如远程操作的车辆或无人驾驶飞机。 
虽然参考虚拟骨架的虚拟表示来描述了上述姿势，应该理解，可参考构成虚拟骨架的骨架数据来分析姿势。可使用一个或多个测试来分析每一姿势。每一个这样的测试可考虑一个或多个关节的位置、速度、加速度、方向或其他属性。可在绝对意义上考虑这样的属性，或者参考一个或多个其他关节。作为非限制性示例，姿势可由关节的绝对位置来标识、由两个或更多个关节相对于彼此的相对位置来标识、由连接两个关节的骨骼段相对于连接两个关节的另一骨骼段的角度的角度来标识、和/或由以上或其他属性的组合来标识。 
在某些实施例中，以上所描述的方法和过程可捆绑到包括一个或多个计算机的计算系统。具体而言，此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库、和/或其他计算机程序产品。 
图10示意性示出了可以执行上述方法和过程之中的一个或多个的非限制性计算系统60。以简化形式示出了计算系统60。应当理解，可使用基本上任何计算机架构而不背离本公开的范围。在不同的实施例中，计算系统60可以采取大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。 
计算系统60包括逻辑子系统62和数据保持子系统64。计算系统60可以任选地包括显示子系统66、捕捉子系统68和/或在图10中未示出的其他组件。计算系统60还可以任选地包括诸如下列用户输入设备：例如键盘、鼠标、游戏控制器、相机、话筒和/或触摸屏等等。 
逻辑子系统62可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统可被配置为执行一个或多个指令，该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造的部分。可实现此类指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所需结果。 
逻辑子系统可包括被配置成执行软件指令的一个或多个处理器。另外地或 替换地，逻辑子系统可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核，且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或多个设备的独立组件，所述设备可远程放置和/或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。 
数据保持子系统64可包括一个或更多个物理、非瞬时设备，这些设备被配置成保持数据和/或可由该逻辑子系统执行的指令，以实现此处描述的方法和过程。当实现了此类方法和过程时，可变换数据保存子系统64的状态(例如，以保存不同数据)。 
数据保持子系统64可包括可移动介质和/或内置设备。数据保持子系统64尤其是可以包括光学存储器设备(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如，RAM、EPROM、EEPROM等)和/或磁存储器设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)。数据保持子系统64可包括具有以下特性中的一个或多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可以将逻辑子系统62和数据保持子系统64集成到一个或更多个常见设备中，如专用集成电路或片上系统。 
图10还示出以可移动计算机可读存储介质70形式的数据保持子系统的一方面，该可移动计算机可读存储介质可用于存储和/或传输可执行以实现此处所述的方法和过程的数据和/或指令。可移动计算机可读存储介质70尤其是可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘形式。 
可以明白，数据保持子系统64包括一个或多个方面物理非瞬态设备。相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本公开有关的数据和/或其他形式的信息可以通过纯信号传播。 
在包括显示子系统66时，显示子系统66可用于呈现由数据保持子系统64保持的数据的视觉表示(例如，虚拟化身和/或三维虚拟世界)。由于此处所描述的方法和过程改变由数据保持子系统保持的数据，并由此变换数据保持 子系统的状态，因此同样可以变换显示子系统66的状态以在视觉上表示底层数据的改变。例如，计算系统60可被配置为呈现驾驶游戏以供在显示子系统66的显示设备上显示。由此，计算系统60可包括显示输出以将驾驶游戏界面输出到显示设备。显示子系统66可以包括使用实际上任何类型的技术的一个或多个显示设备。可将这样的显示设备与逻辑子系统62和/或数据保存子系统64组合在共享封装中，或这样的显示设备可以是经由显示输出连接到逻辑子系统的外围显示设备。 
在包括通信子系统时，通信子系统可以被配置成将计算系统60与一个或多个其他计算设备可通信地耦合。通信子系统可包括与一个或多个不同的通信协议相兼容的有线和/或无线通信设备。作为非限制性示例，该通信子系统可以被配置成经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中，该通信子系统可允许计算系统60经由网络(比如因特网)向其他设备发送消息和/或从其他设备接收消息。 
计算系统60还可包括被配置成获得一个或多个目标的深度图像的集成和/或外围捕捉设备68。在任一种情况下，计算系统60可包括外围输入以从深度相机接收深度图像并将接收到的深度图像传递到逻辑子系统以供处理。捕捉设备68可以被配置成通过任何合适的技术(例如，飞行时间、结构化光、立体图像等等)捕捉具有深度信息的视频。如此，捕捉设备68可包括深度相机、摄像机、立体相机、和/或其他合适的捕捉设备。 
例如，在飞行时间分析中，捕捉设备68可以向目标发射红外光，然后使用传感器来检测从目标的表面反向散射的光。在一些情况下，可以使用脉冲式红外光，其中可以测量出射光脉冲和相应的入射光脉冲之间的时间并将该时间用于确定从该捕捉设备到目标上的特定位置的物理距离。在一些情况下，出射光波的相位可以与入射光波的相位相比较以确定相移，并且该相移可以用于确定从该捕捉设备到目标上的特定位置的物理距离。 
在另一示例中，飞行时间分析可用于通过经由诸如快门式光脉冲成像之类的技术分析反射光束随时间的强度，来间接地确定从该捕捉设备到目标上的特定位置的物理距离。 
在另一示例中，结构化光分析可以被捕捉设备68利用来捕捉深度信息。 在这样的分析中，图案化光(即被显示为诸如网格图案、条纹图案或星座点之类的已知图案的光)可以被投影到目标上。在落到目标的表面上以后，该图案可能变为变形的，并且可以研究该图案的这种变形以确定从该捕捉设备到目标上的某一位置的物理距离。 
在另一示例中，捕捉设备可以包括两个或更多个物理上分开的相机，这些相机从不同角度查看目标以获得视觉立体数据。在这种情况下，该视觉立体数据可以被解析以生成深度图像。 
在其他实施例中，捕捉设备68可以使用其他技术来测量和/或计算深度值。此外，捕捉设备68可以将所计算的深度信息组织为“Z层”，即与从深度相机沿其视线延伸到目标的Z轴垂直的层。 
在一些实施例中，两个或更多个不同的相机可以被合并到一集成的捕捉设备中。例如，深度相机和视频相机(例如RGB视频相机)可以被合并到共同的捕捉设备中。在一些实施例中，可以协作式地使用两个或更多个分开的捕捉设备。例如，可以使用深度相机和分开的视频相机。当使用视频相机时，该视频相机可用于提供：目标跟踪数据、对目标跟踪进行纠错的确认数据、图像捕捉、面部识别、对手指(或其他小特征)的高精度跟踪、光感测和/或其他功能。 
要理解，至少一些目标分析和跟踪操作可以由一个或多个捕捉设备的逻辑机来执行。捕捉设备可以包括被配置成执行一个或多个目标分析和/或跟踪功能的一个或多个板载处理单元。捕捉设备可以包括便于更新这样的板载处理逻辑的固件。计算系统60可任选地包括诸如控制器52和控制器54之类的一个或多个输入设备。输入设备可被用于控制计算系统的操作。在游戏的上下文中，诸如控制器52和/或控制器54之类的输入设备可被用于控制游戏的那些不是通过这里所述的目标识别、跟踪和分析方法和过程来控制的方面。在某些实施例中，诸如控制器52和/或控制器54之类的输入设备可包括可用于测量控制器在物理空间中的移动的加速计、陀螺仪、红外目标/传感器系统等中的一个或多个。在某些实施例中，计算系统可任选地包括和/或利用输入手套、键盘、鼠标、跟踪垫、轨迹球、触屏、按钮、开关、拨盘、和/或其他输入设备。如将理解的，目标识别、跟踪和分析可被用于控制或扩充游戏或其他应用的常规上由诸如游戏控制器之类的输入设备控制的方面。在某些实施例中，这里所述的目标跟踪 可被用作对其他形式的用户输入的完全替代，而在其他实施例中，这种目标跟踪可被用于补充一个或多个其他形式的用户输入。 
应该理解，此处所述的配置和/或方法在本质上是示例性的，并且这些特定实施例或示例不是限制意义，因为多个变体是可能的。此处所述的特定例程或方法可表示任意数量的处理策略中的一个或多个。由此，所示出的各个动作可按所示顺序执行、按其他顺序执行、并行地执行、或者在一些情况下省略。同样，可改变上述过程的次序。 
本公开的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合，和此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效物。 

Claims (20)

1.一种控制虚拟车辆的方法，包括：
呈现驾驶游戏以在显示设备上显示；
接收包括多个关节的虚拟骨架，所述多个关节包括左手关节和右手关节，所述虚拟骨架提供用三维深度相机观察的人类目标的机器可读表示；
将参考线与连接所述左手关节和所述右手关节的线之间的角度转换成姿势转向角控制；以及
与所述姿势转向角控制成比例地操纵所述驾驶游戏的虚拟车辆。
2.如权利要求1所述的方法，其特征在于，还包括：与人工智能推荐的控制成比例地操纵所述虚拟车辆，以使得所述虚拟车辆与所述姿势转向角控制和所述人工智能推荐的控制两者的混合成比例地转向。
3.如权利要求2所述的方法，其特征在于，姿势转向角控制和人工智能推荐的控制的相对百分比是根据一个或多个可改变游戏参数来动态地设置的。
4.如权利要求3所述的方法，其特征在于，所述一个或多个可改变游戏参数包括所述虚拟车辆的速度，并且其中所述姿势转向角控制的相对百分比随着所述虚拟车辆的速度的增大而减小。
5.如权利要求3所述的方法，其特征在于，所述一个或多个可改变游戏参数包括虚拟车道的转弯半径，并且其中所述姿势转向角控制的相对百分比随着所述虚拟车道的转弯半径的增大而减小。
6.如权利要求3所述的方法，其特征在于，所述一个或多个可改变游戏参数包括与所推荐的路径的偏差，并且其中所述姿势转向角控制的相对百分比随着与所推荐的路径的偏差的增大而减小。
7.如权利要求1所述的方法，其特征在于，还包括：
将所述虚拟骨架的左脚关节相对于所述虚拟骨架的右脚关节的位置的位置转换成姿势加速度控制；以及
与所述姿势加速控制成比例地加速所述虚拟车辆。
8.如权利要求7所述的方法，其特征在于，右脚关节在所述左脚关节的前面被解释为正加速度，而右脚关节在所述左脚关节的后面被解释为负加速度。
9.如权利要求1所述的方法，其特征在于，还包括：
将所述左手关节与所述右手关节距一个或多个躯干关节的距离转换成姿势加速度控制；以及
与所述姿势加速控制成比例地加速所述虚拟车辆。
10.如权利要求9所述的方法，其特征在于，正加速度与所述左手关节和所述右手关节距所述一个或多个躯干关节的距离成比例地增大。
11.如权利要求1所述的方法，其特征在于，还包括：
将手关节从一个或多个躯干关节的附近突然移至远离所述一个或多个躯干关节的位置转换成姿势涡轮增压控制；以及
响应于所述姿势涡轮增压控制迅速加速所述虚拟车辆。
12.如权利要求1所述的方法，其特征在于，还包括：
将手关节靠近髋关节的移动转换成姿势换档控制；以及
响应于所述姿势换档控制改变所述虚拟车辆的排档。
13.如权利要求12所述的方法，其特征在于，所述排档响应于所述手关节的向前移动而增大，且所述排档响应于所述手关节的向后移动而减小。
14.如权利要求1所述的方法，其特征在于，还包括：
将由所述虚拟骨架的相对应的手关节建模的一只或多只手的姿态转换成姿势换档控制；以及
响应于所述姿势换档控制改变所述虚拟车辆的排档。
15.如权利要求14所述的方法，其特征在于，所述排档响应于右手的打开和合拢而增大，并且所述排档响应于左手的打开和合拢而减小。
16.如权利要求1所述的方法，其特征在于，仅当所述右手关节和所述左手关节在一个或多个躯干关节的前面伸出时，参考线与连接所述左手关节和所述右手关节的线之间的所述角度被转换成姿势转向角控制。
17.一种控制虚拟车辆的方法，包括：
从深度相机接收包括人类目标的世界空间场景的一个或多个深度图像；
使用包括多个关节的虚拟骨架对所述人类目标进行建模，所述多个关节包括左手关节、右手关节、一个或多个躯干关节、左脚关节、和右脚关节；
如果所述右手关节和所述左手关节在所述一个或多个躯干关节的前面伸出：
则将水平线与连接所述左手关节和所述右手关节的线之间的角度转换成姿势转向角控制，以及
响应于所述姿势转向角控制来操纵虚拟车辆；
将所述左脚关节相对于所述右脚关节的位置的位置转换成姿势加速度控制；以及
与所述姿势加速控制成比例地加速所述虚拟车辆。
18.如权利要求17所述的方法，其特征在于，还包括：与人工智能推荐的控制成比例地操纵所述虚拟车辆，以使得所述虚拟车辆与所述姿势转向角控制和所述人工智能推荐的控制两者的混合成比例地转向。
19.如权利要求18所述的方法，其特征在于，所述姿势转向角控制和所述人工智能推荐的控制的相对百分比是根据一个或多个可改变游戏参数来动态地设置的。
20.一种控制游戏的方法，包括：
从深度相机接收包括人类目标的世界空间场景的一个或多个深度图像；
用包括多个关节的虚拟骨架来对所述人类目标建模；
将所述虚拟骨架的一个或多个关节的位置转换成姿势游戏控制，所述转换包括将参考线与连接左手关节和右手关节的线之间的角度转换成姿势转向角控制；
计算人工智能推荐的控制；以及
执行作为所述姿势游戏控制和所述人工智能推荐的控制的组合的混合游戏控制。
CN201110430860.5A 2010-12-21 2011-12-20 用于操纵虚拟车辆的方法和系统 Active CN102542867B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/975,011 2010-12-21
US12/975,011 US9821224B2 (en) 2010-12-21 2010-12-21 Driving simulator control with virtual skeleton

Publications (2)

Publication Number Publication Date
CN102542867A CN102542867A (zh) 2012-07-04
CN102542867B true CN102542867B (zh) 2015-02-25

Family

ID=46235078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110430860.5A Active CN102542867B (zh) 2010-12-21 2011-12-20 用于操纵虚拟车辆的方法和系统

Country Status (2)

Country Link
US (1) US9821224B2 (zh)
CN (1) CN102542867B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9349040B2 (en) * 2010-11-19 2016-05-24 Microsoft Technology Licensing, Llc Bi-modal depth-image analysis
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9519987B1 (en) * 2012-09-17 2016-12-13 Disney Enterprises, Inc. Managing character control in a virtual space
DE102012110190B4 (de) * 2012-10-25 2015-03-26 Mis-Robotics Gmbh Manuell betätigte Robotersteuerung und Verfahren zum Steuern eines Robotersystems
TWI515605B (zh) * 2013-01-29 2016-01-01 緯創資通股份有限公司 手勢辨識與控制方法及其裝置
CN103520923A (zh) * 2013-10-17 2014-01-22 智尊应用程序开发有限公司 游戏控制方法及设备
KR101711736B1 (ko) 2015-05-26 2017-03-02 이화여자대학교 산학협력단 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법
CN104881127A (zh) * 2015-06-18 2015-09-02 周谆 虚拟车辆人机交互方法和系统
CN105344101B (zh) * 2015-11-19 2016-08-31 广州玖的数码科技有限公司 一种画面与机械运动同步的模拟赛车装置及模拟方法
CN105718065B (zh) * 2016-01-27 2018-08-21 北京交通大学 车路协同环境下的交互式视景仿真系统
CN106095082A (zh) * 2016-06-02 2016-11-09 深圳奥比中光科技有限公司 体感交互方法、系统以及装置
CN106095083A (zh) * 2016-06-02 2016-11-09 深圳奥比中光科技有限公司 体感指令的确定方法以及体感交互装置
CN106095087A (zh) * 2016-06-02 2016-11-09 深圳奥比中光科技有限公司 体感交互系统以及方法
US10304298B2 (en) * 2016-07-27 2019-05-28 Immersion Corporation Braking characteristic detection system for haptic actuator
US10916059B2 (en) * 2017-12-06 2021-02-09 Universal City Studios Llc Interactive video game system having an augmented virtual representation
US10653957B2 (en) 2017-12-06 2020-05-19 Universal City Studios Llc Interactive video game system
CN108073283B (zh) * 2017-12-07 2021-02-09 广州深灵科技有限公司 手部关节的计算方法及手套
CN108525304B (zh) * 2018-04-16 2021-06-22 网易（杭州）网络有限公司 一种图像分析方法、装置、存储介质及电子装置
US11173398B2 (en) 2018-05-21 2021-11-16 Microsoft Technology Licensing, Llc Virtual camera placement system
US11511158B2 (en) * 2018-08-07 2022-11-29 Interactive Strength, Inc. User interface system for an interactive exercise machine
CN208188722U (zh) * 2018-08-13 2018-12-04 瑞声科技(新加坡)有限公司 虚拟汽车引擎控制系统
CN110180183B (zh) * 2019-05-31 2024-02-23 涂常青 一种基于车类游戏的视角控制联动转向方法
GB2586059B (en) * 2019-08-01 2023-06-07 Sony Interactive Entertainment Inc System and method for generating user inputs for a video game
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11298578B2 (en) 2020-01-31 2022-04-12 Interactive Strength, Inc. Positionable arm with quick release for an interactive exercise machine
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
CN112169337A (zh) * 2020-10-13 2021-01-05 网易（杭州）网络有限公司 蛇形虚拟对象的控制方法及装置、存储介质、电子设备
CN112686208B (zh) * 2021-01-22 2022-11-08 上海喵眼智能科技有限公司 基于机器视觉的运动识别特征参数算法
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US20220323826A1 (en) * 2021-04-11 2022-10-13 Vikas Khurana System, apparatus and method for training a subject
CN113525508B (zh) * 2021-07-23 2022-04-15 深圳华一精品科技有限公司 一种方向盘的控制方法、控制系统、车辆、计算机设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1157180A (zh) * 1995-09-12 1997-08-20 科乐美股份有限公司 驾驶游戏机
CN101507876A (zh) * 2008-02-14 2009-08-19 鈊象电子股份有限公司 驾驶模拟游戏设备
CN101513573A (zh) * 2008-02-21 2009-08-26 鈊象电子股份有限公司 驾驶模拟游戏装置
CN101667346A (zh) * 2009-09-18 2010-03-10 国家康复辅具研究中心 基于虚拟现实的截肢上肢康复训练系统
CN101739715A (zh) * 2008-11-26 2010-06-16 沈阳天利源生科技有限公司 基于运动捕捉的三维视频仿真制作平台及制作方法

Family Cites Families (184)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) * 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
JPH09153146A (ja) * 1995-09-28 1997-06-10 Toshiba Corp 仮想空間表示方法
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
JP2001504605A (ja) 1996-08-14 2001-04-03 ラティポフ，ヌラフメド，ヌリスラモビチ 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2002516121A (ja) 1998-03-03 2002-06-04 アリーナ， インコーポレイテッド 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
US6750866B1 (en) 2000-04-21 2004-06-15 Realistic Dynamics, Inc. Method and system for dynamically filtering the motion of articulated bodies
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US20050206610A1 (en) * 2000-09-29 2005-09-22 Gary Gerard Cordelli Computer-"reflected" (avatar) mirror
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
JP4027031B2 (ja) * 2000-11-16 2007-12-26 株式会社コナミデジタルエンタテインメント 対戦式３ｄビデオゲーム装置
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP3190546A3 (en) 2003-06-12 2017-10-04 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7090576B2 (en) 2003-06-30 2006-08-15 Microsoft Corporation Personalized behavior of computer controlled avatars in a virtual reality environment
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
EP2487624B1 (en) 2005-01-07 2020-02-19 Qualcomm Incorporated(1/3) Detecting and tracking objects in images
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
BRPI0613165A2 (pt) 2005-05-17 2010-12-21 Gesturetek Inc saìda de sinal sensìvel à orientação
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
TWI286484B (en) * 2005-12-16 2007-09-11 Pixart Imaging Inc Device for tracking the motion of an object and object for reflecting infrared light
US7775882B2 (en) * 2006-06-12 2010-08-17 Kabushiki Kaisha Sega Game apparatus for changing a visual point position of a virtual camera in conjunction with an attack by and enemy character
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US20080096654A1 (en) * 2006-10-20 2008-04-24 Sony Computer Entertainment America Inc. Game control using three-dimensional motions of controller
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US8144148B2 (en) 2007-02-08 2012-03-27 Edge 3 Technologies Llc Method and system for vision-based interaction in a virtual environment
US20080211771A1 (en) * 2007-03-02 2008-09-04 Naturalpoint, Inc. Approach for Merging Scaled Input of Movable Objects to Control Presentation of Aspects of a Shared Virtual Environment
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
JP5168000B2 (ja) * 2008-07-17 2013-03-21 トヨタ自動車株式会社 操作支援装置および操作支援方法
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US9256282B2 (en) 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US8988437B2 (en) * 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US20100245233A1 (en) * 2009-03-31 2010-09-30 Codemasters Software Company Ltd. Moving an object within a virtual environment
US9067097B2 (en) * 2009-04-10 2015-06-30 Sovoz, Inc. Virtual locomotion controller apparatus and methods
KR101231798B1 (ko) * 2009-04-30 2013-02-08 한국전자통신연구원 게임 난이도 조절 장치 및 방법
US8942428B2 (en) * 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US8253746B2 (en) * 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US8542252B2 (en) * 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
KR20100138725A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
US8385596B2 (en) * 2010-12-21 2013-02-26 Microsoft Corporation First person shooter control with virtual skeleton

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1157180A (zh) * 1995-09-12 1997-08-20 科乐美股份有限公司 驾驶游戏机
CN101507876A (zh) * 2008-02-14 2009-08-19 鈊象电子股份有限公司 驾驶模拟游戏设备
CN101513573A (zh) * 2008-02-21 2009-08-26 鈊象电子股份有限公司 驾驶模拟游戏装置
CN101739715A (zh) * 2008-11-26 2010-06-16 沈阳天利源生科技有限公司 基于运动捕捉的三维视频仿真制作平台及制作方法
CN101667346A (zh) * 2009-09-18 2010-03-10 国家康复辅具研究中心 基于虚拟现实的截肢上肢康复训练系统

Also Published As

Publication number Publication date
US20120157198A1 (en) 2012-06-21
CN102542867A (zh) 2012-07-04
US9821224B2 (en) 2017-11-21

Similar Documents

Publication Publication Date Title
CN102542867B (zh) 用于操纵虚拟车辆的方法和系统
CN102542160B (zh) 三维虚拟世界的骨架控制
CN102592045B (zh) 通过虚拟骨架的第一人称射击者控制
US20240053750A1 (en) Fitness And Sports Applications For An Autonomous Unmanned Aerial Vehicle
JP7181316B2 (ja) Ｈｍｄ環境での高速中心窩レンダリングのための予測及びｇｐｕに対する最新の更新を伴う視線追跡
CN103517742B (zh) 手动且基于相机的化身控制
CN107004279B (zh) 自然用户界面相机校准
CN102591648B (zh) 用于界面引导的持久性把手
CN102707876B (zh) 界面控件的按压个性化
CN102129293B (zh) 在运动捕捉系统中跟踪用户组
CN102645973B (zh) 用于减轻环境因素的环境修改
US10972680B2 (en) Theme-based augmentation of photorepresentative view
JP5300777B2 (ja) プログラム及び画像生成システム
US9804696B2 (en) User-input control device toggled motion tracking
US20120320080A1 (en) Motion based virtual object navigation
US20130141419A1 (en) Augmented reality with realistic occlusion
CN103501868A (zh) 对分开的计算机游戏元素的控制
CN103501869A (zh) 手动和基于相机的游戏控制
CN103608073B (zh) 形状跟踪做手势
Piumsomboon et al. Physically-based interaction for tabletop augmented reality using a depth-sensing camera for environment mapping
KR101244646B1 (ko) 가상 공간과 현실 공간을 연계한 로봇 게임 시스템
US20120309530A1 (en) Rein-controlling gestures
US10456682B2 (en) Augmentation of a gaming controller via projection system of an autonomous personal companion
Chung et al. Optimizing Camera Setup for In-Home First-person Rendering Mixed Reality Gaming System

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150724

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150724

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.