CN103501868A - 对分开的计算机游戏元素的控制 - Google Patents

对分开的计算机游戏元素的控制 Download PDF

Info

Publication number
CN103501868A
CN103501868A CN201280019756.XA CN201280019756A CN103501868A CN 103501868 A CN103501868 A CN 103501868A CN 201280019756 A CN201280019756 A CN 201280019756A CN 103501868 A CN103501868 A CN 103501868A
Authority
CN
China
Prior art keywords
user
computer game
entrance
posture
image stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280019756.XA
Other languages
English (en)
Other versions
CN103501868B (zh
Inventor
T·W·兰斯达尔
C·R·格里非斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN103501868A publication Critical patent/CN103501868A/zh
Application granted granted Critical
Publication of CN103501868B publication Critical patent/CN103501868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics

Abstract

描述了对分开的计算机游戏元素的控制。在一个示例中，计算机游戏系统向用户显示计算机游戏，计算机游戏包括至少一个化身和环境。手动输入命令是从用户所操作的用手操作的控制器接收的，并且用于在计算机游戏中控制化身的显示。还与手动输入基本上同时地接收来自图像捕捉设备的描绘用户的图像流。将入口（该入口与化身分开）显示在计算机游戏显示的区域中，入口向用户示出接收到的图像流。分析用户的图像流并且识别用户所执行的姿势。所识别的姿势用于控制所显示的、入口与环境之间的交互。

Description

对分开的计算机游戏元素的控制
背景技术
现有视频和计算机游戏控制系统使用手持式控制器，这些手持式控制器包括按钮和操纵杆以使玩家能够控制游戏显示所示出的化身或其他对象。这些类型的手持式控制器的设计寻求按稳健、易于使用且直观的方式来启用对玩游戏的细粒度控制。
最近，一些计算机游戏控制系统使用语音识别技术和姿势识别来使玩家能够控制游戏界面。在这一情况下，游戏玩家没有手持式控制器并且能够按直接的方式与游戏进行交互，而不受诸如手持式控制器等物理用户输入设备的约束。
以下描述的各实施例不限于解决已知游戏控制系统的缺点中的任一个或全部的实现。
发明内容
下面呈现了本发明的简要概述，以便向读者提供基本理解。本发明内容不是本公开的穷尽概览，并且不标识本发明的关键/重要元素或描述本说明书的范围。其唯一的目的是以简化形式呈现此处所公开的精选概念，作为稍后呈现的更详细的描述的序言。
描述了对分开的计算机游戏元素的控制。在一个示例中，计算机游戏系统向用户显示计算机游戏，计算机游戏包括至少一个化身和环境。手动输入命令是从用户所操作的用手操作的控制器接收的，并且用于在计算机游戏中控制化身的显示。还与手动输入基本上同时地从图像捕捉设备接收描绘用户的图像流。将入口（该入口与化身分开）显示在计算机游戏显示的区域中，入口向用户示出接收到的图像流。分析用户的图像流并且识别用户所执行的姿势。所识别的姿势用于控制所显示的、入口与环境之间的交互。
通过结合附图参考以下详细描述，可更易于领会并更好地理解许多附带特征。
附图说明
根据附图阅读以下详细描述，将更好地理解本发明，在附图中：
图1是持有游戏控制器并在具有深度相机的游戏装置前作姿势的玩家的示意图；
图2是包括图像捕捉设备、手持式控制器、计算设备以及显示器的游戏系统的示意图；
图3是手持式控制器的平面图；
图4是图3的手持式控制器的透视图；
图5是第一玩游戏期间显示画面的示意图；
图6是第二玩游戏期间显示画面的示意图；
图7是游戏系统的操作的方法的流程图；
图8是姿势识别操作的流程图；以及
图9示出可在其中实现游戏系统的实施例的示例性的基于计算的设备。
在各个附图中使用相同的附图标记来指代相同的部件。
具体实施方式
下面结合附图提供的详细描述旨在作为本发明示例的描述，并不旨在表示可以构建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作本发明示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。
虽然在本文中将本发明的示例描述并示出为在用于二维横向卷轴游戏平台游戏的游戏系统中实现，但是所描述的系统只是作为示例而非限制来提供的。本领域的技术人员将会明白，本发明示例适合在各种不同类型的游戏系统中的应用。
首先参考图1，图1示出了用于控制计算机游戏的示例控制系统100。在该示例中，控制系统包括手持式控制器和基于相机的控制系统。通过合并这两种类型的控制，游戏玩家体验到这两种类型的控制系统的益处。如本文描述的，实现合并以便按稳健、易于使用的方式来启用对游戏系统的细粒度控制，这增强了玩家体验。在该说明性示例中，图1示出了用户102在玩二维横向卷轴游戏平台游戏。这类游戏可被清楚地描绘在二维图画中；然而，本文描述的方法还适用于三维游戏、增强现实应用、以及其他类型的游戏。在一些示例中，基于相机的控制系统100尤其可被用于确定身体姿态、绑定、识别、分析、跟踪、关联至人类目标、提供反馈、和/或适应于诸如用户102（本文也称为玩家）等人类目标的各方面，等等。在该示例中，为简明起见，示出了一个玩家。然而，两个或更多个玩家也可同时使用该控制系统。
基于相机的控制系统100包括计算设备104。计算设备104可以是通用计算机、游戏系统或控制台、或专用图像处理设备。计算设备104可包括硬件组件和/或软件组件，以使计算设备104可用于执行诸如游戏应用和/或非游戏应用等应用。后文参考图9讨论了计算设备104的结构。
基于相机的控制系统100进一步包括捕捉设备106。捕捉设备106可以是例如图像传感器或检测器，该图像传感器或检测器可用于在视觉上监视一个或多个用户（诸如用户102），以使得可以捕捉、分析、处理、及跟踪一个或多个用户所执行的姿势以执行游戏或应用内的一个或多个控制或动作，如将在下面更详细地描述的。
基于相机的控制系统100可进一步包括连接到计算设备104的显示设备108。该显示设备可以是可向用户102提供游戏或应用视觉（和可任选的音频）的电视机、监视器、高清电视机（HDTV）等。
在操作中，可以使用捕捉设备106跟踪用户102以使得用户102的位置、移动和大小可以被计算设备104（和/或捕捉设备106）解释为可用于影响由计算设备104执行的应用的控制。结果，用户102能够移动他或她的身体（或者他或她身体的各部分）以控制所执行的游戏或应用。
在图1的说明性示例中，计算设备104上执行的应用是用户102正在玩的二维横向卷轴游戏平台游戏。在本示例中，计算设备104控制显示设备108来向用户102提供包括地形、树木以及太阳的地区的视觉表示。计算设备104还控制显示设备108来提供用户102可以用他或她的移动和/或通过使用手持式控制器110来控制的用户化身的视觉表示。例如，计算设备104可包括身体姿态估计器，该估计器被安排为识别并跟踪用户的不同身体部位，并将这些部位映射到化身上。用这种方式，化身复制用户102的移动，以使得如果用户102例如在物理空间中走动，则这会使得该用户化身在游戏空间中走动。
然而，仅在游戏空间中复制用户移动限制了用户和游戏之间的交互的类型和复杂度。例如，许多游戏内控制是瞬间的动作或命令，在传统游戏系统中，这些动作或命令可以使用按钮按下来触发。这些动作或命令的示例包括诸如挥拳、射击、换武器、投掷、踢、跳、和/或下蹲。通过识别出用户正在执行这些动作之一并且触发相应的游戏内动作，而不是仅复制用户的移动，可以控制这些动作或命令。另外，在手持式控制器处的用户输入和经由基于相机的控制系统的用户输入的组合可被用来控制游戏装置。
现在参考图2，图2示出了可在图1的基于相机的控制系统100中使用的捕捉设备106的示意图。在图2的示例中，捕捉设备106被配置为捕捉具有深度信息的视频图像。这种捕捉设备可被称为深度相机。深度信息可以是包括深度值的深度图像的形式，即深度值是与深度图像的每个图像元素相关联的值，该值和该深度相机与位于该图像元素处的物品或物体之间的距离有关。注意，术语“图像元素”用于指代像素、像素组、体素（voxel）、体素组或图像的其他更高层次的分量。
深度信息可以使用任何合适的技术获得，包括例如飞行时间、结构化光、立体图像等。在一些示例中，捕捉设备106可将深度信息组织为“Z层”，即可垂直于从深度相机沿其视线延伸的Z轴的层。
如图2所示，捕捉设备106包括至少一个成像传感器200。在图2所示的示例中，成像传感器200包括被安排为捕捉场景的深度图像的深度相机202。所捕捉的深度图像可包括所捕捉的场景的二维（2-D）区域，其中该2-D区域中的每个图像元素表示一深度值，诸如所捕捉的场景中的物体离深度相机202的长度或距离。
该捕捉设备还可包括被安排为以可由深度相机202查明深度信息的方式来照亮该场景的发射器204。例如，在深度相机202是红外（IR）飞行时间相机的情况下，发射器204将IR光发射到该场景上，并且深度相机202被安排为检测从该场景中的一个或多个目标和物体的表面反向散射的光。在一些示例中，可以从发射器204发出脉冲红外光，使得外出光脉冲与对应的传入光脉冲之间的时间可由深度相机来检测和测量，并被用来确定从捕捉设备106到该场景中的目标或物体上的位置的物理距离。另外，在一些示例中，可将来自发射器204的出射光波的相位与深度相机202处的入射光波的相位进行比较来确定相移。该相移然后可以用于确定从捕获设备106到目标或物体上的一位置的物理距离。在未来示例中，可使用飞行时间分析，通过经由包括例如快门式光脉冲成像的各种技术来分析反射光束随时间的强度以间接地确定从捕捉设备106到目标或物体上的一位置的物理距离。
在另一示例中，捕捉设备106可使用结构化光来捕捉深度信息。在这种技术中，可使用发射器204将图案化光（例如，显示为诸如斑点、网格、或条形图案等已知图案的光，它也可随时间变化）投影到场景上。在照到场景中的一个或多个目标或物体的表面上以后，图案变形。这种图案变形可由深度相机202捕捉然后被分析以确定从捕捉设备106到该场景中的目标或物体上的一位置的物理距离。
在另一示例中，深度相机202可以是从不同角度查看场景的两个或更多个物理上分开的相机的形式，以便获得能被解析以生成深度信息的视觉立体数据。在此情况下，发射器204可被用来照亮场景，或可被省略。
在一些示例中，作为深度相机202的补充或替换，捕捉设备106可包括被称为RGB相机206的视频相机。RGB相机206被安排为在可见光频率捕捉场景的图像序列，并能因此提供可用于扩充深度图像的图像。在一些示例中，可以使用RGB相机206而不是深度相机202。捕捉设备106还可以可任选地包括话筒207或话筒阵列（其可以是有向的和/或可转向的），该话筒或话筒阵列被安排为捕捉声音信息（诸如来自该用户的语音输入）并且可以用于语音识别。
图2中示出的捕捉设备106还包括至少一个处理器208，处理器208与图像传感器200（即，图2的示例中的深度相机202和RGB相机206）、发射器204、和话筒207通信。处理器208可以是通用微处理器、或专用信号/图像处理器。处理器208被安排为执行指令以控制成像传感器200、发射器204和话筒207以捕捉深度图像、RGB图像和/或语音信号。处理器208也可以可任选地被安排为对这些图像和信号执行处理，如后文更详细地概述的。
图2中示出的捕捉设备106还包括存储器210，存储器210被安排为存储由处理器208执行的指令、深度相机202或RGB相机206捕捉到的图像或图像的帧、或任何其他合适的信息、图像等。在一些示例中，存储器210可包括随机存取存储器（RAM）、只读存储器（ROM）、高速缓存、闪存、硬盘、或任何其他合适的存储组件。存储器210可以是与处理器208通信的分开的组件，或者可被集成到处理器208中。
捕捉设备106还包括与处理器208通信并被安排为经由通信链路向计算设备104提供数据的输出接口212。该通信链路可以是例如有线连接（诸如USB、火线、以太网或类似连接）和/或无线连接（诸如WiFi、蓝牙
Figure BDA0000399779500000061
或类似连接）。在其他示例中，输出接口212可与一个或多个通信网络（诸如因特网）对接并经由这些网络向计算设备104提供数据。
控制器110也作为基于相机的控制系统的一部分来提供。控制器可以是图1中示意性地描绘的手持式控制器或可以与非手持式的另一较大设备集成在一起。控制器包括多个用户输入设备，如按钮、操纵杆、触摸垫、开关等，并使得玩家能够对游戏系统进行输入。用户输入数据通过有线连接和/或无线连接从控制器发送到计算设备104。
计算设备104执行与基于相机的姿势识别有关的多个功能，诸如可任选的身体姿态估计器214和姿势识别引擎216。身体姿态估计器214被安排为使用计算机视觉技术来检测和跟踪该用户的不同身体部位。身体姿态估计器的示例在2009年5月20日提交的美国专利公布US-2010-0278384-A1“Human bodypose estimation（人体姿态估计）”中给出。身体姿态估计器214可向姿势识别引擎提供与用户的身体姿态有关的数据的时间序列形式的输出。这可以是该用户的完全跟踪的骨架模型的形式，或者是该用户的可见身体部位的更粗略标识。例如，这些时间系列序列可包括与用户的至少两个身体部位之间的随时间变化的角度、用户的至少两个身体部位之间的角度的变化率、用户的至少一个身体部位的运动速度、或其组合有关的数据。不同类型的数据（某些身体部位之间的角度、速度等）被称为“特征”。在其他示例中，身体姿态估计器214可从随时间改变的用户姿态推导出其他数据序列（即，其他特征）。在进一步示例中，姿势识别引擎216可利用除身体姿态估计器以外的不同来源推导输入（即，特征）。还可在计算设备104上执行应用软件218并使用所述姿势来控制该应用软件。应用软件被安排成控制游戏在显示器108上的显示。
图3是示例手持式控制器110的平面图。它一般具有翼形，每一个翼或肩122316的大小和形状被制成适于在一只手中抓握住。该控制器包括支承多个按钮、开关、以及操纵杆的外壳，如现在更详细地描述的。然而，这只是示例并且可以使用其他类型的控制器110。
在该控制器的右面上提供四个数字动作按钮302，包括绿色A按钮、红色B按钮、蓝色X按钮和琥珀色Y按钮。提供两个模拟操纵杆310和312。这些操纵杆也可被按入或点入以激活每一操纵杆下的数字按钮。数字开始306、后退308和导航304按钮处于外壳中央。例如，导航按钮被用来打开控制器并访问菜单。
图4是控制器的透视图并且示出左缓冲器（left bumper,LB）406和右缓冲器（right bumper,RB）404，它们中的每一个是可由用户按下的按钮。左扳机（left trigger,LT）400和右扳机（right trigger,RT）402（两者都是模拟的）在控制器的下侧上给出（在图4中可见）。可提供连接408以启用到计算设备104的有线连接。
现在参考图5，图5示出了在玩游戏期间示例计算机游戏显示画面的示意图。图5中示出的示例计算机游戏能够利用来自手动的手持式控制器（诸如图3和4中的控制器）的输入以及来自相机（诸如捕捉设备106）的基于运动的输入两者。
图5的示例计算机游戏包括化身508，化身508是用户使用控制器110控制的主要玩游戏元素。化身508位于游戏环境中，该游戏环境包括诸如可旋转平台504等活动玩游戏元素以及诸如树木512和太阳500等背景元素。图5的示例计算机游戏还包括入口510，入口510是基于捕捉设备所捕捉的图像流的对用户的表示。这一表示可以是深度图像、RGB图像、或其样式化、经处理的、或彩色版本的形式。因此用户可以看到在入口510中所表示的他自己或她自己。在某些示例中，入口510可被表示成电视屏幕，以反映用户正在其上玩游戏的显示设备。
入口510担当与化身508分开的辅助的用户控制玩游戏元素，并且由捕捉设备106控制。计算机游戏被配置以使用户可以通过将一个或多个身体部位延伸出入口510中示出的边界之外来“到达入口之外”。当这被执行时，显示计算机生成的对延伸身体部位的表示，诸如在图5中计算机生成的手506从入口510的右手侧伸出。计算机生成的对延伸身体部位的表示可用于与诸如可旋转平台504等玩游戏元素进行交互。
在图5中当玩该示例游戏时，用户的目标是使化身508能够从环境的左侧行进至环境的右侧。用户可以直接使用控制器110来控制化身508例如左移或右移、跳、蹲等。基本上与此同时，用户可以使用捕捉设备106所捕捉的移动来控制入口510以便促进化身的进展。例如，在图5中示出的游戏的情况下，用户能够从入口510中伸出手并且向可旋转平台504挥拳以使其旋转，使得化身508可以通过它并且进一步继续该游戏。
在某些示例中还可以存在进一步的玩游戏元素。例如，图5中示出链条502，并且该链条502可以与入口510交互。例如，用户可以从入口510伸出手并抓取该链条，并且将他们的手朝入口510向后拉以便跨该环境移动入口510，使得它能够被按需放置以与玩游戏元素交互。在另一示例中，用户可以使用链条502通过以下操作来移动入口510：伸出手“抓取”该链条，然后当继续伸出手时，沿着该链条以他们想要该入口进行的相反方向滑动他们的手，然后最终（并且可任选地，在交互现在已完成时）将他们的手收回到静止位置。
图6示出又一示例计算机游戏显示画面的示意图。在该示例中，化身508处于更复杂的环境中，该环境包括多个平台以及其他玩游戏元素，诸如可旋转平台612和可推动块610。在该示例中，用户可以同样使用控制器110来控制化身508的移动。另外，在该示例中，存在多个入口，这些入口最初是隐藏的。在该示例中，这些入口被示为隐藏在礼物（诸如礼物602）内，但可以按任何合适的方式来隐藏它们。用户可以通过执行一姿势来揭示入口。例如，用户可以执行向前挥拳姿势来撕开该礼物并且揭示该入口。这在礼物604的示例中示出，该礼物604已经被部分地撕开以揭示里面的入口。一旦入口（诸如入口606）已被揭示，用户就可以从其中伸出以与环境中的玩游戏元素进行交互（例如通过旋转可旋转平台612或者滑动可推动块610），由此促进化身在游戏中的进展。
在其他示例中，入口510、606与游戏环境之间的许多其他不同类型的交互是可能的。例如，用户可以从入口伸出以对游戏内元素进行挥拳、拉、推、抓取、激活、扭转或拾取，或执行任何其他合适的动作。
现在参考图7和8，图7和8示出用经组合的控制器和基于运动的输入来控制游戏的操作的过程的流程图。首先，图7示出游戏操作的总体控制的流程图。图7的过程可以由上述计算设备104来执行。在显示设备108上显示702包括化身和游戏环境的游戏显示画面。
在计算设备处接收704来自用户所操作的用手操作的控制器的手动输入。基本上与此同时，从捕捉设备106接收706用户的图像流。图像流通过计算设备处理并且用于在游戏显示画面的一部分中显示708入口510、606。所显示的入口510、606实时地（至少接近实时地）示出图像流的至少一部分，以使得可以看出用户的移动被反映在入口表示中。计算设备可以处理图像流以便在将它显示在入口中之前进行变色、样式化、裁剪、变换、或将背景从图像流中移除。
来自捕捉设备的图像流也被处理以识别710玩家的移动。例如，图像流被处理以确定用户是从入口伸出还是向前挥拳以揭示入口，如上文所提及的。该操作在以下参考图8更详细地讨论。移动识别的结果是确定入口与环境之间的交互是否正在发生，并且如果是，则确定是什么类型的交互（挥拳、拉等）。
计算设备随后基于手动输入来控制化身的显示并且基于所识别的玩家移动来控制所显示的、入口与环境之间的交互。换言之，两个分开的玩游戏实体（化身与入口）被分开地控制；这两者都是由同一用户但使用不同的输入方法（控制器与移动）来控制的。这两个玩游戏元素被一起组合在单个游戏内以提供总体玩游戏体验。
现在参考图8，图8示出了用于识别针对入口交互的姿势的过程的流程图。图8的过程可在图2的姿势识别引擎216处实现。上文参考图2所讨论的身体姿态估计器214用于跟踪802用户的一个或多个身体部位。身体姿态估计器214包括可以标识各身体部位和关节并且跟踪其位置和/或速度的骨架跟踪器。例如，如上所述，可以跟踪用户的一个或多个手。在其他示例中，可以跟踪不同的身体部位，诸如脚、臂、腿或头部。
对该身体部位或多个身体部位的跟踪随后用于确定804姿势是否正被执行。这可以用多种方式来执行，取决于游戏中可使用的姿势。例如，在“伸出”姿势的情况下，其中用户用他们的一个或多个手从入口伸出，用户的手的位置可相对于来自捕捉设备的图像的边界而被跟踪。如果用户的手移至图像流的一个边缘的预定距离内，则这触发从入口对应边缘的伸出姿势。在一个示例中，可以确定用户的手是否在距离图像流的该边缘、10%宽或高的边界内，但也可使用其他百分比或绝对值。在又一示例中，可以确定用户的手是否已触摸到或通过图像流的该边缘。在又一些示例中，用户的手的速度可以使用身体姿态估计器来跟踪，并且这可用于检测手的速度（例如，当用户挥拳时）在图像流的这些边缘之一的方向上的变化。
在向前挥拳姿势的情况下（例如，如参考图6所描述的，在被用于揭示入口时），身体姿态估计器可用于使用深度相机202来跟踪用户的手的深度值。随后可通过确定捕捉设备106与用户的手之间的距离小于预定值来检测该向前挥拳姿势。在替换示例中，可以检测手的深度在预定义时间段内的变化，或可以跟踪手的速度并且检测速度的快速变化。
在其他示例中，可以通过跟踪一个或多个身体部位在图像流中的位置、深度、和/或速度来检测许多不同类型的姿势。在其他示例中，更高级的处理可应用于所跟踪的各身体部位以检测各姿势，诸如使用机器学习分类器（例如，决策树）。
如果已确定804在当前时间没有检测到姿势，则显示806入口与游戏环境之间没有交互。入口仍然显示来自图像流的用户的移动，但没有与各游戏元素更宽泛的交互被执行。
相反，如果已确定804用户执行了姿势，则这指示入口与游戏环境之间的交互可被控制。然而，在显示入口与游戏环境之间的交互之前，可以执行进一步的可选检查以确保意外的或非故意的交互不被触发。
为执行可选的附加检查，确定用户双手是否都在手持式控制器110上。如果用户双手确实在控制器上，则这指示用户并非旨在执行姿势，而是可能例如通过在使用控制器时到处移动他们的手使得其接近图像流的边缘、或走向捕捉设备而意外地触发了交互。
在一个示例中，这可通过将用户的图像与示出用户双手握着控制器110的预记录姿态示例810相比较808来确定。如果用户的图像类似于这些预记录姿态示例810中的一个或多个，则这指示用户仍然双手握着控制器。在其他示例中，这可使用身体姿势估计器来确定。例如，可以确定双手彼此是否在预定距离内（指示双手都在控制器上）。还可以将手的位置与诸如用户的躯干等其他身体部位相比较，以指示双手仍然在控制器上。还可以跟踪用户的手的运动，以使得如果用户的手彼此基本同步地移动，则这指示双手都握着共同对象，诸如控制器。
如果该可选的附加检查确定812双手都握在控制器上，则这指示该姿势触发是非故意的，并且显示806入口与游戏环境之间没有交互。相反，如果可选的检查确定812双手不都在控制器上，则这指示该姿势是有意的。当确定姿势是有意的时，入口被控制以便与游戏环境交互，如上文概述的（例如，通过从入口的侧面或顶部挥拳而出、或揭示入口）。
图9示出了示例性计算设备104的各种组件，该计算设备可以实现为任何形式的计算设备和/或电子设备，且在该计算设备中可以实现上述游戏控制技术的实施例。
计算设备104包括一个或多个处理器902，处理器902可以是微处理器、控制器或用于处理计算机可执行指令来控制游戏系统的任何其他合适类型的处理器。在一些示例中，例如在使用片上系统架构的示例中，处理器902可以包括一个或多个固定功能块（亦称加速器），这些块以硬件（而非软件或固件）来实现游戏控制方法的一部分。
基于计算的设备104还包括输入接口904，该输入接口被安排为从一个或多个设备（诸如图2的捕捉设备106和/或图3和图4的控制器）接收输入。输出接口906也被提供并被安排为向例如与基于计算的设备集成或通信的显示系统（诸如显示设备108）提供输出。显示系统可提供图形用户界面，或任何合适类型的其他用户界面，但这不是必需的。可以可任选地提供通信接口908，该通信接口可被安排为与一个或多个通信网络（例如，因特网）进行通信。
可以使用可由基于计算的设备104访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质可以包括例如诸如存储器910等计算机存储介质和通信介质。诸如存储器910等计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EPROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质可以以诸如载波或其他传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或者其他数据。如本文所定义的，计算机存储介质不包括通信介质。因此，计算机存储介质不应被解释为本质上是传播信号。虽然在基于计算的设备104中示出了计算机存储介质（存储器910），然而应当理解，该存储可以是分布式的或位于远处并经由网络或其他通信链路（例如，使用通信接口908）来访问。
可以在基于计算的设备处提供包括操作系统912或任何其他合适的平台软件的平台软件以使得能够在该设备上执行应用软件218。存储器910可以储存用于实现身体姿态估计器214和姿势识别引擎216的功能的可执行指令。存储器910还可提供数据存储914，该数据存储可被用来在执行游戏控制技术时提供对处理器902所使用的数据的存储，如任何姿态模板、阈值、参数、屏幕空间映射函数、或其他数据。
此处所使用的术语“计算机”是指带有处理能力以便它可以执行指令的任何设备。本领域的技术人员将认识到，这样的处理能力被集成到许多不同的设备中，因此，术语“计算机”包括PC、服务器、移动电话、个人数字助理和许多其他设备。
本文描述的方法可由有形存储介质上的机器可读形式的软件来执行，例如计算机程序的形式，该计算机程序包括在该程序在计算机上运行时适用于执行本文描述的任何方法的所有步骤的计算机程序代码装置并且其中该计算机程序可被包括在计算机可读介质上。有形（或非瞬态）存储介质的示例包括盘（disk）、拇指型驱动器、存储器等而不包括所传播的信号。软件可适于在并行处理器或串行处理器上执行以使得各方法步骤可以按任何合适的次序或同时执行。
这承认，软件可以是有价值的，单独地可交换的商品。它旨在包含运行于或者控制“哑”或标准硬件以实现所需功能的软件。它还旨在包含例如用于设计硅芯片，或者用于配置通用可编程芯片的HDL（硬件描述语言）软件等“描述”或者定义硬件配置以实现期望功能的软件。
本领域技术人员会认识到，用于存储程序指令的存储设备可分布在网络上。例如，远程计算机可以存储被描述为软件的进程的示例。本地或终端计算机可以访问远程计算机并下载软件的一部分或全部以运行程序。可另选地，本地计算机可以根据需要下载软件的片段，或在本地终端上执行一些软件指令，并在远程计算机（或计算机网络）上执行另一些软件指令。本领域的技术人员还将认识到，通过利用本领域的技术人员已知的传统技术，软件指令的全部，或一部分可以通过诸如DSP、可编程逻辑阵列等等之类的专用电路来实现。
对精通本技术的人显而易见的是，此处给出的任何范围或设备值可以被扩展或改变，而不会丢失寻求的效果。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。
可以理解，上文所描述的优点可以涉及一个实施例或可以涉及多个实施例。各实施例不仅限于解决任何或全部所陈述的问题的那些实施例或具有任何或全部所陈述的优点那些实施例。进一步可以理解，对“一个”项目的引用是指那些项目中的一个或多个。
此处所描述的方法的步骤可以在适当的情况下以任何合适的顺序，或同时实现。另外，在不偏离此处所描述的主题的精神和范围的情况下，可以从任何一个方法中删除各单独的框。上文所描述的任何示例的各方面可以与所描述的其他示例中的任何示例的各方面相结合，以构成进一步的示例，而不会丢失寻求的效果。
此处使用了术语“包括”旨在包括已标识的方法的框或元件，但是这样的框或元件不包括排它性的列表，方法或设备可以包含额外的框或元件。
可以理解，以上描述是只作为示例给出的，本领域的技术人员可以作出各种修改。以上说明、示例和数据提供了对示例性实施例的结构和使用的全面描述。虽然上文以一定的详细度或参考一个或多个单独实施例描述了各实施例，但是，在不偏离本说明书的精神或范围的情况下，本领域的技术人员可以对所公开的实施例作出很多更改。

Claims (10)

1.一种控制计算机游戏系统的方法，包括：
在计算机游戏的用户可观看的显示器处显示所述计算机游戏，所述显示包括至少一个化身和环境；
从所述用户所操作的用手操作的控制器接收手动输入；
从图像捕捉设备接收描绘所述用户的图像流；
将入口作为所显示的计算机游戏的一部分来显示，所述入口是所述显示中表示描绘所述用户的所述图像流的区域；
通过分析所述图像流来识别所述用户的姿势；以及
基于所述手动输入来控制所述化身的显示，并且基于所识别的用户的姿势来控制所显示的所述入口与所述环境之间的交互。
2.如权利要求1所述的方法，其特征在于，识别所述姿势以及接收手动输入的步骤基本上同时发生。
3.如前述权利要求中任一项所述的方法，其特征在于，通过分析所述图像流来识别所述用户的姿势的步骤包括跟踪所述图像流中所述用户的至少一个身体部位。
4.如权利要求3所述的方法，其特征在于，所述跟踪包括跟踪所述图像流中所述用户的至少一个身体部位的位置。
5.如权利要求4所述的方法，其特征在于，所跟踪的至少一个身体部位的位置是所述至少一个身体部位与所述图像捕捉设备之间的距离。
6.如权利要求3所述的方法，其特征在于，所述跟踪包括跟踪所述图像流中所述用户的至少一个身体部位的运动速度。
7.如权利要求3所述的方法，其特征在于，所述捕捉设备包括被安排成捕捉所述用户的深度图像序列的深度相机，并且所述跟踪步骤是使用从所述深度相机取得输入的身体姿态估计器来执行的。
8.如前述权利要求中任一项所述的方法，其特征在于，所述识别姿势的步骤包括确定所述用户是否用双手握着所述控制器。
9.一种计算机游戏系统，包括：
输入接口，被安排成从捕捉设备接收描绘用户的图像流，并且从能由所述用户操作的用手操作的控制器接收手动输入命令；
输出接口，被安排成向所述计算机游戏系统的用户可观看的显示设备提供计算机游戏显示，所述计算机游戏显示包括至少一个化身和环境；
处理器，被安排成：控制所述输出接口以便将入口作为所述计算机游戏显示的一部分来显示，所述入口是所述显示中表示描绘所述用户的所述图像流的区域，通过分析所述图像流来识别所述用户的姿势，基于所述手动输入来控制所述化身的显示，并且基于所识别的所述用户的姿势来控制所显示的所述入口与所述环境之间的交互。
10.如权利要求9所述的系统，其特征在于，所述捕捉设备包括深度相机。
CN201280019756.XA 2011-04-28 2012-04-23 用于对分开的计算机游戏元素的控制的方法和系统 Active CN103501868B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161480062P 2011-04-28 2011-04-28
US61/480,062 2011-04-28
US13/237,584 2011-09-20
US13/237,584 US9259643B2 (en) 2011-04-28 2011-09-20 Control of separate computer game elements
PCT/US2012/034695 WO2012148856A2 (en) 2011-04-28 2012-04-23 Control of separate computer game elements

Publications (2)

Publication Number Publication Date
CN103501868A true CN103501868A (zh) 2014-01-08
CN103501868B CN103501868B (zh) 2016-08-17

Family

ID=47068297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280019756.XA Active CN103501868B (zh) 2011-04-28 2012-04-23 用于对分开的计算机游戏元素的控制的方法和系统

Country Status (4)

Country Link
US (1) US9259643B2 (zh)
EP (1) EP2701815B1 (zh)
CN (1) CN103501868B (zh)
WO (1) WO2012148856A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104801039A (zh) * 2015-04-30 2015-07-29 浙江工商大学 一种虚拟现实的游戏装置及场景实现方法
CN106659932A (zh) * 2014-08-08 2017-05-10 索尼互动娱乐股份有限公司 头戴式显示器中的传感刺激管理
CN107469349A (zh) * 2017-09-14 2017-12-15 光锐恒宇（北京）科技有限公司 一种游戏应用的控制方法和装置
CN107551546A (zh) * 2017-09-14 2018-01-09 光锐恒宇（北京）科技有限公司 一种游戏视频的生成方法和装置
CN108537162A (zh) * 2018-03-29 2018-09-14 北京微播视界科技有限公司 人体姿态的确定方法和装置
CN108549484A (zh) * 2018-03-29 2018-09-18 北京微播视界科技有限公司 基于人体动态姿态的人机交互方法和装置
CN110038258A (zh) * 2019-03-26 2019-07-23 杭州硕数物联科技有限公司 一种全向跑步机及其虚拟现实实现方法
CN110073317A (zh) * 2016-12-23 2019-07-30 昕诺飞控股有限公司 显示机器可读码的交互式显示系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9412010B2 (en) * 2011-07-15 2016-08-09 Panasonic Corporation Posture estimation device, posture estimation method, and posture estimation program
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9170667B2 (en) * 2012-06-01 2015-10-27 Microsoft Technology Licensing, Llc Contextual user interface
US10163247B2 (en) * 2015-07-14 2018-12-25 Microsoft Technology Licensing, Llc Context-adaptive allocation of render model resources
US20170087455A1 (en) * 2015-09-28 2017-03-30 Sony Computer Entertainment Inc. Filtering controller input mode
USD782521S1 (en) * 2016-01-15 2017-03-28 Thomson Reuters Global Resources Unlimited Company Display screen with animated graphical user interface
CA174092S (en) 2016-10-07 2018-09-04 Siemens Ag Transformer
US10817066B2 (en) * 2016-12-05 2020-10-27 Google Llc Information privacy in virtual reality
US11878244B2 (en) * 2020-09-10 2024-01-23 Holland Bloorview Kids Rehabilitation Hospital Customizable user input recognition systems
US20230123040A1 (en) * 2021-10-18 2023-04-20 Riley Simons Stratton Video game controller
JP7454003B2 (ja) * 2022-02-16 2024-03-21 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置、および情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1919389A (zh) * 2005-08-24 2007-02-28 任天堂株式会社 游戏控制器和游戏系统
JP2008073184A (ja) * 2006-09-20 2008-04-03 Namco Bandai Games Inc プログラム、情報記憶媒体及びゲーム装置
US20090231425A1 (en) * 2008-03-17 2009-09-17 Sony Computer Entertainment America Controller with an integrated camera and methods for interfacing with an interactive application
CA2753051A1 (en) * 2009-03-20 2010-09-23 Microsoft Corporation Virtual object manipulation

Family Cites Families (184)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
JP2001504605A (ja) 1996-08-14 2001-04-03 ラティポフ，ヌラフメド，ヌリスラモビチ 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2002516121A (ja) 1998-03-03 2002-06-04 アリーナ， インコーポレイテッド 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
GB2398691B (en) * 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP3190546A3 (en) 2003-06-12 2017-10-04 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US20050215319A1 (en) * 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
JP4433948B2 (ja) * 2004-09-02 2010-03-17 株式会社セガ 背景画像取得プログラム、ビデオゲーム装置、背景画像取得方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
EP2487624B1 (en) 2005-01-07 2020-02-19 Qualcomm Incorporated(1/3) Detecting and tracking objects in images
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
BRPI0613165A2 (pt) 2005-05-17 2010-12-21 Gesturetek Inc saìda de sinal sensìvel à orientação
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
WO2007038622A2 (en) 2005-09-28 2007-04-05 The Government Of The United State Of America , As Represented By The Secretary Of The Navy Open-loop controller
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US9205329B2 (en) 2006-07-25 2015-12-08 Mga Entertainment, Inc. Virtual world electronic game
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US9569876B2 (en) * 2006-12-21 2017-02-14 Brian Mark Shuster Animation control method for multiple participants
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US20080215994A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world avatar control, interactivity and communication interactive messaging
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
WO2008121994A1 (en) 2007-03-30 2008-10-09 Ntn Buzztime, Inc. Video feed synchronization in an interactive environment
WO2009020080A1 (ja) * 2007-08-03 2009-02-12 Camelot Co., Ltd. ゲーム装置、ゲームプログラム及びオブジェクトの操作方法
TWI333156B (en) 2007-08-16 2010-11-11 Ind Tech Res Inst Inertia sensing input controller and receiver and interactive system using thereof
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8419545B2 (en) * 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US8386918B2 (en) 2007-12-06 2013-02-26 International Business Machines Corporation Rendering of real world objects and interactions into a virtual universe
US8225343B2 (en) 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
US8696458B2 (en) * 2008-02-15 2014-04-15 Thales Visionix, Inc. Motion tracking system and method using camera and non-camera sensors
US20090258703A1 (en) * 2008-04-09 2009-10-15 Aaron Philip Brunstetter Motion Assessment Using a Game Controller
US8904430B2 (en) 2008-04-24 2014-12-02 Sony Computer Entertainment America, LLC Method and apparatus for real-time viewer interaction with a media presentation
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US20100302253A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Real time retargeting of skeletal data to game avatar
US8009022B2 (en) 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US9159151B2 (en) 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
US8202161B2 (en) * 2009-10-23 2012-06-19 Disney Enterprises, Inc. Virtual game instructor
US20110250962A1 (en) * 2010-04-09 2011-10-13 Feiner Steven K System and method for a 3d computer game with true vector of gravity
US8830329B2 (en) 2010-10-07 2014-09-09 Sony Computer Entertainment Inc. 3-D glasses with camera based head tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1919389A (zh) * 2005-08-24 2007-02-28 任天堂株式会社 游戏控制器和游戏系统
JP2008073184A (ja) * 2006-09-20 2008-04-03 Namco Bandai Games Inc プログラム、情報記憶媒体及びゲーム装置
US20090231425A1 (en) * 2008-03-17 2009-09-17 Sony Computer Entertainment America Controller with an integrated camera and methods for interfacing with an interactive application
CA2753051A1 (en) * 2009-03-20 2010-09-23 Microsoft Corporation Virtual object manipulation

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106659932A (zh) * 2014-08-08 2017-05-10 索尼互动娱乐股份有限公司 头戴式显示器中的传感刺激管理
CN106659932B (zh) * 2014-08-08 2020-02-11 索尼互动娱乐股份有限公司 头戴式显示器中的传感刺激管理
CN104801039A (zh) * 2015-04-30 2015-07-29 浙江工商大学 一种虚拟现实的游戏装置及场景实现方法
CN110073317A (zh) * 2016-12-23 2019-07-30 昕诺飞控股有限公司 显示机器可读码的交互式显示系统
CN107469349A (zh) * 2017-09-14 2017-12-15 光锐恒宇（北京）科技有限公司 一种游戏应用的控制方法和装置
CN107551546A (zh) * 2017-09-14 2018-01-09 光锐恒宇（北京）科技有限公司 一种游戏视频的生成方法和装置
CN108537162A (zh) * 2018-03-29 2018-09-14 北京微播视界科技有限公司 人体姿态的确定方法和装置
CN108549484A (zh) * 2018-03-29 2018-09-18 北京微播视界科技有限公司 基于人体动态姿态的人机交互方法和装置
CN108549484B (zh) * 2018-03-29 2019-09-20 北京微播视界科技有限公司 基于人体动态姿态的人机交互方法和装置
CN110038258A (zh) * 2019-03-26 2019-07-23 杭州硕数物联科技有限公司 一种全向跑步机及其虚拟现实实现方法

Also Published As

Publication number Publication date
EP2701815B1 (en) 2018-06-27
US9259643B2 (en) 2016-02-16
CN103501868B (zh) 2016-08-17
US20120276994A1 (en) 2012-11-01
EP2701815A4 (en) 2014-10-15
WO2012148856A2 (en) 2012-11-01
EP2701815A2 (en) 2014-03-05
WO2012148856A3 (en) 2013-01-17

Similar Documents

Publication Publication Date Title
CN103501868A (zh) 对分开的计算机游戏元素的控制
CN103517742B (zh) 手动且基于相机的化身控制
CN103501869A (zh) 手动和基于相机的游戏控制
CN105190483B (zh) 检测用至少两个控制对象执行的手势
US9625994B2 (en) Multi-camera depth imaging
CN102331840B (zh) 基于回环运动的用户选择和导航
US9804696B2 (en) User-input control device toggled motion tracking
EP2435146B1 (en) Systems and methods for applying animations or motions to a character
TWI546725B (zh) 於手勢和使用者介面元件間之延續虛擬連結技術
US8998718B2 (en) Image generation system, image generation method, and information storage medium
Wilson Depth-sensing video cameras for 3d tangible tabletop interaction
US20110221755A1 (en) Bionic motion
CN106062673A (zh) 使用姿势来控制基于计算的设备
CN102541258A (zh) 双模深度图像分析
US20140045593A1 (en) Virtual joint orientation in virtual skeleton
US20140173524A1 (en) Target and press natural user input
CN103785169A (zh) 混合现实的竞技场
Bernardos et al. A system for multimodal interaction with Kinect-enabled virtual windows

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1190972

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150803

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150803

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1190972

Country of ref document: HK