CN100409261C - 实时运动捕捉的方法和设备 - Google Patents

实时运动捕捉的方法和设备 Download PDF

Info

Publication number
CN100409261C
CN100409261C CNB2003801102426A CN200380110242A CN100409261C CN 100409261 C CN100409261 C CN 100409261C CN B2003801102426 A CNB2003801102426 A CN B2003801102426A CN 200380110242 A CN200380110242 A CN 200380110242A CN 100409261 C CN100409261 C CN 100409261C
Authority
CN
China
Prior art keywords
relevant
model
controlling object
action
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB2003801102426A
Other languages
English (en)
Other versions
CN1764931A (zh
Inventor
R·L·马克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN1764931A publication Critical patent/CN1764931A/zh
Application granted granted Critical
Publication of CN100409261C publication Critical patent/CN100409261C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Abstract

本发明提供了用于控制视频游戏角色的实时运动捕捉方法。在一个实施例中，方法始于定义控制对象的模型。然后，在模型上标识标记的位置。接着，捕捉与控制对象相关的动作。然后，解释与该控制对象相关的动作，以改变模型的姿势。接着，根据模型姿势的改变来控制显示屏上所呈现的角色动作。还提供了计算机可读媒体与使能够通过实时运动捕捉来控制视频角色的处理系统。

Description

实时运动捕捉的方法和设备
技术领域
本发明一般涉及视频处理，更具体地说，涉及追踪图像深度和/或与图像相关的标记以提供视频游戏应用的实时运动捕捉。
背景技术
电影、视频游戏和其它有关的视频产品捕捉距离与维度信息。关于电影，可以分开捕捉演员或运动人物的动作。例如，当执行活动时，可由多台摄像机拍摄运动人物。附在运动人物上的对象(即，球状物)能够追踪动作。追踪的动作然后存储在数据库中，以便随后在电影或视频游戏中使用。这些动作可通过运行数据库中存储的动作的帧来回放。
图1是身体上布满多个球状物以存储其动作的一个人的示意图。人100具有分布于其身上的多个球状物102。然后人100将执行由多个摄像机104捕捉的某些活动。然后捕捉的视频数据可根据需要编辑，以定义视频数据106。然后视频数据106被存储在数据库108中，以随后检索用于插入电影中。
相对图1描述的方案在不需要实时运动捕捉的受控环境下工作良好，例如电影编辑。此外，由于捕捉并存储了人的动作，因此该人只须佩戴一次球状物。然而，关于图1所描述的运动捕捉仅用于被动方式中，即，编辑者在编辑电影时将存储的动作插入电影中。因此，所捕捉的动作不控制电影的任何方面，并随后被插入电影中。对于视频游戏同样成立，即，所捕捉的运动不用于控制视频游戏的任何方面。部分地，复杂的计算能力以及逐点扫描的需要造成无法将所捕捉的运动用于实时控制。
因此，有解决现有技术问题的需要，要提供一种用于提供能够控制视频游戏各个方面(诸如对象和角色动作)的实时运动捕捉的方法和设备。
发明内容
概况地说，本发明通过提供一种通过玩视频游戏人的实时运动捕捉能够控制视频游戏角色和对象的方法与设备来满足上述需要。应理解的是，可以多种方式实现本发明，包括作为方法、系统、计算机可读媒体或装置。下面描述本发明的几个发明的实施例。
在一个实施例中，提供用于实时运动捕捉以便控制视频游戏角色的方法。该方法始于定义控制对象的模型。然后，标识模型上的标记位置。接着，捕捉与控制对象相关的动作。然后，解释与控制对象相关的动作，以改变模型的姿势。接着，根据模型姿势的改变控制显示屏上呈现的角色动作。
在另一实施例中，提供一种通过实时运动捕捉来控制与计算装置通信的显示屏上呈现的对象的方法。该方法始于标识与正追踪对象相关的深度图像。然后，标识与显示屏上所呈现对象及正追踪对象二者相关的模型。接着，将模型拟合到(fit to)深度图像以捕捉与正追踪对象相关的运动。然后，根据模型到深度图像的拟合来实时控制显示屏上呈现的对象。
在又一实施例中，提供一种通过实时运动捕捉来控制显示屏上所呈现图像的动作的方法。该方法始于定义人的模型。然后，标识此人模型上的标记位置。接着，提供对应于此人模型某部分的深度图像。该模型部分包括标记。然后，将标记的位置与深度图像上的点相关联。接着，基于深度图像的配置定位模型部分。然后，根据该模型部分的定位来控制显示屏上所显示的视频角色。
在再一实施例中，提供具有程序指令的计算机可读媒体，该指令用于通过实时运动捕捉来控制与计算装置通信的显示屏上呈现的对象。所述计算机可读媒体包括：用于标识正追踪对象深度图像的程序指令；以及用于标识与显示屏上所呈现对象及正追踪对象二者相关的模型的程序指令。还包括将模型拟合到深度图像以捕捉与正追踪对象相关的运动的程序指令。还提供了用于根据模型到深度图像的拟合来实时控制显示屏上所呈现对象的程序指令。
在另一实施例中，提供一种能够通过与控制图像相关的实时运动捕捉来控制对象的系统。该系统包括计算装置。提供了与该计算装置通信的显示屏。该显示屏配置为显示对象的图像，其中通过计算装置将对应于对象图像的数据提供给显示屏。包括与该计算装置通信的视频捕捉装置。该视频捕捉装置能够追踪控制对象。视频捕捉装置配置为：当控制对象移动时，转换与该控制对象相关的运动以控制显示屏上所显示对象的运动。
在又一实施例中，提供一种能够通过与控制图像相关的实时运动捕捉来控制视频角色的系统。该系统包括计算装置。提供用于显示来自该计算装置所接收数据的视频角色图像的部件，以及用于捕捉与控制对象相关深度图像的部件。包括用于将模型拟合到深度图像以定义控制对象动作的部件。还包括用于当控制对象移动时转换该控制对象的动作以控制显示屏上与视频角色相关运动的部件。
通过参照附图及举例说明本发明原理，根据下面的详细描述，本发明的其它方面与优点变得更为明显。
附图说明
通过下面参照附图的详细描述易于理解本发明，并且相同的标号指示相同的构件。
图1是身上布有多个球状物以存储其动作的人的示意图。
图2是根据本发明一个实施例的简化示意图，说明用于控制视频游戏角色的实时运动捕捉。
图3是根据本发明的一个实施例的人模型的示意图，其中该模型包括描绘关节角的标记。
图4A至4C说明根据本发明一个实施例可由控制对象作为标记佩戴的示范性图案。
图5是根据本发明一个实施例用于控制与显示屏上所呈现的角色相关的动作的控制对象实时运动捕捉的示意图。
图6A是根据本发明一个实施例具有包含在其上的标记的连体服的示意图。
图6B是图6A连体服的备选实施例。
图7是根据本发明一个实施例说明监视标记图像帧的最佳技术的示意图。
图8是根据本发明一个实施例的模型的示意图，描绘由深度图像填充的区域。
图9是可用于实现本发明实施例的与图形显示器上的对象交互的示范性用户输入系统的框图。
图10说明根据本发明实施例用于用户与图形显示器上的对象交互的输入系统。
图11是配置为实现在此描述的本发明实施例的计算机处理系统的简化框图。
图12是根据本发明实施例用于控制显示屏上所呈现角色的实时运动捕捉的操作方法流程图。
具体实施方式
本发明描述一种允许可用于控制视频游戏角色或对象的实时运动捕捉的系统、设备与方法。然而，对本领域技术人员显然的是，可在没有某些或全部这些具体细节的情况下实现本发明。在其他实例中，没有详细描述公知的过程操作，以避免不必要地混淆本发明。在“背景技术”部分描述了图1。
本发明的实施例提供了一种允许实时运动捕捉以控制视频游戏角色或对象的系统与方法。玩视频游戏人的动作用于控制与该视频游戏相关的显示屏上的角色。因此，玩视频游戏人的实时运动捕捉用来控制显示屏上的角色。在此，与离线编辑并随后在后面的时间点插入到电影中的动作捕捉相反，捕捉玩视频游戏人的原始动作数据，并将其用于实时控制目的。
在一个实施例中，显示屏上所呈现人物角色的动作受控于作为控制对象的用户或人的动作。用户的动作可通过视频捕捉装置(也称为图像捕捉装置，诸如网络摄像机或某些其他合适类型的摄像机)捕捉。在一个实施例中，视频捕捉装置配置为捕捉控制对象的深度图像。控制对象的深度图像提供与距离或深度相关的数据，该距离或深度与相对于视频捕捉装置的各像素相关。因此，与控制对象相关并定义关节角位置的骨架可映射到人物角色乃至非人物角色。在另一实施例中，由控制对象佩戴的标记可用来指示关节角的位置。使用标记定义的位置将深度图像与骨架结合起来，以创建控制对象。控制对象的运动然后又用于控制显示屏上的角色图像。例如，该角色图像可能是来自视频游戏的图像。因此，玩视频游戏者能够控制显示于显示屏上的角色图像。以下将更详细描述，在此描述的本发明的实施例，包括用于通过标记控制视频角色的实时运动捕捉。在另一实施例中，配置为提供深度信息的视频捕捉装置可与用于控制视频角色的实时运动捕捉的标记一起使用或不与之一起使用。如下所述，该标记可包括颜色、图案、反向反射材料、光等。
图2是根据本发明一个实施例的简化示意图，说明用于控制视频游戏角色的实时运动捕捉。运动捕捉输入120存储在运动捕捉数据库124中。控制对象运动122通过捕捉装置(例如网络摄像机)捕捉，并与存储在数据库124中的相应运动捕捉输入120相关联。然后，相关的运动捕捉输入与来自数据库的输出运动126所表示的一样呈现在显示屏上。例如，控制对象运动122可以捕捉玩视频游戏者的某些运动或动作。在一个实施例中，运动捕捉数据库124存储多个捕捉专业运动员运动的运动捕捉输入文件120。因此，控制对象运动122与对应于控制对象运动的类似运动捕捉输入120相关联，并且该类似运动捕捉输入实时呈现于显示屏上。因此，提供了控制对象(例如玩视频游戏者)实时控制专业运动员运动或动作的效果。应该理解到，该运动捕捉输入也可以是艺术家动画数据，例如非人类游戏角色、动画角色图像等。在另一实施例中，控制对象运动122用作限制信息。在此，限制信息驱动角色图像的动画，因此，控制对象运动122直接控制游戏角色的运动。应该理解的是，实际的模拟系统可以完成这个特征。在一个实施例中，游戏角色反映出该控制对象的运动。在另一实施例中，映射控制对象的特定动作，以引起游戏角色的不同动作。例如，当控制对象移动肢体即臂或腿时，可以映射该肢体动作，从而使视频游戏角色的眉毛可以动。应该理解到，任何类型的控制对象动作都可映射到角色图像(例如视频游戏角色)任何不同类型的动作。
仍参照图2，在一个更具体的例子中，控制对象运动122可描绘玩篮球视频游戏的人，其中此人执行如块122a中所描绘的投篮运动。块122a的投篮运动与存储在数据库124中专业篮球运动员的投篮运动相关联。在可视屏幕上显示专业篮球运动员的投篮运动，如块126a描绘的。因此，玩此视频游戏者的运动捕捉用于实时控制执行类似运动的专业角色。应该理解到，给出的篮球例子用于说明性目的而非限制的。也就是说，玩此视频游戏者的运动可对应于任何体育运动。此外，玩此视频游戏者的运动可与非体育运动相关联。例如，捕捉的玩此视频游戏者的运动可用来控制动物或视频游戏显示的其它非人类生物对象乃至无生命对象的动作。
图3是根据本发明一个实施例的人的模型示意图，其中该模型包括描绘关节角的标记。在一个实施例中，该模型是骨架图像。如在此所用的，骨架图像指的是所追踪的任何结构模型，并不局限于模型是硬的但具有关节的关节式模型。而且，可用变化的精度(例如各种关节限制)来定义骨架图像。当然，与骨架图像或模型相关的关节与肢体越多，需要追踪的数据越多。在此，标记140a-140i分布于骨架图像142。标记140a与140d对应于手腕位置，标记140b与140c对应于眉毛位置，而标记140e对应于躯干。标记140g与140f对应于膝盖，而标记140h和140i对应于脚裸。当然，在此描述的实施例并不局限于图3中所示的标记位置或标记数，可使用或多或少的标记。例如，耳机141可用作指示控制对象头部位置的标记。本领域技术人员会理解可用头带作为标记。在此，可以提供耳朵可插入式装置，其中该耳朵可插入式装置作为标记并为控制对象提供声音。因此，例如摄像机的一个视频捕捉装置提供玩视频游戏者的图像，其中玩视频游戏者佩戴了标记。例如，标记可配置为人能佩戴的条带，或可插入此人(即，控制对象)衣服中的标记。然后软件可以分析所捕捉的具有标记的人的图像，以产生具有如标记140a-140i所提供的已知关节角位置的骨架图像142。
在一个实施例中，视频捕捉装置配置为提供深度图像，该深度图像可用于填充骨架图像部分，并在三维空间定位该骨架图像。因此，标记140a-140i提供关于附件或肢体起始位置的数据，并且来自视频捕捉装置的深度图像能在三维空间填充该附件或肢体。在此所用的术语附件和肢体并不意味着限制为人(即，控制对象)，可控制同样由深度图像捕捉的对象。因此，该附件或肢体可包括作为控制对象的人所控制的对象。在另一实施例中，视频捕捉装置不具备深度捕捉能力，并且标记将指示附件或肢体起始点在空间中的已知位置。在此，臂、手、腿、脚或某些其它附件可从存储相关附件典型配置的数据库填入。例如，可在开始游戏之前获得控制对象的深度图像，并且该深度图像可作为模型存储在数据库中，以在需要时用于实时控制视频游戏角色。在又一实施例中，使用视频捕捉装置来捕捉没有标记的玩视频游戏者的运动。在此，作出关于对象位置的某种假设，例如哪只手、脚等是来自左侧或右侧，以便转换用于控制视频游戏角色所捕捉的运动。由此，在上述每个实施例中，所捕捉的运动用于实时控制与视频游戏角色相关的运动。
应当理解标记可采用各种形式。例如，可使用具有特定形状、颜色、图案、反射能力或某些其它有区别质量的材料，以使视频捕捉装置能通过标记在空间中识别一个点。本领域技术人员会理解到，可使用反向反射材料提供有区别的反射能力。此外，与视频捕捉装置相关的光可与反向反射带结合使用，以提供控制对象特定附件的起始点在空间中的位置。在一个实施例中，标记可采用闪光的形式。在此，该光可以是不可见光，如红外光。该光可在设定频率闪烁，其中该设定频率对应于特定的人或团队。
图4A至4C说明根据本发明一个实施例可由控制对象作为标记佩戴的示范性图案。该示范性图案包括图4A的斜纹图案、图4B的方块图案与图4C的网状线图案。对本领域技术人员将显而易见的是，图4A-4C所示图案并不意味着限制于此，可使用能够由视频捕捉装置识别的任何类型图案。应该理解到，在一个实施例中，可使用不同图案来区分左右肢。例如，图3的标记140d可包括图4A的图案，而图3的标记140a可包括图4B的图案。因此，可以区分左右腕。此外，可与图案结合使用形状、颜色等来定义标记。因此，即使图案因动作而变形，标记仍可使用备用指示器。
图5是根据本发明一个实施例用于控制与显示屏上呈现的角色相关的动作的控制对象实时运动捕捉的示意图。对应于玩视频游戏者的骨架图像142由一个视频捕捉装置148追踪。在一个实施例中，一个视频捕捉装置148配置为捕捉每个像素的深度数据。例如，可使用3DV STSTEMS或CANESTA所提供的深度摄像机作为在此描述实施例的捕捉深度数据的视频捕捉装置148。在玩视频游戏者作为标记佩戴反向反射带的情况下，摄像机148包括光150。在一个实施例中，光150可以是红外光。在另一个实施例中，光150是闪光，以便可以区分场景中永久光与要追踪的标记，即，来自反向反射带的闪光反射。反向反射带反射来自光150的所有光，因此，反向反射带在由视频捕捉装置148提供的图像数据中将是亮点。该亮点或空白将指示与标记相关的附件的起点。例如，标记140d与右腕相关，并将指示包括右腕(也可包括手或前臂)的深度图像的起点。当然，手可控制如上所述的对象。应该理解到，摄像机148可包括几个不同颜色的闪光。在此，反向反射带或任何合适的反射标记可设计成反射不同的颜色，由此使得可以区分多个反射标记。
图5的标记140c指示躯干的位置。如上所述，控制对象可在所定义的位置佩戴任何数量的标记。对本领域技术人员显而易见的是，捕捉装置可将特定标记标识为与特定附件(即，相对于图5的手腕或躯干)相关联。在一个视频捕捉装置148配置为提供深度图像的情况下，该视频捕捉装置提供数据，以用参照图8所述的深度信息填充骨架图像140的身体其余部分。摄像机148包括配置为将深度信息与标记位置结合的微处理器152，以产生并追踪控制对象(即，玩视频游戏的人)的图像。微处理器152可以执行参照图9所述的处理功能。摄像机148与计算装置154通信，计算装置154又与显示装置156通信。在一个实施例中，计算装置154是视频游戏控制台，诸如索尼计算机娱乐公司制造的“PLAYSTATION 2”
Figure C20038011024200131
。在另一实施例中，光150可配置为发射红外光谱内的光，以使指向控制对象的可见光最少。
图6A是根据本发明一个实施例的连体服的示意图，在该连体服中包含有标记。标记162a至162i可结合在连体服160中对应于参照图3讨论的位置的关节位置。在一个实施例中，可用标识穿着具有某体育人物、名人、团队标识等衣服的人的数据对躯干标记162e编码。此外，可对标记编码，以在视频游戏期间为穿此衣服的人提供增强特征。例如，该连体服可通过更多的身体盔甲或其它强化为用户提供额外的保护，这会诱使消费者购买视频游戏所用的连体服。
图6B是图6A连体服的备选实施例。在此，反向反射材料的微纤维织入了连体服中，即，结合到整个连体服160的织物中。因此，反向反射材料遍布整个连体服。在此，连体服对深度摄像机会表现为最大，但优选用于摄像机不能捕捉深度数据的实施例。也就是说，在视频捕捉装置配置为提供二维图像数据的情况下，最好具有尽可能多的作为反射的控制对象，以便更容易追踪用于实时控制视频游戏角色的控制对象。当然，如在关键部位放置的带的反射材料所要覆盖的控制对象不必满足如上讨论的。
图7是根据本发明一个实施例说明监视标记的图像帧的最佳技术示意图。这里，区域170定义骨架图像142周围的区域。因此，不是搜索标记的全部数据帧，只在围绕骨架图像142所定义的部分帧搜索连续帧。在此，将搜索部分帧174-2至174-n，以提高性能。骨架图像142显示为控制对象172，其中对象172是一把剑。应该理解到，当控制对象主要指人时，此人可以控制如剑、球、球拍等的对象。因此，也可捕捉与所控制对象相关的运动，以实时控制显示屏上的类似对象，例如，在视频角色控制一把剑的情况下。
图8是根据本发明一个实施例描绘由深度图像填充区域的模型的示意图。如参考图3讨论的，例如摄像机的视频捕捉装置提供玩视频游戏者的图像，其中玩视频游戏者佩戴有标记。用标记分析捕捉的此人图像，以创建具有如标记140a-140i所提供的已知关节角位置的骨架图像142，也称为模型。在一个实施例中，佩戴标记者站在视频捕捉装置前面，以定义如上所述方式存储的控制对象的模型或身体网。也就是说，最初执行校准步骤，以定义控制对象的模型深度图像。然后，使用该深度图像或部分深度图像填入骨架142中以创建三维图像。各个标记定义要定位的相应深度图像部分的位置。例如，左右前臂分别定义于区域180c与180e中。上半身与下半身分别定义于区域180d与180b中，而左胫部与右胫部分别定义于区域180a与180f中。此外，分别以标记140a、140d、140i与140h定义手与脚。因此，标记定义起始位置，并使用深度图像填入其余部分以提供三维控制对象，以便实时控制视频游戏角色的运动。
图9是可用于实现本发明实施例的与图形显示器上对象交互的示范性用户输入系统框图。如图9所示，用户输入系统由视频捕捉装置200、输入图像处理器202、输出图像处理器204和视频显示装置206组成。视频捕捉装置200可以是能够捕捉连续视频图像的任何装置，并且在一个实施例中，是视频摄像机(诸如“网络摄像机”)或类似的图像捕捉装置。如上所述，视频捕捉装置可配置为提供深度图像。输入图像处理器202将捕捉的控制对象视频图像转换成传送至输出图像处理器的信号。在一个实施例中，输入图像处理器202被编程为通过深度信息在捕捉的视频图像中从背景分离出控制对象，并响应控制对象的姿势和/或动作生成输出信号。输出图像处理器106被编程为响应从输入图像处理器104接收的信号在视频显示装置108上引起对象的平移和/或旋转运动。
本发明的这些及附加方面可通过执行软件指令的一个或多个处理器实现。根据本发明的一个实施例，单处理器执行如图5所示的输入图像处理与输出图像处理。然而，如图中所示并为了便于描述，在输入图像处理器202与输出图像处理器204之间分开示出了处理操作。应当注意，本发明决不解释为限制于任何特定的处理器配置，例如多于一个处理器。给出图9所示的多处理块只是为了便于描述。
图10是根据本发明实施例说明用于用户与图形显示器上的对象交互的输入系统。该输入系统环境包括控制对象212、视频捕捉装置214、视频显示装置216和包含处理器功能的控制台208，例如视频游戏机。输入系统环境中的控制对象212应位于视频捕捉装置214的视野210内。处理系统208可由娱乐系统或游戏控制台实现，例如处理与计算机娱乐系统SonyPlaystationTM II或Sony
Figure C20038011024200152
PlaystationTM I型。然而应当注意，处理系统208可以在其它计算机系统类型中实现，如个人计算机、工作站、膝上型计算机、无线计算装置或能够接收并处理图形图像数据的任何其它类型计算装置。当然，控制对象212可以结合如上所述的标记，和/或视频捕捉装置214可包括深度捕捉能力。
图11是配置为实现在此描述的本发明实施例的计算机处理系统的简化框图。该处理系统可以表示基于计算机的娱乐系统实施例，其包括耦合到主存储器220与图形处理单元(GPU)226的中央处理单元(CPU)224。CPU 224还耦合到输入/输出处理器(IOP)总线228。在一个实施例中，GPU 226包括快速处理基于像素的图形数据的内部缓冲器。此外，GPU 226可以包括输出处理部分或功能，以将处理的图像数据转换成标准电视频号，例如NTSC或PAL，以便传输到连接于娱乐系统或其元件外部的显示装置227。备选地，可将数据输出信号提供给除电视监视器之外的显示装置，如计算机监视器、LCD(液晶显示)装置或其它类型显示装置。
IOP总线228将CPU 224耦合到各种输入/输出装置及其它总线或装置。IOP总线228连接到输入/输出处理器存储器230、控制器232、存储卡234、通用串行总线(USB)端口236、IEEE1394(也被称为火线接口)端口238和总线250。总线250将几个其它系统构件耦合到CPU 224，包括操作系统(OS)ROM 240、闪速存储器242、声音处理单元(SPU)244、光盘控制单元246和硬盘驱动器(HDD)248。在本实施例的一个方面，视频捕捉装置可直接连接到IOP总线228，以便通过其传输到CPU 224；其中可使用来自视频捕捉装置的数据改变或更新在GPU 226中用于生成图形图像的值。而且，本发明的实施例可使用本领域已知的任何适当的图像处理配置与技术。
实施本发明各方面的程序或计算机指令可由几种不同方法提供。例如，可以存储在HDD 248、闪速存储器242、OS ROM 240或存储卡232中的程序的形式提供与图形图像交互的用户输入方法。备选地，可通过一个或多个耦合到CPU 224的输入端口将该程序下载到处理单元。定义输入方法的程序模块可提供有由CPU 224执行并在显示装置227上显示的游戏或应用程序，或者它们可与应用程序分开提供，诸如用于从局部主存储器220执行。
本发明的实施例还考虑了分布式图像处理配置。例如，本发明不限于捕捉的图像和在一个乃至两个位置进行显示图像处理，如在CPU中或在CPU与另一元件中。例如，可同样容易地在可执行处理的相关CPU、处理器或装置中进行输入图像处理；本质上所有图像处理都可遍布互连系统。因此，本发明不限于任何特定图像处理硬件电路和/或软件。在此描述的实施例也不限于任何通用硬件电路和/或软件的特定组合，也不限于由处理构件执行的指令的任何特定源。
图12是根据本发明一个实施例用于控制显示屏上所呈现角色的实时运动捕捉的方法操作流程图。该方法始于操作260，在此定义控制对象的骨架图像或模型。控制对象可以是与呈现于显示屏上的角色相关的玩视频游戏者。应当理解，此人可站在视频捕捉装置前面的视频捕捉装置视野内，以便定义如上所述人的模型。因此，骨架图像或模型可通过自校准过程来定义，其中人站在视频捕捉装置前。然后此方法进一步到操作262，在此标识骨架图像或模型上的标记位置。例如，如参照图3、5和8所描述的，标记可指示骨架图像或模型上关节角的位置。应理解，标记可采用如本文所述的各种形式。
然后图12的方法继续到操作264，在此捕捉与控制对象相关的动作。在一个实施例中，该动作通过配置为提供深度图像(即，与z轴及x轴和y轴相关的图像数据)的摄像机捕捉。在另一实施例中，通过如网络摄像机的数字视频摄像机在二维空间中捕捉动作。然后本方法到操作266，在此响应控制对象的动作，改变骨架图像或模型的姿势。也就是说，移动骨架图像以与控制对象的动作一致。应当理解，当使用深度摄像机作为视频捕捉装置时，在此可提供与骨架图像相对应的深度图像。定位骨架图像以与深度图像的姿势一致。
为了示范与说明的目的，骨架图像可被视为定位为与深度图像姿势一致的布娃娃。当控制对象移动时，深度图像追踪控制对象的移动，反过来，也同样移动骨架图像以追随深度图像。因此，控制对象的动作由骨架图像重复。如上所述，可在没有深度摄像机的情况下使用标记。类似地，可在没有标记的情况下使用深度摄像机。应当理解，深度摄像机捕捉三维数据，然而，深度摄像机不具备将三维数据映射到骨架的能力。标记提供了空间中已知的数据点，因而标记使深度数据能够映射到骨架。当然，在不使用标记的情况下可进行某种假设，使得深度数据可映射到骨架。也就是说，标记消除了这种假设的需要：诸如关节角的实际点由标记标注，并且相应的深度数据可从标记所标识的点填入。然后该方法进到操作268，在此根据骨架姿势的改变控制显示屏上所呈现角色的动作。在此，实时控制角色的动作。也就是说，当控制对象移动时，由此通过使用具深度信息和/或标记的图像数据定位骨架。
在一个实施例中，使能通过与控制图像相关的实时运动捕捉来控制对象的系统包含根据各构件功能定义的各种构件。该系统包括计算装置，例如游戏控制台。该系统可包括用于显示来自计算装置所接收数据的显示对象图像的部件。在此，用于显示图像的部件可以是包括电视监视器的任何适合的显示屏。包括用于捕捉与控制对象相关的深度图像的部件。在一个实施例中，用于捕捉深度图像的部件可以由能够提供深度数据的摄像机提供，例如可从上述3DVSYSTEMS或CANESTA得到的摄像机。提供将骨架图像或模型拟合到深度图像以定义控制对象动作的部件。例如，微处理器可提供将骨架图像拟合到深度图像以定义控制对象动作的部件。如上所述，这种处理可通过一个或多个微处理器提供。提供了当控制对象移动时用于转换控制对象的动作以控制显示屏上与显示对象相关运动的部件。在此又是微处理器(如图形处理单元)可实现用于转换控制对象的动作以控制与显示对象相关运动的部件。当然，用于执行上述功能的微处理器可包含在芯片组内。
总之，上述发明描述了提供用于控制视频游戏角色的实时运动捕捉的方法与系统。上述实施例允许可用于控制视频游戏角色或对象的实时运动捕捉。结合标记追踪深度的能力可提供用于标识正追踪人(控制对象)肢体/身体的起始点。然后填入此人，以类似真实的角色或人。因此，一旦标识出深度图像，就可从具有深度图像的数据库或通过视频捕捉装置捕捉的深度图像填入与深度图像相关的骨架图像。可结合可以或不可以捕捉深度图像的视频捕捉装置使用各种形式的标记。实例可包括固定放置的可佩戴反向反射带，例如放置在手腕、膝盖、头上等。备选地，可提供结合不同类型标记(补片、可标识的线等)的连体服或衣服。在一个实施例中，一旦标识(或检测)出动作，对动作数据库的参考就可在数据库中定位相应的动作。例如，如果游戏用户选择特定角色，例如著名球员，则该动作可以像由该真实的著名球员所执行的。这些动作将存储在数据库中。所获得的数据库动作由此将用于控制是游戏部分的角色(人/骨架)。在一个实施例中，配置为追踪深度的摄像机或硬件可包括配置为进行填入的处理器、专用电路或DSP，数据库查找用户的动作，并将其转换成“屏幕上”的动作。如上所述，术语骨架图像可广泛定义为包括任何被追踪对象的任何模型，不论此对象是人、有生命还是无生命的对象。
回想上述实施例，应理解到，本发明可采用各种计算机实现的涉及存储在计算机系统中数据的操作。这些操作包括需要物理处理物理量的操作。通常，虽然不是必要的，这些量采用能够被存储、传送、组合、比较及其它处理的电或磁信号的形式。而且，所执行的处理通常指的是诸如生产、标识、确定或比较等术语。
上述发明可用其它计算机系统配置实践，包括手持式装置、微处理器系统、基于微处理器或可编程消费电子设备、迷你计算机、大型计算机等。本发明也可在分布式计算机环境中实践，其中由通过通信网络链接的远程处理装置执行任务。
本发明也可实施为计算机可读媒体上的计算机可读代码。计算机可读媒体是可存储计算机系统随后可读取数据的任何数据存储装置。计算机可读媒体的实例包括硬盘驱动器、网络附加存储(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带及其它光学与非光学数据存储装置。计算机可读媒体也可分布于耦合计算机系统的网络上，以使计算机可读代码以分布方式存储和执行。
虽然出于清楚理解的目的，已详细描述了本发明，但显而易见的是，在所附权利要求书的范围内可实践某些变化与修改。因此，所提出的实施例被认为是说明性的而非限制性的，并且本发明并不局限于在此给出的细节，而是可在所附权利要求书的范围与等效物内进行修改。在权利要求书中，元件和/或步骤并不意味任何特定的操作顺序，除非在权利要求书中明确说明。

Claims (20)

1. 一种通过实时运动捕捉来控制与计算装置通信的显示屏上所呈现对象的方法，包括：
通过单视频捕捉装置捕捉与正被追踪的对象相关的深度图像；
标识与显示屏上所呈现对象和正追踪对象二者相关的模型；
将所述模型拟合到所述深度图像以捕捉与正追踪对象相关的运动；以及
根据所述模型到所述深度图像的拟合来实时控制显示屏上所呈现的对象。
2. 如权利要求1所述的方法，其中所述正追踪对象是与所述计算装置交互的人，并且所述模型是所述人的骨架图像。
3. 如权利要求1所述的方法，其中所述计算装置是视频游戏控制台。
4. 如权利要求1所述的方法，其中在显示屏上呈现的所述对象是视频游戏角色。
5. 如权利要求1所述的方法，其中标识与正追踪对象相关的深度图像的方法操作包括：
通过使能够提供深度数据的视频捕捉装置来捕捉所述深度图像。
6. 如权利要求1所述的方法，其中标识与正追踪对象相关的深度图像的所述方法操作包括：
从与所述计算装置相关联的数据库中检索所述深度图像。
7. 如权利要求1所述的方法，其中标识与正追踪对象相关的深度图像的所述方法操作包括：
通过与所述对象相关联的标记来追踪所述对象的动作。
8. 如权利要求7所述的方法，其中通过与所述对象相关联的标记来追踪所述对象动作的方法操作包括：
标识由所述标记引起的无效区域。
9. 一种用于实时运动捕捉来控制视频游戏角色的方法，包括：
定义控制对象的模型；
标识所述模型上的标记的位置；
通过单视频捕捉装置捕捉与所述控制对象相关的动作；
解释与所述控制对象相关的动作以改变所述模型的姿势；以及
根据所述模型的姿势的改变来控制显示屏上呈现的角色的动作。
10. 如权利要求9所述的方法，其中所述控制对象是人，所述模型是所述人的骨架图像。
11. 如权利要求9所述的方法，其中捕捉与所述控制对象相关的动作的方法操作包括：
捕捉与所述控制对象控制的对象相关的动作。
12. 如权利要求9所述的方法，其中解释与所述控制对象相关的动作以改变所述模型的姿势的方法操作包括：
对具有与所述模型对应的深度图像的数据库进行存取。
13. 如权利要求9所述的方法，还包括：
继续捕捉与所述控制对象相关的动作，解释与所述控制对象相关的动作以改变所述模型的姿势，以及根据所述模型的姿势的改变来控制显示屏上呈现的角色的动作。
14. 如权利要求9所述的方法，其中，使所述单视频捕捉装置能够提供与所述控制对象相关的深度数据。
15. 一种使能够通过与控制图像相关的实时运动捕捉来控制对象的系统，包括：
计算装置；
与所述计算装置通信的显示屏，所述显示屏配置为显示对象的图像，对应于所述对象图像的数据由所述计算装置提供；
与所述计算装置通信的单视频捕捉装置，所述单视频捕捉装置使能够追踪控制对象，所述视频捕捉装置配置为：当所述控制对象移动时，转换与所述控制对象相关的运动以控制所述显示屏上所显示对象的运动。
16. 如权利要求15所述的系统，其中所述计算装置是视频游戏控制台。
17. 如权利要求15所述的系统，还包括：
配置为由所述控制对象佩戴的标记，所述标记指示与所述显示屏上所显示对象相关的模型上的深度图像的位置，所述深度图像由所述视频捕捉装置提供。
18. 如权利要求15所述的系统，其中所述控制对象是人。
19. 如权利要求15所述的系统，其中所述视频捕捉装置能够提供与所述控制对象图像相关的深度数据。
20. 如权利要求17所述的系统，其中所述标记是从由颜色、图案、反向反射材料和发光器件组成的组中选择的。
CNB2003801102426A 2003-02-11 2003-10-06 实时运动捕捉的方法和设备 Expired - Lifetime CN100409261C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/365,120 US9177387B2 (en) 2003-02-11 2003-02-11 Method and apparatus for real time motion capture
US10/365,120 2003-02-11

Publications (2)

Publication Number Publication Date
CN1764931A CN1764931A (zh) 2006-04-26
CN100409261C true CN100409261C (zh) 2008-08-06

Family

ID=32824565

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2003801102426A Expired - Lifetime CN100409261C (zh) 2003-02-11 2003-10-06 实时运动捕捉的方法和设备

Country Status (10)

Country Link
US (3) US9177387B2 (zh)
EP (1) EP1593096B1 (zh)
JP (1) JP4723863B2 (zh)
KR (1) KR100965348B1 (zh)
CN (1) CN100409261C (zh)
AT (1) ATE443903T1 (zh)
AU (1) AU2003279810B2 (zh)
DE (1) DE60329424D1 (zh)
TW (1) TWI274295B (zh)
WO (1) WO2004072909A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591459A (zh) * 2010-12-28 2012-07-18 微软公司 姿势状态分类
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US10671841B2 (en) 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification

Families Citing this family (242)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8617008B2 (en) 2001-09-12 2013-12-31 Pillar Vision, Inc. Training devices for trajectory-based sports
US10360685B2 (en) * 2007-05-24 2019-07-23 Pillar Vision Corporation Stereoscopic image capture with performance outcome prediction in sporting environments
US8409024B2 (en) 2001-09-12 2013-04-02 Pillar Vision, Inc. Trajectory detection and feedback system for golf
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US8797260B2 (en) * 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US8947347B2 (en) 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US9174119B2 (en) 2002-07-27 2015-11-03 Sony Computer Entertainement America, LLC Controller for providing inputs to control execution of a program when inputs are combined
US7850526B2 (en) * 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US7918733B2 (en) * 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US7803050B2 (en) * 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US7854655B2 (en) 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US8313380B2 (en) * 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7038661B2 (en) * 2003-06-13 2006-05-02 Microsoft Corporation Pointing device and cursor for use in intelligent computing environments
US20070223732A1 (en) * 2003-08-27 2007-09-27 Mao Xiao D Methods and apparatuses for adjusting a visual image based on an audio signal
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7663689B2 (en) * 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US10277290B2 (en) 2004-04-02 2019-04-30 Rearden, Llc Systems and methods to exploit areas of coherence in wireless systems
US8654815B1 (en) 2004-04-02 2014-02-18 Rearden, Llc System and method for distributed antenna wireless communications
US8542763B2 (en) 2004-04-02 2013-09-24 Rearden, Llc Systems and methods to coordinate transmissions in distributed wireless systems via user clustering
US9826537B2 (en) 2004-04-02 2017-11-21 Rearden, Llc System and method for managing inter-cluster handoff of clients which traverse multiple DIDO clusters
US10425134B2 (en) 2004-04-02 2019-09-24 Rearden, Llc System and methods for planned evolution and obsolescence of multiuser spectrum
US9819403B2 (en) 2004-04-02 2017-11-14 Rearden, Llc System and method for managing handoff of a client between different distributed-input-distributed-output (DIDO) networks based on detected velocity of the client
US8432390B2 (en) * 2004-07-30 2013-04-30 Extreme Reality Ltd Apparatus system and method for human-machine interface
KR101238608B1 (ko) 2004-07-30 2013-02-28 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및 방법
US8872899B2 (en) * 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
US8928654B2 (en) 2004-07-30 2015-01-06 Extreme Reality Ltd. Methods, systems, devices and associated processing logic for generating stereoscopic images and video
US8681100B2 (en) 2004-07-30 2014-03-25 Extreme Realty Ltd. Apparatus system and method for human-machine-interface
WO2008126069A2 (en) * 2007-04-15 2008-10-23 Xtr - Extreme Reality An apparatus system and method for human-machine-interface
US8560972B2 (en) * 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
US20060055706A1 (en) * 2004-09-15 2006-03-16 Perlman Stephen G Apparatus and method for capturing the motion of a performer
US20060072009A1 (en) * 2004-10-01 2006-04-06 International Business Machines Corporation Flexible interaction-based computer interfacing using visible artifacts
US7554549B2 (en) * 2004-10-01 2009-06-30 Sony Corporation System and method for tracking facial muscle and eye motion for computer graphics animation
US20060192852A1 (en) * 2005-02-09 2006-08-31 Sally Rosenthal System, method, software arrangement and computer-accessible medium for providing audio and/or visual information
AU2006225115B2 (en) * 2005-03-16 2011-10-06 Lucasfilm Entertainment Company Ltd. Three- dimensional motion capture
WO2006108279A1 (en) * 2005-04-11 2006-10-19 Martin Lizee Method and apparatus for virtual presence
WO2006112308A1 (ja) * 2005-04-15 2006-10-26 The University Of Tokyo モーションキャプチャシステム、及びモーションキャプチャシステムにおける特徴点の三次元再構成法
US20110256914A1 (en) * 2005-07-25 2011-10-20 Ahdoot Ned M Interactive games with prediction and plan with assisted learning method
US20070030343A1 (en) * 2005-08-06 2007-02-08 Rohde Mitchell M Interactive, video-based content for theaters
US8780119B2 (en) * 2005-08-26 2014-07-15 Sony Corporation Reconstruction render farm used in motion capture
US8054312B2 (en) * 2005-08-26 2011-11-08 Sony Corporation Material for motion capture costumes and props
US8659668B2 (en) * 2005-10-07 2014-02-25 Rearden, Llc Apparatus and method for performing motion capture using a random pattern on capture surfaces
US9046962B2 (en) 2005-10-31 2015-06-02 Extreme Reality Ltd. Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US8224025B2 (en) * 2005-12-23 2012-07-17 Sony Corporation Group tracking in motion capture
US7570250B2 (en) * 2006-05-04 2009-08-04 Yi-Ming Tseng Control device including a ball that stores data
US7548272B2 (en) * 2006-06-07 2009-06-16 Onlive, Inc. System and method for performing motion capture using phosphor application techniques
US7567293B2 (en) * 2006-06-07 2009-07-28 Onlive, Inc. System and method for performing motion capture by strobing a fluorescent lamp
WO2007146098A2 (en) * 2006-06-07 2007-12-21 Onlive, Inc. System and method for performing motion capture using phosphor application techniques
US7667767B2 (en) * 2006-06-07 2010-02-23 Onlive, Inc. System and method for three dimensional capture of stop-motion animated characters
CN101513065B (zh) * 2006-07-11 2012-05-09 索尼株式会社 在影片或视频游戏中使用量子纳米点
US8888592B1 (en) 2009-06-01 2014-11-18 Sony Computer Entertainment America Llc Voice overlay
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8781151B2 (en) * 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
US8310656B2 (en) * 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
WO2008052331A1 (en) * 2006-10-30 2008-05-08 Jerry Moscovitch System and method for producing and displaying images
US8330823B2 (en) * 2006-11-01 2012-12-11 Sony Corporation Capturing surface in motion picture
US20080170750A1 (en) * 2006-11-01 2008-07-17 Demian Gordon Segment tracking in motion picture
GB0622451D0 (en) * 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
US8130225B2 (en) 2007-01-16 2012-03-06 Lucasfilm Entertainment Company Ltd. Using animation libraries for object identification
US8199152B2 (en) * 2007-01-16 2012-06-12 Lucasfilm Entertainment Company Ltd. Combining multiple session content for animation libraries
US8542236B2 (en) * 2007-01-16 2013-09-24 Lucasfilm Entertainment Company Ltd. Generating animation libraries
CA2717485A1 (en) * 2007-03-02 2008-09-12 Organic Motion System and method for tracking three dimensional objects
US8408982B2 (en) * 2007-05-24 2013-04-02 Pillar Vision, Inc. Method and apparatus for video game simulations using motion capture
TWI377055B (en) * 2007-08-10 2012-11-21 Ind Tech Res Inst Interactive rehabilitation method and system for upper and lower extremities
US20090062693A1 (en) * 2007-08-29 2009-03-05 Lancastria Limited System for determining individual user anthropometric characteristics related to mattress preference
JP5430572B2 (ja) * 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US8144153B1 (en) 2007-11-20 2012-03-27 Lucasfilm Entertainment Company Ltd. Model production for animation libraries
US9782660B2 (en) 2007-11-30 2017-10-10 Nike, Inc. Athletic training system and method
US8968087B1 (en) 2009-06-01 2015-03-03 Sony Computer Entertainment America Llc Video game overlay
US8147339B1 (en) 2007-12-15 2012-04-03 Gaikai Inc. Systems and methods of serving game video
US8613673B2 (en) 2008-12-15 2013-12-24 Sony Computer Entertainment America Llc Intelligent game loading
DE102007062843A1 (de) * 2007-12-21 2009-06-25 Amedo Smart Tracking Solutions Gmbh Verfahren zur Bewegungserfassung
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8024316B2 (en) * 2008-01-30 2011-09-20 Google Inc. Providing content using stored query information
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8368753B2 (en) * 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
CN101618277A (zh) * 2008-07-04 2010-01-06 英属维京群岛速位互动股份有限公司 可感测使用者身体影像的电子游戏操控装置及方法
GB2465538B (en) * 2008-08-01 2013-03-13 Sony Corp Method and apparatus for generating an event log
EP2342642A1 (en) * 2008-09-04 2011-07-13 Extreme Reality Ltd. Method system and software for providing image sensor based human machine interfacing
KR101526644B1 (ko) 2008-10-24 2015-06-05 익스트림 리얼리티 엘티디. 이미지 센서 기반 인간 기계 인터페이싱을 제공하는 방법, 시스템 및 소프트웨어
US8926435B2 (en) 2008-12-15 2015-01-06 Sony Computer Entertainment America Llc Dual-mode program execution
US9142024B2 (en) 2008-12-31 2015-09-22 Lucasfilm Entertainment Company Ltd. Visual and physical motion sensing for three-dimensional motion capture
US20120202569A1 (en) * 2009-01-13 2012-08-09 Primesense Ltd. Three-Dimensional User Interface for Game Applications
US8267781B2 (en) 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US8565476B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8682028B2 (en) * 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US8588465B2 (en) * 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8487938B2 (en) * 2009-01-30 2013-07-16 Microsoft Corporation Standard Gestures
US8577084B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8577085B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8565477B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US20100235786A1 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
CN101533528B (zh) * 2009-04-18 2014-11-26 大连大学 基于模块分段线性模型的光学运动捕捉数据处理方法
US9377857B2 (en) * 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8181123B2 (en) * 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US9015638B2 (en) * 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US20100302365A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Depth Image Noise Reduction
US8334872B2 (en) * 2009-05-29 2012-12-18 Two Pic Mc Llc Inverse kinematics for motion-capture characters
US8803889B2 (en) 2009-05-29 2014-08-12 Microsoft Corporation Systems and methods for applying animations or motions to a character
US20100306685A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation User movement feedback via on-screen avatars
US8418085B2 (en) * 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US8320619B2 (en) * 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US8379101B2 (en) * 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US20100302253A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Real time retargeting of skeletal data to game avatar
US8506402B2 (en) 2009-06-01 2013-08-13 Sony Computer Entertainment America Llc Game execution environments
US20100311512A1 (en) * 2009-06-04 2010-12-09 Timothy James Lock Simulator with enhanced depth perception
US8878779B2 (en) 2009-09-21 2014-11-04 Extreme Reality Ltd. Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
CA2774867A1 (en) 2009-09-21 2011-03-24 Extreme Reality Ltd. Methods circuits apparatus and systems for human machine interfacing with an electronic appliance
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US7961910B2 (en) * 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8963829B2 (en) * 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US20110164032A1 (en) * 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8284157B2 (en) * 2010-01-15 2012-10-09 Microsoft Corporation Directed performance in motion capture system
JP5491217B2 (ja) * 2010-01-27 2014-05-14 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、ゲームシステム
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8633890B2 (en) * 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US9124651B2 (en) 2010-03-30 2015-09-01 Microsoft Technology Licensing, Llc Controlling media consumption privacy settings
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
US9098873B2 (en) * 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US11117033B2 (en) 2010-04-26 2021-09-14 Wilbert Quinc Murdock Smart system for display of dynamic movement parameters in sports and training
JP5148660B2 (ja) * 2010-06-11 2013-02-20 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
US8560331B1 (en) 2010-08-02 2013-10-15 Sony Computer Entertainment America Llc Audio acceleration
KR102003007B1 (ko) 2010-09-13 2019-07-23 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 비디오 서버 및 게임 서버를 포함하는 컴퓨터 게임 시스템에서 컴퓨터 게임을 제공하는 방법 및 시스템
KR102126910B1 (ko) 2010-09-13 2020-06-25 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 부가기능의 관리
CN101930628A (zh) * 2010-09-21 2010-12-29 北京大学 基于单目摄像机和多平面镜折反射装置的运动捕捉方法
US9477302B2 (en) * 2012-08-10 2016-10-25 Google Inc. System and method for programing devices within world space volumes
US20120150650A1 (en) * 2010-12-08 2012-06-14 Microsoft Corporation Automatic advertisement generation based on user expressed marketing terms
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
KR101758058B1 (ko) 2011-01-20 2017-07-17 삼성전자주식회사 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
US20140031123A1 (en) * 2011-01-21 2014-01-30 The Regents Of The University Of California Systems for and methods of detecting and reproducing motions for video games
CN106943742A (zh) * 2011-02-11 2017-07-14 漳州市爵晟电子科技有限公司 一种动作放大系统
US8761437B2 (en) * 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US9610506B2 (en) 2011-03-28 2017-04-04 Brian M. Dugan Systems and methods for fitness and video games
US9533228B2 (en) * 2011-03-28 2017-01-03 Brian M. Dugan Systems and methods for fitness and video games
KR101804848B1 (ko) 2011-04-22 2017-12-06 삼성전자주식회사 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US8657683B2 (en) * 2011-05-31 2014-02-25 Microsoft Corporation Action selection gesturing
US8740702B2 (en) * 2011-05-31 2014-06-03 Microsoft Corporation Action trigger gesturing
US8845431B2 (en) 2011-05-31 2014-09-30 Microsoft Corporation Shape trace gesturing
US9724600B2 (en) * 2011-06-06 2017-08-08 Microsoft Technology Licensing, Llc Controlling objects in a virtual environment
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US8948447B2 (en) * 2011-07-12 2015-02-03 Lucasfilm Entertainment Companyy, Ltd. Scale independent tracking pattern
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
KR20130030117A (ko) * 2011-09-16 2013-03-26 한국전자통신연구원 실시간 캐릭터 애니메이션에서의 발 미끄러짐 제거를 위한 캐릭터 영상 처리 장치 및 방법
CN103945931B (zh) 2011-09-26 2017-03-22 基因技术股份公司 高效的小体积核酸合成
US20130093751A1 (en) * 2011-10-12 2013-04-18 Microsoft Corporation Gesture bank to improve skeletal tracking
US9508176B2 (en) 2011-11-18 2016-11-29 Lucasfilm Entertainment Company Ltd. Path and speed based character control
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US9170667B2 (en) * 2012-06-01 2015-10-27 Microsoft Technology Licensing, Llc Contextual user interface
EP2711806B1 (en) * 2012-07-13 2018-09-26 Sony Interactive Entertainment Inc. Input device, information processing system, information processing device and information processing method
US20140018169A1 (en) * 2012-07-16 2014-01-16 Zhong Yuan Ran Self as Avatar Gaming with Video Projecting Device
JP2014068714A (ja) * 2012-09-28 2014-04-21 Kitasato Institute 関節角度測定システム
JP5620449B2 (ja) * 2012-09-28 2014-11-05 エクストリーム リアリティー エルティーディー． 人−機械インターフェース装置システム及び方法
US11189917B2 (en) 2014-04-16 2021-11-30 Rearden, Llc Systems and methods for distributing radioheads
US10488535B2 (en) 2013-03-12 2019-11-26 Rearden, Llc Apparatus and method for capturing still images and video using diffraction coded imaging techniques
US9923657B2 (en) 2013-03-12 2018-03-20 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
US9973246B2 (en) 2013-03-12 2018-05-15 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
RU2767777C2 (ru) 2013-03-15 2022-03-21 Риарден, Ллк Системы и способы радиочастотной калибровки с использованием принципа взаимности каналов в беспроводной связи с распределенным входом - распределенным выходом
US8948457B2 (en) 2013-04-03 2015-02-03 Pillar Vision, Inc. True space tracking of axisymmetric object flight using diameter measurement
EP3008485A1 (en) 2013-06-13 2016-04-20 Basf Se Detector for optically detecting at least one object
US9063578B2 (en) * 2013-07-31 2015-06-23 Microsoft Technology Licensing, Llc Ergonomic physical interaction zone cursor mapping
JP2015088096A (ja) * 2013-11-01 2015-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
CN103777753A (zh) * 2013-11-12 2014-05-07 广州新节奏智能科技有限公司 新型便携式肢体感应操控装置及其应用方法
EP3084353A1 (en) * 2013-12-18 2016-10-26 Basf Se Target device for use in optical detection of an object
US9536138B2 (en) 2014-06-27 2017-01-03 Microsoft Technology Licensing, Llc Dynamic remapping of components of a virtual skeleton
US11041718B2 (en) 2014-07-08 2021-06-22 Basf Se Detector for determining a position of at least one object
JP6637980B2 (ja) 2014-12-09 2020-01-29 ビーエーエスエフ ソシエタス・ヨーロピアＢａｓｆ Ｓｅ 光学検出器
KR102496245B1 (ko) 2015-01-30 2023-02-06 트리나미엑스 게엠베하 하나 이상의 물체의 광학적 검출을 위한 검출기
US9690984B2 (en) * 2015-04-14 2017-06-27 Microsoft Technology Licensing, Llc Two-dimensional infrared depth sensing
US9836118B2 (en) 2015-06-16 2017-12-05 Wilson Steele Method and system for analyzing a movement of a person
US10955936B2 (en) 2015-07-17 2021-03-23 Trinamix Gmbh Detector for optically detecting at least one object
CN108141579B (zh) 2015-09-14 2020-06-12 特里纳米克斯股份有限公司 3d相机
GB201520367D0 (en) * 2015-11-19 2016-01-06 Bespoke Vr Ltd Editing interactive motion capture data for creating the interaction characteristics of non player characters
US10403019B2 (en) * 2015-12-16 2019-09-03 Lucasfilm Entertainment Company Multi-channel tracking pattern
US10717001B2 (en) * 2016-03-25 2020-07-21 Zero Latency PTY LTD System and method for saving tracked data in the game server for replay, review and training
CN105872477B (zh) * 2016-05-27 2018-11-23 北京旷视科技有限公司 视频监控方法和视频监控系统
FR3054358B1 (fr) * 2016-07-25 2018-08-31 Commissariat Energie Atomique Procede et systeme de reconstruction de posture par suivi spatial du haut d'un corps et suivi du bas du corps au moyen d'un tapis de detection
JP2019523562A (ja) 2016-07-29 2019-08-22 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 光学的検出のための光センサおよび検出器
US10751609B2 (en) 2016-08-12 2020-08-25 Zero Latency PTY LTD Mapping arena movements into a 3-D virtual world
US11428787B2 (en) 2016-10-25 2022-08-30 Trinamix Gmbh Detector for an optical detection of at least one object
US10890491B2 (en) 2016-10-25 2021-01-12 Trinamix Gmbh Optical detector for an optical detection
US11860292B2 (en) 2016-11-17 2024-01-02 Trinamix Gmbh Detector and methods for authenticating at least one object
EP3571522B1 (en) 2016-11-17 2023-05-10 trinamiX GmbH Detector for optically detecting at least one object
CN106710351A (zh) * 2016-12-28 2017-05-24 新支点数字科技（宜昌）有限公司 虚拟实境警务培训装置及方法
JP7204667B2 (ja) 2017-04-20 2023-01-16 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 光検出器
EP3645965B1 (en) 2017-06-26 2022-04-27 trinamiX GmbH Detector for determining a position of at least one object
CN111954860A (zh) 2018-01-21 2020-11-17 斯塔特斯公司 对细粒度对抗性多队员运动进行预测的系统和方法
WO2019144143A1 (en) 2018-01-21 2019-07-25 Stats Llc Method and system for interactive, interpretable, and improved match and player performance predictions in team sports
US11521326B2 (en) 2018-05-23 2022-12-06 Prove Labs, Inc. Systems and methods for monitoring and evaluating body movement
US11054638B2 (en) 2018-06-13 2021-07-06 Reavire, Inc. Tracking pointing direction of device
GB201813450D0 (en) * 2018-08-17 2018-10-03 Hiltermann Sean Augmented reality doll
CN110941977A (zh) * 2018-09-25 2020-03-31 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110942479B (zh) 2018-09-25 2023-06-02 Oppo广东移动通信有限公司 虚拟对象控制方法、存储介质及电子设备
CN109407840A (zh) * 2018-10-18 2019-03-01 看见故事（苏州）影视文化发展有限公司 一种动作捕捉技术的视角转换方法
TWI715903B (zh) * 2018-12-24 2021-01-11 財團法人工業技術研究院 動作追蹤系統及方法
CN111460871B (zh) 2019-01-18 2023-12-22 北京市商汤科技开发有限公司 图像处理方法及装置、存储介质
WO2020147796A1 (zh) * 2019-01-18 2020-07-23 北京市商汤科技开发有限公司 图像处理方法及装置、图像设备及存储介质
KR20200089826A (ko) 2019-01-18 2020-07-28 (주)모션테크놀로지 모션 캡쳐 데이터 정밀도 향상을 위한 시스템 및 방법
US11679299B2 (en) 2019-03-01 2023-06-20 Stats Llc Personalizing prediction of performance using data and body-pose for analysis of sporting performance
US11238604B1 (en) * 2019-03-05 2022-02-01 Apple Inc. Densifying sparse depth maps
US11287505B2 (en) 2019-05-13 2022-03-29 Cast Group Of Companies Inc. Electronic tracking device and related system
JP7285703B2 (ja) * 2019-06-17 2023-06-02 株式会社ソニー・インタラクティブエンタテインメント ロボット制御システム
US11599257B2 (en) * 2019-11-12 2023-03-07 Cast Group Of Companies Inc. Electronic tracking device and charging apparatus
WO2021131772A1 (ja) * 2019-12-24 2021-07-01 ソニーグループ株式会社 情報処理装置及び情報処理方法
CN111260967A (zh) * 2020-02-25 2020-06-09 湖南科技学院 一种基于图像处理的武术教学用姿势纠正系统
US11011071B1 (en) 2020-03-30 2021-05-18 Mobilizar Technologies Pvt Ltd Interactive learning system and a method
US11935298B2 (en) 2020-06-05 2024-03-19 Stats Llc System and method for predicting formation in sports
US11232595B1 (en) 2020-09-08 2022-01-25 Weta Digital Limited Three-dimensional assembly for motion capture calibration
US11282233B1 (en) * 2020-09-08 2022-03-22 Weta Digital Limited Motion capture calibration
CN111968207B (zh) * 2020-09-25 2021-10-29 魔珐(上海)信息科技有限公司 动画生成方法、装置、系统及存储介质
WO2022072794A1 (en) * 2020-10-01 2022-04-07 Stats Llc Prediction of nba talent and quality from non-professional tracking data
CA3222789A1 (en) * 2021-05-27 2022-12-01 Ai Thinktank Llc 3d avatar generation and robotic limbs using biomechanical analysis
US11615648B2 (en) 2021-05-28 2023-03-28 Sportsbox.ai Inc. Practice drill-related features using quantitative, biomechanical-based analysis

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6195104B1 (en) * 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6441825B1 (en) * 1999-10-04 2002-08-27 Intel Corporation Video token tracking system for animation
US20030020718A1 (en) * 2001-02-28 2003-01-30 Marshall Carl S. Approximating motion using a three-dimensional model

Family Cites Families (321)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US195104A (en) * 1877-09-11 Improvement in fire-place stoves
US3943277A (en) 1969-02-20 1976-03-09 The United States Of America As Represented By The Secretary Of The Navy Digital memory area correlation tracker
US4313227A (en) 1979-01-29 1982-01-26 Texas Instruments Incorporated Light energy information transmission system
US4263504A (en) 1979-08-01 1981-04-21 Ncr Corporation High density matrix code
US6772057B2 (en) 1995-06-07 2004-08-03 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US4565999A (en) 1983-04-01 1986-01-21 Prime Computer, Inc. Light pencil
US4558864A (en) 1984-06-13 1985-12-17 Medwedeff Marion C Handgrip exercising, computer game controller
US5195179A (en) 1986-01-29 1993-03-16 Hitachi, Ltd. Coordinate input apparatus
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4787051A (en) 1986-05-16 1988-11-22 Tektronix, Inc. Inertial mouse system
JPS6347616A (ja) 1986-08-15 1988-02-29 Ricoh Co Ltd 移動量測定方法
EP0348430A4 (en) 1987-02-04 1992-08-19 Mayo Foundation For Medical Education And Research Joystick apparatus having six degrees freedom of motion
US4802227A (en) 1987-04-03 1989-01-31 American Telephone And Telegraph Company Noise reduction processing arrangement for microphone arrays
GB2206716A (en) 1987-07-06 1989-01-11 Gen Electric Plc Apparatus for monitoring the presence or movement of an object
US4963858A (en) 1987-09-08 1990-10-16 Chien Fong K Changeable input ratio mouse
IT1219405B (it) 1988-06-27 1990-05-11 Fiat Ricerche Procedimento e dispositivo per la visione strumentale in condizioni di scarsa visibilita in particolare per la guida nella nebbia
US5260556A (en) 1988-12-20 1993-11-09 Australian Meat & Live-Stock Research & Development Corp. Optically readable coded target
US5034986A (en) 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
US5055840A (en) 1990-01-16 1991-10-08 Carroll Touch Incorporated Infrared touch input device and light emitted activation circuit
US5128671A (en) 1990-04-12 1992-07-07 Ltv Aerospace And Defense Company Control device having multiple degrees of freedom
CA2081910C (en) 1990-05-01 2000-04-25 Donald E. Drumm Hands-free hardware keyboard
US5662111A (en) 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US5485273A (en) 1991-04-22 1996-01-16 Litton Systems, Inc. Ring laser gyroscope enhanced resolution system
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5144594A (en) 1991-05-29 1992-09-01 Cyber Scientific Acoustic mouse system
US5455685A (en) 1991-09-04 1995-10-03 Fuji Photo Film Co., Ltd. Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed
US5889670A (en) 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5444462A (en) 1991-12-16 1995-08-22 Wambach; Mark L. Computer mouse glove with remote communication
US5453758A (en) 1992-07-31 1995-09-26 Sony Corporation Input apparatus
US5790834A (en) 1992-08-31 1998-08-04 Intel Corporation Apparatus and method using an ID instruction to identify a computer microprocessor
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US7098891B1 (en) 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
US5982352A (en) * 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
US5394168A (en) 1993-01-06 1995-02-28 Smith Engineering Dual-mode hand-held game controller
US5335011A (en) 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
EP0613294B1 (en) 1993-02-24 1998-10-28 Matsushita Electric Industrial Co., Ltd. Gradation correction device and image sensing device therewith
US5435554A (en) 1993-03-08 1995-07-25 Atari Games Corporation Baseball simulation system
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US5677710A (en) 1993-05-10 1997-10-14 Apple Computer, Inc. Recognition keypad
US5297061A (en) * 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
US5959596A (en) 1993-06-24 1999-09-28 Nintendo Co., Ltd. Airline-based video game and communications system
US5473701A (en) 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
FR2714502A1 (fr) 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
US5611000A (en) 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
US5543818A (en) 1994-05-13 1996-08-06 Sony Corporation Method and apparatus for entering text using an input device having a small number of keys
US5846086A (en) 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5528265A (en) 1994-07-18 1996-06-18 Harrison; Simon J. Orientation-operated cursor control device
SE504846C2 (sv) 1994-09-28 1997-05-12 Jan G Faeger Styrutrustning med ett rörligt styrorgan
JP3270643B2 (ja) 1994-12-22 2002-04-02 キヤノン株式会社 指示位置検出方法及び装置
US5929444A (en) 1995-01-31 1999-07-27 Hewlett-Packard Company Aiming device using radiated energy
US5568928A (en) 1995-02-01 1996-10-29 Exertron, Inc. Video game controller for use with an exercise apparatus
US5638228A (en) 1995-02-14 1997-06-10 Iomega Corporation Retroreflective marker for data storage cartridge
US5930741A (en) 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5583478A (en) 1995-03-01 1996-12-10 Renzi; Ronald Virtual environment tactile system
US5900863A (en) 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
US5704836A (en) * 1995-03-23 1998-01-06 Perception Systems, Inc. Motion-based command generation technology
US5706364A (en) 1995-04-28 1998-01-06 Xerox Corporation Method of producing character templates using unsegmented samples
WO1996034332A1 (fr) 1995-04-28 1996-10-31 Matsushita Electric Industrial Co., Ltd. Dispositif d'interface
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US5649021A (en) 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
CN100524015C (zh) 1995-06-22 2009-08-05 3Dv系统有限公司 生成距景物距离的图象的方法和装置
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
EP0842463B1 (en) 1995-07-26 2000-03-29 Tegic Communications, Inc. Reduced keyboard disambiguating system
US6311214B1 (en) 1995-07-27 2001-10-30 Digimarc Corporation Linking of computers based on optical sensing of digital data
US5611731A (en) 1995-09-08 1997-03-18 Thrustmaster, Inc. Video pinball machine controller having an optical accelerometer for detecting slide and tilt
US5768415A (en) 1995-09-08 1998-06-16 Lucent Technologies Inc. Apparatus and methods for performing electronic scene analysis and enhancement
US5850222A (en) 1995-09-13 1998-12-15 Pixel Dust, Inc. Method and system for displaying a graphic image of a person modeling a garment
US5818424A (en) 1995-10-19 1998-10-06 International Business Machines Corporation Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space
US5963250A (en) 1995-10-20 1999-10-05 Parkervision, Inc. System and method for controlling the field of view of a camera
US6281930B1 (en) 1995-10-20 2001-08-28 Parkervision, Inc. System and method for controlling the field of view of a camera
US5719561A (en) 1995-10-25 1998-02-17 Gilbert R. Gonzales Tactile communication device and method
US6430997B1 (en) * 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US5870100A (en) 1995-11-22 1999-02-09 Compaq Computer Corporation Filling of graphical regions
AU1328597A (en) 1995-11-30 1997-06-19 Virtual Technologies, Inc. Tactile feedback man-machine interface device
JP3014313B2 (ja) 1995-12-25 2000-02-28 富士通テン株式会社 エアバッグの衝突判別装置
JP4079463B2 (ja) 1996-01-26 2008-04-23 ソニー株式会社 被写体検出装置および被写体検出方法
US6049619A (en) 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
JP2891159B2 (ja) 1996-02-14 1999-05-17 日本電気株式会社 多眼画像からの物体検出方式
RU2069885C1 (ru) 1996-03-01 1996-11-27 Йелстаун Корпорейшн Н.В. Способ наблюдения объектов при пониженной освещенности и устройство для его осуществления
JPH09244793A (ja) 1996-03-04 1997-09-19 Alps Electric Co Ltd 入力装置
CN1177634C (zh) 1996-03-05 2004-12-01 世嘉企业股份有限公司 控制器和电子装置
DE69631342T2 (de) 1996-04-02 2004-11-11 Cognex Corp., Natick Bilderzeugende vorrichtung zur visualisation von zeichen auf einem ebenen spiegelnden substrat
US5937081A (en) 1996-04-10 1999-08-10 O'brill; Michael R. Image composition system and method of using same
US5923318A (en) 1996-04-12 1999-07-13 Zhai; Shumin Finger manipulatable 6 degree-of-freedom input device
US5917493A (en) 1996-04-17 1999-06-29 Hewlett-Packard Company Method and apparatus for randomly generating information for subsequent correlating
US6151009A (en) 1996-08-21 2000-11-21 Carnegie Mellon University Method and apparatus for merging real and synthetic images
US6400374B2 (en) 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US5930383A (en) 1996-09-24 1999-07-27 Netzer; Yishay Depth sensing camera systems and methods
US5832931A (en) 1996-10-30 1998-11-10 Photogen, Inc. Method for improved selectivity in photo-activation and detection of molecular diagnostic agents
NL1004648C2 (nl) * 1996-11-11 1998-05-14 Johan Michiel Schaaij Computerspelsysteem.
US5914723A (en) 1996-12-30 1999-06-22 Sun Microsystems, Inc. Method and system for converting images in computer systems
US6243491B1 (en) 1996-12-31 2001-06-05 Lucent Technologies Inc. Methods and apparatus for controlling a video system with visually recognized props
US5850473A (en) 1997-01-07 1998-12-15 Lucent Technologies Inc. Method and apparatus for compensating for color variation in a video system
US6021219A (en) 1997-01-07 2000-02-01 Lucent Technologies Inc. Methods and apparatus for distinguishing among several visual patterns
US5796354A (en) 1997-02-07 1998-08-18 Reality Quest Corp. Hand-attachable controller with direction sensing
US5993314A (en) 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
WO1998039790A1 (en) 1997-03-07 1998-09-11 3Dv Systems Ltd. Optical shutter
US6061055A (en) 1997-03-21 2000-05-09 Autodesk, Inc. Method of tracking objects with an imaging device
US6144367A (en) 1997-03-26 2000-11-07 International Business Machines Corporation Method and system for simultaneous operation of multiple handheld control devices in a data processing system
US6088042A (en) * 1997-03-31 2000-07-11 Katrix, Inc. Interactive motion data animation system
US6587573B1 (en) 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US8120652B2 (en) 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
WO1998048571A1 (en) 1997-04-23 1998-10-29 Thomson Consumer Electronics, Inc. Control of video level by region and content of information displayed
US6809776B1 (en) 1997-04-23 2004-10-26 Thomson Licensing S.A. Control of video level by region and content of information displayed
US6428411B1 (en) 1997-05-02 2002-08-06 Konami Co., Ltd. Volleyball video game system
JPH10334270A (ja) * 1997-05-28 1998-12-18 Mitsubishi Electric Corp 動作認識装置及び動作認識プログラムを記録した記録媒体
US6075895A (en) * 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
KR20000068660A (ko) 1997-07-29 2000-11-25 요트.게.아. 롤페즈 3차원 장면 재구성 방법과 재구성 장치 및 디코딩 시스템
US6044181A (en) 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6243074B1 (en) 1997-08-29 2001-06-05 Xerox Corporation Handedness detection for a physical manipulatory grammar
US6297838B1 (en) 1997-08-29 2001-10-02 Xerox Corporation Spinning as a morpheme for a physical manipulatory grammar
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6031934A (en) 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
JP3812092B2 (ja) * 1997-10-27 2006-08-23 ソニー株式会社 姿勢検出装置及び方法
WO1999026198A2 (en) 1997-11-14 1999-05-27 National University Of Singapore System and method for merging objects into an image sequence without prior knowledge of the scene in the image sequence
JPH11154240A (ja) 1997-11-20 1999-06-08 Nintendo Co Ltd 取込み画像を用いて画像を作成するための画像作成装置
US6677987B1 (en) 1997-12-03 2004-01-13 8×8, Inc. Wireless user-interface arrangement and method
US6160540A (en) 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
US6134346A (en) 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
US6331911B1 (en) 1998-02-08 2001-12-18 3Dv Systems Ltd. Large aperture optical image shutter
US6115052A (en) * 1998-02-12 2000-09-05 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence
US6037942A (en) 1998-03-10 2000-03-14 Magellan Dis, Inc. Navigation system character input device
JPH11265249A (ja) 1998-03-17 1999-09-28 Toshiba Corp 情報入力装置および情報入力方法および記録媒体
US6411392B1 (en) 1998-04-15 2002-06-25 Massachusetts Institute Of Technology Method and apparatus for data hiding in printed images
US6393142B1 (en) 1998-04-22 2002-05-21 At&T Corp. Method and apparatus for adaptive stripe based patch matching for depth estimation
US6173059B1 (en) 1998-04-24 2001-01-09 Gentner Communications Corporation Teleconferencing system with visual feedback
JP2000033184A (ja) * 1998-05-14 2000-02-02 Masanobu Kujirada 全身動作入力型のゲ―ム及びイベント装置
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6473516B1 (en) 1998-05-22 2002-10-29 Asa Systems, Inc. Large capacity steganography
JP3646969B2 (ja) 1998-05-25 2005-05-11 富士通株式会社 ３次元画像表示装置
JP3841132B2 (ja) 1998-06-01 2006-11-01 株式会社ソニー・コンピュータエンタテインメント 入力位置検出装置及びエンタテインメントシステム
FR2780176B1 (fr) 1998-06-17 2001-01-26 Gabriel Guary Pistolet de tir pour jeu video
US6513160B2 (en) 1998-06-17 2003-01-28 Opentv, Inc. System and method for promoting viewer interaction in a television system
IL125221A0 (en) 1998-07-06 1999-03-12 Toy Control Ltd Motion activation using passive sound source
US6198485B1 (en) * 1998-07-29 2001-03-06 Intel Corporation Method and apparatus for three-dimensional input entry
US6801637B2 (en) * 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6681031B2 (en) * 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6256398B1 (en) 1998-08-22 2001-07-03 Kenneth H. P. Chang Encoding and decoding a message within an image
US6970183B1 (en) 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
US6621938B1 (en) 1998-09-18 2003-09-16 Fuji Photo Film Co., Ltd. Image capture apparatus and method
US6184863B1 (en) 1998-10-13 2001-02-06 The George Washington University Direct pointing apparatus and method therefor
DE19849515C1 (de) 1998-10-19 2000-12-28 Gerhard Wergen Verfahren zur Übergabe von Zeichen insbesondere an einen Computer und Eingabevorrichtung unter Einsatz dieses Verfahrens
US6307568B1 (en) 1998-10-28 2001-10-23 Imaginarix Ltd. Virtual dressing over the internet
US6712703B2 (en) * 1998-11-19 2004-03-30 Nintendo Co., Ltd. Video game apparatus and information storage medium for video game
JP2000172431A (ja) 1998-12-09 2000-06-23 Sony Corp 情報入力装置及びゲーム装置
JP2000200088A (ja) * 1998-12-29 2000-07-18 Nagase & Co Ltd カラオケ装置
US6533420B1 (en) 1999-01-22 2003-03-18 Dimension Technologies, Inc. Apparatus and method for generating and projecting autostereoscopic images
JP2000261752A (ja) 1999-03-05 2000-09-22 Hewlett Packard Co <Hp> 音声付き画像録画再生装置
US7139767B1 (en) * 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
JP2000315259A (ja) * 1999-05-06 2000-11-14 Sharp Corp データベース作成装置及びデータベース作成プログラムを記録した記録媒体
US7164413B2 (en) 1999-05-19 2007-01-16 Digimarc Corporation Enhanced input peripheral
US6791531B1 (en) 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
US6952198B2 (en) 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US6819318B1 (en) 1999-07-23 2004-11-16 Z. Jason Geng Method and apparatus for modeling via a three-dimensional image mosaic system
US6545706B1 (en) 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
US6417836B1 (en) 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
JP2001056742A (ja) 1999-08-19 2001-02-27 Alps Electric Co Ltd 入力装置
US6556704B1 (en) 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
WO2001018563A1 (en) 1999-09-08 2001-03-15 3Dv Systems, Ltd. 3d imaging system
CN1284381C (zh) 1999-09-17 2006-11-08 自然工艺株式会社 摄像系统
JP3847058B2 (ja) 1999-10-04 2006-11-15 任天堂株式会社 ゲームシステム及びそれに用いられるゲーム情報記憶媒体
US6375572B1 (en) 1999-10-04 2002-04-23 Nintendo Co., Ltd. Portable game apparatus with acceleration sensor and information storage medium storing a game progam
US6753849B1 (en) 1999-10-27 2004-06-22 Ken Curran & Associates Universal remote TV mouse
US6519359B1 (en) 1999-10-28 2003-02-11 General Electric Company Range camera controller for acquiring 3D models
US20050037844A1 (en) 2002-10-30 2005-02-17 Nike, Inc. Sigils for use with apparel
JP4403474B2 (ja) 1999-12-09 2010-01-27 ソニー株式会社 触覚提示機構及びこれを用いた力触覚提示装置
US6785329B1 (en) 1999-12-21 2004-08-31 Microsoft Corporation Automatic video object extraction
KR100384406B1 (ko) * 2000-01-24 2003-05-22 (주) 베스트소프트 컴퓨터 프로그램 구동조작장치
US6587835B1 (en) 2000-02-09 2003-07-01 G. Victor Treyz Shopping assistance with handheld computing device
AU2001241500A1 (en) * 2000-02-15 2001-08-27 Sorceron, Inc. Method and system for distributing captured motion data over a network
EP1263626A2 (en) 2000-03-02 2002-12-11 Donnelly Corporation Video mirror systems incorporating an accessory module
JP2001265275A (ja) 2000-03-16 2001-09-28 Olympus Optical Co Ltd 画像表示装置
US6924787B2 (en) 2000-04-17 2005-08-02 Immersion Corporation Interface for controlling a graphical image
JP3652961B2 (ja) * 2000-06-27 2005-05-25 シャープ株式会社 音声処理装置、音声・動画像処理装置及び音声・動画像処理プログラムを記録した記録媒体
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US6795068B1 (en) 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
AU2001287948A1 (en) 2000-07-24 2002-02-05 Herman Ehrenburg Computer-compatible, color-coded manual input system
US6873747B2 (en) 2000-07-25 2005-03-29 Farid Askary Method for measurement of pitch in metrology and imaging systems
JP4278288B2 (ja) * 2000-07-31 2009-06-10 株式会社タイトー 踊り映像強調合成装置
AUPQ952400A0 (en) 2000-08-18 2000-09-14 Telefonaktiebolaget Lm Ericsson (Publ) Improved method and system of effecting a financial transaction
JP4815661B2 (ja) 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
AU2001294452A1 (en) 2000-09-29 2002-04-08 Senseboard Technologies Ab Wearable data input interface
FR2814965A1 (fr) 2000-10-11 2002-04-12 Janick Simeray Ordinateur et jouets cooperants
US7016532B2 (en) 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US7061507B1 (en) 2000-11-12 2006-06-13 Bitboys, Inc. Antialiasing method and apparatus for video applications
KR100385563B1 (ko) 2000-12-01 2003-05-27 한국과학기술원 구동수단을 갖는 분광 광도계와 광도 측정방법
US6751338B1 (en) 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
JP2004537082A (ja) 2001-01-26 2004-12-09 ザクセル システムズ インコーポレイテッド 仮想現実環境における実時間バーチャル・ビューポイント
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6741741B2 (en) 2001-02-01 2004-05-25 Xerox Corporation System and method for automatically detecting edges of scanned documents
US6789967B1 (en) 2001-02-02 2004-09-14 George Forester Distal chording keyboard
US20020134151A1 (en) 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
US6746124B2 (en) 2001-02-06 2004-06-08 Robert E. Fischer Flashlight producing uniform high brightness
GB2376397A (en) 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
JP2003018604A (ja) 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
US6931125B2 (en) 2001-07-10 2005-08-16 Gregory N. Smallwood Telephone equipment compatible, twelve button alphanumeric keypad
US7039253B2 (en) 2001-07-24 2006-05-02 Casio Computer Co., Ltd. Image display device, image display method, program, and projection system
KR20030009919A (ko) 2001-07-24 2003-02-05 삼성전자주식회사 관성 센서를 구비하는 컴퓨터 게임용 입력 장치
US7148922B2 (en) 2001-08-02 2006-12-12 Olympus Optical Co., Ltd. Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence
JP3442754B2 (ja) 2001-08-10 2003-09-02 株式会社コナミコンピュータエンタテインメント東京 ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム
US7174312B2 (en) 2001-08-16 2007-02-06 Trans World New York Llc User-personalized media sampling, recommendation and purchasing system using real-time inventory database
US6709108B2 (en) 2001-08-31 2004-03-23 Adaptive Optics Associates, Inc. Ophthalmic instrument with adaptive optic subsystem that measures aberrations (including higher order aberrations) of a human eye and that provides a view of compensation of such aberrations to the human eye
US7555157B2 (en) 2001-09-07 2009-06-30 Geoff Davidson System and method for transforming graphical images
KR100846761B1 (ko) 2001-09-11 2008-07-16 삼성전자주식회사 포인터 표시방법, 그 포인팅 장치, 및 그 호스트 장치
JP2003114640A (ja) 2001-10-04 2003-04-18 Nec Corp プラズマディスプレイパネル及びその駆動方法
US20030093591A1 (en) 2001-11-09 2003-05-15 David Hohl System and method for fast data transfer to display driver
FR2832892B1 (fr) 2001-11-27 2004-04-02 Thomson Licensing Sa Camera video d'effets speciaux
US20030100363A1 (en) 2001-11-28 2003-05-29 Ali Guiseppe C. Method and apparatus for inputting appearance of computer operator into a computer program
US20040070565A1 (en) 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
KR20030048570A (ko) 2001-12-12 2003-06-25 한국전자통신연구원 부가적 버튼을 장착한 키패드 및 그의 작동방법
US7106366B2 (en) 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
US7305114B2 (en) 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
US7436887B2 (en) 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US20030160862A1 (en) 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
US20030167211A1 (en) 2002-03-04 2003-09-04 Marco Scibora Method and apparatus for digitally marking media content
US7301547B2 (en) 2002-03-22 2007-11-27 Intel Corporation Augmented reality system
FR2837597A1 (fr) 2002-03-25 2003-09-26 Thomson Licensing Sa Procede de modelisation d'une scene 3d
GB2388418A (en) 2002-03-28 2003-11-12 Marcus James Eales Input or pointing device with a camera
US6847311B2 (en) 2002-03-28 2005-01-25 Motorola Inc. Method and apparatus for character entry in a wireless communication device
US20030199324A1 (en) 2002-04-23 2003-10-23 Xiaoling Wang Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light
JP2004021345A (ja) 2002-06-12 2004-01-22 Toshiba Corp 画像処理装置及びその方法
US20040001082A1 (en) 2002-06-26 2004-01-01 Amir Said System and method of interaction with a computer controlled image display system using a projected light source
CA2390072C (en) 2002-06-28 2018-02-27 Adrian Gh Podoleanu Optical mapping apparatus with adjustable depth resolution and multiple functionality
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
CN1167996C (zh) 2002-07-11 2004-09-22 庄胜雄 可形成虚拟追踪球的手套滑鼠
US7783061B2 (en) 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US7545926B2 (en) 2006-05-04 2009-06-09 Sony Computer Entertainment Inc. Echo and noise cancellation
US7697700B2 (en) 2006-05-04 2010-04-13 Sony Computer Entertainment Inc. Noise removal for electronic device with far field microphone on console
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US8073157B2 (en) 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7970147B2 (en) 2004-04-07 2011-06-28 Sony Computer Entertainment Inc. Video game controller with noise canceling logic
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7809145B2 (en) 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
US7102615B2 (en) 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US7613310B2 (en) 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
US20040017355A1 (en) 2002-07-24 2004-01-29 Youngtack Shim Cursor control systems and methods
US20060282873A1 (en) 2002-07-27 2006-12-14 Sony Computer Entertainment Inc. Hand-held controller having detectable elements for tracking purposes
US7391409B2 (en) 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US7627139B2 (en) 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US20070260517A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Profile detection
US20060256081A1 (en) 2002-07-27 2006-11-16 Sony Computer Entertainment America Inc. Scheme for detecting and tracking user manipulation of a game controller body
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US20070061413A1 (en) 2005-09-15 2007-03-15 Larsen Eric J System and method for obtaining user information from voices
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US7850526B2 (en) 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US7803050B2 (en) 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US20070015559A1 (en) 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US20070261077A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Using audio/visual environment to select ads on game platform
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US20060264260A1 (en) 2002-07-27 2006-11-23 Sony Computer Entertainment Inc. Detectable and trackable hand-held controller
US7352359B2 (en) 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
US7918733B2 (en) 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US10086282B2 (en) 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US7854655B2 (en) 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
GB2392286B (en) 2002-08-19 2004-07-07 Chunghwa Telecom Co Ltd Personal identification system based on the reading of multiple one-dimensional barcodes scanned from scanned from PDA/cell phone screen
US7039199B2 (en) 2002-08-26 2006-05-02 Microsoft Corporation System and process for locating a speaker using 360 degree sound source localization
US6917688B2 (en) 2002-09-11 2005-07-12 Nanyang Technological University Adaptive noise cancelling microphone system
US20040063480A1 (en) 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
EP1411461A1 (en) 2002-10-14 2004-04-21 STMicroelectronics S.r.l. User controlled device for sending control signals to an electric appliance, in particular user controlled pointing device such as mouse or joystick, with 3D-motion detection
US6995666B1 (en) 2002-10-16 2006-02-07 Luttrell Clyde K Cellemetry-operated railroad switch heater
JP2004145448A (ja) 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
AU2003288938A1 (en) 2002-10-30 2004-06-07 Nike International Ltd. Clothes with tracking marks for computer games
US8206219B2 (en) 2002-10-30 2012-06-26 Nike, Inc. Interactive gaming apparel for interactive gaming
US20040095327A1 (en) 2002-11-14 2004-05-20 Lo Fook Loong Alphanumeric data input system and method
US8012025B2 (en) 2002-12-13 2011-09-06 Applied Minds, Llc Video game controller hub with control input reduction and combination schemes
US7212308B2 (en) 2002-12-18 2007-05-01 Morgan Carol L Interactive photo kiosk
US20040140955A1 (en) 2003-01-21 2004-07-22 Metz Kristofer Erik Input device for a computer and method of operation
JP2004261236A (ja) 2003-02-20 2004-09-24 Konami Co Ltd ゲームシステム
GB2398691B (en) 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
GB2398690B (en) 2003-02-21 2006-05-10 Sony Comp Entertainment Europe Control of data processing
US7161634B2 (en) 2003-03-06 2007-01-09 Huaya Microelectronics, Ltd. Encoding system for error diffusion dithering
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20040212589A1 (en) 2003-04-24 2004-10-28 Hall Deirdre M. System and method for fusing and displaying multiple degree of freedom positional input data from multiple input sources
US7519186B2 (en) 2003-04-25 2009-04-14 Microsoft Corporation Noise reduction systems and methods for voice applications
US7379559B2 (en) 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
US6881147B2 (en) 2003-06-06 2005-04-19 Nyko Technologies, Inc. Video game controller with integrated microphone and speaker
TW571812U (en) 2003-06-11 2004-01-11 Vision Electronics Co Ltd Audio device for TV game machine
ATE339757T1 (de) 2003-06-17 2006-10-15 Sony Ericsson Mobile Comm Ab Verfahren und vorrichtung zur sprachaktivitätsdetektion
US7156311B2 (en) 2003-07-16 2007-01-02 Scanbuy, Inc. System and method for decoding and analyzing barcodes using a mobile device
US7489299B2 (en) 2003-10-23 2009-02-10 Hillcrest Laboratories, Inc. User interface devices and methods employing accelerometers
AU2004287478A1 (en) 2003-10-28 2005-05-19 Welch Allyn, Inc. Digital documenting ophthalmoscope
US20050105777A1 (en) 2003-11-18 2005-05-19 Kozlowski William J.Jr. Personalized multimedia summary
US7277526B2 (en) 2004-04-09 2007-10-02 Lyncean Technologies, Inc. Apparatus, system, and method for high flux, compact compton x-ray source
JP2007535773A (ja) 2004-04-30 2007-12-06 ヒルクレスト・ラボラトリーズ・インコーポレイテッド 自由空間ポインティングデバイスおよびポインティング方法
DK2337016T3 (en) 2004-04-30 2018-04-23 Idhl Holdings Inc Free space pointing device with slope compensation and improved applicability
US7296007B1 (en) 2004-07-06 2007-11-13 Ailive, Inc. Real time context learning by software agents
US7263462B2 (en) 2004-07-30 2007-08-28 Ailive, Inc. Non-disruptive embedding of specialized elements
US7613610B1 (en) 2005-03-14 2009-11-03 Escription, Inc. Transcription data extraction
US7918732B2 (en) 2005-05-06 2011-04-05 Milton Charles Van Noland Manifold compatibility electronic omni axis human interface
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US7620316B2 (en) 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
JP4481280B2 (ja) 2006-08-30 2010-06-16 富士フイルム株式会社 画像処理装置、及び画像処理方法
US8277316B2 (en) 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
GB0622451D0 (en) 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
US7636697B1 (en) 2007-01-29 2009-12-22 Ailive Inc. Method and system for rapid evaluation of logical expressions
US7937243B2 (en) 2007-08-03 2011-05-03 Ailive, Inc. Method and apparatus for non-disruptive embedding of specialized elements
US8419545B2 (en) 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8655622B2 (en) 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6195104B1 (en) * 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6441825B1 (en) * 1999-10-04 2002-08-27 Intel Corporation Video token tracking system for animation
US20030020718A1 (en) * 2001-02-28 2003-01-30 Marshall Carl S. Approximating motion using a three-dimensional model

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
computer vision 1999.the proceedings of the seventh ieee international conference on kerkyra greece. jijic n et,123-130,tracking self-occluding articulated objects in dense disparitymaps. 1999
computer vision 1999.the proceedings of the seventh ieee international conference on kerkyra greece. jijic n et,123-130,tracking self-occluding articulated objects in dense disparitymaps. 1999 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
CN102591459A (zh) * 2010-12-28 2012-07-18 微软公司 姿势状态分类
CN102591459B (zh) * 2010-12-28 2014-10-29 微软公司 姿势状态分类
US10671841B2 (en) 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification

Also Published As

Publication number Publication date
WO2004072909A1 (en) 2004-08-26
ATE443903T1 (de) 2009-10-15
TWI274295B (en) 2007-02-21
KR20050099547A (ko) 2005-10-13
TW200415527A (en) 2004-08-16
AU2003279810B2 (en) 2008-06-19
KR100965348B1 (ko) 2010-06-22
US20040155962A1 (en) 2004-08-12
AU2003279810A1 (en) 2004-09-06
CN1764931A (zh) 2006-04-26
US20160027188A1 (en) 2016-01-28
JP4723863B2 (ja) 2011-07-13
US10410359B2 (en) 2019-09-10
JP2006514366A (ja) 2006-04-27
DE60329424D1 (de) 2009-11-05
US20180158196A1 (en) 2018-06-07
EP1593096A1 (en) 2005-11-09
US9177387B2 (en) 2015-11-03
EP1593096B1 (en) 2009-09-23
US9881382B2 (en) 2018-01-30

Similar Documents

Publication Publication Date Title
CN100409261C (zh) 实时运动捕捉的方法和设备
CN102549619B (zh) 人类跟踪系统
US10269169B2 (en) Three-dimensional motion capture
EP2711806B1 (en) Input device, information processing system, information processing device and information processing method
TWI248030B (en) Computer input device tracking six degrees of freedom
CN102448566B (zh) 骨架以外的姿势
JP3530772B2 (ja) 複合現実感装置及び複合現実空間画像の生成方法
JP2000350859A (ja) マーカ配置方法及び複合現実感装置
CN102918489A (zh) 限制化身姿势显示
CN102576466A (zh) 用于跟踪模型的系统和方法
WO2004107272A1 (en) System and method for providing a real-time three-dimensional interactive environment
CA2800538A1 (en) User tracking feedback
CA2760210A1 (en) Systems and methods for applying animations or motions to a character
CN102665838A (zh) 用于确定和跟踪目标的肢端的方法和系统
CN103207667B (zh) 一种人机互动的控制方法及其运用
CN102622774A (zh) 起居室电影创建
JP2003103045A (ja) 映像体験システムおよび情報処理方法
CN110140100A (zh) 三维增强现实对象用户界面功能
CN113368486B (zh) 一种用于vr头戴设备的光学追踪器和运动健身系统
US20220156825A1 (en) Mixed reality system with tracking devices and virtual holograms
CN108905199A (zh) 一种基于ar的游戏技能获取及游戏技能升级方法
CN108803861A (zh) 一种交互方法、设备及系统
US20230390622A1 (en) Sports training aid
Fathima et al. Motion Capture Technology in Animation
KR100355815B1 (ko) 다중 이동 로봇을 이용한 모션캡쳐 및 동작 애니메이션 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term

Granted publication date: 20080806

CX01 Expiry of patent term