CN102301398A - 身体扫描 - Google Patents

身体扫描 Download PDF

Info

Publication number
CN102301398A
CN102301398A CN2010800064145A CN201080006414A CN102301398A CN 102301398 A CN102301398 A CN 102301398A CN 2010800064145 A CN2010800064145 A CN 2010800064145A CN 201080006414 A CN201080006414 A CN 201080006414A CN 102301398 A CN102301398 A CN 102301398A
Authority
CN
China
Prior art keywords
target
depth image
value
human
human target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800064145A
Other languages
English (en)
Other versions
CN102301398B (zh
Inventor
Z·马特
C·C·马雷
R·M·盖斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102301398A publication Critical patent/CN102301398A/zh
Application granted granted Critical
Publication of CN102301398B publication Critical patent/CN102301398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

可由设备接收、观察或捕捉场景的深度图像。该深度图像然后可被分析来确定该深度图像是否包括人类目标。例如，该深度图像可包括包含人类目标和非人类目标的一个或多个目标。每个目标可被泛色填充并与一图案进行比较来确定该目标是否可能是人类目标。如果该深度图像中的一个或多个目标包括人类目标，则可扫描该人类目标。然后可基于该扫描来生成人类目标的骨架模型。

Description

身体扫描
背景
诸如计算机游戏、多媒体应用等的许多计算应用使用控制来允许用户操纵游戏角色或应用的其他方面。通常使用，例如，控制器、遥控器、键盘、鼠标等等，来输入这样的控制。不幸的是，这些控制可能是难以学习的，由此造成了用户和这些游戏及应用之间的障碍。此外，这些控制可能与这些控制所用于的实际游戏动作或其他应用动作不同。例如，使得游戏角色挥动棒球拍的游戏控制可能不与挥动棒球拍的实际动作相对应。
概述
这里公开了用于捕捉场景的可用于处理人类输入的深度信息的系统和方法。例如，可接收或观察场景的深度图像。该深度图像然后可被分析来确定该深度图像是否包括人类目标。例如，该深度图像可包括包含人类目标和非人类目标的一个或多个目标。根据一示例实施例，该深度图像的各部分可被泛色填充并与一图案进行比较来确定该目标是否是人类目标。如果该深度图像中的一个或多个目标包括人类目标，则可扫描该人类目标。然后可基于该扫描来生成人类目标的模型。
提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中提及的任何或所有缺点的各实现。
附图简述
图1A和1B示出了伴随用户玩游戏的目标识别、分析和跟踪系统的示例实施例。
图2示出了可在目标识别、分析和跟踪系统中使用的捕捉设备的示例实施例。
图3图解了可用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的示例实施例。
图4图解了可用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的另一示例实施例。
图5描绘了用于扫描可在视觉上跟踪的目标的示例方法的流程图。
图6示出了深度图像的示例实施例。
图7示出了具有经泛色填充的人类目标的深度图像的示例实施例。
图8示出了具有匹配一图案的、经泛色填充的人类目标的深度图像的示例实施例。
图9示出了被扫描来生成模型的人类目标的深度图像的示例实施例。
图10示出了表示所扫描的人类目标的骨架模型的示例实施例。
图11A-11E示出了为人类目标的骨架模型调整的关节的示例实施例。
示例实施例的详细描述
如本文中将描述的，用户可通过执行一个或多个姿势来控制在诸如游戏控制台、计算机等计算环境上执行的应用。根据一个实施例，姿势可由例如捕捉设备来接收。例如，捕捉设备可捕捉场景的深度图像。在一个实施例中，捕捉设备可确定场景中的一个或多个目标或对象是否对应于诸如用户之类的人类目标。为了确定场景中的目标或对象是否对应于人类目标，可对场景的每个目标、对象或任何部分进行泛色填充并将其与人体模型的图案作比较。随后可扫描与该图案相匹配的每个目标或对象以生成与其相关联的模型，如骨架模型、网格人类模型等。该模型然后可被提供给计算环境，使得计算环境可跟踪该模型，呈现与该模型相关联的化身，基于相应的RGB图像确定衣服、皮肤和其他颜色，和/或基于例如该模型来确定在计算环境上执行的应用中执行哪些控制。
图1A和1B示出伴随用户18玩拳击游戏的目标识别、分析和跟踪系统10的配置的示例实施例。在一示例实施例中，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18等的人类目标。
如图1A所示，目标识别、分析和跟踪系统10可包括计算环境12。计算环境12可以是计算机、游戏系统或控制台等等。根据一示例实施例，计算环境12可包括硬件组件和/或软件组件，使得计算环境12可用于执行诸如游戏应用、非游戏应用等的应用。
如图1A所示，目标识别、分析和跟踪系统10还可包括捕捉设备20。捕捉设备20可以是例如相机，该相机可用于在视觉上监视诸如用户18等一个或多个用户，以使得可以捕捉、分析并跟踪一个或多个用户所执行的姿势，以执行应用中的一个或多个控制或动作，如将在下面更详细地描述的。
根据一实施例，目标识别、分析和跟踪系统10可连接到可向诸如用户18等的用户提供应用视觉和/或音频的视听设备16，如电视机、监视器、高清电视机(HDTV)等。例如，计算环境12可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备16可从计算环境12接收视听信号，然后可向用户18输出与该视听信号相关联的游戏或应用视觉和/或音频。根据一个实施例，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。
如图1A和1B所示，目标识别、分析和跟踪系统10可用于识别、分析和/或跟踪诸如用户18等的人类目标。例如，可使用捕捉设备20来跟踪用户18，以使得可将用户18的移动解释为可用于影响由计算机环境12执行的应用的控制。因而，根据一个实施例，用户18可移动他或她的身体来控制应用。
如图1A和1B所示，在一示例实施例中，在计算环境12上执行的应用可以是用户18可能正在玩的拳击游戏。例如，计算环境12可使用视听设备16来向用户18提供拳击对手22的视觉表示。计算环境12还可使用视听设备16来提供用户18可通过他的或她的移动来控制的玩家化身24的视觉表示。例如，如图1B所示，用户18可在物理空间中挥重拳来使得玩家化身24在游戏空间中挥重拳。因此，根据一示例实施例，目标识别、分析和跟踪系统10的计算环境12和捕捉设备20可用于识别和分析用户18在物理空间中的重拳，从而使得该重拳可被解释为对游戏空间中的玩家化身24的游戏控制。
用户18的其他移动也可被解释为其他控制或动作，诸如上下快速摆动、闪避、滑步、格挡、用拳猛击或挥动各种不同力度的重拳等控制。此外，某些移动可被解释为可对应于除控制玩家化身24之外的动作的控制。例如，玩家可以使用运动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。另外，用户18的全范围运动可以用任何合适的方式来获得、使用并分析以与应用进行交互。
在各示例实施例中，诸如用户18等的人类目标可具有一物体。在这些实施例中，电子游戏的用户可手持物体从而可以使用玩家和物体的运动来调整和/或控制游戏的参数。例如，可以跟踪并利用玩家手持球拍的运动来控制电子运动游戏中的屏幕上的球拍。在另一示例实施例中，可以跟踪并利用玩家手持物体的运动来控制电子格斗游戏中的屏幕上的武器。
根据其他示例实施例，目标识别、分析和跟踪系统10还可用于将目标移动解释为游戏领域之外的操作系统和/或应用控制。例如，事实上操作系统和/或应用的任何可控方面可由诸如用户18等目标的移动来控制。
图2示出可在目标识别、分析和跟踪系统10中使用的捕捉设备20的示例实施例。根据一示例实施例，捕捉设备20可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉包括深度图像的带有深度信息的视频，该深度信息可包括深度值。根据一个实施例，捕捉设备20可以将所计算的深度信息组织成“Z层”或者可以与从深度相机中沿其视线延伸的Z轴垂直的层。
如图2所示，捕捉设备20可包括图像相机组件22。根据一示例实施例，图像相机组件22可以是可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的、所捕捉的场景中的对象距相机的长度或距离。
如图2所示，根据一示例实施例，图像相机组件22可包括可用于捕捉场景的深度图像的IR光组件24、三维(3-D)相机26、和RGB相机28。例如，在飞行时间分析中，捕捉设备20的IR光组件24可以将红外光发射到场景上，并且然后可以使用传感器(未示出)使用例如3-D相机26和/或RGB相机28检测从场景中的一个或多个目标和对象的表面后向散射的光。某些实施例中，可使用脉冲式红外光从而可以测量出射光脉冲和对应的入射光脉冲之间的时间并将其用于确定从捕捉设备20到场景中目标或对象上的特定位置的物理距离。此外，在其他示例实施例中，可比较出射光波的相位与入射光波的相位以确定相移。然后可以使用相移来确定从捕捉设备到目标或对象上的特定位置的物理距离。
根据另一示例实施例，可使用飞行时间分析通过经由包括例如快门式光脉冲成像的各种技术分析反射光束随时间的强度变化来间接地确定从捕捉设备20到目标或对象上特定位置的物理距离。
在另一示例实施例中，捕捉设备20可使用结构化光来捕捉深度信息。在该分析中，图案化光(即，被显示为诸如网格图案或条纹图案等已知图案的光)可经由例如IR光组件24被投影到场景上。在撞击到场景中一个或多个目标或对象的表面时，作为响应，图案可变形。图案的这种变形可由例如3-D相机26和/或RGB相机28来捕捉，然后可被分析来确定从捕捉设备到目标或对象上的特定位置的物理距离。
根据另一实施例，捕捉设备20可以包括可从不同角度查看场景的两个或更多个在物理上分开的相机，以获得可以被解析以生成深度信息的视觉立体数据。
捕捉设备20还可包括话筒30。话筒30可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，话筒30可以被用来减少目标识别、分析和跟踪系统10中的捕捉设备20和计算环境12之间的反馈。另外，话筒30可用于接收也可由用户提供的音频信号，以控制可由计算环境12执行的诸如游戏应用、非游戏应用等应用。
在一示例实施例中，捕捉设备20还可以包括可与图像相机组件22进行可操作的通信的处理器32。处理器32可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令可包括用于接收深度图像的指令、用于确定合适的目标是否可被包括在深度图像中的指令、用于将合适的目标转换成该目标的骨架表示或模型的指令、或任何其他合适的指令。
捕捉设备20还可以包括存储器组件34，该存储器组件34可以存储可由处理器32执行的指令、由3-D相机或RGB相机捕捉的图像或图像帧、或者任何其他合适的信息、图像等等。根据一示例性实施例，存储器组件34可以包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图2所示，在一个实施例中，存储器组件34可以是与图像捕捉组件22和处理器32通信的单独的组件。根据另一实施例，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。
如图2所示，捕捉设备20可经由通信链路36与计算环境12通信。通信链路36可以是包括例如USB连接、火线连接、以太网电缆连接等的有线连接，和/或例如无线802.11b、g、a或n连接等的无线连接。根据一个实施例，计算环境12可以向捕捉设备20提供时钟，该时钟可用于通过通信链路36来确定例如何时捕捉场景。
此外，捕捉设备20可以通过通信链路36向计算环境12提供由例如3-D相机26和/或RGB相机28捕捉的深度信息和图像，以及可由捕捉设备20生成的骨架模型。计算环境12然后可使用该骨架模型、深度信息和捕捉的图像来例如控制例如游戏或文字处理程序之类的应用。例如，如图2所示，计算环境12可包括姿势库190。姿势库190可包括姿势过滤器集合，每一姿势过滤器包括关于骨架模型可执行(在用户移动时)的姿势的信息。可以将由相机26、28和设备20以骨架模型及与之相关联的移动的形式捕捉的数据与姿势库190中的姿势过滤器进行比较，以标识(如由骨架模型所表示的)用户何时执行了一个或多个姿势。那些姿势可与应用的各种控制相关联。因此，计算环境12可使用姿势库190来解释骨架模型的移动并基于该移动来控制应用。
图3示出可用于解释目标识别、分析和跟踪系统中的一个或多个姿势的计算环境的示例实施例。上面参考图1A-2所描述的诸如计算环境12等的计算环境可以是诸如游戏控制台等的多媒体控制台100。如图3所示，多媒体控制台100具有含有一级高速缓存102、二级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。一级高速缓存102和二级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可以设置成具有一个以上的内核，以及由此的附加的一级和二级高速缓存102和104。闪存ROM 106可存储在当多媒体控制台100通电时的引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速、高分辨率图形处理的视频处理流水线。经由总线从图形处理单元108向视频编码器/视频编解码器114运送数据。视频处理流水线向A/V(音频/视频)端口140输出数据，用于传输至电视或其他显示器。存储器控制器110连接到GPU 108以方便处理器访问各种类型的存储器112，诸如但不局限于RAM(随机存取存储器)。
多媒体控制台100包括较佳地在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口控制器124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线和无线适配器组件中的任何一种。
提供系统存储器143来存储在引导过程期间加载的应用数据。提供了介质驱动器144，其可以包括DVD/CD驱动器、硬盘驱动器，或其他可移动介质驱动器等等。介质驱动器144可以是多媒体控制台100内部或外部的。应用数据可经由介质驱动器144访问，供多媒体控制台100执行、回放等。介质驱动器144经由诸如串行ATA总线或其他高速连接(例如IEEE 1394)等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其他指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其他组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，介质驱动器144中包含的应用和/或其他媒体可从介质驱动器144启动或播放，以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统简单地连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。
当多媒体控制台100通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括预留存储器(例如，16MB)、CPU和GPU周期(例如，5％)、网络带宽(例如，8kbs)等等。因为这些资源是在系统引导时保留的，所以所保留的资源对应用而言是不存在的。
具体地，存储器保留较佳地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留较佳地为恒定，使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图较佳地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率并引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源中执行的一组系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU 101上运行，以便为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。
当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。相机26、28和捕捉设备20可以为控制台100定义附加的输入设备。
图4示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境220的另一示例实施例，该计算环境可以是图1A-2所示的计算环境12。计算系统环境220只是合适的计算环境的一个示例，并且不旨在对所公开的主题的使用范围或功能提出任何限制。也不应该将计算环境220解释为对示例性操作环境220中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中，所描绘的各种计算元素可包括被配置成实例化本公开的各具体方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。其他示例中，术语电路可包括由实施可用于执行功能的逻辑的软件指令配置的通用处理单元、存储器等。在其中电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。因此，对于硬件实现还是软件实现的选择是设计选择并留给实现者。
在图4中，计算环境220包括计算机241，计算机241通常包括各种计算机可读介质。计算机可读介质可以是可以被计算机241访问的任何可用的介质，并包括易失性和非易失性介质，可移动的和不可移动的介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM 223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。作为示例而非限制，图4示出操作系统225、应用程序226、其他程序模块227和程序数据228。
计算机241也可以包括其他可移动的/不可移动的，易失性/非易失性的计算机存储介质。仅作为示例，图4示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器238，从可移动、非易失性磁盘254中读取或向其写入的磁盘驱动器239，以及从诸如CD ROM或其他光学介质等可移动、非易失性光盘253中读取或向其写入的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动器238通常通过例如接口234等不可移动存储器接口连接至系统总线221，而磁盘驱动器239和光盘驱动器240通常由例如接口235等可移动存储器接口连接至系统总线221。
以上讨论并在图4中示出的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图4中，例如，硬盘驱动器238被示为存储操作系统258、应用程序257、其他程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。向操作系统258、应用程序257、其他程序模块256，以及程序数据255提供了不同的编号，以说明至少它们是不同的副本。用户可以通过输入设备，例如键盘251和定点设备252通常是指鼠标、跟踪球或触摸垫——向计算机241输入命令和信息。其他输入设备(未示出)可包括话筒、游戏杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些和其他输入设备通常通过耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，例如并行端口、游戏端口或通用串行总线(USB)来连接。相机26、28和捕捉设备20可以为控制台100定义附加的输入设备。监视器242或其他类型的显示设备也可以通过诸如视频接口232之类的接口，连接到系统总线221。除监视器之外，计算机还可以包括可以通过输出外围接口233连接的诸如扬声器244和打印机243之类的其他外围输出设备。
计算机241可以使用到一个或多个远程计算机(如远程计算机246)的逻辑连接，以在联网环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点，并且通常包括许多或所有以上关于计算机241所描述的元件，尽管在图4中仅示出了存储器存储设备247。图2中所示的逻辑连接包括局域网(LAN)245和广域网(WAN)249，但也可以包括其他网络。这样的联网环境在办公室、企业范围的计算机网络、内部网和因特网中是普遍的。
当用于LAN网络环境中时，计算机241通过网络接口或适配器237连接到LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过例如因特网等WAN 249建立通信的其他手段。调制解调器250，可以是内置的或外置的，可以经由用户输入接口236或其他适当的机制连接到系统总线221。在联网环境中，关于计算机241所描述的程序模块，或其某些部分，可以存储在远程存储器存储设备中。作为示例而非限制，图4示出远程应用程序248驻留在存储器设备247上。可以理解的是，所示的网络连接是示例性的，并且可以使用在计算机之间建立通信链路的其他手段。
图5描绘了用于扫描可在视觉上跟踪的目标的示例方法300的流程图。示例方法300可使用例如参考图1A-4所描述的目标识别、分析和跟踪系统10的捕捉设备20和/或计算环境12来实现。根据一示例实施例，目标可以是人类目标、具有一物体的人类目标、两个或更多个人类目标等，目标可被扫描来生成诸如骨架模型、网格人类模型、或其任何其他合适的表示等模型。模型然后可被用于与可由以上关于图1A-1B描述的计算环境12执行的应用进行交互。根据一示例实施例，可在例如在计算环境12上启动或运行应用时，和/或在例如计算环境12上的应用的执行期间周期性地，扫描目标来生成模型。
例如，如上所述，目标可包括以上关于图1A-1B描述的用户18。可扫描目标来生成例如用户18的骨架模型，可跟踪用户18使得用户18的物理移动或运动可用作调整和/或控制诸如电子游戏等应用的参数的实时用户接口。例如，所跟踪的用户的运动可用于在电子角色扮演游戏中移动屏幕上的人物或化身、在电子赛车游戏中控制屏幕上的车辆、在虚拟环境中控制物体的建筑或组织、或执行应用的任何其他合适的控制。
根据一个实施例，在305，可接收深度信息。例如，目标识别、分析和跟踪系统可包括诸如参考图1A-2描述的捕捉设备20等的捕捉设备。捕捉设备可捕捉或观察可包括一个或多个目标的场景。在一示例实施例中，捕捉设备可以是深度相机，该深度相机被配置成使用诸如飞行时间分析、结构化光分析、立体视觉分析等任何合适的技术来获得与场景中的一个或多个目标相关联的深度信息。
根据一示例实施例，深度信息可包括深度图像。深度图像可以是多个观测到的像素，其中每个观测到的像素具有观测到的深度值。例如，深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的、所捕捉的场景中的对象距捕捉设备的长度或距离。
图6示出了可在305处接收的深度图像400的示例实施例。根据一示例实施例，深度图像400可以是由例如以上参考图2所描述的捕捉设备20的3-D相机26和/或RGB相机28所捕捉的场景的图像或帧。如图6中所示，深度图像400可包括所捕捉的场景中的人类目标402和一个或多个非人类目标404，诸如墙壁、桌子、监视器等。如上所述，深度图像400可包括多个观测到的像素，其中每一观测到的像素具有与其相关联的观测到的深度值。例如，深度图像400可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的、所捕捉的场景中的对象或目标距捕捉设备的长度或距离。在一实施例中，深度图像400可被着色从而使得深度图像的像素的不同颜色对应于人类目标402和非人类目标404离捕捉设备的不同距离。例如，根据一个实施例，深度图像中与最接近捕捉设备的目标相关联的像素可用红色和/或橙色色调来着色，而深度图像中与较远的目标相关联的像素可用绿色和/或蓝色色调来着色。
返回图3，在一个实施例中，在305处接收到具有例如深度信息的深度图像之后，可将该深度图像降采样到较低的处理分辨率，使得该深度图像可用更少的计算开销来被更容易地使用和/或更快地处理。另外，可从深度图像中移除和/或平滑掉一个或多个高变度和/或含噪声的深度值；可填入和/或重构缺少的和/或移除的深度信息的各部分；和/或可对所接收的深度信息执行任何其他合适的处理，使得该深度信息可用于生成诸如骨架模型等模型，如将在下文更详细描述的。
在310，目标识别、分析和跟踪系统可确定深度图像是否包括人类目标。例如，在310，可对深度图像中的每一目标或对象进行泛色填充并将其与一图案进行比较来确定该深度图像是否包括人类目标。
图7示出了其中人类目标被泛色填充的深度图像400的示例实施例。根据一实施例，在接收到深度图像400之后，可对该深度图像400中的每一目标进行泛色填充。例如，在一个实施例中，可确定深度图像400的所捕捉的场景中的诸如人类目标402和非人类目标404等每一目标的边。如上所述，深度图像400可包括所捕捉的场景的二维(2-D)像素区域，其中2-D像素区域中的每一像素可表示深度值，诸如例如以厘米、毫米等计的、所捕捉的场景中的对象距相机的长度或距离。根据一示例实施例，可以通过将与例如深度图像400中的相邻或邻近的像素相关联的各种深度值进行比较来确定边。如果正被比较的各种深度值大于预定边容差，则这些像素可定义一条边。在一实施例中，预定边容差可以是例如100毫米。如果表示1000毫米的深度值的像素可与表示1200毫米的深度值的相邻像素进行比较，则这些像素可定义目标的一条边，因为像素之间的长度或距离之差大于100mm的预定边容差。
另外，如上所述，捕捉设备可将包括深度图像的所计算的深度信息组织成“Z层”，即可垂直于沿着其视线从相机延伸到观察者的Z轴的层。可以基于确定的边，对Z层的可能的Z值进行泛色填充。例如，与所确定的边相关联的像素以及所确定的边内的区域的像素可互相关联来定义可与一图案进行比较的场景中的目标或对象，这将在下文中更详细描述。
根据另一实施例，在接收到深度图像400之后，可对该深度图像400上的预定点或区域进行泛色填充来确定该深度图像400是否包括人类目标402。例如，可以比较深度图像400的所选区域或点中的像素的各种深度值来确定如上所述可定义目标或对象的边。可以基于确定的边，对Z层的可能的Z值进行泛色填充。例如，与所确定的边相关联的像素以及所确定的边内的区域的像素可互相关联来定义可与一图案进行比较的场景中的目标或对象，这将在下文中更详细描述。
在一示例实施例中，预定点或区域可均匀地分布在深度图像上。例如，预定点或区域可包括深度图像中心的点或区域、深度图像的左侧边与中心之间的两个点或区域、深度图像的右侧边与中心之间的两个点或区域，等等。
图8示出了具有匹配一图案的、经泛色填充的人类目标402的深度图像的示例实施例，如深度图像400。根据一示例实施例，诸如人类目标402和非人类目标404等每一经泛色填充的目标可与一图案进行匹配来确定场景中的目标是否包括人类和/或哪些目标包括人类。该图案可包括例如与各种位置或姿态(诸如手臂在两侧的典型站立姿态)中的人类相关联的预定身体模型的机器表示。
根据一示例实施例，该图案可包括可具有共同定义人类的典型身体的一组变量的一个或多个数据结构，使得与例如人类目标402和非人类目标404的像素相关联的信息可与各变量进行比较来确定目标是否可能是人类以及哪些目标可能是人类。在一个实施例中，可以基于身体部位，对该集合中的每一个变量赋予权重。例如，图案中的诸如头和/或肩之类的各种身体部位可以具有与其相关联的权重值，这些权重值可以大于诸如腿之类的其他身体部位的权重值。根据一个实施例，权重值可在将诸如人类目标402和非人类目标404等目标与变量进行比较来确定目标是否可能是人类以及哪些目标可能是人类时使用。例如，变量和目标之间具有较大的权重值的匹配与具有较小权重值的匹配相比可产生目标是人类的更大似然性。
另外，在一示例实施例中，可计算一置信值，该置信值指示例如深度图像400中的每一经泛色填充的目标与该图案对应的准确度。该置信值可包括每一经泛色填充的目标可能是人类的概率。根据一个实施例，该置信值可被用于进一步确定经泛色填充的目标是否可能是人类。例如，可将该置信值与一阈值进行比较，以使得如果该置信值超过该阈值，则与其相关联的经泛色填充的目标可被确定为是人类目标。
返回图3，在315，如果该深度图像不包括人类目标，则可在305接收场景的新深度图像，使得目标识别、分析和跟踪系统可在310确定该新深度图像是否可包括人类目标。
在315，如果该深度图像包括人类目标，则在320可扫描该人类目标以寻找一个或多个身体部位。根据一个实施例，可扫描该人类目标以提供与诸如以上参考图1A和1B所描述的用户18等用户的一个或多个身体部位相关联的度量，如长度、宽度等，使得可基于这些度量来生成用户的准确模型，这将在下文更详细描述。
在一示例实施例中，人类目标可以被隔离，并且可以创建人类目标的位掩模来扫描一个或多个身体部位。可以通过例如对人类目标进行泛色填充来创建位掩模，以便人类目标可以与场景元素中的其他目标或物体分开。然后，可以对于一个或多个身体部位分析位掩模，以生成人目标的模型，如骨架模型、网格人类模型等等。
图9示出了包括被扫描来生成模型的人类目标402的深度图像400的示例实施例。例如，在深度图像400中找到诸如人类目标402等有效人类目标之后，可移除深度图像中不与人类目标匹配的背景或区域。然后可为人类目标402生成位掩模，该位掩模可包括该人类目标的沿着例如X、Y和Z轴的值。根据一示例实施例，可从例如头部开始扫描人类目标402的位掩模来寻找各个身体部位，以生成人类目标402的骨架模型。
如图9所示，可扫描诸如位、像素等与匹配的人类目标402相关联的信息来确定与人类目标402的身体的各个部位相关联的各个位置，如扫描bp1-扫描bp6。例如，在移除了深度图像中人类目标402周围的背景或区域之后，该深度图像400可包括经隔离的人类目标402。然后可为经隔离的人类目标402生成可包括X、Y和Z值的位掩模。可扫描人类目标402的位掩模来确定各个身体部位。例如，最初可确定人类目标402的位掩模的顶部。如图9所示，人类目标402的位掩模的顶部可以与如扫描bp1所指示的头的顶部的位置相关联。在确定了头的顶部之后，可以向下扫描位掩模继而确定人类目标402的颈的位置、人类目标402的肩的位置，以此类推。
根据一示例实施例，为了确定人类目标402的颈、肩等的位置，可以将例如被扫描的位置处的位掩模的宽度与关联于例如颈、肩等的典型宽度的阈值进行比较。在一替换实施例中，可以使用与扫描的并与位掩模中的身体部位相关联的先前位置的距离来确定颈、肩等等的位置。
在一个实施例中，为了确定肩的位置，可将图9中由扫描bp3指示的位置处的位掩模的宽度与阈值肩值进行比较。例如，可以将图9中的扫描bp3指示的位置处的位掩模的X值处的两个最外部Y值之间的距离与例如人类的肩之间的典型距离的阈值肩值进行比较。由此，根据一示例实施例，该阈值肩值可以是与人类的身体模型的肩相关联的典型宽度或宽度范围。
在另一实施例中，为了确定肩的位置，可在头向下一特定距离解析所述位掩模。例如，可与头的顶部相关联的位掩模的顶部可具有与其相关联的X值。然后可以将所存储的与从人类身体的头的顶部到肩的顶部的典型距离相关联的值加到头的顶部的X值来确定肩的X值。由此，在一个实施例中，可将所存储的值加到与图9所示的扫描bp1相关联的X值来确定与扫描bp3处的肩相关联的X值。
在一个实施例中，诸如腿、脚等的某些身体部位可基于例如其他身体部位的位置来计算。例如，如上所述，可以扫描诸如与人类目标402相关联的位、像素等的信息来确定由图9中的扫描bp1-扫描bp6表示的人类目标402的各个身体部位的位置。基于这些位置，随后可以为人类目标402计算诸如腿、脚等的后续身体部位。
根据一示例实施例中，在确定例如诸如身体部位等的值后，可以创建可包括诸如与人类目标402的位掩模的扫描相关联的身体部位的长度、宽度等的度量值的数据结构。在一个实施例中，该数据结构可包括从多个深度图像平均的扫描结果。例如，诸如以上参考图1A-2所描述的捕捉设备20等的捕捉设备可按帧来捕捉场景。每一帧可包括一深度图像。可如上所述分析每一帧的深度图像来确定是否包括人类目标。如果帧的深度图像包括人类目标，则可以在320处扫描与该帧相关联的深度图像的人类目标的位掩模来寻找一个或多个身体部位。然后可以对为每一帧所确定的身体部位的值求平均，从而使得该数据结构可包括诸如与每一帧的扫描相关联的身体部位的诸如长度、宽度等的平均度量值。根据另一实施例，可调整所确定的身体部位的度量值，如放大、缩小等，使得数据结构中的度量值更接近地对应于典型的人类身体模型。
返回图3，在325，然后可基于所述扫描来生成人类目标的模型。例如，根据一个实施例，可以使用由扫描的位掩模确定的测量值来定义骨架模型中的一个或多个关节。可以使用一个或多个关节来定义可以对应于人的身体部位的一个或多个骨骼。
图10示出了表示所扫描的人类目标的骨架模型500的示例实施例。根据一示例实施例，骨架模型500可包括一个或多个数据结构，这些数据结构可将例如以上参照图6-9描述的人类目标402表示为三维模型。每个身体部位可被表征为定义骨架模型500的关节和骨骼的数学矢量。
如图10中所示的，骨架模型500可包括一个或多个关节j1-j18。根据一示例实施例，关节j1-j18中的每一个可使得在这些关节之间定义的一个或多个身体部位能相对于一个或多个其他身体部位移动。例如，表示人类目标的模型可包括多个刚性和/或可变形身体部位，这些身体部位由一个或多个诸如“骨骼”等结构件来定义，而关节j1-j18位于毗邻骨骼的交叉点处。关节j1-j18可使得与骨骼和关节j 1-j 18相关联的各个身体部位能够彼此独立地移动。例如，如图10中所示的，关节j7与j11之间定义的骨骼对应于前臂，该前臂可独立于例如关节j15与j17之间的骨骼——其对应于小腿——移动。
图11A-11E示出了调整关节来生成以上参考图9-10描述的人类目标402的骨架模型500的示例实施例。根据图11A所示的示例实施例，对位掩模的初始扫描可呈现表示左肩关节的关节j4′。如图11A所示，关节j4′不能准确地表示人类的左肩关节的典型位置。然后可调整关节j4′，使得该关节可沿着例如X、Y和Z轴重新定位以更准确地表示人类的左肩关节的典型位置，如图11E中的关节j4所示。
根据一示例实施例，为重新定位关节j4′，可将与所扫描的人类目标402的肩的顶部的参考点与关节j4′之间的距离相关联的dY值和与人类目标402的边的参考点与关节j4′之间的距离相关联的dX值进行比较。如果dY值大于dX值，则可在第一方向上，诸如沿着Y轴向上将关节j4′移动dX值，以生成由图11B中的关节j4″表示的新左肩关节。或者，如果dX值大于dY值，则可在第二方向上，如沿着X轴向右将关节j4′移动dY值。
根据一个实施例，关节j4′可被重定位以呈现图11B和11C所示的后续关节j4″和j4′″，直到重新定位的关节具有在例如肩胛到图11E中的关节j4所示的关节的典型距离的范围之内的s值。例如，如上所述，可将关节j4′沿着Y轴向上移动dX值来生成图11B中的关节j4″。然后可比较关节j4″的dX和dY值。如果dY值大于dX值，则可将关节j4″沿着Y轴向上移动dX值。或者，如果dX值大于dY值，则可将关节j4″沿着X轴向右移动dY值来生成图11C中的由关节j4′″表示的另一新的左肩关节。在一示例实施例中，然后可如上所述地调整关节j4′″来生成另一新的左肩关节，使得可生成并调整后续的新的左肩关节，直到例如新的左肩关节之一的dX和dY值等于图11D中的关节j4″″表示的所定义的肩容差或在其范围之内。根据一示例实施例，然后可将关节j4″″以例如诸如45度角等角度朝向或远离肩的边移动，以生成图11E所示的包括在例如肩胛到关节的典型长度的范围之内的s值的关节j4。
由此，根据一示例实施例，可调整一个或多个关节，直到这些关节在人类的关节和身体部位之间的典型距离范围之内，以生成更准确的骨架模型。根据另一实施例，可基于例如与所接收的人类目标相关联的高度来进一步调整该模型，以生成更准确的骨架模型。例如，可以基于与所接收的人类目标相关联的高度来重定位或缩放关节和骨骼。
在330，然后可跟踪该模型。例如，根据一示例实施例，诸如以上参考图9描述的骨架模型500等骨架模型可以是诸如以上参考图1A和1B描述的用户18等用户的表示。当用户在物理空间中移动时，可使用来自诸如以上参考图1A和1B描述的捕捉设备20等捕捉设备的信息来调整骨架模型，使得该骨架模型可更准确地表示用户。具体而言，可以向骨架模型的一个或多个受力面施加一个或多个力，以将骨架模型调整为更加紧密地对应于物理空间中的人类目标的姿态的姿态。
在一个实施例中，如上所述，该骨架模型可由捕捉设备来生成。可将包括与需要作出的调整相关联的任何信息的骨架模型提供给诸如以上参考图1A-4描述的计算环境12等计算环境。该计算环境可包括可用于基于骨架模型中的各个身体部位的位置来确定要在应用内执行的控制的姿势库。
然后可响应于跟踪对骨架模型的改变来改变屏幕上的人物的视觉外观。例如，可由此处描述的游戏控制台来跟踪诸如以上参考图1A和1B描述的在游戏控制台上玩电子游戏的用户18等用户。具体地，可使用诸如骨架模型等身体模型来对目标游戏玩家建模，并且可使用该身体模型来呈现屏幕上的玩家化身。当游戏玩家伸直一条手臂时，游戏控制台可跟踪该运动，然后响应于所跟踪的运动来相应地调整身体模型。游戏控制台还可将一个或多个约束施加到身体模型的移动。在作出此类调整并施加此类约束之后，游戏控制台可显示经调整的玩家化身。
应该理解，此处所述的配置和/或方法在本质上是示例性的，且这些具体实施例或示例不被认为是限制性的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行等等。同样，可以改变上述过程的次序。
本发明的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合、和此处所公开的其它特征、功能、动作、和/或特性、以及其任何和全部等效物。

Claims (15)

1.一种用于捕捉场景的深度信息的设备20，所述设备20包括：
相机组件22，所述相机组件22接收所述场景的深度图像400；以及
处理器32，所述处理器32执行计算机可执行指令，所述计算机可执行指令包括用于以下操作的指令：
从所述相机组件22接收所述场景的所述深度图像400；
确定所述深度图像400是否包括人类目标402；
基于所述确定，如果所述深度图像400包括人类目标402，则扫描所述人类目标402；以及
基于所述扫描生成所述人类目标402的模型500。
2.如权利要求1所述的设备，其特征在于，用于确定所述深度图像400是否包括人类目标402的指令包括用于以下操作的指令：
确定与所述场景中的每个目标402，404相关联的一个或多个边；
基于所确定的一个或多个边对每个目标402，404进行泛色填充；以及
将每个经泛色填充的目标402，404与一图案相比较以确定每个经泛色填充的目标402，404是否匹配所述图案。
3.如权利要求2所述的设备，其特征在于，用于将每个经泛色填充的目标402，404与一图案相比较以确定每个经泛色填充的目标402，404是否匹配所述图案的指令还包括用于计算置信值的指令，所述置信值指示出所述深度图像400中的每个经泛色填充的目标402，404对应于所述图案的准确度。
4.如权利要求1所述的设备，其特征在于，用于扫描人类目标402的指令还包括用于以下操作的指令：
移除所述深度图像400的不与所述人类目标402匹配的区域；
创建所述人类目标402的位掩模；以及
扫描所述位掩模以确定所述人类目标402的各个身体部位。
5.如权利要求1所述的设备，其特征在于，还包括用于调整所述人类目标402的模型500中的关节j4′的指令。
6.如权利要求5所述的设备，其特征在于，用于调整所述人类目标402的模型500中的关节j4′的指令包括用于以下操作的指令：
将dY值与和所述关节j4′相关联的dX值相比较，其中所述dY值和所述dX值对应于所述关节j4′与所述人类目标402的相应参考点之间的距离；
基于所述比较，如果所述dY值可能大于所述dX值，则在Y轴上以第一方向以所述dX值重新定位所述关节j4′，以生成第一新肩关节j4″；以及
基于所述比较，如果所述dY值可能小于所述dX值，则在X轴上以第二方向以所述dY值重新定位所述关节j4′，以生成第二新肩关节j4″。
7.一种存储了用于扫描捕捉的场景中的人类18的计算机可执行指令的计算机可读存储介质34，110，143，222，所述计算机可执行指令包括用于以下操作的指令：
接收所述场景的深度图像400，所述深度图像400包括目标402；
将所述目标402与一图案相比较以确定所述目标402是否与所述图案匹配；
基于所述比较，如果所述目标402与所述图案匹配，则扫描所述目标402；以及
基于所述扫描生成所述目标402的模型500。
8.如权利要求7所述的计算机可读介质，其特征在于，所述图案包括与人类相关联的预定身体模型的机器表示。
9.如权利要求7所述的计算机可读介质，其特征在于，用于将所述目标402与图案进行比较以确定所述目标402是否与所述图案匹配的指令还包括用于计算置信值的指令，所述置信值指示出所述深度图像400中的所述目标402对应于所述图案的准确度。
10.如权利要求7所述的计算机可读介质，其特征在于，用于扫描目标402的指令还包括用于以下操作的指令：
移除所述深度图像的不与所述目标402匹配的区域；
创建所述目标402的位掩模；以及
扫描所述位掩模以确定所述目标402的各个身体部位。
11.一种用于呈现用户18的模型500的系统10；所述系统包括：
捕捉设备20，所述捕捉设备20包括相机组件22和第一处理器32，所述相机组件接收场景的深度图像400，所述第一处理器确定与所述深度图像400中的所述用户18相关联的人类目标402，扫描所述人类目标402，以及基于所述扫描生成所述人类目标402的模型500；以及
与所述捕捉设备可操作地通信的计算设备12，所述计算设备包括接收所生成的所述人类目标402的模型500并跟踪所述模型500的一个或多个移动的第二处理器101，259。
12.如权利要求11所述的系统，其特征在于，所述计算设备12还包括存储在所述计算设备上的姿势库190，所述第二处理器将所跟踪的一个或多个移动与所述姿势库190进行比较101，259以确定是否执行基于所述一个或多个移动的控制。
13.如权利要求11所述的系统，其特征在于，所述第一处理器32通过对所述场景中的每个目标402，404进行泛色填充以及将每个经泛色填充的目标402，404与人类的身体模型的图案进行比较，以确定每个经泛色填充的目标402，404是否匹配所述人类的所述身体模型的所述图案，从而确定与所述深度图像400中的所述用户相关联的所述人类目标402。
14.如权利要求13所述的系统，其特征在于，一置信值基于所述比较被计算出，以确定每个目标402，404是否是所述人类目标404，所述置信值提供了所述深度图像400中的每个经泛色填充的目标402，404对应于所述人类的所述身体模型的所述图案的准确度的指示。
15.如权利要求11所述的系统，其特征在于，所述第一处理器32通过移除所述深度图像400的不与所述人类目标402匹配的区域、创建所述人类目标402的位掩模、以及扫描所述位掩模以确定所述人类目标402的各个身体部位，从而扫描所述人类目标。
CN201080006414.5A 2009-01-30 2010-01-12 用于捕捉场景的深度信息的设备、方法和系统 Active CN102301398B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/363,542 US8294767B2 (en) 2009-01-30 2009-01-30 Body scan
US12/363,542 2009-01-30
PCT/US2010/020794 WO2010088034A2 (en) 2009-01-30 2010-01-12 Body scan

Publications (2)

Publication Number Publication Date
CN102301398A true CN102301398A (zh) 2011-12-28
CN102301398B CN102301398B (zh) 2014-03-05

Family

ID=42396277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080006414.5A Active CN102301398B (zh) 2009-01-30 2010-01-12 用于捕捉场景的深度信息的设备、方法和系统

Country Status (3)

Country Link
US (6) US8294767B2 (zh)
CN (1) CN102301398B (zh)
WO (1) WO2010088034A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103733227A (zh) * 2012-06-14 2014-04-16 索弗特凯耐提克软件公司 三维对象建模拟合与跟踪

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
CN106570307B (zh) 2010-04-09 2020-01-07 卓尔医学产品公司 用于流化来自除纤颤器的病人信息的系统和方法
US10628666B2 (en) 2010-06-08 2020-04-21 Styku, LLC Cloud server body scan data system
US10628729B2 (en) 2010-06-08 2020-04-21 Styku, LLC System and method for body scanning and avatar creation
US11244223B2 (en) 2010-06-08 2022-02-08 Iva Sareen Online garment design and collaboration system and method
US11640672B2 (en) 2010-06-08 2023-05-02 Styku Llc Method and system for wireless ultra-low footprint body scanning
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US8488888B2 (en) * 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US8791901B2 (en) * 2011-04-12 2014-07-29 Sony Computer Entertainment, Inc. Object tracking with projected reference patterns
US10671841B2 (en) 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US9723293B1 (en) * 2011-06-21 2017-08-01 Amazon Technologies, Inc. Identifying projection surfaces in augmented reality environments
US10007330B2 (en) 2011-06-21 2018-06-26 Microsoft Technology Licensing, Llc Region of interest segmentation
US20120326948A1 (en) * 2011-06-22 2012-12-27 Microsoft Corporation Environmental-light filter for see-through head-mounted display device
US20130077820A1 (en) * 2011-09-26 2013-03-28 Microsoft Corporation Machine learning gesture detection
US20130093751A1 (en) * 2011-10-12 2013-04-18 Microsoft Corporation Gesture bank to improve skeletal tracking
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US8840250B1 (en) 2012-01-11 2014-09-23 Rawles Llc Projection screen qualification and selection
US20130321579A1 (en) * 2012-06-04 2013-12-05 Darcy Paul Firkus System and Method for Scanning and Analyzing a Users Ergonomic Characteristics
CN102842148B (zh) * 2012-07-10 2014-09-10 清华大学 一种无标记运动捕捉及场景重建方法及装置
US9911166B2 (en) 2012-09-28 2018-03-06 Zoll Medical Corporation Systems and methods for three-dimensional interaction monitoring in an EMS environment
TWI466062B (zh) * 2012-10-04 2014-12-21 Ind Tech Res Inst 重建三維模型的方法與三維模型重建裝置
US9384585B2 (en) 2012-10-23 2016-07-05 Electronics And Telecommunications Research Institute 3-dimensional shape reconstruction device using depth image and color image and the method
CN103092349A (zh) * 2013-01-23 2013-05-08 宁凯 基于Kinect体感设备的全景体验方法
US9754154B2 (en) 2013-02-15 2017-09-05 Microsoft Technology Licensing, Llc Identification using depth-based head-detection data
DE102013010018B3 (de) * 2013-06-14 2014-12-04 Volkswagen Ag Kraftfahrzeug mit einem Fach zum Aufbewahren eines Gegenstands sowie Verfahren zum Betreiben eines Kraftfahrzeugs
GB2515343B (en) 2013-06-21 2018-02-07 Toshiba Res Europe Limited Methods and systems for generating a three dimensional representation of a subject
DE102013226558A1 (de) 2013-12-19 2015-06-25 Bayerische Motoren Werke Aktiengesellschaft Adaptive Ermittlung der Einstellung von Fahrzeugkomponenten
WO2015193628A1 (en) 2014-06-19 2015-12-23 Toshiba Research Europe Limited Methods and systems for generating a three dimensional representation of a human body shape
CN104914996B (zh) * 2015-05-22 2016-08-17 济南大学 一种改变三维手势状态的方法
US9836118B2 (en) 2015-06-16 2017-12-05 Wilson Steele Method and system for analyzing a movement of a person
US11511156B2 (en) 2016-03-12 2022-11-29 Arie Shavit Training system and methods for designing, monitoring and providing feedback of training
CN106709041A (zh) * 2016-12-29 2017-05-24 深圳岂凡网络有限公司 一种网页图形图像渲染系统及方法
US11948057B2 (en) * 2017-06-22 2024-04-02 Iva Sareen Online garment design and collaboration system and method
DE102017216000A1 (de) * 2017-09-11 2019-03-14 Conti Temic Microelectronic Gmbh Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera
US11425351B2 (en) * 2018-11-05 2022-08-23 Ecole Polytechnique Federale De Lausanne (Epfl) Method and system for creating an out-of-body experience
US10620713B1 (en) * 2019-06-05 2020-04-14 NEX Team Inc. Methods and systems for touchless control with a mobile device
CN110544300B (zh) * 2019-09-05 2021-06-29 佛山市玖章智能科技有限公司 一种基于二维手绘图像特征自动生成三维模型的方法
KR20210048638A (ko) 2019-10-23 2021-05-04 삼성전자주식회사 반도체 패키지
CN114035684A (zh) * 2021-11-08 2022-02-11 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
DE102022208763A1 (de) 2022-08-24 2024-02-29 Psa Automobiles Sa Prädizierte Annäherung einer Hand an eine Fahrzeug-Bedieneinheit

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030091225A1 (en) * 1999-08-25 2003-05-15 Eastman Kodak Company Method for forming a depth image from digital image data
US20060050952A1 (en) * 2004-09-03 2006-03-09 Francois Blais Recursive 3D model optimization
CN1764931A (zh) * 2003-02-11 2006-04-26 索尼电脑娱乐公司 实时运动捕捉的方法和设备
US20090002489A1 (en) * 2007-06-29 2009-01-01 Fuji Xerox Co., Ltd. Efficient tracking multiple objects through occlusion

Family Cites Families (244)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3073301A (en) 1958-07-16 1963-01-15 Air Reduction Aviation quick release valve
US4002167A (en) 1974-09-13 1977-01-11 Minnesota Mining And Manufacturing Company Animal gas mask assembly
US4288078A (en) * 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) * 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4625721A (en) 1983-11-07 1986-12-02 Lockheed Corporation Smoke mask
US4561544A (en) 1983-12-28 1985-12-31 Calmar, Inc. Child resistant container
US4630910A (en) * 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) * 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) * 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) * 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) * 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) * 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) * 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) * 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4735002A (en) 1986-10-27 1988-04-05 Rath Robert J Surface mounted turbine-driven hair dryer
US4809065A (en) * 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) * 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US4915106A (en) 1988-02-26 1990-04-10 Puritan-Bennett Corporation Crew oxygen mask with pneumatic comfort adjustment
US5036846A (en) 1988-02-26 1991-08-06 Puritan-Bennett Corporation Crew oxygen mask with pneumatic comfort adjustment
US5239464A (en) * 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) * 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) * 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) * 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) * 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) * 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) * 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) * 1990-02-13 1991-10-29
US5101444A (en) * 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) * 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) * 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) * 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
EP0590101B1 (en) 1991-12-03 1999-06-23 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) * 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) * 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) * 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) * 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
AU6135996A (en) * 1995-06-22 1997-01-22 3Dv Systems Ltd. Improved optical ranging camera
IL114278A (en) * 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US5704073A (en) 1995-08-01 1998-01-06 Figgie International Inc. Quick donning goggles for use with breathing mask
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
WO1999044698A2 (en) 1998-03-03 1999-09-10 Arena, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
WO1998007129A1 (fr) 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) * 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US5954052A (en) 1997-05-21 1999-09-21 Nellcor Puritan-Bennett Safety stowage apparatus for crew oxygen masks
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP1017973A1 (en) 1997-09-24 2000-07-12 3DV Systems Ltd. Acoustical imaging system
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
FR2778575B1 (fr) 1998-05-12 2000-07-28 Intertechnique Sa Equipement de protection respiratoire a mise en place rapide
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6026590A (en) 1998-07-10 2000-02-22 Sunbeam Products, Inc. Hair dryer with night light
FR2781381B1 (fr) 1998-07-24 2000-09-29 Intertechnique Sa Regulateur a la demande pour systeme respiratoire
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
DE69840608D1 (de) 1998-12-16 2009-04-09 3Dv Systems Ltd Selbsttastende photoempfindliche oberfläche
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
ATE285079T1 (de) * 1999-09-08 2005-01-15 3Dv Systems Ltd 3d- bilderzeugungssystem
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US6690618B2 (en) 2001-04-03 2004-02-10 Canesta, Inc. Method and apparatus for approximating a source position of a sound-causing event for determining an input used in operating an electronic device
US7006236B2 (en) * 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US7050177B2 (en) * 2002-05-22 2006-05-23 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US20030132950A1 (en) 2001-11-27 2003-07-17 Fahri Surucu Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains
DE19960180B4 (de) * 1999-12-14 2006-03-09 Rheinmetall W & M Gmbh Verfahren zur Herstellung eines Sprenggeschosses
US6674877B1 (en) * 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) * 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
US6711432B1 (en) * 2000-10-23 2004-03-23 Carnegie Mellon University Computer-aided orthopedic surgery
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
JP3725460B2 (ja) * 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US7680324B2 (en) * 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US6539931B2 (en) * 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US6526967B2 (en) 2001-06-11 2003-03-04 Be Intellectual Property, Inc. Crew oxygen mask stowage assembly including selective depressurization valve
AU2002315456A1 (en) 2001-06-22 2003-01-08 Canesta, Inc. Method and system to display a virtual input device
US20030053658A1 (en) * 2001-06-29 2003-03-20 Honeywell International Inc. Surveillance system and methods regarding same
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
FR2827178B1 (fr) 2001-07-11 2003-12-05 Intertechnique Sa Appareil respiratoire et installation de protection contre l'hypoxie en comportant application
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US20030165048A1 (en) 2001-12-07 2003-09-04 Cyrus Bamji Enhanced light-generated interface for use with electronic devices
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US20030169906A1 (en) 2002-02-26 2003-09-11 Gokturk Salih Burak Method and apparatus for recognizing objects
EP1345179A3 (en) * 2002-03-13 2004-01-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for computer graphics animation
US6755194B2 (en) 2002-04-09 2004-06-29 Intertechnique, S.A. Stowage systems, particularly for oxygen masks
US7310431B2 (en) * 2002-04-10 2007-12-18 Canesta, Inc. Optical methods for remotely measuring objects
AU2003212211A1 (en) 2002-04-19 2003-11-03 Iee International Electronics And Engineering S.A. Safety device for a vehicle
US8997742B2 (en) 2002-04-23 2015-04-07 Resmed Limited Ergonomic and adjustable respiratory mask assembly with cushion
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US8013852B2 (en) * 2002-08-02 2011-09-06 Honda Giken Kogyo Kabushiki Kaisha Anthropometry-based skeleton fitting
US7151530B2 (en) * 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
FR2848864B1 (fr) 2002-12-24 2005-03-04 Intertechnique Sa Ensemble d'alimentation en gaz respiratoire pour personnel navigant d'aeronef et boite de rangement pour masque respiratoire de secours
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US7333111B2 (en) * 2003-04-25 2008-02-19 Honda Giken Kogyo Kabushiki Kaisha Joint component framework for modeling complex joint behavior
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4355341B2 (ja) * 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
US7620202B2 (en) 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP3847753B2 (ja) * 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP4708422B2 (ja) 2004-04-15 2011-06-22 ジェスチャー テック，インコーポレイテッド 両手動作の追跡
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
US7991220B2 (en) * 2004-09-01 2011-08-02 Sony Computer Entertainment Inc. Augmented reality game system using identification information to display a virtual object in association with a position of a real object
EP1645944B1 (en) * 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
US7386150B2 (en) * 2004-11-12 2008-06-10 Safeview, Inc. Active subject imaging with body identification
JP4449723B2 (ja) * 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2006194428A (ja) * 2004-12-16 2006-07-27 Yamaha Motor Co Ltd スプリング、サスペンション装置及び車両
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
EP3693889A3 (en) 2005-01-07 2020-10-28 QUALCOMM Incorporated Detecting and tracking objects in images
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
WO2006074290A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Optical flow based tilt sensor
KR100624457B1 (ko) * 2005-01-08 2006-09-19 삼성전자주식회사 깊이-영상 기반의 모델링 방법 및 장치
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
US8009871B2 (en) * 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
KR100688743B1 (ko) * 2005-03-11 2007-03-02 삼성전기주식회사 멀티 레이어 커패시터 내장형의 인쇄회로기판의 제조방법
US7317836B2 (en) * 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
AU2006229785A1 (en) * 2005-03-24 2006-10-05 Optasia Medical Limited Method and system for characterization of knee joint morphology
US7389591B2 (en) 2005-05-17 2008-06-24 Gesturetek, Inc. Orientation-sensitive signal output
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
GB2431717A (en) * 2005-10-31 2007-05-02 Sony Uk Ltd Scene analysis
WO2007096893A2 (en) * 2006-02-27 2007-08-30 Prime Sense Ltd. Range mapping using speckle decorrelation
WO2007130693A2 (en) * 2006-05-07 2007-11-15 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
US7721207B2 (en) * 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
WO2008014826A1 (en) 2006-08-03 2008-02-07 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
US8395658B2 (en) * 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US8165397B2 (en) * 2006-12-04 2012-04-24 Lockheed Martin Company Identifying descriptor for person or object in an image
US20080134102A1 (en) * 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
US8351646B2 (en) * 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7801332B2 (en) * 2007-01-12 2010-09-21 International Business Machines Corporation Controlling a system based on user behavioral signals detected from a 3D captured image stream
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7965866B2 (en) * 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
WO2009007794A1 (en) 2007-07-10 2009-01-15 Intertechnique Stowage box for breathing mask
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US9292092B2 (en) 2007-10-30 2016-03-22 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
US20090115849A1 (en) * 2007-11-07 2009-05-07 Internation Business Machines Corporation Controlling A Point Of Sale ('POS') Terminal Using Surveillance Video
JP2009124618A (ja) * 2007-11-19 2009-06-04 Hitachi Ltd カメラ装置、画像処理装置
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) * 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
KR100971498B1 (ko) 2007-12-17 2010-07-21 한국전자통신연구원 2차원 이미지의 예술적 효과 적용을 위한 이미지 변환 방법 및 장치
US8149210B2 (en) * 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US20100195867A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Visual target tracking using model fitting and exemplar
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8253746B2 (en) * 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US8320619B2 (en) * 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030091225A1 (en) * 1999-08-25 2003-05-15 Eastman Kodak Company Method for forming a depth image from digital image data
CN1764931A (zh) * 2003-02-11 2006-04-26 索尼电脑娱乐公司 实时运动捕捉的方法和设备
US20060050952A1 (en) * 2004-09-03 2006-03-09 Francois Blais Recursive 3D model optimization
US20090002489A1 (en) * 2007-06-29 2009-01-01 Fuji Xerox Co., Ltd. Efficient tracking multiple objects through occlusion

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张 旭等: "面向车牌识别的区域分割技术", 《计算机工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103733227A (zh) * 2012-06-14 2014-04-16 索弗特凯耐提克软件公司 三维对象建模拟合与跟踪
CN103733227B (zh) * 2012-06-14 2017-02-22 索弗特凯耐提克软件公司 三维对象建模拟合与跟踪

Also Published As

Publication number Publication date
US20110032336A1 (en) 2011-02-10
US8467574B2 (en) 2013-06-18
WO2010088034A2 (en) 2010-08-05
US20130129169A1 (en) 2013-05-23
WO2010088034A3 (en) 2010-10-21
US8009867B2 (en) 2011-08-30
US20120287038A1 (en) 2012-11-15
US20100194872A1 (en) 2010-08-05
CN102301398B (zh) 2014-03-05
US9607213B2 (en) 2017-03-28
US20150262001A1 (en) 2015-09-17
US8294767B2 (en) 2012-10-23
US9007417B2 (en) 2015-04-14
US20110109724A1 (en) 2011-05-12
US8897493B2 (en) 2014-11-25

Similar Documents

Publication Publication Date Title
CN102301398B (zh) 用于捕捉场景的深度信息的设备、方法和系统
CN102413885B (zh) 用于对运动捕捉应用模型跟踪的系统和方法
CN102596340B (zh) 用于将动画或运动应用到角色的系统和方法
CN102448562B (zh) 用于跟踪模型的系统和方法
CN102665838B (zh) 用于确定和跟踪目标的肢端的方法和系统
CN102576466B (zh) 用于跟踪模型的系统和方法
CN102448565B (zh) 将骨架数据实时重新定标到游戏化身的系统和方法
CN102448563B (zh) 用于处理场景的深度信息的方法和设备
CN102549619B (zh) 人类跟踪系统
CN102135798B (zh) 仿生学运动
CN102448560B (zh) 经由屏幕上化身进行用户移动反馈的系统和方法
CN102414641B (zh) 改变显示环境内的视图视角
CN102129292B (zh) 在运动捕捉系统中识别用户意图
CN102129293B (zh) 在运动捕捉系统中跟踪用户组
CN102448564B (zh) 环境和/或目标分割
CN105073210B (zh) 使用深度图像的用户身体角度、曲率和平均末端位置提取
CN102129709A (zh) 可视化深度
CN102576463A (zh) 用于移除图像的背景的系统和方法
CN102087738A (zh) 用于为目标跟踪处理图像的系统和方法
CN102207771A (zh) 推断参与运动捕捉系统的用户意图
CN102135799A (zh) 与基于计算机的应用的交互
CN102184009A (zh) 跟踪系统中的手位置后处理精炼
CN102253712A (zh) 用于共享信息的识别系统
CN105144240A (zh) 使用深度图像的用户质心和质量分布提取

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150423

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150423

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.