CN102591459A - 姿势状态分类 - Google Patents

姿势状态分类 Download PDF

Info

Publication number
CN102591459A
CN102591459A CN2011104479308A CN201110447930A CN102591459A CN 102591459 A CN102591459 A CN 102591459A CN 2011104479308 A CN2011104479308 A CN 2011104479308A CN 201110447930 A CN201110447930 A CN 201110447930A CN 102591459 A CN102591459 A CN 102591459A
Authority
CN
China
Prior art keywords
hand
user
body part
image
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104479308A
Other languages
English (en)
Other versions
CN102591459B (zh
Inventor
A·巴兰
M·西迪基
R·M·盖斯
A·A-A·基普曼
O·M·C·威廉姆斯
J·肖顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102591459A publication Critical patent/CN102591459A/zh
Application granted granted Critical
Publication of CN102591459B publication Critical patent/CN102591459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Abstract

披露了姿势状态识别以及估计用户身体部位姿势的系统和方法。在一个披露的实施例中，从传感器接收图像，其中此图像至少包括用户图像中含有此身体部位的一部分。从图像中估计用户的骨架信息，至少部分地基于骨架信息来识别与此身体部位对应的图像区域，提取此区域的形状描述符，并根据训练数据分类此形状描述符以估计此身体部位的姿势。

Description

姿势状态分类
技术领域
本发明涉及交互系统，更具体地，涉及姿势状态分类。
背景技术
无控制器交互系统，例如游戏系统可以至少部分由自然运动控制。在一些例子中，这样的系统可采用深度传感器或者其他合适的传感器来估计用户的运动并将估计的运动转换为对系统的控制台的命令。然而，在估计用户的运动时，这些系统只能估计用户的主要关节，例如骨架估计，并且缺乏检测细微姿势的能力。
发明内容
因此，在此披露涉及用户的身体部位的姿势估计的各实施例。例如，在一个披露的实施例中，从传感器接收图像，其中此图像至少包括用户图像中含有此身体部位的一部分。从图像中估计用户的骨架信息，至少部分地基于骨架信息来识别与此身体部位对应的图像区域，提取此区域的形状描述符，并根据训练数据分类此形状描述符以估计此身体部位的姿势。随后可基于所估计的身体部位的姿势来输出响应。
提供本概述以便以简化形式介绍将在以下的详细描述中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本发明的任一部分中提及的任何或所有缺点的实现。
附图说明
图1示出用户使用由深度摄像机捕捉的自然运动来与无控制器游戏系统的一实施例交互的示意图。
图2示出根据本发明一实施例的确定用户的手部状态的示例性方法。
图3例示根据本发明一实施例的确定用户的手部状态的示例性方法。
图4示意性示出根据本发明的一实施例的计算系统。
具体实施方式
无控制器交互系统，例如图1的10所示的游戏系统可采用捕捉设备12，例如深度摄像机或其他合适的传感器来估计用户14的运动。可以用各种不同方式估计用户14的运动。在一示例性方式中，可采用骨架映射来从用户图像中估计一个或多个关节位置。可将所估计的用户运动转换成对系统的控制台16的命令。在某些示例中，这样的命令可允许用户与在显示设备20上的18处显示的游戏进行交互。例如，当用户14与对象，例如显示在显示设备20上的对象26交互时，可在显示设备20上显示用户14的图像28。
但是运动估计例程，例如骨架映射可能缺乏检测用户的细微姿势的能力。举例来说，这些运动估计例程可能缺乏检测和/或辨别用户的细微手部姿势的能力，例如在图1的22和24处分别示出的用户张开和闭合手部这样的细微手部姿势。
因此下面描述的系统和方法将涉及用户手部状态的确定。举例来说，闭合或张开手部的动作可被这样的系统使用，用于触发诸如选择动作、参与动作、或抓握及拖曳屏幕上的对象(例如对象26)的动作之类的事件，这些动作在使用控制器时将对应于按下按钮。这些经过提炼的无控制器交互可用作基于手部挥舞或回旋的替换，后者可能是非直观或麻烦的。通过此处以下描述的用户手部状态的确定，用户与系统的交互可以更多、更简单，且可以向用户呈现更直观的界面。
图2示出根据本发明一实施例的确定用户手部状态的示例性方法200，图3例示根据本发明一实施例的确定用户手部状态的示例性方法，例如方法200的各种步骤。由于图3包括图2的各步骤的示意图例，以下将结合图2和图3一起描述。
在202，方法200从捕捉设备，例如图1所示的捕捉设备12接收深度图像。捕捉设备可以是捕捉三维图像数据的任意合适设备，例如深度摄像机。捕捉设备捕捉的深度图像包括用户图像中的至少一部分，这一部分包含手部。举例来说，如图1所示，用户14可以和计算系统10交互，计算系统10通过捕捉设备12捕捉用户的图像。
图3中的302例示用户一部分的深度图像。深度图像中的每一像素包含深度信息，例如图3中例示的灰度梯度。举例来说，在302，如用户左手的更黑区域指示的那样，左手比右手更靠近捕捉设备。捕捉设备或深度摄像机捕捉观察场景内的用户。如下所述，用户的深度图像可被用来确定用户的各区域的距离信息、用户的尺寸信息、曲线和用户的骨架信息。
在204，方法200包括从步骤202所获得的深度图像中，估计用户的骨架信息以获得虚拟骨架。举例来说，在图3中示出从302所示的用户深度图像中估计的虚拟骨架304。可以从302的深度图像导出虚拟骨架304从而提供用户(例如用户14)的机器可读表示。可以用任何合适方式来从深度图像中导出虚拟骨架304。在某些实施例中，可以对深度图像应用一种或多种骨架适应算法。应理解可以使用任意合适的骨架建模技术。
虚拟骨架304可包括多个关节，每一关节对应用户的一个部位。为清楚理解，图3的例示是经过简化的。根据本发明的虚拟骨架可包括任意合适数量的关节，每一关节可以几乎任意数量的参数相关联(例如，三维关节位置、关节旋转、对应身体部位的部位姿势等)。应理解虚拟骨架可采取数据结构的形式，其包括用于多个骨架关节中的每个关节的一个或多个参数(例如，包含每一关节的x坐标、y坐标、z坐标和旋转的关节矩阵)。在某些实施例中，可使用其他类型的虚拟骨架(例如线框、形状描述符集合等)。
如前所述，已有的从深度图像进行的运动估计，例如上述的骨架估计，可能缺少检测用户的细微姿势的能力。举例来说，这些运动估计例程可能缺乏检测和/或辨别用户的细微手部姿势的能力，例如在图1的22和24处分别示出的用户张开和闭合手部这样的细微手部姿势。另外，在更深处的深度图像分辨率有限，与不同年龄和/或体型的用户之间的手部尺寸变化、手部相对于捕捉设备的方位变化结合在一起，可能增加检测和分类经过提炼的姿势，例如张开和闭合手部的难度。
但是所估计的这一骨架可用于估计用户的各种其他物理特征。举例来说，骨架数据可用于估计用户身体和/或身体部位尺寸、一个或多个用户身体部位相对于彼此和/或捕捉设备的方位、一个或多个用户身体部位相对于捕捉设备的深度，等等。如以下描述的，随后可利用用户物理特征的这些估计，在检测和分类用户的手部状态时进行标准化和减少差异。
在206，方法200包括分割用户的单手或手。在某些示例中，除手之外，方法200可另外包括分割一个或多个身体区域。
分割用户的手部包括识别深度图像中对应于手部的区域，其中识别至少是部分基于步骤204中所获得的骨架信息。同样地，可以使用与下述类似的方式来识别用户身体的任何区域。在306，图3例示根据所估计的骨架304将用户的深度图像分割成由不同阴影表示的不同区域的示例。特别是，图3示出所定位的手部区域308，其对应用户举起的右手。
可以用各种方式来分割或定位手部或身体区域，并可基于上文描述的骨架估计中识别的选择关节。
作为一示例，深度图像中的手部检测和定位可以是基于所估计的骨架中估计的手腕和/或手末端关节。举例来说，在某些实施例中，深度图像中的手部分割可以是使用以下步骤执行：对手部关节周围的深度图像使用拓扑搜索，定位深度图像中附近的局部极值作为指尖的候选，通过考虑从所估计的骨架中确定的身体尺寸缩放因子以及边界识别的深度不连续性来分割手部的其他部分。
作为另一示例，可采用泛色填充法来鉴别深度图像中与用户手部对应的区域。在泛色填充法中，可以从初始点和初始方向开始搜索深度图像，例如初始点可以是腕关节，初始方向可以是从肘部到腕关节的方向。可基于在初始方向上的投影来迭代存储深度图像中的邻近像素，作为对远离肘部且朝向手末端的点赋予偏好的方式，而可使用深度一致性约束，例如深度不连续性来识别深度图像中用户手部的边界或极值。在某些示例中，例如可使用阈值距离值，基于固定值或按比例地基于用户估计尺寸同时在初始方向的正向和反向上限制深度图搜索。
作为另一示例，可使用根据骨架关节(例如腕或手末端关节)放置的边界圆或其他合适的边界形状来包含深度图像中的所有像素，直到深度不连续。例如，可将窗口划过边界圆以识别深度不连续，这可用于在深度图像的手部区域中建立边界。
在某些方法中，当用户向外举起手或将手举过躯干时可执行手部区域分割。这样，由于手部区域更容易和身体区分，因此深度图像中的手部区域识别会较不模糊。
应理解上述的示例性手部分割的例子是作为举例目的提出，并不旨在限制本发明的范围。通常，任何手部或身体部位分割方法都可单独使用，彼此结合使用，和/或与上述的一种示例性方法结合使用。
继续图2的方法200，在208，方法200包括提取区域，例如在206中识别的深度图像中与手部对应的区域的形状描述符。在步骤208提取的形状描述符可以是手部区域的任意合适的表示，其用于例如基于下述的训练数据来分类手部区域。在某些实施例中，形状描述符可以是用于编纂或描述手部区域形状的矢量或数字集合。
在某些示例中，形状描述符可以是相对于一个或多个变换，例如一致(平移、旋转、映像等)、等距、深度改变等保持不变。例如，可以用这样一种方式提取形状描述符，使之对手部相对于捕捉设备或传感器的方位或位置保持不变。还可使形状描述符相对于映像不变，在这一情况下，不区分左手和右手。此外，如果形状描述符不是相对于映像不变的，则它一直需要被通过左右翻转输入图像来进行镜像，从而使每一只手的训练数据量加倍。此外，形状描述符可被基于估计的身体尺寸标准化，从而相对于不同用户之间的身体和或手部差异保持基本不变。另选地，可预先执行校准步骤，其中预估计个人尺寸，在这种情况下，描述符不必是尺寸不变的。
作为形状描述符提取的一个示例，可构建在步骤206中识别的手部区域中与手部区域质心的距离柱状图。例如，这一柱状图可包括15个柱，其中每个柱包括手部区域中到质心的距离在特定距离范围内的点的数量，这一特定距离范围与这个柱关联。例如，这一柱状图中的第一个柱可包括手部区域中到质心的距离在0和0.40厘米之间的点的数量，第二个柱包括手部区域中到质心的距离在0.4和0.80厘米之间的点的数量，以此类推。这样，可构建一个矢量来编纂手部的形状。这些矢量例如还可根据估计的身体尺寸被标准化。
在另一示例性方法中，可基于手部区域中的点到关节的距离和/或角度、来自用户的估计骨架(例如肘关节、腕关节)的骨节或手掌平面等来构建柱状图。
形状描述符的另一示例是傅里叶描述符。傅里叶描述符的构建包括编纂手部区域的轮廓，例如通过将手部区域中从每一像素到手部区域的周界的距离对照手部边界的椭圆匹配的半径绘图，然后在图上执行傅里叶变换。此外，可相对于所估计的身体尺寸标准化这些描述符。这些描述符可以是相对于平移、缩放和转换不变的。
构建形状描述符的另一示例包括确定手部的凸性，例如通过确定手部区域的轮廓中一个区域相对于手部区域的凸包的比例。
应理解，上述的这些示例性描述符本质上是示例性的，并非旨在限制本发明的范围。通常，手部区域的任意合适形状描述符都可单独使用，或彼此结合使用，和/或与上述的一种示例性方法结合使用。例如，诸如上述的柱状图或矢量的形状描述符可以混合并匹配、结合、和/或连接到更大的矢量中，等等。这可允许识别那些不能够通过孤立地查看它们来识别的新图案。
继续方法200，在210，方法200包括分类手部的状态。例如，可根据训练数据对在步骤208提取的形状描述符进行分类以估计手部的状态。举例来说，如图3的310处所例示，手部可被分类为张开或闭合。在某些示例中，训练数据可包括经过标注的各种手部状态的深度图像示例。训练数据可以是真实的或合成生成的，描绘不同身体尺寸和手臂方位的全部或上身3D模型以及不同的连贯手部姿势，这些不同的连贯手部姿势是基于运动捕捉或手工设计的手部姿势。可降低合成图像的质量以模拟有噪声的真实图像。
在某些示例中，在分类步骤210中使用的训练数据可以是基于预先确定的手部示例集合。可以对照手部区域的形状描述符比较各个手部状态，根据各个手部状态来分组或标注手部示例。
在某些示例中，可使用不同的元数据来划分训练数据。例如，训练数据可包括多个手部状态示例并例如根据以下的一个或多个进行划分：手的侧向(例如左或右)，手的方位(例如低手臂角度或低手臂方位)，深度，和/或用户的身体尺寸。将这些训练手部示例划分为单独的子集可降低每一部分中手部形状的变化性，这使得手部状态的整体分类更准确。
另外在某些示例中，训练数据可以是特定于个别应用程序的。也就是说，训练数据可依赖于在给定应用程序中的期望动作，例如游戏中的期望活动等。此外在某些示例中，训练数据可以是用户特定的。例如，应用程序或游戏可包括训练模块，其中用户执行一个或多个训练练习以校准训练数据。例如，用户可作出一系列张开或闭合手的姿势以建立训练数据集，训练数据集用于在与系统的后续交互期间估计用户手部状态。
可以各种方式给予训练示例来执行用户手部分类。例如，可在分类中采用各种机器学习技术。非限制性示例包括：支持矢量机训练、回归、近邻取样、(未)监督聚类等等。
如上所述，这些分类技术可使用各种手部状态的标注深度图像示例，用于预测所观察的手部是多个状态之一的可能性。另外，可以在分类步骤期间或之后向分类添加置信度。例如，可以根据训练数据或通过将S函数或其他合适的误差函数适配到分类步骤的输出，来将置信区间赋予所估计的手部状态。
作为分类手部状态的简单、非限制性示例，有两种可能的手部状态，张开或闭合，例如图3的310处所示。在这一示例中，训练数据可包括两种标注手部集合：表示张开或近似张开的手部状态的手部示例的第一集合和表示闭合或近似闭合的手部状态的手部示例的第二集合。这样，当给定识别的手部区域的提取的形状描述符时，可以将识别的手部区域的提取的形状描述符与第一(张开)和第二(闭合)手部集合的手部示例比较以确定识别的手部区域落入每一集合的可能性。随后可根据更高的可能性估计出手部的状态。
例如，如图3的310处所示，识别的手部区域被确定为有更高的可能性是张开的，从而被如此分类。另外在某些示例中，被确定的识别的手部为特定手部状态的可能性可以用来建立手部状态估计的置信区间。
可采用各种分类后滤波步骤来提高手部状态估计的准确性。因此方法200在211可包括滤波步骤。例如，可对预测的连续深度图像帧之间的手部状态应用时间一致性滤波，如低通滤波步骤，以平滑预测并减少时间抖动，例如由虚假手部运动、传感器噪声、或偶然分类错误引起的时间抖动。也就是说，可执行根据来自捕捉设备或传感器的多个深度图像的用户手部的多个状态的估计，以及执行多个估计的时间滤波以估计手部状态。此外，在某些示例中，分类结果可以偏向一个状态或另一状态(例如偏向张开或闭合手)，因为某些应用程序可能比其他应用程序对虚假正值(在一个方向或另一方向)更敏感。
继续方法200，方法200在212包括基于所估计的手部状态输出响应。例如可输出命令给计算系统的控制台，例如计算系统10的控制台16。作为另一示例，可输出响应给显示设备，例如显示设备20。这样，估计的用户运动，包括估计的手部状态可被转换成给系统10的控制台16的命令，从而用户可以如上述般与系统交互。此外，可执行上述的方法或过程以确定用户身体任何部位的状态估计，例如嘴巴、眼睛等。例如，可以使用上述的方法估计用户身体部位的姿势。
此处描述的方法和过程可以结合到各种不同类型的计算系统。上述的计算系统10是非限制性的示例系统，其包括游戏控制台16、显示设备20、以及捕捉设备12。作为另一更通用的示例，图4示意性地示出可执行此处描述方法和过程中的一个或多个的计算系统400。计算系统400可采用各种不同形式，包括但不限于，游戏控制台、个人计算系统、以及音频/视觉剧场、以及其它。
计算系统400可包括逻辑子系统402、在操作上连接到逻辑子系统的数据保存子系统404、显示子系统406、和/或捕捉设备408。计算系统可任选地包括未示出于图4中的组件，并且/或者示出于图4中的某些组件可以是未被整合到计算系统中的周边组件。此外，计算系统400可以是网络，例如局域网或广域网的一部分。
逻辑子系统402可包括被配置成执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统402可被配置成执行一个或多个指令，该一个或多个指令是一个或多个程序、例程、对象、组件、数据结构、或其它逻辑构造的一部分。可实现此类指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其它方式得到所需结果。逻辑子系统可包括被配置成执行软件指令的一个或多个处理器。另外或另选地，逻辑子系统402可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统402可任选地包括分布在两个或多个设备上的独立组件，这些独立组件在某些实施例中可远程放置。
数据保存子系统404可包括一个或多个物理设备，该一个或多个设备被配置成保存可由逻辑子系统执行以实现此处所述的方法和过程的数据和/或指令。在实现了此类方法和过程时，可变换数据保存子系统404的状态(例如，保存不同数据)。数据保存子系统404可包括可移动介质和/或内建设备。数据保存子系统704可包括光存储设备、半导体存储和储存设备(例如RAM、EEPROM，闪存等)、和/或磁储存设备，以及其它。数据保存子系统404可以包括带有以下各项特征中的一个或多个的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可将逻辑子系统402和数据保存子系统404集成到一个或多个常见设备中，如专用集成电路或片上系统。
图4还示出使用计算机可读可移动储存介质416形式，例如DVD、CD、软盘、和/或磁带驱动器的数据保存子系统的一方面，该方面可用于存储和/或传送可执行以实现此处所述的方法和过程的数据和/或指令。
显示子系统406可用于呈现由数据保存子系统404保存的数据的可视表示。由于此处所描述的方法和过程改变了由数据保存子系统保持的数据，并由此转变了数据保存子系统的状态，可类似地转变显示子系统406的状态以可视地表示底层数据中的改变。显示子系统406可包括使用几乎任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑子系统402和/或数据保存子系统404一起组合在共享封装中，或此类显示设备可以是外围显示设备。
计算系统400还包括被配置成获得一个或多个目标和/或场景的深度图像的捕捉设备408。捕捉设备408可被配置成通过任何合适的技术(例如飞行时间、结构化光、立体图像等)捕捉具有深度信息的视频。这样，捕捉设备408可包括深度摄像机、视频摄像机、立体摄像机、和/或其他合适的捕捉设备。
例如，在飞行时间分析中，捕捉设备408可发射红外光到场景，随后使用传感器检测来自场景表面的反向散射光。在某些情形中，可以使用脉冲式红外光，其中可以测量出射光脉冲和相应的入射光脉冲之间的时间差并将其用于确定从捕捉设备到场景中的特定位置的物理距离。在某些情形中，可比较向外的光波的相位和向内的光波的相位以确定相位偏移，相位偏移可用于确定从捕捉设备到场景中的特定位置的物理距离。
在另一示例中，可使用飞行时间分析，通过经由例如快门式光脉冲成像的技术来分析反射光束随时间的强度变化以间接地确定从捕捉设备到场景中的特定位置的物理距离。
在另一示例中，捕捉设备408可利用结构化光分析来捕捉深度信息。在这一分析中，图案化光(例如，被显示为诸如网格图案或条纹图案等已知图案的光)可被投影到场景上。在场景的表面上，图案成为变形的，而图案的这一变形可被研究以确定从捕捉设备到场景中的特定位置的物理距离。
在另一示例中，捕捉设备可包括两个或更多物理上分离的摄像机，它们从不同角度观察场景以获得可视立体数据。在这些情形中，可分解可视立体数据以生成深度图像。
在其他实施例中，捕捉设备408可利用其他技术测量和/或计算深度值。
在某些实施例中，可将两个或更多摄像机整合到一个集成捕捉设备中。例如，可将深度摄像机和视频摄像机(例如RGB视频摄像机)整合到共同的捕捉设备中。在某些实施例中，可协同使用两个或更多单独的捕捉设备。例如，可使用深度摄像机和分离的视频摄像机。当使用视频摄像机时，它可用于提供目标追踪数据、确认数据以用于场景分析、图像捕捉、脸部识别、高精度手指(或其他小特征)追踪、光感应、和或其他功能的错误修正。在某些实施例中，可将两个或更多深度和/或RGB摄像机放置在主题的不同侧面以获得此主题的更完整3D模型，或进一步改善手部周围观察的分辨率。在其他实施例中，可使用单个摄像机以例如获得RGB图像，且可基于颜色，例如手部的颜色来分割图像。
应理解可由一个或多个捕捉设备的逻辑机器来执行至少某些深度分析操作。捕捉设备可包括被配置为执行一个或多个深度分析功能的一个或多个板上处理单元。捕捉设备可包括固件以帮助更新这样的板上处理逻辑。
例如，计算系统400还可包括被配置成执行一个或多个指令的各种子系统，该一个或多个指令是一个或多个程序、例程、对象、组件、数据结构、或其它逻辑构造的一部分。这样的子系统可以在操作上连接到逻辑子系统402和/或数据保存子系统404。在某些示例中，这些子系统可被实现为储存在可移动或不可移动的计算机可读储存介质上的软件。
例如，计算系统400可包括被配置为识别深度图像中与手部对应的区域的图像分割子系统410，这一识别至少部分地基于骨架信息。计算系统400可另包括描述符提取子系统412，其被配置为提取被图像分割子系统410识别的区域的形状描述符。计算系统400还可包括分类器子系统414，其被配置为基于训练数据分类形状描述符以估计手部状态。
应该理解，此处所述的配置和/或方法在本质上示例性的，且这些具体实施例或示例不应视为限制性的，因为可能存在许多种变体。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行、或者在某些情况下省略。同样，可以改变上述过程的次序。
应理解，在此描述的检测张开和闭合手部的示例本质上是示例性的，并非旨在限制本发明的范围。在此描述的方法和系统可被应用于估计深度图像中的各种提炼的姿势。例如，可使用在此描述的系统和方法来估计各种其他手部轮廓。非限制性示例包括：拳头姿势、张开的手掌姿势、手指指点等。
本发明的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合、和此处所公开的其它特征、功能、动作、和/或特性、以及其任何和全部等效物。

Claims (10)

1.用于估计用户身体部位的姿势的方法(200)，包括：
从传感器(12)接收(202)图像(28)，所述图像(28)包括用户(14)的图像中的至少一部分，所述至少一部分含有所述身体部位；
从所述图像(28)估计(204)所述用户(14)的骨架信息；
识别(206)所述图像(28)中对应于所述身体部位的区域(308)，所述识别至少部分地基于所述骨架信息；
提取(208)所述区域(308)的形状描述符；
基于训练数据分类(210)所述形状描述符来估计所述身体部位的姿势；以及
根据所估计的身体部位的姿势输出(212)响应。
2.如权利要求1所述的方法，还包括根据所述骨架信息中各关节之间的至少一段距离来估计身体尺寸缩放因子，并根据所述身体尺寸缩放因子标准化所述形状描述符。
3.如权利要求2所述的方法，其中识别所述图像中对应于所述身体部位的区域包括使用基于所述身体尺寸缩放因子的地形搜索。
4.如权利要求1所述的方法，其中识别所述图像中对应于所述身体部位的区域是至少部分地基于泛色填充法。
5.如权利要求1所述的方法，其中所述身体部位是手，且估计所述身体部位的姿势包括估计手是张开或是闭合。
6.如权利要求1所述的方法，还包括根据来自所述传感器的多个图像来估计所述身体部位的多个姿势，并且执行多个估计的时间滤波以估计所述身体部位的估计姿势。
7.如权利要求1所述的方法，还包括向所述身体部位的估计姿势分配置信区间。
8.如权利要求1所述的方法，其中基于训练数据分类所述形状描述符来估计所述身体部位的姿势是基于至少一种机器学习技术。
9.如权利要求1所述的方法，其中所述身体部位是手，且所述训练数据基于元数据来划分，所述元数据包括以下至少之一：手的方位、低手臂角度、低手臂方位、深度、以及用户的身体尺寸。
10.一种包括储存于其上的指令的计算机可读储存介质，所述指令可被计算设备(400)执行以：
从深度摄像机(12)接收(202)深度图像(28)，所述深度图像(28)包括用户(14)的图像中的至少一部分，所述至少一部分含有手；
从所述深度图像(28)估计(204)所述用户(14)的骨架信息；
识别(206)所述深度图像(28)中对应于所述手的区域(308)，所述识别至少部分地基于所述骨架信息；
提取(208)所述区域(308)的形状描述符；
基于训练数据分类(210)所述形状描述符来估计所述手的姿势，其中所述训练数据是基于元数据来划分，所述元数据包括以下至少之一：手的方位、深度、以及用户的身体尺寸；以及
基于所估计的手的估计状态输出(212)响应。
CN201110447930.8A 2010-12-28 2011-12-28 姿势状态分类 Active CN102591459B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/979,897 US8488888B2 (en) 2010-12-28 2010-12-28 Classification of posture states
US12/979,897 2010-12-28

Publications (2)

Publication Number Publication Date
CN102591459A true CN102591459A (zh) 2012-07-18
CN102591459B CN102591459B (zh) 2014-10-29

Family

ID=46316896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110447930.8A Active CN102591459B (zh) 2010-12-28 2011-12-28 姿势状态分类

Country Status (3)

Country Link
US (1) US8488888B2 (zh)
CN (1) CN102591459B (zh)
HK (1) HK1171543A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970455A (zh) * 2013-01-28 2014-08-06 联想(北京)有限公司 一种信息处理方法及电子设备
CN104778661A (zh) * 2014-01-10 2015-07-15 北京三星通信技术研究有限公司 在姿态估计中使用的骨架平滑方法和设备
CN105229677A (zh) * 2012-12-14 2016-01-06 微软技术许可有限责任公司 用于机器学习的资源分配
WO2016045501A1 (zh) * 2014-09-24 2016-03-31 阿里巴巴集团控股有限公司 搜索方法及装置
CN105579933A (zh) * 2013-06-11 2016-05-11 快步科技有限责任公司 表征与测量界面进行交互的感兴趣的对象的方法和实现所述方法的设备
CN105917356A (zh) * 2014-01-14 2016-08-31 微软技术许可有限责任公司 对象的基于轮廓的分类
CN108498102A (zh) * 2018-05-31 2018-09-07 北京上达医疗科技有限公司 康复训练方法及装置、存储介质、电子设备
CN109564432A (zh) * 2016-08-05 2019-04-02 深圳市大疆创新科技有限公司 通过姿势与可移动设备通信/控制可移动设备的方法和相关系统
CN110945869A (zh) * 2017-04-19 2020-03-31 维多尼股份公司 利用运动捕捉的虚拟手的增强现实学习系统和方法
CN112739257A (zh) * 2018-09-19 2021-04-30 皇家飞利浦有限公司 用于提供骨架模型的设备、系统和方法
CN114097008A (zh) * 2019-11-14 2022-02-25 腾讯美国有限责任公司 用于统一的帕金森病评定量表中定义的手部活动的自动识别的系统和方法

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788848B2 (en) 2007-03-22 2014-07-22 Microsoft Corporation Optical DNA
US8837721B2 (en) 2007-03-22 2014-09-16 Microsoft Corporation Optical DNA based on non-deterministic errors
US9135948B2 (en) * 2009-07-03 2015-09-15 Microsoft Technology Licensing, Llc Optical medium with added descriptor to reduce counterfeiting
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US8488888B2 (en) 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
US9011293B2 (en) * 2011-01-26 2015-04-21 Flow-Motion Research And Development Ltd. Method and system for monitoring and feed-backing on execution of physical exercise routines
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US8761437B2 (en) * 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US8571263B2 (en) * 2011-03-17 2013-10-29 Microsoft Corporation Predicting joint positions
US10671841B2 (en) 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification
US8929612B2 (en) * 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
AU2011203028B1 (en) * 2011-06-22 2012-03-08 Microsoft Technology Licensing, Llc Fully automatic dynamic articulated model calibration
US20130077820A1 (en) * 2011-09-26 2013-03-28 Microsoft Corporation Machine learning gesture detection
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9350951B1 (en) * 2011-11-22 2016-05-24 Scott Dallas Rowe Method for interactive training and analysis
US8989455B2 (en) * 2012-02-05 2015-03-24 Apple Inc. Enhanced face detection using depth information
US9588582B2 (en) 2013-09-17 2017-03-07 Medibotics Llc Motion recognition clothing (TM) with two different sets of tubes spanning a body joint
EP3007039B1 (en) * 2012-07-13 2018-12-05 Sony Depthsensing Solutions SA/NV Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand
FR2995430B1 (fr) * 2012-09-10 2015-10-02 Merim Digital Media Cabine d'essayage interactive et procede d'interaction avec ladite cabine d'essayage
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
JP2014137627A (ja) 2013-01-15 2014-07-28 Sony Corp 入力装置、出力装置および記憶媒体
US9161708B2 (en) 2013-02-14 2015-10-20 P3 Analytics, Inc. Generation of personalized training regimens from motion capture data
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US20150019017A1 (en) * 2013-07-12 2015-01-15 Whirlpool Corporation Home appliance and method of operating a home appliance
US9529513B2 (en) 2013-08-05 2016-12-27 Microsoft Technology Licensing, Llc Two-hand interaction with natural user interface
WO2015021381A1 (en) * 2013-08-08 2015-02-12 University Of Florida Research Foundation, Incorporated Real-time reconstruction of the human body and automated avatar synthesis
TWI505135B (zh) * 2013-08-20 2015-10-21 Utechzone Co Ltd 顯示畫面的控制系統、輸入裝置及控制方法
CN103735268B (zh) * 2013-09-29 2015-11-25 沈阳东软医疗系统有限公司 一种体位检测方法及系统
US10283005B2 (en) * 2013-10-24 2019-05-07 Huawei Device Co., Ltd. Image display method and apparatus
US20150123901A1 (en) * 2013-11-04 2015-05-07 Microsoft Corporation Gesture disambiguation using orientation information
EP2892007A3 (en) 2014-01-03 2015-08-26 Tata Consultancy Services Limited Static posture based person identification
EP2891950B1 (en) 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
US9773155B2 (en) 2014-10-14 2017-09-26 Microsoft Technology Licensing, Llc Depth from time of flight camera
US9911235B2 (en) * 2014-11-14 2018-03-06 Qualcomm Incorporated Spatial interaction in augmented reality
US9886769B1 (en) * 2014-12-09 2018-02-06 Jamie Douglas Tremaine Use of 3D depth map with low and high resolution 2D images for gesture recognition and object tracking systems
WO2016183020A1 (en) 2015-05-11 2016-11-17 Magic Leap, Inc. Devices, methods and systems for biometric user recognition utilizing neural networks
CN104915126B (zh) * 2015-06-19 2018-01-26 长沙致天信息科技有限责任公司 智能交互方法和系统
US9940730B2 (en) 2015-11-18 2018-04-10 Symbol Technologies, Llc Methods and systems for automatic fullness estimation of containers
US10713610B2 (en) 2015-12-22 2020-07-14 Symbol Technologies, Llc Methods and systems for occlusion detection and data correction for container-fullness estimation
CA3015658A1 (en) 2016-03-11 2017-09-14 Magic Leap, Inc. Structure learning in convolutional neural networks
US10311746B2 (en) * 2016-06-14 2019-06-04 Orcam Technologies Ltd. Wearable apparatus and method for monitoring posture
US10860088B2 (en) * 2018-05-03 2020-12-08 Microsoft Technology Licensing, Llc Method and system for initiating application and system modal control based on hand locations
US10783656B2 (en) 2018-05-18 2020-09-22 Zebra Technologies Corporation System and method of determining a location for placement of a package
US11210855B2 (en) * 2018-06-29 2021-12-28 Ssam Sports, Inc. Analyzing 2D movement in comparison with 3D avatar
EP3770803A4 (en) 2018-08-20 2021-06-02 Beijing Sensetime Technology Development Co., Ltd. ORIENTATION DETECTION PROCESS AND DEVICE, ELECTRONIC DEVICE AND RECORDING MEDIA
JP6623366B1 (ja) * 2019-03-27 2019-12-25 株式会社ＭＡＲＵＩ−ＰｌｕｇＩｎ 経路認識方法、経路認識装置、経路認識プログラム、及び経路認識プログラム記録媒体
WO2020236993A1 (en) 2019-05-21 2020-11-26 Magic Leap, Inc. Hand pose estimation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6788809B1 (en) * 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US20060274947A1 (en) * 2005-03-17 2006-12-07 Kikuo Fujimura Pose estimation based on critical point analysis
CN100409261C (zh) * 2003-02-11 2008-08-06 索尼电脑娱乐公司 实时运动捕捉的方法和设备
CN101246602A (zh) * 2008-02-04 2008-08-20 东华大学 基于几何骨架的人体姿态重建方法
US20100034457A1 (en) * 2006-05-11 2010-02-11 Tamir Berliner Modeling of humanoid forms from depth maps
US20100194872A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Body scan

Family Cites Families (173)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5774591A (en) 1995-12-15 1998-06-30 Xerox Corporation Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
JP2001504605A (ja) 1996-08-14 2001-04-03 ラティポフ，ヌラフメド，ヌリスラモビチ 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
WO2000034919A1 (en) 1998-12-04 2000-06-15 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
DE10080012B4 (de) 1999-03-19 2005-04-14 Matsushita Electric Works, Ltd., Kadoma Dreidimensionales Verfahren zum Erkennen von Gegenständen und System zum Aufnehmen eines Gegenstandes aus einem Behältnis mit Verwendung des Verfahrens
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7007035B2 (en) 2001-06-08 2006-02-28 The Regents Of The University Of California Parallel object-oriented decision tree system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US20030085887A1 (en) 2001-11-06 2003-05-08 Smartequip, Inc. Method and system for identifying objects using a shape-fitting algorithm
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
KR100575906B1 (ko) 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US7257237B1 (en) 2003-03-07 2007-08-14 Sandia Corporation Real time markerless motion tracking using linked kinematic chains
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
FI118062B (fi) 2003-04-30 2007-06-15 Nokia Corp Pienimuistinen päätöspuu
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
EP3190546A3 (en) 2003-06-12 2017-10-04 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
EP2487624B1 (en) 2005-01-07 2020-02-19 Qualcomm Incorporated(1/3) Detecting and tracking objects in images
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
BRPI0613165A2 (pt) 2005-05-17 2010-12-21 Gesturetek Inc saìda de sinal sensìvel à orientação
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
KR100776801B1 (ko) 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7801924B2 (en) 2006-12-28 2010-09-21 Infosys Technologies Ltd. Decision tree construction via frequent predictive itemsets and best attribute splits
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8005263B2 (en) 2007-10-26 2011-08-23 Honda Motor Co., Ltd. Hand sign recognition using label assignment
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US8290882B2 (en) 2008-10-09 2012-10-16 Microsoft Corporation Evaluating decision trees on a GPU
US20100195867A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Visual target tracking using model fitting and exemplar
US8577085B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
KR101617645B1 (ko) * 2009-02-24 2016-05-04 삼성전자주식회사 디스플레이 제어 방법 및 이를 이용한 장치
WO2010099035A1 (en) 2009-02-25 2010-09-02 Honda Motor Co., Ltd. Body feature detection and human pose estimation using inner distance shape contexts
US9628755B2 (en) * 2010-10-14 2017-04-18 Microsoft Technology Licensing, Llc Automatically tracking user movement in a video chat application
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US8488888B2 (en) 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6788809B1 (en) * 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
CN100409261C (zh) * 2003-02-11 2008-08-06 索尼电脑娱乐公司 实时运动捕捉的方法和设备
US20060274947A1 (en) * 2005-03-17 2006-12-07 Kikuo Fujimura Pose estimation based on critical point analysis
US20100034457A1 (en) * 2006-05-11 2010-02-11 Tamir Berliner Modeling of humanoid forms from depth maps
CN101246602A (zh) * 2008-02-04 2008-08-20 东华大学 基于几何骨架的人体姿态重建方法
US20100194872A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Body scan

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10417575B2 (en) 2012-12-14 2019-09-17 Microsoft Technology Licensing, Llc Resource allocation for machine learning
CN105229677A (zh) * 2012-12-14 2016-01-06 微软技术许可有限责任公司 用于机器学习的资源分配
CN103970455A (zh) * 2013-01-28 2014-08-06 联想(北京)有限公司 一种信息处理方法及电子设备
CN105579933A (zh) * 2013-06-11 2016-05-11 快步科技有限责任公司 表征与测量界面进行交互的感兴趣的对象的方法和实现所述方法的设备
CN104778661A (zh) * 2014-01-10 2015-07-15 北京三星通信技术研究有限公司 在姿态估计中使用的骨架平滑方法和设备
CN105917356A (zh) * 2014-01-14 2016-08-31 微软技术许可有限责任公司 对象的基于轮廓的分类
WO2016045501A1 (zh) * 2014-09-24 2016-03-31 阿里巴巴集团控股有限公司 搜索方法及装置
CN109564432A (zh) * 2016-08-05 2019-04-02 深圳市大疆创新科技有限公司 通过姿势与可移动设备通信/控制可移动设备的方法和相关系统
US11042167B2 (en) 2016-08-05 2021-06-22 SZ DJI Technology Co., Ltd. Methods and associated systems for communicating with/controlling moveable devices by gestures
CN109564432B (zh) * 2016-08-05 2022-02-15 深圳市大疆创新科技有限公司 通过姿势与可移动设备通信/控制可移动设备的方法和相关系统
US11691729B2 (en) 2016-08-05 2023-07-04 SZ DJI Technology Co., Ltd. Methods and associated systems for communicating with/controlling moveable devices by gestures
CN110945869A (zh) * 2017-04-19 2020-03-31 维多尼股份公司 利用运动捕捉的虚拟手的增强现实学习系统和方法
CN108498102A (zh) * 2018-05-31 2018-09-07 北京上达医疗科技有限公司 康复训练方法及装置、存储介质、电子设备
CN108498102B (zh) * 2018-05-31 2023-12-29 北京上达医疗科技有限公司 康复训练方法及装置、存储介质、电子设备
CN112739257A (zh) * 2018-09-19 2021-04-30 皇家飞利浦有限公司 用于提供骨架模型的设备、系统和方法
CN114097008A (zh) * 2019-11-14 2022-02-25 腾讯美国有限责任公司 用于统一的帕金森病评定量表中定义的手部活动的自动识别的系统和方法

Also Published As

Publication number Publication date
US20120163723A1 (en) 2012-06-28
US8488888B2 (en) 2013-07-16
HK1171543A1 (zh) 2013-03-28
CN102591459B (zh) 2014-10-29

Similar Documents

Publication Publication Date Title
CN102591459B (zh) 姿势状态分类
CN107466411B (zh) 二维红外深度感测
Ramanan et al. Tracking people by learning their appearance
Shotton et al. Real-time human pose recognition in parts from single depth images
Shotton et al. Real-time human pose recognition in parts from single depth images
JP2022036143A (ja) 物体追跡システム、物体追跡装置、および物体追跡方法
CN113196296A (zh) 使用几何上下文检测人群中的对象
EP2843621A1 (en) Human pose calculation from optical flow data
US9805256B2 (en) Method for setting a tridimensional shape detection classifier and method for tridimensional shape detection using said shape detection classifier
CN103597515A (zh) 用于识别张开的或闭合的手的系统
KR20150108888A (ko) 제스처 인식을 위한 부분 및 상태 검출
Morimitsu et al. Exploring structure for long-term tracking of multiple objects in sports videos
Li et al. Robust multiperson detection and tracking for mobile service and social robots
US20190279382A1 (en) 4d tracking
Stenger et al. A vision-based remote control
Chan et al. Object proposal algorithms in the wild: Are they generalizable to robot perception?
Cancela et al. Multiple human tracking system for unpredictable trajectories
Seer et al. Kinects and human kinetics: a new approach for studying crowd behavior
Tang et al. Fusion of local appearance with stereo depth for object tracking
Fihl et al. Invariant gait continuum based on the duty-factor
Lee et al. OPTIMUS: Online persistent tracking and identification of many users for smart spaces
Mao Tracking a tennis ball using image processing techniques
Jiang et al. Real-time multiple people hand localization in 4d point clouds
CAULFIELD Mean-Shift Tracking for Surveillance: Evaluations and Enhancements
Braslavskiy et al. Developing an AI-System for Analyzing Games of Team Sports Using VR/AR Technology

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1171543

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150424

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150424

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1171543

Country of ref document: HK