CN102645973A - 用于减轻环境因素的环境修改 - Google Patents

用于减轻环境因素的环境修改 Download PDF

Info

Publication number
CN102645973A
CN102645973A CN2012100231755A CN201210023175A CN102645973A CN 102645973 A CN102645973 A CN 102645973A CN 2012100231755 A CN2012100231755 A CN 2012100231755A CN 201210023175 A CN201210023175 A CN 201210023175A CN 102645973 A CN102645973 A CN 102645973A
Authority
CN
China
Prior art keywords
depth
degree
environment
people
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100231755A
Other languages
English (en)
Other versions
CN102645973B (zh
Inventor
P·玛萨立克尔
A·里奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102645973A publication Critical patent/CN102645973A/zh
Application granted granted Critical
Publication of CN102645973B publication Critical patent/CN102645973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/217Input arrangements for video game devices characterised by their sensors, purposes or types using environment-related information, i.e. information generated otherwise than by the player, e.g. ambient temperature or humidity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55Details of game data or player data management
    • A63F2300/5546Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/6045Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics

Abstract

本发明涉及用于减轻环境因素的环境修改。一种用于深度成像的方法,包括从深度相机获取深度图像;标识使深度图像中的一个或多个部分中的深度信息无效的环境因素;以及输出环境修改以减轻该环境因素。

Description

用于减轻环境因素的环境修改
技术领域
本发明涉及用于减轻环境因素的环境修改。
背景技术
视频游戏系统可以利用深度相机来捕捉游戏玩家的图像,并且将该信息转换成深度图,所述深度图用于对游戏玩家的虚拟骨架进行建模。通常,深度相机使用所投影的红外光来确定所成像的场景中的物体的深度。当环境因素扰乱了相机接收所投影的红外光这一能力时,可能妨碍对场景中的物体深度的精确确定。
发明内容
提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。此外,所请求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。
因此,公开了一种系统,其用于从深度相机获取深度图像;标识使深度图像中的一个或多个区域中的深度信息无效的一个或多个环境因素;以及输出环境修改以减轻该环境因素。
附图说明
图1根据本发明的一实施例示出查看所观察的场景的深度图像分析系统。
图2在某种程度上示意性地示出用虚拟骨架来对人类目标建模。
图3是描述用于标识使深度信息无效的环境因素以及输出环境修改以减轻该环境因素的方法的流程图。
图4示意性地示出了深度相机所捕捉的人类目标的测试图像和控制图像。
图5是预定问题类别和基于该问题类别的修改的示例。
图6示意性地示出根据本发明的实施例的计算系统。
具体实施方式
诸如3D视觉游戏系统等深度图像分析系统可包括能够观察一个或多个玩家的深度相机。当深度相机捕捉所观察的场景(即深度相机的视野内的所成像场景)内的玩家的图像时,那些图像可被解释并用一个或多个虚拟骨架来建模。如下面更详细描述的那样,环境中的因素可能导致深度相机所捕捉的深度图像出现问题,造成这些深度图像中的无效深度信息区域。例如,场景中的高水平的环境光可能干扰对玩家的成像。另外,如果所成像的玩家穿着低反射率的服装,则深度相机精确地对整个玩家成像的能力可能更低。这些环境因素可能扰乱对玩家的成像和随后的建模。
图1示出了深度图像分析系统10的非限制性示例。具体而言,图1示出了游戏系统12,该游戏系统12可以用于玩各种不同的游戏、播放一个或多个不同的媒体类型、和/或控制或操纵非游戏应用和/或操作系统。图1还示出了诸如电视机或计算机监视器之类的可用于向游戏玩家呈现游戏视觉的显示设备14。作为一个示例,显示设备14可用于在视觉上呈现人类目标18用其移动来控制的虚拟化身16。深度图像分析系统10可包括捕捉设备,诸如在视觉上监视或跟踪所观察的场景24内的人类目标18的深度相机22。参考图2和6更详细地讨论深度相机22。
人类目标18这里被示为所观察的场景24内的游戏玩家。人类目标18由深度相机22来跟踪,使得人类目标18的移动可被游戏系统12解释成可被用于影响游戏系统12正在执行的游戏的控制。换言之,人类目标18可使用他或她的移动来控制游戏。人类目标18的移动可以被解释成基本上任何类型的游戏控制。人类目标18的某些移动可被解释成用于除控制虚拟化身16以外目的的控制。作为非限制性示例,人类目标18的移动可被解释为操纵虚拟赛车、开火虚拟武器、以第一人视角导航虚拟世界、或者操纵模拟世界的各个方面的控制。移动还可被解释为辅助游戏管理控制。例如,人类目标18可以使用移动来结束、暂停、保存、选择级别、查看高分、与其他玩家交流等。
深度相机22还可以用于将目标移动解释成游戏领域之外的操作系统和/或应用控制。操作系统和/或应用的基本上任何可控方面都可以由人类目标18的移动来控制。图1中所示出的场景是作为示例来提供的,但并不意味着以任何方式进行限制。相反,所示出的场景旨在展示可以在不背离本公开的范围的情况下应用于各种各样不同的应用的一般概念。
此处描述的方法和过程可以结合到各种不同类型的计算系统。图1示出了游戏系统12、显示设备14和深度相机22的形式的非限制性示例。一般而言,深度图像分析系统可包括图6中以简化形式示出的计算系统90,计算系统90将在下文更详细地讨论。
图2示出了简化的处理流水线,其中所观察的场景24中的人类目标18被建模为虚拟骨架38,该虚拟骨架38可被用于绘制显示设备14上的虚拟化身16和/或用作控制游戏、应用、和/或操作系统的其他方面的控制输入。可以理解,处理流水线可包括比图2中所描述的更多的步骤和/或图2中所描述的替换步骤,而不背离本发明的范围。
如图2所示,人类目标18和所观察的场景24中的其余部分可由诸如深度相机22之类的捕捉设备来成像。深度相机可为每一像素确定在所观察的场景中的表面相对于深度相机的深度。在不偏离本公开的范围的情况下,可以使用基本上任何测深(depth finding)技术。示例测深技术参考图6的捕捉设备98来更详细地讨论。
为每个像素所确定的深度信息可用于生成深度图36。这样的深度图可采用基本上任何合适的数据结构的形式,包括但不限于包括所观察场景的每个像素的深度值的矩阵。在图2中,深度图36被示意性地示为人类目标18的轮廓的像素化网格。这一例示是出于理解简明的目的、而不是出于技术准确性的目的。可以理解,深度图一般包括所有像素(不仅是对人类目标18进行成像的像素)的深度信息,并且深度相机22的透视不会得到图2中所描绘的轮廓。
虚拟骨架38可从深度图36导出,以提供对人类目标18的机器可读表示。换言之,从深度图36导出虚拟骨架38以便对人类目标18建模。虚拟骨架38可以按任何合适的方式从深度图中导出。在某些实施例中,可将一个或多个骨架拟合算法应用于深度图。本发明与基本上任何骨架建模技术兼容。
虚拟骨架38可包括多个关节,每一关节对应于人类目标的一部分。在图2中,虚拟骨架38被示为十五个关节的线条画。这一例示是出于理解简明的目的、而不是出于技术准确性的目的。根据本发明的虚拟骨架可包括基本上任何数量的关节,每个关节都可与基本上任何数量的参数(例如三维关节位置、关节旋转、对应身体部位的身体姿势(例如手张开、手合上等)等)相关联。应当理解,虚拟骨架可采取如下数据结构的形式:该数据结构包括多个骨架关节中的每个关节的一个或多个参数(例如包含每个关节的x位置、y位置、z位置和旋转的关节矩阵)。在一些实施例中,可使用其他类型的虚拟骨架(例如线框、一组形状图元等等)。
如图2所示,可将虚拟化身16作为虚拟骨架38的视觉表示呈递在显示设备14上。由于虚拟骨架38对人类目标18进行建模,并且对虚拟化身16的呈递基于虚拟骨架38,因此虚拟化身16用作人类目标18的可查看的数字表示。由此,虚拟化身16在显示设备14上的移动反映人类目标18的移动。
在一些实施例中,仅仅虚拟化身的部分将呈现在显示设备14上。作为一个非限制性示例,显示设备14可呈现人类目标18的第一人视角,并因此可呈现可通过虚拟化身的虚拟眼睛来查看的虚拟化身的各部分(例如握有方向盘的伸出的手、握有步枪的伸出的手臂、抓住三维虚拟世界中的物体的伸出的手等)。
尽管将虚拟化身16用作可经由深度图的骨架建模由人类目标的移动来控制的游戏的一示例方面,但这并不旨在为限制性的。人类目标可以用虚拟骨架来建模,而虚拟骨架可用于控制除虚拟化身以外的游戏或其他应用的各方面。例如,即使虚拟化身没有被呈递到显示设备,人类目标的移动也可控制游戏或其他应用。
回到图1,示出了一示例性实施例,其描绘了可能导致深度图像中的无效深度信息的一个或多个环境因素。窗户26允许阳光进入所观察的场景24。另外,灯28为打开的。所成像场景中过量的光可能淹没被深度相机用于确定该场景中的表面深度的所投影红外光,从而导致深度图像中的无效深度信息区域。这些区域可能导致虚拟骨架的不精确的建模以及不可预测的计算机控制。人类目标的高和低反射率也可能导致无效深度信息区域。在该示例中,人类目标18佩戴着高反射性的警长徽章32和低反射性材料腰带34。
图3示出了一种用于标识导致无效深度信息的环境因素以及输出修改以减轻该环境因素的方法40。在42,方法40包括从深度相机获取深度图像。在一些实施例中,深度相机被配置为测量深度相机与场景中的表面之间的距离并且输出作为对这样所测量的距离的指示的深度图像。在一些实施例中,深度相机被配置为获得被板外计算系统用于测量深度相机与场景中表面之间的距离的信息。本公开与两种布置都兼容——也就是说,从深度相机获取深度图像可以直接地或者通过诸如计算系统90之类的中间深度处理器来进行。
接着,在44,用虚拟骨架对深度图像所成像的人类目标进行建模,这在上面参照图2予以了描述。
在46,确定是否已经检测到对人类目标建模的失败。对人类目标建模的失败可能是由于不能被定位的一个或多个骨架关节、以低置信度报告的一个或多个骨架关节位置等等造成的。
如果在46未检测到用虚拟骨架对人类目标建模的失败,则方法40返回到44,在那里,继续用虚拟骨架对人类目标进行建模。如果在46检测到用虚拟骨架对人类目标建模的失败,则在48标识使深度图像的一个或多个区域中的深度信息无效的环境因素。可以以任何合适的方式来标识这样的环境因素。如下面作为示例所描述的那样,在一些实施例中,深度图像的特性和/或由深度相机所收集的其他信息可以被分析以标识已知是由特定环境因素(例如过多阳光或其他红外光、低反射率服装、高反射率服装和/或物理环境内的对象放置)导致的之前所识别的特性。
如在52所示,用于标识环境因素的一种非限制性选项包括:标识负责的无效深度像素群集,以及确定该群集的形状。如果该群集包含高于阈值量的无效深度像素,则该群集将被标识为无效深度信息区域。该阈值可以被设置成任何静态和/或动态的量。例如,在一些实施例中,36个相邻像素的这一静态阈值可以被认为是无效深度信息区域。
在54,当所成像场景被暴露在红外测试光下时(例如在测试模式期间),该相机获取该场景的测试图像。在一些实施例中,该红外测试光可以掠过整个场景。在一些实施例中,红外测试光可以瞄准要考虑的特定像素区域。红外测试光可以从被深度相机用于测量深度信息的相同源中生成或者从辅助测试源中生成。
在56,当所成像场景未被暴露在红外测试光下时(例如在控制模式期间),相机获取该场景的控制图像。该控制图像可以紧接在测试图像之前和/或之后获取。通过这种方式,可以减少或消除除测试光的存在以外的各图像之间的差异。参考图4更详细地描述测试图像和控制图像。测试图像与控制图像之间的差异可以被分析和用于标识妨碍骨架建模的环境因素。
在58,将深度图像的包括无效深度信息的一个或多个区域分配给来自多个预定问题类别的问题类别。这样的分配可以基于多种不同的信息,包括但不限于无效深度像素群集、测试图像、以及控制图像。
一旦已经标识出环境因素,则在62输出环境修改以减轻该环境因素。该环境修改是基于上面在步骤58被确定并将参考图5予以更详细的描述的问题类别来选择的。
如在64所示,可以作为用于向人类用户呈现的通信消息来输出该修改。这样的通信消息可以用于提供可被人类用户用于减轻环境因素的信息。例如,该通信消息可以指示人类用户关闭百叶窗、关闭灯、移动到更接近相机之处、改变服装等等。该通信消息可以采取下列形式:要通过一个或多个扬声器播放的音频消息、要显示在显示设备上的视觉消息、或者基本上任何其他形式。该通信消息可以以任何合适的方式格式化,以供通过任何合适的设备进行回放/呈现。在一些实施例中,该通信消息可以被实现为从计算系统发送给合适的呈现设备(例如显示设备、扬声器等等)的数字消息。
附加地或可替代地,该环境修改可以在66作为控制消息输出以供环境修改系统执行,使得环境修改系统自动地更改该环境以减轻环境因素,而无需人类干预。在这种情况下,控制消息可以被格式化以供与环境修改系统兼容。作为非限制性示例,控制消息可以被配置为致使环境修改系统自动地关闭百叶窗、自动地关闭灯等等)。
图4示意性地示出了从深度相机获取的人类目标18的示例测试图像68和示例控制图像72。这一例示是出于理解简明的目的、而不是出于技术准确性的目的。能够理解,测试和控制图像可以包括所有像素的信息、而不是仅仅对人类目标18成像的像素的信息。此外,由深度相机在测试图像时间段和控制图像时间段期间记录的信息被示意性地表示成不同的网格填充。在实际中,测试图像和控制图像可以是灰度图像、彩色图像或其他合适的图像,这些图像可以被表示成合适的数据结构,比如具有与每个像素相对应的强度值的矩阵。可以使用深度相机的被用于测量深度信息的相同部分来获取这些测试图像,和/或可以使用深度相机或辅助相机的另一部分来获取这些测试图像。
如在左边示意性示出的那样,测试图像68可以在人类目标18被暴露在红外测试光下时拍摄。作为一个示例,测试图像68的每个像素都可以是未经处理的灰度级强度。在图4中,未经处理的灰度级强度被描绘成与人类目标18相对应的像素化的网格。在该示例中,警长的徽章32由高反射性材料制成,并且导致测试图像中的饱和像素。相反,腰带34由低反射率材料制成,并且导致具有极小或不具有灰度级强度的像素。
如在右边示意性示出的那样,控制图像72可以在人类目标18未暴露在红外测试光下时拍摄。如上所述,可以将控制图像与测试图像相比较以评定可能影响深度图像分析的环境因素。
如上面介绍的那样,每个无效深度像素区域都可以被分配给一问题类别。这些区域例如可以基于下列各项中的一个或多个被分配给所述类别:无效深度像素区域的大小、形状和/或位置、以及测试图像与控制图像之间的差异。图5示意性地示出了多个预定义的问题类别(例如问题类别A、问题类别B、问题类别N)。
如图5所示,每个问题类别都具有相应的环境修改(例如修改A、修改B和修改N)。环境修改可以包括通信消息以减轻导致无效像素区域的环境因素。附加地或可替代地,环境修改可以包括在没有人类干预的情况下修改环境的控制消息。
下面提供问题类别和相应修改的非限制性示例。
问题类别的第一示例是人类目标上的低反射率材料。人类目标上的低反射率材料可能使得尤其是在人类目标与深度相机相距相对远时难以用虚拟骨架对该人类目标建模。低反射率材料可以基于下列各项被标识:无效像素区域的大小、形状和/或位置、和/或测试图像与控制图像相比的相对红外光饱和度。例如,如果包含无效深度像素的区域是人类目标的服装物品的形状,并且测试图像的与所述无效像素相对应的区域与控制图像的相同区域相比未改变一阈值量,则该区域可以被分配给低反射率问题类别。
低反射率问题类别可以与如下的环境修改相关联:该环境修改被设计为减轻低反射率材料对计算系统用虚拟骨架对人类目标建模这一能力所产生的影响。作为一个示例,该解决方案可以包括:将人类目标移动得在物理上更接近于深度相机。因此,与低反射率问题类别相关联的环境修改可以是指示人类目标向深度相机移动的通信消息。在一些场景中,该修改可以附加地或可替代地包括指示人类目标移除被标识为具有低反射率的服装物品的通信消息。
问题类别的第二示例是人类目标上的高反射性材料。人类目标上的高反射性材料可能使得尤其是在人类目标接近于深度相机和/或在所成像的场景中存在大量环境光时难以用虚拟骨架对该人类模型建模。人类目标上的高反射性材料可以基于下列各项被标识:无效像素区域的大小、形状和/或位置和/或测试图像与控制图像相比的相对红外光饱和度。包含无效深度像素的区域可以在下列情况下被分配给人类目标问题类别上的高反射性材料:该区域具有圆形形状,被近深度(near-depth)像素环绕,和/或测试图像的与该无效深度像素区域相对应的区域具有呈圆形的高强度像素,其中这些像素在控制图像的相同区域中减小一阈值量。
高反射性材料问题类别可以与如下的环境修改相关联:该环境修改被设计为减轻高反射率材料对计算系统用虚拟骨架对人类目标建模这一能力所产生的影响。因此,用于减轻高反射性材料的环境修改的一个示例可以是指示人类目标移动得远离于深度相机的通信消息。附加地或可替代地,可以指示用户减少存在于所成像场景中的环境光。
问题类别的第三示例是总体高环境光。总体高环境光可能使得深度相机难以区分旨在捕捉深度信息的所投影的红外光和存在于所成像场景中的环境光。换言之,环境光可能使场景饱和,由此致使所投影的光较不有效。这可能导致难以对人类目标建模。高环境光源的示例包括:窗户、天窗、灯等等。总体高环境光可以通过深度图像中的高总噪声水平来标识,其中所成像场景中的表面的深度信息不易与背景区分。所成像场景的控制图像的像素饱和度与所成像场景的测试图像相比可能未减小一阈值量,因为来自所投影的红外光的信号与来自环境光的信号相比可能未强得足以被检测到。
与总体高环境光相关联的环境修改可以是如下的通信消息:该通信消息标识导致该环境光的光源和/或指示用户通过遮住窗户、将灯调暗等等来减少环境光。光源的标识可以基于最高饱和度像素区域在控制图像和/或测试图像中的相对位置。附加地或可替代地,环境修改可以是致使环境修改系统自动调整环境光的控制消息(例如通过合上百叶窗和/或将灯调暗)。
问题类别的第四示例是低角度阳光。低角度阳光问题类别可能是由于低角度阳光进入所成像场景并且产生跨人类目标的局部化光条纹造成的。该光条纹可能导致无效深度像素区域,从而扰乱用虚拟骨架对人类目标的建模。包含无效深度像素的区域可以在下列情况下被分配给低角度阳光问题类别:该区域是特定和局部化的无效深度像素条纹;以及测试图像的与该无效深度像素区域相对应的区域具有呈条纹形状的高强度像素,其中这些高强度像素在控制图像的相同区域中未减小一阈值量。与低角度阳光问题类别相关联的环境修改的示例可以是向用户推荐例如通过合上百叶窗来阻挡低角度阳光。
问题类别的第五示例是点光源。示例点光源包括卤素灯和白炽灯。点光源可能导致无效深度像素区域,其中该区域对应于该光源照射在人类目标上的区域。包含无效深度像素的区域可以在如下情况下被分配给点光源问题类别:该区域具有圆形形状,并且该区域的测试图像具有呈圆形的高强度像素,其中这些像素在控制图像的相同区域中未减少一阈值量。环境修改可以包括指示用户关闭所标识出的光源的通信消息。
问题类别的第六示例是低的信号环境光比(signal-to-ambient)。低的信号环境光比可能在所成像场景中的环境光为高的和/或人类目标与深度相机相距相对远时发生。低的信号环境光比可以通过如下方式被标识出:深度图像具有多个小组的无效深度像素;以及控制图像中的图像像素强度与测试图像相比减少一阈值量。与该问题类别相关联的环境修改的示例是如下的通信消息:该通信消息包括向人类目标推荐移动得更接近于深度相机和/或减少存在于所成像场景中的环境光。
除了上面列举的示例以外,还存在如下场景:在该场景中,深度图像可能包含不扰乱人类目标的成像的一个或多个无效深度像素区域。这样的问题类别的一个示例是背景中的非反射性表面,比如处于深度相机的范围以外的墙壁。在该示例中,无效深度像素区域是所成像场景的背景的大群集,并且测试图像中的低强度像素在控制图像中未改变一阈值量。不扰乱人类目标的建模的问题类别的另一示例是图像场景中的镜面反射面,比如镜子或玻璃窗。镜面反射面可能导致几何形状的无效深度像素区域。测试图像的与所述无效深度图像区域相对应的区域可能具有在控制图像的相同区域中未改变一阈值量的低强度像素。由于这两种类别都仅仅影响背景而不是所成像的人类目标,因此这些类别不必对应于特定的环境修改。然而,当处理深度图像时,可以考虑到这些问题类别的存在。例如,可以从深度图像中减去远距离的背景和/或镜面反射面以简化处理。
在某些实施例中,可将以上所描述的方法和过程绑定到包括一个或多个计算机的计算系统。具体而言,此处所述的方法和过程可被实现为计算机应用、计算机服务、计算机API、计算机库、和/或其他计算机程序产品。
图6示意性示出了可以执行上述方法和过程之中的一个或更多个的非限制性计算系统90。以简化形式示出了计算系统90。应当理解,可使用基本上任何计算机架构而不背离本公开的范围。在不同的实施例中,计算系统90可以采取大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、移动计算设备、移动通信设备、游戏设备等等的形式。
计算系统90包括逻辑子系统92和数据保持子系统94。计算系统90可以任选地包括显示子系统96、捕捉设备98和/或在图6中未示出的其他组件。计算系统90还可以任选地包括诸如下列用户输入设备:例如键盘、鼠标、游戏控制器、相机、话筒和/或触摸屏等等。
逻辑子系统92可包括被配置为执行一个或多个指令的一个或多个物理设备。例如,逻辑子系统可被配置为执行一个或多个指令,该一个或多个指令是一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造的部分。可实现此类指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所需结果。
逻辑子系统可包括被配置成执行软件指令的一个或多个处理器。另外地或替换地,逻辑子系统可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统的处理器可以是单核或多核,且在其上执行的程序可被配置为并行或分布式处理。逻辑子系统可以任选地包括遍布两个或更多设备的独立组件,所述设备可远程放置和/或被配置为进行协同处理。该逻辑子系统的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。
数据保持子系统94可包括一个或更多个物理、非瞬时设备,这些设备被配置成保持数据和/或可由该逻辑子系统执行的指令,以实现此处描述的方法和过程。在实现这样的方法和过程时,可以变换数据保持子系统94的状态(例如,以保持不同的数据)。
数据保持子系统94可包括可移动介质和/或内置设备。数据保持子系统94尤其是可以包括光学存储器设备(例如,CD、DVD、HD-DVD、蓝光盘等)、半导体存储器设备(例如,RAM、EPROM、EEPROM等)和/或磁存储器设备(例如,硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)。数据保持子系统94可包括具有以下特性中的一个或多个特性的设备:易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中,可以将逻辑子系统92和数据保持子系统94集成到一个或更多个常见设备中,如应用专用集成电路或片上系统。
图6还示出以可移动计算机可读存储介质102形式的数据保持子系统的一方面,可移动计算机可读存储介质102可用于存储和/或传输可执行以实现本文描述的方法和过程的数据和/或指令。可移动计算机可读存储介质102尤其是可以采取CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘形式。
可以明白,数据保持子系统94包括一个或多个物理非瞬态设备。相反,在一些实施例中,本文描述的指令的各方面可以按瞬态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外,与本公开有关的数据和/或其他形式的信息可以通过纯信号传播。
在包括显示子系统96时,显示子系统96可用于呈现由数据保持子系统94保持的数据的视觉表示(例如,虚拟化身和/或三维虚拟世界)。由于此处所描述的方法和过程改变由数据保持子系统保持的数据,并由此变换数据保持子系统的状态,因此同样可以变换显示子系统96的状态以在视觉上表示底层数据的改变。例如,计算系统90可被配置为呈现驾驶游戏以供在显示子系统96的显示设备上显示。由此,计算系统90可包括显示输出以将驾驶游戏界面输出到显示设备。显示子系统96可以包括使用实际上任何类型的技术的一个或多个显示设备。可将这样的显示设备与逻辑子系统92和/或数据保存子系统94组合在共享封装中,或这样的显示设备可以是经由显示输出连接到逻辑子系统的外围显示设备。
在包括通信子系统时,通信子系统可以被配置成将计算系统90与一个或多个其他计算设备可通信地耦合。通信子系统可包括与一个或多个不同的通信协议相兼容的有线和/或无线通信设备。作为非限制性示例,通信子系统可被配置为经由无线电话网、无线局域网、有线局域网、无线广域网、有线广域网等进行通信。在一些实施例中,通信子系统可允许计算系统90经由诸如因特网之类的网络发送消息至其他设备和/或从其他设备接收消息。
计算系统90还可包括被配置成获得一个或多个目标的深度图像的集成和/或外围捕捉设备98。在任一种情况下,计算系统90可包括外围输入以从深度相机接收深度图像并将接收到的深度图像传递到逻辑子系统以供处理。捕捉设备98可被配置成通过任何合适的技术(例如飞行时间、结构化光、立体图像等)捕捉具有深度信息的视频。这样,捕捉设备98可包括深度摄像机、视频摄像机、立体摄像机、和/或其他合适的捕捉设备。
例如,在飞行时间分析中,捕捉设备98可以向目标发射红外光,然后使用传感器来检测从目标的表面反向散射的光。在一些情况下,可以使用脉冲式红外光,其中可以测量出射光脉冲和相应的入射光脉冲之间的时间并将该时间用于确定从该捕捉设备到目标上的特定位置的物理距离。在一些情况下,出射光波的相位可以与入射光波的相位相比较以确定相移,并且该相移可以用于确定从该捕捉设备到目标上的特定位置的物理距离。
在另一示例中,飞行时间分析可用于通过经由诸如快门式光脉冲成像之类的技术分析反射光束随时间的强度,来间接地确定从该捕捉设备到目标上的特定位置的物理距离。
在另一示例中,捕捉设备98可利用结构化光分析来捕捉深度信息。在这样的分析中,图案化光(即被显示为诸如网格图案、条纹图案或星座点之类的已知图案的光)可以被投影到目标上。在落到目标的表面上以后,该图案可能变为变形的,并且可以研究该图案的这种变形以确定从该捕捉设备到目标上的某一位置的物理距离。
在另一示例中,捕捉设备可以包括两个或更多个物理上分开的相机,这些相机从不同角度查看目标以获得视觉立体数据。在这种情况下,该视觉立体数据可以被解析以生成深度图像。
在其他实施例中,捕捉设备98可利用其他技术测量和/或计算深度值。此外,捕捉设备98可以将所计算的深度信息组织为“Z层”,即与从深度相机沿其视线延伸到目标的Z轴垂直的层。
在某些实施例中,可将两个或更多像机整合到一个集成捕捉设备中。例如,可将深度像机和摄像机(例如RGB摄像机)整合到共同的捕捉设备中。在某些实施例中,可协同使用两个或更多分开的捕捉设备。例如,可使用深度像机和分开的摄像机。当使用摄像机时,该摄像机可用于提供:目标跟踪数据、对目标跟踪进行纠错的确认数据、图像捕捉、面部识别、对手指(或其他小特征)的高精度跟踪、光感测和/或其他功能。
要理解,至少一些目标分析和跟踪操作可以由一个或多个捕捉设备的逻辑机来执行。捕捉设备可以包括被配置成执行一个或多个目标分析和/或跟踪功能的一个或多个板载处理单元。捕捉设备可包括固件以帮助更新这样的板上处理逻辑。计算系统90可任选地包括诸如控制器104和控制器106之类的一个或多个输入设备。输入设备可被用于控制计算系统的操作。在游戏的上下文中,诸如控制器104和/或控制器106之类的输入设备可被用于控制游戏的那些不是通过这里所述的目标识别、跟踪和分析方法和过程来控制的方面。在某些实施例中,诸如控制器104和/或控制器106之类的输入设备可包括可用于测量控制器在物理空间中的移动的加速计、陀螺仪、红外目标/传感器系统等中的一个或多个。在某些实施例中,计算系统可任选地包括和/或利用输入手套、键盘、鼠标、跟踪垫、轨迹球、触摸屏、按钮、开关、拨盘、和/或其他输入设备。如将理解的,目标识别、跟踪和分析可被用于控制或扩充游戏或其他应用的常规上由诸如游戏控制器之类的输入设备控制的方面。在某些实施例中,这里所述的目标跟踪可被用作对其他形式的用户输入的完全替代,而在其他实施例中,这种目标跟踪可被用于补充一个或多个其他形式的用户输入。
应该理解,此处所述的配置和/或方法在本质上是示例性的,并且,由于可能存在多个变体,所以这些特定实施例或示例不具有限制意义。本文中所述的具体例程或方法可表示任意数量的处理策略中的一个或多个。由此,所示的各个动作可按所述的顺序执行、按其他顺序执行、并行地执行、或者在某些情况下被省略。同样,可改变上述过程的次序。
本公开的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合,和此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效物。

Claims (10)

1.一种数据保持子系统(94),所述数据保持子系统(94)保持可由逻辑子系统(92)执行以进行以下操作的指令:
从深度相机获取(42)深度图像;
标识(48)使所述深度图像中的一个或多个部分中的深度信息无效的一个或多个环境因素;以及
输出(62)环境修改以减轻所述环境因素。
2.如权利要求1所述的数据保持子系统,其特征在于,还保持如下指令:所述指令可由所述逻辑系统执行以将所述深度图像的包括无效深度信息的一个或多个区域分配给来自多个预定问题类别的一问题类别。
3.如权利要求2所述的数据保持子系统,
其特征在于,将区域分配给所述问题类别,因为该区域包含呈人类目标的服装物品形状的无效深度像素,并且该区域在暴露在红外测试光下时的测试图像与该区域在未暴露在所述红外测试光下时的控制图像相比未改变一阈值量;以及
其中被输出以减轻所述环境因素的环境修改包括向所述人类目标推荐移动得更接近于所述深度相机。
4.如权利要求2所述的数据保持子系统,
其特征在于,将区域分配给所述问题类别,因为该区域包含呈圆形的被近深度像素环绕的无效深度像素,并且该区域在暴露在红外测试光下时的测试图像为高强度的,该强度与该区域在未暴露在所述红外测试光下时的控制图像相比减小一阈值量;以及
其中被输出以减轻所述环境因素的环境修改包括向所述人类目标推荐移动得远离于所述深度相机和/或减少所述深度相机的视野中的环境光。
5.如权利要求2所述的数据保持子系统:
其特征在于,将区域分配给所述问题类别,因为该深度图像具有高噪声水平,并且围绕所述区域的视野在暴露在红外测试光下时的测试图像具有高强度,并且与所述视野在未暴露在所述红外测试光下时的控制图像相比未改变一阈值量;以及
其中被输出以减轻所述环境因素的环境修改包括标识所述视野中的光源以及向所述人类目标推荐减少来自所述光源的光。
6.如权利要求2所述的数据保持子系统,
其特征在于,将区域分配给所述问题类别,因为该区域包含以小组形式的无效深度像素,并且环绕该区域的样本在未暴露在红外测试光下时的控制图像与该样本在暴露在所述红外测试光下时的测试图像相比减小一阈值量;以及
其中被输出以减轻所述环境因素的环境修改包括向所述人类目标推荐移动得更接近于所述深度相机和/或减少所述视野中的光。
7.如权利要求2所述的数据保持子系统,其特征在于,所述环境修改是基于所述问题类别来选择的。
8.如权利要求1所述的数据保持子系统,其特征在于,所述指令可被执行以通过输出用于呈现给人类目标的通信消息来输出所述环境修改,所述通信消息提供关于减轻所述环境因素的信息。
9.如权利要求1所述的数据保持子系统,其特征在于,所述指令可被执行以通过输出用于供环境修改系统执行的控制消息来输出所述环境修改,使得所述环境修改系统更改环境以减轻所述环境因素而不需要人类干预。
10.一种用于深度成像的方法,包括:
利用深度相机对场景成像(42),所述深度相机被配置为测量所述深度相机与所述场景中的表面之间的距离;
在测试模式下,从所述深度信息获取(54)测试图像,在所述测试图像中,所述场景暴露在红外测试光下;
在控制模式下,从所述深度信息获取(56)控制图像,在所述控制图像中,所述场景未暴露在所述红外测试光下;以及
输出(62)环境修改以减轻通过将所述测试图像与所述控制图像相比较所标识出的环境因素。
CN201210023175.5A 2011-02-03 2012-02-02 用于减轻环境因素的环境修改 Active CN102645973B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/020,705 US8724887B2 (en) 2011-02-03 2011-02-03 Environmental modifications to mitigate environmental factors
US13/020,705 2011-02-03

Publications (2)

Publication Number Publication Date
CN102645973A true CN102645973A (zh) 2012-08-22
CN102645973B CN102645973B (zh) 2015-04-15

Family

ID=46600650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210023175.5A Active CN102645973B (zh) 2011-02-03 2012-02-02 用于减轻环境因素的环境修改

Country Status (2)

Country Link
US (1) US8724887B2 (zh)
CN (1) CN102645973B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104024789A (zh) * 2012-10-23 2014-09-03 Lsi公司 用于深度成像器的光源驱动器电路
CN104065949A (zh) * 2014-06-26 2014-09-24 深圳奥比中光科技有限公司 一种电视虚拟触控方法及系统
CN107439002A (zh) * 2015-04-03 2017-12-05 微软技术许可有限责任公司 深度成像
CN107682607A (zh) * 2017-10-27 2018-02-09 广东欧珀移动通信有限公司 图像获取方法、装置、移动终端和存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5829040B2 (ja) * 2011-04-11 2015-12-09 任天堂株式会社 ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法
WO2012147495A1 (ja) * 2011-04-28 2012-11-01 三洋電機株式会社 情報取得装置および物体検出装置
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US20130202190A1 (en) * 2012-02-02 2013-08-08 Sheng-Chun Niu Image processing apparatus and image processing method
JP5578186B2 (ja) * 2012-02-16 2014-08-27 カシオ計算機株式会社 キャラクター画像の作成方法、画像処理装置及び画像処理プログラム並びに画像変換ネットワークシステム
WO2014041350A1 (en) * 2012-09-13 2014-03-20 Mbda Uk Limited Room occupancy sensing apparatus and method
CN103716962B (zh) * 2013-12-23 2016-06-15 苏州科技学院 一种用于快门式立体显示的照明系统及其控制方法
EP3243188A4 (en) * 2015-01-06 2018-08-22 Facebook Inc. Method and system for providing depth mapping using patterned light
CN107850782B (zh) * 2015-05-13 2019-10-25 脸谱科技有限责任公司 用反射率图表示增强深度图表示
US10628675B2 (en) * 2017-02-07 2020-04-21 Fyusion, Inc. Skeleton detection and tracking via client-server communication
US11257237B2 (en) * 2019-08-29 2022-02-22 Microsoft Technology Licensing, Llc Optimized exposure control for improved depth mapping
CN112822480B (zh) * 2020-12-31 2022-05-17 青岛小鸟看看科技有限公司 Vr系统及其定位追踪方法
US11909950B1 (en) * 2021-09-21 2024-02-20 Amazon Technologies, Inc. Three-dimensional (3D) sensor performance evaluation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040239670A1 (en) * 2003-05-29 2004-12-02 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
CN1333374C (zh) * 2003-08-22 2007-08-22 松下电器产业株式会社 图象输入装置及使用它的认证装置
US20080199165A1 (en) * 2005-03-31 2008-08-21 Kee Yean Ng Safe eye detection

Family Cites Families (165)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
CA2101633A1 (en) 1991-12-03 1993-06-04 Barry J. French Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の3次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
WO1997041925A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
AU3954997A (en) 1996-08-14 1998-03-06 Nurakhmed Nurislamovich Latypov Method for following and imaging a subject's three-dimensional position and orientation, method for presenting a virtual space to a subject, and systems for implementing said methods
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6249285B1 (en) 1998-04-06 2001-06-19 Synapix, Inc. Computer assisted mark-up and parameterization for scene analysis
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
AU1574899A (en) 1998-12-16 2000-07-03 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US8014985B2 (en) 1999-03-26 2011-09-06 Sony Corporation Setting and visualizing a virtual camera and lens system in a computer graphic modeling environment
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
US6301440B1 (en) 2000-04-13 2001-10-09 International Business Machines Corp. System and method for automatically setting image acquisition controls
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
DE50302813D1 (de) 2002-04-19 2006-05-18 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US20040136241A1 (en) 2002-10-31 2004-07-15 Lockheed Martin Corporation Pipeline accelerator for improved computing architecture and related system and method
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
WO2004111687A2 (en) 2003-06-12 2004-12-23 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005034035A1 (en) * 2003-10-07 2005-04-14 Koninklijke Philips Electronics N.V. Depth-map improvement
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
EP1743277A4 (en) 2004-04-15 2011-07-06 Gesturetek Inc MONITORING OF BI-MANUAL MOVEMENTS
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
EP1849123A2 (en) 2005-01-07 2007-10-31 GestureTek, Inc. Optical flow based tilt sensor
ES2791718T3 (es) 2005-01-07 2020-11-05 Qualcomm Inc Detección y seguimiento de objetos en imágenes
US7430312B2 (en) 2005-01-07 2008-09-30 Gesturetek, Inc. Creating 3D images of objects by illuminating with infrared patterns
WO2006086508A2 (en) 2005-02-08 2006-08-17 Oblong Industries, Inc. System and method for genture based control system
JP2006236244A (ja) * 2005-02-28 2006-09-07 Toshiba Corp 顔認証装置および入退場管理装置
WO2006099597A2 (en) 2005-03-17 2006-09-21 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
WO2006124935A2 (en) 2005-05-17 2006-11-23 Gesturetek, Inc. Orientation-sensitive signal output
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8177611B2 (en) 2007-12-21 2012-05-15 Sony Computer Entertainment America Llc Scheme for inserting a mimicked performance into a scene and providing an evaluation of same
US7869705B2 (en) 2008-01-21 2011-01-11 Microsoft Corporation Lighting array control
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US8405706B2 (en) 2008-12-17 2013-03-26 Microsoft Corporation Visual feedback for natural head positioning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040239670A1 (en) * 2003-05-29 2004-12-02 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
CN1333374C (zh) * 2003-08-22 2007-08-22 松下电器产业株式会社 图象输入装置及使用它的认证装置
US20080199165A1 (en) * 2005-03-31 2008-08-21 Kee Yean Ng Safe eye detection

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104024789A (zh) * 2012-10-23 2014-09-03 Lsi公司 用于深度成像器的光源驱动器电路
CN104065949A (zh) * 2014-06-26 2014-09-24 深圳奥比中光科技有限公司 一种电视虚拟触控方法及系统
CN104065949B (zh) * 2014-06-26 2016-08-10 深圳奥比中光科技有限公司 一种电视虚拟触控方法及系统
CN107439002A (zh) * 2015-04-03 2017-12-05 微软技术许可有限责任公司 深度成像
CN107682607A (zh) * 2017-10-27 2018-02-09 广东欧珀移动通信有限公司 图像获取方法、装置、移动终端和存储介质
CN107682607B (zh) * 2017-10-27 2019-10-22 Oppo广东移动通信有限公司 图像获取方法、装置、移动终端和存储介质

Also Published As

Publication number Publication date
US20120201424A1 (en) 2012-08-09
US8724887B2 (en) 2014-05-13
CN102645973B (zh) 2015-04-15

Similar Documents

Publication Publication Date Title
CN102645973B (zh) 用于减轻环境因素的环境修改
CN102681811B (zh) 照片表示视图的基于主题的增强
CN112400202B (zh) 为在hmd环境中进行快速中央凹渲染利用预测和对gpu的后期更新做出的眼睛跟踪
CN108885492B (zh) 控制虚拟对象放置的方法和头戴式显示设备
JP5972966B2 (ja) 投影された参照パターンによるオブジェクト追跡
CN102707876B (zh) 界面控件的按压个性化
US8509545B2 (en) Foreground subject detection
CN105723420B (zh) 用于混合现实聚光灯的方法和系统
KR101741864B1 (ko) 모션 캡처 시스템에서 사용자 의도 인식
CN102693006A (zh) 用户界面呈现和交互
CN112400150A (zh) 基于预测扫视着陆点的动态图形渲染
CN102693004A (zh) 界面控件的按压启动
KR20170062533A (ko) 공유된 공간 증강 현실 경험을 생성하기 위한 프로젝터 구동 기술
CN107577045A (zh) 用于头戴式显示器的预测跟踪的方法、装置及存储介质
CN102542160A (zh) 三维虚拟世界的骨架控制
CN105518584A (zh) 利用热区识别交互
KR20150086278A (ko) 주체와 객체의 연관
WO2013059751A1 (en) Calculating metabolic equivalence with a computing device
US8963927B2 (en) Vertex-baked three-dimensional animation augmentation
CN103608073B (zh) 形状跟踪做手势
CN102929507A (zh) 运动控制的列表滚动
US8885878B2 (en) Interactive secret sharing
CN105144240A (zh) 使用深度图像的用户质心和质量分布提取
US11282222B2 (en) Recording medium, object detection apparatus, object detection method, and object detection system
CN110349259A (zh) 室内空间的三维地图生成方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150728

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150728

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.