CN102538758B - 多检测器飞行时间深度映射 - Google Patents

多检测器飞行时间深度映射 Download PDF

Info

Publication number
CN102538758B
CN102538758B CN201110428489.9A CN201110428489A CN102538758B CN 102538758 B CN102538758 B CN 102538758B CN 201110428489 A CN201110428489 A CN 201110428489A CN 102538758 B CN102538758 B CN 102538758B
Authority
CN
China
Prior art keywords
depth
detecting device
degree
pixel
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110428489.9A
Other languages
English (en)
Other versions
CN102538758A (zh
Inventor
S·卡茨
A·阿德勒
G·叶海弗
J·塔迪夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102538758A publication Critical patent/CN102538758A/zh
Application granted granted Critical
Publication of CN102538758B publication Critical patent/CN102538758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1025—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection
    • A63F2300/1031—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals details of the interface with the game device, e.g. USB version detection using a wireless connection, e.g. Bluetooth, infrared connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images

Abstract

本文涉及多检测器飞行时间深度映射。深度映射方法(38)，包括将沿不同光轴定向的第一和第二检测器(18，18’)暴露(40)在从场景分散的光下，并提供响应于该场景的位置的深度坐标的输出。该输出随第一检测器在第一时间段接收的递增的第一光量而增大，并随第二检测器在不同于第一时间段的第二时间段接收的递增的第二光量而减小。

Description

多检测器飞行时间深度映射
技术领域
本发明涉及深度映射，尤其涉及多检测器飞行时间深度映射。
背景技术
飞行时间(TOF)深度映射是一种用于构造场景或对象的三维(3D)虚拟模型的已知方法。受到日益改进的数字图像技术和低成本脉冲照明的可用性鼓励，该方法现在被用于例如从飞行器导航到机器人到视频游戏的范围的应用中。尽管有这么广的可用性，但是常规TOF深度映射系统的成本随可用的深度分辨率急剧增大，尤其是在一至十米深度范围内。在这些距离处，分辨率可受对象运动影响，并且，在使用非光学对准检测器时受视差误差影响。
发明内容
本发明的一个实施例提供了深度映射方法。该方法包括将沿不同光轴定向的第一和第二检测器暴露在从场景分散的光下，并提供响应于该场景位置的深度坐标的输出。该输出随第一检测器在第一时间段接收的递增的第一光量而增大，并随第二检测器在不同于第一时间段的第二时间段接收的递增的第二光量而减小。
提供以上发明内容以简化的形式介绍本发明的所选部分，不旨在标识关键或必要特征。由权利要求书定义的所要求保护的主题既不限于本发明内容的内容也不限于解决本文提出的问题或缺点的各实现。
附图说明
图1示意性地示出根据本发明的实施例的深度映射的示例环境。
图2示意性地示出根据本发明的实施例的示例视觉系统检测器。
图3示意性地示出根据本发明的实施例的示例视觉系统和对象。
图4示出了根据本发明的实施例的由视觉系统发出和检测的光脉冲之间的示例时间关系。
图5示出了根据本发明的实施例的示例深度映射方法。
图6示出根据本发明实施例的用于基于第一图像S和第二图像M来计算深度映射的示例方法。
图7示出了根据本发明的实施例的示例第一和第二图像。
图8示出了根据本发明的实施例的用于制定改进深度映射准确度的迭代例程示例方法。
具体实施方式
现在将通过示例并参照所示的以上列出的实施例来描述本发明的各方面。在一个或多个实施例中基本相同的组件、过程步骤和其它元素被协调地标识并且以重复最小的方式描述。然而应该注意，协调地标识的元素还可以在某种程度上不同。还应该注意，本发明中包括的附图是示意性的并且通常未按照比例绘制。相反，附图中所示的各种绘制比例、纵横比和组件数量可以有目的地失真，以使特定特征或关系更加显见。
图1示出了其中可有利地使用深度映射的示例场景。该附图示出了与视觉系统12交互的对象10。在示出的实施例中，视觉系统是视频游戏系统的组件，且该对象是视频玩家。视觉系统被配置成检测对象的位置、运动和/或姿势并将它们作为输入提供给视频游戏应用。视觉系统可被进一步配置成将视频输出从视频游戏应用引导到显示器14。
为了提供更丰富的输入，更具有暗示性的虚拟现实，视觉系统12被配置成检测和提供对象在三维(3D)中的位置、运动和/或姿势。例如，这样的维度可以对应于笛卡尔坐标X、Y和Z。如此出所述的，3D检测可以经由深度映射来完成。深度映射将深度坐标Z与场景的平面图像中相应的像素(X，Y)相关联。此过程映射了3D中成像场景的多个位置，提供了成像场景的每一位置的深度坐标。如在当前实例中所示，场景可包括固定或运动的对象。
尽管图1和后续附图将深度映射示出为应用于食品游戏，但是也构想了其他应用，这些应用同样由本发明所涵盖。这样的应用包括非游戏应用控制和操作系统、自治车辆导航、机器人，和测距，以及多个其他示例。在图1中，视觉系统12被定向为与对象10相对。视觉系统和对象可以隔开任何合适的距离。例如，视觉系统可以与对象相距两米至四米。
视觉系统12包括照明源16和第一检测器18。在所示实施例中，照明源和第一检测器在视觉系统的前面处耦接，与对象10相对。
照明源16是经强度调制的源，被配置成发出合适强的光的窄脉冲串。从对象10反射的该光由第一检测器18成像。在一些实施例中，照明源可以使用十五至二十纳秒的脉宽来脉冲调制。在一些实施例中，照明源可被配置成发出红外(IR)或近红外(NIR)光。至此，照明源可包括脉冲IR或NIR激光器。在这些或其他实施例中，照明源可包括一个或多个IR或NIR发光二极管(LED)。
此外，第一检测器18被特别配置成获取包括对象10的场景平面图像。图2以示意性细节示出了第一检测器的实施例。第一检测器包括透镜20，透镜20通过滤光器22和光圈24将来自场景的光聚焦在检测器阵列26上。滤光器可以是任何合适的光学过滤器，被配置成限制成像光的波长范围和/或偏振状态。它可以包括干涉滤光器、滤色器和/或偏振滤光器。以此方式，滤光器可减小环境光与视觉系统12干涉的程度。
检测器阵列26可包括任何合适的光敏元件集合——例如光电二极管或电荷耦合器件(CCD)元件。检测器阵列被耦合至电子快门28，电子快门28在控制器30的命令下打开和关闭。因此，由第一检测器形成的图像可包括像素的矩形阵列。控制器30可以是第一检测器18和/或视觉系统12的任何合适的电子控制系统。在电子快门打开时，一个或多个光敏元件中接收的光子通量可被集成为电子电荷；在电子快门关闭时，可将光子通量的集成挂起。由此，可命令电子快门打开一个合适的时间段并且随后关闭来累积场景或对象或其一部分的平面图像。
在一些实施例中，控制器30可被配置成将电子快门28的打开和闭合与来自照明源16的脉冲串同步。以此方式，可以确保在电子快门28打开时适量的从照明源反射的光到达第一检测器18。如此后所描述的，电子快门与照明源的同步也可开启其他功能。
继续参考图2，控制器30被配置成接收和处理来自检测器阵列26的图像数据。控制器还可接收其他形式的输入，并且还可被进一步配置成制定视觉系统12的或者视觉系统被安装在其中的设备的计算、处理或控制功能。
现在将参考图3和图4来描述深度映射和视觉系统12。图3示出了以上对象10和视觉系统12的各方面，而图4示出了由视觉系统发出和检测的光脉冲之间的时间关系。
如图3所示，对象10的一些位置可被定位在相对靠近视觉系统12，在深度坐标Z的较小值处。其他位置可被定位在相对于远离视觉系统，在深度坐标的较大值处。图4中的实线32示出了从照明源16发出的光脉冲的示例简档。在一些实施例中，发出的脉冲的半峰全宽(FWHM)可以是十五至二十纳秒(ns)。来自照明源的脉冲照射对象的基本上全部位置，近的和远的两者，然后反射回检测器18。然而，从相对近的、浅的位置反射的光比从更远、更深的位置反射的光更迅速地被接收和检测。由此，图4中的虚线34示出了在接收从浅的位置(距离视觉系统两米)反射的光时来自第一检测器18的示例响应。图4中的点划线36示出了在接收从更深的位置(距离视觉系统四米)反射的光时来自第一检测器的类似响应。一般而言，照明脉冲和检测器脉冲之间的时间段与从照明源到反射光并返回至检测器的位置的往返距离成比例。因此，通过对对应于给定位置的检测器脉冲的到达进行计时，可以计算出向外到该位置的距离。这概括了深度映射的所谓飞行时间(TOF)方法。
一种对检测器处的反射光的到达进行计时的方便、间接的方式是在相对于照明脉冲定义的有限间隔期间打开电子快门，并集成在该间隔期间在检测器处接收的光通量。为了示出此方法，图4中标记了两个间隔——第一间隔S和重叠的具有更长持续时间的第二间隔M。在标记为S的间隔期间快门可以是打开的。在此情况下，检测器的集成响应将随2至4米深度范围内递增的反射位置的深度而增加，并将在深度是4米时达到最大值。
该简单的方法可被进一步细化以补偿对象的各位置中反射率的差别。具体地，检测器在诸如图4中标记为M的间隔的第二、较长的间隔期间保持打开。可以计算间隔S期间的集成检测器响应与间隔M期间的集成响应的比率并用作深度的指示。
如读者将理解的，以上略述的比率计(ratiometric)TOF方法容许有大量变体。例如，可使用两个相邻的、非重叠的间隔来代替以上所述的重叠的间隔。一般而言，经由多个离散测量来归一化门控的检测器响应校正了对象的不均匀或各向异性的反射率。可以使用单个检测器串行进行多个测量，或者使用多个检测器并发进行。使用多个检测器，可以从形成于相同照明脉冲的光的相同场景的多个(例如，第一和第二)图像提取多个测量。由此，图3示出了耦合在视觉系统12的前面处的第二检测器18’。第二检测器以及其中形成的图像可以和第一检测器基本相同。然而，如附图中所示，由于它们的分隔，第一检测器18和第二检测器18’是沿不同的(例如，非共线的)光轴定向的。在一些实施例中，第一和第二检测器可以隔开2至20厘米，但是实际上任何间隔都在本发明的范围内。
串行和并发检测方法造成可能限制深度分辨率的缺点。串行测量的缺点是对象在连续的测量之间可能移动或不可忽略地变换；多检测器的缺点是由于视差误差造成的深度分辨率的损失。在使用沿不同光轴定向的多个检测器对同样的场景或对象成像时可造成视觉误差。
避免视觉误差的一种方式是使用合适的分束光学器件来耦合第一和第二检测器，使得它们共享共同的光轴。然而，此方法存在了附加的缺点。首先，分束光学器件可能是昂贵的并要求仔细对准，由此增加了视觉系统的生产成本。其次，分束方法将造成可用的照明通量和光圈面积的低效使用，因为它将相同的反射分发至不同的检测器，而非允许每个检测器接收完全的反射。
在仍然提供其他优点的时候为了解决这些问题，本发明描述了各种深度映射方法。这些方法是由以上配置启用并继续参考以上配置来描述的。然而，应该理解，本文所述的方法以及完全落在本发明范围内的其它等效方案也可以由其它配置来实现。该方法可以在视觉系统12正在操作时的任何时间执行，并可以重复地执行。当然，方法的每次执行可能改变随后执行的输入条件，并且由此调用复杂的决策制定逻辑。在本发明中完全构想了这种逻辑。
在一些实施例中，在不偏离本发明的范围的情况下，可以省略此处所描述的和/或所示出的一些过程步骤。同样，过程步骤的所指示的顺序不是达成预期的结果所必需的，而是为说明和描述的方便而提供的。取决于所使用的特定策略，可以反复地执行所示出的动作、功能或操作中的一个或多个。
此处所描述的方法可用于映射具有大范围深度的场景，并且并不限于此处提供的特定示例。例如，它们可用于1至10米深度范围——即，其中场景的最浅位置距离第一检测器大于1米，场景的最深位置距离第一检测器小于10米。图5示出了示例深度映射方法38。该方法从将沿不同光轴定向的第一和第二检测器暴露在从场景分散的光下开始。
在40处，由此，照明源(例如，照明源16)发出定向至场景的照明脉冲。如上所述，照明脉冲可以是来自激光器或LED阵列的窄(例如，15至20纳秒)脉冲。在42处，在第一检测器处获取第一图像S。在44处，在第二检测器处获取第二图像M。在一些实施例中，步骤42和44可被并发地制定；在另一实施例中，它们可被串行地制定——例如，使用照明源的两个较近间隔的连续脉冲。为了有效使用可用的照明功率和光圈大小，第一和第二检测器可分别包括一完整的检测器阵列(例如，如上所述的检测器阵列26)。然而，在其他实施例中，第一和第二检测器可以检测相同的检测器阵列的相应的第一和第二区域区域中的光。例如，这可以对应于其中检测器阵列操作在第一和第二区域观测场景的大致相同部分的模式中的情况。在一个特定实施例中，检测器可以操作在隔行模式中，其中一半的行检测S，另一半检测M。在46处，深度映射是基于第一和第二图像计算的，如一下进一步描述的。方法38从46返回。
图6示出了用于基于第一图像S和第二图像M计算深度映射的示例方法46。在48处，将被映射的场景被分成N个深度片Z1，...，ZI，...，ZN，如图3中所示。图6中，场景被分成垂直于第一检测器18和第二检测器18’的光轴的相互平行的片。在其他实施例中，场景可不同地划分成——例如距任一检测器或视觉系统的任何其他点等距的放射状外形。场景可被划分成具有任何合适大小(包括等大小)的任意数量的间隔。然而，在一些实施例中，场景可被分成互逆(reciprocal)空间中大小相等的间隔——即，
Z I = 1 1 Z N + ( I - 1 N - 1 ) ( 1 Z 1 - 1 Z N ) .
现在返回图6，在50处，选择第一图像S的像素(U，V)。通过循环通过第一图像的各像素，可以连续地选择第一图像的每一像素。在52处，选择深度片ZI。通过循环通过以上定义的深度片系列，可以连续地选择N个深度片中的每一个。在54处，第一图像的像素(U，V)经由第一检测器的几何映射函数被投影到坐标(X，Y，ZI)。在56处，如图7中所示，经由第二检测器的几何映射函数，坐标(X，Y，ZI)被折叠至第二图像M的像素(U’，V’)。参考第一和第二检测器之间的已知距离，几何映射函数可应用三角关系将来自第一图像的2D坐标投影至3D坐标，并将3D坐标向下折叠至第二图像的2D坐标。以此方式，列举第二图像的一系列候选像素。
再次返回图6，在58处，经由基于第二图像M的像素(U’I，V’I)和第一图像S的像素(U，V)的飞行时间计算来计算深度测量Z’I——即，
Z′I＝fTOF[S(U，V)，M(U′I，V′I)]，
其中，S(U，V)和M(U’I，V’I)分别表示第一和第二图像的所选的像素的集成强度，fToF是合适的TOF函数。在此实施例以及其他实施例中，计算的Z’I随第一时间段S期间由第一检测器接收的递增的第一光量增加，并随第二时间段M期间由第二检测器接收的递增的第二光量减小。这里，第一光量是在第一图像的第一像素处集成的亮度，第二光量是在第二图像的第二像素处集成的亮度。
在一个示例中，fTOF在集成的强度比中可以是线性的——即，
Z I ′ = Z 1 + ( Z N - Z 1 ) S ( U , V ) M ( U I ′ , V I ′ ) .
由此，深度输出可以随第一光量与第二光量的比基本线性地变化。
在60处，评估ZI和Z’I之间的一致性等级AI。一致性等级可采用任何合适的方式来量化。在一个示例中：
AI＝-|ZI-Z′I|.
在其他示例中，一致性等级可以被不同地评估。例如，一致性等级可以通过测量对应于两个不同检测器中相同位置的像素位置之间的距离来评估。一旦TOF深度对于给定的片基于第一检测器映射而被评估，就可以将投影的位置向下折叠至第二检测器的像素位置。这里，AI可以随递增的(U，V)和(U’，V’)之间的距离而减小。
在62处，确定是否每个深度片都已被选择。如果并不是每个深度片都已被选择，那么该方法返回至52，其中下一深度片被选择。否则，该方法前进至64。在64处，找到计算的一致性AJ最大的深度片J。在66处，深度值Z’J被分配给第一图像S的像素(U，V)。在一些实施例中，此深度值可以改为分配给第二图像M的像素(U’，V’)。在又一实施例中，这个同样的深度值可以分配给两个图像的指示的像素。由此，从第二图像的列举的系列候选像素选择一个像素，使得计算的TOF深度值指示一位置的深度最接近可映射至第一和第二像素。
在所示实施例中，在68处调用迭代例程来改进深度映射的准确度。以下在图8的上下文中描述了示例迭代例程。在其它实施例中，可省略迭代例程。
继续图6，在70处，确定是否第一图片S中的每一像素都已被选择。如果第一图像的每一像素并非都已被选择，那么该方法返回至50。否则，该方法前进至72。在72处，标记具有无效的深度映射的像素。一般而言，在最接近可映射至第一和第二像素的位置在预定义的范围之外时，深度输出可被标记为无效的。在一些实施例中，如果在64处计算的最大一致性AJ低于阈值，那么像素的深度映射可被标记为无效的。在另一实施例中，如果迭代例程(参见下文)在达到最大迭代数量之后未能收敛，那么像素的深度映射可被标记为无效的。在又一些实施例中，通过比较从第一或第二图像中相邻或邻近的像素计算的深度，可以全局地评估深度映射无效性。具体地，在深度在一像素处突然地或不连续地变化时，该像素的深度可以被标记为非有效的。由此，有效深度的预定义范围可以部分基于场景的邻近位置的指示深度来定义。该方法从72返回。
图8示出了用于制定改进以上所描述的深度映射过程的准确度的迭代例程的示例方法。在74处，ZI由Z’J代替。在54处，第一图像的像素(U，V)经由第一检测器的几何映射函数被投影到坐标(X，Y，ZI)。在56处，经由第二检测器的几何映射函数，坐标(X，Y，ZI)被折叠至第二图像M的像素(U’，V’)。在58处，经由基于第二图像M的像素(U’I，V’I)和第一图像S的像素(U，V)的飞行时间计算来计算深度测量Z’I。以此方式，可使用作为第二光量的在第二图像的细化的第二像素处集成的亮度重新计算运行深度值。在76处，确定ZI和Z’I是否相差超过阈值量。如果是，那么方法68前进至78，在78处确定是否已达到最大迭代数量。如果并没有达到最大迭代数量，那么方法前进至80，在80处ZI由Z’I代替，并且执行在54处继续。由此，投影、折叠和重新计算的动作可以重复有限的迭代数量，或者直至输出已经收敛。
然而，如果在78处已达到最大迭代数量，那么方法前进至82，在82处为第一图像的像素(U，V)计算的深度映射被标记为无效。由此，如果在有限的迭代数量中输出没有收敛，那么深度输出就可被无效。从这一点或从76，如果确定ZI和Z’I并没有相差超过阈值量，那么方法68前进至84。在84处，深度值Z’I被分配给第一图像S的像素(U，V)，与方法46的66处所作的分配类似。方法68从84返回。
尽管上述方法的示出并没有引用第一和第二图像的显式对准，但是可以采用各种方式执行这样的对准。例如，对分布在场景中的一组代表性位置进行映射，将提供可用于构造用于将第二图像的像素映射至第一图像或反之亦然的适当函数的数据。
如上所述，本文中描述的方法和功能可以经由图2中示意性地示出的控制器30来执行。示出的控制器包括与存储器子系统88可操作地耦合的逻辑子系统86。存储器子系统88可以保存使逻辑子系统86执行各种方法的指令。为此，逻辑子系统可包括被配置成执行指令的一个或多个物理设备。例如，逻辑子系统可被配置成执行指令，该指令是一个或多个程序、例程、对象、组件、数据结构、或其它逻辑构造的一部分。可实现此类指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其它方式得到所需结果。逻辑子系统可包括被配置成执行软件指令的一个或多个处理器。另外或另选地，逻辑子系统可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统可任选地包括分布在两个或更多个设备上的组件，这些组件在某些实施例中可位于远程。
存储器子系统88可以包括被配置成保存可由逻辑子系统86执行以实现此处所述的方法和功能的数据和/或指令的一个或多个物理的、非瞬态的设备。在实现这种方法和功能时，可以变换存储器子系统的状态(例如，以保存不同的数据)。存储器子系统可以包括可移动介质和/或内置设备。存储器子系统可包括光学存储器设备、半导体存储器设备、和/或磁存储器设备等。存储器子系统可以包括具有以下特性中的一个或更多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在一个实施例中，可将逻辑子系统和存储器子系统集成到一个或多个常见设备中，诸如应用程序专用集成电路(ASIC)或所谓的片上系统。在另一个实施例中，存储器子系统可以包括计算机系统可读可移动介质，该介质可用于存储和/或传送可执行以实现此处描述的方法和过程的数据和/或指令。这样的可移动介质的示例包括CD、DVD、HD-DVD、蓝光盘、EEPROM和/或软盘等。
相反，在一些实施例中，本文描述的指令的各方面可以按暂态方式通过不由物理设备在至少有限持续时间期间保持的纯信号(例如电磁信号、光信号等)传播。此外，与本发明有关的数据和/或其他形式的信息可以通过纯信号传播。
术语“模块”和“引擎”可用于描述被实现以执行一个或多个特定功能的控制器30的一个方面。在某些情况下，可经由逻辑子系统86通过执行由存储器子系统88保存的指令来实例化此类模块或引擎。应该理解，可从相同应用程序、代码块、对象、例程、和/或功能来实例化不同的模块和/或引擎。同样，在某些情况下，可通过不同的应用、代码块、对象、例程、和/或功能来实例化相同的模块和/或引擎。
图2还示出了可操作地耦合至用户界面的组件的控制器30，用户界面的组件包括诸如显示器14之类的各种输入设备和输出设备。显示器14可提供由存储器子系统88保持的数据的可视表示。由于此处所描述的方法和过程改变了由存储器子系统保存的数据，并由此转变了存储器子系统的状态，因此同样可以转变显示器的状态以可视地表示底层数据中的改变。显示器可包括利用几乎任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑子系统86和/或存储器子系统88组合在共享封装中，或此类显示设备可以是外围显示设备。
最后，应当理解的是此处所描述的制品、系统和方法是本发明的实施例(非限制性实施例)，同样构想了该实施例的多种变型和扩展。因此，本发明包括此处所公开的制品、系统和方法的所有新颖和非显而易见的组合和子组合，及其任何和所有的等效方案。

Claims (8)

1.一种深度映射方法(38)，包括：
将沿不同光轴定向的第一和第二检测器(18,18’)暴露(40)在从场景分散的光下；
对于所述场景内的一系列候选深度的每一个，将所述第一检测器的一像素投影至具有所述候选深度的3D坐标，将所述3D坐标折叠到所述第二检测器的候选像素，并基于来自所述第一检测器的像素相对于所述第二检测器的候选像素的集成响应来计算深度，所计算的深度随第一时间段期间在所述第一检测器的所述像素接收的递增的光量而增加，并随第二时间段期间在第二检测器的所述候选像素接收的递增的第二光量而减小；
对于所述一系列候选深度的每一个，评估所述候选深度和对应的所计算的深度之间的一致性；以及
提供(46)输出，所述输出与所述第一检测器的所述像素相关联，所述输出基于相对所对应的候选深度具有最大一致性的所计算的深度。
2.如权利要求1所述的方法，其特征在于，所述场景包括多个位置，并且其中所述输出是对应于所述多个位置的多个输出其中之一，每一输出指示对应的位置的深度。
3.如权利要求2所述的方法，其特征在于，所述第一检测器形成所述场景的第一图像，所述第二检测器形成所述场景的第二图像，其中所述第一和第二图像各自包括像素的矩形阵列，并且其中所述第一和第二时间段重叠且持续时间不同。
4.如权利要求3所述的方法，其特征在于，还包括：
对于由所述输出指示的深度：基于第一检测器几何学将所述第一图像的第一像素投影至3D坐标，所述3D坐标具有相对所对应的候选深度最大一致性的所计算的深度；基于第二检测器几何学对所述3D坐标进行折叠以定义所述第二图像的经细化的第二像素；以及
使用集成在所述第二图像的所述经细化的第二像素处的亮度，作为所述第二光量，重新计算所述输出。
5.如权利要求3所述的方法，还包括：将所述第二图像与所述第一图像对准。
6.一种视觉系统(12)，包括：
已调制照明源(16)，被配置成对场景进行照明；
沿不同光轴定向并被安排来检测从所述场景分散的光的第一和第二检测器(18,18’)；
可操作地耦合至所述第一和第二检测器以及所述已调制照明源的控制器(30)，所述控制器被配置成：
对于所述场景内的一系列候选深度的每一个，将所述第一检测器的一像素投影至具有所述候选深度的3D坐标，将所述3D坐标折叠到所述第二检测器的候选像素，并基于来自所述第一检测器的像素相对于所述第二检测器的候选像素的集成响应来计算深度，所计算的深度随第一时间段期间在所述第一检测器的所述像素接收的递增的光量而增加，并随第二时间段期间在第二检测器的所述候选像素接收的递增的光量而减小；
对于所述一系列候选深度的每一个，评估所述候选深度和对应的所计算的深度之间的一致性；以及
提供输出，所述输出与所述第一检测器的所述像素相关联，所述输出基于相对所对应的候选深度具有最大一致性的所计算的深度。
7.如权利要求6所述的系统，其特征在于，所述已调制照明源是使用15至20纳秒的脉宽进行脉冲调制的。
8.如权利要求6所述的系统，其特征在于，所述已调制照明源包括红外或近红外发光二极管和激光器中的一个或多个。
CN201110428489.9A 2010-12-20 2011-12-19 多检测器飞行时间深度映射 Active CN102538758B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/973,671 2010-12-20
US12/973,671 US8803952B2 (en) 2010-12-20 2010-12-20 Plural detector time-of-flight depth mapping

Publications (2)

Publication Number Publication Date
CN102538758A CN102538758A (zh) 2012-07-04
CN102538758B true CN102538758B (zh) 2015-04-01

Family

ID=46233864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110428489.9A Active CN102538758B (zh) 2010-12-20 2011-12-19 多检测器飞行时间深度映射

Country Status (2)

Country Link
US (1) US8803952B2 (zh)
CN (1) CN102538758B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9297889B2 (en) 2012-08-14 2016-03-29 Microsoft Technology Licensing, Llc Illumination light projection for a depth camera
EP2703836B1 (en) * 2012-08-30 2015-06-24 Softkinetic Sensors N.V. TOF illuminating system and TOF camera and method for operating, with control means for driving electronic devices located in the scene
US9374618B2 (en) * 2012-09-11 2016-06-21 Intel Corporation Interactive visual advertisement service
US9367733B2 (en) 2012-11-21 2016-06-14 Pelco, Inc. Method and apparatus for detecting people by a surveillance system
US10009579B2 (en) 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
US9639747B2 (en) 2013-03-15 2017-05-02 Pelco, Inc. Online learning method for people detection and counting for retail stores
CN112180397B (zh) * 2014-01-29 2023-07-25 Lg伊诺特有限公司 用于提取深度信息的装置及方法
DE102014101201A1 (de) * 2014-01-31 2015-08-06 Huf Hülsbeck & Fürst Gmbh & Co. Kg Montagemodul für ein Kraftfahrzeug
EP3091370B1 (en) * 2015-05-05 2021-01-06 Volvo Car Corporation Method and arrangement for determining safe vehicle trajectories
US10048357B2 (en) * 2015-06-15 2018-08-14 Microsoft Technology Licensing, Llc Time-of-flight (TOF) system calibration
US9836895B1 (en) * 2015-06-19 2017-12-05 Waymo Llc Simulating virtual objects
US10830879B2 (en) 2017-06-29 2020-11-10 Apple Inc. Time-of-flight depth mapping with parallax compensation
CN109726614A (zh) * 2017-10-27 2019-05-07 北京小米移动软件有限公司 3d立体成像方法及装置、可读存储介质、电子设备
CN111465870B (zh) 2017-12-18 2023-08-29 苹果公司 使用可寻址发射器阵列的飞行时间感测
US10948596B2 (en) * 2018-01-24 2021-03-16 Sony Semiconductor Solutions Corporation Time-of-flight image sensor with distance determination
CN112740666A (zh) 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法
US11349569B2 (en) 2018-10-26 2022-05-31 Raytheon Company Methods and apparatus for implementing an optical transceiver using a vapor cell
JP2022526626A (ja) 2019-04-08 2022-05-25 アクティブ サージカル， インコーポレイテッド 医療撮像のためのシステムおよび方法
US11307395B2 (en) 2019-05-23 2022-04-19 Raytheon Company Methods and apparatus for optical path length equalization in an optical cavity
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
WO2020256823A1 (en) 2019-06-20 2020-12-24 Raytheon Company Methods and apparatus for tracking moving objects using symmetric phase change detection
US11159245B2 (en) 2019-07-03 2021-10-26 Raytheon Company Methods and apparatus for cavity angle tuning for operating condition optimization
US11199754B2 (en) 2019-07-15 2021-12-14 Raytheon Company Demodulator with optical resonator
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
US11258516B2 (en) 2019-09-26 2022-02-22 Raytheon Company Methods and apparatus for transmission of low photon density optical signals
CN112860053B (zh) * 2019-11-28 2024-02-20 京东方科技集团股份有限公司 手势识别装置、手势识别方法、计算机设备和存储介质
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5081530A (en) * 1987-06-26 1992-01-14 Antonio Medina Three dimensional camera and range finder
WO2004001332A1 (en) * 2002-06-19 2003-12-31 Canesta, Inc. System and method for determining 3-d coordinates of a surface using a coded array
CN1575524A (zh) * 2001-08-23 2005-02-02 华盛顿州大学 深度增强的图像采集
CN101866056A (zh) * 2010-05-28 2010-10-20 中国科学院合肥物质科学研究院 基于led阵列共透镜tof深度测量的三维成像方法和系统

Family Cites Families (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
JPH06508788A (ja) 1991-12-03 1994-10-06 フレンチ　スポーテク　コーポレイション 対話型ビデオ式検査および訓練システム
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
WO1997041925A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
DE50302813D1 (de) 2002-04-19 2006-05-18 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US8134637B2 (en) * 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7379100B2 (en) * 2004-02-12 2008-05-27 Canesta, Inc. Method and system to increase dynamic range of time-of-flight (TOF) and/or imaging sensors
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
BRPI0606477A2 (pt) 2005-01-07 2009-06-30 Gesturetek Inc sensor de inclinação baseado em fluxo ótico
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
WO2006074289A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Detecting and tracking objects in images
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
KR20070119018A (ko) * 2005-02-23 2007-12-18 크레이그 써머스 3ｄ 카메라 및 3ｄ비디오를 위한 자동 씬 모델링
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
WO2006124935A2 (en) 2005-05-17 2006-11-23 Gesturetek, Inc. Orientation-sensitive signal output
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
WO2007035720A2 (en) * 2005-09-20 2007-03-29 Deltasphere, Inc. Methods, systems, and computer program products for acquiring three-dimensional range information
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US8229166B2 (en) * 2009-07-07 2012-07-24 Trimble Navigation, Ltd Image-based tracking
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
KR100745983B1 (ko) * 2006-07-18 2007-08-06 삼성전자주식회사 최소값 샘플링을 이용한 신호 복원 장치 및 방법
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US8031258B2 (en) * 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
US8090194B2 (en) * 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
WO2008073994A2 (en) 2006-12-12 2008-06-19 Acoustx Corporation Methods of device spatial registration for multiple-transducer therapeutic ultrasound systems
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US7852461B2 (en) 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US8681321B2 (en) 2009-01-04 2014-03-25 Microsoft International Holdings B.V. Gated 3D camera
US8565476B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5081530A (en) * 1987-06-26 1992-01-14 Antonio Medina Three dimensional camera and range finder
CN1575524A (zh) * 2001-08-23 2005-02-02 华盛顿州大学 深度增强的图像采集
WO2004001332A1 (en) * 2002-06-19 2003-12-31 Canesta, Inc. System and method for determining 3-d coordinates of a surface using a coded array
CN101866056A (zh) * 2010-05-28 2010-10-20 中国科学院合肥物质科学研究院 基于led阵列共透镜tof深度测量的三维成像方法和系统

Also Published As

Publication number Publication date
CN102538758A (zh) 2012-07-04
US8803952B2 (en) 2014-08-12
US20120154542A1 (en) 2012-06-21

Similar Documents

Publication Publication Date Title
CN102538758B (zh) 多检测器飞行时间深度映射
US11625845B2 (en) Depth measurement assembly with a structured light source and a time of flight camera
US11688089B2 (en) Method and processing system for updating a first image generated by a first camera based on a second image generated by a second camera
Zennaro et al. Performance evaluation of the 1st and 2nd generation Kinect for multimedia applications
Sarbolandi et al. Kinect range sensing: Structured-light versus Time-of-Flight Kinect
Zanuttigh et al. Time-of-flight and structured light depth cameras
US8743349B2 (en) Apparatus and method to correct image
Hansard et al. Time-of-flight cameras: principles, methods and applications
EP2936204B1 (en) Multiple frequency time of flight dealiasing
US20180278910A1 (en) Correction of multipath interference in time of flight camera depth imaging measurements
US20140347443A1 (en) Indirect reflection suppression in depth imaging
US9470778B2 (en) Learning from high quality depth measurements
US10055881B2 (en) Video imaging to assess specularity
Dal Mutto et al. Microsoft Kinect™ range camera
TW202235909A (zh) 高解析度飛行時間深度成像
KR20200049958A (ko) 3차원 깊이 측정 장치 및 방법
JP2014130086A (ja) 距離画像センサ、処理装置、プログラム
Crabb et al. Probabilistic phase unwrapping for single-frequency time-of-flight range cameras
US20200182971A1 (en) Time of Flight Sensor Module, Method, Apparatus and Computer Program for Determining Distance Information based on Time of Flight Sensor Data
US20230057655A1 (en) Three-dimensional ranging method and device
WO2022101429A1 (en) Depth measurement through display
TWI588441B (zh) Measuring method and apparatus for carrying out the measuring method
US20240127401A1 (en) Active depth sensing
US20240070886A1 (en) Mixed-mode depth imaging
Birch et al. 3d imaging with structured illumination for advanced security applications

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150724

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150724

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.