CN102812697A - 用于构建色彩和深度图像的成像器 - Google Patents

Abstract

双模包括被配置成投影可从中过滤出可见光的结构化照明的光源。双模成像器还包括被配置成捕捉来自场景的结构化照明和可见光两者的检测器。时间或空间过滤器用于选择性地阻塞可见光使其不到达检测器的一个或多个部分，而使结构化照明通过使其到达检测器的该一个或多个部分。

Description

用于构建色彩和深度图像的成像器

背景

相机可用于捕捉场景的静止图像。快速连续拍摄的若干静止图像可用于生成包括多个帧的电影，每一帧对应于不同的静止图像。尽管这样的图像在各种不同的应用中是非常有用的，但这样的图像并非很好地适于某些目的。具体而言，常规的静止图像和电影不提供足以准确地评估在场景中所捕捉的各种表面的相对深度的信息。

概述

公开了用于对可见光所照明的场景进行成像的双模成像器。该双模成像器包括被配置成投影可从中过滤可见光的结构化照明的光源。该双模成像器还包括被配置成捕捉来自场景的结构化照明和可见光两者的检测器。时间或空间过滤器用于选择性地阻塞可见光使其不到达检测器的一个或多个部分，而使结构化照明通过使其到达检测器的该一个或多个部分。

提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键或必要特征，也不旨在用于限定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。

附图简述

图1示出了可被处理用于构建色彩图像和深度图像的示例场景。

图2示意性地示出了根据本公开的一实施例的示例双模成像器。

图3示意性地示出了根据本公开的一实施例的示例转轮过滤器。

图4示意性地示出了其中图3的转轮过滤器正与检测器协作以构建色彩图像和深度图像的时间序列。

图5示意性地示出了与检测器协作以构建色彩图像和深度图像的示例空间过滤器。

图6示出了使用共享图像传感器来构建色彩图像和深度图像的示例方法。

图7示意性地示出了能够使用共享图像传感器来构建色彩图像和深度图像的示例计算系统。

详细描述

公开了能够使用共享图像传感器来处理深度信息和色彩信息的双模成像器。数字双模成像器在时间和/或空间上过滤递送给图像传感器(即，检测器)的光，使得像素的子集在时间的子集被暴露于第一参数(例如，波长带)所表征的光，且使得像素的相同或不同子集在时间的相同或不同子集被暴露于与第一参数不同的第二参数(例如，不同的波长带)所表征的光。以此方式，第一参数所表征的光可用于构建色彩图像，而第二参数所表征的光可用于构建深度图像。这两种图像都可使用相同的图像传感器来构建——例如，通过使用所有的像素来在读取色彩信息与深度信息之间进行时间上的交替，或通过使用所选择的像素来读取色彩信息而使用其他像素来读取深度信息。

使用共享图像传感器对色彩图像和深度图像的创建在下文作为示例并参考某些所示实施例来描述。将注意到包括在本说明书中的附图是示意性的。所示实施例的视图一般不按比例绘制。纵横比、特征大小以及特征数量可以有目的地失真，以使所选择的特征或关系更容易理解。

图1示出了可被处理用于构建色彩图像和深度图像的示例场景10的简化透视图。场景包括以不同深度(即，自位于场景前面的观察者的观点的距离)来安排的各个对象和表面。表面12在场景中是最深的(距观察者的观点最远)。表面14被安排在表面12的前面(距观察者的观点较近)，且表面16、18和20被安排在表面14的前面。由此，当前考虑的表面是宏表面，具有与场景维度相同数量级的维度。然而，将注意到，此处公开的系统和方法不限于这样的表面，而是也将允许检查结构化宏表面的小得多的区域，例如，询问粗糙或不规则的拓扑结构等。此外，尽管图1示出了静止场景，但此处描述的概念可用于对动态场景(诸如包括一个或多个移动的人或对象的场景)成像。

除了被安排在场景内的不同深度以外，图1中示出的各个表面相对于彼此和观察者被不同地定向。表面12和14被定向为与观察者视线呈法向，而表面16对于观察者视线是倾斜的。此外，弯曲表面18和20呈现相对于观察者视线的连续定向范围。

图1中示出的表面也可呈现不同的纹理。例如，表面20相比于底层表面18可以是相对平滑的。光学上，场景的不同纹理可展示不同的光反射性质。例如，表面20可以是很大程度上镜面反射的，而表面18可以是很大程度上散射的。

最终，场景中的各个对象可以是不同色彩。尽管黑线和白线绘图被用于示意性地描绘场景10，但本领域中的技术人员将理解，各个表面的光吸收和光反射性质可以彼此不同，且由此各个表面的色彩可以彼此不同。

在某些应用中，仅处理来自场景的色彩信息以形成该场景的色彩图像(例如，数码照片或数字电影)。在其他应用中，仅处理来自场景的深度信息以形成深度图像。如此处描述的，处理色彩信息和深度信息两者，使得可形成色彩图像和深度图像。代替使用两个分开的相机——一个相机用于生成色彩图像而另一个相机用于生成深度图像——本发明涉及生成两种图像的单个双模成像器。

图2示出了场景10的横截平面视图。在一个示例实施例中，该图还示出了双模成像器22。该双模成像器是用于对场景成像的光学系统；它包括控制器23、光源24、检测器26和过滤器28。

控制器23可以是被配置成控制光源24、检测器26、和/或过滤器28的任何控制设备——例如，用于触发、协调、和/或同步这些组件的运作。控制器可包括如下文描述的逻辑子系统和/或数据保持子系统。在某些实施例中，控制器可包括深度分析器。在其他实施例中，深度分析器可在操作上与控制器通信，但本身可以是一分开的系统。

控制器可协调过滤器和检测器的定时，使得由检测器捕捉的图像在过滤器正阻塞来自检测器的可见光时被排序以构建深度图像。控制器还可协调过滤器和检测器的定时，使得由检测器捕捉的图像在过滤器正使可见光通过使其到达检测器时被排序以构建色彩图像。深度分析器随后可基于由检测器捕捉的结构化照明的一个或多个图像(即，在过滤器正阻塞可见光不使其到达检测器时，由检测器捕捉的一个或多个图像)，来构建深度图像。这在下面将更详细地描述。

光源24可以是被配置成将可过滤照明投影到场景10的各个表面上的任何合适的光源。具体而言，光源24被配置成投影具有与可见光的对应特征不同的一个或多个特征的光，由此允许相对于投影光来过滤可见光(例如，可经由波长和/或偏振状态来过滤)。

在图2中示出的实施例中，光源包括激光器30和分散器32。激光器可提供具有已知偏振状态并且密集、经校准的、相干的且基本上单色的光束。

如此处使用的术语‘偏振状态’包含在光传播时光振荡的方向或指向或这一方向的旋转的任何非寻常指示；指示可以是准确的或近似的、完全的或不完全的。完全偏振状态的一个示例是包括S₀、S₁、S₂和S₃分量的完全Stokes矢量表示，这些分量被定义为：

S₀＝|E_x|²+|E_y|²

S₁＝|E_x|²-|E_y|²

S₂＝|E_a|²-|E_b|²

S₁＝|E_l|²-|E_r|²，

其中，E₁和E₂是基

中电场的复杂振幅分量，

是标准笛卡尔基，

是旋转45°的笛卡尔基，而是被定义成使得

的圆周基。不完全偏振状态的示例是由下式定义的偏振度p：

$p=\frac{\sqrt{S_1^2+S_2^2+S_3^2}}{S_0},$

而线性偏振方向ψ由下式定义：

2ψ＝arctan(S₂/S₁).

继续图2，在某些实施例中，激光器30可以是连续波(CW)激光器；在其他实施例中，该激光器可以是脉冲的、模式锁定的、Q-开关的激光器等等。包括在光源24中的激光器的功率可基于要成像的场景来选择，功率较大的激光器用于较远且广阔的场景，而功率较小的激光器用于较近且更紧凑的场景。除了功率以外，激光器的发射激光波长可基于要成像的场景来选择。具体而言，可选择发射激光波长以便最低限度地与可见光重叠。在一个实施例中，发射激光波长可以是近红外波长。

分散器32可以是被配置成将来自激光器30的经校准光束分散在投影角范围中、且由此用彼此隔开的多个光特征来照明该场景的任何设备。在图2中示出的实施例中，光特征形成激光器30的图案化或以其他方式结构化的照明33。图2示出分散在限于水平面的偏转角范围的激光束。在所示实施例中，偏转角采用由常增量分开的离散值，例如，-20°、-15°、......、+20°。在其他实施例中，离散值由随机增量分开。在其他实施例中，激光束水平地分散在偏转角的连续范围中。将理解，此处所述的数字范围仅为示例，并且其他范围完全落入本发明的范围内。

分散器32可进一步将激光束分散在限于竖直面的偏转角范围中。与上述水平分散类似，竖直分散可以是离散的或连续的。如果水平和竖直分散两者都是离散的，则场景将由星座点来照明。如果竖直分散是离散的，而水平分散是连续的，则场景将由一系列水平条来照明。并且，如果竖直分散是离散的，而水平分散是连续的，则场景将由一系列竖直条来照明，如下文进一步引用的。可使用这些或其他结构化光图案而不背离本发明的范围。

为了分散激光束，分散器32可包括各种光学组件——透镜、衍射光学器件、漫射器、镜、波导、掩模等。在某些实施例中，分散器可进一步包括各种有源组件——例如，机电致动器、斩波器、压电设备、以及液晶光阀。

继续图2，检测器26可以是被配置成通过检测来自场景的光来捕捉该场景的图像的任何设备。此外，如图2中所示，检测器可被定向，使得捕捉到的图像包括由光源24和/或可见光所照明的场景的至少一部分。以此方式，从场景各个表面所反射的照明的一部分可被检测器检测到。检测器26被配置成捕捉来自场景的结构化照明和可见光。

检测器26可包括用于收集和/或将光聚焦于图像传感器40的各光学组件的几乎任何组合。

图像传感器40可以是被配置成检测可见光的相对强度和结构化照明33的相对强度的任何传感器。在其中光源24包括近红外发射激光器的实施例中，例如，图像传感器可包括被配置成检测具有近似三百八十纳米至一千纳米波长的光的互补金属氧化物半导体(CMOS)。此外，图像传感器可被配置成将捕捉到的图像表示成像素阵列。由此，捕捉到的图像的每一像素可以为一个或多个色彩通道对从场景的不同区域所反射的光强度进行编码。本领域技术人员将理解，可使用能够检测可见光、照明光照33的光、和/或经调制的照明的各种不同图像传感器，而不背离本发明的范围。此外，可以理解，可将图像传感器并入具有不同光学配置的各种设备。

过滤器28可以是时间过滤器或空间过滤器。时间过滤器的一个非限制性示例包括转轮过滤器。在图3中示意性地示出一个示例转轮过滤器50。转轮过滤器50包括被配置成阻塞可见光而使近红外光通过的第一部分52。第一部分用竖直线来示意性地标识。旋转过滤器还包括被配置成使可见光通过而可任选地阻塞近红外光的第二部分54。第二部分用水平线来示意性地标识。

图4示意性地示出四个不同时间：t₀、t₁、t₂和t₃的转轮过滤器50，这四个时间对应于检测器26a的四个连续曝光(即，检测器捕捉图像的四个连续时间)。尽管该图本质上是示意性的，但该图示出了光从左到右的行进。来自场景的光行进通过过滤器的底部至检测器。如这一示例中所示，转轮过滤器50的第一部分在检测器每隔一次捕捉图像时(例如，时间t₀和t₂)在光学上介于场景与检测器26a中间。同样，转轮过滤器50的第二部分在检测器每隔一次捕捉图像时(例如，时间t₁和t₃)在光学上介于场景与检测器26a中间。如以上讨论的，控制器可将时间过滤器的时间段设置为检测器的时间段的两倍。换言之，检测器26a在转轮过滤器每次旋转期间捕捉两个图像——可见光图像和近红外图像。即，每次旋转，转轮过滤器50被配置成对于近似一半的旋转阻塞可见光，而对于近似一半的旋转使可见光通过。

如图4中示意性地示出的，通过到达检测器的红外光可用于生成深度图像(即，在时间t₀和t₂)。如此处使用的，深度图像包括在其中对每一像素记录位置深度值(例如，z坐标)的任何图像。同样，通过到达检测器的可见光可用于生成色彩图像(即，在时间t₁和t₃)。如此处使用的，色彩图像包括在其中对每一像素记录一个或多个强度值(例如，黑白或灰度级图像的单个强度值、或与多色图像的不同色彩或亮度通道对应的两个或更多强度值)的任何图像。

上述配置是时间过滤器的一个非限制性示例。可以使用具有不同数目的可见光阻塞部分和可见光通过部分的其他转轮过滤器。例如，转轮过滤器可包括被配置成阻塞可见光的两个四等分，以被配置成通过可见光的两个四等分来交替。可见光阻塞和可见光通过部分可以按任何合适的方式来定大小和形状。此外，可以理解，可使用除了转轮过滤器以外的时间过滤器。一般而言，可使用被配置成在阻塞可见光使其不到达检测器与使可见光通过使其到达检测器之间进行时间上交替的任何过滤器。

尽管提供上述转轮作为非限制性示例来示出从深度图像的光中过滤色彩图像的光的概念，但可以理解其他安排也在本发明的范围内。例如，可结合波长敏感的偏振旋转器来使用调制偏振(例如，光弹性调制器)的其他活动设备来在时间上改变到图像传感器的信号。

图5示意性地示出空间过滤器60(部分地示出)的示例。空间过滤器60被配置成阻塞可见光使其不到达检测器62(部分地示出)的某些部分，而允许可见光通过使其到达该检测器的其他部分。例如，空间过滤器可被配置成阻塞可见光使其不到达检测器的多个空间上交替的像素组(例如，空间上交替的像素行、空间上交替的像素列、像素的棋盘图案等)中每隔一个像素组。在所示实施例中，空间过滤器60和检测器62被协同配置且对齐，使得偶数像素行被暴露于近红外光，而奇数像素行被暴露于可见光。

如图5中示意性地示出的，通过到达检测器的红外光可用于生成深度图像(即，使用偶数像素行)。同样，通过到达检测器的可见光可用于生成色彩图像(即，使用奇数像素行)。

另一种将可见光和红外光分开的方法是使用色彩旋转器。在这一情况下，来自场景的光通过线性偏振器且随后通过过滤器，该过滤器对于某些波长旋转偏振状态，但对其他波长保持相同的偏振状态。光的形成具有处于一种偏振状态的红外光以及处于一不同状态的可见光。这样的光可通过使用图案化偏振器来在空间上分开，其中偏振方向是空间变化的。

图6示出了使用共享图像传感器来构建色彩图像和深度图像的示例方法70。在72，方法70包括将结构化照明投影到场景上。结构化照明可由近红外波长或准许可见光被过滤同时保持结构化照明基本不被过滤的任何其他特征来表征。结构化照明可从任何合适的光源被投影，诸如包括近红外激光器的光源。

在74，方法70包括在阻塞来自场景的可见光使其不到达检测器与使来自场景的可见光通过使其到达检测器之间进行时间上的交替。在某些实施例中，这可使用诸如转轮过滤器等时间过滤器来完成。

在76，方法70包括逻辑分支。如果可见光被阻塞，则方法移至78。如果可见光未被阻止，则方法移至80。在78，方法70包括用检测器来捕捉结构化照明。检测器可以是能够捕捉结构化照明和可见光的任何合适的检测器。

在82，方法70包括基于用检测器捕捉到的结构化照明来生成深度图像。深度图像可至少部分地由深度分析器来构建，该深度分析器被配置成基于构成结构化照明的在空间上分开的光特征的相对位置，来评估像素的位置深度值。为便于这种类型的图像处理，图像传感器可包括像素阵列结构，使得单色光和RGB光都可被检测出。

在80，方法70包括逻辑分支。如果可见光被通过，则方法移至84。如果可见光未被通过(例如，来自场景的光既未通过过滤器的可见光过滤部分也未通过过滤器的近红外过滤部分)，则方法循环回76。

在84，方法70包括用检测器来捕捉可见光。在78被用于捕捉结构化照明的同一检测器被用于在84捕捉可见光。

在86，方法70包括基于用检测器捕捉到的可见光来生成色彩图像。色彩图像可以是多色图像、黑白图像、或灰度级图像。

尽管以上在用于形成深度图像的红外结构化照明与用于形成色彩图像的可见光之间进行过滤的上下文中描述了过滤机制，可以理解，本文描述的过滤机制可用于过滤来自具有一个或多个不同特征(例如，波长、偏振等)的光的其他类型的深度成像照明，或反之亦然。一般而言，如文本描述的，具有第一特征的一个或多个类型的光可以从具有不同特征的不同类型的光中过滤出。相对于彼此而言是可过滤的光类型的非限制性示例包括可见光、红外光、近红外光、紫外光、结构化光、和/或已调制光。

如下面参考图7所述，可以使用各种不同的计算系统，而不偏离本公开的精神。参考图2描述的操作环境是作为示例来提供的，但并不意味着以任何方式来进行限制。相反，所示出的操作环境旨在展示可以在不背离本公开的范围的情况下应用于各种各样不同的操作环境的一般概念。

在此所述的方法和过程可以绑定到各种不同类型的计算系统。图7示意性地示出可执行本文描述的色彩图像构建和深度图像构建方法中的一个或多个的计算系统90。计算系统90可以采取各种不同的形式，尤其包括但不限于：游戏控制台、个人计算系统、军用跟踪和/或定标系统、以及提供绿屏或者运动捕捉功能的特征采集系统。

计算系统90可包括逻辑子系统92、在操作上连接到逻辑子系统的数据保存子系统94、显示子系统96、和/或双模成像器98。计算系统可任选地包括未示出在图7中的组件，并且/或者示出在图7中的某些组件可以是未被整合到计算系统中的外围组件。

逻辑子系统92可包括被配置为执行一个或多个指令的一个或多个物理设备。例如，逻辑子系统可被配置为执行一个或多个指令，该一个或多个指令是一个或多个程序、例程、对象、组件、数据结构或其他逻辑构造的一部分。可实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态、或以其他方式得到所希望的结果。逻辑子系统可包括被配置为执行软件指令的一个或多个处理器。附加地或可替代地，逻辑子系统可包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统可任选地包括分布在两个或多个设备上的独立组件，这些独立组件在一些实施例中可被远程放置。

数据保存子系统94可包括一个或多个物理设备，该一个或多个设备被配置成保存可由逻辑子系统执行以实现此处所述的方法和过程的数据和/或指令。在实现这样的方法和过程时，可以变换数据保持子系统94的状态(例如，以保持不同的数据)。数据保持子系统94可包括可移动介质和/或内置设备。数据保持子系统94可以包括光学存储器设备、半导体存储器设备(如RAM、EEPROM、闪存等)、和/或磁存储器设备等。数据保持子系统94可包括具有以下特性中的一个或多个特性的设备：易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、以及内容可寻址。在某些实施例中，可以将逻辑子系统92和数据保持子系统94集成到一个或更多个常见设备中，如专用集成电路或片上系统。

图7还示出使用计算机可读可移动介质100形式的数据保持子系统的一方面，该方面可用于存储和/或传送可执行来实现此处所述的方法和过程的数据和/或指令。

显示子系统96可用于呈现由数据保持子系统94所保持的数据的可视表示。因为此处所述的方法和过程改变了由数据保存子系统保存的数据，并进而变换了数据保存子系统的状态，所以可能同样变换了显示子系统96的状态以可视地表示底层数据中的改变(例如，显示子系统可显示所构建的色彩图像、所构建的深度图像的可视表示、和/或基于所构建的深度图像的虚拟模型)。显示子系统96可以包括使用实际上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑子系统92和/或数据保存子系统94一起组合在共享封装中，或此类显示设备可以是外围显示设备。

计算系统90还包括被配置成获得一个或多个目标和/或场景的深度图像和色彩图像两者的双模成像器98。深度图像可使用结构化光分析来构建。在这样的分析中，图案化光(即，被显示成诸如网格图案或条纹图案等已知图案的光)可以被投影到场景上。在场景的表面上，图案可成为变形的，而图案的这一变形可被研究以确定从双模成像器到场景中的特定位置的物理距离。双模成像器可包括用于选择性地阻塞可见光的时间或空间过滤器，由此便于用同一双模成像器来捕捉深度图像和色彩图像两者。

可以理解，可由一个或多个双模成像器的逻辑机器来执行至少某些深度分析操作。双模成像器可包括被配置为执行一个或多个深度分析功能的一个或多个板上处理单元。双模成像器可以包括固件以促进更新这样的板载处理逻辑。

应该理解，此处所述的配置和/或方法在本质上是示例性的，并且这些具体实施例或示例不应被认为是局限性的，因为多个变体是可能的。此处所述的具体例程或方法可表示任何数量的处理策略中的一个或多个。由此，所示出的各个动作可以按所示顺序执行、按其他顺序执行、并行地执行、或者在某些情况下省略。同样，可以改变上述过程的次序。

本公开的主题包括各种过程、系统和配置的所有新颖和非显而易见的组合和子组合、和此处所公开的其他特征、功能、动作、和/或特性、以及其任何和全部等效物。

Claims (15)

1.一种用于对由可见光照明的场景进行成像的双模成像器，所述双模成像器包括：

光源，被配置成将从其中可过滤可见光的结构化照明投影到所述场景上；

检测器，被配置成捕捉来自所述场景的结构化照明和可见光两者；以及

过滤器，用于选择性地阻塞可见光使其不到达所述检测器的一个或多个部分而使所述结构化照明通过使其到达所述检测器的该一个或多个部分。

2.如权利要求1所述的双模成像器，其特征在于，所述过滤器包括时间过滤器，所述时间过滤器被配置成在阻塞可见光使其不到达所述检测器与使可见光通过使其到达所述检测器之间进行时间上的交替。

3.如权利要求2所述的双模成像器，其特征在于，所述过滤器包括转轮过滤器，所述转轮过滤器包括被配置成阻塞可见光的一个或多个部分以及被配置成使可见光通过的一个或多个部分。

4.如权利要求3所述的双模成像器，其特征在于，所述转轮过滤器被配置成对于近似一半的旋转阻塞可见光，而对于近似一半的该旋转使可见光通过。

5.如权利要求2所述的双模成像器，其特征在于，还包括控制器，所述控制器用于协调所述时间过滤器和所述检测器，使得在所述时间过滤器正阻塞可见光使其不到达所述检测器时由所述检测器捕捉到的图像被排序以构建深度图像；并且使得在所述时间过滤器正使可见光通过使其到达所述检测器时由所述检测器捕捉到的图像被排序以构建色彩图像。

6.如权利要求5所述的双模成像器，其特征在于，所述时间过滤器包括偏振器和光弹性调制器，用于在阻塞可见光使其不到达所述检测器与使可见光通过使其到达所述检测器之间进行时间上的交替，而无需移动各部分。

7.如权利要求1所述的双模成像器，其特征在于，所述过滤器包括空间过滤器，所述空间过滤器被配置成阻塞可见光使其不到达所述检测器的某些部分而允许可见光通过使其到达所述检测器的其他部分。

8.如权利要求7所述的双模成像器，其特征在于，所述检测器包括多个空间上交替的像素组，且所述空间过滤器被配置成阻塞可见光使其不到达所述多个空间上交替的像素组中每隔一个的像素组。

9.如权利要求8所述的双模成像器，其特征在于，所述多个空间上交替的像素组是空间上交替的像素行。

10.如权利要求7所述的双模成像器，其特征在于，所述空间过滤器包括偏振器、波长敏感的色彩旋转器、以及具有空间变化的偏振方向的图案化偏振器。

11.如权利要求1所述的双模成像器，其特征在于，所述检测器包括互补金属氧化物半导体。

12.如权利要求1所述的双模成像器，其特征在于，所述光源包括具有近红外发射激光波长的激光器。

13.如权利要求12所述的双模成像器，其特征在于，所述光源包括分散器，所述分散器被配置成将来自所述激光器的经校准的束分散在投影角范围中，以便用具有近红外波长的多个空间上分开的光特征来照明所述场景。

14.如权利要求1所述的双模成像器，其特征在于，还包括深度分析器，所述深度分析器被配置成基于由所述检测器捕捉到的结构化照明的一个或多个图像来构建深度图像。

15.一种构建色彩图像和深度图像的方法，所述方法包括：

将具有近红外波长的结构化照明投影在场景上；

在阻塞来自所述场景的可见光使其不到达检测器与使来自所述场景的可见光通过使其到达所述检测器之间进行时间上的交替；

在阻塞来自所述场景的可见光时，用所述检测器来捕捉所述结构化照明；

在使来自所述场景的可见光通过时，用所述检测器来捕捉可见光；

基于用所述检测器捕捉到的结构化照明来生成所述深度图像；以及

基于用所述检测器捕捉到的可见光来生成所述色彩图像。

Images