CN1310615C

CN1310615C - 深度增强的图像采集

Info

Publication number: CN1310615C
Application number: CNB028209168A
Authority: CN
Inventors: E·赛贝尔; Q·Y·J·史密斯维克; T·A·福尔内斯三世
Original assignee: University of Washington
Current assignee: University of Washington
Priority date: 2001-08-23
Filing date: 2002-08-22
Publication date: 2007-04-18
Anticipated expiration: 2022-08-22
Also published as: US6563105B2; KR20040047791A; CN1575524A; EP1430534A1; JP4080426B2; AU2002331723B2; JP2005501279A; US20020139920A1; EP1430534A4; CA2457506A1; WO2003019661A1

Abstract

最小侵害的医疗图像采集系统输出光束或脉冲，照明刚好一个斑点尺寸。多个光子检测器检测从包括所述斑点的物体返回的光子，象素分辨率由照明光点的面积(因而由透镜配置)决定，而不是由传感器检测的面积决定。通过使相应的检测器所检测的各图像相关，或者通过基于相位差、飞行时间、频率或干涉仪的测距的方法，决定深度增强。

Description

深度增强的图像采集

发明背景

本发明涉及光纤扫描装置，诸如光纤图像采集装置和光纤图像显示装置等，更详细地说，涉及利用直径非常小的柔性光纤增强深度信息，实现高图像分辨率和宽视场的光纤扫描装置。

光纤图像采集装置包括内窥镜、内孔窥视仪和条码阅读器。内窥镜是一种成像仪器，用来观看人体通道和空心器官的内部。一般通过人体的开孔进入。内孔窥视仪是一种成像仪器，用来观看人体内部区域。一般是通过“钻出”的开孔(例如，外科手术开孔)侵入。

有刚性内窥镜和柔性内窥镜。刚性内窥镜不具有像素化的图像平面。柔性内窥镜较小，传统上具有像素化图像平面。但是，柔性内窥镜无法达到刚性内窥镜的分辨率和视场。然而，刚性内窥镜不能用在要求小尺寸和柔性光纤和镜杆(shaft)的许多用途。

任何内窥镜的目的都是在小的包装内达到高的图像质量，允许最小的组织创伤。在最小侵入外科技术领域的发展中，对与当前图像质量匹配的较小型的内窥镜存在巨大的需求。具体地说，对最小侵入医疗手术的需求增大了超细光学内窥镜的需求。但是，商售的柔性内窥镜在尺寸和图像质量上两者须择其一。内窥镜的直径越小，图像分辨率和/或视场(FOV)就越低，使得图像质量受损。采用非常小的内窥镜时许多内窥镜技术就无法使用或变得危险，因为医生没有足够的视觉信息，亦即，尺寸小和图像质量差。因而，需要高分辨率和和大视场的非常小柔性内窥镜。具有非常小的直径和高的图像质量的柔性图像产生装置的这种基本的折衷(两者不可共得的情况)是诸如遥感等人体外部应用的主要限制。

传统的柔性内窥镜和内孔窥视仪包括构成CCD摄像头的大的像素检测器空间阵列。一般用光纤束来捕获图像，并把图像发送给CCD摄像头。为了达到高的分辨率、宽的视场，这样的CCD摄像头包括大约1000×1000个检测器的像素检测器阵列。为了彩色保真度，通常包括三个这样的阵列，在要求有立体感的地方，就要加倍到6个阵列。每个像素检测器要有一条光纤。每条光纤具有大于或等于4微米直径。这样，采集就需要每个像素大于或等于4微米的空间。若按VGA标准(800×600像素)，则仅仅图像管道的最小直径就大于3mm。1000×1000个像素检测器阵列至少具有4mm直径。对于VGA标准，为了获得小于3mm的总直径的镜，便要牺牲分辨率和/或视场，采用较少的像素元件。减小内窥镜的直径，便减小了可能的像素数目，相应地，降低了分辨率和视场。直径上的限制也限制了访问彩色图像和立体图像的机会。

小的(例如，直径小于3mm)柔性内窥镜的领域中，内窥镜需要使用最小的像素尺寸，而且还要减少像素数目，一般减到100×100。应该指出，外科医生发现这些小的柔性内窥镜太脆，所以得不到广泛应用。医生宁可采用小的但刚性的杆状(直杆)内窥镜，大大限制它们的机动性和适用性。

在大的(例如，直径大于或等于4mm)柔性内窥镜的领域，内窥镜具有直径大于或等于4mm的柔性杆，一般或者包括一束光纤或者在远端包括小的摄像头来捕获图像。但是，在所需的50-70°视场(FOV)和在人类视觉敏锐最大潜力下的分辨率之间仍要折衷，直至内窥镜直径达到＞10mm。

1992年4月27日颁布的John W.Hicks的美国专利No.5,103,497公开了一种飞点内窥镜，其中减小光纤之间的空间，以便减小光纤束的总体直径。不是用粘在一起的方法安排光纤束，Hicks在其推荐的实施例中利用多光纤，其相邻纤芯是相位不匹配的、用电磁驱动器，沿着光栅图案、螺旋图案、振动图案或旋转图案扫描所述多光纤。扫描照明光纤、观察光纤或既扫描照明光纤又扫描观察光纤。在最简单的实施例中，Hicks公开了扫描单根光纤(例如，或者照明光纤或者观察光纤)。

Hicks利用小的光纤束或单根光纤通过沿着图像平面扫描光纤束来扫描图像平面。应该指出，图像平面尺寸不减小。较小的光纤束扫描整个图像平面。为了这样做，让光纤束在先有技术中由较大的收集光纤阵列占用的同一区域上移动。结果，Hicks装置在操作时占用的区域与先有技术的相同。另外，在先有技术中较大阵列中光纤的纤芯尺寸限制了分辨率，Hicks的较小的光纤束中光纤的纤芯尺寸也同样地限制了分辨率。

内窥镜技术上的一个挑战是缩小扫描装置的尺寸。正如上面讨论的，最小尺寸是光纤直径和所需分辨率和所需视场的组合的函数。所需分辨率或视场越大，所需直径就越大。在给定的视场下所需分辨率越大，所需光纤的数目就越大。这种限制是利用光纤摄像头元件对图像平面的小部分进行采样这种技术造成的。传统上，捕获图像平面的每个像素都用一根收集光纤，尽管Hicks一条或多条光纤扫描多个像素。

产生图像平面时，用照明光纤照亮物体。某些照明光线直接射在物体上。其他照明光线射在物体之前或之后被散射。收集从图像平面返回的光线(例如，反射光、荧光返回光、磷光返回光)。一般利用共焦系统把从物体的照明部分返回的所需的非散射光与散射光区分开。具体地说，透镜聚焦返回观察光纤的光。只有不散射的光沿着从物体部分到透镜和观察光纤的直接路径行进。透镜具有这样设置的焦距，使得非散射光聚焦在观察光纤的端面上。这样，所需的光被捕获，并与不希望有的光分开。这种途径的一个缺点是，大部分照明光线被浪费了，或者被周围的像素元件作为噪音捕获，只有小部分作为非散射光用来定义给定的像素。

最小侵入医疗手术采用内窥镜，利用视频监视器向医师提供单一摄像头图像。医师必须在心里把由内窥镜捕获的平面的二维图像与人体内扫描目标的三维几何联系起来。受过训练的医师利用运动视差、单眼提示和其他间接的深度证据在心里想象出人体的几何形状。最好改善呈现在医师眼前的图像。例如，当前的立体内窥镜(带有两个光纤束或摄像头)提供附加图像数据，但呈现次最优性能。在不显著增加内窥镜的成本、重量和尺寸的情况下达到这样的改善仍旧是一个挑战。

发明概述

按照本发明，实现了一种带有柔性光纤的微型图像采集系统。柔性光纤用作照明波导，照明波导谐振以便使发射的光沿着所需的图案扫描。最好把单光纤用于照明光。对于照明光的多种颜色，最好把来自各自的彩色光源的光加以组合，通过照明单光纤，照射在观看的物体上。在一个替代的实施例中，把多根光纤和同心光纤用于照明光。

不是像传统的柔性内窥镜等所做那样产生图像平面并对其采样(亦即其中像素是在空间上分开的)，本发明的扫描仪不必产生图像平面来捕获图像。反之，像素是按时间采集的，在时间上分开。这种方法的一个优点是，图像分辨率不再受检测器的尺寸(例如，收集光纤的直径)限制。按照本发明的一个方面，图像分辨率是被照明点尺寸的函数。具体地说，利用小于收集装置直径的光点尺寸即可改善图像分辨率。在一个实施例中，实现单模光纤，它具有较小的高斯光束曲线和较小的纤芯曲线，允许在被扫描处产生较小的光点尺寸，

由于像素是作为在时间窗口内接收的光被检测的，所以在这样的时间窗口中检测的光子来自照明的光点。本发明的另一个优点是，避免了先有技术系统中的共焦问题的出现。利用典型的视频速率，例如，来定义像素的时间窗口尺寸，每40纳秒收集一个像素。要使来自其他像素的光干扰一个像素的光，第二个像素的光会要平均弹跳20英尺(因为光约行进1英尺/纳秒)。对于典型的应用，这样的光要在小于一立方英寸的空间内弹跳。相当于大约240次反射。来自一个像素的光在被吸收之前要反射240次，这是不太可能的。于是共焦问题不明显。

按照本发明的一个方面，照明光纤的远端部分用作谐振波导。这样的远端部分在靠近光纤其余部分的末端被锚定(例如，称作远端部分的近端或谐振波导的近端)。远端部分自由偏转和谐振。波导是柔性的，以谐振频率沿着扫描路径偏转。光检测器定位在照明光纤的末端(例如，在远端部分的被锚定的近端附近)。应该指出，可以有收集光纤，但不必要。另外，不必跟踪扫描路径。

本发明的一个优点是，由于像素的获取方法、透镜的存在和光纤的驱动方法，即使小而细的观察器(scope)，也能达到光纤的柔软性、广阔的视场和高的分辨率。因为像素是在时间序列中测量的，并非二维像素矩阵，所以不必具有小的光子检测器。检测器的尺寸不像先有技术观察器那样关键，在那里许多小的检测器分布在一个大的面积上。因此，本发明的观察器可以做得比现有的观察器小，而同时利用较少的比标准观察器的像素检测器大的光子检测器。按照本发明，对于单色图像采集，使用的光子检测器可以少到只有一个，而对于全色成像，使用的红、绿和蓝色检测器可以少到各一个。通过加上附加的检测器，强调全色成像中的拓扑，可以达到准立体成像和光度立体。

按照本发明的另一个方面，通过在每个像素位置上测距，测量从观察器到目标的轴向距离，即可达到真立体观察。这样的轴向测量值是图像的第三维，加以处理便可产生立体视觉。

按照本发明的另一个优点，带有小的柔性杆的单根扫描光纤提供(i)轴向几何尺寸，(ii)提供彩色保真度、增大目标对比度和增大荧光对比度的低成本方法，和(iii)激照明明可以用于荧光成像、医学诊断和激光外科手术。结合附图参照以下的详细描述，对本发明的这些和其他方面和优点将有更好的理解。

附图简介

图1是按照本发明一个实施例的微型图像采集系统的方框图；

图2是说明图像采集系统的照明子系统的示意图；

图3是图1图像采集系统一个实施例的收集子系统和显示部分的示意图；

图4是图1的图像采集系统的另一个实施例的一部分的示意图，包括检测器子系统、显示装置和图像存储装置

图5A-C是不同模式下图2照明光纤谐振波导部分的示意图；

图5D是按照图5C的谐振模式不同取向下的光纤远端透镜的示意图；

图6A是一个示意图，描写按照传统的技术对图像平面一个小的像素区域进行采样，其中被采样的区域定义了像素尺寸和像素分辨率；

图6B是一个示意图，描写按照本发明一个实施例对一个大区域进行采样，其中所述大的采样区域内较小的照明区域定义像素尺寸和像素分辨率；

图7是谐振波导和聚焦透镜的示意图，表示沿着扫描线的点和相应的照明光点；

图8是表示光纤驱动系统同步信号、光纤端部的角位移和照明光点位置与时间关系的曲线图；

图9是由恒定的照明、连续采样形成的扫描线示意图，其中采样结果按时间划分形成N个像素；

图10是由恒定的照明、定期采样形成的扫描线示意图，其中每个采样结果对应N个像素中的一个；

图11是由周期性脉冲照明形成的扫描线示意图，其中、定期采样与脉冲同步进行，产生N个像素的样值；

图12是图1系统的观察器部分的平面侧视图；

图13是图12的观察器的平面正视图；

图14是去掉外壳后图13的观察器的透视图；

图15A-C是图1观察器部分实施例微光电机械系统(MEMS)的平面图；

图16是图1系统的观察器部分另一个实施例的透视图，包括双压电晶片元件弯曲执行器，而且其中光检测器安装在一个圆盘上，在弯曲器动作时所述圆盘运动；

图17是图16的观察器的透视图，表示执行件的基本谐振模式；

图18是图1系统的观察器部分另一个实施例的透视图，包括双压电晶片元件弯曲执行器，其中光检测器安装在静止的基座上；

图19是图1系统的观察器部分另一个实施例的透视图，包括管状双压电晶片元件执行器；

图20是图1系统的观察器部分另一个实施例的透视图，包括同心地围绕照明波导的收集波导；

图21是观察器部分的一部分的平面图，包括以差动方式排除(factor out)环境光而设置的光子检测器；

图22是按照本发明一个实施例的采集增强深度信息的图像的方法的流程图；

图23是按照本发明一个实施例的图像处理流程图；

图24是按照本发明另一个实施例的采集增强深度信息的图像的方法的流程图。

具体实施例的描述

概述

参见图1，微型图像采集系统10包括照明子系统12、收集或检测器子系统14和在某些实施例中的主机系统16。照明子系统12把光线发射在物体上。收集/检测子系统14收集或检测从物体返回的光。照明子系统12和收集/检测子系统14都连接到主机系统16。主机系统16包括控制器18，用以使照明子系统的工作和收集/检测子系统的工作同步。主机系统16还包括显示装置20、用户接口21、图像存储装置22、处理器(未示出)和存储器(未示出)。图像采集系统10在某些实施例中配置成独立装置，没有主机系统16。在这样的独立装置实施例中，控制器18和显示器20都是独立系统的一部分。在不同的应用中，微型图像采集系统10实现了内窥镜、内孔窥视仪、条码阅读器和用于图像采集的其他装置。本文中术语“光纤观测器”指利用扫描光纤波导的图像采集系统。

参见图2，照明子系统12包括光源24、光纤26和光纤偏转驱动系统28。光源24在一个实施例中发射出连续的光流30，而在另一个实施例中发射出光脉冲流32。当实现脉冲时，控制器18向光源24发送控制信号，以便同步和控制脉冲发射的定时。

来自光源24的光进入光纤26并行进到远端部分36，在这里光向物体发射。远端部分36偏转并用作谐振波导36。光纤26或至少远端部分36是柔软的，经受得起远端处的谐振偏转运动。控制器18向光纤偏转驱动系统28发送同步信号，光纤偏转驱动系统28本身则使波导36的远端谐振。波导36的谐振运动使发射的光线沿着所需的扫描路径在物体上扫描。在某些实施例中，光纤偏转驱动系统28是用送往控制器18的传感器和反馈信号40闭环控制的。在一个推荐的实施例中，驱动系统28是压电驱动系统。在替代驱动系统的实施例中，实现永磁或电磁驱动、静电驱动、光驱动、声驱动或电化学驱动来代替压电驱动。

最好在波导的远端通过对远端的成型加工，形成一个或多个透镜37。或者把一个或多个透镜熔融、粘结、安装或用其他方法附在远端部分36的远端(亦即远端面)上。透镜最好不扩展到光纤远端部分36的圆周和直径以外。透镜37相对于远端部分36是固定的，随着远端部分36运动并改变取向。这些透镜37用来准直所发射的光线。另一个透镜39，诸如扫描透镜或f-θ透镜设置在光纤的远端部分36以外的发射的光线的光路上，以便使光线聚焦在物体上。在某些实施例中，透镜39是折射和/或衍射光学元件，诸如折射率渐变透镜。透镜37、39决定图像质量并限定子系统12的图像分辨率。

透镜39用作扫描透镜，由玻璃、塑料或诸如液晶等其他波形成形材料形成。若有焦面，则扫描透镜39的屈光力决定了照明在多远处形成焦面。若发射的光线是准直的，则所得图像具有接近所发射的光束直径的分辨率，得到一个场深巨大的图像。增大扫描透镜39的屈光力，便增大像素的分辨率，而同时减小场深或焦深。扫描透镜39的焦平面取决于其放大率和相对于远端58(见图5A)和远端透镜37的位置。通过相对于远端透镜37轴向移动扫描透镜39，可以调整所述焦平面。

参见图3，在一个实施例中，微型图像采集系统10的一部分42包括收集子系统14’和视网膜扫描显示装置20’。从照明子系统12(见图1和2)发射的光输出到物体。从物体返回的光线44在一个或多个收集光纤46中收集，并被直接送到扫描显示装置20’。在一个实施例中，显示装置20’使光线扫描人眼E的视网膜。在另一个实施例中，显示装置使光线在投影屏幕上扫描(例如，被光电放大)。在再一个实施例中(未示出)，来自收集光纤46的光线被采样，并由存储装置27存储。控制器18对收集光线的扫描或存储进行同步，并使之与照明光线相关。

在某些实施例中，驱动系统48使收集光纤46沿着与照明子系统12的照明光纤26的公共路径偏转。驱动系统48和照明子系统28可以是同一系统，或者可以是单独的驱动系统。驱动系统48最好是压电驱动系统。驱动系统48从控制器18接收同步信号38。在收集光纤46是固定的一些实施例中，驱动系统48是不必要的。

扫描显示装置属于先有技术已知的类型。一个示例性装置是1995年11月14日授予Furness等人的美国专利No.5,467,104“虚拟视网膜显示器”中所公开的。另一个示例性装置是1997年12月2日授予Melville的美国专利No.5,694,237“机械谐振扫描反射镜的位置检测”中所公开的。

参见图4，在一个替代的实施例中，微型图像采集系统10包括检测子系统14”。所述检测子系统14”包括一个或多个光子检测器50。光子检测器50的一个可以实现的示例性类型包括光电倍增管、基于硅和半导体的光电检测器、光电放大光纤、图像存储介质(例如，胶片)和光电子发射介质。返回光线射在光子检测器50上。检测器50连续地、周期地或非周期地根据从控制器18接收的采样信号52对返回光线进行采样。采样信号52在定时上与输出到照明子系统12的同步信号38相关。结果，光子检测器50输出连续的信号或与对返回光线44的采样对应的电子信号脉冲流。在一个实施例中，输出信号54送到图像存储装置22，以便建立数据的图像帧。在不同的实施例中，图像存储装置22是模拟存储装置(例如，胶片)或数字式存储介质。另外，或者作为另一方案，同一或不同的输出信号55被送到显示装置20，以便建立和显示图像数据帧。显示装置可以是任何一种传统的显示装置，诸如阴极射线管、液晶显示板、光投影仪、气体等离子体显示板或其他显示装置。

照明光纤波导的谐振模式

参见图5A-C，所示照明光纤26在其长度上的一点56被锚定。从锚定点56到远端58的光纤长度称作远端部分36，用作谐振波导。在某些实施例中，采用短光纤，其中基本上整个光纤都用作谐振波导36，并沿着长度出现在从锚定点56到远端58一段。波导36由光纤偏转驱动系统28驱动(见图2)，使波导以谐振模式偏转。

有许多可以由驱动系统28实现的谐振模式。在每一种模式中，在锚定点56都会出现静止节点。沿着波导36的长度会出现反节点(anti-point)(亦即，偏转最大的点)。参见图5A，说明一种谐振模式，其中静止节点出现在锚定点56，而反节点出现在远端58。所示波导36处于中性位置60，和两个最大偏转位置62，64。

参见图5B，说明一种谐振模式，其中有两个静止节点：一个在锚定点56，而另一个在锚定点56和远端58之间的点66。反节点出现在两个静止节点56，66之间的点68上。所示波导36处在中性位置60，和两个最大偏转位置62’，64’。在不同的谐振模式下，一个或多个静止节点沿着波导的长度出现，使远端58沿着弧70摆动。也可能形成0到n个反节点，其中n或者相当于静止节点数或者比静止节点数少1。

参见图5C，在一个推荐的谐振模式下，静止节点出现在波导36的远端58。所示波导36处于中性位置72，和两个最大偏转位置74，76。尽管在锚定点56和在远端58之间没有额外的静止节点，但是，在不同的实施例中，额外的静止节点确实出现在这样的点56，58之间。为了在波导的远端维持自然谐振的节点，远端58的质量和衰减是受控的设计特征。一般，对于几何形状和材料均匀的波导，只要小量增加质量和衰减就够。一个实施例在波导36的端面增加一个比较致密的透镜(或较大的)的准直透镜37。

图5D表示针对远端58上具有静止节点的谐振模式的远端58(例如，透镜37)的侧视图。所示的是对应于波导36中性位置72的中性取向78，在一个方向上与最大偏转位置74对应的最大角度取向80和在另一个方向上与最大偏转位置76对应的另一个最大角度取向82。正如说明的，中心点84对于每一个取向一般都是静止的。在准确的说明(未示出)中，随着波导偏转，沿着波导36轴线88(例如，图5D的Z轴)，端部58略有移动。但是，没有偏离轴线(沿着X轴或Y轴)的运动，只有围绕轴线的取向改变，从取向78变到80到78到82再回到78。在波导36偏转过程中这样改变的取向造成在一般垂直于透镜37的远端端面的方向上发射光线90的结果。在远端58和透镜37改变取向的过程中，光线90扫描弧92。光线90’垂直于位置80上的透镜37。于是，弧92限定了照明子系统12的视场。

把静止节点放在波导36远端58上的好处是，内窥镜和其他照明装置不必像图5a和5b所示的谐振模式中那样扩大直径来包括摆动弧70。在X-Y空间中固定远端，而不是让它作为点光源在X-Y空间中沿着线或弧摆动，减小了光学畸变和象差。另外，不是使远端沿着弧70运动来限定视场，远端58的位置基本上固定，而同时远端的取向随着谐振波导的其他区域的谐振运动而改变。光纤远端58改变的角度取向限定了所扫描的视场宽度(亦即，限定了弧92)。

按时间分隔的像素采集方法

微型图像采集系统10与先有技术装置相比的差别是，像素分辨率由照明光点的尺寸决定，而不是由所采样的光点尺寸(例如，传感器或收集光纤的采样面积)决定。按照申请人的方法，是照明光点的尺寸，而不是采样区域的尺寸决定着像素的分辨率。于是，根据所需的功能(例如，彩色、立体、高对比度)使用一个大的检测器或多个较小的检测器。

参见图6A，传统上光纤照亮整个物体区域95，或者一次形成整个图像平面96或者通过扫描形成图像平面96。图像平面是图像像素的空间区域。在某些传统的技术中，同时照亮整个物体区域95，而对图像平面96的小的空间区域进行采样，以采集图像像素。在其他传统的技术中，光线在整个目标上扫描，以便照亮物体改变着的部分98。对照明区域97内的小空间区域97进行采样，以便采集像素。这些传统的技术的特征在于：(i)正被采样的小空间区域变成被采集的像素并且决定了像素的分辨率；以及(ii)对于任何一次采样，照明区域大于被采样的区域。

参见图6B，实行一种不同的技术。按照本发明的一个方面，不是照明一个大的区域并检测小的像素区域，而是照明小的像素区域并采样大的区域。具体地说，由波导36(图2)发射的光在某个与所述像素被采集对应的给定时刻照明小的区域99。被检测器50或收集光纤46采样的区域100大于照明光点的尺寸99。这个区别是明显的，传统的技术用它们的传感器(例如，被采样的光点尺寸)决定的采样区域来定义它们的像素和像素分辨率。按照本技术，像素分辨率是由照明的光点决定的。照明光点的尺寸准确地由带有透镜37和39的波导36控制。

为使照明光点尺寸对应于要采样的像素，照明和采样之间要有时间同步。这个同步不是像传统方法那样把采样同步到图像平面内的特定位置，而是时间上同步到照明信号或脉冲。例如，在一个实施例中光子检测器50在任何给定时刻检测来自整个物体的光。在这样的检测器50检测的光同步到特定的光发射，以便获得与所述发射对应的像素。事实上，排除采样过程的空间关系。反之，像素的位置是由于知道照明光点在对应时刻的位置而知道的。

知道了时间上每一瞬间扫描光点的位置，很像视频信号，图像是一次一个像素地产生的。例如，通过以15.75kHz扫描图像行，并以12.5MHz的时间分辨率检测光，以视频速率(60Hz)以VGA的分辨率(640×480)产生包含RGB彩色图像的像素流。

利用时间同步法，在给定的时间窗口内采集像素。因为像素是作为时间窗口内接收的光而检测的，所以在这样的时间窗口检测到的光子来自照明光点。另外，利用多个传感器，实现共模抑制方案，滤除环境光，并检测从物体返回的照明光。这种方法的优点是，避免了在先有技术的系统中出现的的共焦问题。例如，为了定义像素时间窗口的尺寸，利用典型的VGA视频速率，每40毫微秒收集一个像素。对于一个像素的光，要被来自其他像素的光干扰，第一个像素的光要平均来回弹跳约20英尺(因为光每毫微秒行进约1英尺)。对于典型的应用，这样的光必须在小于一立方英寸的空间内来回弹跳。这对应于大约240次反射。光子被吸收或光子流被高度衰减之前，来自一个像素的光作240次反射是不大可能的。因此共焦问题不明显。

参见图7，在光30/32向透镜39发射的同时，波导36谐振。所述透镜使光射向目标物体上的特定光点位置。在波导偏转的一个极端位置上，对象的光点A被照明。随着偏转继续，波导达到中性位置，其中光点B被照明。再继续，波导达到相反的极端，在这里光点C被照明。照明光点C的光具有峰值强度半径R。这样的强度在半径外减弱，并被认为是不明显的。相应地，信号扫描线沿着从光点A到光点C的路径行进。在某些实施例中，光纤偏转系统28是线性扫描系统，它沿着一条线扫描。在另一个实施例中，系统28沿着直线或辐射状光栅图案扫描。在再一个实施例中，驱动系统28实现螺旋形扫描图案，其中改变螺旋的半径画出物体区域的轮廓。由点A和C形成的弧决定了视场，并且可以跨越大约180度。光点A、B和C的距离由透镜37，39决定，而且可以比透镜37，39之间的距离大得多。

参见图8，所示从控制器18接收的示例性同步信号，用以同步驱动系统28。图8中还示出了远端56和透镜37的角位移102(例如，取向)。最后，示出照明光点沿着对象扫描线扫描时的位置10。一条示例性扫描线，例如，出现在从时间T1到T2。下一条扫描线(对于重叠扫描的实施例)出现在时间T2到T3。在扫描运动过程中，不同的时刻照明光点跨越光点A、B和C。在第一条扫描线过程中，光点A在时刻TA1被照明。光点B在时刻TB1被照明。光点C在时刻TC1被照明。对于随后出现在时间T2到T3的扫描线，首先遇到光点C，并在时刻TC2被照明。之后相应的光点B在时刻TB2被照明。然后光点A在时刻TA2被照明。

对于VGA分辨率的实现，从T1到T3的时间是63.5μs(微秒)。于是从T1到T2的时间是31.75μs。从TA1到TC1的时间小于31.75μs。具体地说，对于VGA标准，每条扫描线分成800个时间相等的像素。于是，每个像素跨越40ns(纳秒)。相应地从TA1到TC1是25.6μs。

图9和10描述一种实现方案，其中，发射的光是沿着扫描线106移动的连续光流30。在图9的实现方案中，光子检测器50连续地被激活，相关部分(TA到TC)均等地分成N个像素108。对于VGA标准，每个像素40ns的采样时间。对于其他标准，可以采用不同的采样时间。在图10的实现中，光子检测器50周期性地采样。每次采样对应于一个采集的像素110。每条扫描线106采集N个像素。在一个实施例中，每次采样持续20ns。对于VGA标准，每个采样间隔的中点之间的时间是40ns。对于这样的标准，相应的采样时间间隔是10ns。还可以采用替代的扫描时间和时间间隔。

参见图2和11，在一个实施例中，照明系统12在扫描线114的扫描过程中定期发射光32的脉冲112。对光子检测器50(图4)进行同步，以便一次对物体或至少包括照明光点的物体的区域进行采样，以捕获与已知光点对应的返回光。对应于光点(例如，光点B)的采样时间间隔I的跨度为时间周期116，对于所述光点，时间周期116大于、等于或小于光脉冲的时间间隔118。采样时间间隔118的典型时间是20ns，而且可以改变。在再一个实施例(未示出)中，正如针对图9描述的，检测器50连续检测返回光，而同时采样结果与发射光脉冲112相关。

采用只以固定频率放大，通过把照明和/或检测维持在固定的频率(例如，等于1/40ns＝12.5MHz)，可以显著提高信噪比。于是频率较高或较低的其他所有频率的噪音均被滤除。

物理实施例

参见图12，示出了图像采集系统10的观察器部分120，其中光纤偏转驱动系统28的波导36和执行器125包装在保护外壳122中。扫描透镜39密封在观察器的端头。扫描透镜39的焦平面取决于它的放大率和相对于光纤远端58和远端透镜37的位置。相对于远端透镜37轴向移动透镜37即可调整焦平面。

对于单轴125扫描，波导36在外壳122内受执行器125作用而偏转。悬臂式波导的基础锚定在执行器125的远端建立振动谐振的第一个静止节点。都可以实现根据图5A-D描述的任何一个谐振模式。对于双轴扫描，第二执行器124使观察器120沿着轴130(图14)偏转。但在某些实施例中，执行器124和/或125使波导产生非线性动作，引起二维运动，诸如沿着螺旋线图案运动。

参见图13，在执行器125的远端锚定面内示出红、绿和蓝的光电检测器对50，以便以准立体方式捕获彩色图像。光电检测器的瞬时带宽大于像素照明速率，以免限制对比度或分辨率。例如，对于VGA标准，这样的光电检测器带宽为≥12.5MHz，而对于sVGA视频标准为19.8MHz。许多直径小于1mm的基于硅的光电二极管在可见光谱中有足够的带宽。为了减小增大了的噪音，在微光电机械系统(MEMS)的制造过程中，将光电检测器与集成的前置放大器组合在一起。一个替代的方法是，把光引导到单光纤悬臂的外同心层或特种包层内的观察器的近端，或者利用一个或多个大芯(多模)光纤来捕获散射回来的光线。这样的配置允许光电检测器处在观察器的近端，这较少受到环境因素、物理空间限制和可能由于对可处理性和/或可消毒性的需求带来的复杂化的影响。

参见图15A-C，其中示出系统10的观察器部分的120’的‘MEMS’实施例。在这样的实施例中，用于机械谐振运动的光波导结构是利用生产MEMS扫描仪的硅微加工技术批量生产的。在这样的实施例中，执行器124、125、检测器50和附加的光导管(未示出)也是利用同样的MEMS工艺制造的，产生整体结构。微透镜37和扫描透镜39也是利用同样的MEMS工艺或者单独的注射模塑/加压模塑或MEMS工艺制造的，然后连附在其他MEMS结构上。附加的光学和位移传感器也可以装入观察器120’内，用以长期控制扫描稳定性。在这样的实施例中，MEMS悬臂式波导36’被光纤26照明，光纤26粘结在下面衬底134的V型槽132内。

参见图16和17，在一个替代的观察器部分120”的实施例中，光纤26穿过用作电导线和光纤的导管并支持周围保护覆盖物(未示出)的管形机械支架140。双压电晶片弯曲器142连同电导线144和光纤26一起从支架140伸出成为悬臂。弯曲器142用作光纤偏转驱动系统28(见图2)的执行器。在弯曲器142的远端的是盘形结构146，盘形结构146支持用来产生缓慢扫描轴145的悬臂式光纤扫描波导36。

在盘形结构146上有直接粘在盘上的光子检测器50，诸如直径0.1mm的商售光电二极管。在检测器50的中心，环绕波导36的基座的是压电环48，压电环48驱动光纤波导36进入谐振振动状态。两个压电执行器142，148同时在两个正交的方向145、147上产生扫描。图17所示是两个扫描轴145、147的谐振基模。

参见图18，在一个类似的观察器120实施例中，利用两个扫描轴145、147的第二谐振振动模式以缩小的直径实现直线扫描运动。类似于图17的实施例，双压电晶片弯曲器142产生偏转。但是，在这第二模式下，另一个静止节点出现在观察器内。具体地说，在图18的实施例中，振动的第二节点出现在振动件142、36的远端。例如，光纤端面上的准直透镜37的附加质量使扫描光束彩色分离复合棱镜组件的运动可以是没有平移的旋转。应当指出，光子检测器50位于观察器120的静止基座150上。

参见图19，在另一个观察器120””的实施例中，利用单个执行器152实现两个旋转对称的扫描运动。不论对于圆形扫描还是径向扫描的实现，执行器152都是管状压电执行器。

参见图20，在再一个观察器120””’实施例中，照明波导36被收集波导160同心地包围。在这个实施例中，收集波导160随着偏转器波36运动。这种配置的结果是，空间滤除本来会降低分辨率和彩色保真度的来自多重反射的反射。

立体和彩色观察

各种不同的观察器实施例可以适合于使立体和彩色观察成为可能。例如，通过提供物理上隔开并同步地对返回光进行采样的多个检测器来实现立体成像。与用单独的观察器进行立体观察的先有技术系统相比，这有明显的好处。对比之下，采用单一照明光纤达到立体观察。

通过包括对与所需的颜色对应的相应的波长范围敏感的光子检测器来实现彩色观察。参见图13，包括匹配的红、绿和蓝光电检测器对，用以进行立体彩色成像。

在不同的实施例中，光子检测器50可以是单元件或多元件光子检测器。参见图21，光子检测器50’、50”装在不同的轴上，以差分方式滤除环境光的光子(和来自目标照明的强烈散射的背反射)，以便有别于由照明光纤26发射和直接返回物体的光子。具体地说，针对观察器暴露在其强度与照明光30/32相比足够大的环境光下的实施例，实现对环境光的共模抑制。这有利于改善彩色保真度。

考虑每次反射颜色的改变。捕获射在许多表面上之后的光线，结果造成像素颜色混乱。另外，由于影响光的其他目标结构，多重反射降低分辨率和对比度。因而，最好捕获从所述光线所射到的第一点返回的颜色。

图21实施例中光电检测器50’和50”的配置在两侧和而在轴线上与照明光排成一直线，用来抑制背景分量。结果，彩色保真度和图像分辨率都得以改善。在某些实施例中，包括偏振维持照明分量和偏振滤波器，以便抑制被多次散射和色移的背散射光。图20中的准同心配置连同偏振滤波器一起也产生改善颜色保真度和图像分辨率的结果。

深度增强的方法

当用单检测器光纤观测器采集图像时，图像具有看来象是处于照明光纤位置上的视点和看来象是处于检测返回光的光检测器的位置上的单一表观定向光源。所述图像具有很强的由单一表观光源引起的深度提示。利用从多个传感器捕获的图像可以改善深度提示。可以把这些图像结合起来，以便形成具有增强的阴影细节或深度感知的改善了的图像。

改变检测器的位置并不改变图像视点的位置。但是，改变检测器的位置确实改变表观照明条件。显然，采用多个检测器，图像中用一个检测器建立的阴影不同于图像中用处于其他位置的另一个检测器建立的阴影。可以把从任何一种传感器组合产生的图像结合起来，以便提供最适应观察条件的不同的照明方案。通过用多个或者处于光收集光纤(见图15-21)远端或者处于其近端的检测器50获得一系列图像，可以获得带有动态照明的活动图像。

从不同的传感器收集的其他信息也可以包括在图像中。在一个实施例中，从至少三个检测器中的每一个光检测器的光是可见单色光或彩色光。在另一个实施例中，至少三个传感器中的一个或多个捕获由所述波导(例如，紫外或红外)一致地输出的非可见光(例如，紫外或红外光束通过与可见光共用的波导)。或者，包括包含荧光或偏振的其他对比度机制。

不是增强深度提示，而是利用来自至少两个检测器，最好来自至少三个检测器的图像，利用光度学立体感技术产生每个像素的深度信息。为了利用光度学立体感，所述图像具有同一视点，无相对运动，最理想是同时采集，但具有不同的单光源照明状态。这些类型的图像用光纤观测器很容易获得。相比之下，为了达到必要的图像，当前的内窥镜需要多个照明通道，就要一次只用单个照明通道依次采集图像。但是，内窥镜或图像采集之间的表面的运动会把不准确性引入从这样的内窥镜推算出来的深度信息中。

采用至少三个检测器的对应的图像来推算深度信息时，不需额外的信息即可准确推算出三维形体。只用一个检测器时，要求作某些假定和用户的协助来准确地推算三维形体。只用两个检测器时省去用户协助，但要作出表面特性假定才能达到准确的深度细节。相应地，最好用三个检测器来避免在推算准确的深度信息时的用户协助。采用多个图像来推算深度信息，就消除了表面是凹是凸的二义性，并允许用变化的漫反射系数(亦即，表面漫反射特性)来分析表面。

就用一个或多个检测器，很容易获得二维图像特性。存在图像的深度提示，特别是来自浓淡处理和阴影的深度提示，但是，由于照明光纤和检测器(亦即表观视点和表观照明方向)相对接近的缘故，这些提示可能不够。通过提取深度信息，通过计算视点改变或照明方向的改变的影响，来增强深度提示，甚至那些由于光纤观测器几何形状的缘故物理上无法获得的深度提示。

参见图22，其中呈现了产生具有增强了的深度信息的输出图像的方法200的流程图。在步骤202从谐振光纤波导36(见图2)输出光束30/32。波导36使输出光束沿着扫描路径扫描。扫描透镜39把光束聚焦在对象表面(亦即物体)上。在给定时刻把光束聚焦，射在目标光点上，所述光点是照明光点，在所述光束沿着目标表面扫描时，照明光点随着时间而改变。

在步骤204，用多个检测器50检测从目标表面返回的光。一个检测器具有相对于谐振光纤波导的第一位置。另一个检测器具有相对于谐振光纤波导的第二位置。第三个检测器具有相对于谐振光纤波导的第三位置。至少同时用每一个检测器检测返回光。

在步骤206，从用第一检测器检测的返回光线采集第一图像的多个像素。在步骤208，从用第二检测器检测的返回光线采集第二图像的多个像素。类似地，在步骤210，从用第三检测器检测的返回光线采集第三图像的多个像素。最好同时采集和构造这样的图像。

由于返回的光线来自共同点(例如，波导36波导末端)，在每一个检测器采集的图像具有共同的表观视点。但因每一个检测器都具有不同的位置，所采集的每一个图像都具有不同的表观照明方向。第一图像具有基于第一检测器位置的第一表观照明方向。第二图像具有基于第二检测器位置的第二表观照明方向。第三图像具有基于第三检测器位置的第三表观照明方向。

在步骤212，处理所采集的多个图像，以便推算目标表面的输出图像，包括基于多个检测器50中的至少两个，最好至少三个不同的表观照明方向的深度信息。

在彩色图像采集系统中，输出光束是第一颜色光束、第二颜色光束和第三颜色光束(亦即红、绿和蓝)的组合。在这样的实施例中，从上述给定检测器采集的图像代之以从三个检测器采集-三个颜色的输出光束中每一种颜色的输出光束一个检测器。先前描述，采集两个最好三个图像，准备为产生深度信息而进行处理。这些图像不必是彩色的。在三色成像系统中每个采集的图像用三个同位置的检测器，加上获取用于深度提取的推荐的三个图像的两个附加的多波长检测器，这意味着最好至少用5个检测器来采集增强深度信息的三色输出图像。

参见图23，其中呈现用于处理所采集的图像的方法214的流程图。在步骤216，根据多个采集的图像产生目标表面法线的取向映射(亦称针映射)。在步骤218，从取向映射获得深度映射。在步骤220，从深度映射获得三维网格。在一个替代的实施例中，获得高斯图(离散直方图)，而不是深度映射。然后把高斯图用于图像识别应用。

在步骤222，产生增强深度信息的输出图像。例如，三维网格中的深度信息用以加上虚拟阴影，以达到较佳的对比度，输出图像中观察者看到的深度提示。在一个实施例中，从三维网格中推算立体图像，其中计算观察者的双眼差异。把每个图像输出到观察者各自一只眼睛。

按照步骤216，取向映射指出每个像素的表面取向，并且对恢复所成像的目标的形体有用。一般说来，亮度和表面取向之间的映射不是唯一的，因为亮度具有一个自由度，而表面取向具有两个自由度。(尽管，对于特定的点，诸如亮度最大或最小的像素，表面取向一般可以唯一地从单个样值求出)。

为了针对轮廓表面恢复表面取向，除采集的像素的单个亮度值外，还需要附加信息。用不同的照明采集的两个图像提供两个样值，用来解出两个自由度的取向值。但即使用两个图像，两个得出的方程式可能是非线性的，或者取向只可以通过小的范围(其中所述关系是线性的)推算。最好正如上面讨论的采集至少三个图像来改进取向映射的准确度，并增大可以求解可能的表面取向的范围。最好再用第三个图像，因为它允许独立于漫反射系数(表面漫反射特性)变化地完成深度分析。漫反射系数的变化也可以利用第三图像计算。

当有三个以上的检测器可用时，附加图像可以用来改善取向估计。从n个光电检测器获得n个图像时，计算取向的一个方法是诸如利用以下式方程式求最小值

e = I \underset{1}{I} (({f_{x}}^{2} + {f_{y}}^{2}) + ({g_{x}}^{2} + {g_{y}}^{2})) dxdy +

3_{i = 1}^{n} λ_{1} I \underset{1}{I} {(E_{i} (x, y) - R_{i} (x, y))}^{2} dxdy

式中Ei是在第i个图像测得的亮度，而Ri是相应的反射系数。常数λi是参数，用于对辐照度方程式相对于平滑偏离程度的误差进行加权处理。

在一个实施例中，推算取向值用的离散方程式是利用下列方程式通过叠代推算的：

{f_{ki}}^{n + 1} = {\overset{&OverBar;}{f}}_{ki}^{n} + 3_{i = 1}^{n} λ_{i} (E_{ki} - R_{i} (f_{ki}, g_{ki})) \frac{{MR}_{i}}{Mf},

和

{g_{ki}}^{n + 1} = {\overset{&OverBar;}{g}}_{ki}^{n} + 3_{i = 1}^{n} λ_{i} (E_{ik} - R_{i} (f_{k}, g_{ki})) \frac{{MR}_{i}}{Mg}

在另一个实施例中，利用查询表确定取向。所述表用每个图像中观察到的亮度进行索引。所述表的数值是根据方程式或在已知的标定对象进行的试验选定的取向。通过根据观察到的亮度测量值选择数值，针对被成像的目标对象的每个像素获得表面取向值。所采集的图像的取向信息的集合在这里最好称作取向映射。

按照步骤218，从取向映射推算深度映射。深度映射以不同的方式代表物体形状。具体地说，不是指定取向信息，而是深度映射指定超过基准平面的相对高度。深度映射是灰度图像，黑代表最低高度，而白代表最高高度。像素(x，y)的高度z或z(x，y)是相应取向值f和g的梯度函数。给定f和g，沿着任意曲线积分即可恢复深度z。

z (x, y) = z (x_{v}, y_{v}) + {&Integral;}_{(x_{v}, y_{v})}^{(x, y)} (fdx + gdy)

沿着封闭的路径，积分应等于0。在实际上，f和g不准确，因为它们是从有噪音的图像恢复的。优化技术，诸如全局积分或叠代拉普拉斯松驰技术可以从有噪音的映射恢复平滑表面。

按照步骤220，由深度映射推算三维网格。使平面网格的顶点相对于深度映射的灰度像素值位移一定量。然后可以从不同的视点、照明条件或表面特性(产生的颜色)再现这个网格，赋予一个较佳的透视或深度印象。对于给定光纤观测器几何形状，所述视点和照明条件在物理上可能是不可实现的。可以包括从其他传感器(红外、紫外、偏振)或从测量(轮廓映射)产生的其他信息。

在某些实施例中，不获得深度映射而获得取向直方图。取向直方图，扩展高斯曲线图的离散情况，用于物体识别。已经获得已知形体的原型取向直方图。一般说来，不同物体的原型取向直方图会是明显不同的。通过试验获得的取向直方图可以与存储的原型比较，以便赋予未知物体一个已知物体类型。

附加的浓淡处理或其他图像增强方案也可以应用于不同的实施例，以改善图像质量。例如，在一个实施例中产生向观察者各自的眼睛输出的两个图像，来代表立体图像。以不同的方法再现这两个图像来考虑观察者的双眼差异。根据两眼之间相隔的距离和所述表面的表观距离计算双眼差异。相隔距离在某些实施例中是可选的，在另一个实施例中设置为标准平均值。在一个实施例中到所述表面的表观距离可选，而在另一个实施例中设置为默认的标准距离。

测距

在另一个实施例中，通过在每一个像素位置上进行从观察器到目标的轴向测量，进行测距，达到真立体观察。这样的轴向测量值是图像的第三维，对其进行处理以便产生立体图像。例如，由控制器对来自匹配的检测器对的信号进行处理以检测返回光线的相位差。这样的相位差对应于从扫描器到目标对象的距离。

在一个实施例中，照明子系统12(图1和2)包括光源24(图2)，它由可见光和红外线光源形成。可见光和红外线从共用的照明光纤26发出。参见图4和15-20，光检测器50既包括可见光检测器又包括红外线检测器。

红外线光源最好是调制激光红外光源，它输出在GHz频率范围的红外光。快光子红外检测器检测返回的红外光。红外光子检测器最好在与红外光源相同的频率下产生检测信号。照明红外光和收集的红外光之间调制的相位差对应于目标像素的距离，分辨率达≤1mm。具体地说，对于红外光调制在1GHz的实施例，脉冲之间红外光行进1英尺或在各脉冲之间相位差360度中每度约1mm。

不是如刚才描述那样根据相位来测量把光反射回去的目标的距离，而是在一个替代的实施例中，用时间和频率，或者利用光反馈干涉仪来测量目标的距离。在飞行时间法中，从高调制带宽激光二极管发出距离测量输出光束。在给定频率(例如，在几十kHz的数量级)下发出短的激光脉冲。对于每个脉冲，测量发射和返回脉冲接收之间经过的时间。测得的时间与检测器和物体表面最近一点之间的距离成正比。

或者，采用连续激光发射方案，而不是脉冲发射方案，其中所接收的采样定时对应于激光发射的特定时间。另外，在某些实施例中，利用光学强度的高调制带宽从直接调制的激光二极管发射光线。距离用在与调制对应的时间周期进行采样进行测量，以便确定发射和接收相应的返回光线之间所经过的时间。经过的时间与到目标表面上最近点的距离成正比。

在频率法中，用可电子调谐的可频率连续调制的激光二极管来确定短距离检测。其频率随时间而变化的信号调制测距输出光束。返回光束与干扰信号混频，产生拍脉冲，它是目标表面距离的函数。

对于光干涉仪法，反射回来的光沿着发射光的路径与发射光引起干涉图案。在一个实施例中，采用注入检测方法来检测返回光信号的相位和频率。自混频，利用脉冲方案对应关系求出光强度波形的微商，用来测定深度(D)如下：

D = \frac{c}{4 (dv / dt)} (σ_{0} f_{b 0} + σ_{1} f_{b 1})

式中Cs为光速，σ按照目标的运动是-1或+1，而f值是频率偏移向上和向下斜坡过程中输出功率与反馈的拍频。

在每一个方法中，包括红外或近红外频率的快光子或高带宽光子检测器，用以检测返回光。此外，最好利用低散射光纤，光纤与低背反射损失、快定时和/或移相电路，连同平均软件来提高信噪比。

参见图24，其中呈现采集包括深度信息的图像的方法230。在步骤232，从谐振波导36(见图2)输出光束30/32。波导36使光束沿着扫描路径扫描。扫描透镜39把光束聚焦在物体表面(亦即，目标)。在给定的时刻，聚焦所述光束以便射在所述目标的某点上，该点是被照明点，当沿着目标表面扫描所述光束时，被照明点随着时间变化。

在步骤234，从目标表面返回的光被至少一个检测器50检测。在步骤236，从返回光采集图像的多个像素，或者在远端或者在光收集光束之后。在步骤238，还利用上述任何一个测距方法(例如，相移、飞行时间、频率、干涉仪)从返回光采集距离信息，然后，最好与步骤236并行地进行。

在步骤240，距离信息用来映射成像的场景(亦即目标的拓扑)的表面、边缘和顶点。在步骤242，处理在步骤240推算的三维图像数据，以便获得像素数据，用于显示在显示屏幕上或诸如头戴立体显示器等其他输出装置上。例如，在使用头戴立体显示器的地方，计算观察者的双眼差异，以便产生一对立体图像。在步骤244，把输出图像的像素数据输出到显示器。

在一个替代的实施例中，使用第二检测器，利用上述任何一种测距方法，从返回光检测距离信息。在再一个实施例中，输出光束包括用于将被扫描的物体成像的光束。这样的输出光束或者是单色或者是彩色可见光束。另外，输出光束还包括测距用的重合光束(coincident beam)。重合光束或者是可见光或者是不可见光。

用途

A.内窥镜/内孔窥视仪/导管

●总直径小、最佳模式≤3mm，

●极柔软的杆，包含单光纤，

●高分辨率，理论极限估计为5μm，

●达到非常宽的视场(FOV)，(超出标准的45°，大约可达180°)

●红(R)、绿(G)和蓝(B)全色检测，

●用两种途径中的一种实现立体图像检测：

-匹配的立体R，G，B光检测器对，有助于增强在扫描照明子系统中固有的拓扑对比度特性，准立体。

-双图像发生器，在最佳模式下直径≤6mm，允许真立体，

●图像显示的视频速率(30-60Hz刷新速率是标准的)，

●低成本，潜在可处理，消毒，

●低功率，谐振扫描操作，

●设计简单，运动部件少，

●可用于高功率激光，可见光、紫外光、红外照明，用于诸如光动态治疗、激光引起的荧光、激光外科、血液中的红外成像等医疗操作，

●可以用于高功率、短脉冲紫外光、可见光或红外光照明，用于测量观察器和组织之间的距离(测距和真三维成像)、多光子荧光成像和荧光寿命成像等这样的医疗用途，

●小尺寸和柔软性允许图像发生器改进到现有内窥镜(套管)、柔性包皮或附在外科或诊断工具上，

●弯曲以及旋转柔软性带有单根光纤轴对称光耦合，

●采集的光电信号与RGB视频监视器的视频输入信号直接兼容，特别是具有多重同步能力，

●背散射光被光纤直接从远端引导到近端处观察者的眼睛，不需要远端光电检测器。除标准视频显示监视器外，图像可以在一个实施例中用视网膜扫描装置显示，不必进行电信号转换。

B.其他用途：

远程光检测、放在机器人手指尖或执握器上的机器人眼睛、长期过程监视、眼跟踪器、条码阅读器、微平版印刷术、可视显示，光学检查和激光外科手术。

有价值的和有利的效果

本发明的优点是，由于像素的获得方法、透镜的存在和光纤的驱动方式，即使用小而细的观察器，也可以达到光纤的柔软性、广阔的视场、高的分辨率。因为像素是按时间序列测量的，不是在二维像素阵列，所以不需要具有小的光子检测器。检测器的尺寸不像先有技术那样关键，在先有技术中许多小的检测器跨越一个大的区域。所以，本发明的观察器做得比现有的观察器小，而同时利用较少的光子检测器，后者大于标准观察器的像素检测器。

按照本发明的另一个优点，达到高的分辨率、广阔的视场、扫描、和柔软的光纤。尤其是把光纤谐振模式设置在光纤谐振波导的远端，在相对较小的光纤运动区域内可以达到宽阔的扫描角度。这就允许既有高分辨率，又有宽阔的视场。利用小的光点尺寸和通过与照明光相关地按时间捕获被检测的光，达到高的像素分辨率。用小的尺寸和低的功率消耗达到低成本、可任意使用的扫描装置。

尽管对本发明推荐的实施例已经作了说明和描述，但各种替代方案、修改和等效物都可以采用。例如，在某些实施例中，传感器装在光纤扫描器的端面上，来检测光纤位置，并利用电磁、静电、电机、光学或声学控制，帮助控制扫描图案。

在一些替代的实施例中，实现可变的或非直线扫描图案，诸如半径和矩心位置可变的椭圆形图案。例如，对于单个执行器、小尺寸眼睛跟踪和条码阅读器的实现，诸如旋转线性或辐射图案等这样的定制扫描图案是所希望的。

实现较慢的正交的扫描轴的替代方案包括运动的反射镜、透镜、光栅或它们的组合。这样的光学部件位于快速扫描谐振光纤和目标对象之间。

在某些实施例中，光纤的端面是斜切的，以便(i)减小光纤端面的质量，增大扫描振幅，(ii)减小扫描运动的物理范围，和/或(iii)减小光发射的点光源的有效尺寸。

在某些实施例中，包括偏振维持照明组件和偏振光纤，以便抑制经历了多重散射和色移的背景光。在某些实施例中，波导是在波导端面上具有发射光线的光源悬臂。

尽管描述了扫描光纤波导，在一个深度增强的方法和测距方法的替代实施例中，采用偏转的反射镜或悬臂组件来使输出光束在目标对象上扫描。

尽管在一个推荐的实施例中，发射和检测可见光，但是在一个替代的实施例中，发射和检测的光是紫外光、红外光。在某些实施例中，包括传感器，它向驱动系统的控制器提供反馈，控制器作为响应调整悬臂的偏转。结果，悬臂的偏转得到调整和控制。

因此，以上描述不应看作是对本发明范围的限制，本发明的范围由后附的权利要求书限定。

Claims

1.一种用于产生目标表面图像的方法，包括以下步骤：

沿着相对于光轴扫描路径输出光束；

把所述输出光束聚焦在被扫描的所述目标表面上，其中在给定时刻使所述输出光束聚焦，射在所述目标的某点上，该点是被照明点，当所述输出光束在所述目标表面上扫描时，所述被照明点随着时间而改变；

响应所述输出光束，用多个检测器检测从所述目标表面返回的光，所述多个检测器中的每一个都具有各自相对于光轴的位置，其中所述多个检测器同时检测所述返回光；

利用所述多个检测器采集多个并发图像；

其中，所述多个并发图像具有基于用来产生所述返回光的共同光束的共同的表观视点，所述共同光束是所述输出光束；

其中，所述多个并发图像中的每一个图像具有不同的表观照明方向，所述多个图像中的一个给定图像的表观照明方向是以用于采集所述给定的一个图像的多个检测器中相应的一个或多个检测器各自的位置为依据的；和

处理所述多个并发图像，以便获得所述目标表面的输出图像，包括基于所述多个并发图像中的每一个的不同的表观照明方向的相对深度信息。

2.如权利要求1所述的方法，其特征在于：所述检测返回光的步骤包括检测从所述目标表面的某块面积返回的光，该面积大于所述被照明点所限定的面积。

3.如权利要求1所述的方法，其特征在于：所述处理步骤包括根据所述多个并发图像中的第一图像和第二图像产生所述目标表面法线的取向映射。

4.如权利要求3所述的方法，其特征在于：所述处理步骤还包括从所述取向映射建立取向直方图并把所述取向直方图与一个或多个原型取向直方图比较，以便对所述目标表面进行分类的步骤。

5.如权利要求3所述的方法，其特征在于：所述处理步骤还包括从所述取向映射建立深度映射的步骤。

6.如权利要求3所述的方法，其特征在于：所述处理步骤还包括从所述深度映射建立三维网格的步骤。

7.如权利要求6所述的方法，其特征在于：所述处理步骤包括利用虚拟照明和视点再现所述三维网格，以便同时增强深度感和表面拓扑或其中之一。

8.如权利要求6所述的方法，其特征在于：所述处理步骤包括从所述三维网格计算两个立体图像，其中计算观察者的双眼差异。

9.如权利要求1所述的方法，其特征在于：所述处理步骤包括再现所述输出图像，呈现比所述多个并发图像中每一个都增强的表面拓扑。

10.如权利要求1所述的方法，其特征在于：所述处理步骤包括再现所述输出图像，呈现比所述多个并发图像中的每一个都增强的照明透视。

11.如权利要求1所述的方法，其特征在于：所述处理步骤包括再现两个立体图像，其中计算观察者的双眼差异，所述两个立体图像是向所述观察者眼睛输出的图像。

12.如权利要求1所述的方法，其特征在于：所述输出光束包括可见光和紫外光，其中所述多个检测器中的第一检测器检测返回可见光，而所述多个检测器中的第二检测器检测返回紫外光。

13.如权利要求1所述的方法，其特征在于：所述输出光束包括可见光和红外光，其中所述多个检测器中的第一检测器检测返回可见光，而所述多个检测器中的第二检测器检测返回红外光。

14.如权利要求1所述的方法，其特征在于：所述输出光束是从谐振波导发出的输出光束，而且在所述输出步骤之前还包括以下步骤：

产生第一颜色的第一光束、第二颜色的第二光束和第三颜色的第三光束；以及

在进入所述谐振波导之前组合所述第一光束、所述第二光束和所述第三光束，所述组合后的第一光束、第二光束和第三光束形成所述输出光束。

15.如权利要求1所述的方法，其特征在于：所述输出光束是一系列光脉冲，而且其中所述检测返回光的步骤与所述一系列的光脉冲同步，所述给定时刻的所述检测的返回光对应于给定的光脉冲和所述采集的多个并发图像中某个图像的像素。

16.如权利要求1所述的方法，其特征在于：所述检测返回光的步骤包括检测反射光。

17.如权利要求1所述的方法，其特征在于：所述检测返回光的步骤包括检测响应所述输出光束而从所述目标表面发出的荧光。

18.如权利要求1所述的方法，其特征在于：所述检测返回光的步骤包括检测响应所述输出光束而从所述目标表面发出的磷光。

19.一种用于采集目标表面图像的系统，它包括：

发射光的光源；

执行器，它使发射的光相对于光轴沿着扫描路径偏转；

多个光子检测器，用于检测响应所述发射的光而从所述目标表面返回的光，所述多个光子检测器中的每一个相对于光轴都具有不同的位置，其中，利用所述多个光子检测器采集多个并发图像，所述多个并发图像具有基于用来产生所述返回光的共同光束的共同表观视点，所述共同光束包括所述发射的光，所述多个并发图像中的每一个图像都具有不同的表观照明方向，对于所述多个图像中的一个给定图像，其所述表观照明方向是以用于采集所述给定的一个图像的所述多个检测器中相应的一个或多个检测器各自的位置为依据的；和

处理器，它处理所述多个并发图像，以便产生所述目标表面的输出图像，包括基于来自所述多个并发图像中每一个图像的不同表观照明方向的深度信息。

20.如权利要求19所述的系统，其特征在于还包括：

柔性光波导，它接收所述发射的光并使所述发射的光导向目标表面，其中在给定时刻所述发射的光照射到所述目标表面的某点上，该点是被照明点；以及

其中所述执行器使所述波导偏转，进入谐振运动，所述被引导的光跟踪沿着所述目标表面的扫描路径。

21.如权利要求19所述的系统，其特征在于还包括：

反射镜，它接收所述发射的光并使所述光导向所述目标表面，其中在给定时刻所述光照射到所述目标表面的某点上，该点是被照明点；和

其中所述执行器使所述反射镜偏转，所述被引导的光跟踪沿着所述目标表面的扫描路径。

22.如权利要求19所述的系统，其特征在于还包括：

具有一个悬臂的悬臂组件，其中所述光源位于所述悬臂的远端，该光源沿所述悬臂的轴将所述发射的光导向目标表面，其中，在给定时刻所述被引导的发射的光照射到所述目标表面的某点上，该点是被照明点；和

其中，所述执行器使所述悬臂组件偏转，所述被引导的发射的光跟踪沿着所述目标表面的扫描路径。

23.如权利要求19所述的系统，其特征在于：所述多个检测器中的每一个都具有所述目标表面的超过被照明点尺寸的有效的观察区域；并且所述系统还包括相关器，在所述发射的光跟踪扫描路径时，使所述检测器的采样时间与所述发射的光相关，其中从所述目标表面的一部分的图像采集像素，其中所述采集的像素中每一个像素的分辨率与所述被照明点尺寸相应，以及其中从第一组检测器采集所述各并发图像中的第一个图像。

24.如权利要求19所述的系统，其特征在于：所述输出光束是第一颜色光束、第二颜色光束和第三颜色光束的组合；以及其中所述输出图像是彩色图像；

其中，所述多个检测器包括第一组检测器，所述第一组检测器包括：第一颜色的第一检测器，用以检测第一颜色光束的返回光；第二颜色的第一检测器，用以检测第二颜色光束的返回光；和第三颜色的第一检测器，用以检测第三颜色光束的返回光，而且其中从所述第一组检测器采集所述多个并发图像中的第一个图像。

25.如权利要求24所述的系统，其特征在于：所述多个检测器包括第二组检测器，所述第二组检测器包括：第一颜色的第二检测器，用以检测第一颜色光束的返回光；第二颜色的第二检测器，用以检测第二颜色光束的返回光；和第三颜色的第二检测器，用以检测第三颜色光束的返回光，而且其中从所述第二组检测器采集所述多个并发图像中的第二个图像。

26.如权利要求24所述的系统，其特征在于：所述多个检测器还包括第二检测器，所述第二检测器是多波长检测器，用以检测从第一颜色光束、第二颜色光束和第二颜色光束返回的光的亮度，其中所述多个并发图像中的第二个是从该第二检测器采集的。

27.如权利要求26所述的系统，其特征在于：所述多个检测器还包括第三检测器，其中从所述第三检测器采集所述多个并发图像中的第三个图像。

28.如权利要求19所述的系统，其特征在于：所述多个检测器还包括第一检测器和第二检测器，所述第一检测器用以采集所述各并发图像中的第一个图像，而所述第二检测器用以采集所述各并发图像中的第二个图像。

29.如权利要求28所述的系统，其特征在于：所述多个检测器还包括第三检测器，用以采集所述多个并发图像中的第三个图像。

30.如权利要求19所述的系统，其特征在于：所述处理器根据所述多个并发图像产生所述目标表面法线的取向映射。

31.如权利要求30所述的系统，其特征在于：所述处理器从所述取向映射建立取向直方图，并把所述取向直方图与一个或多个原型直方图比较，以便对所述目标表面进行分类。

32.如权利要求30所述的系统，其特征在于：所述处理器从所述取向映射建立深度映射。

33.如权利要求32所述的系统，其特征在于：所述处理器从所述深度映射建立三维网格。

34.如权利要求33所述的系统，其特征在于：所述处理器利用虚拟照明和视点再现所述三维网格，以便或者增强深度感和表面拓扑之一或者增强深度感知和表面拓扑两者。

35.如权利要求34所述的系统，其特征在于：所述处理器从所述三维网格计算两个立体图像，其中计算观察者双眼差异。

36.一种用于产生目标表面图像的方法，包括以下步骤：

从谐振的光纤波导输出光束，所述波导使所述输出光束沿着扫描路径扫描；

利用扫描透镜把所述输出光束聚焦在被扫描的所述目标表面上，其中在给定时刻使所述输出光束聚焦，射在所述目标的某点上，该点是被照明点，在所述输出光束在所述目标表面上扫描时，所述被照明点随着时间而改变；

利用具有相对于所述谐振光纤波导的第一位置的第一检测器和具有相对于所述谐振光纤波导的第二位置的第二检测器、响应所述输出光束而检测从所述目标表面返回的光，其中，所述第一检测器和第二检测器具有不同的取向轴，所述光纤波导具有轴线，所述第一检测器和所述第二检测器中至少一个具有不同于光纤波导轴线的取向轴；

对利用所述第一检测器和第二检测器获得的信号进行共模抑制，以便通过以差分方式排除环境光的光子来改善颜色保真度和所采集的图像的分辨率。

37.一种用于产生目标表面图像的方法，包括以下步骤：

沿着围绕光轴的扫描路径输出光束；

把所述输出光束聚焦在被扫描的所述目标表面上，其中在给定时刻使所述输出光束聚焦，射在所述目标的某点上，该点是被照明点，在所述输出光束在所述目标表面上扫描时，所述被照明点随着时间而改变；

利用多个检测器检测从所述目标表面返回的光，所述多个检测器相对于光轴具有总体上共焦的配置，所述多个检测器中的每一个都包括偏振滤光器，用以抑制经过多次散射和色移的背散射光。

38.一种用于产生目标表面图像的方法，包括以下步骤：

沿着围绕光轴的扫描路径输出光束；

利用至少一个检测器检测从所述目标表面返回的光；

从利用所述检测器检测的所述返回光中采集第一图像的第一组多个像素；

测量到所述目标表面上一个或多个像素的距离；

处理所述第一图像和所述测得的距离，以便获得所述目标表面的输出图像，包括深度信息。

39.如权利要求38所述的方法，其特征在于：所述检测返回光的步骤包括检测来自至少两个检测器的返回光，而所述测量距离的步骤包括以下步骤：

检测由相应像素的所述至少两个检测器检测的所述返回光的相位差，所述相位差对应于到所述相应像素的所述目标表面的距离。

40.如权利要求38所述的方法，其特征在于：所述输出光束包括从高调制带宽激光二极管发射的光，而且其中在给定频率下发射激光脉冲；其中所述测量步骤包括：对于每一个脉冲，测量脉冲发射和相应返回脉冲的接收之间经过的时间，所述经过的时间与到所述目标表面上最近点的距离成正比。

41.如权利要求38所述的方法，其特征在于：所述输出光束包括利用光强度的高调制带宽从直接调制激光二极管发射的光，其中，所述测量步骤包括：以与所述调制对应的时间周期进行采样，以便测量相应的返回光的发射和接收之间经过的时间，所述经过的时间与到所述目标表面上最近点的距离成正比。

42.如权利要求38所述的方法，其特征在于：所述输出光束包括从可电子调谐的激光二极管发射的光，而所述输出步骤包括从所述激光二极管发射连续频率调制光；而且其中所述测量步骤包括使所述返回光与参考光混频，产生与到所述目标表面的距离成正比的拍频。

43.如权利要求38所述的方法，其特征在于所述检测返回光的步骤包括：

检测沿所述输出光束的所述路径反射回来的光，所述反射回来的光与所述输出光束呈现干涉图案；而且其中所述测量步骤包括利用脉冲方案对应关系使背返回光混频，求光强度波形的微商，所述微商表示到所述目标表面的距离。

44.如权利要求38所述的方法，其特征在于所述检测返回光的步骤包括：

检测沿所述输出光束的路径反射回来的光，所述反射回来的光与所述输出光束呈现干涉图案；而且其中所述测量步骤包括利用连续激光发射方案的对应关系使背返回光混频，求光强度波形的微商，所述微商表示到所述目标表面的距离。