CN102147553A - 快速选通光敏面 - Google Patents

快速选通光敏面 Download PDF

Info

Publication number
CN102147553A
CN102147553A CN2011100394565A CN201110039456A CN102147553A CN 102147553 A CN102147553 A CN 102147553A CN 2011100394565 A CN2011100394565 A CN 2011100394565A CN 201110039456 A CN201110039456 A CN 201110039456A CN 102147553 A CN102147553 A CN 102147553A
Authority
CN
China
Prior art keywords
photosurface
light
pixel
time
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100394565A
Other languages
English (en)
Other versions
CN102147553B (zh
Inventor
S·费尔岑式特恩
G·叶海弗
E·拉里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102147553A publication Critical patent/CN102147553A/zh
Application granted granted Critical
Publication of CN102147553B publication Critical patent/CN102147553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/148—Charge coupled imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure

Abstract

提供了快速选通光敏面。本发明的一实施例提供了包括光敏面的照相机，该光敏面被电子地打开和关闭以便以足够高的频率来分别启动和终止照相机的曝光时间段，使得照相机可用于在不使用外部快速快门的情况下确定到该照相机成像的场景的距离。在一实施例中，该光敏面包括基底上形成的像素，并且该光敏面通过控制施加到基底的电压来打开和关闭。在一实施例中，基底像素包括光敏像素(也被称为“光像素”)以及存储像素，在光像素中，入射在光敏面上的光生成光电荷，并且存储像素对在光像素中生成光电荷的光不敏感。在一实施例中，控制该光敏面，使得存储像素在光敏面的曝光时间段期间基本上在光电荷的生成之后累积并且存储光电荷。

Description

快速选通光敏面
技术领域
本发明的各实施例涉及光敏表面以及选通这些表面的方法。
背景
对场景进行成像以提供到场景中的特征的距离并且由此捕捉该特征和该场景的三维的各种类型的照相机是本领域公知的。常常被称为三维(3D)照相机的这些照相机包括立体、三角测量、以及飞行时间3D照相机。
选通的、飞行时间3D照相机包括光敏表面(此后称为“光敏面”)以及用于遮挡照相机使其挡板打开和关闭的快门。通常，光敏面包括诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光敏器件等半导体器件的光敏表面，它具有在合适的基底上形成的光敏像素。用于遮挡照相机使其挡板打开或关闭的快门可包括，作为示例，选通图像增强器、或固态电光或声光调制器。
遮挡照相机使其挡板打开或关闭通常还被称为将照相机“选通”为打开或关闭(因此名为“选通飞行时间3D照相机”)，并且分别指允许或阻止照相机光敏面对照相机所收集的光的记录。将照相机选通为打开或关闭此处也分别被称为选开其光敏面或选闭其光敏面。术语“选开”和“选闭”照相机或照相机的光敏面此处也用于并且分别意味着选开和选闭光敏面或照相机。“遮挡”或“选通”光敏面或照相机而没有副词“开”或“闭”的修饰指的是选开和/或选闭光敏面或照相机的操作。
期间照相机被选开的时间段是期间照相机的光敏面记录照相机收集的光并将其定向到照相机的光敏面的曝光时间段。光敏面通过累积和存储电荷(下文中称为“光电荷”)来记录光，光电荷是光在光敏面的像素中生成的。光通过在光敏面像素中创建电子-空穴对来生成光电荷。取决于光敏面的掺杂配置，所累积和存储的光电荷可以是来自电子-空穴对的电子或空穴。
为了对场景进行成像并且确定从照相机到该场景中的特征的距离，可以例如使用从适当的光源辐射的光脉冲串来照亮该场景。通常，辐射的光脉冲是近红外(NIR)光脉冲。对于该串中的每一个辐射的光脉冲将照相机选开持续一曝光时间段，之后是从光脉冲被辐射的时间起的一预定延迟。对于光敏面中的像素上所成像的特征，如果所反射的光在光脉冲之后的曝光时间段到达照相机，则来自每一辐射的光脉冲的被该特征所反射的光被记录在对该特征成像的像素上。
在该光脉冲串中的最后一个光脉冲之后，在曝光时间段期间在光敏面的像素中累积的电荷被传感并且被转换成电压。表示所累积的电荷的电压集被称为光敏面的“帧”。因为在辐射出光脉冲与其之后的曝光时间段之间经过的时间是已知的，所以由像素所记录的被成像的光从光源行进到反射特征并回到照相机所花费的时间是已知的。像素所记录的光、光速和所经过的时间用于确定到该场景中的特征的距离。
在某些选通3D照相机中，仅使用光是否被记录在3D照相机的光敏面的像素上、以及光脉冲与曝光时间段之间所经过的时间用于确定从3D照相机到在像素上所成像的该场景中的特征的距离。由于在曝光时间段内来自光脉冲的、被特征所反射的光何时被选通3D照相机的光敏面记录是未知的，因此到该特征的距离的准确度通常被确定为不优于一距离，该距离等于光速乘以曝光时间段持续时间和光脉宽之和的一半。
在其它选通3D照相机中，在曝光时间段期间像素所记录的光的量也用于确定到该特征的距离。所记录的光的量用于指示在曝光时间段期间来自该特征的光何时被记录，并且据此改进到该特征的距离测量的准确度。对于给定光脉宽和给定曝光时间段持续时间，相对于不使用所记录的光的量的3D选通照相机所提供的，可显著改进使用所记录的光的量的3D选通照相机所提供的距离测量的准确度。因使用所记录的光的量而得到的距离测量的准确度可以小于一距离的约十分之一，该距离等于光速乘以脉宽和曝光时间段持续时间之和的一半。在光的量用于确定到所成像的距离的选通3D照相机中，在像素上所记录的光的量一般对特征的反射率、暗的当前光和背景光进行纠正。
使用选通3D照相机进行的测量的准确度是上升和下降时间、光脉冲的抖动和脉宽、以及照相机快门可以多快地将照相机选通为打开和关闭以及其他变量的函数。足够快速地选通3D照相机的光敏面使得照相机提供具有所需准确度的距离测量的快门被称为快速快门。通常，用于遮挡选通的3D照相机的快速快门与照相机的光敏面分开并且在其外部。诸如作为示例的如上所述的选通图像增强器等这一外部快速快门能够在少于一纳秒(ns)或少于几纳秒中在阻塞和非阻塞状态之间被光学地切换。
通过电子地打开和关闭(下文中也被称为“电子地遮挡”)照相机的光敏面来选通3D选通照相机并不表现为有利的。即使相对较快，但传统的电子地遮挡的隔行CCD具有一般超过约100纳秒的遮挡速度。另外，通常需要等于约一微秒的处理时间来获取CCD像素的帧。作为处理时间的结果，CCD不能以大于或等于约一兆周的频率来电子地打开和关闭。由于超过100纳秒的遮挡速度和选通频率的限制，对于在选通3D照相机中用于在没有外部的快速快门的情况下确定距离而言，传统的电子地遮挡的隔行CCD一般太慢了。
注意，打开或遮挡打开以及关闭或遮挡关闭光敏面分别指的是启动和结束光敏面的曝光时间段，并且不一定指的是启动或终止光敏面的任何其他功能和/或过程。例如，打开和关闭光敏面不一定指的是启动或终止光电荷到读出放大器的传送。
为了示出对3D选通照相机的遮挡速度的约束，注意到用于为选通3D照相机提供光脉冲的光源可能无法在单个光脉冲中提供足够能量来使得来自光脉冲的足够的光被场景中的特征反射并且回到照相机以便提供令人满意的到这些特征的距离测量。结果，如上所述，为了获取距离测量，该场景被曝光于许多光脉冲的串。对于每一光脉冲，将照相机选通为打开和关闭，并且在照相机的像素中记录来自光脉冲的光。确定光脉冲的强度、及其在光脉冲串中的数量，使得来自该串中的所有光脉冲的所记录的反射光的量足以提供可接受的到场景中的特征的距离测量。在光脉冲串中可能需要多至一千各光脉冲，使得从场景到达照相机的反射光的量足以提供可接受的距离测量。为了将成像时间和或可能的图像模糊降低到可接受的水平，光脉冲的重复速率和对应的曝光时间段的重复速率可有利地高达至少每秒107次，并且因此具有约100纳秒或更短的重复时间段。此外，光脉宽和曝光时间段的持续时间可等于约30纳秒或更短。传统的CCD的电子遮挡对于提供这些遮挡速度和重复速率来说一般太慢了。
概述
本发明的一实施例提供了一种包括光敏面的照相机，该光敏面被电子地打开和关闭以便以足够高的频率来分别启动和终止照相机的曝光时间段，使得照相机可用于在不使用外部快速快门的情况下确定到该照相机成像的场景的距离。在本发明的一实施例中，该光敏面包括基底上所形成的像素，并且该光敏面通过控制施加到基底的电压来打开和关闭。根据本发明的一实施例，基底像素包括光敏像素(下文中称为“光像素”)和存储像素，在光像素中入射在光敏面上的光生成光电荷，且存储像素对在光像素中生成光电荷的光不敏感。根据本发明的一实施例，控制该光敏面，使得在光敏面的曝光时间段期间存储像素基本上在光电荷生成之后累积并且存储光电荷。
可任选地，该光敏面包括CMOS光敏面，也被简称为“CMOS”。可任选地，该光敏面包括CCD光敏面，也称为“CCD”。可任选地，该CCD包括隔行CCD。
因此，根据本发明的一实施例，提供了一种用于选通光敏面的方法，该光敏面包括在其上形成光像素和相关联的存储像素的基底。该方法包括，在第一时间将第一电压(下文中被称为“开电压”)施加到基底以便打开该光敏面并且启动该光敏面的曝光时间段；以及在第二时间将第二电压(下文中被称为“闭电压”)施加到基底以便关闭该光敏面并且结束曝光时间段。
该方法可任选地包括偏置光像素和相关联的存储像素，使得在曝光时间段期间由入射光在光像素中所生成的光电荷基本上在其生成之后从光像素移动到存储像素并在其中累积。
在本发明的某些实施例中，曝光时间段小于100纳秒。可任选地，曝光时间段小于70纳秒。可任选地，曝光时间段小于35纳秒。可任选地，曝光时间段小于20纳秒。
在本发明的某些实施例中，在第二时间之后获取CCD的帧。
在本发明的某些实施例中，该方法包括对多个曝光时间段重复地打开和关闭光敏面。可任选地，对多个曝光时间段打开和关闭光敏面包括以大于或等于2.5MHz的重复频率来重复地打开和关闭光敏面。可任选地，重复频率大于或等于5MHz。可任选地，重复频率大于或等于10MHz。
在本发明的某些实施例中，仅在多个曝光时间段的最后一个曝光时间段终止以后对该多个曝光时间段获取光敏面的帧。
根据本发明的一实施例，还提供了一种用于操作光敏面的方法，该光敏面包括在其上形成光像素和相关联的存储像素的基底。该方法包括启动光敏面的曝光时间段；以及在终止曝光时间段之前将入射到光像素的光在光像素中生成的光电荷从该光像素传送到相关联的存储像素。
根据本发明的一实施例，还提供了一种包括光敏面以及根据本发明的一实施例控制光敏面以便对场景成像的控制器的照相机，该光敏面具有在其上形成光像素和相关联的存储像素的基底。
根据本发明的一实施例，还提供了一种用于提供到场景中的特征的距离的3D照相机。该照相机包括发射光脉冲串来照亮该场景的光源，以及具有光像素的光敏面，该光像素接收来自光脉冲的被特征所反射的光并且响应于此生成光电荷。该光敏面还具有累积并且存储在光像素中所生成的光电荷的存储像素。根据本发明的一实施例，控制器响应于发射光脉冲的时间来为该脉冲串中的每一光脉冲打开并且关闭该光敏面。
根据本发明的一实施例，还提供了一种用于确定到场景中的特征的距离的方法。该方法包括：发射光脉冲串来照亮该场景；根据本发明的一实施例打开和关闭光敏面来记录来自光脉冲的被该特征反射的光；以及使用所记录的光来确定到该特征的距离。可任选地，控制器响应于发射光脉冲的时间来打开并关闭该光敏面以便为该脉冲串中的每一光脉冲提供光敏面的不同曝光时间段。
提供本发明内容是为了以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。
附图简述
以下参考本文所附的在本段后列出的各个附图来描述本发明的各实施例的非限制性示例。在不止一个附图中出现的相同的结构、元素或部件通常在它们出现的所有图中用相同的数字来标记。附图中所示的组件的尺寸和特征通常是为了方便和清楚呈现而选择的，并且不一定按比例显示。
图1A和1B分别示意性地示出了根据本发明的一实施例的当CCD被打开时高度简化的隔行CCD光敏面的一部分的立体图和横截面图；
图2A和2B分别示意性地示出了根据本发明的一实施例的当CCD被关闭时图1A和1B中所示的隔行CCD的立体图和横截面图；
图3示意性地示出了根据本发明的一实施例的包括图1A-2B中所示的CCD光敏面的选通3D照相机；
图4示出了根据本发明的一实施例的示出图3中所示的遮挡选通3D照相机的时间线图；以及
图5A和5B示出了根据本发明的一实施例的使用隔行CCD来获取场景的3D图像的算法的流程图。
详细描述
本发明的一实施例的一个方面涉及提供一种包括光敏面的照相机，该光敏面通过控制施加到该光敏面的基底的电压来电子地打开和关闭，以便启动和终止该光敏面对来自照相机所成像的场景的光的曝光时间段。可任选地，照相机是选通3D照相机，并且施加到光敏面基底的电压被控制以便足够快速地打开和关闭光敏面，使得光敏面曝光时间段的持续时间和重复速率使光敏面能够在照相机中用于在没有外部快门的情况下确定到场景的距离。
在本发明的一实施例中，该光敏面包括可任选地不同的、与每一光敏像素相关联的光敏存储像素，下文中称为“光像素”。来自场景的光在光像素中所生成的光电荷在终止曝光时间段期间和之前从该光像素被传送到其相关联的存储像素，在存储像素中这些光电荷被累积和存储。可任选地，随着光电荷被生成，在光像素中所生成的光电荷在曝光时间段期间被连续且快速地传送到光像素的相关联的存储像素。
根据本发明的一实施例，在终止曝光时间段之后，通过将存储像素中所存储的电荷传送到放大器以供转换成电压来获取光敏面的帧。在本发明的一实施例中，光电荷在多个曝光时间段期间被累积并且存储在存储像素中，并且仅在多个曝光时间段的最后一个终止以后获取光敏面的帧。在本发明的一实施例中，一光脉冲串照亮该场景，并且响应于该光脉冲串中的光脉冲的定时来对光敏面的曝光时间段进行定时。
在以下详细描述和相关联的附图中，描述并且示意性地示出了根据本发明的一实施例的隔行CCD光敏面。以下还描述了并且在与该描述相关联的附图中示意性地示出了根据本发明的一实施例的包括隔行CCD光敏面的选通3D照相机。
注意，尽管该详细描述和相关联的附图描述并且示出了隔行CCD，但本发明的各实施例的实践不限于隔行CCD光敏面和包括隔行CCD光敏面的照相机。例如，根据本发明的一实施例来操作的光敏面可具有与隔行CCD不同的非线性结构，和/或可基于CMOS技术而不是CCD技术。作为示例，光敏面可包括光像素和存储像素的六边形蜂窝结构，诸如2009年7月17日提交的题为“CMOSPhotogate 3D Camera System Having Improved Charge Sensing Cell and PixelGeometry(具有改进的电荷传感单元和像素几何结构的CMOS光选通3D照相机系统)”的PCT申请PCT/IB2009/053113中描述的。
隔行CCD光敏面包括光像素和存储像素。光像素对光敏感，并且在光敏面的曝光时间段期间入射到光敏面的光在光像素中生成光电荷。存储像素对光不敏感，并且入射到光敏面的光不在存储像素中生成光电荷。存储像素被用于累积并且存储在光敏面的曝光时间段期间在光像素中所创建的光电荷。每一存储像素以及可任选地每一光像素包括其自己的电极。光像素和存储像素的运作通过控制施加到它们各自的电极的电压来控制。
根据本发明的一实施例，光敏面通过将开电压施加到光敏面的基底而被电子地打开来启动曝光时间段，并且通过将闭电压施加到该基底而被电子地关闭来终止曝光时间段。光像素和存储像素的电极相对于彼此偏置，使得当开电压被施加到隔行CCD基底时，即在CCD的曝光时间段期间，来自场景的光在光像素中所生成的光电荷快速地传送到该光像素的存储像素并在其中累积和存储。当闭电压被施加到基底时，来自场景的光在光像素中所生成的光电荷排空到基底，并且不从光像素传送到存储像素并在其中累积。在本发明的一实施例中，光像素电极相对于存储像素电极的偏置对于光敏面的曝光时间段和非曝光时间段基本维持相同。
图1A和1B分别示意性地示出了根据本发明的一实施例，当通过将开电压施加到光敏面基底来打开CCD光敏面时在曝光时间段期间的高度简化的隔行CCD光敏面20的一部分的立体图和横截面图。在附图中，光敏面被示为曝光于由波状箭头60所表示的来自场景(图1A和1B中未示出)的光。
附图示出了根据本发明的一实施例的CCD光敏面20，该CCD光敏面包括隔行CCD的光像素和存储像素的线性阵列，以及由光60所生成的电子在存储像素中的累积。为方便呈现，假定隔行CCD 20被配置有掺杂架构，使得它记录来自入射光所生成的电子-空穴对的电子，下文中称为“光电子”，而不是空穴。在其他实施例中，可以向CCD 20提供记录来自入射光所生成的电子-穴对的空穴的掺杂架构。
在一个示例实施例中，CCD光敏面20包括硅p++掺杂基底21、p掺杂外延层22、以及n掺杂层23。层23覆盖有二氧化硅绝缘层24。导电多晶硅电极31的列30形成在CCD光敏面的包括具有np结38的光像素32的区域上。数字30除了用于指定电极31的列以外还用于指定光像素32的列。可任选的多晶硅电极41的列40形成在CCD 20的包括具有np结48的存储像素42的区域上。存储像素的列40可任选地被“掩模”层44覆盖，该“掩模”层可任选地是金属材料，该金属对光60是不透明的并且阻挡存储像素电极42下的区域被曝光于光60。在某些实施例中，电极41由对于光60不透明的导电材料形成，且电极提供了存储像素42的掩模来代替掩模层44或增强由掩模层所提供的掩模。数字40除了用于指定电极41的列以外还用于指定存储像素42的列。像素的行(垂直于列30和40)通过场氧化物绝缘体46而彼此电绝缘。光像素32的每一列30可任选地与其右侧的存储像素42的列相关联，并且与其左侧的存储像素42的列40电绝缘。光像素的列30与其左侧的存储列的隔离例如可以通过注入合适的掺杂物、或通过在列之间形成由阴影区域47示意性地表示的浅沟槽隔离区来实现。
在立体图1A和横截面图1B中，CCD基底21被通上标记为VSon的线所表示的开电压VSon。根据本发明的一实施例，位于光像素32上的电极31被通上比VSon更正的电压V31，并且存储像素42上的电极41被通上比电压V31正得多的电压V41。分别施加到光像素电极31和存储电极41的电压V31和V41由用电压标记的线段来表示。
电压VSon、V31和V41对分别在光像素32和存储像素42中的电极31和41下的np结38和48进行反偏压。电压在CCD 20中的光像素32和存储像素42中生成分别由线PW32和PW42表示的势阱。存储像素电极41下的势阱PW42比光像素32下的势阱PW32更深。短线段“PB”表示光像素列30与左边的相邻存储像素列40之间的边界区域中的势垒。势垒用于防止在光像素列中所形成的电子向左面漂移，并且进入位于左面的存储像素列。势垒由如上所述的掺杂区47所生成。
作为如上所述的势阱PW32与PW42的深度差别的结果，在光像素32及其对应的存储像素42之间创建电场，该电场将光像素中所生成的光电子驱动到存储像素。入射到光像素32上的光60所生成的光电子由图1A和1B中的阴影圈50来表示。在势阱PW32和PW42所生成的场的影响下的光电子50的漂移方向由框形箭头51示意性地指示。
该场使得在光像素32中创建了光电子50之后基本立即将它们传送到该光像素的相关联的存储像素42。光电荷从光像素中其被生成的位置传送到存储像素花费的时间由该光电荷的漂移速度以及从其被生成的位置到存储像素的距离来确定。该漂移速度是在光电子上运行的场的强度的函数，该强度是势阱PW32和PW42之间的电势差的函数。对于几伏特的典型电势差以及小于或等于约100微米的像素间距，光电子在可以小于或约等于几纳秒、或小于或约等于一纳秒的时间中传送到存储像素。
向存储像素42传播的光60不在存储像素中创建光电子，因为该光被掩模层44阻止进入存储像素。只要VSon、V31和V41如上所述且如图1A和1B中所示地被配置，则CCD隔行光敏面20被选开、处于曝光时间段并且记录入射到其光像素32上的光60。在曝光时间段期间，入射光60在给定光像素32上所生成的光电子50被连续且快速地从光像素传送到该光像素的相关联的存储像素42并在其中累积和存储。
图2A和2B示意性地示出了根据本发明的一实施例的图1A和1B中所示的隔行CCD 20的立体图和横截面图，但闭电压VSoff被施加到基底21，并且CCD被选闭。闭电压VSoff在附图中由标记为VSoff的线来表示。
VSoff高出VSon的差是ΔVS，这足以对光像素32中的np结38进行正偏压，但不足以对存储像素42中的np结48进行正偏压。结果，尽管通过将增加的电压施加到基底21可在深度上降低存储像素42中的势阱PW42，但它们仍然足以深到维持它们在CCD被电压VSon选通时间期间所累积的光电荷。另一方面，光像素32中的np结38的正偏压使电荷从光像素中排空，并且使入射到这些像素的光60所生成的光电子停止移动到存储像素42，但被吸引到并且吸收到基底21中。图2A和2B中的框形箭头52示意性地表示了当CCD 20被选闭时光电子50的运动。只要基底21被通上闭电压VSoff，则CCD 20被选闭，并且光60在光像素32中所生成的光电子不被添加到存储像素42中。
施加到基底21的电压可以从VSoff变为VSon来快速地、电子地遮挡CCD20。具体地，该遮挡足够迅速，使得CCD 20可足够快地被电子地选通以便在选通3D照相机中使用来测量到场景中的特征的距离，而无需具有附加的外部快速快门。在本发明的一实施例中，施加到该基底的电压在VSoff与VSon之间切换，以便将CCD选通具有小于或等于100纳秒持续时间的曝光时间段。可任选地，该曝光时间段具有小于或等于70纳秒的持续时间。在本发明的某些实施例中，该曝光时间段具有小于35纳秒的持续时间。在某些实施例中，该曝光时间段具有小于或等于20纳秒的持续时间。在本发明的一实施例中，连续曝光时间段之间的时间流逝小于或等于400纳秒，并且照相机以大于或等于2.5MHz的频率来选通。可任选地，CCD以大于或等于5MHz的频率来选通。在本发明的某些实施例中，CCD以大于或等于10MHz的频率来选通。
作为数值示例，发明人发现将ICX 098隔行CCD的基底上的电压在等于约30伏的VSoff与等于约10伏的VSon之间变化是可能的，并且据此用小于或约等于5纳秒的上升时间来打开和关闭该CCD。
注意，根据本发明的一实施例，施加到光敏面的基底的电压在开电压与闭电压之间的变化以足够的均匀性和迅速性将其自身安置在整个基底上，使得虹膜化(irising)相对地被减小。
光敏面的虹膜化指的是诸如选通信号等信号传播到光敏面的所有像素并且将自身安置其中所花费的时间差。理想地，虹膜化应为零，并且相同信号同时被发送到的所有像素应在相同时间接收该信号。一般而言，由于信号以有限速度行进且光敏面具有非零的范围，因此虹膜化不为零。对于大多数应用，就光敏面虹膜化被减小而言，该光敏面表现得更好。对于包括在选通3D照相机中的光敏面，减小的虹膜化提供了光敏面中不同像素被相同的选通信号选开或选闭的时间之间的减小的最大时间差，也被称为“时滞”。减小的虹膜化改进了3D照相机所提供的距离测量的准确度。
图3示意性地示出了根据本发明的一实施例的包括诸如隔行CCD 20等CCD光敏面的选通3D照相机120，该CCD光敏面用于测量到具有对象131和132示意性地表示的对象的场景130的距离。
完全示意性地表示的照相机120包括由镜头121表示的镜头系统和可任选的隔行CCD光敏面20，镜头系统将场景成像在该隔行CCD光敏面上。照相机120可任选地包括可控制来用光脉冲照亮场景130的合适光源126，如激光器或LED或者激光器和/或LED的阵列。控制器124控制光源126的脉冲发射和光敏面20的选通。控制器124通过将闭电压VSoff施加到基底21(图1A-2B)来将光敏面20控制为正常地为关闭。光脉冲的定时以及CCD光敏面20的选通在图4所示的时间线图200中沿时间线210、220、230、240示意性地示出。所有的时间线具有相同且任意的时间刻度。
为了获取场景130的3D图像，控制器124控制光源126来发射由具有脉宽τ的方形“光”脉冲141的串140示意性地表示的光脉冲串，以便照亮场景130。在时间线图200中沿时间线210示意性地示出了来自光脉冲串140的多个光脉冲141。沿时间线210的光脉冲141被示为具有脉宽τ和指示该光脉冲是向场景130发射的从左指向右的上方箭头。
在预定时间流逝T以后，在每一光脉冲141的发射时间之后，控制器124打开光敏面20以便接收来自所发射的光脉冲141的、由场景130中的特征所反射的光并且对其成像。控制器124通过将施加到基底21的电压从VSoff降低ΔVS到VSon来将光敏面打开具有可任选地等于光脉宽τ的持续时间的曝光时间段。相对于光脉冲141的发射的定时的、施加到基底21以便打开该光敏面的电压VSon的定时沿时间线220示意性地示出。电压VSoff由时间线220以上被标记为VSoff的线的高度来表示，而电压VSon由时间线220以上被标记为VSon的线的高度来表示。电压VSoff、VSon、ΔVS、时间延迟T、以及曝光时间段的持续时间τ沿时间线示出。因在VSoff与VSon之间改变施加到基底21的电压而得到的光敏面20的曝光时间段由沿时间线230的hat函数231来示意性地指示。hat函数231在下文中被称为“曝光时间段231”。
注意，光脉宽、曝光时间段的持续时间、以及延迟时间T定义了由来自照相机120的最小下限距离DL以及最大上限距离DU 所定界的场景130的空间“成像片”。照相机仅针对位于下限距离DL和上限距离DU之间的场景的特征来记录在曝光时间段231期间从该场景反射的光。作为示例，对于具有等于光脉宽τ和延迟T的持续时间的曝光时间段，DL＝c(T-τ)/2，DU＝c(T+v)/2，并且成像片具有厚度cτ，其中c是光速。
来自每一光脉冲141的由场景130中位于该成像片处的特征所反射的光入射在照相机120上，由镜头121收集，并且在CCD 20的光像素32上成像。来自光脉冲141的由场景130中的特征所反射的光在图3中对于场景130的几个区域由光脉冲146的串145来示意性地表示。来自反射脉冲串145的、在曝光时间段231期间在CCD光敏面20的光像素32上成像并且在CCD 20的存储像素中存储光的量用于确定到场景130中位于成像片处的在光像素上成像的特征的距离。这些距离用于提供该场景的3D图像。
来自光脉冲串145的被场景130的特定区域所反射且在CCD光敏面20中的对应光像素32上成像的光脉冲146在图4中沿时间线图200的时间线240示意性地示出。光脉冲被示为具有指示光脉冲是传播回选通3D照相机120的反射光脉冲的从右指向左的上方箭头。
反射光脉冲146和曝光时间段231的时间重叠由光脉冲146和曝光时间段231中的阴影区域150来指示。在时间重叠期间，光脉冲146中的光在对应的光敏像素中生成光电子，这些光电子在它们生成之后基本立刻漂移到与该光像素相关联的存储像素42(图1A-2B)并在其中累积。
在发射的光脉冲串140中的最后一个发射的光脉冲141以后，控制器124控制CCD 20保持关闭，直到读取CCD中所有的存储像素42并且获取CCD的帧。存储像素的读取以及CCD的帧的获取在图4中由时间线图200中的时间线结尾处的阴影矩形250来示意性地指示。
图5A和5B示出了根据本发明的一实施例的使用诸如图3所示的选通3D照相机120等包括隔行CCD的照相机来获取场景的3D图像的算法300的流程图。
在算法300的框302中，将3D照相机配置成对场景的所需成像片进行成像。如上所述，场景的成像片是该场景的距该3D照相机的最小与最大距离之间的一部分，3D照相机可对它确定距离。最小和最大距离由用于照亮场景的光脉冲的脉宽以及期间3D照相机记录来自场景的光的曝光时间段的持续时间来确定。片的厚度是最大距离与最小距离之差。如上所述，对于具有等于光脉宽的持续时间的曝光时间段，成像片具有厚度cτ，其中c是光速。配置3D照相机一般包括瞄准、聚焦并且确定景深以供照相机匹配所需成像片的位置、厚度以及角范围。
在框304中，配置用光脉冲串来照亮场景以及选通3D照相机的3D照相机的操作参数被初始化，以便匹配成像片的几何结构和位置。操作参数可任选地包括光脉冲串中的光脉冲数N、光脉宽τ、脉冲重复频率f、发射脉冲串中的每一光脉冲的时间以后CCD被选通的延迟时间T、以及曝光时间段的持续时间“τg”。可任选地，曝光时间段的持续时间τg等于光脉宽τ。在本发明的一实施例中，可任选地包括在3D照相机的控制器(例如，图3的控制器124)中的计数索引n、以及系统时钟的时间t被设置为零。光脉冲传输时间tx被设置为时间txo，并且系统时钟被打开。时间txo是在打开系统时钟之后发射第一光脉冲来照亮场景的时间。
在框306中，根据算法300，控制器将施加在CCD的基底上的电压设置为闭电压Voff，使得CCD被关闭并且不累积由来自场景的入射到光敏面的光所生成的光电荷。在框308中，控制器将计数器索引n增加1，并且在判定框310中，计数器将时钟时间t与tx作比较。如果t不等于tx，则控制器回退到框310来再次将t与tx作比较。如果时间t＝tx，则在框312，控制器控制光源(例如，图3的光源126)来发射具有脉宽τ的第一光脉冲以便照亮场景。在发射光脉冲以后，在判定框314中，控制器将系统时钟时间t与(tx+T)作比较。如果t不等于(tx+T)，则控制器回退到判定框314来再次将系统时钟时间t与(tx+T)作比较。如果系统时钟时间t＝(tx+T)，则在框316中，控制器将电压Von施加到CCD的基底来选通CCD并且在CCD的存储像素中累积由来自场景的光所生成的光电荷。
在选开CCD之后，在框318中，控制器将系统时钟时间t与(tx+T+τg)作比较。如果t不等于(tx+T+τg)，则控制器回退到框318来再次将t与(tx+T+τg)作比较。如果t＝(tx+T+τg)，则控制器继续至图5B所示的框320。在框320中，控制器将施加到CCD的基底的电压变为Voff来选闭CCD。在框322中，传输时间tx增加时间1/f，以便设置发射下一光脉冲以照亮场景的时间。
在判定框326中，将索引n与要被发射来照亮场景的光脉冲的总数N作比较。如果n＜N，则控制器返回到框308(图5A)来将n增加1，发射另一光脉冲来照亮场景，并且从框310到324进行循环。另一方面，如果n不小于N，则在框326中获取CCD的帧，并且在框328中，处理该帧所提供的数据以便提供场景的3D图像。
在本申请的说明书和权利要求书中，动词“包括”、“包含”和“具有”及其组合中的每一个是用来指示该动词的一个或多个宾语不一定是该动词的一个或多个主语的组件、元素、或部分的完整列表。
在本申请中作为示例提供了对本发明的各实施例的描述，而不旨在限制本发明的范围。所描述的各实施例包括不同特征，并非所有这些特征都是本发明的所有实施例所需的。某些实施例只利用了特征的某一些或特征的可能组合。本领域的技术人员会想到所描述的本发明的各实施例的变型以及本发明的各实施例包括在所描述的各实施例中注明的特征的不同组合。本发明的范围只由权利要求书来限定。

Claims (17)

1.一种选通光敏面的方法，所述光敏面包括在其上形成光像素和相关联的存储像素的基底，所述方法包括：
在第一时间将第一电压施加到所述基底来打开所述光敏面并且启动所述光敏面的曝光时间段；在第二时间将第二电压施加到所述基底来关闭所述光敏面并且结束所述曝光时间段；以及
偏置所述光像素和相关联的存储像素以便基本上在由在所述第一和第二时间之间入射在光敏像素上的光生成光电荷之后将光电荷朝向所述光像素的存储像素移动。
2.如权利要求1所述的方法，其特征在于，所述第一和第二时间之间的时间流逝小于100纳秒。
3.如权利要求2所述的方法，其特征在于，所述第一和第二时间之间的时间流逝小于35纳秒。
4.如权利要求3所述的方法，其特征在于，所述第一和第二时间之间的时间流逝小于20纳秒。
5.如权利要求1所述的方法，其特征在于，在所述第二时间之后获取所述光敏面的帧。
6.如权利要求1所述的方法，其特征在于，重复地打开和关闭所述光敏面来提供多个曝光时间段。
7.如权利要求6所述的方法，其特征在于，以大于或等于2.5MHz的重复频率来重复地打开和关闭所述光敏面。
8.如权利要求7所述的方法，其特征在于，所述重复频率大于或等于5MHz。
9.如权利要求8所述的方法，其特征在于，所述重复频率大于或等于10MHz。
10.如权利要求9所述的方法，其特征在于，仅在所述多个曝光时间段的最后一个曝光时间段的第二时间之后获取对所述多个曝光时间段的光敏面的帧。
11.一种操作光敏面的方法，所述光敏面包括在其上形成光像素和相关联的存储像素的基底，所述方法包括：
选开所述光敏面来启动曝光时间段；以及
在选闭所述光敏面以终止所述曝光时间段之前，将入射到光像素上的光所生成的光电荷从所述光像素传送到其相关联的存储像素。
12.一种用于确定到场景中的特征的距离的方法，所述方法包括：
用光脉冲串来照亮所述场景；
选通具有如权利要求1所述的在其上形成光像素和相关联的存储像素的基底的光敏面来记录来自所述光脉冲的由所述特征所反射的光；以及
使用所记录的光来确定到所述特征的距离。
13.如权利要求12所述的方法，其特征在于，选通包括响应于发射所述光脉冲的时间来为所述脉冲串中的每一光脉冲选通。
14.如权利要求1所述的方法，其特征在于，所述光敏面包括CCD、CMOS以及隔行光敏面中的至少一个。
15.一种照相机，包括：
具有在其上形成光像素和相关联的存储像素的基底的光敏面；以及
控制如权利要求1所述的光敏面来对场景成像的控制器。
16.一种用于提供到场景中的特征的距离的3D照相机，所述照相机包括：
发射光脉冲串来照亮所述场景的光源；
具有接收来自所述光脉冲的由所述特征所反射的光的光像素的光敏面；以及
响应于发射所述光脉冲的时间来为所述脉冲串中的每一光脉冲选开和选闭如如权利要求1所述的光敏面的控制器。
17.如权利要求15所述的照相机，其特征在于，所述光敏面包括CCD、CMOS以及隔行光敏面中的至少一个。
CN201110039456.5A 2010-02-03 2011-02-09 快速选通光敏面的方法、用于确定到场景中的特征的距离的方法及照相机 Active CN102147553B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/699,074 2010-02-03
US12/699,074 US8717469B2 (en) 2010-02-03 2010-02-03 Fast gating photosurface

Publications (2)

Publication Number Publication Date
CN102147553A true CN102147553A (zh) 2011-08-10
CN102147553B CN102147553B (zh) 2015-05-06

Family

ID=44341285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110039456.5A Active CN102147553B (zh) 2010-02-03 2011-02-09 快速选通光敏面的方法、用于确定到场景中的特征的距离的方法及照相机

Country Status (2)

Country Link
US (2) US8717469B2 (zh)
CN (1) CN102147553B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108370438A (zh) * 2015-12-16 2018-08-03 欧库勒斯虚拟现实有限责任公司 范围选通的深度相机组件
CN108475687A (zh) * 2016-01-06 2018-08-31 微软技术许可有限责任公司 带大面积全局快门触点的图像传感器

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5404112B2 (ja) * 2009-03-12 2014-01-29 キヤノン株式会社 固体撮像素子、その駆動方法及び撮像システム
US8717469B2 (en) * 2010-02-03 2014-05-06 Microsoft Corporation Fast gating photosurface
US9851245B2 (en) 2012-11-06 2017-12-26 Microsoft Technology Licensing, Llc Accumulating charge from multiple imaging exposure periods
US9516248B2 (en) * 2013-03-15 2016-12-06 Microsoft Technology Licensing, Llc Photosensor having enhanced sensitivity
US9568603B2 (en) 2014-11-14 2017-02-14 Microsoft Technology Licensing, Llc Eyewear-mountable eye tracking device
US9874630B2 (en) * 2015-01-30 2018-01-23 Microsoft Technology Licensing, Llc Extended range gated time of flight camera
US10062201B2 (en) 2015-04-21 2018-08-28 Microsoft Technology Licensing, Llc Time-of-flight simulation of multipath light phenomena
US9864048B2 (en) * 2015-05-17 2018-01-09 Microsoft Technology Licensing, Llc. Gated time of flight camera
US10048357B2 (en) 2015-06-15 2018-08-14 Microsoft Technology Licensing, Llc Time-of-flight (TOF) system calibration
JP6701199B2 (ja) * 2015-07-31 2020-05-27 パナソニック株式会社 測距撮像装置
US9760837B1 (en) 2016-03-13 2017-09-12 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning
CN112150382B (zh) * 2020-09-24 2022-09-09 中国科学技术大学 高时空分辨率周期运动三维测量方法、装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5086342A (en) * 1988-11-23 1992-02-04 Messerschmitt-Boelkow-Blohm Gmbh Image sensor with an avalanche diode forming an optical shutter
CN1241299A (zh) * 1997-11-26 2000-01-12 艾伦·Y·乔 波长可控电压相位光电二极管光电子开关
US6982761B1 (en) * 1999-06-09 2006-01-03 Pentax Corporation Device for capturing three-dimensional images with independently controllable groups of photoelectric conversion elements
US7224384B1 (en) * 1999-09-08 2007-05-29 3Dv Systems Ltd. 3D imaging system

Family Cites Families (175)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3890633A (en) 1971-04-06 1975-06-17 Rca Corp Charge-coupled circuits
US3909803A (en) 1972-11-02 1975-09-30 Ibm Multi-phase CCD shift register optical sensor with high resolution
US3913077A (en) 1974-04-17 1975-10-14 Hughes Aircraft Co Serial-parallel-serial ccd memory with interlaced storage
US4288078A (en) * 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
US5051832A (en) 1990-02-12 1991-09-24 Eastman Kodak Company Selective operation in interlaced and non-interlaced modes of interline transfer CCD image sensing device
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5060245A (en) 1990-06-29 1991-10-22 The United States Of America As Represented By The Secretary Of The Air Force Interline transfer CCD image sensing apparatus
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
WO1993010708A1 (en) 1991-12-03 1993-06-10 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5625210A (en) 1995-04-13 1997-04-29 Eastman Kodak Company Active pixel sensor integrated with a pinned photodiode
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5705836A (en) 1995-05-22 1998-01-06 Dalsa, Inc. Efficient charge transfer structure in large pitch charge coupled device
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
CA2253626A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
DE69810968T2 (de) 1998-02-08 2003-11-27 3Dv Systems Ltd Optischer verschluss mit grosser blendenöffnung
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
DE69840608D1 (de) 1998-12-16 2009-04-09 3Dv Systems Ltd Selbsttastende photoempfindliche oberfläche
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6947089B1 (en) * 1999-05-14 2005-09-20 Canon Kabushiki Kaisha Image pickup apparatus
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
ATE321689T1 (de) 2002-04-19 2006-04-15 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US7620202B2 (en) 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7423681B2 (en) 2003-09-17 2008-09-09 Eastman Kodak Company Interline CCD implementation of hybrid two color per pixel architecture
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP4660086B2 (ja) * 2003-12-01 2011-03-30 三洋電機株式会社 固体撮像素子
JP2005167598A (ja) * 2003-12-02 2005-06-23 Matsushita Electric Ind Co Ltd 固体撮像装置、固体撮像装置を駆動する駆動装置、駆動方法、及び、固体撮像システム
CN100573548C (zh) 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7102185B2 (en) 2004-06-21 2006-09-05 Eastman Kodak Company Lightshield architecture for interline transfer image sensors
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
JP5080273B2 (ja) 2005-01-07 2012-11-21 クアルコム，インコーポレイテッド オプティカルフローに基づく傾きセンサー
CN102831387B (zh) 2005-01-07 2016-12-14 高通股份有限公司 检测和跟踪图像中的物体
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
WO2006124935A2 (en) 2005-05-17 2006-11-23 Gesturetek, Inc. Orientation-sensitive signal output
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
JP4807253B2 (ja) * 2006-12-28 2011-11-02 株式会社デンソー 画像データ生成装置及び受光デバイス
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
JP5501358B2 (ja) 2008-07-17 2014-05-21 マイクロソフト インターナショナル ホールディングス ビイ．ヴイ． 電荷感知セルおよび画素の幾何形状が改良された、ｃｍｏｓフォトゲート３ｄカメラシステム
JP2010093549A (ja) * 2008-10-08 2010-04-22 Fujifilm Corp 撮像装置及び固体撮像素子の駆動方法
US8717469B2 (en) * 2010-02-03 2014-05-06 Microsoft Corporation Fast gating photosurface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5086342A (en) * 1988-11-23 1992-02-04 Messerschmitt-Boelkow-Blohm Gmbh Image sensor with an avalanche diode forming an optical shutter
CN1241299A (zh) * 1997-11-26 2000-01-12 艾伦·Y·乔 波长可控电压相位光电二极管光电子开关
US6982761B1 (en) * 1999-06-09 2006-01-03 Pentax Corporation Device for capturing three-dimensional images with independently controllable groups of photoelectric conversion elements
US7224384B1 (en) * 1999-09-08 2007-05-29 3Dv Systems Ltd. 3D imaging system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108370438A (zh) * 2015-12-16 2018-08-03 欧库勒斯虚拟现实有限责任公司 范围选通的深度相机组件
CN108370438B (zh) * 2015-12-16 2021-03-23 脸谱科技有限责任公司 范围选通的深度相机组件
CN108475687A (zh) * 2016-01-06 2018-08-31 微软技术许可有限责任公司 带大面积全局快门触点的图像传感器

Also Published As

Publication number Publication date
US8717469B2 (en) 2014-05-06
US9160932B2 (en) 2015-10-13
CN102147553B (zh) 2015-05-06
US20140240462A1 (en) 2014-08-28
US20110187826A1 (en) 2011-08-04

Similar Documents

Publication Publication Date Title
CN102147553B (zh) 快速选通光敏面的方法、用于确定到场景中的特征的距离的方法及照相机
CN106688099B (zh) 可变分辨率像素
US10764518B2 (en) Pixel structure
US7202898B1 (en) Self gating photosurface
EP3625589B1 (en) System and method for determining a distance to an object
CN109791205B (zh) 用于从成像阵列中的像素单元的曝光值减除背景光的方法以及用于该方法的像素单元
US20120154535A1 (en) Capturing gated and ungated light in the same frame on the same photosurface
CN102113309B (zh) 卷帘相机系统
CN105144698B (zh) 具有增强的感光度的光电传感器
CN107209254B (zh) 扩展范围选通飞行时间相机
CN109791207A (zh) 用于确定到对象的距离的系统和方法
EP3550329A1 (en) System and method for determining a distance to an object
CN111103057A (zh) 具有使用基于电容器的比较器的阈值检测的光子感测
CN102099703A (zh) 3d照相机及其选通方法
Golitsyn et al. The implementation of gated-viewing system based on CCD image sensor
JP2001119723A (ja) 静止物体画像検出装置と静止物体画像検出方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150717

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150717

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.