CN105705964A - 发射结构化光的照射模块 - Google Patents

发射结构化光的照射模块 Download PDF

Info

Publication number
CN105705964A
CN105705964A CN201480055988.XA CN201480055988A CN105705964A CN 105705964 A CN105705964 A CN 105705964A CN 201480055988 A CN201480055988 A CN 201480055988A CN 105705964 A CN105705964 A CN 105705964A
Authority
CN
China
Prior art keywords
light
vcsel
feature
irradiation module
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480055988.XA
Other languages
English (en)
Other versions
CN105705964B (zh
Inventor
J·胡德曼
P·玛萨尔卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105705964A publication Critical patent/CN105705964A/zh
Application granted granted Critical
Publication of CN105705964B publication Critical patent/CN105705964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/816—Athletics, e.g. track-and-field sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4818—Constructional features, e.g. arrangements of optical elements using optical fibres
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0033—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use
    • G02B19/0047—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a light source
    • G02B19/0052—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a light source the light source comprising a laser diode
    • G02B19/0057—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a light source the light source comprising a laser diode in the form of a laser diode array, e.g. laser diode bar
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09—Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0916—Adapting the beam shape of a semiconductor light source such as a laser diode or an LED, e.g. for efficiently coupling into optical fibers
    • G02B27/0922—Adapting the beam shape of a semiconductor light source such as a laser diode or an LED, e.g. for efficiently coupling into optical fibers the semiconductor light source comprising an array of light emitters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G02B27/425—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Abstract

深度相机包括照射模块和图像检测器模块。照射模块输出照射捕捉区域的结构化光。图像检测器模块捕捉从捕捉区域内的对象反射的结构化光的图像。照射模块包括VCSEL阵列和光学元件(诸如投影光学器件)、MLA或DOE、或其组合。投影光学器件接收VCSEL阵列发射的光图案并投影该光图案。在该投影光学器件下游的光学元件可引起结构化光中包括的特征的总数大于投影光学器件投影的光图案中包括的特征的数量。在一实施例中，MLA的节距相对于VCSEL阵列的节距偏移。各种结构可包括对齐元件来帮助照射模块的制造。

Description

发射结构化光的照射模块
背景
深度相机可获得包括关于人类或其它对象在物理空间中的位置的信息的深度图像。深度图像可被计算系统中的应用用于各种各样的应用。可以有许多应用，例如用于军事、娱乐、体育和医学目的。例如，包括关于人的信息的深度图像可被映射到三维(3-D)人类骨架模型，并被用于创建动画化的人物或化身。
为了获得深度图像，深度相机通常将红外(IR)光投射到相机的视野中的一个或多个对象上，视野也可被称为捕捉区域。IR光从对象反射开并回到相机，在相机处入射到相机的图像像素检测器阵列上，并被处理以确定深度图像。
一些深度相机利用结构化光来照射捕捉区域。这种深度相机可利用准直激光二极管和衍射光元件(DOE)来产生结构化光。然而，取决于要照射的区域，准直光激光二极管可能不提供足够量的光。此外，对于这种配置而言限制指向容限可能很困难。
概述
本文公开的某些实施例涉及包括照射模块和图像检测器模块的深度相机。照射模块输出照射捕捉区域的结构化光。图像检测器模块捕捉从捕捉区域内的一个或多个对象反射的结构化光的图像。深度相机系统的一个或多个处理器或与深度相机系统相关联的一个或多个处理器取决于图像捕捉模块所捕捉的图像产生深度图像，并使用深度图像来更新应用。本文描述的某些实施例关注输出结构化光的照射模块的某些细节，下面概述了其中一些实施例。
根据一实施例，照射模块包括VCSEL阵列和投影光学器件。VCSEL阵列包括多个垂直腔面发光激光器(VCSEL)，每个VCSEL发射独立的光束，且共同发射一光图案。投影光学器件接收VCSEL阵列中的VCSEL所发射的光图案并投影光图案。投影光学器件可包括场镜和物镜。场镜接收VCSEL阵列中的VCSEL所发射的光束并汇聚光束。物镜接收来自场镜的经汇聚光束并发散光束以产生投影光学器件所投影的光图案。投影光学器件所投影的光图案包括多个特征，诸如斑点或点，但不限于此。照射模块输出的结构化光是至少部分基于投影光学器件所投影的光图案创建的。这意味着投影光学器件所投影的光图案可以是由照射模块输出的结构化光，或替换地，投影光学器件所投影的光图案可被提供至在所述投影光学器件的光学下游的一个或多个光学元件(诸如DOE或分光器)，其中最下游的光学元件(例如DOE或分光器)是照射模块输出的结构化光。根据某些实施例，照射模块还包括在所述投影光学器件的光学下游的光学元件，该光学元件引起照射模块输出的结构化光中包括的特征的总数大于投影光学器件投影的光图案中包括的特征的数量。例如，照射模块可包括衍射光学元件(DOE)，该DOE被配置成引起照射模块输出的结构化光中包括的特征的总数是投影光学器件投影的光图案中包括的特征的数量的整数倍。替换地，照射模块可包括分光器，该分光器将投影光学器件投影的光图案中包括的特征的数量加倍。
根据一实施例，照射模块包括VCSEL阵列和微透镜阵列(MLA)，VCSEL阵列包括具有第一节距的多个VCSEL，MLA具有相对于VCSEL的阵列的第一节距偏移的第二节距，这引起MLA从VCSEL阵列接收的光束汇聚。此外，照射模块包括从MLA接收经汇聚光束并输出照射捕捉区域的结构化光的DOE。更具体而言，MLA的节距可小于VCSEL阵列的节距，且MLA可引起光束(MLA从VCSEL阵列接收的光束)汇聚到DOE所在的单一瞳孔。MLA输出的光图案包括多个特征。根据一实施例，DOE可引起照射模块输出的结构化光中包括的特征的总数为MLA输出的光图案中包括的特征数量的整数倍。
根据一实施例，VCSEL阵列在包括第一对齐元件的半导体基板上形成，且MLA包括被配置成与第一对齐元件对齐的第二对齐元件。这些对齐元件可被用来使得在照射模块的制造期间照射模块的各组件能够更容易且精确地彼此对齐。
根据一实施例，照射模块包括VCSEL阵列以及第一和第二DOE。第一DOE准直VCSEL阵列的多个VCSEL中的每个VCSEL输出的每个光束。第二DOE接收第一DOE产生的经准直光束并输出结构化光。根据一实施例，第二DOE可引起照射模块输出的结构化光中包括的特征的总数为第一DOE输出的光图案中包括的特征数量的整数倍。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
附图简述
图1A和1B示出了具有正在玩游戏的用户的跟踪系统的示例实施例。
图2A示出可被用作跟踪系统一部分的捕捉设备的示例实施例。
图2B示出了可以作为图2A的捕捉设备的一部分的深度相机的示例性实施例。
图3示出可被用来跟踪用户行为并基于用户行为来更新应用的计算系统的示例实施例。
图4示出可被用来跟踪用户行为并基于所跟踪的用户行为来更新应用的计算系统的另一示例实施例。
图5示出了示例性深度图像。
图6描绘了示例性深度图像中的示例性数据。
图7A示出根据一实施例的在深度图像相机中使用的照射模块的侧视图。
图7B示出根据另一实施例的在深度图像相机中使用的照射模块的侧视图。
图7C示出根据又一实施例的在深度图像相机中使用的照射模块的侧视图。
图8示出根据一实施例的在深度图像相机中使用的照射模块的侧视图。
图9示出根据另一实施例的在深度图像相机中使用的照射模块的侧视图。
图10A和10B分别示出根据一实施例的照射模块的侧视图和反透视图，该照射模块具有包括对齐元件的组件，对齐元件使得照射模块的各组件能够容易且精确地彼此对齐。
详细描述
本文公开的本技术的某些实施例涉及包括照射模块和图像检测器模块的深度相机，其中照射模块输出照射捕捉区域的结构化光，且图像检测器模块捕捉从捕捉区域内的一个或多个对象反射的结构化光的图像。然而，在提供本技术的这样的实施例的附加细节之前，将首先描述可与本技术一起使用的实施例的较大系统的示例性细节。
图1A和1B示出了其中用户118在玩拳击视频游戏的跟踪系统100的示例实施例。在一示例实施例中，跟踪系统100可被用于识别、分析和/或跟踪人类目标，如跟踪系统100范围内的用户118或其他对象。如图1A所示，跟踪系统100包括计算系统112和捕捉设备120。如下面更详细地描述的，捕捉设备120可被用来获得深度图像和彩色图像(也被称为RGB图像)，所述图像可被计算系统112用来标识一个或多个用户或其他对象，以及跟踪运动和/或其他用户行为。所跟踪的运动和/或其它用户行为可被用来更新应用。因此，用户可以通过使用用户身体和/或用户周围的对象的移动而非(或作为补充)使用控制器、遥控器、键盘、鼠标等来操纵游戏人物或应用的其他方面。例如，视频游戏系统可基于对象的新位置来更新在视频游戏中显示的图像的位置或基于用户的运动来更新化身。
计算系统112可以是计算机、游戏系统或控制台等。根据一示例实施例，计算系统112可包括硬件组件和/或软件组件，从而计算系统112可被用于执行例如游戏应用、非游戏应用等的应用。在一个实施例中，计算系统112可包括可执行存储在处理器可读存储设备上的用于执行此处描述的过程的指令的处理器，如标准化处理器、专用处理器、微处理器等。
捕捉设备120可以包括，例如可用于在视觉上监视诸如用户118等一个或多个用户，从而可以捕捉、分析并跟踪一个或多个用户所执行的姿势和/或移动，来执行应用中的一个或多个控制命令或动作和/或动画化化身或屏上人物的相机，下面将更详细地描述。
根据一个实施例，跟踪系统100可连接至可向诸如用户118之类的用户提供游戏或应用视觉和/或音频的视听设备116，诸如电视机、监视器、高清电视机(HDTV)等。例如，计算系统112可包括诸如图形卡等视频适配器和/或诸如声卡等音频适配器，这些适配器可提供与游戏应用、非游戏应用等相关联的视听信号。视听设备116可从计算系统112接收视听信号，然后可向用户118输出与视听信号相关联的游戏或应用画面和/或音频。根据一个实施例，视听设备16可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆、分量视频电缆等连接至计算系统112。
如图1A和1B中所示，跟踪系统100可用于识别、分析和/或跟踪诸如用户118之类的人类目标。例如，可使用捕捉设备120来跟踪用户118，从而可以捕捉用户118的姿势和/或移动来动画化化身或屏幕上人物，和/或可将用户的姿势和/或移动解释为可用于影响计算系统112所正在执行的应用的控制命令。因此，根据一个实施例，用户118可移动他或她的身体来控制应用和/或动画化化身或屏幕上人物。
在图1A和1B中描绘的示例中，在计算系统112上执行的应用可以是用户118正在玩的拳击游戏。例如，计算系统112可使用视听设备116来向用户118提供拳击对手138的视觉表示。计算系统112还可使用视听设备116来提供用户118可通过他的或她的移动来控制的玩家化身140的视觉表示。例如，如图1B所示，用户118可以在物理空间中挥拳以致使玩家化身140在游戏空间中挥拳。因此，根据一示例实施例，计算机系统112和捕捉设备120识别并分析物理空间中用户118的重拳从而使得该重拳可被解释为对游戏空间中的玩家化身140的游戏控制和/或该重拳的运动可用于动画化游戏空间中的玩家化身140。
用户118的其他移动也可被解释为其他控制命令或动作，和/或用于动画化玩家化身，如上下快速摆动、闪避、滑步、封堵、用拳猛击或挥动各种不同的有力重拳的控制命令。此外，某些移动可被解释为可对应于除控制玩家化身140之外的动作的控制。例如，在一个实施例中，玩家可使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。根据另一实施例，玩家可使用移动来从主用户界面选择游戏或其他应用程序。因此，在示例实施例中，用户118的全范围运动可以用任何合适的方式来获得、使用并分析以与应用程序进行交互。
在各示例实施例中，诸如用户118之类的人类目标可持有一对象。在这些实施例中，电子游戏的用户可手持对象，使得可使用玩家和对象的运动来调整和/或控制游戏的参数。例如，可以跟踪并利用手持球拍的玩家的运动来控制电子体育游戏中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用玩家手持对象的运动来控制电子格斗游戏中的屏幕上武器。用户未手持的对象也可被跟踪，诸如被该用户(或一不同用户)抛出、推动或滚动的对象或自推进的对象。除了拳击之外，也可实现其他游戏。
根据其他示例实施例，跟踪系统100还可用于将目标移动解释为游戏领域之外的操作系统和/或应用控制。例如，事实上操作系统和/或应用程序的任何可控方面都可由诸如用户118之类的目标的移动来控制。
图2A示出可在跟踪系统100中使用的捕捉设备120的示例实施例。根据一示例实施例，捕捉设备120可被配置成经由任何合适的技术，包括例如飞行时间、结构化光、立体图像等来捕捉包括深度图像的带有深度信息的视频，该深度信息可包括深度值。根据一实施例，捕捉设备120可将深度信息组织为“Z层”(即可与从深度相机沿其视线延伸的Z轴垂直的层)。
如图2A所示，捕捉设备120可包括图像相机组件222。根据一示例实施方式，图像相机组件222可以是可捕捉场景的深度图像的深度相机。深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的每个像素都可以表示一深度值，比如所捕捉的场景中的一对象与相机相距的例如以厘米、毫米等为单位的距离。
如图2A所示，根据一示例实施方式，图像相机组件222可包括可用于捕捉场景的深度图像的红外(IR)光组件224、三维(3-D)相机226、和RGB相机228。例如，在飞行时间(TOF)分析中，捕捉设备120的IR光组件224可将红外光发射到场景上，并且随后可使用传感器(图2A中未具体示出)以利用例如3-D相机226和/或RGB相机228来检测从场景中的一个或多个目标和对象的表面反向散射的光。在一些实施例中，可以使用脉冲IR光，以使得可以测量出射光脉冲与相应入射光脉冲之间的时间，并且将其用于确定从捕捉设备120到场景中的目标或对象上的特定位置的物理距离。附加地或替换地，可将出射光波的相位与入射光波的相位进行比较来确定相移。然后可以使用该相移来确定从捕捉设备到目标或对象上的特定位置的物理距离。
在另一示例实施例中，捕捉设备120可以使用结构化光来捕捉深度信息。在这样的分析中，图案化光(即，被显示为诸如点的网格、斑点或线条、条纹图案、或不同图案之类的已知图案的光)可经由例如IR光组件224被投影到场景上。在落到场景中的一个或多个目标或对象的表面上以后，作为响应，图案可以变为变形的。图案的这种变形可由例如3-D相机226和/或RGB相机228来捕捉，然后可被分析来确定从捕捉设备到目标或对象上的特定位置的物理距离。在一些实现中，IR光组件224与相机226和228分开，使得可以使用三角测量来确定与相机226和228相距的距离。在一些实现中，捕捉设备120将包括用于感测IR光的专用IR传感器。
根据另一实施例，捕捉设备120可包括两个或更多物理上分开的相机，这些相机可从不同角度查看场景以获得视觉立体数据，该视觉立体数据可被解析以生成深度信息。也可使用其它类型的深度图像传感器来创建深度图像。
捕捉设备120还可包括话筒230。话筒230可包括可接收声音并将其转换成电信号的换能器或传感器。根据一个实施例，话筒230可用于减少目标识别、分析和跟踪系统100中的捕捉设备120与计算系统112之间的反馈。附加地，话筒230可用来接收也可由用户提供的音频信号(例如，语音命令)，以控制可由计算系统112执行的诸如游戏应用、非游戏应用等应用。
在一示例实施例中，捕捉设备120可进一步包括可与图像相机组件222进行通信的处理器232。处理器232可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令例如包括用于接收深度图像、生成合适的数据格式(例如，帧)以及将数据传送给计算系统112的指令。
捕捉设备120可进一步包括存储器组件234，存储器组件234可存储可由处理器232执行的指令、由3-D相机和/或RGB相机捕捉到的图像或图像的帧、或任何其他合适的信息、图像等。根据一示例实施例，存储器组件234可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的存储组件。如图2A所示，在一个实施例中，存储器组件234可以是与图像捕捉组件222和处理器232进行通信的单独的组件。根据另一实施例，存储器组件234可被集成到处理器232和/或图像捕捉组件222中。
如图2A所示，捕捉设备120可经由通信链路236与计算系统212进行通信。通信链路236可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等的无线连接。根据一个实施例，计算系统112可经由通信链路236向捕捉设备120提供可用于确定何时捕捉例如场景的时钟。另外，捕捉设备120将由例如3-D相机226和/或RGB相机228捕捉的深度图像和彩色图像经由通信链路236提供给计算系统112。在一个实施例中，深度图像和彩色图像以30帧每秒的速率传送。计算系统112然后可使用该模型、深度信息、以及所捕捉的图像来例如控制诸如游戏或文字处理程序等的应用和/或动画化化身或屏上人物。
计算系统112包括姿势库240、结构数据242、深度图像处理和对象报告模块244和应用246。深度图像处理和对象报告模块244使用深度图像来跟踪诸如用户和其他对象等对象的运动。为了帮助跟踪对象，深度图像处理和对象报告模块244使用姿势库240和结构数据242。
结构数据242包括关于可被跟踪的对象的结构信息。例如，可以存储人类的骨架模型以帮助理解用户的移动并识别身体部位。还可以存储关于非生命对象的结构信息以帮助识别这些对象并帮助理解移动。
姿势库240可包括姿势过滤器的集合，每一姿势过滤器包括和骨架模型(在用户移动时)可执行的姿势有关的信息。可将由相机226、228和捕捉设备120捕捉的骨架模型形式的数据以及与其相关联的移动与姿势库240中的姿势过滤器进行比较来标识用户(如骨架模型所表示的)何时执行了一个或多个姿势。那些姿势可与应用的各种控制相关联。因此，计算系统112可使用姿势库240来解释骨架模型的移动并基于该移动来控制应用246。如此，姿势库可被深度图像处理和对象报告模块244和应用246使用。
应用程序246可以是视频游戏、生产力应用程序等。在一个实施例中，深度图像处理和对象报告模块244会将检测到的每个对象的标识以及每帧的对象的位置报告给应用246。应用246将使用该信息来更新显示器中的化身或其他图像的位置或移动。
图2B示出了3-D相机226的示例实施例，该相机也可被称为深度相机226或深度相机系统。深度相机226被示出为包括照射模块256和图像检测器模块276。照射模块被示出为包括激光源250和光学结构252。激光源250可以例如是图2A中示出的IR光组件224。更具体而言，激光源250可包括一个或多个激光发射元件，诸如但不限于：边缘发射激光器或垂直腔面发光激光器(VCSEL)。尽管这样的激光发射元件可能发射IR光，然而替换波长的光可替换地由该激光发射元件发射。如下面将参考图7A-10B更详细地描述的，光学结构252可包括元件，所述元件诸如但不限于：投影光学器件、微透镜阵列(MLA)、一个或多个衍射光学元件(DOE)、分光器、或其组合。根据某些实施例，光学结构252接收来自激光源250的激光并输出照射捕捉区域的结构化光。
图像检测器模块276可捕捉从捕捉区域内的一个或多个对象(例如用户118)反射的结构化光的图像。图像检测器模块276被示出为包括图像像素检测器阵列268。图像像素检测器阵列268可包括例如320×240图像像素检测器，但不限于此。每个图像像素检测器可以例如是互补金属氧化物半导体(CMOS)传感器或充电耦合设备(CCD)传感器，但不限于此。图像检测器模块276还可包括其自己的光学结构272，该光学结构可包括例如视场光阑(fieldstop)和/或一个或多个透镜，但不限于此。
深度相机226也被示出为包括驱动器260和时钟信号发生器262，该时钟信号发生器产生被提供至驱动器260的时钟信号。此外，深度相机226被示出为包括可控制时钟信号发生器262和/或驱动器260的微处理器264。深度相机226也被示出为包括读出电路系统270和存储器266。取决于实现，每个图像像素检测器可具有其自己的专用读出电路，或者可由许多图像像素检测器共享的读出电路系统。根据一实施例，驱动器260驱动激光源250以引起激光源发射光。相应地，驱动器260可包括例如一个或多个缓冲器、放大器和/或调制器，但不限于此。时钟信号发生器262可包括例如一个或多个参考时钟和/或电压控制振荡器，但不限于此。可以作为微控制器单元的一部分的微处理器264可被用来控制时钟信号发生器262和/或驱动器260。深度相机226可包括其自己的存储器266和微处理器264，如在图2B中所示。替换地或附加地，捕捉设备120的处理器232和/或存储器组件234可被用来控制深度相机226的各方面。
假定在深度相机的视野内存在目标对象，照射模块所发射的光的一部分从该目标对象反射开、穿过光圈视场光阑以及透镜(统称为光学结构272)并入射到图像像素检测器阵列268上，在该处形成图像。读出电路系统270将图像像素检测器阵列268所生成的模拟值转换为数字读出信号，数字读出信号被提供至微处理器264和/或存储器266，且可被用来产生深度图像。
图3示出了计算系统的一示例实施例，该计算系统可以是图1A-2B所示的用于跟踪应用所显示的化身或其他屏幕上对象的运动和/或动画化(或以其他方式更新)化身或其他屏幕上对象的计算系统112。上面参考图1A-2所描述的诸如计算系统112等计算系统可以是诸如游戏控制台等多媒体控制台。如图3所示，多媒体控制台300具有含有一级高速缓存102、二级高速缓存304和闪存ROM(只读存储器)306的中央处理单元(CPU)301。一级高速缓存302和二级高速缓存304临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU301可被提供为具有一个以上的核，并且由此具有附加的一级高速缓存302和二级高速缓存304。闪存ROM306可存储在多媒体控制台300通电时引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)308和视频编码器/视频编解码器(编码器/解码器)314形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从GPU308向编码器/解码器314运送数据。视频处理流水线向A/V(音频/视频)端口340输出数据，用于传输至电视机或其他显示器。存储器控制器310连接到GPU308以方便处理器访问各种类型的存储器312，诸如但不局限于RAM(随机存取存储器)。
多媒体控制台300包括优选地在模块318上实现的I/O控制器320、系统管理控制器322、音频处理单元323、网络接口324、第一USB主控制器326、第二USB控制器328以及前面板I/O子部件330。USB控制器326和328用作外围控制器342(1)-342(2)、无线适配器348、以及外置存储器设备346(例如，闪存、外置CD/DVDROM驱动器、可移动介质等)的主机。网络接口324和/或无线适配器348提供对网络(例如，因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中的任何一种。
系统存储器343被提供来存储在引导过程期间加载的应用数据。提供媒体驱动器344，且其可包括DVD/CD驱动器、蓝光驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器344可位于多媒体控制台300的内部或外部。应用数据可经由介质驱动器344访问，以供多媒体控制台300执行、回放等。介质驱动器344经由诸如串行ATA总线或其他高速连接(例如IEEE1394)等总线连接到I/O控制器320。
系统管理控制器322提供与确保多媒体控制台300的可用性相关的各种服务功能。音频处理单元323和音频编解码器332形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元323与音频编解码器332之间传输。音频处理流水线将数据输出到A/V端口340，以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件330支持暴露在多媒体控制台300的外表面上的电源按钮350和弹出按钮352、以及任何LED(发光二极管)或其他指示器的功能。系统供电模块336向多媒体控制台300的组件供电。风扇338冷却多媒体控制台300内的电路。
多媒体控制台300内的CPU301、GPU308、存储器控制器310、以及各种其他组件经由一条或多条总线互连，总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线架构中的任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。
当多媒体控制台300通电时，应用数据可从系统存储器343加载到存储器312和/或高速缓存302、304中，并且可在CPU301上执行。应用可在导航到多媒体控制台300上可用的不同媒体类型时呈现提供一致用户体验的图形用户界面。在操作中，介质驱动器344中所包含的应用和/或其他媒体可从介质驱动器344启动或播放，以将附加功能提供给多媒体控制台300。
多媒体控制台300可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。在该独立模式中，多媒体控制台300允许一个或多个用户与该系统交互、看电影、或听音乐。然而，在通过网络接口324或无线适配器348可用的宽带连接集成的情况下，多媒体控制台300可进一步作为更大网络社区中的参与者来操作。
当多媒体控制台300通电时，可以保留设定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可包括存储器的保留量(诸如，16MB)、CPU和GPU周期的保留量(诸如，5％)、网络带宽的保留量(诸如，8Kbs)，等等。因为这些资源是在系统引导时间保留的，所保留的资源从应用的视角而言是不存在的。
具体而言，存储器保留量优选地足够大，以包含启动内核、并发系统应用和驱动程序。CPU保留量优选地为恒定，以使得若所保留的CPU用量不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来调度代码以将弹出窗口呈现为覆盖图，显示由系统应用生成的轻量消息(例如，弹出窗口)。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图优选地与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率和引起TV重新同步。
在多媒体控制台300引导且系统资源被保留之后，执行并发系统应用来提供系统功能。系统功能被封装在上述所保留的系统资源内执行的一组系统应用中。操作系统内核标识出作为系统应用线程而非游戏应用线程的线程。系统应用优选地被调度为在预定时间并以预定时间间隔在CPU301上运行，以便提供对应用而言一致的系统资源视图。调度是为了使针对在控制台上运行的游戏应用的高速缓存中断最小化。
当并发系统应用需要音频时，由于时间敏感性而将音频处理异步地调度给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器342(1)和342(2))由游戏应用和系统应用共享。输入设备不是保留的资源，而是要在系统应用和游戏应用之间被切换以使其各自将具有设备的焦点。应用管理器较佳地控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维护有关焦点切换的状态信息。相机226、228和捕捉设备120可经由USB控制器326或其他接口来定义控制台300的附加输入设备。
图4示出了计算系统420的另一示例实施例，该计算系统可以是图1A-2B所示的用于跟踪应用所显示的化身或其他屏幕上对象的运动和/或动画化(或以其他方式更新)化身或其他屏幕上对象的计算系统112。计算系统420只是合适的计算系统的一个示例，并且不旨在对当前公开的主题的使用范围或功能提出任何限制。也不应该将计算系统420解释为对示例性计算系统420中示出的任一组件或其组合有任何依赖性或要求。在某些实施例中，所描绘的各种计算元素可包括被配置成实例化本发明的各具体方面的电路。例如，本公开中使用的术语电路可包括被配置成通过固件或开关来执行功能的专用硬件组件。其他示例实施例中，术语电路可包括由实施可用于执行功能的逻辑的软件指令配置的通用处理单元、存储器等。在电路包括硬件和软件的组合的示例实施例中，实施者可以编写体现逻辑的源代码，且源代码可以被编译为可以由通用处理单元处理的机器可读代码。因为本领域技术人员可以明白现有技术已经进化到硬件、软件或硬件/软件组合之间几乎没有差别的地步，因而选择硬件或是软件来实现具体功能是留给实现者的设计选择。更具体地，本领域技术人员可以明白软件进程可被变换成等价的硬件结构，而硬件结构本身可被变换成等价的软件进程。由此，对于硬件实现还是软件实现的选择是设计选择之一并留给实现者。
计算系统420包括计算机441，计算机441通常包括各种计算机可读介质。计算机可读介质可以是能由计算机441访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器422包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)423和随机存取存储器(RAM)460。包含诸如在启动期间帮助在计算机441内的元件之间传输信息的基本例程的基本输入/输出系统424(BIOS)通常存储在ROM423中。RAM460通常包含处理单元459可立即访问和/或当前正在操作的数据和/或程序模块。作为示例而非限制，图4示出了操作系统425、应用程序426、其他程序模块427和程序数据428。
计算机441也可以包括其他可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图4示出了从不可移动、非易失性磁介质中读取或向其写入的硬盘驱动器438，从可移动、非易失性磁盘454中读取或向其写入的磁盘驱动器439，以及从诸如CDROM或其他光学介质等可移动、非易失性光盘453中读取或向其写入的光盘驱动器440。可在示例性操作环境中使用的其它可移动/不可移动、易失性/非易失性计算机存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等。硬盘驱动器438通常通过诸如接口434之类的不可移动存储器接口连接到系统总线421，并且磁盘驱动器439和光盘驱动器440通常通过诸如接口435之类的可移动存储器接口连接到系统总线421。
以上讨论并在图4中示出的驱动器及其相关联的计算机存储介质为计算机441提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。在图4中，例如，硬盘驱动器438被示为存储操作系统458、应用程序457、其他程序模块456和程序数据455。注意，这些组件可与操作系统425、应用程序426、其它程序模块427和程序数据428相同，也可与它们不同。在此操作系统458、应用程序457、其它程序模块456以及程序数据455被给予了不同的编号，以至少说明它们是不同的副本。用户可以通过输入设备，例如键盘451和定点设备452(通常称为鼠标、跟踪球或触摸垫)向计算机441输入命令和信息。其它输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪等。这些以及其它输入设备通常通过耦合到系统总线的用户输入接口436连接到处理单元459，但也可通过诸如并行端口、游戏端口或通用串行总线(USB)之类的其它接口和总线结构来连接。相机226、228和捕捉设备120可经由用户输入接口436来定义计算系统420的附加输入设备。监视器442或其他类型的显示设备也经由诸如视频接口432之类的接口连接至系统总线421。除了监视器以外，计算机还可包括诸如扬声器444和打印机443之类的其它外围输出设备，它们可通过输出外围接口433来连接。捕捉设备120可经由输出外围接口433、网络接口437或其他接口连接到计算系统420。
计算机441可使用到一个或多个远程计算机(诸如，远程计算机446)的逻辑连接而在联网环境中操作。远程计算机446可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见网络节点，并且通常包括许多或所有以上相对计算机441所描述的元件，但在图4中仅示出了存储器存储设备447。所描绘的逻辑连接包括局域网(LAN)445和广域网(WAN)449，但也可以包括其它网络。此类联网环境在办公室、企业范围的计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机441通过网络接口437连接到LAN445。当在WAN联网环境中使用时，计算机441通常包括调制解调器450或用于通过诸如因特网等WAN449建立通信的其它手段。调制解调器450可以是内置的或外置的，可经由用户输入接口436或其它适当的机制连接到系统总线421。在联网环境中，相关于计算机441所示的程序模块或其部分可被存储在远程存储器存储设备中。作为示例而非局限，图4示出应用程序448驻留在存储器设备447上。应当理解，所示的网络连接是示例性的，并且可使用在计算机之间建立通信链路的其它手段。
如上所解释的，捕捉设备120向计算系统112提供RGB图像(也被称为彩色图像)以及深度图像。深度图像可以是多个观测到的像素，其中每个观测到的像素具有观测到的深度值。例如，深度图像可包括所捕捉的场景的二维(2D)像素区域，其中2D像素区域中的每一像素可具有深度值，诸如例如以厘米、毫米等为单位的、所捕捉的场景中的对象距捕捉设备的长度或距离。
图5示出可在计算系统112处从捕捉设备120接收的深度图像的示例实施例。根据一示例实施例，该深度图像可以是由例如以上参考图2A所描述的捕捉设备120的3-D相机226和/或RGB相机228所捕捉的场景的图像和/或帧。如图5所示，该深度图像可包括与例如诸如参考图1A和1B所描述的用户118等的用户对应的人类目标以及诸如所捕捉的场景中的墙、桌子、监视器等的一个或多个非人类目标。该深度图像可包括多个观测到的像素，其中每个观测到的像素具有观测到的与其相关联的深度值。例如，该深度图像可包括所捕捉的场景的二维(2-D)像素区域，其中该2-D像素区域中的特定x值和y值处的每一像素可具有诸如以例如厘米、毫米等为单位的所捕捉的场景中的目标或对象离捕捉设备的长度或距离之类的深度值。换言之，深度图像可对于深度图像中的每个像素指定像素位置和像素深度。在分段过程之后，深度图像中的每个像素也可具有与其相关联的分段值。像素位置可由x位置值(即，水平值)和y位置值(即，垂直值)指示。像素深度可由z位置值(也被称为深度值)指示，该z位置值指示被用来获得深度图像的捕捉设备(例如120)和该像素表示的用户部分之间的距离。分段值被用来指示像素是否对应于特定用户，或不对应于用户。
在一个实施例中，深度图像可以是着色的或灰阶的，以使得深度图像的像素的不同色彩或阴影对应于和/或从视觉上描绘了目标距捕捉设备120的不同距离。在接收该图像之后，一个或多个高变度和/或噪杂深度值可被从深度图像移除和/或平滑；丢失和/或移除的深度信息的部分可被填充和/或重构；和/或可对所接收的深度图像执行任何其他适当处理。
图6提供了深度图像的另一视图/表示(不对应于与图5相同的示例)。图6的视图将每个像素的深度值显示为整数，该整数表示对于该像素该目标距捕捉设备120的距离。图6的示例深度图像显示24x24像素；然而，使用更大分辨率的深度图像是可能的。
照射模块
现在将参考图7A-10B描述包括VCSEL阵列的照射模块的各实施例。这样的照射模块例如可被用作在图2B中示出并在上面参考图2B描述的照射模块256。注意，图7A-10B中示出的各元件的相对大小不是按比例绘制的。
图7A示出了包括VCSEL阵列710和投影光学器件720的照射模块702a。VCSEL阵列710包括在半导体基板714上形成的多个VCSEL712。VCSEL712中的每一个发射独立光束，以使得多个VCSEL712共同发射光图案。投影光学器件720接收VCSEL阵列710中的VCSEL712所发射的光图案并投影光图案。根据一实施例，照射模块702a输出的结构化光(其也可被称为结构化光图案)是投影光学器件720投影的光图案。
在图7A中示出的实施例中，投影光学器件720被示出为包括场镜722和物镜724。场镜722接收VCSEL阵列710中的VCSEL712所发射的光束并将光束汇聚到单一瞳孔。置于瞳孔处的物镜724接收来自场镜722的经汇聚光束并发散光束以产生投影光学器件720所投影的光图案。使用替换光学器件是可能的，并在替换实施例的范围内。
投影光学器件720投影的光图案包括一定数量的特征，根据一实施例，特征的数量等于VCSEL阵列710中的VCSEL712的数量。换言之，在一实施例中，在VCSEL的数量和所投影的光图案的特征的数量之间存在一一对应关系。尽管在图7A中仅示出了五个VCSEL712，但VCSEL阵列710很可能包括二维VCSEL这列，诸如5乘5阵列(且从而总共有25个VCSEL)，且更一般地，X乘YVCSEL阵列(并且从而总统有N个VCSEL，其中N＝X*Y)。在某些实施例中，VCSEL阵列710可包括在单个半导体基板上制造的数百个VCSEL712。例如，VCSEL阵列710可包括40x50VCSEL712的阵列，在这种情况下VCSEL阵列710将包括两千个VCSEL712。
照射模块输出的结构化光的每个特征可在包括照射模块702a在内的深度相机的捕捉区域内的对象的表面上产生例如点或斑点。在结构化光图案包括IR光的情况下，这些点或斑点将对人眼不可见，但是将可被图像检测器模块检测到，该图像检测器模块被配置成捕捉从捕捉区域内的一个或多个对象反射的结构化IR光的图像。一个或多个处理器随后可取决于图像检测器模块捕捉的图像来产生深度图像，并使用深度图像来例如更新应用。
图7B解说了根据另一实施例的照射模块702b。图7B中与图7A中被相同标记的元素是相同的，并且从而不需要再次描述。参考图7B，照射模块702b被示出为包括在投影光学器件720的光学下游的衍射光学元件(DOE)730。在此实施例中，DOE730被设计成引起照射模块702b输出的结构化光中包括的特征的总数大于投影光学器件720投影的光图案中包括的特征的数量。更具体而言，DOE730将(投影光学器件投影的光图案中包括的)特征的数量增加整数倍。例如，DOE730可被配置成将特征的数量加倍，以使得如果在投影光学器件720投影的光图案中有N个特征，则DOE730输出的结构化光图案将包括N*2个特征。作为另一示例，DOE730可被配置成将特征的数量变为三倍，以使得如果在投影光学器件720投影的光图案中有N个特征，则DOE730输出的结构化光图案将包括N*3个特征。DOE730可替换地被配置成将特征的数量增加大于3的整数倍。
图7C解说了根据又一实施例的照射模块702c。图7C中与图7A中被相同标记的元素是相同的，并且从而不需要再次描述。参考图7C，照射模块702c被示出为包括在投影光学器件720的光学下游的分光器740。分光器740将投影光学器件720投影的光图案中的特征的数量加倍。例如，如果在投影光学器件720投影的光图案中有N个特征，则分光器740输出的结构化光图案中将包括N*2个特征。
DOE730和分光器740各自是引起照射模块输出的结构化光中包括的特征的总数大于投影光学器件720投影的光图案中包括的特征的数量的光学元件类型。使用这种光学元件使得在照射模块输出的结构化光图案中能够有比个体VCSEL中所有的更多的特征。从而，如果期望产生具有一千个特征的结构化光图案，则在VCSEL阵列710中不需要有一千个个体VCSEL712。相应地，这种光学元件可被用来减小VCSEL阵列710的整体大小和成本，并且从而减小包括VCSEL阵列710的照射模块的整体大小和成本。
图8解说了另一照射模块802。照射模块802被示出为包括VCSEL阵列810、光学元件820、以及其它光学元件830。VCSEL阵列810包括多个VCSEL812，每个VCSEL发射独立的光束。VCSEL812在半导体基板814上形成。在一实施例中，光学元件820是第一DOE，且光学元件820是第二DOE。在这种实施例中，第一DOE(即光学元件820)可具有周期性衍射设计且被配置成准直VCSEL阵列810的多个VCSEL812中的每个VCSEL输出的每个光束。第二光学元件830(正如刚刚提到的，其可以是第二DOE)被配置成接收光学元件820(例如第一DOE)产生的准直光束并输出结构化光。
在替换实施例中，光学元件820被实现为微透镜阵列而不是DOE。在光学元件820是微透镜阵列的情况下，微透镜阵列包括多个透镜组822，图8中仅标记了其中一些。在这样的实施例中，透镜组822准直VCSEL阵列810的VCSEL812输出的光束。在包括微透镜阵列的这一和其它实施例中，透镜组的大小指定远场(far-field)中个体特征(例如斑点或点)的散度。透镜组的大小还指定获得最大空间频率图案所需的最小特征大小。
取决于第二光学元件830(如同上面提到的其可以是DOE)的设计，第二光学元件830可引起照射模块802输出的结构化光中的特征的数量是VCSEL阵列中的VCSEL812的数量的整数倍。例如，光学元件830可引起照射模块802输出的结构化光中的特征的数量包括达VCSELS812中特征的数量的两倍、三倍或四倍，但不限于此。
在第二光学元件830是DEO的情况下，DOE可被对准到个体透镜组以实现最大空间频率性能。替换地，相位函数可使用Gerchberg-Saxton算法被编码在整个瞳孔上。
尽管在图8中仅示出了7个VCSEL812，然而VCSEL阵列810可能包括二维VCSEL阵列，诸如X乘YCSSEL阵列(并且从而总共N个VCSEL，其中N＝X*Y)。在某些实施例中，VCSEL阵列810可包括在单个半导体基板814上制造的数百个VCSEL812。
图9解说了根据另一实施例的照射模块902。照射模块902被示出为包括VCSEL阵列910、微透镜阵列920和DOE930。VCSEL阵列910包括在半导体基板914上形成的多个VCSEL912，其中每个VCSEL912发射独立光束。微透镜阵列920包括多个透镜组922。在此实施例中，微透镜阵列920的节距(其为微透镜阵列920的相邻透镜组922之间的中心到中心距离)小于VCSEL阵列910的节距(其为VCSEL阵列910的相邻VCSEL912之间的中心到中心距离)。微透镜阵列920被配置成准直VCSEL阵列910的多个VCSEL912中的每个VCSEL输出的每个光束。然而，因为微透镜阵列920的节距小于VCSEL阵列910的节距，所以微透镜阵列920输出的准直光束汇聚。从图9可以领会，微透镜阵列920被配置成将激光束汇聚到公共瞳孔。更一般而言，微透镜阵列920具有相对于VCSEL阵列910的节距偏移的节距，这引起微透镜阵列920从VCSEL阵列910接收的光束汇聚。DOE930接收来自微透镜阵列的汇聚光束并输出用于照射捕捉区域的结构化光。使光束(也被称为光的束)汇聚到DOE930所在的单一瞳孔的益处在于：针对DOE930的最小特征尺寸的给定限制的角度内容被显著增加。此外，DOE930仅需要包括单一衍射相位函数。
尽管在图9中仅示出了三个VCSEL912和三个透镜组922，然而VCSEL阵列910可能包括二维VCSEL和透镜组阵列，诸如X乘YVCSEL和透镜组阵列(并且从而总共N个VCSEL和总共N个透镜组，其中N＝X*Y)。在某些实施例中，VCSEL阵列910可包括在单个半导体基板914上制造的数百个VCSEL912。类似地，微透镜阵列920可包括数百个透镜组922。
如同上面针对先前描述的实施例解释的，取决于DOE930的设计，DOE930可引起照射模块902输出的结构化光中的特征的数量是VCSEL912和VCSEL阵列910的数量的整数倍。例如，DEO930可引起照射模块902输出的结构化光中的特征的数量包括达VCSELS912中的特征的数量的两倍、三倍或四倍，但不限于此。
图10A和10B现在将被用来描述根据一实施例VCSEL阵列可如何与光学元件(诸如微透镜阵列)对齐。图10A示出照射模块1002的侧视图或其一部分，其包括VCSEL阵列1010，该阵列包括在半导体基板1014上形成的多个VCSEL1012。照射模块1002还包括微透镜阵列1020，该阵列包括多个透镜组1022。图10B是半导体基板1014和微透镜阵列1020的反透视图，但是没有具体示出VCSEL1012和透镜组1022。
如图10A和10B中所示，半导体基板1014包括第一对齐元件1016而微透镜阵列1020包括相应的第二对齐元件1026。第一和第二对齐元件1016、1026使得在照射模块1002的组装期间半导体基板1014(VCSEL阵列1010在其上形成)能够被容易且精确地与微透镜阵列1020(其包括透镜组1022)对齐。第一对齐元件1016可以例如是从半导体基板1014的表面延伸的凸起、榫钉、或其它突出部。第二对齐元件1026可以例如是延伸到微透镜阵列1020的表面中的凹陷、孔或其它凹入部。还可能将对齐元件的类型翻转，以使得半导体基板1014包括延伸到半导体基板1014的表面中的凹入部，而微透镜阵列1020包括从微透镜阵列1020的表面延伸的突出部。对齐元件1016和1026例如可使用光刻过程或其它微制造过程来制造，但不限于此。
在图10A和10B中，半导体基板1014被示出为包括三个第一对齐元件1016而微透镜阵列1020被示出为包括三个第二对齐元件1026。然而，其它数量的对齐元件也是可能的，且在一实施例的范围内。还要注意，对齐元件1016和1026可位于与图10A和10B中所示的不同的位置。
在图10A和10B中，对齐元件被示出为被用于帮助将半导体基板1014与微透镜阵列1020对齐。类似的对齐元件可被用来帮助将半导体基板与DOE、和/或将微透镜阵列与DOE对齐。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。本技术的范围由所附的权利要求进行定义。

Claims (10)

1.一种深度相机系统，包括：
照射模块，所述照射模块输出照射捕捉区域的结构化光；以及
图像检测器模块，所述图像检测器模块捕捉从所述捕捉区域内的一个或多个对象反射的结构化光的图像；
所述照射模块包括
VCSEL阵列，所述VCSEL阵列包括多个垂直腔面发光激光器(VCSEL)，其中每个VCSEL发射单独的光束，且其中所述多个VCSEL共同地发射光图案；以及
投影光学器件，所述投影光学器件接收所述VCSEL阵列中的VCSEL所发射的光图案并投影所述光图案；
其中所述照射模块输出的所述结构化光是至少部分基于所述投影光学器件所投影的光图案创建的。
2.如权利要求1所述的深度相机系统，其特征在于，所述投影光学器件包括：
场镜，所述场镜接收所述VCSEL阵列中的VCSEL所发射的光束并汇聚所述光束；以及
物镜，所述物镜接收来自所述场镜的经汇聚光束并发散所述光束以产生所述投影光学器件所投影的所述光图案。
3.如权利要求1或2所述的深度相机系统，其特征在于：
所述投影光学器件所投影的所述光图案包括一定数量的特征；以及
所述照射模块还包括在所述投影光学器件的光学下游的光学元件，所述光学元件引起所述照射模块输出的所述结构化光中包括的特征的总数大于所述投影光学器件所投影的所述光图案中包括的特征的数量。
4.如权利要求3所述的深度相机系统，其特征在于，在所述投影光学器件的光学下游的所述光学元件包括以下中的一者：
分光器，所述分光器引起所述照射模块输出的所述结构化光中包括的特征的总数是所述投影光学器件投影的所述光图案中包括的特征的总数的两倍；或
衍射光学元件(DOE)，所述衍射光学元件引起所述照射模块输出的所述结构化光中包括的特征的总数是所述投影光学器件投影的所述光图案中包括的特征的总数的整数倍。
5.如权利要求1所述的深度相机系统，其特征在于，进一步包括一个或多个处理器，所述一个或多个处理器：
取决于所述图像检测器模块捕捉的图像产生深度图像；以及
基于所述深度图像更新应用。
6.一种深度相机系统，包括：
照射模块，所述照射模块输出照射捕捉区域的结构化光；以及
图像检测器模块，所述图像检测器模块捕捉从所述捕捉区域内的一个或多个对象反射的结构化光的图像；
所述照射模块包括
VCSEL阵列，所述VCSEL阵列包括具有第一节距的多个垂直腔面发光激光器(VCSEL)；
微透镜阵列(MLA)，所述微透镜阵列包括具有第二节距的多个透镜组，所述第二节距相对于VCSEL阵列的所述第一节距偏移，这引起所述MLA从所述VCSEL阵列接收的光束汇聚；以及
衍射光学元件(DOE)，所述衍射光学元件接收来自所述MLA的经汇聚光束并输出照射所述捕捉区域的所述结构化光。
7.如权利要求6所述的深度相机系统，其特征在于：
所述第二节距小于所述第一节距；以及
所述MLA引起由所述MLA从所述VCSEL阵列接收的光束汇聚到所述DOE所在的单一瞳孔。
8.如权利要求6或7所述的深度相机系统，其特征在于：
所述MLA输出的光图案包括一定数量的特征；以及
所述DOE引起所述照射模块输出的所述结构化光中包括的特征的总数为所述MLA输出的所述光图案中包括的特征的数量的整数倍。
9.如权利要求6所述的深度相机系统，其特征在于：
所述VCSEL阵列被形成在包括第一对齐元件的半导体基板上；以及
所述MLA包括第二对齐元件，所述第二对齐元件与所述第一对齐元件对齐。
10.如权利要求6所述的深度相机系统，其特征在于，还包括：
一个或多个处理器，所述一个或多个处理器取决于所述图像检测器模块捕捉的图像产生深度图像。
CN201480055988.XA 2013-10-09 2014-10-06 发射结构化光的照射模块 Active CN105705964B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/050,106 US9443310B2 (en) 2013-10-09 2013-10-09 Illumination modules that emit structured light
US14/050,106 2013-10-09
PCT/US2014/059209 WO2015054085A1 (en) 2013-10-09 2014-10-06 Illumination modules that emit structured light

Publications (2)

Publication Number Publication Date
CN105705964A true CN105705964A (zh) 2016-06-22
CN105705964B CN105705964B (zh) 2019-07-05

Family

ID=51844848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480055988.XA Active CN105705964B (zh) 2013-10-09 2014-10-06 发射结构化光的照射模块

Country Status (5)

Country Link
US (2) US9443310B2 (zh)
EP (1) EP3055711B1 (zh)
CN (1) CN105705964B (zh)
TW (1) TWI628465B (zh)
WO (1) WO2015054085A1 (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106406002A (zh) * 2016-10-28 2017-02-15 深圳奥比中光科技有限公司 面阵投影装置及深度相机
CN107153193A (zh) * 2016-12-29 2017-09-12 深圳市速腾聚创科技有限公司 多线激光雷达和多线激光雷达控制方法
CN107422571A (zh) * 2017-09-20 2017-12-01 京东方科技集团股份有限公司 显示面板、装置及其操控方法
CN107450190A (zh) * 2017-09-08 2017-12-08 深圳奥比中光科技有限公司 一种衍射光学元件及配制方法
CN107703641A (zh) * 2017-09-08 2018-02-16 深圳奥比中光科技有限公司 一种结构光投影模组和深度相机
WO2018205355A1 (zh) * 2017-05-09 2018-11-15 深圳奥比中光科技有限公司 阵列激光投影装置及深度相机
CN109655014A (zh) * 2018-12-17 2019-04-19 中国科学院上海光学精密机械研究所 基于vcsel的三维人脸测量模组及测量方法
CN109798838A (zh) * 2018-12-19 2019-05-24 西安交通大学 一种基于激光散斑投射的ToF深度传感器及其测距方法
CN109901178A (zh) * 2017-12-08 2019-06-18 余姚舜宇智能光学技术有限公司 一种小型化tof电路模块及tof模组
CN110068831A (zh) * 2019-04-02 2019-07-30 深圳市速腾聚创科技有限公司 闪光雷达及其发射装置和探测方法
CN110133853A (zh) * 2018-02-09 2019-08-16 舜宇光学（浙江）研究院有限公司 可调散斑图案的调节方法及其投射方法
CN110168430A (zh) * 2016-11-16 2019-08-23 博莱佳私人有限公司 光束定向器
CN110320673A (zh) * 2018-03-30 2019-10-11 安特尔耀恩晶片光学有限公司 光学模块和用于投影的方法
CN110914702A (zh) * 2017-07-28 2020-03-24 欧普赛斯技术有限公司 具有小角发散度的vcsel阵列lidar发送器
CN111213068A (zh) * 2017-09-01 2020-05-29 通快光子元件有限公司 利用低分辨率像素成像的飞行时间深度相机
CN112394526A (zh) * 2019-08-19 2021-02-23 上海鲲游光电科技有限公司 多维摄像装置及其应用终端和方法
CN112505713A (zh) * 2020-11-27 2021-03-16 Oppo（重庆）智能科技有限公司 距离测量装置及方法、计算机可读介质和电子设备
CN114175629A (zh) * 2019-07-26 2022-03-11 惠普发展公司， 有限责任合伙企业 基于捕捉的图像内的被识别的点来修改投射的结构光
US11513195B2 (en) 2019-06-10 2022-11-29 OPSYS Tech Ltd. Eye-safe long-range solid-state LIDAR system
US11543671B2 (en) 2018-03-23 2023-01-03 Orbbec Inc. Structured light projection module and depth camera
US11567208B2 (en) 2015-09-28 2023-01-31 Baraja Pty Ltd. Spatial profiling system and method
US11592553B2 (en) 2016-04-20 2023-02-28 Suteng Innovation Technology Co., Ltd Distance measurement system and method using lidar waveform matching
US11650297B2 (en) 2017-11-10 2023-05-16 Suteng Innovation Technology Co., Ltd. LIDAR devices
US11762068B2 (en) 2016-04-22 2023-09-19 OPSYS Tech Ltd. Multi-wavelength LIDAR system
US11802943B2 (en) 2017-11-15 2023-10-31 OPSYS Tech Ltd. Noise adaptive solid-state LIDAR system
US11846728B2 (en) 2019-05-30 2023-12-19 OPSYS Tech Ltd. Eye-safe long-range LIDAR system using actuator
US11906663B2 (en) 2018-04-01 2024-02-20 OPSYS Tech Ltd. Noise adaptive solid-state LIDAR system
US11927694B2 (en) 2017-03-13 2024-03-12 OPSYS Tech Ltd. Eye-safe scanning LIDAR system
US11965964B2 (en) 2020-04-07 2024-04-23 OPSYS Tech Ltd. Solid-state LIDAR transmitter with laser control

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9462253B2 (en) * 2013-09-23 2016-10-04 Microsoft Technology Licensing, Llc Optical modules that reduce speckle contrast and diffraction artifacts
US9749513B2 (en) 2014-04-29 2017-08-29 Facebook, Inc. System and method for generating a light pattern for object illumination
US20160142684A1 (en) * 2014-11-15 2016-05-19 Robert Gruder Camera apparatus and method
US9553423B2 (en) 2015-02-27 2017-01-24 Princeton Optronics Inc. Miniature structured light illuminator
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
US10616561B2 (en) * 2015-09-03 2020-04-07 Inuitive Ltd. Method and apparatus for generating a 3-D image
EP3159711A1 (en) 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object
TWI583985B (zh) * 2015-12-23 2017-05-21 高準精密工業股份有限公司 光學裝置
US10007994B2 (en) 2015-12-26 2018-06-26 Intel Corporation Stereodepth camera using VCSEL projector with controlled projection lens
TWI570444B (zh) * 2016-02-26 2017-02-11 高準精密工業股份有限公司 結構光模組
KR20170115425A (ko) * 2016-04-07 2017-10-17 크루셜텍 (주) 거리 측정 센서 조립체 및 그를 갖는 전자기기
KR101892013B1 (ko) 2016-05-27 2018-08-27 엘지전자 주식회사 이동 단말기
WO2017204498A1 (ko) * 2016-05-27 2017-11-30 엘지전자 주식회사 이동 단말기
US10924638B2 (en) * 2016-06-27 2021-02-16 Intel Corporation Compact, low cost VCSEL projector for high performance stereodepth camera
US10241244B2 (en) * 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
US10827163B2 (en) * 2016-08-09 2020-11-03 Facebook Technologies, Llc Multiple emitter illumination source for depth information determination
AU2017336066B2 (en) * 2016-09-30 2022-04-14 Magic Leap, Inc. Projector with spatial light modulation
TWI636395B (zh) 2016-11-10 2018-09-21 財團法人金屬工業研究發展中心 基於深度值之手勢操作方法及其系統
CN108333856B (zh) * 2017-01-19 2023-07-07 奥比中光科技集团股份有限公司 光学投影装置及应用其的深度相机
US10295827B1 (en) * 2017-04-27 2019-05-21 Facebook Technologies, Llc Diffractive optics beam shaping for structured light generator
US10542245B2 (en) * 2017-05-24 2020-01-21 Lg Electronics Inc. Mobile terminal and method for controlling the same
WO2019005260A1 (en) 2017-06-29 2019-01-03 Apple Inc. FLIGHT TIME DEPTH MAPPING WITH PARALLAX COMPENSATION
CN110892450B (zh) * 2017-07-12 2023-08-04 金泰克斯公司 使用统一成像设备提取视觉、深度和微振动数据
EP3447862A1 (en) * 2017-08-23 2019-02-27 Koninklijke Philips N.V. Vcsel array with common wafer level integrated optical device
US10955552B2 (en) 2017-09-27 2021-03-23 Apple Inc. Waveform design for a LiDAR system with closely-spaced pulses
US11114816B2 (en) 2017-11-08 2021-09-07 Lumentum Operations Llc Diffractive optical element with off-axis incidence in a structured light application
WO2019099297A1 (en) * 2017-11-16 2019-05-23 Princeton Optronics, Inc. Structured light illuminators including a chief ray corrector optical element
US10545457B2 (en) * 2017-12-05 2020-01-28 K Laser Technology, Inc. Optical projector with off-axis diffractive element and conjugate images
KR102403544B1 (ko) 2017-12-18 2022-05-30 애플 인크. 방출기들의 어드레스가능 어레이를 사용하는 비행 시간 감지
DE102017223673A1 (de) * 2017-12-22 2019-06-27 Robert Bosch Gmbh LIDAR-System zur Erfassung eines Objekts
US10854001B2 (en) * 2017-12-26 2020-12-01 Tangible Play, Inc. Tangible object virtualization station
US10895752B1 (en) * 2018-01-10 2021-01-19 Facebook Technologies, Llc Diffractive optical elements (DOEs) for high tolerance of structured light
US11852843B1 (en) 2018-01-10 2023-12-26 Meta Platforms Technologies, Llc Diffractive optical elements (DOEs) for high tolerance of structured light
US11061234B1 (en) * 2018-02-01 2021-07-13 Facebook Technologies, Llc Depth camera assembly based on near infra-red illuminator
WO2019174433A1 (zh) * 2018-03-12 2019-09-19 Oppo广东移动通信有限公司 激光投射模组、深度相机和电子装置
CN108490632B (zh) 2018-03-12 2020-01-10 Oppo广东移动通信有限公司 激光投射模组、深度相机和电子装置
WO2019174455A1 (zh) 2018-03-12 2019-09-19 Oppo广东移动通信有限公司 激光投射模组及其检测方法与装置、深度摄像模组和电子装置
NL2020697B1 (en) * 2018-03-30 2019-10-07 Anteryon Wafer Optics B V optical module
US10788892B2 (en) 2018-05-23 2020-09-29 Facebook Technologies, Llc In-field illumination and imaging for eye tracking
US11455031B1 (en) * 2018-06-04 2022-09-27 Meta Platforms Technologies, Llc In-field illumination for eye tracking
CN108803067A (zh) * 2018-06-26 2018-11-13 杭州光珀智能科技有限公司 一种光学深度相机及其信号光源处理方法
JP7077822B2 (ja) * 2018-07-05 2022-05-31 株式会社デンソー 光測距装置
CA3106823A1 (en) 2018-07-19 2020-01-23 Activ Surgical, Inc. Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots
US20200064642A1 (en) * 2018-08-27 2020-02-27 Lumentum Operations Llc Lens array to disperse zero-order beams of an emitter array on a diffractive optical element
CN112912781B (zh) 2018-08-29 2022-11-29 艾塔鲁玛公司 作为用于显微术的照明源的照明显示器
TWI728307B (zh) * 2019-01-24 2021-05-21 奇景光電股份有限公司 光學裝置
US11137246B2 (en) * 2019-01-31 2021-10-05 Himax Technologies Limited Optical device
KR102604902B1 (ko) * 2019-02-11 2023-11-21 애플 인크. 펄스형 빔들의 희소 어레이를 사용하는 깊이 감지
WO2020210168A1 (en) 2019-04-08 2020-10-15 Activ Surgical, Inc. Systems and methods for medical imaging
EP3953727A4 (en) 2019-04-09 2023-01-04 Opsys Tech Ltd. SOLID STATE LIDAR TRANSMITTER WITH LASER CONTROL
US11650426B2 (en) 2019-05-09 2023-05-16 Meta Platforms Technologies, Llc Holographic optical elements for eye-tracking illumination
US11340456B1 (en) 2019-05-22 2022-05-24 Facebook Technologies, Llc Addressable crossed line projector for depth camera assembly
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
EP4025869B1 (en) * 2019-09-04 2023-07-05 ams Sensors Singapore Pte. Ltd. Designing and constructing dot projectors for three-dimensional sensor modules
US11892654B2 (en) 2019-10-07 2024-02-06 Omnivision Technologies, Inc. Passive speckle-suppressing diffusers and associated methods and illuminators
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
CN111129940B (zh) * 2019-12-30 2021-03-30 东莞市盛雄激光先进装备股份有限公司 一种半导体激光器光路整形方法及相关装置
US20210342616A1 (en) * 2020-04-29 2021-11-04 Universal City Studios Llc Identification systems and methods for a user interactive device
CN112379530B (zh) * 2020-11-24 2022-06-10 北京华捷艾米科技有限公司 深度相机的光源装置和深度相机
CN112433382B (zh) * 2020-11-25 2024-01-23 Oppo（重庆）智能科技有限公司 散斑投影装置及方法、电子设备和距离测量系统
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6353502B1 (en) * 2000-06-13 2002-03-05 Eastman Kodak Company VCSEL field correction
CN1414420A (zh) * 2002-10-09 2003-04-30 天津大学 动态多分辨率的三维数字成像的方法及装置
CN101451826A (zh) * 2008-12-17 2009-06-10 中国科学院上海光学精密机械研究所 物体三维轮廓测量装置及测量方法
WO2009153446A2 (fr) * 2008-06-12 2009-12-23 Universite De Strasbourg Dispositif de projection de lumiere structuree au moyen de vcsel et de composants optiques diffractifs de phase
US20100008588A1 (en) * 2008-07-08 2010-01-14 Chiaro Technologies LLC Multiple channel locating
US20120051588A1 (en) * 2009-12-21 2012-03-01 Microsoft Corporation Depth projector system with integrated vcsel array
US20130250066A1 (en) * 2012-03-26 2013-09-26 Mantis Vision Ltd. Three dimensional camera and projector for same

Family Cites Families (180)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4523809A (en) 1983-08-04 1985-06-18 The United States Of America As Represented By The Secretary Of The Air Force Method and apparatus for generating a structured light beam array
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
EP0590101B1 (en) 1991-12-03 1999-06-23 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5548418A (en) 1994-01-14 1996-08-20 Dcs Corporation Holographic structured light generator
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
WO1999044698A2 (en) 1998-03-03 1999-09-10 Arena, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
WO1998007129A1 (fr) 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
DE69840608D1 (de) 1998-12-16 2009-04-09 3Dv Systems Ltd Selbsttastende photoempfindliche oberfläche
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP2002072132A (ja) * 2000-08-30 2002-03-12 Dainippon Screen Mfg Co Ltd 照明装置
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
AU2003212211A1 (en) 2002-04-19 2003-11-03 Iee International Electronics And Engineering S.A. Safety device for a vehicle
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7385708B2 (en) 2002-06-07 2008-06-10 The University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7620202B2 (en) 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
JP2007508596A (ja) 2003-10-17 2007-04-05 エクスプレイ リミテッド 投影システムに使用する光学システムおよび方法
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
CN100427995C (zh) * 2004-03-06 2008-10-22 Limo专利管理有限及两合公司 用于使光均匀化的装置和用这种装置进行照明的结构
JP4708422B2 (ja) 2004-04-15 2011-06-22 ジェスチャー テック，インコーポレイテッド 両手動作の追跡
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
EP3693889A3 (en) 2005-01-07 2020-10-28 QUALCOMM Incorporated Detecting and tracking objects in images
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
WO2006074290A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Optical flow based tilt sensor
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
US7389591B2 (en) 2005-05-17 2008-06-24 Gesturetek, Inc. Orientation-sensitive signal output
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7492450B2 (en) 2005-10-24 2009-02-17 General Electric Company Methods and apparatus for inspecting an object
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
TWI433052B (zh) 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
WO2008155770A2 (en) 2007-06-19 2008-12-24 Prime Sense Ltd. Distance-varying illumination and imaging techniques for depth mapping
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US7965754B1 (en) * 2009-04-21 2011-06-21 The Boeing Company Spherical array laser source
US7763841B1 (en) 2009-05-27 2010-07-27 Microsoft Corporation Optical component for a depth sensor
GB0921461D0 (en) 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
US8558873B2 (en) 2010-06-16 2013-10-15 Microsoft Corporation Use of wavefront coding to create a depth image
US20120017153A1 (en) 2010-07-15 2012-01-19 Ken Matsuda Dynamic video editing
JP2014516409A (ja) * 2011-04-15 2014-07-10 ファロ テクノロジーズ インコーポレーテッド レーザトラッカの改良位置検出器
US9245307B2 (en) 2011-06-01 2016-01-26 Empire Technology Development Llc Structured light projection for motion detection in augmented reality
US20130147353A1 (en) * 2011-12-12 2013-06-13 Microsoft Corporation Light source package
EP2823252A1 (en) 2012-03-09 2015-01-14 Galil Soft Ltd System and method for non-contact measurement of 3d geometry
US9142019B2 (en) * 2013-02-28 2015-09-22 Google Technology Holdings LLC System for 2D/3D spatial feature processing
US9646384B2 (en) * 2013-09-11 2017-05-09 Google Technology Holdings LLC 3D feature descriptors with camera pose information

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6353502B1 (en) * 2000-06-13 2002-03-05 Eastman Kodak Company VCSEL field correction
CN1414420A (zh) * 2002-10-09 2003-04-30 天津大学 动态多分辨率的三维数字成像的方法及装置
WO2009153446A2 (fr) * 2008-06-12 2009-12-23 Universite De Strasbourg Dispositif de projection de lumiere structuree au moyen de vcsel et de composants optiques diffractifs de phase
US20100008588A1 (en) * 2008-07-08 2010-01-14 Chiaro Technologies LLC Multiple channel locating
CN101451826A (zh) * 2008-12-17 2009-06-10 中国科学院上海光学精密机械研究所 物体三维轮廓测量装置及测量方法
US20120051588A1 (en) * 2009-12-21 2012-03-01 Microsoft Corporation Depth projector system with integrated vcsel array
US20130250066A1 (en) * 2012-03-26 2013-09-26 Mantis Vision Ltd. Three dimensional camera and projector for same

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11567208B2 (en) 2015-09-28 2023-01-31 Baraja Pty Ltd. Spatial profiling system and method
US11592553B2 (en) 2016-04-20 2023-02-28 Suteng Innovation Technology Co., Ltd Distance measurement system and method using lidar waveform matching
US11762068B2 (en) 2016-04-22 2023-09-19 OPSYS Tech Ltd. Multi-wavelength LIDAR system
CN106406002B (zh) * 2016-10-28 2018-05-04 深圳奥比中光科技有限公司 面阵投影装置及深度相机
CN106406002A (zh) * 2016-10-28 2017-02-15 深圳奥比中光科技有限公司 面阵投影装置及深度相机
CN110168430A (zh) * 2016-11-16 2019-08-23 博莱佳私人有限公司 光束定向器
US11422238B2 (en) 2016-11-16 2022-08-23 Baraja Pty Ltd. Optical beam director
US10746855B2 (en) 2016-12-29 2020-08-18 Suteng Innovation Technology Co., Ltd. Multi-line laser radar and multi-line laser radar control method
WO2018121009A1 (zh) * 2016-12-29 2018-07-05 深圳市速腾聚创科技有限公司 多线激光雷达和多线激光雷达控制方法
CN107153193A (zh) * 2016-12-29 2017-09-12 深圳市速腾聚创科技有限公司 多线激光雷达和多线激光雷达控制方法
US11927694B2 (en) 2017-03-13 2024-03-12 OPSYS Tech Ltd. Eye-safe scanning LIDAR system
WO2018205355A1 (zh) * 2017-05-09 2018-11-15 深圳奥比中光科技有限公司 阵列激光投影装置及深度相机
CN110914702A (zh) * 2017-07-28 2020-03-24 欧普赛斯技术有限公司 具有小角发散度的vcsel阵列lidar发送器
US11740331B2 (en) 2017-07-28 2023-08-29 OPSYS Tech Ltd. VCSEL array LIDAR transmitter with small angular divergence
CN111213068A (zh) * 2017-09-01 2020-05-29 通快光子元件有限公司 利用低分辨率像素成像的飞行时间深度相机
CN111213068B (zh) * 2017-09-01 2023-12-19 通快光电器件有限公司 利用低分辨率像素成像的飞行时间深度相机
CN107703641B (zh) * 2017-09-08 2019-12-13 深圳奥比中光科技有限公司 一种结构光投影模组和深度相机
CN107450190B (zh) * 2017-09-08 2019-12-13 深圳奥比中光科技有限公司 一种衍射光学元件及配制方法
CN107703641A (zh) * 2017-09-08 2018-02-16 深圳奥比中光科技有限公司 一种结构光投影模组和深度相机
CN107450190A (zh) * 2017-09-08 2017-12-08 深圳奥比中光科技有限公司 一种衍射光学元件及配制方法
US11442285B2 (en) 2017-09-08 2022-09-13 Orbbec Inc. Diffractive optical element and preparation method
CN107422571A (zh) * 2017-09-20 2017-12-01 京东方科技集团股份有限公司 显示面板、装置及其操控方法
US10678043B2 (en) 2017-09-20 2020-06-09 Boe Technology Group Co., Ltd. Display panel, display device and method for controlling the same
US11650297B2 (en) 2017-11-10 2023-05-16 Suteng Innovation Technology Co., Ltd. LIDAR devices
US11802943B2 (en) 2017-11-15 2023-10-31 OPSYS Tech Ltd. Noise adaptive solid-state LIDAR system
CN109901178A (zh) * 2017-12-08 2019-06-18 余姚舜宇智能光学技术有限公司 一种小型化tof电路模块及tof模组
CN110133853A (zh) * 2018-02-09 2019-08-16 舜宇光学（浙江）研究院有限公司 可调散斑图案的调节方法及其投射方法
US11543671B2 (en) 2018-03-23 2023-01-03 Orbbec Inc. Structured light projection module and depth camera
CN110320673B (zh) * 2018-03-30 2024-02-20 安特尔耀恩国际有限公司 光学模块和用于投影的方法
CN110320673A (zh) * 2018-03-30 2019-10-11 安特尔耀恩晶片光学有限公司 光学模块和用于投影的方法
US11906663B2 (en) 2018-04-01 2024-02-20 OPSYS Tech Ltd. Noise adaptive solid-state LIDAR system
CN109655014B (zh) * 2018-12-17 2021-03-02 中国科学院上海光学精密机械研究所 基于vcsel的三维人脸测量模组及测量方法
CN109655014A (zh) * 2018-12-17 2019-04-19 中国科学院上海光学精密机械研究所 基于vcsel的三维人脸测量模组及测量方法
CN109798838A (zh) * 2018-12-19 2019-05-24 西安交通大学 一种基于激光散斑投射的ToF深度传感器及其测距方法
CN110068831A (zh) * 2019-04-02 2019-07-30 深圳市速腾聚创科技有限公司 闪光雷达及其发射装置和探测方法
US11846728B2 (en) 2019-05-30 2023-12-19 OPSYS Tech Ltd. Eye-safe long-range LIDAR system using actuator
US11513195B2 (en) 2019-06-10 2022-11-29 OPSYS Tech Ltd. Eye-safe long-range solid-state LIDAR system
CN114175629A (zh) * 2019-07-26 2022-03-11 惠普发展公司， 有限责任合伙企业 基于捕捉的图像内的被识别的点来修改投射的结构光
CN112394526A (zh) * 2019-08-19 2021-02-23 上海鲲游光电科技有限公司 多维摄像装置及其应用终端和方法
WO2021032093A1 (zh) * 2019-08-19 2021-02-25 上海鲲游光电科技有限公司 光学组件
US11965964B2 (en) 2020-04-07 2024-04-23 OPSYS Tech Ltd. Solid-state LIDAR transmitter with laser control
CN112505713A (zh) * 2020-11-27 2021-03-16 Oppo（重庆）智能科技有限公司 距离测量装置及方法、计算机可读介质和电子设备

Also Published As

Publication number Publication date
CN105705964B (zh) 2019-07-05
EP3055711B1 (en) 2020-06-03
TW201514544A (zh) 2015-04-16
US20170188016A1 (en) 2017-06-29
TWI628465B (zh) 2018-07-01
WO2015054085A1 (en) 2015-04-16
EP3055711A1 (en) 2016-08-17
US9443310B2 (en) 2016-09-13
US20150097947A1 (en) 2015-04-09

Similar Documents

Publication Publication Date Title
CN105705964A (zh) 发射结构化光的照射模块
US10024968B2 (en) Optical modules that reduce speckle contrast and diffraction artifacts
CN102244714B (zh) 深度照明和检测光学器件
CN105264401B (zh) 用于tof系统的干扰减小
CN102129292B (zh) 在运动捕捉系统中识别用户意图
TW201510554A (zh) 用於同深度攝影機使用的光學模組
CN102576463B (zh) 用于移除图像的背景的系统和方法
CN102681293B (zh) 具有折射光学元件的照明器
CN102306051B (zh) 复合姿势-语音命令
CN102448563B (zh) 用于处理场景的深度信息的方法和设备
CN102222329B (zh) 深度检测的光栅扫描
CN102301398B (zh) 用于捕捉场景的深度信息的设备、方法和系统
CN102332090B (zh) 划分在视野内的焦点区域
US20100302253A1 (en) Real time retargeting of skeletal data to game avatar
US20110221755A1 (en) Bionic motion
CN102129293A (zh) 在运动捕捉系统中跟踪用户组
CN102681657A (zh) 交互式内容创建
CN102129709A (zh) 可视化深度
CN102163324A (zh) 深度图像的去混叠
CN102520574A (zh) 飞行时间深度成像
CN103748893A (zh) 显示器作为照片或视频的照明
CN107077730A (zh) 基于剪影的肢寻找器确定
CN105164617B (zh) 自主nui设备的自发现

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant