CN102222329B - 深度检测的光栅扫描 - Google Patents

深度检测的光栅扫描 Download PDF

Info

Publication number
CN102222329B
CN102222329B CN201110072053.0A CN201110072053A CN102222329B CN 102222329 B CN102222329 B CN 102222329B CN 201110072053 A CN201110072053 A CN 201110072053A CN 102222329 B CN102222329 B CN 102222329B
Authority
CN
China
Prior art keywords
light
pattern
visual field
scanning
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110072053.0A
Other languages
English (en)
Other versions
CN102222329A (zh
Inventor
D·伊
J·卢蒂安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102222329A publication Critical patent/CN102222329A/zh
Application granted granted Critical
Publication of CN102222329B publication Critical patent/CN102222329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本发明提供了深度检测的光栅扫描。提供了用于确定到深度相机的视野内的对象的距离的技术。技术可包括在对象上光栅扫描光并检测从对象反射的光。基于所反射的图像确定到该对象的一个或多个距离。可生成该对象的3D映射。在一实施例中，可基于从相机内的光源发送光到接收从对象反射的图像之间的飞行时间来确定到对象的(诸)距离。光栅扫描光包括光栅扫描图案到视野中。确定到对象的(诸)距离可包括确定在相机处接收到的图案的所反射的图像与参考图案之间的空间差。

Description

深度检测的光栅扫描
技术领域
本发明涉及深度检测，尤其涉及深度检测的光栅扫描。
背景技术
深度相机系统获得和物理空间内人或其他对象的位置有关的数据。该信息可被称为“深度信息”。深度信息可被输入到计算系统内的应用用于各种各样的应用。可能有许多应用，如出于军事、娱乐、体育和医疗目的。例如，关于人的深度信息可被映射到三维(3-D)人类骨架模型并用于创建动画人物或化身。
为了确定深度信息，深度相机可将光投影到相机的视野内的对象上。光反射离开对象并返回相机，在相机处光被处理以确定深度信息。然而，被反射回相机的光的强度可以是非常弱的。因此，信噪比(S/N)可以是差的。此外，如果对象的一部分扩展到相机的视野之外，那么对象的该部分的深度不能被确定。
因此，需要进一步的改进以允许对深度相机的视野内对象的深度进行更精确的确定。一种这样的需要是改进从对象反射的光信号的S/N。另一种需要是提供对视野更好的控制。
发明内容
提供了一种用于确定深度相机的视野内的一个或多个对象的深度信息的机器实现的方法和系统。该方法和系统提供深度相机的视野内的对象的深度的精确确定。该方法和系统可提供从对象反射的光信号的好的S/N。该方法和系统可允许深度相机的视野被动态地调节。
一实施例是确定到对象的距离的机器实现的方法。该方法包括从相机内的光源发送光。在相机的视野内的对象上，光被光栅扫描。在检测器处接收来自对象的光的所反射的图像。基于所反射的图像确定到该对象的一个或多个距离。
一实施例是深度相机，该深度相机包括发送光的光源、与光源光学通信的扫描元件、光检测器以及距离确定逻辑。扫描元件通过按x-方向和y-方向扫描来光栅扫描视野上的光。光检测器接收来自视野内对象的被扫描的光的所反射的图像。距离确定逻辑基于所反射的图像确定到视野内的对象的一个距离或多个距离。
一实施例是光栅扫描图案以确定深度信息的机器实现的方法。该方法包括从相机内的光源发送光。在发送光的同时控制扫描元件来扫描相机的视野内的线。在相机内的线性阵列检测器处接收来自视野内的对象的图像。该图像对应于扫描线的至少一部分。做出关于是否扫描图案内另一线的确定。如果另一线要被扫描，则重复发送、控制以及接收。分析接收到的图像的空间特性。基于该空间分析确定到视野内的对象的一个距离或多个距离。
提供本发明内容以用简化形式介绍在下面的说明书中进一步描述的精选概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。
附图说明
图1描绘了运动捕捉系统的示例实施例。
图2描绘了图1的运动捕捉系统的示例框图。
图3描绘了可以在图1的运动捕捉系统中使用的计算环境的示例框图。
图4描绘了可以在图1的运动捕捉系统中使用的计算环境的另一示例框图。
图5A描绘了可使用飞行时间来确定光栅扫描的光的深度信息的深度相机的一实施例的框图。
图5B描绘了使用结构化光图案来确定深度信息的深度相机的一实施例的框图。
图6是确定到深度相机的视野内一个或多个对象的距离的过程的一实施例的流程图。
图7是扫描深度相机的视野内的图案的过程的一实施例的流程图。
图8A是基于飞行时间确定到相机的视野内的对象的一个或多个距离的过程的一实施例的流程图。
图8B是基于接收到的图像的空间分析确定到相机的视野内的对象的一个或多个距离的过程的一实施例的流程图。
图9是生成参考图像的过程的一实施例的流程图。
具体实施方式
提供了用于确定到深度相机的视野内一对象(或多个对象)的一个或多个距离的技术。技术可包括光栅扫描在相机的视野内的对象上的光。在相机处接收从该对象反射的光的图像。基于所反射的图像确定到该对象的一个或多个距离。在一实施例中，生成视野内一个或多个对象的3D映射。
在一实施例中，确定到对象的(诸)距离包括确定从相机内的光源发送光到接收来自对象的所反射的图像之间的飞行时间。可为光栅扫描内不同的点确定单独的飞行时间信息。因此，可确定对象的3D映射。
在一实施例中，光栅扫描光包括光栅扫描图案到视野内。确定到对象的(诸)距离可包括确定在相机处接收到的图案的所反射的图像与参考图案之间的空间差。扫描到视野内的图案可以是已知的图案，诸如网格或任何其他已知的图案。参考图案可以是对离开深度相机已知距离处的参考图像上的图案进行光栅扫描所得出的图像。
收集深度相机的视野内的一个或多个对象的深度信息的一种可能使用是向运动捕捉系统输入深度信息。然而，可以理解的是深度信息并不限于运动捕捉系统。出于说明的目的，将描述一示例运动捕捉系统10。图1描绘了其中个人可以与应用交互的运动捕捉系统10的示例实施例。运动捕捉系统10包括显示器196、深度相机系统20、以及计算环境或装置12。深度相机系统20可包括图像相机组件22，其具有深度检测光发送器24、深度检测光接收器25和红-绿-蓝(RGB)相机28。在一实施例中，深度检测光发送器24发射准直光束(collimated light beam)。准直光的示例包括但不限于，红外线(IR)激光。在一实施例中，深度检测光组件是LED。通过深度检测光接收器25检测从视野内对象8反射离开的光。
也称为个人或玩家的用户站在深度相机系统20的视野6中。线2和4表示视野6的边界。在该示例中，深度相机系统20和计算环境12提供了其中显示器196上的化身197跟踪对象8(例如，用户)的移动的应用。例如，当用户举起手臂时，化身197可举起手臂。化身197在3-D虚拟世界中站在路198上。可定义笛卡尔世界坐标系，其包括沿着深度相机系统20的焦距(例如水平)延伸的z轴、垂直延伸的y轴、以及横向且水平延伸的x轴。注意，附图的透视被修改成简化表示，显示器196在y轴方向上垂直延伸，z轴垂直于y轴和x轴且与用户所站立的地平面平行地从深度相机系统20延伸出来。
一般而言，运动捕捉系统10用于识别、分析和/或跟踪对象。计算环境12可包括计算机、游戏系统或控制台等，以及执行应用的硬件组件和/或软件组件。
深度相机系统20可以包括相机，相机用于在视觉上监视诸如用户等的一个或多个对象8，从而可以捕捉、分析并跟踪用户所执行的姿势和/或移动，来执行应用中的一个或多个控制或动作，如使化身或屏幕上人物活动起来或选择用户界面(UI)中的一菜单项。
运动捕捉系统10可以连接到诸如显示器196等可向用户提供视觉和音频输出的视听设备，如电视机、监视器、高清电视机(HDTV)等，或甚至是墙或其他表面上的投影。音频输出也可经由单独的设备来提供。为驱动显示器，计算环境12可包括提供与应用相关联的视听信号的诸如图形卡等视频适配器，和/或诸如声卡等音频适配器。显示器196可经由例如，S-视频电缆、同轴电缆、HDMI电缆、DVI电缆、VGA电缆等连接到计算环境12。
可使用深度相机系统20来跟踪对象8，使得用户的姿势和/或移动被捕捉并用于使化身或屏幕上人物活动起来，和/或被解释为对计算机环境12所执行的应用的输入控制。
对象8的某些移动可被解释为可以和除控制化身之外的动作相对应的控制。例如，在一实施例中，玩家可使用移动来结束、暂停或保存游戏、选择级别、查看高分、与朋友交流等。玩家可使用移动来从主用户界面选择游戏或其他应用，或以其他方式导航选项菜单。由此，对象8的全范围运动可以用任何合适的方式来获得、使用并分析以与应用进行交互。
个人可在与应用交互时抓握诸如支柱等物体。在此类实施例中，个人和物体的移动可用于控制应用。例如，可以跟踪并利用手持球拍的玩家的运动来控制模拟网球游戏的应用中的屏幕上球拍。在另一示例实施例中，可以跟踪并利用手持诸如塑料剑等玩具武器的玩家的运动以便在提供海盗船的应用的虚拟世界中控制对应的武器。
运动捕捉系统10还可用于将目标移动解释为游戏和出于娱乐和休闲目的的其他应用范围之外的操作系统和/或应用控制命令。例如，操作系统和/或应用的实际上任何可控方面可由对象8的移动来控制。
图2描绘了图1a的运动捕捉系统10的示例框图。深度相机系统20可被配置以捕捉具有深度信息的视频，深度信息包括可包括深度值的深度图像。在此描述了通过使用光栅扫描照明对象来确定深度值的技术。深度相机系统20可将深度信息组织为“Z层”，或可与从深度相机系统20沿其视线延伸的Z轴垂直的层。
深度相机系统20可包括图像相机组件22，如捕捉物理空间中的场景的深度图像的深度相机。图像相机组件22可包括深度检测光发送器24和深度检测光接收器25来捕获深度信息。例如，深度相机系统20可使用深度检测光发送器24将光发射到物理空间上并使用深度检测光接收器25来检测从物理空间内一个或多个对象的表面所反射的光。
在某些实施例中，深度检测光发送器24发送脉冲式红外光，从而可以测量出射光脉冲与相应的入射光脉冲之间的时间并将其用于确定从深度相机系统20到物理空间中的对象上的特定位置的物理距离。可将传出光波的相位与传入光波的相位进行比较来确定相移。注意的是，被发送的光可被调制以帮助确定相位差。然后可以使用被调制的光的相移来确定从深度相机系统20到目标或对象上的特定位置的物理距离。
在另一示例实施例中，深度相机系统20可使用结构化光来捕捉深度信息。在该分析中，图案化的光(例如，被显示为诸如网格图案或条纹图案等已知图案)可经由例如深度检测光发送器24被投影到场景上。在深度检测光接收器25处接收到的图案可被分析以确定深度信息。在一实施例中，图案被空间地分析。在一实施例中，图案针对外观变形被分析。即，相比于参考图案，接收到的图案基于对象离开相机的距离看起来可能是变形的。
可使用红-绿-蓝(RGB)相机28来捕捉图像。深度信息可与来自RGB相机28的图像合并以创建深度图像。
深度相机系统20还可包括话筒30，话筒30包括例如接收声波并将其转换成电信号的变换器或传感器。另外，话筒30可用于接收诸如声音等音频信号，所述音频信号由个人提供来控制由计算环境12运行的应用。音频信号可包括诸如说出的单词、口哨、叫声和其他话语等个人的口声，以及诸如拍手或跺脚等非口声。
深度相机系统20可包括与图像相机组件22进行通信的处理器32。处理器32可包括标准化处理器、专用处理器、微处理器等等，可执行包括例如用于确定深度图像的指令(将在以下详细描述)在内的指令。
深度相机系统20还可包括存储器组件34，存储器组件34可存储可由处理器32执行的指令、以及存储RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例实施例，存储器组件34可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘、或任何其他合适的有形计算机可读存储组件。存储器组件34可以是经由总线21与图像捕捉组件22和处理器32进行通信的单独组件。根据另一实施方式，存储器组件34可被集成到处理器32和/或图像捕捉组件22中。
深度相机系统20可以经由通信链路36与计算环境12进行通信。通信链路36可以是有线和/或无线连接。根据一实施例，计算环境12可经由通信链路36向深度相机系统20提供时钟信号，该信号指示何时从位于深度相机系统20的视野中的物理空间捕捉图像数据。
此外，深度相机系统20可通过通信链路36向计算环境12提供深度信息和由RGB相机28捕捉的图像。计算环境12然后可使用深度信息和所捕捉的图像来控制应用。例如，如图2所示，计算环境12可包括诸如姿势过滤器集合等姿势库190，每一姿势过滤器具有关于可被执行的姿势(在用户移动时)的信息。例如，可为各种手姿势提供姿势过滤器，如手的挥击或投掷。通过将检测到的运动与每一过滤器进行比较，可标识个人执行的指定姿势或移动。也可确定执行移动的范围。
计算环境还可包括用于执行存储在存储器194中的指令以向显示设备196提供音频-视频输出信号并实现如此处所描述的其他功能的处理器192。
图3描绘了可以在图1的运动捕捉系统中使用的计算环境的示例框图。计算环境能被用于基于深度信息确定到深度相机的视野内的对象的距离。上面描述的诸如计算环境12等计算环境可以包括诸如游戏控制台等多媒体控制台100。多媒体控制台100包括具有1级高速缓存102、2级高速缓存104和闪存ROM(只读存储器)106的中央处理单元(CPU)101。1级高速缓存102和2级高速缓存104临时存储数据并因此减少存储器访问周期数，由此改进处理速度和吞吐量。CPU 101可被提供成具有一个以上的核，以及由此的附加的1级和2级高速缓存102和104。诸如闪存ROM等存储器106可存储在多媒体控制台100通电时在引导过程的初始阶段期间加载的可执行代码。
图形处理单元(GPU)108和视频编码器/视频编解码器(编码器/解码器)114形成用于高速和高分辨率图形处理的视频处理流水线。数据经由总线从图形处理单元108输送到视频编码器/视频编解码器114。视频处理流水线将数据输出到A/V(音频/视频)端口140以传输到电视机或其它显示器。存储器控制器110连接到GPU 108以便于处理器访问各种类型的存储器112，诸如RAM(随机存取存储器)。
多媒体控制台100包括可在模块118上实现的I/O控制器120、系统管理控制器122、音频处理单元123、网络接口124、第一USB主控制器126、第二USB控制器128和前面板I/O子部件130。USB控制器126和128用作外围控制器142(1)-142(2)、无线适配器148、和外置存储器设备146(例如闪存、外置CD/DVD ROM驱动器、可移动介质等)的主机。网络接口(NW IF)124和/或无线适配器148提供对网络(例如，因特网、家庭网络等)的访问并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中任何一种。
提供系统存储器143来存储在引导过程期间加载的应用数据。提供媒体驱动器144且其可包括DVD/CD驱动器、硬盘驱动器、或其它可移动媒体驱动器。媒体驱动器144对于多媒体控制台100可以是内置的或外置的。应用数据可经由媒体驱动器144访问，以由多媒体控制台100执行、回放等。媒体驱动器144经由诸如串行ATA总线或其它高速连接等总线连接到I/O控制器120。
系统管理控制器122提供涉及确保多媒体控制台100的可用性的各种服务功能。音频处理单元123和音频编解码器132形成具有高保真度和立体声处理的对应的音频处理流水线。音频数据经由通信链路在音频处理单元123与音频编解码器132之间传输。音频处理流水线将数据输出到A/V端口140以供外置音频播放器或具有音频能力的设备再现。
前面板I/O子部件130支持暴露在多媒体控制台100的外表面上的电源按钮150和弹出按钮152以及任何LED(发光二极管)或其它指示器的功能。系统供电模块136向多媒体控制台100的组件供电。风扇138冷却多媒体控制台100内的电路。
CPU 101、GPU 108、存储器控制器110、和多媒体控制台100内的各个其它组件经由一条或多条总线互连，包括串行和并行总线、存储器总线、外围总线、和使用各种总线架构中任一种的处理器或局部总线。
当多媒体控制台100通电时，应用数据可从系统存储器143加载到存储器112和/或高速缓存102、104中并在CPU 101上执行。应用可呈现在导航到多媒体控制台100上可用的不同媒体类型时提供一致的用户体验的图形用户界面。在操作中，媒体驱动器144中包含的应用和/或其它媒体可从媒体驱动器144启动或播放，以向多媒体控制台100提供附加功能。
多媒体控制台100可通过将该系统连接到电视机或其它显示器而作为独立系统来操作。在该独立模式中，多媒体控制台100允许一个或多个用户与该系统交互、看电影、或听音乐。然而，随着通过网络接口124或无线适配器148可用的宽带连接的集成，多媒体控制台100还可作为较大网络社区中的参与者来操作。
当多媒体控制台100通电时，保留指定量的硬件资源以供多媒体控制台操作系统作系统使用。这些资源可以包括存储器(例如，16MB)、CPU和GPU周期(例如，5％)、网络带宽(例如，8kbs)等的保留。因为这些资源是在系统引导时保留的，所以所保留的资源在应用看来是不存在的。
具体地，存储器保留可以是足够大以包含启动内核、并发系统应用和驱动程序。CPU保留可为恒定，使得若所保留的CPU使用不被系统应用使用，则空闲线程将消耗任何未使用的周期。
对于GPU保留，通过使用GPU中断来显示由系统应用生成的轻量消息(例如，弹出窗口)，以调度代码来将弹出窗口呈现为覆盖图。覆盖图所需的存储器量取决于覆盖区域大小，并且覆盖图可与屏幕分辨率成比例缩放。在并发系统应用使用完整用户界面的情况下，优选使用独立于应用分辨率的分辨率。定标器可用于设置该分辨率，从而无需改变频率或引起TV重新同步。
在多媒体控制台100引导且系统资源被保留之后，就执行并发系统应用来提供系统功能。系统功能被封装在一组在上述所保留的系统资源中执行的系统应用中。操作系统内核标识是系统应用线程而非游戏应用线程的线程。系统应用可被调度为在预定时间并以预定时间间隔在CPU 101上运行，以为应用提供一致的系统资源视图。进行调度是为了把由在控制台上运行的游戏应用所引起的高速缓存分裂最小化。
当并发系统应用需要音频时，则由于时间敏感性而异步调度音频处理给游戏应用。多媒体控制台应用管理器(如下所述)在系统应用活动时控制游戏应用的音频水平(例如，静音、衰减)。
输入设备(例如，控制器142(1)和142(2))由游戏应用和系统应用共享。输入设备不是所保留的资源，但却在系统应用和游戏应用之间切换以使其各自具有设备的焦点。应用管理器可控制输入流的切换，而无需知晓游戏应用的知识，并且驱动程序维持有关焦点切换的状态信息。控制台100可从包括相机28的图2的深度相机系统20接收附加输入。
图4描绘了可以在图1的运动捕捉系统中使用的计算环境的另一示例框图。计算环境能被用于基于深度信息确定到深度相机的视野内的对象的距离。计算环境220包括计算机241，计算机241通常包括各种有形计算机可读存储介质。这可以是能由计算机241访问的任何可用介质，而且包含易失性和非易失性介质、可移动和不可移动介质。系统存储器222包括易失性和/或非易失性存储器形式的计算机存储介质，如只读存储器(ROM)223和随机存取存储器(RAM)260。基本输入/输出系统224(BIOS)包括如在启动时帮助在计算机241内的元件之间传输信息的基本例程，它通常储存在ROM 223中。RAM 260通常包含处理单元259可以立即访问和/或目前正在操作的数据和/或程序模块。图形接口231与GPU 229进行通信。作为示例而非局限，图4描绘了操作系统225、应用程序226、其它程序模块227和程序数据228。
计算机241还可包括其他可移动/不可移动、易失性/非易失性计算机存储介质，如从不可移动、非易失性磁介质读取或对其写入的硬盘驱动器238，从可移动、非易失性磁盘254读取或对其写入的磁盘驱动器239，以及从诸如CDROM或其他光介质等可移动、非易失性光盘253读取或对其写入的光盘驱动器240。可以在示例性操作环境中使用的其他可移动/不可移动、易失性/非易失性有形计算机可读存储介质包括但不限于，磁带盒、闪存卡、数字多功能盘、数字录像带、固态RAM、固态ROM等等。硬盘驱动238通常由诸如接口234等不可移动存储器接口连接至系统总线221，并且磁盘驱动239和光盘驱动240通常由诸如接口235等可移动存储器接口连接至系统总线221。
以上讨论并在图4中描绘的驱动器及其相关联的计算机存储介质为计算机241提供了对计算机可读指令、数据结构、程序模块和其他数据的存储。例如，硬盘驱动器238被描绘为存储操作系统258、应用程序257、其它程序模块256和程序数据255。注意，这些组件可以与操作系统225、应用程序226、其他程序模块227和程序数据228相同，也可以与它们不同。操作系统258、应用程序257、其他程序模块256和程序数据255在这里被标注了不同的标号是为了说明至少它们是不同的副本。用户可以通过输入设备，诸如键盘251和定点设备252(通常被称为鼠标、跟踪球或触摸垫)，向计算机241输入命令和信息。其他输入设备(未示出)可以包括麦克风、游戏杆、游戏手柄、圆盘式卫星天线、扫描仪等等。这些和其他输入设备通常由耦合至系统总线的用户输入接口236连接至处理单元259，但也可以由其他接口和总线结构，诸如并行端口、游戏端口或通用串行总线(USB)，来连接。包括相机28的图2的深度相机系统20可为控制台100定义附加输入设备。监视器242或其他类型的显示器也经由接口，诸如视频接口232连接至系统总线221。除监视器以外，计算机也可以包括其它外围输出设备，诸如扬声器244和打印机243，它们可以通过输出外围接口233连接。
计算机241可使用至一个或多个远程计算机，诸如远程计算机246的逻辑连接在网络化环境中操作。远程计算机246可以是个人计算机、服务器、路由器、网络PC、对等设备或其他常见的网络节点，且通常包括许多或所有以上相对于计算机241描述的元件，但是在图4中仅示出了存储器存储设备247。逻辑连接包括局域网(LAN)245和广域网(WAN)249，但也可以包括其它网络。这样的联网环境在办公室、企业范围计算机网络、内联网和因特网中是常见的。
当在LAN联网环境中使用时，计算机241通过网络接口或适配器237连接至LAN 245。当在WAN联网环境中使用时，计算机241通常包括调制解调器250或用于通过诸如因特网等WAN 249建立通信的其他装置。调制解调器250可以是内置或外置的，它可以经由用户输入接口236或其他适当的机制连接至系统总线221。在网络化环境中，相对于计算机241所描述的程序模块或其部分可被储存在远程存储器存储设备中。作为示例而非限制，图4示出了远程应用程序248驻留在存储器设备247上。可以理解，所示的网络连接是示例性的，且可以使用在计算机之间建立通信链路的其他手段。
图5A示出了深度相机系统20的一实施例的框图。在一实施例中，图5A的深度相机系统20基于光栅扫描的光的飞行时间确定距离。深度相机系统20可在图1的示例运动捕捉系统10中使用；然而，其也可以在其他系统中使用。深度相机系统20具有光源524、束分裂器506、旋转扫描元件508、检测器504a、处理逻辑532以及存储534。光源524、束分裂器506以及扫描元件508一起形成深度检测光发送器24。检测器504a是图2的设备的深度检测光接收器25的一实施例。
在一实施例中，光源524发射准直光束(collimated light beam)。除了光束，光源524可发射红外线激光。在一实施例中，光源524发射光脉冲的序列。该序列可以协助确定飞行时间的方式被编码或调制。例如，可基于在所发送的被调制的光和接收到的光之间的相位差来确定飞行时间。在一实施例中，光源524是点源(point source)。通过束分裂器506将光发送到扫描元件508上。注意的是，为了帮助减少组件的数量，束分裂器506是可选的组件，
在一实施例中，扫描元件508具有反射光的一个或多个表面509。在一实施例中，扫描元件508在处理逻辑532的控制下旋转。在一实施例中，扫描元件508旋转使得来自光源524的光以x-方向和y-方向在视野上扫描。注意的是，扫描元件508可包括多于一个的旋转元件。例如，一个元件可如图5A中描绘的旋转以x-方向扫描，而第二元件可旋转进出图5A的页面。对于本领域的普通技术人员而言，用于2维光栅扫描的技术是公知的。视野的x-组件由线2、4描绘。注意的是，也存在视野的y-组件(没有在图5A中描绘)。
在扫描元件508上描绘了圆形箭头以显示示例旋转方向。相反，方向可以是顺时针方向的。实线箭头描绘了和扫描元件508的所描绘的位置相对应的光路径。虚线箭头对应于这样的光路径，所述光路径和当扫描元件508旋转到其他角度时的位置相对应。因此，虚线箭头及时对应不同的点。注意的是，虽然扫描元件508被描绘为具有多个表面的旋转元件，但是可使用其他类型的扫描元件。
在一实施例中，扫描元件508能够以x-方向扫描多条线，每条线具有不同的y-位置。在以x-方向扫描一条线后，扫描元件508以按新的y-位置扫描第二条线的方式被控制。例如，扫描元件508可按转进并转出图5B的页面的方向被旋转。注意的是，线不是必须连续的。能使用多个不同的扫描路径。以下描述进一步的详细内容。
从视野内的一个或多个对象8反射离开的光由检测器504a捕捉。在该示例中，光从对象8反射离开并返回扫描元件508(如双箭头描绘的)。光接着返回到束分裂器506并接着到检测器504a。如先前提到的，束分裂器506不是必需的。检测器504a可以是例如，CMOS检测器、光电二极管检测器或电荷耦合器件(CCD)。在一实施例中，检测器504a收集的数据被分析为单个数据点。随着光栅扫描继续照明对象8的新的部分，检测器504a可收集额外数据。
在图5A描绘的实施例中，照明的轴与图像轴对齐。这由扫描元件508和对象之间的双头箭头描绘。照明的轴由靠近对象8的箭头指示。图像轴由靠近扫描元件508的箭头指示。在其他实施例中，照明的轴不与图像轴对齐。
处理逻辑532能够基于由检测器504a捕捉的图像确定到对象8的距离。在一实施例中，基于从源524发送光到在检测器504a处接收所反射的图像之间的飞行时间来确定到对象8的距离。注意的是，由于来自源524的光是跨视野被扫描的，检测器504a将收集和视野内不同的x-和y-位置相对应的多个单独的数据点。
在一实施例中，处理逻辑532是执行存储在诸如存储534等存储器内的指令的处理器。然而，处理逻辑532能全部或部分使用硬件来实现。在一实施例中，处理逻辑532包括应用专用集成电路(ASIC)。注意的是，存储534可以是诸如RAM、ROM、寄存器等等的可寻址存储器。然而，存储534也可以包括不可寻址存储。例如，存储534可包括无需由处理器可寻址的锁存。
图5B描绘了使用光图案来确定深度信息的深度相机20的一实施例的框图。该实施例与图5A的不同，其中该实施例具有线性阵列检测器504b而不是检测器504a。由此，线性阵列检测器504b是图2的设备的深度检测光接收器25的一实施例。通过使用图5A的实施例，使用光栅扫描来照明视野内的对象8。然而，在这种情况下，图案被光栅扫描到视野内。可空间地分析图案来确定深度信息。例如，可基于所反射的图案内的变形(deformation)或扭曲(warping)来确定深度信息。注意的是，基于线性阵列检测器504b的有利位置这可以是外观变形。
深度相机20可在图1的示例运动捕捉系统10中使用；然而，其也可以在其他系统中使用。深度相机20具有光源524、束分裂器506、旋转扫描元件508、线性阵列检测器504b、处理逻辑532以及存储。光源524、束分裂器506、以及扫描元件508一起形成深度检测光发送器24。线性阵列检测器504b是深度检测光接收器25的一实施例。
在一实施例中，光源524发射准直光束(collimated light beam)。除了光束，光源524可发射红外线激光。在一实施例中，光源524发射光脉冲的序列。在一实施例中，光源524是点源(point source)。通过束分裂器506将光发送到扫描元件508上。
扫描元件508可以和图5A中的扫描元件类似，将不详细描述。在这个实施例中，扫描元件508被用以将图案投影到视野内。因此，图案可被投影到可能在视野内的任意对象8上。在一实施例中，图案是诸如网格或条纹图案等的已知图案。注意的是，因为图案是跨视野被光栅扫描的，所以在任一时刻只有图案的一个点被投影。由于所有能量被集中在一个小点上，因此这允许非常高的S/N。换言之，在任一时刻只有图案的一部分被投影。
从视野内的一个或多个对象8反射离开的光由线性阵列检测器504b捕捉。在该示例中，光从对象8反射离开并返回扫描元件508(如双箭头描绘的)。光接着返回到束分裂器506并接着到检测器504b。注意的是，线性阵列检测器504b可收集多个数据点。例如，线性阵列检测器504b可收集扫描线的多个点。在扫描元件508被移动以在不同的y-位置扫描新线后，线性阵列检测器504b可被用以收集一组新的数据点。线性阵列检测器504b可以是例如，CMOS检测器、光电二极管检测器或CCD。在一实施例中，线性阵列检测器504b能够检测线性区域上的光。
因此，线性阵列检测器504b收集由投影到对象上的图像引起的所反射的图像。对象8离开相机的距离可对接收到的图案有影响。例如，一人可考虑将图案投影到离开相机已知距离处的参考对象8上。如果相同的图案被投影到离开相机不同距离处的对象8上，图案可看起来是“扭曲的”或“变形的”。在一实施例中，利用视差影响使得图案从线性阵列检测器504b的有利位置看来是变形的。可分析变形的本质和量来确定到对象的距离。在一实施例中，可做出对象8的z-方向映射。即，对每个x-和y-位置扫描点，可确定z-位置。由此，处理逻辑532能够基于由线性阵列检测器504b捕捉的图像确定到对象8的距离。
在图5B描绘的实施例中，照明的轴与图像轴对齐。这由扫描元件508和对象之间的双头箭头描绘。照明的轴由靠近对象的箭头指示。图像轴由靠近扫描元件508的箭头指示。在其他使用线性阵列检测器504b的实施例中，照明的轴不与图像轴对齐。
图6是确定到深度相机的视野内一个或多个对象8的距离的过程600的一实施例的流程图。过程600可在图5A或5B的深度相机中使用。然而，过程600不限于那些实施例。
在步骤602，从深度相机20内的光源524发送光。例如，图5A-5B的任一深度相机20内的光源524发送光。光可以是准直的。在一实施例中，光是红外线。在一实施例中，光是激光束。在一实施例中，光源524发射光的脉冲。在一实施例中，脉冲被结构化使得已知的图案能在相机的视野上被光栅扫描。
在步骤604，在相机的视野内的对象8上，光被光栅扫描。在一实施例中，来自光源524的光被反射离开扫描元件508，使得已知的图案在相机的视野内被光栅扫描。图案能够是任意已知图案。在某些实施例中，图案是不规则的使得图案的不同部分具有唯一的子图案。换言之，图案的不同部分是彼此唯一的。注意的是，通过光栅扫描图案，整个图案不被同时发送。
在步骤606，在光检测器504处接收光的所反射的图像。光检测器504可以是点检测器504a或线性阵列检测器504b。注意的是，在一段时间内接收到光。例如，随着扫描元件508光栅扫描视野上的光，检测器504随着时间检测光的连续的部分。
在步骤608，基于所反射的图像确定到对象8的一个或多个距离。在一实施例中，基于飞行时间信息确定该一个或多个距离。在一实施例中，基于接收到的一个图像或多个图像的空间分析来确定该一个或多个距离。在一实施例中，基于在接收到的图案内的该图案的外观变形确定该一个或多个距离。
图7是将已知图案扫描到深度相机的视野内的过程700的一实施例的流程图。已知图案实质上能够是任意图案，使得接收到的图像能针对图案内的外观变形被分析以确定距离。过程700是步骤602-604的一实施例。注意的是，在操作中，过程700可被反复重复以再一次扫描图案(或扫描不同的图案)。扫描已知的图案可在其中基于图案的所反射的图像的外观变形来确定深度的实施例中使用。然而，注意的是，基于飞行时间确定深度的实施例也扫描已知图案。
在步骤702，确定用于扫描图案的线的数据。该数据可包括光源524的脉冲序列以及如何控制扫描元件508来扫描线。在一实施例中，存储534存储该数据使得通过访问合适的存储器地址来执行步骤702。
在步骤704，从光源524发送用于图案的一条线的光，与此同时，控制扫描元件508来将该线扫描进视野内。注意的是，扫描线不需要照明一连续的路径。然而，扫描线可具有通过未被照明的部分来分隔的被照明的部分。光源524可以是脉冲的以生成这样的扫描线。然而，扫描线可以是连续的路径。在一实施例中，扫描线在视野内大致水平。注意的是，扫描线可以稍微有些斜使得y-位置跨扫描线稍微改变。然而，注意的是，扫描线可以以任意方向。例如，扫描线可以是对角的使得其从视野内的左上到右下。如果希望的，扫描线可以较多或较少地垂直。并且，扫描线不需要是直线。由此，在某些实施例中，扫描线是弯曲的。
步骤706是关于是否要扫描新线的确定。在一实施例中，扫描线是预定的长度。例如，扫描线可对应于扫描元件508的预定的旋转角度。注意的是，这可导致预定的视野。并且，扫描线可对应于预定数量个光脉冲。然而，旋转角度或光脉冲的数量都不需要被预定。在一实施例中，被扫描的线的长度是动态可适的。因此，通过改变正在其上执行光栅扫描的范围，视野是动态可适的。例如，可存在能被扩展或缩小的默认视野。作为一特定的示例，如果确定感兴趣的对象8已经被扫描过了，那么视野能被动态地缩小。作为另一特定的示例，如果确定感兴趣的对象8还没有被完整地扫描过，那么视野能被动态地扩展。例如，如果感兴趣的对象8是用户的手，视野能被更改以更加有效地捕捉关于该手的深度信息。
一旦确定要扫描新线，就确定用于下一线的数据(步骤702)。再一次，可访问存储534来确定下一组数据。通过扫描更多的线来继续过程700，直到在步骤708中确定所有的线已经被扫描。扫描线的数量可以是预定的或动态可调节的。注意的是，动态调节线的数量允许视野被动态地调节。确定是否要扫描更多的线的因素可包括感兴趣的对象8是否已经被完整地扫描。
注意的是，过程700的一个变形是扫描线而不扫描任何特定的图案。例如，基于飞行时间确定深度的实施例不需要扫描任何特定的图案。
图8A是确定到相机的视野内的对象8的一个或多个距离的过程800的一实施例的流程图。过程800是过程600的步骤608的一实施例。在该实施例中，基于飞行时间信息做出确定。在某些实施例中，图5A的深度相机可使用过程800。然而，不排除在此描述的其他深度相机使用过程800。在步骤802，确定从光源524发送光直到由检测器504接收到光之间的飞行时间。可为光栅扫描的一个部分执行该计算。例如，可为光的一个脉冲做出计算。
在一实施例中，比较是被发送的光和接收到的图像之间的相位差的比较。例如，光源可以是以某个频率调制的激光束。在被调制的发送的激光束和接收到的图像之间的相位差能被用以确定到对象8的距离。具体地，可基于相位差的量以及调制频率来确定距离。
在一实施例中，比较是在发送光和接收图像之间的时间差的直接测量。例如，光源524发送出光的短脉冲。当检测器504接收光脉冲时，电路计算发送和接收之间非常精确的时间差。能基于时间差和光频率来确定距离。
在步骤804，与视野的哪个部分被研究的指示符相关联地存储距离测量。如步骤806中确定的，通过研究光栅扫描的其他部分，过程800继续处理更多的数据直到扫描的所有部分被分析。在可选的步骤808，基于在步骤804内存储的数据生成对象8的3D映射。
图8B是确定到相机的视野内的对象8的一个或多个距离的过程850的一实施例的流程图。在某些实施例中，图5B的深度相机可使用过程800。然而，不排除在此描述的其他深度相机20使用过程800。过程850是过程600的步骤608的一实施例。在该实施例中，基于关于接收到的图案的空间信息做出确定。例如，可使用图案看上去变形的量来确定距离。
在步骤852，分析在线性阵列检测器504b处接收到的光。该数据可对应于所有扫描线或扫描线的任一子集。注意的是，对象8的有限大小表示只可返回图案的一部分。然而，能以一种方式构造图案使得只分析图案的一小部分就能确定到对象8的距离。在一实施例中，视差影响被用以确定深度信息。例如，检测器504可以偏离光发送器的轴使得视差影响导致从检测器504的有利位置看起来的图案的外观变形。然而，基于图案的变形确定深度信息并不限于视差影响。
在一实施例中，通过将图案的接收到的图像与一个或多个参考图像进行比较来确定深度信息。每个参考图像可对应于离开相机的不同距离。生成参考图像的进一步详细内容结合图9描述。如提到的，接收到的图像可看起来以对应于离开相机的距离的量变形。每个参考图像可包括针对一给定距离的变形量和变形性质。通过比较接收到的图像与参考图像，可确定深度。注意的是，不需要将整个接收到的图像与给定的参考图像进行比较。例如，接收到的图像能被分成不同的片断，各个片断与参考图像相应的部分进行比较。
在步骤854，存储到对象8的一个或多个距离。注意的是，基于对于图案的不同部分的变形量，可确定不同的深度信息。因此，步骤854可存储对象8的不同部分的不同深度信息。在可选的步骤808，基于在步骤854内存储的数据生成对象8的3D映射。
图9是生成参考图像的过程900的一实施例的流程图。生成参考图像的深度照相机20可具有线性阵列检测器504b以执行过程900；然而，这不是必需的。参考图像可在过程850的步骤852内使用。在步骤902，将图案光栅扫描到离开深度相机已知距离处的对象8上。在一实施例中，图案是结构化的图案，诸如网格或其他已知图案。
在步骤904，在线性阵列检测器504b处检测从参考对象8反射的图像。注意的是，检测参考图像可包括检测多条不同的扫描线。例如，如果检测诸如网格的已知图案，那么可收集对应于多条不同的扫描线的数据。在步骤906，存储参考图像。过程900可为离开深度相机不同的已知距离处的参考对象8重复。注意的是，可以不需要根据经验来确定参考图像。数学地确定在离开相机的各个距离处的假想对象8的参考图像的模型是可能的。例如，当与诸如网格等的已知图案一起工作时，数学地确定参考图像是可能的。
在此所述技术的上述详细描述是为了说明和描述而提供的。并非旨在穷举本技术或将其限于所公开的精确形式。鉴于上述教导，许多修改和变型都是可能的。选择上述实施例来最好地解释本技术的原理及其实践应用，从而使本领域其他人能够在各种实施例中并用各种适于所构想的特定用途的修改一起最好地利用本技术。本技术的范围旨在由所附权利要求书来定义。

Claims (10)

1.一种机器实现的方法，包括：
从相机内的光源发送光（602）；
在所述相机的视野内的对象上光栅扫描所述光（604）,包括通过改变正在其上执行光栅扫描的范围来动态地修改所述视野以实现跨视野地光栅扫描图案，其中所述跨视野地光栅扫描所述图案允许所述光的所有能量被集中在一个小点上以提供高信噪比S/N；
在检测器处接收来自所述对象的所述光的一个或多个所反射的图像（606）,接收所述图案的至少一部分的图像；以及
基于所述一个或多个所反射的图像确定到所述对象的一个或多个距离（608）,包括分析在所述图案的所述至少一部分内的外观变形。
2.如权利要求1所述的机器实现的方法，其中基于所述一个或多个所反射的图像确定到所述对象的一个或多个距离包括：确定从所述光源发送所述光到在所述检测器处接收到所述一个或多个所反射的图像之间的一个或多个飞行时间。
3.如权利要求2所述的机器实现的方法，其中从光源发送光包括发送一脉冲序列，接收所述光的一个或多个所反射的图像包括接收针对各个脉冲的单独的所反射的图像，所述一个或多个飞行时间包括确定发送和接收各个脉冲之间的飞行时间。
4.如权利要求1所述的机器实现的方法，其中分析在接收到的图案的所述至少一部分内的外观变形包括将所述图案的所述至少一部分与一个或多个参考图像进行比较，一个或多个参考图像中的各个参考图像是通过在离开所述相机已知距离处的参考对象上光栅扫描所述图案在检测器处接收到的图像。
5.如权利要求1所述的机器实现的方法，其特征在于，还包括：
基于一个或多个确定的到所述对象的距离生成所述对象的深度映射。
6.一种深度相机，包括：
发送光的光源（524）；
与所述光源光学通信的扫描元件（508），所述扫描元件通过以x-方向和y-方向扫描来在视野上扫描所述光，所述扫描所述光包括扫描来自所述光源的所述光的图案，其中所述扫描元件通过改变x-方向上的扫描或y-方向上的扫描中的一个或多个来修改所述视野，以便将所述光的所有能量集中在一个小点上来提供高信噪比S/N；
接收来自所述视野内对象的被扫描的光的所反射的图像的光检测器（504）；以及
基于所反射的图像确定到所述视野内所述对象的一个距离或多个距离的处理逻辑（532），所述处理逻辑通过确定所述图案的接收到的图像与参考图像之间的空间差来确定到所述视野内的对象的一个或多个距离；
其中，所述参考图像是通过在离开所述相机已知距离处的参考对象上光栅扫描所述图案来产生的图像。
7.如权利要求6所述的深度相机，其中所述处理逻辑通过确定从发送所述光到在所述光检测器处接收到所反射的图像之间的飞行时间来确定到所述视野内的一个或多个对象的一个距离或多个距离。
8.如权利要求7所述的深度相机，其中所述光源发送一脉冲序列，所述光检测器接收针对各个脉冲的单独的所反射的图像，所述处理逻辑确定在发送和接收各个脉冲之间的飞行时间。
9.如权利要求6所述的深度相机，其中所述光检测器是线性阵列检测器。
10.如权利要求6所述的深度相机，其中所述处理逻辑确定所述视野内对象的深度映射。
CN201110072053.0A 2010-03-17 2011-03-16 深度检测的光栅扫描 Active CN102222329B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/726,250 2010-03-17
US12/726,250 US8279418B2 (en) 2010-03-17 2010-03-17 Raster scanning for depth detection

Publications (2)

Publication Number Publication Date
CN102222329A CN102222329A (zh) 2011-10-19
CN102222329B true CN102222329B (zh) 2014-06-18

Family

ID=44646999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110072053.0A Active CN102222329B (zh) 2010-03-17 2011-03-16 深度检测的光栅扫描

Country Status (2)

Country Link
US (2) US8279418B2 (zh)
CN (1) CN102222329B (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8279418B2 (en) 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
US10739460B2 (en) 2010-08-11 2020-08-11 Apple Inc. Time-of-flight detector with single-axis scan
CN103053167B (zh) 2010-08-11 2016-01-20 苹果公司 扫描投影机及用于3d映射的图像捕获模块
CN102564302A (zh) * 2010-12-10 2012-07-11 通用电气公司 测量系统和方法
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
DE102012207931A1 (de) * 2012-01-07 2013-07-11 Johnson Controls Gmbh Kameraanordnung zur Distanzmessung
NO336441B1 (no) 2012-01-24 2015-08-17 Tomra Sorting As Anordning, system og fremgangsmåte for optisk detektering av materie
US9329080B2 (en) 2012-02-15 2016-05-03 Aplle Inc. Modular optics for scanning engine having beam combining optics with a prism intercepted by both beam axis and collection axis
WO2013121366A1 (en) * 2012-02-15 2013-08-22 Primesense Ltd. Scanning depth engine
US9335220B2 (en) * 2012-03-22 2016-05-10 Apple Inc. Calibration of time-of-flight measurement using stray reflections
CN104221059B (zh) 2012-03-22 2017-05-10 苹果公司 基于衍射感测镜子位置
US9715107B2 (en) 2012-03-22 2017-07-25 Apple Inc. Coupling schemes for gimbaled scanning mirror arrays
WO2013140307A1 (en) 2012-03-22 2013-09-26 Primesense Ltd. Gimbaled scanning mirror array
KR101911133B1 (ko) * 2012-06-21 2018-10-23 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 깊이 카메라를 이용한 아바타 구성
KR101938648B1 (ko) * 2012-10-23 2019-01-15 삼성전자주식회사 이미지 센서를 포함하는 모바일 기기, 이미지 센서의 구동 방법 및 모바일 기기의 구동 방법
TWI454968B (zh) 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
US8730300B1 (en) * 2013-01-15 2014-05-20 Byron J. Willner Three dimensional television encoding and broadcasting method
WO2014141115A2 (en) * 2013-03-15 2014-09-18 Primesense Ltd. Depth scanning with multiple emitters
WO2014203138A1 (en) * 2013-06-17 2014-12-24 Primesense Ltd. Calibration of time-of-flight measurement using stray reflections
KR101386248B1 (ko) * 2013-09-09 2014-04-17 재단법인 실감교류인체감응솔루션연구단 공간 제스처 인식 장치 및 방법
US20150070489A1 (en) * 2013-09-11 2015-03-12 Microsoft Corporation Optical modules for use with depth cameras
CN106030239B (zh) * 2014-01-29 2020-10-09 Lg伊诺特有限公司 用于提取深度信息的装置及方法
US9874638B2 (en) * 2014-03-06 2018-01-23 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
WO2016029283A1 (pt) * 2014-08-27 2016-03-03 Muniz Samuel Sistema de criação de imagens, videos e sons em ambiente virtual onidimensional a partir de cenas reais com conjunto de cameras e sensores de profundidade, reprodução de imagens, vídeos e sons em ambientes virtuais tridimencionais com head mounted display e sensor de movimento
US9784838B1 (en) 2014-11-26 2017-10-10 Apple Inc. Compact scanner with gimbaled optics
US9835853B1 (en) 2014-11-26 2017-12-05 Apple Inc. MEMS scanner with mirrors of different sizes
CN105866949B (zh) * 2015-01-21 2018-08-17 成都理想境界科技有限公司 能自动调节景深的双目ar头戴设备及景深调节方法
US9798135B2 (en) 2015-02-16 2017-10-24 Apple Inc. Hybrid MEMS scanning module
US9525863B2 (en) 2015-04-29 2016-12-20 Apple Inc. Time-of-flight depth mapping with flexible scan pattern
US10012831B2 (en) 2015-08-03 2018-07-03 Apple Inc. Optical monitoring of scan parameters
US9897801B2 (en) 2015-09-30 2018-02-20 Apple Inc. Multi-hinge mirror assembly
US9703096B2 (en) 2015-09-30 2017-07-11 Apple Inc. Asymmetric MEMS mirror assembly
US10324171B2 (en) 2015-12-20 2019-06-18 Apple Inc. Light detection and ranging sensor
US10282614B2 (en) * 2016-02-18 2019-05-07 Microsoft Technology Licensing, Llc Real-time detection of object scanability
US20170323429A1 (en) * 2016-05-09 2017-11-09 John Peter Godbaz Multiple patterns in time-of-flight camera apparatus
US10298913B2 (en) 2016-08-18 2019-05-21 Apple Inc. Standalone depth camera
US10488652B2 (en) 2016-09-21 2019-11-26 Apple Inc. Prism-based scanner
US10810753B2 (en) * 2017-02-27 2020-10-20 Microsoft Technology Licensing, Llc Single-frequency time-of-flight depth computation using stereoscopic disambiguation
EP3388864A1 (en) * 2017-04-10 2018-10-17 Bea S.A. Method of human body recognition and human body recognition sensor
US10830879B2 (en) 2017-06-29 2020-11-10 Apple Inc. Time-of-flight depth mapping with parallax compensation
US10705191B2 (en) * 2017-07-31 2020-07-07 Stmicroelectronics, Inc. Three-dimensional time-of-flight sensors for a transportation system
US10796711B2 (en) 2017-09-29 2020-10-06 Honda Motor Co., Ltd. System and method for dynamic optical microphone
CN111465870B (zh) 2017-12-18 2023-08-29 苹果公司 使用可寻址发射器阵列的飞行时间感测
CN110324556B (zh) * 2018-03-28 2023-01-31 北京富纳特创新科技有限公司 视频通信装置及方法
US11474593B2 (en) * 2018-05-07 2022-10-18 Finch Technologies Ltd. Tracking user movements to control a skeleton model in a computer system
US10416755B1 (en) 2018-06-01 2019-09-17 Finch Technologies Ltd. Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
WO2020009715A2 (en) * 2018-05-07 2020-01-09 Finch Technologies Ltd. Tracking user movements to control a skeleton model in a computer system
CN108780502A (zh) * 2018-05-09 2018-11-09 深圳阜时科技有限公司 用于目标的三维映射装置、身份识别装置与电子设备
CN112740666A (zh) 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法
US11009941B2 (en) 2018-07-25 2021-05-18 Finch Technologies Ltd. Calibration of measurement units in alignment with a skeleton model to control a computer system
US10747314B1 (en) * 2019-04-02 2020-08-18 GM Global Technology Operations LLC Tracking system with infrared camera
WO2020210168A1 (en) 2019-04-08 2020-10-15 Activ Surgical, Inc. Systems and methods for medical imaging
US11673533B2 (en) * 2019-06-19 2023-06-13 Ford Global Technologies, Llc Vehicle sensor enhancements
US11604347B2 (en) 2019-08-18 2023-03-14 Apple Inc. Force-balanced micromirror with electromagnetic actuation
US11681019B2 (en) 2019-09-18 2023-06-20 Apple Inc. Optical module with stray light baffle
US11175729B2 (en) 2019-09-19 2021-11-16 Finch Technologies Ltd. Orientation determination based on both images and inertial measurement units
US10976863B1 (en) 2019-09-19 2021-04-13 Finch Technologies Ltd. Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user
US11506762B1 (en) 2019-09-24 2022-11-22 Apple Inc. Optical module comprising an optical waveguide with reference light path
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
CN113156458A (zh) * 2020-01-03 2021-07-23 华为技术有限公司 一种tof深度传感模组和图像生成方法
CN113156459B (zh) * 2020-01-03 2023-10-13 华为技术有限公司 一种tof深度传感模组和图像生成方法
TWI773133B (zh) * 2020-07-10 2022-08-01 大陸商廣州印芯半導體技術有限公司 測距裝置以及測距方法
US11681028B2 (en) * 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1184304A (en) * 1967-06-15 1970-03-11 Hal Oscar Anger Tomographic Radioactivity Scanner with Simultaneous Readout of Several Planes
CN1685741A (zh) * 2002-09-27 2005-10-19 三洋电机株式会社 多个图像发送方法及带同时摄影多个图像功能的携带机器
CN101022562A (zh) * 2006-02-14 2007-08-22 高田株式会社 对象物检测系统、工作装置控制系统、车辆
CN101088137A (zh) * 2004-12-21 2007-12-12 埃美格科学仪器公司 激光原子探针
CN101226276A (zh) * 2008-01-22 2008-07-23 长春理工大学 激光通信跟踪系统中的精跟踪子系统
CN101635860A (zh) * 2008-07-25 2010-01-27 三星电子株式会社 成像方法和设备

Family Cites Families (186)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) * 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) * 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) * 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) * 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) * 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) * 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) * 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) * 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) * 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) * 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) * 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) * 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) * 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) * 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) * 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) * 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) * 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) * 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) * 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) * 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) * 1990-02-13 1991-10-29
US5101444A (en) * 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) * 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) * 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) * 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) * 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) * 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
DE69229474T2 (de) 1991-12-03 2000-03-02 French Sportech Corp Interaktives videosystem zur beobachtung und zum training der leistungsfähigkeit einer person
US5875108A (en) * 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) * 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) * 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) * 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) * 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) * 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5367378A (en) * 1993-06-01 1994-11-22 Industrial Technology Institute Highlighted panel inspection
US5405152A (en) * 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) * 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) * 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) * 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) * 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) * 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) * 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) * 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5959286A (en) * 1994-05-18 1999-09-28 Symbol Technologies, Inc. Method and apparatus for raster scanning of images
US5524637A (en) * 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) * 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) * 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) * 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) * 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1996041304A1 (en) * 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5682196A (en) * 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) * 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6308565B1 (en) * 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) * 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6430997B1 (en) * 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) * 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) * 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
EP0958002A4 (en) * 1996-05-08 2001-03-28 Real Vision Corp REAL-TIME SIMULATION USING POSITION DETECTION
US6173066B1 (en) * 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) * 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) * 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
JP3064928B2 (ja) * 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) * 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US5838428A (en) * 1997-02-28 1998-11-17 United States Of America As Represented By The Secretary Of The Navy System and method for high resolution range imaging with split light source and pattern mask
US6009210A (en) * 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) * 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) * 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) * 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) * 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) * 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) * 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6101289A (en) * 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
AU1099899A (en) * 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6130677A (en) * 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6384819B1 (en) * 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6181343B1 (en) * 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
EP1059970A2 (en) 1998-03-03 2000-12-20 Arena, Inc, System and method for tracking and assessing movement skills in multidimensional space
US6159100A (en) * 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) * 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) * 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) * 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US7202898B1 (en) 1998-12-16 2007-04-10 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) * 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) * 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
CN1159566C (zh) * 1999-05-14 2004-07-28 北京三维世界科技有限公司 三维成像系统
US6503195B1 (en) * 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) * 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US6441908B1 (en) * 1999-08-06 2002-08-27 Metron Systems, Inc. Profiling of a component having reduced sensitivity to anomalous off-axis reflections
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6810135B1 (en) 2000-06-29 2004-10-26 Trw Inc. Optimized human presence detection through elimination of background interference
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) * 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
WO2003058211A1 (en) 2001-12-28 2003-07-17 Applied Precision, Llc Dual-axis scanning system and method
EP1497160B2 (de) 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US6768782B1 (en) 2002-12-16 2004-07-27 University Of Notre Dame Du Lac Iterative method for region-of-interest reconstruction
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
JP4488233B2 (ja) 2003-04-21 2010-06-23 日本電気株式会社 映像オブジェクト認識装置、映像オブジェクト認識方法、および映像オブジェクト認識プログラム
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US6882409B1 (en) * 2003-06-25 2005-04-19 Lockheed Martin Corporation Multi-spectral LADAR
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
US7433031B2 (en) * 2003-10-29 2008-10-07 Core Tech Optical, Inc. Defect review system with 2D scanning and a ring detector
US20050103979A1 (en) 2003-11-13 2005-05-19 Photo Research, Inc. Temporal source analysis using array detectors
WO2005104010A2 (en) 2004-04-15 2005-11-03 Gesture Tek, Inc. Tracking bimanual movements
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
DE102004034961A1 (de) 2004-07-16 2006-02-02 Carl Zeiss Jena Gmbh Lichtrastermikroskop mit linienförmiger Abtastung und Verwendung
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
US7436524B2 (en) * 2004-11-26 2008-10-14 Olympus Corporation Apparatus and method for three-dimensional measurement and program for allowing computer to execute method for three-dimensional measurement
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
HUE049974T2 (hu) 2005-01-07 2020-11-30 Qualcomm Inc Képeken lévõ objektumok észlelése és követése
CN101137996A (zh) 2005-01-07 2008-03-05 格斯图尔泰克股份有限公司 基于光流的倾斜传感器
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
US7186977B2 (en) 2005-01-14 2007-03-06 International Business Machines Corporation Method for non-destructive trench depth measurement using electron beam source and X-ray detection
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
WO2006099597A2 (en) 2005-03-17 2006-09-21 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
KR101403172B1 (ko) 2005-05-17 2014-06-03 퀄컴 인코포레이티드 방위-감응 신호 출력
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7911207B2 (en) 2005-11-16 2011-03-22 Board Of Regents, The University Of Texas System Method for determining location and movement of a moving object
JP4539597B2 (ja) 2006-03-29 2010-09-08 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7791022B2 (en) 2007-03-13 2010-09-07 Advantest Corp. Scanning electron microscope with length measurement function and dimension length measurement method
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
EP2203893A4 (en) 2007-10-30 2014-05-07 Hewlett Packard Development Co INTERACTIVE DISPLAY SYSTEM WITH GROUP GESTURE DETECTION
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US7645971B2 (en) 2008-01-18 2010-01-12 Ffei Limited Image scanning apparatus and method
US7982186B2 (en) 2008-04-01 2011-07-19 Hermes Microvision, Inc. Method and apparatus for obtaining images by raster scanning charged particle beam over patterned substrate on a continuous mode stage
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US8279418B2 (en) 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1184304A (en) * 1967-06-15 1970-03-11 Hal Oscar Anger Tomographic Radioactivity Scanner with Simultaneous Readout of Several Planes
CN1685741A (zh) * 2002-09-27 2005-10-19 三洋电机株式会社 多个图像发送方法及带同时摄影多个图像功能的携带机器
CN101088137A (zh) * 2004-12-21 2007-12-12 埃美格科学仪器公司 激光原子探针
CN101022562A (zh) * 2006-02-14 2007-08-22 高田株式会社 对象物检测系统、工作装置控制系统、车辆
CN101226276A (zh) * 2008-01-22 2008-07-23 长春理工大学 激光通信跟踪系统中的精跟踪子系统
CN101635860A (zh) * 2008-07-25 2010-01-27 三星电子株式会社 成像方法和设备

Also Published As

Publication number Publication date
US8279418B2 (en) 2012-10-02
CN102222329A (zh) 2011-10-19
US20110228251A1 (en) 2011-09-22
US9147253B2 (en) 2015-09-29
US20120257020A1 (en) 2012-10-11

Similar Documents

Publication Publication Date Title
CN102222329B (zh) 深度检测的光栅扫描
CN102520574B (zh) 飞行时间深度成像
CN102163324B (zh) 深度图像的去混叠
US9529566B2 (en) Interactive content creation
CN102681293B (zh) 具有折射光学元件的照明器
TWI442311B (zh) 在遊戲中使用三維環境模型
US8553934B2 (en) Orienting the position of a sensor
JP4768031B2 (ja) コンピュータプログラムとのインタフェース時に深さと方向の検出を可能とする方法およびシステム
CN102222347B (zh) 使用波阵面编码来创建深度图像
CN102741885B (zh) 装饰显示环境
CN102306051B (zh) 复合姿势-语音命令
CN105705964A (zh) 发射结构化光的照射模块
CN106662926A (zh) 普适计算环境中的姿势交互的系统和方法
US20160012640A1 (en) User-generated dynamic virtual worlds
CN105190703A (zh) 使用光度立体来进行3d环境建模
CN102253712A (zh) 用于共享信息的识别系统
CN102129709A (zh) 可视化深度
US20120315965A1 (en) Locational Node Device
CN102591456B (zh) 对身体和道具的检测
CN105164617A (zh) 自主nui设备的自发现

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150429

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150429

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.