CN102551655A - 3d凝视跟踪器 - Google Patents

3d凝视跟踪器 Download PDF

Info

Publication number
CN102551655A
CN102551655A CN2011104365947A CN201110436594A CN102551655A CN 102551655 A CN102551655 A CN 102551655A CN 2011104365947 A CN2011104365947 A CN 2011104365947A CN 201110436594 A CN201110436594 A CN 201110436594A CN 102551655 A CN102551655 A CN 102551655A
Authority
CN
China
Prior art keywords
individual
tracker
staring
picture
eyes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011104365947A
Other languages
English (en)
Inventor
G·叶海弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN102551655A publication Critical patent/CN102551655A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Abstract

本文描述了3D凝视跟踪器。本发明的实施例提供了用于确定个人的凝视向量的凝视跟踪器，其包括对个人进行成像的3D相机和图片相机以及处理由相机获取的图像以确定凝视向量的凝视方向和原点的控制器。

Description

3D凝视跟踪器
技术领域
本发明的实施例涉及用于跟踪人的凝视以及确定人的环境中凝视所专注的“注视点”(POR)的方法和系统。
背景技术
本领域中已知用于确定人的凝视的方向以及此人正在看什么的各种类型的眼睛跟踪、或凝视跟踪系统。作为示例，这些系统被用于人类工程和医学研究、诊断以及使人们与计算机对接、或者计算机生成的人工环境。
一般而言，这些系统用于确定个人的瞳孔的位置，以及该个人正沿其注视的凝视方向，其被定义为“凝视向量”的方向，该方向沿着从眼睛的转动中心通过所定位的瞳孔的中心的线从眼睛延伸出。三维(3D)空间中的眼睛的位置被确定并被用来确定凝视向量所穿过的空间区域的坐标。所确定的区域的坐标(在下文中被称为向量的“原点”)在空间中定位凝视向量。给定凝视向量的方向和原点，其与人的环境中的区域或对象的交叉点被标识以确定此人正在注视着什么——其大概就是此人的注意力所指向的关注点。
在下文中，POR被假定为与人的凝视方向同此人的环境中的对象或区域的交叉点相重合，并且被用来指代此交叉点、对象和/或区域。在下文中称为“凝视跟踪器”的凝视跟踪系统，提供了人的凝视向量的方向和原点两者，并且任选地提供此人的POR。
存在用于确定凝视向量的方向的侵入式及非侵式入方法和凝视跟踪器。在一些侵入式凝视跟踪器中，个人佩戴特殊的隐形眼镜，该特殊的隐形眼镜包括随着眼睛和瞳孔移动的感应微线圈。高频电磁场被用来跟踪微线圈的定向以及由此跟踪该个人的眼睛以及凝视方向。在一些侵入式凝视跟踪器中，个人装配有电极，该电极感测眼睛生成的偶极电场的定向中的变化以确定凝视的方向。
非侵入式凝视跟踪器和跟踪方法常常对来自眼睛的不同结构的表面的光的反射(称为“Purkinje(薄暮现象)反射”)进行成像，并处理这些反射的图像以确定其相对运动，以及据此的个人的凝视的方向的变化。凝视方向的变化被称为参考凝视方向，用来确定个人的凝视方向。第一、第二、第三和第四Purkinje反射分别指来自角膜的前表面、来自角膜的背表面、来自晶状体的前表面、和来自晶状体的背表面的反射。
对于给定的静态光源，来自角膜的前表面的反射(即第一Purkinje反射)是最强的，且按照惯例被称为“闪烁(glint)”。闪烁的图像的位置相对独立于中等眼睛转动(眼睛转动达大致±15°)的凝视方向以及头部的固定位置。闪烁的图像的位置通常被用来参考眼睛的特征的图像和/或其他Purkinje反射的运动，以确定个人的凝视方向的变化。
在许多非侵入式凝视跟踪器中，瞳孔的图像的位置相对于闪烁的图像的位置的变化被用来确定凝视方向。在一些非侵入式凝视跟踪器中，来自视网膜的光的反射(其常常不被分类为Purkinje反射)被用来对瞳孔成像以及跟踪眼睛运动和凝视方向。视网膜像向后反射器那样起作用，且进入瞳孔并被视网膜反射的光沿其进入眼睛的方向退出瞳孔并从背后照亮瞳孔。瞳孔的视网膜逆光产生熟悉的“光眼”或“红眼”效应，这常常在用闪光灯获取的个人的面部的图像中看到。个人的光眼瞳孔图像是由相机通过使用从与相机的光轴基本上相重合的方向对个人的面部进行照明的光源来获取的。相对于图像中的闪烁的位置跟踪图像中光眼瞳孔的位置，以确定个人的凝视方向。光眼瞳孔图像不是由离轴光源产生的，并且对于离轴光源，所成像的瞳孔看起来是暗的。在许多非侵入式凝视跟踪器中，将“暗瞳孔图像”的位置与闪烁的图像的位置进行比较以确定凝视的方向。
对于凝视跟踪器的许多应用，要求个人的头部相对于凝视跟踪器的组件是稳定的，以使得其可提供对凝视向量的方向和原点的可接受的准确的确定，以及据此确定此个人的POR。对于一些凝视跟踪器，个人的头部由静态支撑物(诸如在眼科检查中常常使用的腮托或咬杆)保持稳定，以相对于凝视跟踪器的组件固定头部和眼睛。
对于诸如使用户与虚拟或增强现实对接之类的应用，个人能够自由地移动他或她的头部是有益的，并且对于这些应用，个人通常佩戴包括凝视跟踪器组件的帽盔(诸如头盔或护目镜)。帽盔将凝视跟踪器保持在相对于个人的头部基本上固定的位置处，并且提供眼睛相对于组件的固定、已知的距离和定向。已知的距离和定向有助于确定个人相对于帽盔的凝视向量方向和原点。相对于真实世界、虚拟或增强现实的凝视向量方向和原点是根据相对于帽盔的凝视方向和原点以及现实世界中帽盔的定向来确定的。帽盔的定向是使用各种光学、电磁和/或机械位置和定向传感器系统中的任一个来确定的。
一些凝视跟踪器在没有求助所佩戴的帽盔的情况下，提供凝视向量的方向和原点以及个人的POR。然而，这些凝视跟踪器通常是针对被限制于距凝视跟踪器大致50cm与大致80cm之间的相对小的距离范围的头部位置来操作的。
发明内容
本发明的实施例提供了三维(3D)凝视跟踪器，其确定不受帽盔妨碍并享受在凝视跟踪器的视野(FOV)中的运动自由的个人的凝视向量，该视野具有从跟踪器延伸相对较大的距离的场深度。任选地，凝视跟踪器确定其所确定的凝视向量的POR。
在本发明的实施例中，3D凝视跟踪器包括：3D相机，其获取个人的距离图像(range image)，该距离图像提供个人的脸部和/或头部的特征的3D空间坐标；以及在下文中被称为“图片相机”的相机，其获取特征的对比度图像(在下文中被称为“图片”)。处理器处理对比度图像和距离图像，以区分个人的眼睛以及眼睛的特征(例如，眼睛的瞳孔和/或明亮或暗色瞳孔)以及脸部和/或头部的特征(诸如，鼻子、下巴和/或前额)，并确定特征的3D空间坐标。响应于所区分的特征及其3D空间坐标，处理器提供个人的凝视向量的方向和原点，以及任选地与凝视向量相关联的POR。
任选地，3D相机包括被配置成提供FOV中的距离图像的飞行时间(TOF)3D相机，该FOV从凝视跟踪器延伸至少1m(米)与3m之间的距离。任选地，FOV从凝视跟踪器延伸等于大致30cm的距离。
提供本发明内容以便以简化的形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
附图说明
以下参考本文所附的在本段后列出的各个附图来描述本发明的各实施例的非限制性示例。在不止一个附图中出现的相同的结构、元素或部件通常在它们出现的所有图中用相同的数字来标记。附图中所示的组件的尺寸和特征通常是为了方便和清楚呈现而选择的，并且不一定按比例显示。
图1示意性地示出了根据本发明的实施例的包括确定个人的凝视向量和POR的TOF 3D相机的3D凝视跟踪器；
图2A-2C示意性示出了根据本发明的实施例的可被3D凝视跟踪器使用的作为凝视角的函数的眼睛的瞳孔与闪烁之间的关系。
图3A-3C示意性示出了关于凝视方向的确定的头部定向的各方面；
图4示意性地示出了根据本发明的实施例的将光集中到个人的头部以获取距离图像和图片以便确定该个人的凝视方向和POR的3D凝视跟踪器；
图5示意性示出了根据本发明的实施例的响应于眼睛距凝视跟踪器的距离确定眼睛的凝视向量的原点及其相关联的POR的各方面；以及
图6示意性地示出了根据本发明的实施例的包括确定个人的凝视向量和POR的立体3D相机的3D凝视跟踪器。
具体实施方式
在以下详细描述中，本发明的实施例的各方面是参照图1中示意性示出的根据本发明的实施例的3D凝视跟踪器来讨论的，该3D凝视跟踪器包括TOF
3D相机和图片相机。参照图2A-2C讨论了根据本发明的实施例的响应于由3D凝视跟踪器获取的眼睛闪烁和瞳孔的图像确定凝视方向的各方面。参照图3A-3C例示并讨论了根据本发明的实施例的头部定向对确定凝视方向的影响，以及由3D凝视跟踪器确定头部定向和凝视方向的各方面。参照图4讨论了根据本发明的实施例的用光锥跟踪个人以提供对该个人的增强的照明的3D凝视跟踪器的变体。参照图5讨论了根据本发明的实施例的使用由3D凝视跟踪器获取的距离图像来确定凝视向量原点。图6示意性地示出了包括通过三角测量确定距离的立体3D成像器的3D凝视跟踪器的实施例。
在讨论中，除非另行说明，修改本发明的实施例的特征的条件或关系特征的诸如“基本上”和“大约”的副词应被理解为条件或特征被定义在用于本申请的实施例的操作可接受的容差范围以内。
图1示意性地示出了根据本发明的实施例的对个人22进行成像的3D凝视跟踪器20，该个人的头部落在3D凝视跟踪器的视野(FOV)30内。凝视跟踪器通过在个人在FOV中四处移动以及参与活动时确定他或她的凝视向量和POR来跟踪该个人的凝视。虚线61表示3D凝视跟踪器的光轴，而虚线32、34和36勾勒出限定FOV 30的体积的截头锥体。FOV具有从3D凝视跟踪器20延伸的场深度，其具有由虚线32所定义的平面的位置示意性地指示的最小下边界范围，以及由虚拟36所定义的平面的位置示意性指示的最大上边界范围。
在本发明的一些实施例中，下边界等于或大于大致30cm。任选地，下边界等于或大于大致50cm。在本发明的一些实施例中，上边界等于或大于大致1m。任选地，上边界等于或大于大致2m。在本发明的一些实施例中，上边界等于大致3m。
3D凝视跟踪器20的视角是处于FOV 30中的线与通过光轴61的平面之间的最大可能的角。水平和垂直视角是分别包含光轴61的水平(与地面平行)和垂直(与地面垂直)平面的视角。在本发明的一些实施例中，水平和垂直视角中的至少一个等于或大于大致45°。任选地，视角中的至少一个等于或大于90°。在本发明的一些实施例中，视角中的至少一个等于大致120°或150°。
作为示例，3D凝视跟踪器20被假定为跟踪个人的凝视以使该个人与计算机(未示出)视频显示器40对接。图1中的框形箭头示意性地表示个人的凝视向量，而虚线43将它们的方向指示为收敛至视频显示器40的左下角处的POR 44。控制器24控制3D凝视跟踪器20，并且通过合适的计算机编程接口(API)与视频显示计算机对接，以使得由3D凝视跟踪器生成的信息适于显示在视频显示器40上的图像。
3D凝视跟踪器任选地包括光源50，该光源可由控制器24控制来发射一列光脉冲51(由用附图标记52表示的方波“脉冲”示意性地表示)，以对FOV30中的对象和人们(并且在图1中，作为示例是个人22)进行照明。附图标记52被用来指代光脉冲。虽然光脉冲52可包括由合适的发光二极管(LED)和/或激光提供的来自光谱的任意部分的光，但是光脉冲通常是视力安全的近红外(NIR)光脉冲。
被包括在3D凝视跟踪器20中的(由具有与光轴61重合的光轴的透镜60表示的)光学系统收集来自光脉冲52的被个人22的特征反射回3D凝视跟踪器的光，并将所收集的光定向到光束分裂器62。光束分裂器62从透镜60处接收到的光由框形箭头64来示意性地表示，并且附图标记64被用来指代光。
光束分裂器62任选地将其从透镜60处接收到的光的一半定向到具有光敏像素72的光电传感器70——在下文中称为“距离光电传感器70”(图1A)。光束分裂器62定向到距离光电传感器70的光由框形箭头74来表示，并且附图标记74被用来指代光。光电传感器70以快门方式打开或关闭以分别使得其能记录光74或阻止其记录光。任选地，如图1中示意性示出的，快门操作是通过位于光束分裂器62与光电传感器70之间的快门76来实现的，该快门由控制器24来控制以阻止或使得由光束分裂器62朝光电传感器定向的光74传播至光电传感器。在一些实施例中，打开或关闭光电传感器分别实现对光电传感器进行快门打开和快门关闭。
在自光源50辐射光脉冲列中的每个光脉冲52来对个人22进行照明之时起的预定时延之后，控制器24控制快门76来在短曝光时段内对光电传感器70进行快门打开。在曝光时段抵达3D凝视跟踪器20的光74是由快门76传送的，并且被成像到光电传感器70以便由光电传感器中的像素72来记录。在短曝光时段期间由给定像素72记录的光74的量是由像素上成像的特征从光脉冲反射并由光束分裂器62朝光电传感器70定向的光74的总量的一部分。该量是该特征距3D凝视跟踪器20的距离的函数。
被像素72所记录的由个人22的特征从光脉冲列51中的光脉冲反射的光的量提供该个人的距离图像。控制器24使用由像素记录的光的量来确定来自光脉冲52的光从光源50传播到在像素上分别成像的个人的各特征并返回到3D凝视跟踪器20的往返行程要花多久。控制器根据光速和往返行程时间来确定特征距3D凝视跟踪器的距离。
由个人22的特征反射的、被光学透镜60收集并且不被光束分裂器62定向到光电传感器70的光被光束分裂器定向到具有像素82的光电传感器80(在下文中被称为“图片光电传感器80”)。框形箭头84示意性地表示被光束分裂器62定向到图片光电传感器80的光，并且附图标记84被用来指代光。任选地，位于光束分裂器62与光电传感器80之间的快门84对光电传感器进行快门操作。然而，与3D光电传感器70不同，对光电传感器80进行快门打开达相对长的曝光时段，长至足以使从脉冲52反射的被3D凝视跟踪器20收集并被光束分裂器62定向到图片光电传感器80的基本上的所有的光被该光电传感器记录。图片光电传感器80由此提供个人22的对比度图像88(在下文中也被称为“图片88”)——类似于由相机捕获的常规图片。
虽然，一般而言，在光电传感器80上成像的个人22的图片包括个人的头部以及在该个人的接近邻近区中的对象和可能的其他人的图片，但是出于呈现方便起见，在图片88中仅示出个人22的眼睛100。
控制器24使用各种模式识别算法中的任一种来处理图片88，以标识和定位图片中眼睛100的图像，以及标识眼睛的可用于确定与该眼睛相关联的凝视向量42的方向的至少一个特征。至少一个眼睛特征包括瞳孔、虹膜、虹膜与巩膜之间的边界、以及由眼睛反射掉的光生成的闪烁中的至少一个。由3D凝视跟踪器20成像在光电传感器80上的眼睛100的放大图像在图1中的插图110中示意性地示出。就插页中的眼睛示意性地示出闪烁101、瞳孔102、虹膜、巩膜104、以及虹膜与巩膜之间的边界105。响应于至少一个所标识的眼睛特征，控制器24确定眼睛的凝视向量的方向。
作为示例，在本发明的实施例中，控制器24根据图片88中眼睛100的图像里的闪烁101和瞳孔102的位置确定个人22的眼睛100的凝视向量方向。图2A-2C示意性示出了眼睛100的各特征之间的关系，其可被用在本发明的实施例中用来响应于眼睛的闪烁101和瞳孔102的图像确定个人22的凝视方向。
图2A和2B示出了眼睛100的示意性圆形截面120，其被假定为一球体，该球体具有表面121、转动中心124、虹膜103以及具有位于与转动中心124相距距离“dp”处的中心122的瞳孔102。虽然眼睛并非是完美的球体，而是在角膜的位置处具有凸出的略微的卵形，但是将眼睛建模为球体提供了对确定凝视方向的各方面的定性和定量的洞察。典型地，眼睛具有等于大致24mm(毫米)的直径，而dp等于大致10mm。
在图2A和2B中，包括透镜131和光电传感器132的相机130被示出对眼睛100进行成像。对眼睛100进行成像的相机130的功能模拟3D凝视跟踪器20中的透镜60和图片光敏面80对个人22的眼睛100的成像。可应用于相机130的成像原理也适用于3D凝视跟踪器20对眼睛的成像。
在图2A中，作为示例，眼睛100的转动中心124被假定为沿着相机130的光轴135定位，并且眼睛被假定为由框形箭头136所表示的光进行照明，该框形箭头与光轴同轴。光被眼睛100的表面121反射以在光轴与眼睛表面的交叉点123处生成闪烁101。闪烁被成像在光电传感器132上，并且闪烁图像的中心位于光轴135与光电传感器的交叉点137处。交叉点137处的圆圈138示意性地表示闪烁101的图像。
在该附图中，眼睛100的凝视被假定为沿光轴135朝相机130定向。结果，瞳孔102与闪烁101对齐，并且瞳孔的中心122位于光轴135上。瞳孔102被成像在光电传感器132上，并且瞳孔图像的中心位于交叉点137处且与闪烁101的图像138的中心重合。瞳孔102的图像由实心圆140来示意性地表示，该实心圆140位于表示闪烁101的图像的圆138的左边。
图2B示意性示出了如图2A中那样被成像的眼睛100，但是眼睛及其凝视方向向上“转动”角度θ。结果，虽然闪烁101未移动，但是瞳孔102不再沿着光轴135与闪烁101对准。瞳孔102的中心122位于与光轴135相距距离Δ＝dpsinθ之处，而瞳孔102的中心的图像140不再位于交叉点137处且不再与闪烁101的中心重合。
如果相机的放大倍率由“M”来表示，则闪烁101和瞳孔102的图像138和140的中心相隔距离ΔI＝MΔ＝Mdpsinθ。眼睛100的凝视方向θ可根据关系sinθ＝(ΔI/Mdp)来确定。实际上，瞳孔和闪烁的图像通常不是理想的圆形，并且通常ΔI被确定为瞳孔和闪烁的图像的质心之间的距离。
图2C示出了眼睛100的示意图像150，并且在每个图像中就眼睛绕通过眼睛的转动中心124的不同的轴转动角度θ示出了由相机130(图2A和2B)获取的眼睛的闪烁101、瞳孔102、虹膜103、和巩膜104的图像。所有图像与转动中心124沿光轴135的相同位置(图2A和2B)相关联。
中心图像151与针对图2A中所示的眼睛的定向所获取的眼睛100的图像相对应，就中心图像151而言，没有眼睛的转动(θ＝0)，且闪烁101沿光轴135与瞳孔102对准。其他眼睛图像150中的每一个与转动轴160相关联，图像中的眼睛以及眼睛的凝视的方向绕着该轴转动相同的角度θ。转动轴穿过眼睛的转动中心124(图2A和2B)，与图2C的平面平行，并且与指示眼睛绕着该轴转动的方向的圆形箭头161相关联。眼睛的每个图像150的凝视相对于中心图像151的沿光轴135(图2A和2B)的凝视方向的方向由框形箭头163来示意性地指示。对于眼睛100的每个不同的转动及其相关联的凝视方向，闪烁101和瞳孔102的定向是不同的，并且闪烁与瞳孔的中心之间的定向和距离可被用来确定个人22的凝视方向。
注意，本发明的实施例不限于根据以上的讨论确定凝视方向。例如，一实施例可通过处理他或她的眼睛的图像来确定其虹膜的中心或质心而非瞳孔的中心或质心来确定个人的凝视方向。该实施例可使用虹膜的中心或质心相对于闪烁的质心或中心的位置来确定凝视方向。在一些实施例中，从眼睛的图像中被确定为属于眼睛的巩膜(由图1和2C中的附图标记104来指代)的区域相对于被确定为属于虹膜的区域的分布来确定眼睛的凝视方向。在一些实施例中，Purkinje反射的相对运动——具体地是闪烁和第四Purkinje反射(其为来自眼睛晶状体的背部的反射)——被用来确定凝视方向。
图2A-2C以及以上附图的描述提供了用于从闪烁和瞳孔的图像来确定凝视方向的方法的极简化的说明。实际上，根据瞳孔和闪烁的图像确定眼睛方向包括计及头部运动、不同个体的眼睛结构中的差异、以及有利的，用眼睛凝视方向校准眼睛的图像。
在图3A-图3C中针对简化的环境集合示出了头部定向对凝视方向的影响以及仅响应于眼睛的瞳孔和闪烁的相对位置确定凝视方向的局限性。
所有附图非常示意性地(在附图的左侧)示出了对个人22进行成像以获取个人的眼睛100的图片的相机130的透视图，所获取的图片用来响应于这些图片中的闪烁101和瞳孔102相对位置来确定他或她的凝视方向。图3A、3B和3C中的箭头170从附图中的示意性透视图分别指向由相机130捕获的个人的示意图片171、172和173。
在图3B中，相机130被假定为在个人22的正前方，且其光轴135与该个人的鼻子对准并指向该个人的鼻子。该个人沿着由框形箭头182所指示的方向略微朝上看。在由相机130获取的个人的图片172中，闪烁101因此在瞳孔102正下方。闪烁和瞳孔的相对位置指示个人与相机的对准，以及个人的凝视的略微朝上的方向。
在图3A中，相机130和个人22的相对位置的仅有的改变在于：该个人的头部在由圆形箭头174所指示的方向上绕着穿过瞳孔102的中心以及闪烁101的中心的轴175顺时针方向转动。结果，该个人沿着框形箭头181所指示的方向看，框形箭头181相对于由图3B中的框形箭头182指示的凝视方向转动了。然而，虽然图3A中的个人的凝视方向不同于图3B中的，但是图3A中的个人的图片171中的瞳孔102和闪烁101的相对位置与图3B中的那些相同。相对位置是相同的，因为头部绕着通过瞳孔和闪烁的轴转动。
在图3C中，相机130和个人22的位置相对于它们在图3B中的位置的仅有的改变在于：个人的头部在由圆形箭头176指示的方向上绕着逆时针转动与图3A中的转动角度在量值上相同-但在方向上相反的角度。框形箭头183指示图3C中的个人22的凝视方向。虽然由框形箭头183所指示的凝视方向不同于由框形箭头181和182指示的凝视方向，但是图片173中瞳孔102相对于闪烁101的位置与图片171和172中的相同。
对于图3A-3C的讨论中所述的条件，附图171、172和173中的闪烁101和瞳孔102的图像不区分由框形箭头181、182和183表示的凝视方向。在没有附加信息的情况下，诸如图3A-3C中的个人的头部的定向，由相机获取的闪烁101和瞳孔102自身不消除由框形箭头所指示的凝视方向的歧义。图片171、173和174中的个人的特征的图像(例如，鼻子的方向的图像)可提供能用来确定个人的头部的方向以及区分凝视方向的附加信息。
在本发明的实施例中，控制器24处理由距离光电传感器70获取的距离图像和/或图1中所示的由图片光电传感器80获取的个人22的图片，以确定用来确定个人的凝视方向的个人22的头部定向。
例如，在本发明的实施例中，控制器处理个人22的距离图像以确定个人的头部的特征(在下文中被称为“基准特征”)距3D凝视跟踪器的距离，其可被有益地用来指示头部的定向。基准特征可包括面部特征，诸如前额、眼睛、鼻尖、嘴唇和下巴、以及耳朵。个人22的眼睛和/或颧骨、和/或耳朵与3D凝视跟踪器的距离可被用来确定个人的头部的方位角。方位角是在个人连其头部竖直站立时绕着通过个人的头部的与地面垂直的轴的角。可响应于3D凝视跟踪器20与个人的前额和下巴的距离来确定头部绕着通过耳朵的轴的倾斜角(该轴在个人竖直站立时与地面平行)。
在本发明的实施例中，响应于由图片光电传感器80(图1)获取的图片中的他们的图像来标识基准特征。与在图片光电传感器中的像素82上成像的基准特征的距离是根据距离光电传感器70中由来自基准特征的光在其上成像的相应的像素72所提供的距离来确定的。
为了便于确定距离光电传感器70中的像素72与图片光电传感器80中的像素82的对应性，任选地，光电传感器被配置成具有相等大小的像素，且被定位并安装到3D凝视跟踪器20中以使得类似的像素对FOV 30中相同的区域进行成像。
在本发明的一些实施例中，像素72和82可具有不同的大小。例如，一般而言，光源52中的光的强度受到成本考虑因素以及用于使光源50(图1)和3D凝视跟踪器20的组件保持在可接受的操作温度的散热需求的限制。另外，光脉冲的持续时间和由快门76提供的曝光时段相对较短，并且可短于10或20纳秒。由个人22反射的来自光源50的可供距离光电传感器70的每个像素72用来获取个人的距离图像的光的量可由此被限制。结果，对于距离光电传感器70中用于记录足以提供具有可接受的信噪比(SNR)的光的量的像素72，使像素相对较大是有益的。因此，在本发明的实施例中，通常为方形的像素72可有益地具有大于大致10μ(微米)的侧边尺寸。
另一方面，由于光电传感器80的曝光时段可以比光电传感器70的曝光时段至少长三倍，因此与在距离光电传感器70上对个人进行成像相比，一般更多的光可用于在图片光电传感器80上对个人进行成像。为了解决眼睛的闪烁和瞳孔之间的距离，光电传感器80中的像素82由此可有益地相对较小。
一般而言，只要眼睛转动且闪烁被局限在角膜，则眼睛每转动一度，眼睛的闪烁与瞳孔之间的距离的最大变化为大致0.17mm。例如，对于个人的凝视的方向的角度θ变化1°，图2B中相对于附图中的光轴135的距离Δ变化达大致0.17mm。如果3D凝视跟踪器20在图片光电传感器80上以大致10-2的放大倍率对个人22进行成像，则为了解决响应于瞳孔102与闪烁101之间的距离变化的θ的大致2°的变化，图片光电传感器中的像素72在侧边上有益地小于或等于大致2.5μ。
在像素72和82大小不同的一些实施例中，距离和图片光电传感器70和80被对准以使得这两个光电传感器的一个中的较大的像素与这两个光电传感器的另一个中的较小的像素的瓦片(tile)基本上类似，并且对FOV 30中其类似的瓦片所成像的相同区域进行成像。例如，在距离光电传感器70中的像素72沿着侧边为10μ而图片光电传感器80中的像素82沿着侧边为2.5的本发明实施例中，距离光电传感器70中的较大的像素72可与图片光电传感器80中包括16个小的2.5μ的像素82的方形瓦片相类似。
在用于适应在距离光电传感器70和图片光电传感器80上成像的不同需求和约束的本发明的一些实施例中，3D凝视跟踪器包括用于独立于彼此调节在光电传感器上成像的放大倍率的光学器件。
例如，本发明的实施例可包括光学元件，诸如位于光束分裂器62与图片光电传感器80之间的变焦透镜光学器件(未示出)，控制器24控制该变焦透镜光学器件来调节在图片光电传感器上形成的个人22的图像的放大倍率。对于其中个人22远离3D凝视跟踪器20的情形中，控制器任选地控制变焦透镜光学器件来对个人放大，并扩大眼睛100的图像以及图像中闪烁101与瞳孔102之间的距离。增大的放大倍率改进闪烁与瞳孔之间的距离的准确度，以及由此确定凝视方向。在本发明的实施例中，控制器24响应于由距离光电传感器70所获取的距离图像提供的至个人22的距离来控制图片光电传感器80上的图像的放大倍率，并且随着由距离光电传感器获取的图像指示个人22与3D凝视跟踪器20的距离相应地增大和减小来增大和减小放大倍率。
在本发明的一些实施例中，控制器24响应于由距离光电传感器70提供的距离测量来控制光脉冲52中的光的强度。随着个人22远离或靠近3D凝视跟踪器20地移动，控制器相应地增大和减小光脉冲52中的光的强度。根据距离来调节光强度可改善使用来自光源50的光的效率。对于由光源50传送的恒定的光的强度，由像素72提供的用于确定个人22的特征的距离的信号的SNR与个人距3D凝视跟踪器20的距离的平方成反比。随着距离增大照明可至少部分地补偿随着个人远离3D凝视跟踪器20移动的个人22的照明的强度的减小。
在本发明的一些实施例中，光源50可被控制来将光脉冲52定向至具有所需方向和立体角的锥体(在下文中称为“照明锥体”)，以将光集中到FOV 30中的有限区域，并改善来自光源的光被用来照明个人22的效率。在本发明的实施例中，控制器24响应于根据由距离光电传感器70和/或图片光电传感器80获取的图像确定的FOV 30中个人22的面部和头部的位置来控制锥体的方向和立体角，以将光集中在个人的面部或其一部分。通过对FOV 30中包含个人22的头部或头部的一部分(诸如包含眼睛的一部分)的有限区域进行照明，可用于对头部和/或眼睛进行成像的光的强度可被增加，并且凝视向量确定的准确度得以改进。
图4示意性示出了根据本发明的实施例的类似于图1中所示的3D凝视跟踪器20的3D凝视跟踪器320，其生成照明锥体322(用阴影示出)并将其定向成把光集中到FOV 30的有限部分，以对个人22的头部和面部进行照明。照明锥体322的一部分由从光源50延伸至虚线324所勾勒的任选的方形照明区域“A”的角落的虚线323来勾勒出。
区域A是由来自光脉冲52的光照明的区域，并且被假定为位于个人22与3D凝视跟踪器320相距距离D之处。区域A根据表达式Ω＝A/D2来确定照明锥体322的立体角Ω。A任选地独立于D，并且任选的，对于FOV 30内的个人22的任何距离D而言，是恒定的。A任选地被确定成使得在3D凝视跟踪器20获取个人22的图像要花费的时间内，该个人通常不能沿着照明锥体的中心轴(未示出)足够快地移动他或她的头部来将头部移出照明锥体322。
任选地，区域A是侧边长度等于50cm的方形区域。假定个人22的图像由3D凝视跟踪器20以每秒30幅图像的视频速率来获取，3D凝视跟踪器获取图像需要大致30ms(毫秒)。在30ms内，以每小时10km(千米)移动的个人移动大致10cm。50cmx50cm的方形照明区域A由此通常足以定义可被定向成跟踪和提供对在FOV 30中移动的个人的有益的照明的光锥。
各种设备和方法中的任一个可被用在本发明的实施例的实践中，用以生成和控制照明锥体322的方向和立体角。例如，光源可包括可控制成反射并定向由光源提供到锥体322的光的微型镜面阵列。任选地，光源包括透镜系统(例如，具有位于光源的光发射元件处的焦点的变焦透镜系统)，用于控制照明锥体322的立体角。在本发明的一些实施例中，光源包括转动光源以定向照明锥体322来使个人22保持在照明锥体内的机械系统。在本发明的一些实施例中，不同的光源可被打开或关闭，以使得在个人22于FOV 30中四处移动时该个人保持在较小角度的照明锥体内。
除了个人直接注视着对该个人成像的相机的稀少且通常无趣的情形之外，凝视方向自身不足以定义个人的凝视向量以及从其确定POR。对于大多数情形，在空间上定位凝视向量以及确定该凝视向量的POR需要凝视向量的原点的三个空间坐标(例如，笛卡儿坐标系统的x、y和z坐标)。
在本发明的一实施例中，由距离光电传感器70获取的个人(诸如，3D凝视跟踪器20的FOV 30中的个人22)的距离图像和/或由图片光电传感器80提供的个人的图片由控制器24来处理，以提供个人的凝视向量的原点的3D空间坐标。具体而言，响应于由距离光电传感器70获取的距离图像确定的与3D凝视跟踪器的距离被用来提供原点的z坐标。z坐标被任选地假定为沿x、y、z笛卡儿坐标系统的z轴测量的坐标，该系统的z轴与3D凝视跟踪器20的光轴61(图1)平行。
虽然个人的眼睛的三个空间坐标通常可根据对由相机获取的个人的图片的图像分析来估计，此类估计对于距相机的有限距离范围通常是实用的，并且通常与相对较大的误差余量相关联。TOF 3D相机(诸如3D凝视跟踪器20中的距离光电传感器70以及相关联的光学器件)可提供具有相对较小的误差余量的空间坐标(并且具体而言，距3D相机的距离的坐标以及由此的眼睛相对于相机的z坐标)。
图5示意性示出了极其简化的配置，其示出了确定个人的眼睛与对个人成像的相机(未示出)的距离时的不确定性如何在从为眼睛确定的凝视向量标识个人的POR时生成不确定性。该附图示出了在距视频显示器40的三个不同的距离处的不同的共线位置(由证示线201、202和203指示)处的眼睛(由椭圆形100示意性地表示)。位置被任意地定义成眼睛的转动中心124的位置，且位于与视频显示器垂直的同一条线(称为“z轴”)上。由证示线指示的位置由标记证示线的附图标记201、202和203来指代，而眼睛由标记表示眼睛的椭圆形的附图标记100来指代。眼睛与对该眼睛进行成像的相机的距离被假定为与眼睛同视频显示器40的距离相同。
在每个位置201、202和203处，眼睛分别具有凝视向量221、222和223。每个凝视向量221、222和223分别沿从眼睛的转动中心124穿过其瞳孔102的中心的虚线251、252和253延伸。所有凝视向量与z轴形成相同的倾斜角θ。凝视向量221、222和223分别在相交点231、232和233处与视频屏幕40相交，其中与凝视向量相关联的虚线251、252和253与视频屏幕相交。相交点231、232和233表示视频显示器40上的POR的位置，这些位置是分别根据凝视向量221、222和223来确定的。
眼睛被假定为实际上位于“中间”位置202处，并且相交点232，即，与眼睛相关联的凝视向量222的实际POR，位于中间位置处。位置201和203分别表示眼睛的z坐标的下边界估计和上边界估计，该z坐标可以是由对针对眼睛进行成像的图片的图像分析来合理地得到的。位置201与203之间的距离“ΔZ”表示从图像分析确定的眼睛的z坐标的不确定性。实际POR所处位置的伴生不确定性由视频显示器40上的相交点231与233之间的“不确定性距离(DOU)”236来表示。
由沿z轴的证示线241和242指示的z坐标通过附图标记241和242来指代，并且分别表示由TOF 3D相机确定的眼睛的z坐标中的合理的上和下误差边界。作为示例，证示线241和242可表示包括光源50、距离光电传感器70以及3D凝视跟踪器20中的相关联的光学元件的TOF 3D相机的z坐标下和上误差边界。Z坐标241与242之间的距离“ΔZ*”表示由TOF相机确定的眼睛的z坐标的不确定性。
如果眼睛100位于241处，则假定其凝视向量(未示出)沿着相对于z轴以角度θ从点241延伸的虚线257展开。眼睛将被确定为具有位于虚线257与视频屏幕40的相交点247处的POR。类似地，如果眼睛100位于位置242处，则其可被确定为具有位于虚线258与视频屏幕40的相交点248处的POR。不确定性生成相对应的DOU 244，其是相交点247与248之间的距离。由TOF 3D相机提供的DOU 244通常小于由图像分析单独提供的DOU 236。
作为数值示例，假定个人的眼睛100位于距视频显示器40大致50cm的距离处，以及假定视频显示器具有大致60cm的对角线尺寸，以使得眼睛的凝视角度θ可常常大至30°。由图像分析的个人的眼睛的z坐标的不确定性ΔZ可被合理地假定为大致5cm((±2.5cm)。不确定性导致眼睛的POR的位置的不确定性DOU 236，其可由表达式DOU 236＝ΔZtanθ来估计，对于ΔZ＝5cm且θ＝30°，DOU 236等于大致3cm。
另一方面，由TOF 3D相机确定的眼睛的z坐标的不确定性可被合理地假定为等于大致1cm(±0.5cm)，这导致对于θ＝30°的POR的位置的不确定性DOU 244等于大致0.6cm。例如，假定使用强度大于或等于大致50毫瓦且脉冲宽度在15到20ns之间的光脉冲对具有视角45°的FOV进行照明的TOF 3D相机在包括10μx10μ像素的光敏面上对FOV中的对象进行成像。相机通常可提供由就大致0.5cm与3cm之间的距离测量而言z轴准确度等于大致1cm来表征的距离测量。
在本发明的实施例中，为了校准图1中所示的3D凝视跟踪器20(或图4中的3D凝视跟踪器320)，以及使3D凝视跟踪器适应3D凝视跟踪器的不同用户的眼睛结构和面部特征的差异，3D凝视跟踪器以及视频显示器40上的显示被控制以获取用户的校准图像。
在一实施例中，获取用户(诸如图1中所示的个人22)的校准图像包括针对FOV 30中的多个不同“校准位置”中的每一个对个人进行成像。不同的校准位置的不同之处在于与凝视跟踪器20的距离和/或FOV 30中的位置。对于每个校准位置，针对在个人的凝视被定向至的视频显示器40上呈现的多个不同的“校准POR”的每一个获取个人的距离图像和图片。任选地，对于多个校准位置，要求该个人将他或她的头部保持在固定位置，并且仅移动眼睛来将凝视定向在不同的校准POR上。
图像被处理以针对校准位置和校准POR中的每一个提供个人的眼睛特征(诸如瞳孔、虹膜、巩膜、闪烁和/或Purkinje反射)和/或基准特征的3D空间坐标。给定校准位置和POR的凝视向量任选地由视频屏幕40上的给定校准位置和校准POR的位置的3D空间坐标来确定。眼睛特征和基准特征坐标以及相关联的凝视向量作为合适的数据阵列中的参考数据来存储。在本发明的实施例中，参考数据阵列被用来在个人在FOV 30中自由移动时确定个人22的凝视向量。
在本发明的一些实施例中，为了确定个人22在FOV 30中在给定时间和位置的凝视向量，响应于参考数据阵列中的值，3D凝视跟踪器20获取该个人在该给定时间和位置的距离图像和图片。控制器24处理距离图像和图片以标识和确定个人的眼睛和基准特征的空间坐标。
为了确定个人的头部定向，控制器任选地确定基准特征的参考坐标的仿射变换，其根据诸如最小平方准则之类的最佳拟合准则最接近地再现针对基准特征确定的3D空间坐标。通过仿射变换对与参考坐标相关联的头部定向进行的变换提供头部定向。相对于个人的头部定向的凝视向量方向是响应于眼睛特征的坐标来确定的。任选地根据眼睛的空间坐标确定的头部定向、凝视向量定向以及凝视向量原点定义凝视向量。
在本发明的一些实施例中，控制器24响应于从距离图像和图片提供的个人的眼睛和基准特征的空间坐标来对参考数据值进行内插，以确定个人22的凝视向量。
在以上的讨论中，3D凝视跟踪器被示为包括TOF 3D相机，该TOF 3D相机虽然与图片相机共享光学组件但与图片相机分开。然而，本发明的实施例既不限于具有分开的距离和图片相机的3D凝视跟踪器，也不限于TOF 3D相机。
在本发明的实施例中，3D凝视跟踪器包括单个光电传感器，其被用来获取个人的距离图像和个人的图片两者。对光电传感器进行快门操作的快门被控制成在具有持续时间的曝光时段对光电传感器进行快门打开以获取个人的距离图像，该持续时间不同于快门提供用于获取个人的图片的曝光时段的持续时间。
并且，在本发明的实施例中，3D凝视跟踪器包括立体3D成像器，其响应于由系统中的两个在空间上分开的相机提供的特征的图像展示的视差，确定距3D凝视跟踪器的FOV中的个人的特征的距离。
1图6示意性示出了包括具有两个在空间上分开的相机254和255的立体3D成像器252的立体3D凝视跟踪器250，该相机254和255从不同的角度获取3D凝视跟踪器的FOV 256中的特征的图片(对比度图片)。立体3D凝视跟踪器中的控制器257处理这些图片以标识和定位眼睛和基准特征，并响应于距从其在这些图片中展示的视差确定的特征的距离来对特征确定空间坐标。
在本申请的说明书和权利要求书中，动词“包括”、“包含”和“具有”及其组合中的每一个是用来指示该动词的一个或多个宾语不一定是该动词的一个或多个主语的组件、元素、或部分的完整列表。
在本申请中作为示例提供了对本发明的各实施例的描述，而不旨在限制本发明的范围。所描述的各实施例包括不同特征，并非所有这些特征都是本发明的所有实施例所需的。某些实施例只利用了特征的某一些或特征的可能组合。本领域的技术人员会想到所描述的本发明的各实施例的变型以及本发明的各实施例包括在所描述的各实施例中注明的特征的不同组合。本发明的范围只由权利要求书来限定。

Claims (15)

1.一种用于为个人确定具有方向和原点的凝视向量(42)的凝视跟踪器(20)，所述凝视跟踪器包括：
3D相机(70)，其获取位于所述相机的视野(FOV)(30)中的个人的距离图像；
图片相机(80)，其获取所述3D相机的所述FOV(30)中的所述个人的图片；以及
控制器(24)，其处理所述距离图像和所述图片以确定所述个人的头部和所述个人的眼睛的特征的空间坐标，以及确定所述眼睛的凝视向量的凝视方向和原点。
2.如权利要求1所述的凝视跟踪器，其特征在于，所述FOV从所述凝视跟踪器延伸等于或大于大致1m的距离。
3.如权利要求1或权利要求2所述的凝视跟踪器，其特征在于，所述FOV从所述凝视跟踪器延伸等于大致0.3m的距离。
4.如权利要求1-3中的任一项所述的凝视跟踪器，其特征在于，包括对所述FOV的至少一部分进行照明的光源(50)。
5.如权利要求4所述的凝视跟踪器，其特征在于，所述控制器响应于由所述控制器确定的空间坐标来调节由所述光源提供的光的强度。
6.如权利要求4或权利要求5所述的凝视跟踪器，其特征在于，所述控制器响应于由所述控制器确定的空间坐标来调节由所述光源提供的光的方向。
7.如在前权利要求中的任一项所述的凝视跟踪器，其特征在于，所述特征包括所述个人的眼睛的至少一个特征，所述至少一个特征的空间坐标可被用来确定所述眼睛的凝视方向。
8.如在前权利要求中的任一项所述的凝视跟踪器，其特征在于，所述特征包括所述个人的头部的至少一个特征，所述至少一个特征的空间坐标可被用来确定所述头部的定向。
9.如在前权利要求中的任一项所述的凝视跟踪器，其特征在于，所述3D相机包括飞行时间(TOF)3D相机(70)。
10.如权利要求9所述的凝视跟踪器，其特征在于，所述TOF 3D相机和所述图片相机包括包含像素(72，82)的不同的光电传感器，所述光电传感器在所述像素上对光进行成像以分别获取所述距离图像和图片。
11.如权利要求10所述的凝视跟踪器，其特征在于，所述不同光电传感器中的像素具有不同的大小。
12.如权利要求11所述的凝视跟踪器，其特征在于，所述光电传感器中所述3D相机在其上对光进行成像的像素大于所述光电传感器中所述图片相机在其上对光进行成像的像素。
13.如权利要求10-12中的任一项所述的凝视跟踪器，其特征在于，包括用于独立于彼此调节所述光电传感器上的成像的放大倍率的光学器件。
14.如权利要求13所述的凝视跟踪器，其特征在于，所述控制器响应于由所述控制器确定的空间坐标调节放大倍率。
15.一种用于确定个人的凝视方向的方法，所述方法包括：
获取个人的距离图像，其提供距所述个人的特征的距离；
获取所述个人的对比度图像；以及
处理所述距离图像和所述对比度图像以提供所述个人的凝视向量，所述凝视向量定义所述个人注视的方向。
CN2011104365947A 2010-12-13 2011-12-13 3d凝视跟踪器 Pending CN102551655A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/965,948 US8408706B2 (en) 2010-12-13 2010-12-13 3D gaze tracker
US12/965,948 2010-12-13

Publications (1)

Publication Number Publication Date
CN102551655A true CN102551655A (zh) 2012-07-11

Family

ID=46199066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011104365947A Pending CN102551655A (zh) 2010-12-13 2011-12-13 3d凝视跟踪器

Country Status (2)

Country Link
US (1) US8408706B2 (zh)
CN (1) CN102551655A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581126A (zh) * 2014-12-16 2015-04-29 青岛歌尔声学科技有限公司 一种头戴显示设备的画面显示处理方法和处理装置
CN104661579A (zh) * 2012-07-25 2015-05-27 达瓦洛尔战略咨询和技术有限公司 用于测量眼角膜的表面状况和厚度的一件设备以及为此所采用的测量方法
CN104685541A (zh) * 2012-09-17 2015-06-03 感官运动仪器创新传感器有限公司 用于确定三维对象上注视点的方法和装置
CN104679226A (zh) * 2013-11-29 2015-06-03 上海西门子医疗器械有限公司 非接触式医疗控制系统、方法及医疗设备
CN105142498A (zh) * 2013-03-15 2015-12-09 感知技术有限公司 增强光学和感知数字护目镜
CN105319714A (zh) * 2014-07-31 2016-02-10 精工爱普生株式会社 显示装置、显示装置的控制方法及程序
CN105407791A (zh) * 2013-06-25 2016-03-16 微软技术许可有限责任公司 经由深度相机的眼睛追踪
CN105700677A (zh) * 2015-12-29 2016-06-22 努比亚技术有限公司 一种移动终端及其控制方法
CN107765842A (zh) * 2016-08-23 2018-03-06 深圳市掌网科技股份有限公司 一种增强现实方法及系统
CN108563238A (zh) * 2018-06-15 2018-09-21 歌尔科技有限公司 一种遥控无人机的方法、装置、设备及系统
CN109947253A (zh) * 2019-03-25 2019-06-28 京东方科技集团股份有限公司 眼球追踪的模型建立方法、眼球追踪方法、设备、介质
CN110913751A (zh) * 2017-06-30 2020-03-24 聂小春 具有滑动检测和校正功能的可穿戴眼睛跟踪系统
CN111552079A (zh) * 2014-01-31 2020-08-18 奇跃公司 多焦点显示系统和方法

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101046677B1 (ko) * 2011-03-15 2011-07-06 동국대학교 산학협력단 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프
EP2499963A1 (en) * 2011-03-18 2012-09-19 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method and apparatus for gaze point mapping
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
JP5414946B2 (ja) * 2011-06-16 2014-02-12 パナソニック株式会社 ヘッドマウントディスプレイおよびその位置ずれ調整方法
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8988519B2 (en) * 2012-03-20 2015-03-24 Cisco Technology, Inc. Automatic magnification of data on display screen based on eye characteristics of user
KR101961266B1 (ko) * 2012-07-26 2019-03-25 엘지이노텍 주식회사 시선 추적 장치 및 이의 시선 추적 방법
KR102001950B1 (ko) * 2012-07-26 2019-07-29 엘지이노텍 주식회사 시선 추적 장치 및 이의 시선 추적 방법
JP5949319B2 (ja) * 2012-08-21 2016-07-06 富士通株式会社 視線検出装置及び視線検出方法
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
JP6056323B2 (ja) * 2012-09-24 2017-01-11 富士通株式会社 視線検出装置、視線検出用コンピュータプログラム
US9111383B2 (en) 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US10180715B2 (en) 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US10713846B2 (en) 2012-10-05 2020-07-14 Elwha Llc Systems and methods for sharing augmentation data
US9077647B2 (en) * 2012-10-05 2015-07-07 Elwha Llc Correlating user reactions with augmentations displayed through augmented views
US9141188B2 (en) 2012-10-05 2015-09-22 Elwha Llc Presenting an augmented view in response to acquisition of data inferring user activity
EP2926293A4 (en) * 2012-11-28 2016-09-14 Univ Columbia METHODS, SYSTEMS AND MEDIA FOR RECOGNIZING GAZE LOCKING
US20140176327A1 (en) * 2012-12-20 2014-06-26 Nokia Corporation Method and apparatus for determining that medical assistance may be required
TWI486820B (zh) * 2012-12-28 2015-06-01 Wistron Corp 用於互動系統之座標轉換方法及電腦系統
US9216133B2 (en) * 2013-01-16 2015-12-22 Elwha Llc Using a 3D display to train a weak eye
US9167147B2 (en) 2013-02-15 2015-10-20 International Business Machines Corporation Mobile device field of view region determination
US9041645B2 (en) 2013-02-15 2015-05-26 International Business Machines Corporation Transparent display field of view region determination
WO2014132259A1 (en) * 2013-02-27 2014-09-04 Inuitive Ltd. Method and system for correlating gaze information
US9671619B2 (en) * 2013-02-28 2017-06-06 Johnson & Johnson Vision Care, Inc. Electronic ophthalmic lens with eye gaze sensor
US9179833B2 (en) 2013-02-28 2015-11-10 Carl Zeiss Meditec, Inc. Systems and methods for improved ease and accuracy of gaze tracking
US9424467B2 (en) * 2013-03-14 2016-08-23 Disney Enterprises, Inc. Gaze tracking and recognition with image location
US9639964B2 (en) 2013-03-15 2017-05-02 Elwha Llc Dynamically preserving scene elements in augmented reality systems
US10109075B2 (en) 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
GB201305726D0 (en) * 2013-03-28 2013-05-15 Eye Tracking Analysts Ltd A method for calibration free eye tracking
US20140313308A1 (en) * 2013-04-19 2014-10-23 Samsung Electronics Co., Ltd. Apparatus and method for tracking gaze based on camera array
US10341611B2 (en) * 2013-04-30 2019-07-02 Inuitive Ltd. System and method for video conferencing
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9319665B2 (en) * 2013-06-19 2016-04-19 TrackThings LLC Method and apparatus for a self-focusing camera and eyeglass system
US20140375772A1 (en) * 2013-06-19 2014-12-25 Thaddeus Gabara Method and Apparatus for an SR and LR 3-D Visual Images and Sharing
WO2015094191A1 (en) * 2013-12-17 2015-06-25 Intel Corporation Controlling vision correction using eye tracking and depth detection
JP6314339B2 (ja) * 2014-01-16 2018-04-25 コニカミノルタ株式会社 眼鏡型表示装置
US9836122B2 (en) * 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
EP3119343A4 (en) 2014-03-19 2017-12-20 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods integrating eye gaze tracking for stereo viewer
KR102585602B1 (ko) 2014-03-19 2023-10-10 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 눈 시선 추적을 사용하는 의료 디바이스, 시스템, 및 방법
KR102212209B1 (ko) * 2014-04-10 2021-02-05 삼성전자주식회사 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체
US9794542B2 (en) 2014-07-03 2017-10-17 Microsoft Technology Licensing, Llc. Secure wearable computer interface
DE102014216208A1 (de) * 2014-08-14 2016-02-18 Robert Bosch Gmbh Verfahren und eine Vorrichtung zum Bestimmen einer Reaktionszeit eines Fahrzeugführers
US9946339B2 (en) * 2014-10-08 2018-04-17 Microsoft Technology Licensing, Llc Gaze tracking through eyewear
CN104360743B (zh) * 2014-11-20 2017-05-31 武汉准我飞科技有限公司 人体姿态数据的获取方法、系统以及数据处理装置
DE102014226185B4 (de) * 2014-12-17 2022-09-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Blickrichtungserkennungssystem zum Bestimmen einer Blickrichtung einer Person, sowie Verwendung des Blickrichtungserkennungssystems in einem Kraftfahrzeug
US20160183789A1 (en) * 2014-12-31 2016-06-30 Higi Sh Llc User initiated and feedback controlled system for detection of biomolecules through the eye
US9858719B2 (en) 2015-03-30 2018-01-02 Amazon Technologies, Inc. Blended reality systems and methods
US9888843B2 (en) * 2015-06-03 2018-02-13 Microsoft Technology Licensing, Llc Capacitive sensors for determining eye gaze direction
TWI570638B (zh) * 2015-07-29 2017-02-11 財團法人資訊工業策進會 凝視分析方法與裝置
US10397546B2 (en) 2015-09-30 2019-08-27 Microsoft Technology Licensing, Llc Range imaging
EP3761232A1 (en) * 2015-10-16 2021-01-06 Magic Leap, Inc. Eye pose identification using eye features
US10523923B2 (en) 2015-12-28 2019-12-31 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
US10218968B2 (en) 2016-03-05 2019-02-26 Maximilian Ralph Peter von und zu Liechtenstein Gaze-contingent display technique
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
DE102016003625A1 (de) * 2016-03-22 2017-09-28 Pyramid Computer Gmbh Verfahren und Vorrichtung zur berührungslosen gestengesteuerten Bedienung einer Bedienoberfläche
JP2019519859A (ja) 2016-06-29 2019-07-11 シーイング マシーンズ リミテッド 視線追跡を実行するシステム及び方法
US9916501B2 (en) * 2016-07-22 2018-03-13 Yung-Hui Li Smart eyeglasses with iris recognition device
US10861605B2 (en) 2016-08-22 2020-12-08 Aic Innovations Group, Inc. Method and apparatus for determining health status
WO2018165047A1 (en) * 2017-03-06 2018-09-13 Intuitive Surgical Operations, Inc. Systems and methods for entering and exiting a teleoperational state
US10445947B2 (en) * 2017-08-01 2019-10-15 Google Llc Methods and apparatus for interacting with a distant object within a virtual reality environment
EP4325278A2 (en) 2017-09-29 2024-02-21 Apple Inc. Gaze-based user interactions
CN108065904A (zh) * 2018-01-02 2018-05-25 京东方科技集团股份有限公司 内窥镜系统及其控制方法
JP7063045B2 (ja) * 2018-03-26 2022-05-09 株式会社Ｊｖｃケンウッド 視線検出装置、視線検出方法及び視線検出プログラム
WO2019185150A1 (en) * 2018-03-29 2019-10-03 Tobii Ab Determining a gaze direction using depth information
WO2019217081A1 (en) 2018-05-09 2019-11-14 Apple Inc. Selecting a text input field using eye gaze
US10705604B2 (en) * 2018-05-22 2020-07-07 Htc Corporation Eye tracking apparatus and light source control method thereof
CN110547759A (zh) * 2018-05-31 2019-12-10 托比股份公司 鲁棒会聚信号
US20220148218A1 (en) * 2019-01-03 2022-05-12 Immersix Ltd System and method for eye tracking
CN117590582A (zh) * 2019-04-11 2024-02-23 三星电子株式会社 头戴式显示设备及其操作方法
CN112424788A (zh) * 2019-06-17 2021-02-26 谷歌有限责任公司 使用三维眼睛注视矢量的车辆乘员参与
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze
CN113052064B (zh) * 2021-03-23 2024-04-02 北京思图场景数据科技服务有限公司 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002009025A1 (en) * 2000-07-24 2002-01-31 Seeing Machines Pty Ltd Facial image processing system
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
JP2005230049A (ja) * 2004-02-17 2005-09-02 National Univ Corp Shizuoka Univ 距離イメージセンサを用いた視線検出装置
CN1700242A (zh) * 2005-06-15 2005-11-23 北京中星微电子有限公司 一种判别视线方向的方法和装置
CN1701012A (zh) * 2003-05-13 2005-11-23 西门子公司 确定汽车乘客的当前头部位置的方法
US20090196460A1 (en) * 2008-01-17 2009-08-06 Thomas Jakobs Eye tracking system and method
US20090252423A1 (en) * 2007-12-21 2009-10-08 Honda Motor Co. Ltd. Controlled human pose estimation from depth image streams
US7742623B1 (en) * 2008-08-04 2010-06-22 Videomining Corporation Method and system for estimating gaze target, gaze sequence, and gaze map from video

Family Cites Families (166)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5016282A (en) 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
WO1993010708A1 (en) 1991-12-03 1993-06-10 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
CA2253626A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6152563A (en) 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
GB9813041D0 (en) 1998-06-16 1998-08-12 Scient Generics Ltd Eye tracking technique
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
DE69840608D1 (de) 1998-12-16 2009-04-09 3Dv Systems Ltd Selbsttastende photoempfindliche oberfläche
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6417950B1 (en) * 2000-08-28 2002-07-09 University Technology Corporation Three-color imaging on each pixel for increased resolution
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
ATE321689T1 (de) 2002-04-19 2006-04-15 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
EP1477924B1 (en) 2003-03-31 2007-05-02 HONDA MOTOR CO., Ltd. Gesture recognition apparatus, method and program
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7620202B2 (en) 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
CN100573548C (zh) 2004-04-15 2009-12-23 格斯图尔泰克股份有限公司 跟踪双手运动的方法和设备
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
JP5080273B2 (ja) 2005-01-07 2012-11-21 クアルコム，インコーポレイテッド オプティカルフローに基づく傾きセンサー
CN102831387B (zh) 2005-01-07 2016-12-14 高通股份有限公司 检测和跟踪图像中的物体
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
WO2006124935A2 (en) 2005-05-17 2006-11-23 Gesturetek, Inc. Orientation-sensitive signal output
DE602005010696D1 (de) 2005-08-12 2008-12-11 Mesa Imaging Ag Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7522344B1 (en) 2005-12-14 2009-04-21 University Of Central Florida Research Foundation, Inc. Projection-based head-mounted display with eye-tracking capabilities
WO2007085682A1 (en) * 2006-01-26 2007-08-02 Nokia Corporation Eye tracker device
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US7618144B2 (en) 2008-01-07 2009-11-17 Optical Physics Company System and method for tracking eye movement
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US9398848B2 (en) * 2008-07-08 2016-07-26 It-University Of Copenhagen Eye gaze tracking
EP2502410B1 (en) * 2009-11-19 2019-05-01 eSight Corporation A method for augmenting sight

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002009025A1 (en) * 2000-07-24 2002-01-31 Seeing Machines Pty Ltd Facial image processing system
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
CN1701012A (zh) * 2003-05-13 2005-11-23 西门子公司 确定汽车乘客的当前头部位置的方法
JP2005230049A (ja) * 2004-02-17 2005-09-02 National Univ Corp Shizuoka Univ 距離イメージセンサを用いた視線検出装置
CN1700242A (zh) * 2005-06-15 2005-11-23 北京中星微电子有限公司 一种判别视线方向的方法和装置
US20090252423A1 (en) * 2007-12-21 2009-10-08 Honda Motor Co. Ltd. Controlled human pose estimation from depth image streams
US20090196460A1 (en) * 2008-01-17 2009-08-06 Thomas Jakobs Eye tracking system and method
US7742623B1 (en) * 2008-08-04 2010-06-22 Videomining Corporation Method and system for estimating gaze target, gaze sequence, and gaze map from video

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104661579A (zh) * 2012-07-25 2015-05-27 达瓦洛尔战略咨询和技术有限公司 用于测量眼角膜的表面状况和厚度的一件设备以及为此所采用的测量方法
CN104685541A (zh) * 2012-09-17 2015-06-03 感官运动仪器创新传感器有限公司 用于确定三维对象上注视点的方法和装置
CN105142498A (zh) * 2013-03-15 2015-12-09 感知技术有限公司 增强光学和感知数字护目镜
CN105407791A (zh) * 2013-06-25 2016-03-16 微软技术许可有限责任公司 经由深度相机的眼睛追踪
CN104679226A (zh) * 2013-11-29 2015-06-03 上海西门子医疗器械有限公司 非接触式医疗控制系统、方法及医疗设备
CN104679226B (zh) * 2013-11-29 2019-06-25 上海西门子医疗器械有限公司 非接触式医疗控制系统、方法及医疗设备
CN111552079A (zh) * 2014-01-31 2020-08-18 奇跃公司 多焦点显示系统和方法
CN111552079B (zh) * 2014-01-31 2022-04-15 奇跃公司 多焦点显示系统和方法
CN105319714A (zh) * 2014-07-31 2016-02-10 精工爱普生株式会社 显示装置、显示装置的控制方法及程序
CN104581126A (zh) * 2014-12-16 2015-04-29 青岛歌尔声学科技有限公司 一种头戴显示设备的画面显示处理方法和处理装置
CN105700677A (zh) * 2015-12-29 2016-06-22 努比亚技术有限公司 一种移动终端及其控制方法
CN107765842A (zh) * 2016-08-23 2018-03-06 深圳市掌网科技股份有限公司 一种增强现实方法及系统
CN110913751A (zh) * 2017-06-30 2020-03-24 聂小春 具有滑动检测和校正功能的可穿戴眼睛跟踪系统
CN110913751B (zh) * 2017-06-30 2022-05-24 聂小春 具有滑动检测和校正功能的可穿戴眼睛跟踪系统
CN108563238B (zh) * 2018-06-15 2021-08-24 歌尔科技有限公司 一种遥控无人机的方法、装置、设备及系统
CN108563238A (zh) * 2018-06-15 2018-09-21 歌尔科技有限公司 一种遥控无人机的方法、装置、设备及系统
CN109947253B (zh) * 2019-03-25 2020-06-19 京东方科技集团股份有限公司 眼球追踪的模型建立方法、眼球追踪方法、设备、介质
CN109947253A (zh) * 2019-03-25 2019-06-28 京东方科技集团股份有限公司 眼球追踪的模型建立方法、眼球追踪方法、设备、介质

Also Published As

Publication number Publication date
US20120147328A1 (en) 2012-06-14
US8408706B2 (en) 2013-04-02

Similar Documents

Publication Publication Date Title
CN102551655A (zh) 3d凝视跟踪器
US8888287B2 (en) Human-computer interface system having a 3D gaze tracker
CN108351514B (zh) 使用结构光的眼睛追踪
JP6106684B2 (ja) 高分解能視線検出のためのシステムおよび方法
US8885177B2 (en) Medical wide field of view optical tracking system
US10802583B2 (en) Methods and apparatus for retinal retroreflection imaging
US10395111B2 (en) Gaze-tracking system and method
EP3082568B1 (en) Method for calibrating a head-mounted eye tracking device
US8077914B1 (en) Optical tracking apparatus using six degrees of freedom
JP4783018B2 (ja) 眼及びその凝視方向を検知し、追跡する方法と装置
CN104094197B (zh) 利用投影仪的注视追踪
JP7423659B2 (ja) 眼姿勢を推定するためのシステムおよび技法
EP3076892B1 (en) A medical optical tracking system
WO2019028152A1 (en) OCULAR TRACKING USING TEMPORAL MULTIPLEXING
US20170308160A1 (en) Off-Axis Eye Tracker
US20190384387A1 (en) Area-of-Interest (AOI) Control for Time-of-Flight (TOF) Sensors Used in Video Eyetrackers
US7618144B2 (en) System and method for tracking eye movement
US9946343B2 (en) Motion tracker with an array of distinct light sources
CN108697321B (zh) 用于在限定操作范围内进行视线跟踪的装置
US11914162B1 (en) Display devices with wavelength-dependent reflectors for eye tracking
US10534156B2 (en) Devices and methods for lens alignment based on encoded color patterns
JP2018028728A (ja) 眼部画像処理装置
CN117289793A (zh) 可佩戴系统的光学视线跟踪的系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120711