CN101163236A - 用于动态地校正头戴视频系统中的视差的系统和方法 - Google Patents

用于动态地校正头戴视频系统中的视差的系统和方法 Download PDF

Info

Publication number
CN101163236A
CN101163236A CNA2007101809367A CN200710180936A CN101163236A CN 101163236 A CN101163236 A CN 101163236A CN A2007101809367 A CNA2007101809367 A CN A2007101809367A CN 200710180936 A CN200710180936 A CN 200710180936A CN 101163236 A CN101163236 A CN 101163236A
Authority
CN
China
Prior art keywords
video data
skew
video source
user
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101809367A
Other languages
English (en)
Other versions
CN101163236B (zh
Inventor
T·K·特鲁多
B·R·多比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Exelis Inc
Original Assignee
ITT Manufacturing Enterprises LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ITT Manufacturing Enterprises LLC filed Critical ITT Manufacturing Enterprises LLC
Publication of CN101163236A publication Critical patent/CN101163236A/zh
Application granted granted Critical
Publication of CN101163236B publication Critical patent/CN101163236B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/24—Connectivity information management, e.g. connectivity discovery or connectivity update
    • H04W40/248—Connectivity information update
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/005—Discovery of network devices, e.g. terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks

Abstract

一种动态地校正视差的系统，其包括用于对物体成像并提供视频数据的头戴式视频源。采用控制器使所述头戴式视频源提供的视频数据发生电子形式偏移，以形成偏移视频数据。采用显示装置接收偏移显视数据，并向用户的眼睛显示偏移显视数据。将所述显示装置配置为直接放置在用户的眼前作为视觉辅助，将头戴视频源配置为放在用户眼睛的旁边。所述偏移视频数据校正了由于所述显示装置和头戴式视频源之间的水平和/或垂直位移而导致的视差。显示装置包括由相应的像素行和像素列构成的X、Y阵列，所述偏移视频数据包括沿所述X、Y阵列的X方向的若干像素列的偏移，和/或另一沿所述X、Y阵列的Y方向的若干像素行的偏移。

Description

用于动态地校正头戴视频系统中的视差的系统和方法
技术领域
本发明总体上涉及用于视差校正的系统。更具体地说，本发明涉及用于动态地校正直接放置在用户眼前的头戴式显示器(HMD)中的视差的系统和方法。
背景技术
戴在头上的视觉辅助装置通常直接位于接收辅助的眼睛前面。由于这些系统从直接观看光学路径迁移到了数字摄像机辅助，因而其系统配置要求将头戴式显示器(HMD)直接放在用户接收辅助的眼睛的前面，其眼睛间隙为一英寸。对HMD的这一放置妨碍了同时在接收辅助的眼睛的前面直接放置摄像机光圈(aperture)。必须将摄像机光圈移到HMD的前面或移到HMD的一侧。
例如，如果将数字摄像机放在接受辅助的眼睛的光轴旁边100mm处，那么将在数字摄像机的光圈和数字摄像机的图像显示之间建立位移，显示器通常以接受辅助的眼睛的光轴为中心放置。这一位移在通过摄像机观看的物体的视在位置与在物体空间(或实空间)中看到的物体的实际位置之间导致了不一致。将觉知到的空间和物空间中的这一偏差称为视差(parallax)。
图1提供了视差的例子。如图所示，用户通过头戴视频装置观察环境10。用户看到了处于近距离的工具12，并尝试拿起该工具。由于视差的作用，工具12的觉知位置(perceived position)是不正确的。通过虚线工具14表示物空间内工具12的真实位置。
在用户通过头戴视频装置观看物体的情况下，视差降低了视频系统的有用性。人的心理一视觉系统无意中习惯于通过其自然的入口光圈，即人眼的瞳孔来感知世界。手动任务中固有的手一眼协调就是以这一与生俱来的特性为基础的。普通的人体移动任务，例如，走路和跑步依赖于这一下意识过程。通过对准来消除某些固定距离处的视差的固定系统在所有的其他距离处都将失去对准状态。在通过对准视频系统来消除远距离处的物体的视差，但是用户试图对近距离处的另一物体，例如，处于用户的手臂所及的范围内的图1所示的工具12进行定位时，这一问题尤其明显。
如下文中的说明，本发明将通过提供一种系统来解决所述视差问题，所述系统用于对视频图像进行动态重新调准(realigning)，从而使图像在所有距离处均与现实世界相吻合。
发明内容
为了满足这一需要和其他需要并考虑其目的，本发明提供了一种视差受到动态校准的系统，其包括用于对物体成像并提供视频数据的头戴视频源。包括用于使头戴视频源提供的显视数据发生电子方式偏移(electronically offsetting)，以形成偏移显视数据的控制器。显示装置接收偏移显视数据，并向用户的眼睛显示偏移显视数据。将所述显示装置配置为直接放置在用户的眼前作为视觉辅助，将头戴视频源配置为放在用户眼睛的旁边。偏移视频数据校正由于显示装置和头戴视频源之间的位移而导致的视差。
显示装置包括由相应的像素行和像素列构成的X、Y阵列，偏移视频数据包括若干像素列沿X、Y阵列的X方向的偏移。或者，偏移视频数据可以包括若干像素行沿X、Y阵列的Y方向的偏移。所述偏移视频数据还可以包括若干像素列沿X、Y阵列的X方向的偏移以及若干像素行沿X、Y阵列的Y方向的另一偏移。
在几何上，用户眼睛的光轴向被视频源成像的物体延伸距离D，视频源的光圈的光轴沿与用户眼睛的光轴平行的方向延伸。所述向旁边的位移为Frankfort平面内用户眼睛的光轴与视频源的光圈的光轴之间的水平位移距离d。偏移显视数据以水平位移距离d和到物体的距离D为基础。
此外，形成如下水平偏移角θD：
θD＝tan -1d/D，
其中，d是用户眼睛的光轴和视频源的光圈的光轴之间的水平位移距离。
所述显示装置包括由相应的像素行和像素列构成的X、Y阵列，所述偏移显视数据包括下述水平偏移：
offsetcolumns＝#Columns/FOVhorz*θD
其中，offsetcolumns是以列为单位的水平偏移量，FOVhorz是视频源的水平视场，#Columns是显示装置的总列数。
此外，还形成垂直偏移角φD，其中
φD＝tan -1d′/D，
其中，d′是用户眼睛的光轴和视频源的光圈的光轴之间的垂直位移距离。偏移视频数据包括下述垂直偏移：
offsetrows＝#Rows/FOVvert*φD
其中，offsetrows是以行为单位的垂直偏移量，FOVvert是视频源的垂直视场，#Rows是显示装置内的总行数。
所述动态地校正视差的系统包括设置在所述视频源和显示装置之间的、用于将来自所述视频源的视频数据转化为数字视频数据的显示电子模块。将所述显示电子模块配置为从所述控制器接收偏移命令并将所述数字视频数据修改为偏移视频数据。可以将所述显示电子模块和所述控制器集成在单个单元内。将聚焦位置编码器连接至所述控制器，以确定到由所述视频源成像的物体的距离D，其中，采用距离D校正视差。
所述显示装置可以是头盔安装式显示器(helmet mounteddisplay，HMD)，或者是头戴式夜视眼镜的一部分。
本发明另一实施例包括一种为头戴式摄像机(head bornecamera)系统动态地校正视差的方法，所述头戴式摄像机系统具有视频源和显示装置，其中，将所述显示装置配置为直接位于用户眼前作为视觉辅助，将所述视频源设置为存在朝向用户眼睛旁边的位移。所述方法包括的步骤有：(a)通过所述视频源对物体成像以提供视频数据；(b)确定到物体的聚焦距离(focus distance)；(c)基于在步骤(b)中确定的所述聚焦距离以及所述用户眼睛和所述视频源的光圈之间的位移距离使所述视频数据发生偏移以形成偏移视频数据；以及(d)通过所述显示装置显示所述偏移视频数据。
应当理解，上述的一般性说明和下文的详细说明均为示范性的，而不是对本发明构成限制。
附图说明
通过结合附图阅读下面的详细说明本发明将得到最佳理解。附图包括：
图1示出了通过摄像机成像的物体与观察者在物空间内看到的同一物体之间的视差偏移的几何图；
图2是根据本发明实施例的用于动态校正头戴视频系统中的视差的系统的方框图；
图3A是用户看到的由摄像机成像的物体的顶视图，其中，图像的显示从摄像机的光圈产生了等于水平位移距离的位移；
图3B是用户看到的由摄像机成像的物体的侧视图，其中，图像的显示从摄像机的光圈产生了等于垂直位移距离的位移；
图4是根据本发明的实施例的、作为感兴趣的物体的观察距离的函数的需要在显示器上偏移的列数的图表；以及
图5是根据本发明的实施例的、作为感兴趣的物体的观察距离的函数的需要在显示器上偏移的列数的图表，其中，在摄像机的成像角内引入了偏置角(bias angle)。
具体实施方式
如下文所述，本发明将动态地重新对准视频图像，从而使图像在所有的距离处均与现实世界吻合。为了实现这一目的，本发明确定到感兴趣物体的距离，从而基于所确定的距离完成动态对准。在一个实施例中，本发明采用摄像机聚焦机构的绝对位置(或者手动聚焦旋钮的角取向)确定到用户感兴趣的物体的距离，之后向用户显示器上显示的图像施加适当的视差校正量。通过这种方式，感兴趣的物体的视在位置被正确地感知为在物空间内的实际位置处。
在本发明的一个实施例中，在诸如LCD或LED显示器的数字显示装置上向用户提供视频。这些显示器由像素行和像素列的阵列构成。通过控制向显示器发送的视频数据的定时，本发明在将所述图像显示给用户时在所述图像内引入偏移(offset)。通过在显示空间内偏移图像，本发明消除了物体的视在位置和其在物空间内的实际位置之间的差异。
在显示器上偏移图像的结果是沿图像偏移方向丢失了像素行和/或列。显示器的相对边缘上的像素行和/或列显示任意强度值，因为(假设摄像机与显示器之间具有一对一的像素分辨率关系)这些像素不再处于摄像机的视场内，因此不提供图像数据。因而，偏移图像导致了用户的有效视场(field-of-view)的缩小，因为有用的图像尺寸缩小了。但是，可以通过将摄像机瞄准角(pointing angle)设置为在比远场近得多的距离处实现会聚，而将这一负面影响最小化。
接下来参考图2，示出了动态校准头戴视频系统中的视差的系统，总地以附图标记20表示。系统20包括向显示电子模块24提供视频数据的视频源23，显示电子模块24形成用于在显示装置25上观看的数字像素数据。在系统20中还包括由附图标记21表示的聚焦位置(focus position)编码器，其用于向微控制器22提供聚焦位置数据。如图所示，聚焦位置编码器21对设置在视频源23上的聚焦旋钮26的取向编码。微控制器22将从位置编码器21接收的聚焦位置数据转化为X、Y偏移控制信号，在下文中将对其予以说明。向显示电子模块24提供X、Y偏移控制信号，显示电子模块24则提供用于在显示装置25上观看的偏移视频数据。
应当认识到，视频源23可以是任何摄像装置，其被配置为放在用户眼睛的光轴的侧面。在图2所示的实施例中，视频源23包括手动聚焦旋钮26，其允许用户调整摄像机的透镜，使之聚焦在感兴趣的物体上。显示装置25可以是任何显示器，其被配置为围绕用户眼睛的光轴放置。所述显示装置提供由从视频源23接收的视频数据表示的图像的偏移像素图像。在显示装置25上显示的像素的X、Y阵列和由视频源23提供的视频数据可以具有一对一的对应关系，或者可以具有任何其他关系，例如，由分辨率降低的显示器与高分辨率摄像机之间构成的对应关系。
作为另一实施例，可以通过电动机(未示出)控制聚焦旋钮26，从而实现视频源23的变焦透镜操作。在这一实施例中，聚焦位置编码器21可以包括变焦透镜镜筒，以确定到感兴趣的物体的焦距。可以包括焦距探测电路，以探测并输出变焦透镜镜筒的焦距。作为另一实施例，视频源23可以包括测距仪，例如红外测距仪，其可以将红外光束聚焦到目标上，并接收从目标反射的红外光束。聚焦位置编码器21内包括的位置敏感装置可以探测反射光束的位移，并提供所述目标的距离或位置的编码信号。
所述微控制器可以是具有由存储在介质内的软件程序提供的处理器执行能力的任何类型的控制器或者由集成电路提供的硬布线(hardwired)程序。接下来将描述微控制器22计算X、Y偏移控制信号的方式。
参考图3A和图3B，其示出了从用户眼睛32偏移了位移距离(displacement distance)的摄像机23。图3A和图3B相互类似，只是在图3A中，摄像机23朝向用户眼睛32的水平右侧水平位移距离d，在图3B中，摄像机23朝向用户眼睛的垂直侧(或高或低)垂直位移距离d′。所述水平位移距离和/或垂直位移距离通常处于100毫米左右。摄像机23具有由附图标记37表示的光轴，用户眼睛具有由附图标记35表示的光轴。如图所示，两光轴相互平行。
用户在观看物体31时通过显示装置25得到辅助。如图3A所示，摄像机23以水平偏移角θD对物体31成像。但是，在图3B中，摄像机23以垂直偏移角φD对物体31成像。在两幅图中，将物体31显示为显示装置25上的像素图像，以供用户观看。可以调整的聚焦距离是用户眼睛和感兴趣的物体31之间的距离D。
在下文中将采用图3A对通过微控制器22计算X偏移控制信号的方法举例说明。在这一例子中，X偏移的单位为水平像素，其可以等价于视频显示器25上的像素列。出于这一实例的目的，假设水平位移距离d为103mm；摄像机23的视场(FOV)为沿水平轴40度(HFOV)；显示装置25的水平分辨率为1280像素；摄像机23的光轴平行于未受辅助的眼睛32的光轴；摄像机的光圈处于观察者的Frankfort平面上，其与未经辅助的眼睛处于一条直线上；感兴趣的物体31处于聚焦距离D处。
通过下述方程(1)给出了水平偏移角θD：
θD＝tan-1d/D    (方程1)
通过下述方程(2)给出了校正系数“Chorz”(对于40度的FOV和1280像素的水平显示分辨率)，其单位为列每度
Chorz＝#Columns/FOVhorz
         ＝1280/40                   (方程2)
         ＝32列/度
这里，#Columns是数字显示器内列的总数或1280列(在这一例子中)。通过下述方程3给出了显示装置上的图像偏移或者以列为单位的偏移量，其中，θD是摄像机的视线36与摄像机光轴37之间的水平偏移角。
offsetcolumns＝Chorz*θD     (方程3)
在下文中，通过类似的方式，采用图3B对通过微控制器22计算Y偏移控制信号的方法举例说明。在这一例子中，Y偏移的单位为垂直像素，其可以等价于视频显示器25上的像素行。出于这一实例的目的，假设垂直位移距离d′为103mm；摄像机23的视场(FOV)为沿垂直轴30度(VFOV)；显示装置25的垂直分辨率为1024像素；摄像机23的光轴平行于未受辅助的眼睛32的光轴；摄像机的光圈与未经辅助的眼睛处于一条垂直线上；感兴趣的物体31处于聚焦距离D处。
通过下述方程(4)给出垂直偏移角φD
φD＝tan-1d′/D    (方程4)
通过下述方程5给出校正系数Cvert(针对30度的垂直FOV和1024像素的垂直显示分辨率)，其单位为行每度，
Cvert＝#Rows/FOVvert
     ＝1024/30                      (方程5)
     ＝34行/度
这里，#Rows是数字显示器中的总行数或者1024行(在这一例子中)。通过下述方程6给出了显示装置上的图像偏移或者以行为单位的偏移量，其中，φD是摄像机的视线36与摄像机光轴37之间的垂直偏移角。
offsetrows＝Cvert*φD     (方程6)
接下来参考图4，示出了#columns的偏移相对于观察者(用户眼睛)和所观察的物体(感兴趣的物体)之间的距离的关系的图表。更具体地说，图4绘制出了补偿由观察者和摄像机之间的103mm的水平位移导致的视差所需的以列数表示的水平图像偏移。对于位于接受辅助的眼睛的右侧的摄像机而言，显示器中的视差校正图像偏移朝向右侧。
图4所示的图表是针对具有40度的匹配(matched)HFOV的摄像机/HMD系统的。可以看出，随着观察者对越来越近的距离聚焦，消除视差所需的图像偏移量非线性增大。在2英尺的聚焦距离处，SXGA高分辨率显示器的可视面积的25％将被移出视野，由此使有效显示HFOV降低了大约25％。为了避免近聚焦距离处的HFOV的损失，可以使摄像机的光轴朝左偏置，由此降低水平偏移角θD。
可以针对#rows的偏移与观察者(用户眼睛)和所观察的物体(感兴趣的物体)之间的距离之间的关系绘制与图4所示的图表类似的图表。
最后，图5示出了凭借与针对图4所做的相同的假设得到的#columns的水平图像偏移，但是这里引入了4.8度的偏置角。在这一摄像机视角下，在4英尺处将消除视差所需的显示偏移降低为零。在2英尺处，所需的偏移为152列或者12％的HFOV，可以将其与图4中的24％的HFOV相比较。在超过4英尺的距离处，显示偏移变为负值，其表明必须使视频图像朝向显示器的相反边缘或末端偏移。因而，这一摄像机视角引入了具有相反符号的视差。对于10英尺的聚焦距离而言，补偿视差所需的水平显示偏移为-93列或7.2％的HFOV。在40英尺的距离处，水平显示偏移为139列或11％的HFOV。
包括头戴夜视眼镜和头戴现实间介装置(reality mediator device)的任何头戴摄像机系统均可以采用上述实施例。
尽管已经参考具体实施例对本发明进行了图示和文字描述，但是其意图并非在于将本发明限制为所给出的细节。相反，在权利要求的等同要件的范围内，并且在不背离本发明的情况下可以在细节上做出各种改变。

Claims (20)

1.一种动态地校正视差的系统，包括：
用于对物体成像并提供视频数据的头戴视频源，
用于使所述头戴视频源提供的所述视频数据发生电子形式偏移，以形成偏移视频数据的控制器，以及
用于接收所述偏移视频数据并向用户的眼睛显示所述偏移视频数据的显示装置，
其中，将所述显示装置配置为直接放置在所述用户的眼前作为视觉辅助，并将所述头戴视频源配置为存在向所述用户的眼睛的旁边的位移，并且
所述偏移视频数据校正由于所述显示装置和头戴视频源之间的位移而导致的视差。
2.根据权利要求1所述的动态地校正视差的系统，其中
所述显示装置包括相应的像素行和像素列的X、Y阵列，并且
所述偏移视频数据包括沿所述X、Y阵列的X方向的若干像素列的偏移。
3.根据权利要求1所述的动态地校正视差的系统，其中
所述显示装置包括相应的像素行和像素列的X、Y阵列，并且
所述偏移视频数据包括沿所述X、Y阵列的Y方向的若干像素行的偏移。
4.根据权利要求1所述的动态地校正视差的系统，其中
所述显示装置包括相应的像素行和像素列的X、Y阵列，并且
所述偏移视频数据包括沿所述X、Y方向的X方向的若干像素列的偏移和沿所述X、Y阵列的Y方向的若干像素行的另一偏移。
5.根据权利要求1所述的动态地校正视差的系统，其中
所述用户眼睛的光轴向由所述视频源成像的物体延伸距离D，
所述视频源的光圈的光轴沿与所述用户眼睛的光轴平行的方向延伸，
所述向旁边的位移为Frankfort平面内所述用户眼睛的光轴与所述视频源的光圈的光轴之间的水平位移距离d，并且
所述偏移视频数据以所述水平位移距离d和所述到物体的距离D为基础。
6.根据权利要求5所述的动态地校正视差的系统，其中，如下形成水平偏移角θD：
θD＝tan -1d/D，
其中，d是所述用户眼睛的光轴和所述视频源的光圈的光轴之间的水平位移距离，并且
所述显示装置包括相应的像素行和像素列的X、Y阵列，并且
所述偏移视频数据包括下述水平偏移：
offsetcolumns＝#columns/FOVhorz*θD
其中，offsetcolumns是以列为单位的水平偏移量，
FOVhorz是所述视频源的水平视场，并且
#Columns是所述显示装置中的总列数。
7.根据权利要求5所述的动态地校正视差的系统，其中如下形成垂直偏移角θD：
φD＝tan -1d′/D
其中，d′是所述用户眼睛的光轴和所述视频源的光圈的光轴之间的垂直位移距离；并且
所述显示装置包括相应的像素行和像素列的X、Y阵列，并且
所述偏移视频数据包括下述垂直偏移：
offsetrows＝#Rows/FOVvert*φD
其中，offsetrows是以行为单位的垂直偏移量，
FOVvert是所述视频源的垂直视场，并且
#Rows是所述显示装置内的总行数。
8.根据权利要求1所述的动态地校正视差的系统，包括
设置在所述视频源和所述显示装置之间的、用于将来自所述视频源的所述视频数据转化为数字视频数据的显示电子模块，
其中，将所述显示电子模块配置为从所述控制器接收偏移命令并将所述数字视频数据修改为所述偏移视频数据。
9.根据权利要求8所述的动态地校正视差的系统，其中
将所述显示电子模块和所述控制器集成在单个单元内。
10.根据权利要求1所述的动态地校正视差的系统，包括
连接至所述控制器的、用于确定到由所述视频源成像的物体的距离D的聚焦位置编码器，
其中，采用所述距离D校正所述视差。
11.根据权利要求1所述的动态地校正视差的系统，其中
所述显示装置为头盔安装式显示器(HMD)。
12.根据权利要求1所述的动态地校正视差的系统，其中
所述显示装置和所述视频源为头戴式夜视眼镜的一部分。
13.一种在具有视频源和显示装置的头戴式摄像机系统中动态地校正视差的方法，在所述头戴式摄像机系统中，将所述显示装置配置为直接位于用户眼前作为视觉辅助，将所述视频源设置为存在朝向用户眼睛旁边的位移，所述方法包括下述步骤：
(a)通过所述视频源对物体成像以提供视频数据；
(b)确定到物体的聚焦距离；
(c)基于在步骤(b)中确定的所述聚焦距离以及所述用户眼睛和所述视频源的光圈之间的位移距离使所述视频数据发生偏移以形成偏移视频数据；以及
(d)通过所述显示装置显示所述偏移视频数据；
其中，使所述视频数据偏移校正所述视差。
14.根据权利要求13所述的方法，其中，采用所述视频数据形成相应像素行和像素列的X、Y阵列，并且
步骤(c)包括使所述视频数据沿所述X、Y阵列的X方向移动若干像素列，以形成所述偏移视频数据。
15.根据权利要求13所述的方法，其中，采用所述视频数据形成相应像素行和像素列的X、Y阵列，并且
步骤(c)包括使所述视频数据沿所述X、Y阵列的Y方向移动若干像素行，以形成所述偏移视频数据。
16.根据权利要求13所述的方法，其中，采用所述视频数据形成相应像素行和像素列的X、Y阵列，并且
步骤(c)包括使所述视频数据沿所述X、Y阵列的X方向移动若干像素列，并使所述视频数据沿所述X、Y阵列的Y方向移动若干像素行，以形成所述偏移视频数据。
17.根据权利要求13所述的方法，其中
步骤(a)包括提供模拟视频数据，并且
步骤(c)包括在使所述视频数据偏移之前将所述模拟视频数据转换为数字视频数据。
18.根据权利要求13所述的方法，其中
将所述视频源配置为存在朝向所述用户眼睛的右侧的位移，并且
所述步骤(c)包括使所述物体的图像朝向所述显示装置的右侧偏移。
19.根据权利要求18所述的方法，其包括以下步骤：
使所述视频源的光圈朝向所述用户眼睛的光轴偏置，从而使在步骤(c)中产生的偏移量降至最低。
20.根据权利要求13所述的方法，其中
步骤(b)包括对设置在所述视频源上的聚焦旋钮的角取向进行编码，以确定到所述物体的所述聚焦距离。
CN2007101809367A 2006-10-10 2007-10-09 用于动态地校正头戴视频系统中的视差的系统和方法 Expired - Fee Related CN101163236B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/545,644 2006-10-10
US11/545,644 US8130261B2 (en) 2006-10-10 2006-10-10 System and method for dynamically correcting parallax in head borne video systems

Publications (2)

Publication Number Publication Date
CN101163236A true CN101163236A (zh) 2008-04-16
CN101163236B CN101163236B (zh) 2013-05-08

Family

ID=39032336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101809367A Expired - Fee Related CN101163236B (zh) 2006-10-10 2007-10-09 用于动态地校正头戴视频系统中的视差的系统和方法

Country Status (7)

Country Link
US (1) US8130261B2 (zh)
EP (1) EP1912392A2 (zh)
JP (1) JP5160852B2 (zh)
CN (1) CN101163236B (zh)
AU (1) AU2007219287B2 (zh)
CA (1) CA2604513A1 (zh)
IL (1) IL186235A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098442A (zh) * 2010-12-24 2011-06-15 中国科学院长春光学精密机械与物理研究所 变焦距摄像机光轴和视轴不重合度校准方法及其系统
CN102741727A (zh) * 2009-11-05 2012-10-17 拉兹罗·霍拉克斯基 一种附带有集成视频信号源的自由视野双目显示装置
CN102905076A (zh) * 2012-11-12 2013-01-30 深圳市维尚视界立体显示技术有限公司 一种3d立体拍摄智能控制的装置、系统及其方法
CN103369212A (zh) * 2012-03-28 2013-10-23 联想(北京)有限公司 一种图像采集方法及设备
CN103561272A (zh) * 2009-09-28 2014-02-05 松下电器产业株式会社 三维图像处理装置及其控制方法
CN103901622A (zh) * 2014-04-23 2014-07-02 成都理想境界科技有限公司 3d头戴观影设备及对应的视频播放器
CN104115491A (zh) * 2012-02-22 2014-10-22 索尼公司 显示装置、图像处理装置和图像处理方法、以及计算机程序
CN104769487A (zh) * 2012-09-12 2015-07-08 Bae系统信息和电子系统集成有限公司 安装于面部的极端环境热传感器系统
US9091849B2 (en) 2012-08-31 2015-07-28 Industrial Technology Research Institute Wearable display and adjusting method thereof
CN105026983A (zh) * 2013-01-09 2015-11-04 Lg电子株式会社 提供眼睛注视校准的头戴式显示器及其控制方法
US9619021B2 (en) 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
CN107346175A (zh) * 2017-06-30 2017-11-14 联想(北京)有限公司 一种手势位置校正方法和增强现实显示设备
WO2018010040A1 (zh) * 2016-07-11 2018-01-18 王民良 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引
CN108535868A (zh) * 2017-03-01 2018-09-14 精工爱普生株式会社 头部佩戴型显示装置及其控制方法
CN111866493A (zh) * 2020-06-09 2020-10-30 青岛小鸟看看科技有限公司 基于头戴显示设备的图像校正方法、装置及设备
TWI741536B (zh) * 2020-03-20 2021-10-01 台灣骨王生技股份有限公司 基於混合實境的手術導航影像成像方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8648897B2 (en) * 2006-10-10 2014-02-11 Exelis, Inc. System and method for dynamically enhancing depth perception in head borne video systems
US9618748B2 (en) * 2008-04-02 2017-04-11 Esight Corp. Apparatus and method for a dynamic “region of interest” in a display system
ES2423989T3 (es) 2009-03-30 2013-09-26 The Boeing Company Red AD HOC móvil
JP6314339B2 (ja) * 2014-01-16 2018-04-25 コニカミノルタ株式会社 眼鏡型表示装置
JP6347067B2 (ja) * 2014-01-16 2018-06-27 コニカミノルタ株式会社 眼鏡型表示装置
WO2016088227A1 (ja) * 2014-12-03 2016-06-09 日立マクセル株式会社 映像表示装置及び方法
US10162412B2 (en) 2015-03-27 2018-12-25 Seiko Epson Corporation Display, control method of display, and program
WO2018190826A1 (en) 2017-04-12 2018-10-18 Hewlett-Packard Development Company, L.P. Transfer to head mounted display
US11290942B2 (en) 2020-08-07 2022-03-29 Rockwell Collins, Inc. System and method for independent dominating set (IDS) based routing in mobile AD hoc networks (MANET)
US11726162B2 (en) 2021-04-16 2023-08-15 Rockwell Collins, Inc. System and method for neighbor direction and relative velocity determination via doppler nulling techniques
US11737121B2 (en) 2021-08-20 2023-08-22 Rockwell Collins, Inc. System and method to compile and distribute spatial awareness information for network
US11665658B1 (en) 2021-04-16 2023-05-30 Rockwell Collins, Inc. System and method for application of doppler corrections for time synchronized transmitter and receiver
US11296966B2 (en) 2019-11-27 2022-04-05 Rockwell Collins, Inc. System and method for efficient information collection and distribution (EICD) via independent dominating sets
US11037359B1 (en) * 2020-06-24 2021-06-15 Microsoft Technology Licensing, Llc Real-time rendering stylized passthrough images
US11646962B1 (en) 2020-10-23 2023-05-09 Rockwell Collins, Inc. Zero overhead efficient flooding (ZOEF) oriented hybrid any-cast routing for mobile ad hoc networks (MANET)
US11481960B2 (en) * 2020-12-30 2022-10-25 Meta Platforms Technologies, Llc Systems and methods for generating stabilized images of a real environment in artificial reality

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4398799A (en) * 1980-03-04 1983-08-16 Pilkington P.E. Limited Head-up displays
US6590573B1 (en) * 1983-05-09 2003-07-08 David Michael Geshwind Interactive computer system for creating three-dimensional image information and for converting two-dimensional image information for three-dimensional display systems
GB2189365A (en) * 1986-03-20 1987-10-21 Rank Xerox Ltd Imaging apparatus
US4924247A (en) * 1988-03-11 1990-05-08 Asahi Kogaku Kogyo Kabushiki Kaisha Apparatus and method for correcting and adjusting parallax in electronic camera
US5173726A (en) * 1991-06-04 1992-12-22 Eastman Kodak Company Automatic parallax correction in deploying lens camera
US5500671A (en) * 1994-10-25 1996-03-19 At&T Corp. Video conference system and method of providing parallax correction and a sense of presence
JPH09269528A (ja) * 1996-01-31 1997-10-14 Canon Inc パララックス補正機能付きカメラ
US5787313A (en) * 1997-02-20 1998-07-28 Eastman Kodak Company Hybrid camera including viewfinder with masks for parallax correction and image format indication
CA2233047C (en) * 1998-02-02 2000-09-26 Steve Mann Wearable camera system with viewfinder means
JP3261115B2 (ja) * 1999-09-22 2002-02-25 富士重工業株式会社 ステレオ画像処理装置
US6560029B1 (en) * 2001-12-21 2003-05-06 Itt Manufacturing Enterprises, Inc. Video enhanced night vision goggle
JP2004289548A (ja) * 2003-03-24 2004-10-14 Olympus Corp 画像調整装置及び頭部装着型表示装置
JP4388790B2 (ja) * 2003-11-06 2009-12-24 富士フイルム株式会社 内視鏡用光源装置のソケット
CN2665738Y (zh) 2003-11-28 2004-12-22 王小光 一种多用途成像装置
US7225548B2 (en) * 2004-05-17 2007-06-05 Sr2 Group, Llc System and method for aligning multiple sighting devices
CN1721915A (zh) * 2004-07-14 2006-01-18 文化传信科技（澳门）有限公司 影像显示系统及其方法
CN101111748B (zh) * 2004-12-03 2014-12-17 弗卢克公司 具有激光指示器的可见光和ir组合的图像照相机
JP2006208451A (ja) * 2005-01-25 2006-08-10 Konica Minolta Photo Imaging Inc 映像表示装置
US20060250322A1 (en) * 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
CN1716081A (zh) * 2005-07-22 2006-01-04 中国科学院上海光学精密机械研究所 头戴式自照明摄像系统

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561272B (zh) * 2009-09-28 2016-08-17 株式会社索思未来 三维图像处理装置及其控制方法
CN103561272A (zh) * 2009-09-28 2014-02-05 松下电器产业株式会社 三维图像处理装置及其控制方法
CN102741727B (zh) * 2009-11-05 2016-02-03 拉兹罗·霍拉克斯基 一种附带有集成视频信号源的自由视野双目显示装置
CN102741727A (zh) * 2009-11-05 2012-10-17 拉兹罗·霍拉克斯基 一种附带有集成视频信号源的自由视野双目显示装置
CN102098442B (zh) * 2010-12-24 2012-09-19 中国科学院长春光学精密机械与物理研究所 变焦距摄像机光轴和视轴不重合度校准方法及其系统
CN102098442A (zh) * 2010-12-24 2011-06-15 中国科学院长春光学精密机械与物理研究所 变焦距摄像机光轴和视轴不重合度校准方法及其系统
US10356375B2 (en) 2012-02-22 2019-07-16 Sony Corporation Display device, image processing device and image processing method, and computer program
US9628766B2 (en) 2012-02-22 2017-04-18 Sony Corporation Display device, image processing device and image processing method, and computer program
CN104115491A (zh) * 2012-02-22 2014-10-22 索尼公司 显示装置、图像处理装置和图像处理方法、以及计算机程序
CN103369212A (zh) * 2012-03-28 2013-10-23 联想(北京)有限公司 一种图像采集方法及设备
US9091849B2 (en) 2012-08-31 2015-07-28 Industrial Technology Research Institute Wearable display and adjusting method thereof
CN104769487A (zh) * 2012-09-12 2015-07-08 Bae系统信息和电子系统集成有限公司 安装于面部的极端环境热传感器系统
CN102905076A (zh) * 2012-11-12 2013-01-30 深圳市维尚视界立体显示技术有限公司 一种3d立体拍摄智能控制的装置、系统及其方法
CN102905076B (zh) * 2012-11-12 2016-08-24 深圳市维尚境界显示技术有限公司 一种3d立体拍摄智能控制的装置、系统及其方法
CN105026983B (zh) * 2013-01-09 2017-07-25 Lg电子株式会社 提供眼睛注视校准的头戴式显示器及其控制方法
US9529442B2 (en) 2013-01-09 2016-12-27 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
US9619021B2 (en) 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
CN105026983A (zh) * 2013-01-09 2015-11-04 Lg电子株式会社 提供眼睛注视校准的头戴式显示器及其控制方法
CN103901622A (zh) * 2014-04-23 2014-07-02 成都理想境界科技有限公司 3d头戴观影设备及对应的视频播放器
WO2018010040A1 (zh) * 2016-07-11 2018-01-18 王民良 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引
US10603133B2 (en) 2016-07-11 2020-03-31 Taiwan Main Orthopaedic Biotechnology Co., Ltd. Image guided augmented reality method and a surgical navigation of wearable glasses using the same
CN108535868B (zh) * 2017-03-01 2022-03-22 精工爱普生株式会社 头部佩戴型显示装置及其控制方法
CN108535868A (zh) * 2017-03-01 2018-09-14 精工爱普生株式会社 头部佩戴型显示装置及其控制方法
CN107346175A (zh) * 2017-06-30 2017-11-14 联想(北京)有限公司 一种手势位置校正方法和增强现实显示设备
CN107346175B (zh) * 2017-06-30 2020-08-25 联想(北京)有限公司 一种手势位置校正方法和增强现实显示设备
US10671173B2 (en) 2017-06-30 2020-06-02 Lenovo (Beijing) Co., Ltd. Gesture position correctiing method and augmented reality display device
TWI741536B (zh) * 2020-03-20 2021-10-01 台灣骨王生技股份有限公司 基於混合實境的手術導航影像成像方法
CN111866493A (zh) * 2020-06-09 2020-10-30 青岛小鸟看看科技有限公司 基于头戴显示设备的图像校正方法、装置及设备
CN111866493B (zh) * 2020-06-09 2022-01-28 青岛小鸟看看科技有限公司 基于头戴显示设备的图像校正方法、装置及设备

Also Published As

Publication number Publication date
AU2007219287A1 (en) 2008-04-24
AU2007219287B2 (en) 2013-08-01
JP2008134616A (ja) 2008-06-12
CN101163236B (zh) 2013-05-08
US20080084472A1 (en) 2008-04-10
US8130261B2 (en) 2012-03-06
CA2604513A1 (en) 2008-04-10
EP1912392A2 (en) 2008-04-16
IL186235A (en) 2013-01-31
IL186235A0 (en) 2008-01-20
JP5160852B2 (ja) 2013-03-13

Similar Documents

Publication Publication Date Title
CN101163236B (zh) 用于动态地校正头戴视频系统中的视差的系统和方法
US8648897B2 (en) System and method for dynamically enhancing depth perception in head borne video systems
US11223820B2 (en) Augmented reality displays with active alignment and corresponding methods
US10869024B2 (en) Augmented reality displays with active alignment and corresponding methods
US9678345B1 (en) Dynamic vergence correction in binocular displays
US8330846B2 (en) Image pickup apparatus
US9113061B1 (en) System and method for zoom alignment of clip-on digital electro-optic sight
US20150198808A1 (en) Image display apparatus and method for displaying image
US20100295754A1 (en) Systems, apparatus and fast methods for aligning images to external markers in near-to-eye display systems
US11604315B1 (en) Multiplexing optical assembly with a high resolution inset
CN109855845A (zh) 一种双目镜测量车载hud虚像距离与修正方法
RU2007135972A (ru) Система отображения информации в псевдообъемном виде на двухмерном дисплее
US20130223699A1 (en) Facial validation sensor
KR100837259B1 (ko) 3차원 모니터에서 영상왜곡을 보상하는 방법
US10303211B2 (en) Two part cone display using flexible substrates
US20210051315A1 (en) Optical display, image capturing device and methods with variable depth of field
JP2002162194A (ja) 小火器用昼夜間照準具
US10712572B1 (en) Angle sensitive pixel array including a liquid crystal layer
US20190215459A1 (en) Digital boresighting laser range finder to imaging device
KR102171740B1 (ko) 광축 보정이 가능한 af 줌 렌즈모듈을 갖는 영상감시장치
US20230314755A1 (en) Eyepiece for night vision devices capable of injecting a synthetic image with a single optical correction mechanism
US10991343B2 (en) Automatic image alignment with head mounted display optics
US20230231987A1 (en) Low cost hud using stereo and head tracking
CN113777783B (zh) 具有对准校正的双目增强现实系统及对准校正方法
US10679416B1 (en) Crosstalk mitigation for virtual reality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: ANLISHI COMPANY

Free format text: FORMER OWNER: ITT MANUFACTURING ENTERPRISES, INC.

Effective date: 20120821

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20120821

Address after: American Virginia

Applicant after: EXELIS, INC.

Address before: American Delaware

Applicant before: ITT Mfg. Enterprises, Inc.

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130508

Termination date: 20151009

EXPY Termination of patent right or utility model