CN1630877A - 基于计算机视觉的无线定向系统 - Google Patents

基于计算机视觉的无线定向系统 Download PDF

Info

Publication number
CN1630877A
CN1630877A CNA018084680A CN01808468A CN1630877A CN 1630877 A CN1630877 A CN 1630877A CN A018084680 A CNA018084680 A CN A018084680A CN 01808468 A CN01808468 A CN 01808468A CN 1630877 A CN1630877 A CN 1630877A
Authority
CN
China
Prior art keywords
hand
light
image
control module
held device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA018084680A
Other languages
English (en)
Inventor
A·J·科尔梅纳雷兹
E·科亨-索拉尔
D·温沙尔
M·-S·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1630877A publication Critical patent/CN1630877A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Abstract

一个系统包括至少一个可移动手持装置内的光源、至少一个检测所述光源发出光的光检测器和接收来自至少一个光检测器的数据的控制单元。控制单元从来自至少一个光检测器的数据确定手持装置在至少二维空间内的位置，并翻译该位置以控制显示器上的部件。

Description

基于计算机视觉的无线定向系统
技术领域
本发明涉及无线定向系统，尤其是确定定向装置的位置并将该位置映射到计算机中以显示光标或控制计算机程序的无线定向系统。
背景技术
诸如计算机鼠标或光笔的定向装置在计算机世界中是常见的。这些装置不仅帮助使用者操作计算机，而且在它们的发展进程中还进入了将使用者从需要与计算机硬连接的接口中解放出来的阶段。目前可用的一种无线装置，例如无线鼠标，利用陀螺效应以确定定向装置的位置。此信息被转换为数字位置数据并作为例如光标输出到显示器上。这些定向装置的问题是它们依赖于装置的旋转甚于平移。旋转的装置降低了精确度，且装置相对沉重，因为它们需要有足够的质量以利用动量守恒原则。
还有一种可用的定向装置发送特定波长的光。由接收器检测光，并翻译为位置数据以用于显示器上的光标。这些装置尽管比陀螺式的同类装置要更亮也更便宜，但受限于发送和检测时所选择的特定波长。
将光源引入以控制遥控装置的控制设备可用于商业用途。这些装置中最常见的是家用音频和视频设备，例如录象机、电视或立体声系统。这些系统包括一个遥控装置或发送器，主机有一个光敏感元件或接收器。遥控装置使用红外线光源来发送指令信号。光源，通常为LED(LED)，根据要发送到主机的指令以特定频率闪光。从遥控装置发送的指令信号被接收器检测，并翻译为控制信号以控制主机。LED和接收器工作于相同波长以允许对光信号的检测和正确的通信。除其它方面以外，这种波长匹配的设计约束降低了接收器与单波长发送器的兼容性。
数字照相机也迅速进入了商业市场。数字照相机的标准技术主要基于两种格式：电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)传感器。CCD传感器更为精确，但与CMOS传感器相比更昂贵，CMOS传感器为成本的大幅降低而牺牲了精确度。尽管每种装置处理图象的方式不同，它们在捕获图象时都使用了相同的基本原则。一个像素阵列通过镜头曝光一幅图象。每个像素表面上会聚的光随着所捕获图象部分的变化而变化。当捕获图象时，像素记录其上入射光的强度，随后被处理为可见的形式。
发明内容
本发明的一个目的是提供一个系统，允许将诸如遥控器的商用手持装置用作显示器上的定向装置、指示器或其它部件(feature)控制。进一步的目的是提供可检测由例如这类手持装置的LED发射的闪光的系统，不考虑波长或频率，并使用该检测以提供定向装置或其它部件控制。本发明的进一步目的是在系统中使用标准数字照相机和图象检测及识别处理技术，而无需校准这些组件。本发明的另一个目的是提供一个系统，除了检测三个角自由度外，还可检测手持装置在三维空间内的移动，并可提供在显示器上3维透视图中部件的相应移动。
本发明提供包含带发射光的LED的手持装置。从LED中发射的光在由至少一个数字照相机对装置进行捕获的图象中检测。在二维图象中检测到的装置位置被翻译为显示器上的相应坐标。显示器上的相应坐标可用于定位光标、定向装置或其它可移动部件。因此，系统提供由显示器上的光标、定向装置或其它可移动部件的移动，与使用者手中手持装置的移动相对应。
通过引入一个以上的数字照相机，也可以从图象中确定手持装置在深度方向的变化。这可以用于在三维透视图中定位光标、定向装置或其它可移动部件。因此，系统通过显示器上三维透视图中光标、定向装置或其它移动部件的移动提供对应于使用者手中手持装置的三维移动。
通过将一个以上的LED引入手持装置，系统还可以检测旋转运动(因而检测与装置移动的所有六个自由度对应的运动)。可通过在手持装置使用至少两个以不同频率和/或波长发光的LED来检测旋转运动。在照相机的图像中检测两个(或多个)LED的不同频率和/或波长，并通过处理技术进行辨别。因此，基于两个LED所发射光的相对移动可检测连续图象中的旋转。如上所述，手持装置的旋转运动也可以包含在显示器上点的三维透视图中(以及三维透视图中光标、定向装置或其它可移动部件的相应移动)。
本发明的系统还可以补偿拿着手持装置的使用者的移动。因而，例如如果使用者移动，而装置相对于使用者保持固定不动，在显示器上就没有光标、定向装置或其它可移动部件的移动。因此，例如，系统使用图象识别来检测使用者的移动并辨别手持装置与使用者的相对运动。例如，当手持装置和使用者所在的参考点之间有运动时，系统可以检测手持装置的移动。
发明还包括一个系统，其中包含在一个可移动手持装置中的至少一个光源，至少一个用以检测来自所谓光源的光的光检测器，以及从至少一个光检测器接收图象数据的控制单元。控制单元从来自至少一个光检测器的图象数据中检测手持装置在至少二维空间中的位置，并翻译该位置以控制显示器上的部件。
此至少一个光检测器可以是一个数字照相机。数字照相机可捕获包括由手持装置发射光的数字图象序列，并将数字图象序列传输给控制单元。控制单元可包含图象检测算法，用来检测从数字照相机发送的图象序列中手持装置的光图象。控制单元可以将图象中检测到的手持装置的位置映射到显示空间以显示。显示空间中的映射位置可以控制显示空间中诸如光标之类的部件的移动。
此至少一个光检测器可包含两个数字照相机。这两个数字照相机中的每个捕获包含由手持装置发射光的数字图象序列，且由每个照相机将每个数字图象序列发送至控制单元。控制单元可包含图象检测算法，检测从两个数字照相机发送的图象序列中手持装置的光图象。控制单元还可包含深度检测算法，其使用从两个照相机中的每个接收的图象中光源的位置来确定来自手持装置深度位置变化的深度参数。控制单元将从来自相机之一的至少一幅图象中所检测到的手持装置的位置和深度参数映射到显示空间的三维透视图中用于显示。显示空间中的映射位置控制显示空间三维透视图中部件的移动。
此至少一个光检测器还包含至少一个数字照相机，且手持装置可包含两个光源。数字照相机可捕获包含来自手持装置的两个光源的光的数字图象序列，且数字图象序列被发送至控制单元。控制单元可包含图象检测算法，检测从数字照相机发送的图象序列中手持装置两个光源的光图像。控制单元根据两个光源的图像确定手持设备的角度方位。控制单元将图象中检测到的手持装置的至少一个角度方位映射到显示空间用于显示。
更进一步地，手持装置上可增加附加功能以加入标准鼠标和其它控制部件，因此允许发明作为更全功能的定向装置使用。
附图说明
本发明的上述和其它方面、特性和优点，将结合附图并通过下面的详述而更加显而易见：
图1是根据本发明第一种实施方案的无线定向装置系统的典型视图；
图1a是图1中所示部件之一的内部剖视图；
图2是根据本发明第二种实施方案的无线定向装置系统的典型视图；
图3是根据本发明第三种实施方案的无线定向装置系统的典型视图；
图4是本发明第三种实施方案的处理流程图。
具体实施方式
本发明的优选实施方案将在下文中参考附图进行描述。在下面的描述中，众所周知的功能或构造将不再详述，因为这样可能会由于不必要的细节而令发明含糊不清。
图1是根据本发明一种实施方案的系统典型视图。如图1所示，手持装置101被描述为通常与录象机或电视机相配的标准遥控控制器。手持装置101中包含的控制单元促使LED 103以预置频率闪光。闪光的起始可由任何开关方法控制，例如，开/关切换、动作切换或对使用者接触敏感的装置，当使用者碰触或拾起装置时可打开LED 103。可以使用任何其它开/关方法，此处描述的例子并不意谓限制。
在启动LED 103的闪光后，所发送的光105由照相机111聚焦并入射到数字照相机111感光表面的一部分。典型地，数字照相机使用二维感光阵列来捕获通过照相机聚焦光学器件入射到阵列表面的光。阵列包含感光单元网格，诸如CCD阵列，每个单元和其它电子元件电相连，这些电子元件包括一个模/数转换器、缓冲区和其它存储器、一个处理器和压缩及解压缩模块。在本实施方案中，来自定向装置的光入射到图1a(数字照相机111的阵列表面113一部分的剖视图)所示由单元115组成的阵列表面113上。
通常，当快门(未示出)允许光(诸如来自LED 111的光)入射并由感光表面113记录时，数字照相机111的每幅图象被“捕获”。尽管提到了“快门”，也可以是任何等价的光调节机制或电子装置，用来创建数字照相机上的连续图象，或数字摄象机中连续的图象帧。当打开快门时，进入照相机111的包含图象的光由照相机光学器件聚焦至阵列表面113的对应区域，且每个感光单元(或像素)115记录其上入射光的强度。由此，感光单元115中捕获的强度共同记录了图象。
因此，进入照相机111的来自手持装置101的闪光103被聚焦为约一个点，并记录为一个或一小组像素115的入射强度电平。数字照相机111处理以数字化形式记录在每个像素中的光电平并发送至控制单元121，如图1a。
控制单元121包括图象识别算法，检测并跟踪来自LED 103的光。当来自LED 103的光105以与照相机111快门相同顺序的频率闪烁时，由于快门和LED103的闪光图案同时移入和移出，来自LED 103的光点的连续图象将有强度变化。控制单元121可存储多个连续图象的图象数据，且控制单元121的图象识别算法由此搜索图象像素，找到连续图象中强度上下变化的小光点。一旦识别到图案，算法推断图象中与手持装置103所在处对应的位置。控制单元121中还可采用一种图象识别算法作为选择或结合使用，用来搜索并识别图象中的一个区域，该区域有暗背景(手持装置101的主体)和亮度中心(包含由LED 103发射的光105)。
一旦手持装置101在图象中的位置由控制单元121识别，可由控制单元121使用已知的图象跟踪算法对连续图象跟踪该位置。控制单元使用这些算法，将焦点集中于和前一幅或前几幅图象中手持装置101的位置相对应的图象区域。控制单元121可在图象像素数据中寻找手持装置101的特征，例如由紧邻暗背景(对应装置101主体)围绕的光点。
由控制单元所识别和跟踪的图象中手持装置101的位置被映射到显示器123上并用于控制例如光标、鼠标或其它定位元件。例如，可按下式由手持装置在图象中的位置推导出显示器123上光标的位置：
Xdpy＝scale*(Ximg-Xref)                             公式1
在公式1中，矢量Xdpy是光标在显示器123(称作显示空间)的二维参考坐标系统中的位置，矢量Ximg是由控制单元所识别的手持装置101在二维图象(称作图象空间)中的位置，矢量Xref是图象空间中的参考点且“scale”是由控制单元使用的标量缩放系数，用来将图象空间按比例缩放到显示空间。(注意下文中引入的粗体字Xdpy，Ximg，Xref和Xperson表示矢量)。参考点Xref是除了前述手持装置101的位置外，控制单元可放置在图象中的参考点。因此，公式1右侧括号内的部分对应于手持装置101在图象空间内从图象中参考点移动的距离。当手持装置101移动时，其在图象空间中的位置根据固定参考点而确定。因此，仅当装置相应于参考点有移动时，才会改变图象空间中检测到的装置101的映射。从而，仅当装置101在图象空间中有实际移动时，显示空间中光标或相似的可移动部件才有相应的移动。每次检测闪光时检测参考点，当光消失时复位参考点，对应于使用者释放而后重新连接手持装置101。
显然，易于对上述第一种实施方案的系统进行改造以检测并跟踪多个手持装置，可以使用图象空间中每个这类装置的移动来移动显示器上单独的光标、定向装置或其它可移动部件。例如，在图1照相机111的视野中，带闪光LED的两个或多个单独的手持装置，其光聚焦于感光阵列113上。由控制单元121采用上述用于单个手持装置101的方式分别检测和跟踪图象中的每个闪光LED。控制单元121使用公式1，采用上述用于单个手持装置的方式将每个装置的位置从图象空间映射到显示空间。每个此类映射可随即用于控制显示器123上单独的光标等。
因此，两个或多个手持装置中的每个可独立地控制显示器上单独的光标或其它可移动部件。由于每个光标的移动相应于由控制单元121映射的一个手持装置，每个光标(或可移动部件)在屏幕上的移动与其它光标(或可移动部件)无关。两个或多个手持装置可以有同样的闪光频率或图案，或有不同的频率，这允许控制单元121被编程以更易于识别和/或辨别发送的光信号。此外，LED可发送不同波长的光，同样允许控制单元121更易于识别和/或辨别图象中发送的光信号。所发送的光可以是可被照相机检测的任意波长的可见光。如果照相机检测到可见光之外的波长，例如红外线，手持装置可以以该波长发送光。
此外，系统可包含训练例程，允许控制单元学习一个或多个手持装置的闪光特性和波长等。当由使用者进行训练例程时，例如指令可以指导使用者在正对照相机111前面特定距离处手握手持装置并启动LED103的闪光。控制单元从连续图象中记录装置101的闪光频率或图案。也可以记录手持装置101的波长和/或图象轮廓。此数据随即被控制单元用于此后对手持装置101的识别和跟踪。此训练程序可记录多个手持装置的这类基本数据，因此便于系统此后对手持装置的检测和跟踪。
可对涉及上述公式1的控制单元的处理过程进行修正，以使相对于携带手持装置的使用者的位置进行手持装置图象空间和显示空间之间的映射，如下：
Xdpy＝scale*(Ximg-Xref-Xperson)                      公式2
在公式2中，矢量Xperson是拿着装置的使用者的位置，例如使用者胸部的中心点。因此，仅当图象中手持装置的矢量位置Ximg相对于矢量(Xref+Xperson)，也即，由参考点定位的人的位置有改变时，圆括号中给定的坐标才改变。从而，人可以带着手持装置103在房间里走来走去，且仅当手持装置101相对使用者有移动时，控制单元才将手持装置101位置的变化从图象空间映射到显示空间中。
控制单元可使用众所周知的对人的图象检测和跟踪算法来检测图象中的Xperson。需要注意的是，Xperson坐标可以是使用者的中心点，例如使用者胸部的中心点。如前所述，当每次检测手持装置101上的闪光时，可以检测和设置Xref。此缩放系数还可被设置为与人体的尺寸(例如人体的宽度)成反比，因此对于照相机和使用者之间的距离而言映射保持不变。当然，如果系统在其处理中使用与公式2对应的映射，可以在上述方式中修改处理技术以检测、跟踪和映射由多个使用者掌握的多个手持装置。
还可以选择对处理方法进行进一步修改，以跟踪手持装置仅相对于人的移动，由此避免与公式2对应的处理方法中当使用者移动时显示器上光标的移动。但在公式2中，将参考坐标点作为原点(也即零矢量)，或者等价地，将公式1中的矢量Xref作为可移动参考点，即前述中的矢量Xperson。由此，控制单元121有相应的映射算法：
Xdpy＝scale*(Ximg-Xperson)                          公式3
在公式3中，公式圆括号中的部分(对应图象空间)确定手持装置Ximg相对于矢量Xperson的移动，例如相对于使用者胸部中心点的旋转运动。因此，还是仅当手持装置相对于人移动，而不是使用者移动而手持的装置相对固定时，才改变从图象空间到显示空间的映射。对与公式2对应的映射完成相同的结果，但由控制单元121完成的图象识别和映射处理更少。
图2描述本发明的第二种实施方案，与第一种实施方案类似，但包含至少一个附加的数字照相机。如此处所述，向系统中加入至少一个照相机允许系统对各个照相机图象使用例如立体三角测量算法，检测并量化手持装置深度方向的移动(也即装置101在与图2所示照相机111，211所组成的图象平面相正交的Z方向上的移动)。Z方向上位置变化的移动和量化，再加上上述第一种实施方案的二维位置移动(也即图2所示的X-Y平面)，允许系统将图象空间映射到显示空间中光标或其它可移动物体的三维透视图。
由此，在图2的系统中，由控制单元121对两幅图象检测并跟踪手持装置101的位置，即从照相机111对装置101的一幅图象，另一幅来自照相机211。可以直接由图象中的一幅确定图象空间中手持装置101的二维空间，即照相机的图象平面中装置的平面图象坐标(x，y)。
可以通过使用平面图象坐标(x，y)和第二幅图象中手持装置图象的平面图象坐标(x’，y’)来确定与手持装置进出移动(也即图2中所示的Z方向)相对应的数据。可以使用计算机视觉的标准技术，即已知的“立体问题”，来确定手持装置在图2中实空间的Z坐标(和实空间中相对于已知参考坐标系统的X和Y坐标)。在例如由Trucco和Verri所著的“Introductory Techniques for 3-D Computer Vision(三维计算机视觉的入门技术)”(Prentice Hall，1998)中，尤其是题为“立体影象”的第7章中描述了三维计算机视觉的基本立体技术，这些内容在此引入作为参考。使用此众所周知的技术，手持装置101在实空间中的Z坐标与第一个照相机图象中装置的图象位置(已知图象坐标(x，y))之间的关系由公式给出：
x＝X/Z                                公式4a
同样地，手持装置的位置与第二个照相机图象中装置的第二个图象位置(已知图象坐标(x’，y’))之间的关系由公式给出：
x’＝(X-D)/Z                             公式4b
其中D是照相机111和211之间的距离。本领域技术人员将认识到在等式4a-4b中给出的关系符合照相机几何学所定义的线性变换。
解等式4a和4b，得到Z：
Z＝D/(x-x’)                             公式4c
因此，对于连续图象通过分别确定在来自照相机111和211所捕获的图象中手持装置的x和x’位置，控制单元121可以确定手持装置在Z方向位置的变化，也即由图象捕获平面的进出。可以用与前述类似的方式消除人在Z方向上的移动，因此装置101相对于使用者的Z轴移动被确定。
当由控制单元121检测出Z方向上的改变，控制单元可将实空间中的Z移动缩放至图象，这样在图象空间中除了二维平面(诸如(x，y)，如果第一个照相机的图象用于跟踪和映射变化)外，还有深度维。因此，控制单元121可以将包含深度维的图象空间映射到显示空间中光标或其它可移动部件的三维透视图中。由此，除了与手持装置上/下和左/右移动相对应的显示器中光标的上/下和左/右移动外，手持装置朝向或远离照相机111和211的移动导致相应的光标三维透视图移入移出显示器。
由于从图象空间中手持装置的坐标映射得到光标的移动，因此不需要照相机校准。(即使在深度方面，等式4c是图象坐标x，x’的函数；此外，可以在系统中固定分隔距离D并为控制单元121所知)。同样，由于闪光检测算法已内含解决了点对应问题，测量三维位移相对简单并需要很少的计算。
如上面第一种实施方案所述，第二种实施方案(包含至少第二个照相机用于检测深度数据，用于将图象空间映射至显示空间)可以包含装置训练处理装置，且检测、跟踪并映射由多个使用者掌握的多个手持装置。两个或多个手持装置可各自独立地控制显示器上单独的光标或其它可移动部件。由于每个光标的移动响应于由控制单元121映射的手持装置之一，每个光标(或可移动部件)在屏幕上的移动与其它光标(或可移动部件)无关。两个或多个手持装置可以有同样的闪光频率或图案，或有不同的频率。此外，LED可发送不同波长的光，同样允许控制单元121更易于识别和/或辨别图象中发送的光信号。所发射的光可以是可被照相机检测的任意波长的可见光。如果照相机检测到可见光之外的波长，例如红外线，手持装置可以以该波长发送光。
图3描述本发明的第三种实施方案，引入至少两个照相机111和211(如第二种实施方案)和手持装置101中的至少两个LED103和303。将至少再多一个LED加至手持装置101，允许系统计算所有六个运动度数(三种平移和三种旋转)。如前面第二种实施方案所述，运动的三种平移度被检测并从图象空间映射到显示空间，因此在此不再重复。
对于手持装置旋转运动的检测和映射，如前所述，图3中的手持装置101引入第二个LED303到发送器中。从每个LED103和303中发射的光被照相机111分别检测并跟踪。(从每个LED103和303中发射的光也被照相机211分别检测并跟踪，但来自第二个照相机的图象仅用于手持装置101的深度运动，只有第一个照相机的图象在旋转处理中被考虑)。此分别的检测和跟踪类似于图1实施方案的讨论中两个单个手持装置的检测和跟踪。由此，控制单元121使用图象检测处理技术分析图象，且如前所述检测图象上的两个光点，其被识别为从两个闪光的LED101和303得到。通过图象中光点的邻近度，控制单元121确定光点来自一个手持装置上的LED。也可以用其它方式来确定，例如图象识别软件可以看到光点都在相同的暗背景上，该背景被识别为装置101的主体。
由控制单元检测的在连续图象中两个光点的相对移动表示手持装置沿光发送轴旋转(摇晃)。光点在图象中相对位置的其它变化，诸如光点之间的距离，可由控制单元121用于确定斜度和摇摆度。从图象空间映射到显示空间的数据可因而包括三维数据和用于三个旋转自由度的数据。由此，映射可提供光标或其它移动装置在显示器上三维透视图中的旋转和定向移动。
系统可以与前述第一种实施方案类似的方式检测并跟踪由多个使用者掌握的多个手持装置。因此，两个或多个手持装置可以各自独立地控制显示器上单独的光标或其它可移动部件。由于每个光标的移动响应于由控制单元121映射的一个手持装置，每个光标(或可移动部件)在屏幕上的移动与其它光标(或可移动部件)无关。两个或多个手持装置可以有同样的闪光频率或图案，或有不同的频率。此外，LED可发送不同波长的光，同样允许控制单元121更易于识别和/或辨别图象中发送的光信号。如第一种实施方案中所述，如果图象中来自LED101和103的光以不同频率闪光和/或有不同波长，则控制单元更易于分辨。所发送的光可以是可被照相机检测的任意波长的可见光。如果照相机检测到可见光之外的波长，例如红外线，手持装置可以以该波长发送光。
现在将参考图3和图4描述无线定向系统。图4是本发明的处理流程图。在步骤401，LED103和303由拿着手持装置101的使用者打开，在这种情况下是遥控器。在步骤402，系统通过由照相机111和211发送到控制单元121的图象来确定是否有光从遥控器101发送出。如果没有检测到光，则过程返回到步骤402。如果检测到光，则在步骤403中控制单元从照相机111和211捕获并传送的连续图象中计算三维位置的变化和三个自由度的旋转，如前述参考第三种实施方案。在步骤404中控制单元121将遥控器101的位置和旋转从图象空间映射到显示空间，这用于光标的三维透视图中。甚至都不需要显示光标。根据本发明的第二种实施方案，改用定向装置控制虚拟现实计算机空间中显示的移动，二维或三维网格不同层次间的导航。
除了本发明的上述优点外，本发明还有很大的商业优势。在发送器中不包含所有昂贵的部件(例如照相机和处理器)。发送器所包含的最少部件是振荡器、LED和连接部件。本发明的商业应用当然是交互式视频游戏，其中使用者可使用遥控器或其它手持装置来控制玩家在显示空间三维透视图中的移动。此外，可在各种其它系统，例如电信会议、电视电话和视频邮件等中引入照相机，可易于升级以加入未来的开发。同样，系统并不限于单定向装置或发送器。使用简短的设置步骤系统可引入多个发送器，以支持多使用者功能。由系统完成的检测不依赖于波长或甚至由手持装置发送光的频率。
将手持装置的移动从图象空间到显示空间的映射，还可应用于除了光标移动和玩家移动等之外的其它用途中。三维映射方案的范围从真实世界坐标与显示系统虚拟世界中三维坐标之间的直接映射到更抽象的表示，其中深度被用于控制数据导航系统中的其它参数。这些抽象方案的例子很多：例如，在三维导航语境中，二维定向可允许平面中的选择，而三维定向还可以允许抽象深度中的控制，例如调整电子节目指南(EPG)建议的结果中所需要的相关性和/或摇移-倾斜照相机(PTC)的手动控制。在另一种语境中，二维定向允许在视频内容、电视节目中选择超级对象，例如在线购物。同样，定向装置可用作在显示器上书写的虚拟笔，可包含虚拟手写签名(包括签名识别)，可再次用于电子购物或其它认证协议，诸如家用电器的控制。如前所述，在视频游戏应用中，本发明的系统可支持虚拟世界中的多用户交互和导航。同样，在基于电子摇移/倾斜/变焦(EPTZ)的视频会议中，例如，一个参与者可在显示器的图象上指示并点击来选择目标，随即可控制图象变焦等。
此外，尽管在上述实施方案中将照相机111和211的特性描述为用于捕获图象以检测并跟踪手持装置，它们也可以用于其它用途，例如电信会议和其它图象的传输以及其它图象识别和处理。
因此，尽管本发明已参考特定优选实施方案示出并描述，本领域技术人员将能理解，在不脱离由所附权利要求所定义的本发明的精神和范围的条件下，可以对其中的形式和细节做出各种改变。

Claims (27)

1.一个系统，包括：
至少一个在可移动手持装置101中的光源103；
至少一个检测来自所述光源103的光105的光检测器111；
接收来自至少一个光检测器111的图象数据的控制单元121；
其中控制单元121从来自至少一个光检测器111的图象数据中检测手持装置101在至少二维空间中的位置，并将该位置翻译以控制显示器上的一个部件。
2.如权利要求1的系统，其中至少一个光检测器111是数字照相机。
3.如权利要求2的系统，其中数字照相机111捕获数字图象序列，其包含由手持装置101发送的光105，数字图象序列发送至控制单元121。
4.如权利要求3的系统，其中控制单元121包含图象检测算法，其检测从数字照相机111发送的图象序列中手持装置101的光105的图象。
5.如权利要求4的系统，其中控制单元121将图象中所检测到的手持装置101的位置映射到显示空间用于显示。
6.如权利要求5的系统，其中显示空间中所映射的位置控制显示空间中部件的移动。
7.如权利要求6的系统，其中显示空间中的部件是光标。
8.如权利要求3的系统，其中所捕获的图象由控制单元121为了至少一个其它目的而进行处理。
9.如权利要求8的系统，其中至少一个其它目的是从电信会议、图象传输和图象识别中选择。
10.如权利要求1的系统，其中所述至少一个光源103是LED。
11.如权利要求1的系统，其中至少一个光检测器111包含两个数字照相机。
12.如权利要求11的系统，其中两个数字照相机中的每个捕获数字图象序列，其包含由手持装置101发送的光105，每个数字图象序列由每个照相机发送至控制单元121。
13.如权利要求12的系统，其中控制单元121包含图象检测算法，其检测从两个数字照相机发送的每个图象序列中手持装置101的光105的图象。
14.如权利要求13的系统，其中控制单元121包含深度检测算法，其使用从两个照相机中每个接收到的图象中光的位置来确定来自手持装置101的深度位置改变的深度参数。
15.如权利要求14的系统，其中控制单元121将所检测到的至少一幅来自照相机中的一个的图象中手持装置101的位置和深度参数映射到显示空间的三维透视图中用于显示。
16.如权利要求15的系统，其中显示空间中所映射的位置控制显示空间三维透视图中部件的移动。
17.如权利要求1的系统，其中至少一个光检测器111是至少一个数字照相机，且手持装置101包含两个光源103和303。
18.如权利要求17的系统，其中数字照相机捕获一系列数字图象，其包含来自手持装置101两个光源103和303的光105，数字图象序列发送至控制单元121。
19.如权利要求18的系统，其中控制单元121包含图象检测算法，其从数字照相机发送的图象序列中检测手持装置101的两个光源103和303的图象。
20.如权利要求19的系统，其中控制单元121从两个光源103和303的图象中确定手持装置101的至少一个角度方位。
21.如权利要求20的系统，其中控制单元121将在图象中所检测到的手持装置101的至少一个角度方位映射到显示空间以显示。
22.如权利要求1的系统，其中光源103以落在可见光和红外线光谱内的波长发送光。
23.一个系统，包括：
两个或多个可移动手持装置101，每个手持装置包括至少一个光源103，
至少一个光检测器111，其检测来自两个或多个手持装置的每个的至少一个光源103的光105，
控制单元121，其接收来自至少一个光检测器111的图象数据，
其中控制单元121从来自至少一个光检测器111的图象数据中检测两个或多个可移动手持装置中的每个在至少二维空间内的位置，并将两个或多个可移动手持装置的每个的位置翻译以分别控制显示器上的两个或多个各自的部件。
24.如权利要求23的系统，其中两个或多个手持装置的每个的至少一个光源103以闪光频率打开和关闭，并以闪光波长发送光105。
25.如权利要求24的系统，其中两个或多个手持装置的至少一个光源103的闪光频率不同。
26.如权利要求24的系统，其中两个或多个手持装置的至少一个光源103的闪光波长不同。
27.如权利要求26的系统，其中闪光波长落在可见光和红外线光谱内。
CNA018084680A 2000-12-22 2001-12-10 基于计算机视觉的无线定向系统 Pending CN1630877A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/746,045 2000-12-22
US09/746,045 US20020085097A1 (en) 2000-12-22 2000-12-22 Computer vision-based wireless pointing system

Publications (1)

Publication Number Publication Date
CN1630877A true CN1630877A (zh) 2005-06-22

Family

ID=24999270

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA018084680A Pending CN1630877A (zh) 2000-12-22 2001-12-10 基于计算机视觉的无线定向系统

Country Status (5)

Country Link
US (1) US20020085097A1 (zh)
EP (1) EP1346313A2 (zh)
JP (1) JP2004517406A (zh)
CN (1) CN1630877A (zh)
WO (1) WO2002052496A2 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101382838B (zh) * 2007-09-06 2010-06-16 三星电子株式会社 配备相机的便携式终端中的鼠标指针功能执行设备和方法
CN101807115A (zh) * 2010-04-07 2010-08-18 友达光电股份有限公司 交互式立体显示系统以及距离计算方法
CN101980109A (zh) * 2010-11-02 2011-02-23 中国科学院上海微系统与信息技术研究所 无线操控显示系统
CN102822784A (zh) * 2010-03-31 2012-12-12 诺基亚公司 用于虚拟触笔的装置、方法和计算机程序
CN103196362A (zh) * 2012-01-09 2013-07-10 西安智意能电子科技有限公司 一种用于确定发射装置相对检测装置的三维位置的系统
CN103282867A (zh) * 2011-01-07 2013-09-04 夏普株式会社 遥控器、显示装置、电视接收机、及遥控器用程序
CN103425270A (zh) * 2012-05-17 2013-12-04 瑞轩科技股份有限公司 光标控制系统
CN104049810A (zh) * 2013-03-15 2014-09-17 纬创资通股份有限公司 触控装置与其应用于其上的选取方法
CN101484933B (zh) * 2006-05-04 2016-06-15 索尼计算机娱乐美国有限责任公司 基于一个或多个视觉的、听觉的、惯性的和混合的数据来应用传动效应到输入的方法和设备
CN108733211A (zh) * 2017-04-21 2018-11-02 宏达国际电子股份有限公司 追踪系统、其操作方法、控制器、及电脑可读取记录媒体
CN110223327A (zh) * 2013-10-07 2019-09-10 苹果公司 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统

Families Citing this family (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7676579B2 (en) * 2002-05-13 2010-03-09 Sony Computer Entertainment America Inc. Peer to peer network communication
US7952570B2 (en) 2002-06-08 2011-05-31 Power2B, Inc. Computer navigation
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7883415B2 (en) * 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US7782297B2 (en) * 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
US8019121B2 (en) * 2002-07-27 2011-09-13 Sony Computer Entertainment Inc. Method and system for processing intensity from input devices for interfacing with a computer program
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US7391409B2 (en) * 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US20060256081A1 (en) * 2002-07-27 2006-11-16 Sony Computer Entertainment America Inc. Scheme for detecting and tracking user manipulation of a game controller body
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US8224985B2 (en) 2005-10-04 2012-07-17 Sony Computer Entertainment Inc. Peer-to-peer communication traversing symmetric network address translators
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US8060626B2 (en) * 2008-09-22 2011-11-15 Sony Computer Entertainment America Llc. Method for host selection based on discovered NAT type
DK1573498T3 (da) 2002-11-20 2012-03-19 Koninkl Philips Electronics Nv Brugergrænsefladesystem baseret på en pegeindretning
JP3819853B2 (ja) * 2003-01-31 2006-09-13 株式会社東芝 表示装置
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
JP2004287168A (ja) * 2003-03-24 2004-10-14 Pioneer Electronic Corp 情報表示装置及び情報表示方法
US8032619B2 (en) * 2003-04-16 2011-10-04 Sony Computer Entertainment America Llc Environment information server
US20040223081A1 (en) 2003-05-09 2004-11-11 Gale Charles H. Camera stabilizer platform and camcorder therefor
US6862407B2 (en) * 2003-05-09 2005-03-01 Charles H. Gale Camera stabilizer platform and camcorder therefor
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7603464B2 (en) * 2003-06-04 2009-10-13 Sony Computer Entertainment Inc. Method and system for identifying available resources in a peer-to-peer network
JP2005003813A (ja) * 2003-06-10 2005-01-06 Matsushita Electric Ind Co Ltd 撮像装置、撮像システムおよび撮像方法
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US8287373B2 (en) * 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US7792988B2 (en) * 2003-10-20 2010-09-07 Sony Computer Entertainment America, LLC Peer-to-peer data relay
US7627678B2 (en) * 2003-10-20 2009-12-01 Sony Computer Entertainment America Inc. Connecting a peer in a peer-to-peer relay network
US8388440B2 (en) * 2003-10-20 2013-03-05 Sony Computer Entertainment America Llc Network account linking
US8010633B2 (en) * 2003-10-20 2011-08-30 Sony Computer Entertainment America Llc Multiple peer-to-peer relay networks
US7663689B2 (en) 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
WO2005073836A2 (en) * 2004-01-30 2005-08-11 Koninklijke Philips Electronics, N.V. 3-d cursor control system
JP4436164B2 (ja) * 2004-03-18 2010-03-24 日本電信電話株式会社 光信号ポインティング方法、光信号ポインティング装置、および、プログラム
US7686692B2 (en) * 2004-05-10 2010-03-30 Sony Computer Entertainment Inc. Pattern codes used for interactive control of computer applications and video game applications
US7746321B2 (en) 2004-05-28 2010-06-29 Erik Jan Banning Easily deployable interactive direct-pointing system and presentation control system and calibration method therefor
US7769409B2 (en) 2004-06-23 2010-08-03 Sony Computer Entertainment America Inc. Network participant status evaluation
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US20060136246A1 (en) * 2004-12-22 2006-06-22 Tu Edgar A Hierarchical program guide
EP1836549A2 (en) * 2005-01-12 2007-09-26 Thinkoptics, Inc. Handheld vision based absolute pointing system
US7796116B2 (en) * 2005-01-12 2010-09-14 Thinkoptics, Inc. Electronic equipment for handheld vision based absolute pointing system
CN2807330Y (zh) * 2005-02-03 2006-08-16 北京正百和科技有限公司 一种光点鼠标控制器
US7548230B2 (en) * 2005-05-27 2009-06-16 Sony Computer Entertainment Inc. Remote input device
US8427426B2 (en) * 2005-05-27 2013-04-23 Sony Computer Entertainment Inc. Remote input device
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
JP4773170B2 (ja) 2005-09-14 2011-09-14 任天堂株式会社 ゲームプログラムおよびゲームシステム
US8616973B2 (en) * 2005-09-15 2013-12-31 Sony Computer Entertainment Inc. System and method for control by audible device
US8645985B2 (en) * 2005-09-15 2014-02-04 Sony Computer Entertainment Inc. System and method for detecting user attention
EP2293172A3 (en) * 2005-10-26 2011-04-13 Sony Computer Entertainment Inc. System and method for interfacing and computer program
US20070210718A1 (en) * 2006-03-08 2007-09-13 Luis Taveras Remote light switching device
JP5089060B2 (ja) * 2006-03-14 2012-12-05 株式会社ソニー・コンピュータエンタテインメント エンタテインメントシステムおよびゲームコントローラ
KR101060779B1 (ko) * 2006-05-04 2011-08-30 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 시각, 음향, 관성, 및 혼합 데이터 중 하나 이상에 근거하여 기어링 효과들을 입력에 적용하기 위한 방법들 및장치들
WO2007130791A2 (en) * 2006-05-04 2007-11-15 Sony Computer Entertainment America Inc. Multi-input game control mixer
US8210943B1 (en) 2006-05-06 2012-07-03 Sony Computer Entertainment America Llc Target interface
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US20080098448A1 (en) * 2006-10-19 2008-04-24 Sony Computer Entertainment America Inc. Controller configured to track user's level of anxiety and other mental and physical attributes
JP5132131B2 (ja) * 2006-11-17 2013-01-30 任天堂株式会社 ポインティング装置の調整プログラムおよびポインティング装置
US9526995B2 (en) * 2006-11-22 2016-12-27 Sony Interactive Entertainment America Llc Video game recording and playback with visual display of game controller manipulation
EP2097802A2 (en) * 2006-11-27 2009-09-09 Koninklijke Philips Electronics N.V. 3d control of data processing through handheld pointing device
TWI351224B (en) * 2006-12-28 2011-10-21 Pixart Imaging Inc Cursor controlling method and apparatus using the same
JP4187768B2 (ja) * 2007-03-20 2008-11-26 株式会社コナミデジタルエンタテインメント ゲーム装置、進行制御方法、および、プログラム
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US7995478B2 (en) 2007-05-30 2011-08-09 Sony Computer Entertainment Inc. Network communication with path MTU size discovery
US7908393B2 (en) * 2007-12-04 2011-03-15 Sony Computer Entertainment Inc. Network bandwidth detection, distribution and traffic prioritization
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
US8222996B2 (en) * 2007-12-31 2012-07-17 Intel Corporation Radio frequency identification tags adapted for localization and state indication
JP5684577B2 (ja) 2008-02-27 2015-03-11 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー シーンの深度データをキャプチャし、コンピュータのアクションを適用する方法
US7856506B2 (en) * 2008-03-05 2010-12-21 Sony Computer Entertainment Inc. Traversal of symmetric network address translator for multiple simultaneous connections
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8200795B2 (en) 2008-06-05 2012-06-12 Sony Computer Entertainment Inc. Mobile phone game interface
US8463182B2 (en) * 2009-12-24 2013-06-11 Sony Computer Entertainment Inc. Wireless device pairing and grouping methods
US8620213B2 (en) * 2009-12-24 2013-12-31 Sony Computer Entertainment Inc. Wireless device pairing methods
US9167071B2 (en) * 2008-06-24 2015-10-20 Sony Computer Entertainment Inc. Wireless device multimedia feed switching
CN102099814B (zh) * 2008-07-01 2018-07-24 Idhl控股公司 3d定位器映射
US8342926B2 (en) 2008-07-13 2013-01-01 Sony Computer Entertainment America Llc Game aim assist
US20100048301A1 (en) * 2008-08-19 2010-02-25 Sony Computer Entertainment America Inc. Gaming peripheral including rotational element
US8221229B2 (en) * 2008-10-27 2012-07-17 Sony Computer Entertainment Inc. Spherical ended controller with configurable modes
US8961313B2 (en) 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
US8253801B2 (en) * 2008-12-17 2012-08-28 Sony Computer Entertainment Inc. Correcting angle error in a tracking system
US8761434B2 (en) * 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system
US8970707B2 (en) * 2008-12-17 2015-03-03 Sony Computer Entertainment Inc. Compensating for blooming of a shape in an image
US20100188429A1 (en) * 2009-01-29 2010-07-29 At&T Intellectual Property I, L.P. System and Method to Navigate and Present Image Libraries and Images
US20100192181A1 (en) * 2009-01-29 2010-07-29 At&T Intellectual Property I, L.P. System and Method to Navigate an Electonic Program Guide (EPG) Display
US8376858B2 (en) * 2009-02-20 2013-02-19 Sony Computer Entertainment America Llc System and method for communicating game information between a portable gaming device and a game controller
US20100228600A1 (en) * 2009-03-09 2010-09-09 Eric Lempel System and method for sponsorship recognition
US8527657B2 (en) 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US20100250385A1 (en) * 2009-03-31 2010-09-30 Eric Lempel Method and system for a combination voucher
US9047736B2 (en) * 2009-04-08 2015-06-02 Sony Computer Entertainment America Llc System and method for wagering badges
US8342963B2 (en) 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
US8142288B2 (en) 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
US8393964B2 (en) 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
US8160265B2 (en) * 2009-05-18 2012-04-17 Sony Computer Entertainment Inc. Method and apparatus for enhancing the generation of three-dimensional sound in headphone devices
US20100303297A1 (en) * 2009-05-30 2010-12-02 Anton Mikhailov Color calibration for object tracking
US9058063B2 (en) * 2009-05-30 2015-06-16 Sony Computer Entertainment Inc. Tracking system calibration using object position and orientation
CN101923403A (zh) * 2009-06-09 2010-12-22 鸿富锦精密工业（深圳）有限公司 无线双头鼠标
US8340345B2 (en) * 2009-07-13 2012-12-25 Cejay Engineering, Llc Thermal and short wavelength infrared identification systems
US8217787B2 (en) * 2009-07-14 2012-07-10 Sony Computer Entertainment America Llc Method and apparatus for multitouch text input
US20110014983A1 (en) * 2009-07-14 2011-01-20 Sony Computer Entertainment America Inc. Method and apparatus for multi-touch game commands
US20110015976A1 (en) * 2009-07-20 2011-01-20 Eric Lempel Method and system for a customized voucher
US8497902B2 (en) * 2009-12-18 2013-07-30 Sony Computer Entertainment Inc. System for locating a display device using a camera on a portable device and a sensor on a gaming console and method thereof
US8560583B2 (en) 2010-04-01 2013-10-15 Sony Computer Entertainment Inc. Media fingerprinting for social networking
US9264785B2 (en) 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US8296422B2 (en) 2010-05-06 2012-10-23 Sony Computer Entertainment Inc. Method and system of manipulating data based on user-feedback
US9189211B1 (en) 2010-06-30 2015-11-17 Sony Computer Entertainment America Llc Method and system for transcoding data
US9143699B2 (en) 2010-07-13 2015-09-22 Sony Computer Entertainment Inc. Overlay non-video content on a mobile device
US9159165B2 (en) 2010-07-13 2015-10-13 Sony Computer Entertainment Inc. Position-dependent gaming, 3-D controller, and handheld as a remote
US8730354B2 (en) 2010-07-13 2014-05-20 Sony Computer Entertainment Inc Overlay video content on a mobile device
US9832441B2 (en) 2010-07-13 2017-11-28 Sony Interactive Entertainment Inc. Supplemental content on a mobile device
US9814977B2 (en) 2010-07-13 2017-11-14 Sony Interactive Entertainment Inc. Supplemental video content on a mobile device
US9183683B2 (en) 2010-09-28 2015-11-10 Sony Computer Entertainment Inc. Method and system for access to secure resources
US8419541B2 (en) 2010-11-17 2013-04-16 Sony Computer Entertainment Inc. Smart shell to a game controller
KR20120058802A (ko) * 2010-11-30 2012-06-08 삼성전자주식회사 3차원 위치／방향 추정 시스템에서 3차원 위치를 보정하는 장치 및 방법
US8761412B2 (en) 2010-12-16 2014-06-24 Sony Computer Entertainment Inc. Microphone array steering with image-based source location
US8791901B2 (en) 2011-04-12 2014-07-29 Sony Computer Entertainment, Inc. Object tracking with projected reference patterns
TWI423177B (zh) 2011-07-19 2014-01-11 Pixart Imaging Inc 光學遙控系統
CN102903227B (zh) * 2011-07-26 2015-12-16 原相科技股份有限公司 光学遥控系统
US9724597B2 (en) * 2012-06-04 2017-08-08 Sony Interactive Entertainment Inc. Multi-image interactive gaming device
US9746926B2 (en) * 2012-12-26 2017-08-29 Intel Corporation Techniques for gesture-based initiation of inter-device wireless connections
CN107368200B (zh) * 2013-06-18 2020-06-02 原相科技股份有限公司 遥控装置
US10937187B2 (en) 2013-10-07 2021-03-02 Apple Inc. Method and system for providing position or movement information for controlling at least one function of an environment
US9977565B2 (en) * 2015-02-09 2018-05-22 Leapfrog Enterprises, Inc. Interactive educational system with light emitting controller
US10684485B2 (en) 2015-03-06 2020-06-16 Sony Interactive Entertainment Inc. Tracking system for head mounted display
US10296086B2 (en) 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
US20170302863A1 (en) * 2016-04-19 2017-10-19 De la Cuadra, LLC Spatial detection devices and systems
JP7233399B2 (ja) * 2020-06-23 2023-03-06 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5440326A (en) * 1990-03-21 1995-08-08 Gyration, Inc. Gyroscopic pointer
US5448261A (en) * 1992-06-12 1995-09-05 Sanyo Electric Co., Ltd. Cursor control device
US5297061A (en) * 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
US5926168A (en) * 1994-09-30 1999-07-20 Fan; Nong-Qiang Remote pointers for interactive televisions
GB9420578D0 (en) * 1994-10-12 1994-11-30 Secr Defence Position sensing of a remote target
US5746261A (en) * 1994-12-29 1998-05-05 Bowling; John M. Remotely controlled stump cutter or similar apparatus
US5661505A (en) * 1995-01-13 1997-08-26 Livits; Eric A. Single hand-controlled computer input device
US6016147A (en) * 1995-05-08 2000-01-18 Autodesk, Inc. Method and system for interactively determining and displaying geometric relationships between three dimensional objects based on predetermined geometric constraints and position of an input device
US5973672A (en) * 1996-10-15 1999-10-26 Raytheon Company Multiple participant interactive interface
US5841440A (en) * 1996-12-17 1998-11-24 Apple Computer, Inc. System and method for using a pointing device to indicate movement through three-dimensional space
US6677987B1 (en) * 1997-12-03 2004-01-13 8×8, Inc. Wireless user-interface arrangement and method
CA2326642C (en) * 1998-04-03 2008-06-17 Image Guided Technologies, Inc. Wireless optical instrument for position measurement and method of use therefor
US6151015A (en) * 1998-04-27 2000-11-21 Agilent Technologies Pen like computer pointing device
TW522732B (en) * 2000-02-15 2003-03-01 Sorceron Inc Method and system for distributing captured motion data over a network

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101484933B (zh) * 2006-05-04 2016-06-15 索尼计算机娱乐美国有限责任公司 基于一个或多个视觉的、听觉的、惯性的和混合的数据来应用传动效应到输入的方法和设备
CN101382838B (zh) * 2007-09-06 2010-06-16 三星电子株式会社 配备相机的便携式终端中的鼠标指针功能执行设备和方法
CN102822784A (zh) * 2010-03-31 2012-12-12 诺基亚公司 用于虚拟触笔的装置、方法和计算机程序
CN101807115A (zh) * 2010-04-07 2010-08-18 友达光电股份有限公司 交互式立体显示系统以及距离计算方法
CN101980109A (zh) * 2010-11-02 2011-02-23 中国科学院上海微系统与信息技术研究所 无线操控显示系统
CN101980109B (zh) * 2010-11-02 2013-04-10 中国科学院上海微系统与信息技术研究所 无线操控显示系统
CN103282867B (zh) * 2011-01-07 2016-06-15 夏普株式会社 遥控器、显示装置、电视接收机、及遥控器用程序
CN103282867A (zh) * 2011-01-07 2013-09-04 夏普株式会社 遥控器、显示装置、电视接收机、及遥控器用程序
CN103196362B (zh) * 2012-01-09 2016-05-11 西安智意能电子科技有限公司 一种用于确定发射装置相对检测装置的三维位置的系统
WO2013104314A1 (zh) * 2012-01-09 2013-07-18 西安智意能电子科技有限公司 一种用于确定发射装置相对检测装置的三维位置的系统
CN103196362A (zh) * 2012-01-09 2013-07-10 西安智意能电子科技有限公司 一种用于确定发射装置相对检测装置的三维位置的系统
CN103425270A (zh) * 2012-05-17 2013-12-04 瑞轩科技股份有限公司 光标控制系统
CN103425270B (zh) * 2012-05-17 2016-08-03 瑞轩科技股份有限公司 光标控制系统
CN104049810A (zh) * 2013-03-15 2014-09-17 纬创资通股份有限公司 触控装置与其应用于其上的选取方法
CN110223327A (zh) * 2013-10-07 2019-09-10 苹果公司 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统
CN110223327B (zh) * 2013-10-07 2023-08-01 苹果公司 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统
CN108733211A (zh) * 2017-04-21 2018-11-02 宏达国际电子股份有限公司 追踪系统、其操作方法、控制器、及电脑可读取记录媒体
US10564733B2 (en) 2017-04-21 2020-02-18 Htc Corporation Operating method of tracking system, controller, tracking system, and non-transitory computer readable storage medium
CN108733211B (zh) * 2017-04-21 2020-05-22 宏达国际电子股份有限公司 追踪系统、其操作方法、控制器、及电脑可读取记录媒体

Also Published As

Publication number Publication date
WO2002052496A3 (en) 2003-03-20
EP1346313A2 (en) 2003-09-24
WO2002052496A2 (en) 2002-07-04
JP2004517406A (ja) 2004-06-10
US20020085097A1 (en) 2002-07-04

Similar Documents

Publication Publication Date Title
CN1630877A (zh) 基于计算机视觉的无线定向系统
EP1456806B1 (en) Device and method for calculating a location on a display
US8022928B2 (en) Free-space pointing and handwriting
CN103914152B (zh) 三维空间中多点触控与捕捉手势运动的识别方法与系统
US9524021B2 (en) Imaging surround system for touch-free display control
US7257255B2 (en) Capturing hand motion
US6597443B2 (en) Spatial tracking system
US8537231B2 (en) User interface system based on pointing device
WO2012111976A2 (ko) 표시면에 포인터를 사용하지 않는 가상 터치 장치
WO2013035554A1 (ja) 入力体の動き検出方法およびそれを用いた入力デバイス
US20150089453A1 (en) Systems and Methods for Interacting with a Projected User Interface
JP2014517361A (ja) カメラ式マルチタッチ相互作用装置、システム及び方法
CN203930682U (zh) 三维空间中多点触控与捕捉手势运动的识别系统
CA2705346A1 (en) Object position and orientation detection system
Xiao et al. Lumitrack: low cost, high precision, high speed tracking with projected m-sequences
US10126123B2 (en) System and method for tracking objects with projected m-sequences
CN105593786A (zh) 对象位置确定
CN107407959A (zh) 基于姿势的三维图像的操纵
US20120002044A1 (en) Method and System for Implementing a Three-Dimension Positioning
WO2001046941A1 (en) Method and apparatus for vision-based coupling between pointer actions and projected images
KR20090028934A (ko) 3차원 포인팅 디바이스 및 이를 위한 3차원 위치 연산 방법
KR100799766B1 (ko) 포인터 이동 제어 장치
KR100827067B1 (ko) 카메라를 구비한 휴대용 무선 단말기와 그를 이용한 마우스실행 방법
CN110389650A (zh) 虚拟画面的操控系统及操控方法
Laberge Visual tracking for human-computer interaction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
C20 Patent right or utility model deemed to be abandoned or is abandoned