CN1440539A - 基于摄影机的触摸系统 - Google Patents

基于摄影机的触摸系统 Download PDF

Info

Publication number
CN1440539A
CN1440539A CN01812360A CN01812360A CN1440539A CN 1440539 A CN1440539 A CN 1440539A CN 01812360 A CN01812360 A CN 01812360A CN 01812360 A CN01812360 A CN 01812360A CN 1440539 A CN1440539 A CN 1440539A
Authority
CN
China
Prior art keywords
touch
indicator
digital camera
image
touch system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN01812360A
Other languages
English (en)
Other versions
CN1310126C (zh
Inventor
杰拉尔德·莫里森
戴维·霍姆格伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smart Technologies ULC
Original Assignee
Smart Technologies ULC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=26968623&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1440539(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority claimed from US09/610,481 external-priority patent/US6803906B1/en
Application filed by Smart Technologies ULC filed Critical Smart Technologies ULC
Publication of CN1440539A publication Critical patent/CN1440539A/zh
Application granted granted Critical
Publication of CN1310126C publication Critical patent/CN1310126C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual

Abstract

一种基于摄影机的触摸系统(50),包括:一无源触摸表面(60)和至少两个摄影机(63),它们与该触摸表面相联系。该至少两个摄影机(63)具有包围所述触摸表面的视野重叠区域(FOV)。所述至少两个摄影机从不同位置获取所述触摸表面的图像,并产生图像数据。一处理器(54)接收并处理由所述至少两个摄影机产生的图像数据,从而当在所述至少两个照相机获得的图像中捕捉到所述指示器时,确定指示器相对于所述触摸表面的位置。可以确定指示器与触摸表面接触和指示器悬于触摸表面上。

Description

基于摄影机的触摸系统
技术领域
本发明涉及触摸系统,特别涉及一种基于摄影机的触摸系统。
背景技术
触摸系统为本领域技术人员所公知,通常包括一具有一触摸表面的触摸屏,利用一指示器接触触摸表面从而产生用户输入。当检测到指示器接触触摸表面时,根据发生接触的触摸表面的区域产生对应的输出。通常具有两种类型的触摸系统,它们广义的可被分为“有源式”触摸系统和“无源式”触摸系统。
有源式触摸系统允许用户通过利用一特殊的指示器接触触摸表面来产生用户输入,该特殊指示器通常需要某种形式的随体电源,通常为电池。该特殊指示器发射如红外光、可见光、超声波、电磁波等,以触发触摸表面。
无源式触摸系统允许用户通过利用一无源式指示器接触触摸表面来产生用户输入,它不需要特殊指示器触发接触表面。无源式指示器可为一手指、一某种材料制成的圆柱体、或任何可用于接触接触表面上特定区域的适当的物体。
无源式触摸系统与有源式触摸系统相比其优越性在于任何适当的指示装置,包括用户手指,都可用作接触触摸表面的指示器。因此,可以很容易的产生用户输入。而且,由于在无源式触摸系统中不需要特殊的有源指示器,因此用户不必考虑电源水平和/或指示器损坏、被盗,或指示器错放等问题。
无源式触摸系统具有多种与计算机操作和视频显示相关的申请。在一件交互式申请中,如在授予Martin的美国专利No.5,448,263(已转让给本申请受让人)公开的那样,一无源式接触系统与一计算机连接,该计算机显示器显示在触摸屏幕的触摸表面上。表示触摸表面上特殊位置的坐标映射到计算机显示器上。当用户接触触摸表面时,接触位置的坐标反馈给计算机,并映射到计算机显示器,从而使用户可通过简单地接触触摸表面,用与使用计算机鼠标相似的方法操作计算机。另外,在一种应用中,反馈到计算机的坐标可被存储,并在以后的时间中重复显示。当需要记录用户在接触表面上的写或画的信息时,记录接触坐标。
为了操作计算机或视频显示器,无源式触摸屏的分辨率判断触摸系统是适于记录触摸屏上的写或画的信息,还是仅适于选择映射到计算机或视频显示器上的区域的触摸屏上的区域。分辨率通常以每英寸的点(DPI)来表示。该DPI与触摸屏的尺寸以及用于检测触摸屏上接触的触摸系统硬件和软件的采样能力相关。
低分辨率的无源式触摸屏只具有足以检测在触摸表面上的处于计算机或视频显示器显示的多组像素范围内的接触的DPI。因此,这些低分辨率无源式接触屏只可用于操作计算机或视频显示器。
另一方面,高分辨率无源式触摸屏具有可检测对应于计算机或视频显示器的较少像素或子像素的接触的足够的DPI。但是,对高分辨率触摸屏的要求是可检测指示器与触摸表面何时接触。这对于写、画、鼠标点击等都是必需的。不具备检测指示器与触摸屏接触的能力,则写和画将成为一个连续的操作,鼠标点击也将不可能实现,从而使计算机显示操作变得不可能。第二个要求是可检测指示器何时停悬于触摸表面的上方。虽然写或画并不需要,但是今天的计算机操作系统越来越多的利用停悬信息来操作计算机或视频显示器或弹出信息窗。
无源式触摸屏通常是模拟电阻类型、表面声波(SAW)类型或电容类型。但是,如下所述,这些触摸屏都存在多种问题或缺点。
模拟电阻触摸屏通常具有高分辨率。根据触摸系统的复杂度,触摸屏的分辨率可为4096×4096DPI或更高。模拟电阻触摸屏由涂有电阻材料且以叠层形式排列的两弹性层构成。除非触摸,否则这两个层彼此不接触。这两个层利用绝缘微粒或绝缘空气空间彼此分离。这两个层由通常为透明的ITO构成。因此,该触摸屏存在图像失真但视差很小。
在模拟电阻触摸屏的操作期间,沿第一层的方向提供一均匀电压梯度。当两层由于对触摸屏的触摸而彼此接触时,第二层沿第一层测量电压。由于第一层的电压梯度可被转化为延第一层的距离,因此测量的电压与触摸表面的触摸位置成比例。当需要第一层上的触摸坐标时,向第二层提供该均匀电压梯度,该第一层延第二层测量该电压。第二层的电压梯度与延第二层的距离成比例。这两个触摸坐标表示笛卡尔坐标系统中的触摸表面上的触摸X-Y位置。
但是,由于需要利用机械压力使两个层接触,因此只有当利用足够的压力使两个层彼此接触时,模拟电阻触摸屏才可以检测到接触。当指示器悬于触摸表面上时,模拟电阻无源触摸屏不能感应。因此,在模拟电阻触摸屏的情况下,只有当在触摸表面上有实际触摸时,才可能检测到触摸事件和位置。
表面声波(SAW)触摸屏通常具有中等的分辨率,并不适于记录高质量的写入。SAW触摸屏利用玻璃表面边界处的传感器振动玻璃并产生声波,该声波在玻璃表面波动。当接触玻璃表面时,声波反射回来,从反射的声波的特征可确定触摸位置。
但是,由于置于视频或计算机显示器表面上的振动玻璃的厚度,SAW触摸屏表现出很强的视差。而且,只有当实际接触玻璃表面时,才可能检测到接触事件和位置。另外,SAW触摸屏在对角线上的尺寸不能超过几个英尺。
由于只可能在较大区域(大约1/2″×1/2″)确定接触,因此电容触摸屏只用于低分辨率。因此,电容触摸屏不能用于记录写入或绘画,而只适用于选择触摸屏上对应于视频或计算机显示器上显示的计算机生成的按钮的区域。电容触摸屏还具有对温度和湿度敏感的不利特点。与模拟电阻触摸屏和SAW触摸屏相似,电容触摸屏也只当在实际触摸触摸表面时才可以检测到触摸事件和位置。
由于对较大电子数字转化器的需求的增加,无源触摸屏的可量测性很重要。数字转化器曾经为桌面设备,今天它们已被用于电子白色书写板。建立一无源触摸感应“墙”已经成为新的触摸屏应用的需要。现有的上述类型的无源触摸屏在有效最大尺寸上都有局限性。
因此,需要对无源触摸系统进行改进。本发明的一个目的是提供一种新型的基于摄影机的触摸系统。
技术方案
根据本发明的一个方面,提供一种基于摄影机的触摸系统,包括:
至少两个摄影机,它们与一无源触摸屏相联系,且具有包括所述触摸表面的视野重叠区域,所述至少两个摄影机从不同位置获取所述触摸表面的图像,并产生图像数据;和
一处理器,接收并处理由所述至少两个摄影机产生的图像数据,从而当在所述至少两个摄影机获得的图像中捕捉到所述指示器时,可以确定指示器相对于所述触摸表面的位置。
最佳的,该至少两个摄影机为具有通常沿触摸表面的平面的视野的数字摄影机。各数字摄影机产生的图像数据包括指示器中心线x和指示器尖端位置z。各数字摄影机包括一具有可选择像素行的像素阵列。在图像数据产生中,使用可选择像素行中的像素的像素亮度。最佳的,在图形数据产生过程中,使用可选择像素行范围内的指定区域中的像素的像素亮度。
在最佳实施例中,各数字摄影机包括一CMOS图像传感器和一数字信号处理器。数字信号处理器接收图像传感器输出的图像,并执行寻找指示器程序,以确定指示器是否在数字摄影机获得的各图像中,以及指示器的中心线是否也如此。各数字摄影机的数字信号处理器最好执行一更新背景图像程序,从而在获取各图像后更新背景图像。最佳的,各数字摄影机的数字信号处理器还判断各获取的图像和背景图像的差别,以检测变化光条件。
根据本发明的另一方面,提供一种基于摄影机的触摸系统,包括:
一通常为矩形的无源触摸表面,利用指示器接触该表面;
一安装在所述触摸表面的各角附近的数字摄影机,所述数字摄影机具有包括所述触摸表面的重叠视野,所述数字摄影机获取所述触摸表面的图像,当在数字摄影机获取的图像中捕获到所述指示器时,产生包括指示器的中心线x和指示器尖端位置z的图像数据;和
一处理器,接收并处理所述数字摄影机产生的图像数据,以判断所述指示器相对于所述触摸表面的位置,和所述指示器是否与所述触摸表面接触。
根据本发明的另一方面,提供一种检测指示器相对于触摸表面的位置的方法,包括以下步骤:
利用具有重叠视野的摄影机从不同位置获取所述触摸表面的图像,并产生图像数据;和
处理所述图像数据,以检测所述获取的图像中是否出现指示器,和判断所述指示器相对于所述触摸表面的位置。
本发明的优点在于无源触摸系统具有高分辨率,允许检测实际的指示器与触摸表面接触以及指示器悬于触摸表面,并产生对应的输出。而且,本发明无源触摸系统的优点在于它不会出现前面背景技术无源触摸系统中出现的视差、图像失真、指示器位置限制、图像投影和可量测性问题。
另外,本发明的优点在于由于使用了CMOS数字摄影机,可以选择数字摄影机像素阵列中的任意像素行。这使数字摄影机的帧频显著增加。而且由于可以任意选择像素行,因此像素阵列可在黑暗的房间中以给定的数字摄影机的帧频曝光更长的时间,从而实现与在亮的房间一样的优良操作。
附图说明
下面将参考附图说明本发明实施例。
图1示出本发明基于摄影机的触摸系统的示意图;
图2示出形成部分图1的触摸系统的触摸屏的等距投影图;
图3示出图2的触摸屏的角部的等距投影图;
图4示出形成部分图2的触摸屏的数字摄影机的示意图;
图5示出形成部分图1的触摸系统的主控制器的示意图;
图6示出处理帧程序执行中执行的步骤的流程图;
图7示出片断指示器程序执行中执行的步骤的流程图;
图8示出寻找指示器程序执行中执行的步骤的流程图;
图9示出数字摄影机获取的图像和被处理的该图像的像素子集;
图10示出图9的像素子集中的指定区域(ROI);
图11示出用于计算指示器在图2所示的触摸屏的触摸表面上的接触位置的三角几何;
图12示出数字摄影机获得的包括指示器尖端和其中心线的图像;
图13示出指示器接触和指示器以不同方向悬浮;
图14示出数字摄影机观察到的触摸屏的触摸表面的图像;
图15和16示出利用Kalman滤波器的指示器轨迹的Matlab模拟结果;
图17a-17d示出利用Kalman滤波器的指示器轨迹的其它Matlab模拟结果。
最佳实施例
参看图1,示出本发明的基于摄影机的触摸系统,它由附图标记50表示。如图所示,触摸系统50包括一触摸屏52,触摸屏52与基于主控制器54的数字信号处理器(DSP)连接。主控制器54还与计算机56连接。计算机56执行一个或多个应用程序,并通过投影器58在触摸屏52上表现显示输出。触摸屏52、主控制器54、计算机56和投影器58形成闭环结构,从而用户接触触摸屏52可作为写入或绘画被记录,或者用于由控制计算机56执行的应用程序的执行。
图2-4更好的示出触摸屏52。触摸屏52包括由一矩形框架62包围的触摸表面60。触摸表面60的形式为无源材料的矩形平面层。基于DSP的CMOS数字摄影机63与触摸屏52的各角相连。各数字摄影机63被安装在框架组件64上。各框架组件64包括一倾斜的支撑板66,数字摄影机63安装于其上。支撑框架部件70和72通过柱74被安装在板66上,并将板66紧固在框架62上。
各数字摄影机63包括一个二维CMOS图像传感器和相关的透镜组件80,通过数据总线与图像传感器和透镜组件80连接的一先进先出(FIFO)缓冲器82和通过数据总线与FIFO82连接的、且通过控制总线与图像传感器和透镜组件80连接的一数字信号处理器(DSP)84。还包括启动EPROM86和电源子系统88。
在本实施例中,CMOS摄影机图像传感器为一Photobit PB300图像传感器,其结构为20×640像素子阵列,由于可选择任意像素行,因此该传感器可捕捉每秒超过200帧的帧率的图像帧。而且,由于像素行可被任意选择,因此可将像素子阵列在一给定的数字摄影机帧率下暴露更长时间,从而在黑暗房间可实现与在亮的房间一样的良好操作。FIFO缓冲器82由Cypress以零件号码CY7C4211V制成,DSP84由Analog Devices以零件号码ADSP2185M制成。
该DSP84通过控制总线向图像传感器和透镜组件80提供控制信息。该控制信息使DSP84控制图像传感器和透镜组件80的参数,如曝光、增益、阵列结构、复置和初始化。DSP84还向图像传感器和透镜组件80提供时钟信号以控制图像传感器和透镜组件80的帧率。
板66的角度被选择为使各数字摄影机63的视野(FOV)如图11所示超出触摸表面60指定的外围边缘。这样,整个触摸表面60处于数字摄影机63的视野范围内。
主控制器54在图5中示出,包括一DSP90、一启动EPROM92、一串行线驱动器94和一电源子系统95。该DSP90通过一串行端口96经数据总线与数字摄影机63的DSP84通信,通过串行端口98和串行线驱动器94经数据总线与计算机56通信。在本实施例中,DSP90也由Analog Devices以零件号码ADSP2185M制成。串行线驱动器94由Analog Devices以零件号码ADM222制成。
主控制器54和各数字摄影机63遵守通信协议,可利用与通用串行总线(USB)相似的通用串行电缆实现双向通信。传输带宽被分为三十二(32)个16位信道。在这三十二个信道中,六(6)个信道被分配给数字摄影机63中的各DSP84和主控制器54中的DSP90,剩余的两(2)个信道未使用。当DSP84监视分配给主控制器54的DSP90的六(6)个信道时,主控制器54监视分配给DSP84的二十四(24)个信道。响应中断来执行作为后台操作的主控制器54和数字摄影机63之间的通信。
下面将说明触摸系统50的通常操作。各数字摄影机63以所需的帧率获取图像传感器和透镜组件80的视野范围内的触摸表面60的图像,并处理各获取的图像以判断指示器是否在获取的图像中。如果指示器在获取的图像中,则进一步处理图像以判断接触或悬于触摸表面60的指示器的特性。然后数字摄影机63产生包括指示器特性、状态和/或判断信息的指示器信息包(PIP),该PIP排队传输到主控制器54。数字摄影机63还接收并响应于主控制器54产生的命令PIP。
主控制器54巡检数字摄影机63以获得PIP。如果PIP包括指示器特征信息,则主控制器54对PIP中的指示器特征进行三角测量,以判断指示器相对于触摸表面60的笛卡尔直角坐标的位置。主控制器54然后将计算的指示器位置数据、状态和/或判断信息传输到个人计算机56。这样,传输到个人计算机56的指示器位置数据可作为写入或绘画被存储,或可用于控制计算机56执行的应用程序的执行。计算机56还更新传送到投影器58的显示输出,从而使触摸表面60上表现的信息反映指示器的灵活性。
主控制器54还接收个人计算机56的命令,并做出相应的响应,以及产生并向数字摄影机63传输命令。
下面将参照图6-8说明对获取图像的处理和对PIP中指示器特征的三角化的细节。
首先,执行摄影机偏移角校准程序,以确定各数字摄影机63的偏移角δ(如图11所示),从而可精确的确定指示器相对于触摸表面60的接触或悬空位置。摄影机偏移角校准的细节如申请人于2001.6.1提交的同族美国申请“校准摄影机偏移以便于利用三角测量确定目标物位置”中所述,其内容将通过引用结合在本申请中。
摄影机偏移角度校准程序之后,执行表面检测程序以加强判断指示器是在给定点与触摸表面60接触还是悬于触摸表面上。
随着从摄影机偏移角校准中精确的获得触摸表面60的平面中的指示器直角坐标,可以确定各数字摄影机63观察到的触摸表面60的方向。由于数字摄影机不仅可沿触摸表面60的平面方向观察还可以在垂直它的方向观察,因此这是需要的。在某种程度上,各数字摄影机63向下观察触摸表面60。图14示出数字摄影机63观察到的触摸表面60的形状。因此,需要定义“垂直”坐标z,它作为直角坐标x和y的函数,描述了触摸表面位置。
指示器的z坐标可从数字摄影机图像中测量得到,因此可以确定触摸表面60上指示器位置的z坐标。该垂直校准为将该z坐标数据配合入给定的直角坐标x和y的过程。该垂直校准可由下面形式的表面描述:
z(x,y)=Ax+By+Cx2+Dy2+Exy+F                   (0.1)
注意如果系数C、D和E为零,则它变为一平面。当等式(0.1)表示线性最小二乘方问题时,该配合可很容易算出。对应的矩阵形式为: x 1 y 1 x 1 2 y 1 2 x 1 y 1 1 x 2 y 2 x 2 2 y 2 2 x 2 y 2 1 . . . . . . . . . . . . . . . . . . x N y N x N 2 y N 2 x N y N 1 A B C D E = z 1 z 2 . . . z N
为了将直角坐标x和y配合入等式(0.1)以确定系数A-E,使用基于奇异值分解(SVD)的Moore-Penrose伪逆转方法以确定最小标准的最小二乘方解。
如下所述,矩阵可以下面形式分解:
A=USVT                                           (0.2)
矩阵A具有任何形状,矩阵U和V为正交矩阵,意味着:
UTU=I=VTV
对角矩阵S整体由矩阵A的奇异值组成,这些值与矩阵A的特征值的平方相关。奇异值分解(SVD)的重要性在于通过它,矩阵A的逆矩阵通常可计算。另外,当遇到无法确定的问题时,可以控制该逆转。考虑下面线性等式的系统: A x v = b v
其解为: x → = A - 1 b →
由于矩阵U和V都为正交矩阵,因此SVD式矩阵A的逆矩阵表示为:
A-1=VS-1UT                                    (0.3)
在无法确定的情况下,某些奇异值很小,因此当形成矩阵S-1时,产生很大的值,这是不希望看到的。此时,最小的奇异值的逆被设为零。这可以消除解中无法确定的部分。对于最小二乘方问题,这是有效的方法。对最小二乘方问题的通用方程方法是基于在条件充足的情况下的求解: A T A x v = A T b v . . . . . . . ( 0.4 ) x v = ( A T A ) - 1 A T b v
和条件不足的情况下的求解: x v = A T ( AA T ) - 1 b v . . . . . . . . ( 0.5 )
如下所述,在等式系统与等式(0.1)相配合中,采用与确定摄影机偏移角δ相同的方法。由于使用相同的程序,因此存储器使用和处理速度可保持在所需的程度。
利用已知的系数A-E,可以计算对应触摸表面上的任何给定的(x,y)点的z坐标,因此,可以确定指示器与触摸表面60接触还是悬于其上。
在触摸系统50校准之后,在操作中,各数字摄影机63获取其视野范围内的触摸表面60的图像。该图像通过图像和透镜组件80以响应于从DSP84接收到的时钟信号的间隔来获取。图像和透镜组件80获取的各图像被送至FIFO缓冲器82。该DSP84然后从FIFO缓冲器82中读出各图像并处理图像。为了避免处理大量的包含非有用信息的像素,如图9所示,只处理所获得的图像中的像素子集。
在处理数字摄影机63获取的图像中,DSP84执行图6所示的处理帧程序。当图像可用于处理时(步骤120),执行检测以确定图像是否已经被捕获以进行数字摄影机63的调节(步骤122)。如果已经获得图像进行曝光调节,则调用曝光控制程序(步骤124)以调节数字摄影机63的曝光。随后,DSP84等待接收可用于处理的下一图像。
在步骤122中,如果没有捕捉到用于数字摄影机63曝光调节的图像,则执行检查以确定是否捕捉到用于替换背景图像的图像(步骤126)。如果已经捕捉到用于背景图像替换的图像,则调用捕捉背景程序(步骤128),并将所获取的图像用作背景图像。如果数字摄影机获取一图像并将PIP发送至主控制器,指示该指示器在图像中而它实际为噪声时,完成操作。替换背景图像有效的防止了数字摄影机在以后的PIP中错误的识别指示器。随后,DSP84等待下一个用于处理的图像的接收。
在步骤126,如果没有捕捉到用于背景图像替换的图像,DSP84调用copyICur程序(步骤130)。在该程序中,当前获得的图像被拷入存储器,并用于更新背景图像从而形成表示当前获取的图像与背景图像之间不同的差别图像。
CopyICur程序执行完成之后,调用片断指示器程序(步骤132)以确定指示器是否在所需的图像中,如果在,则判断指示器相对于触摸表面60的位置,以及指示器是与触摸表面60接触还是悬于其上。该片断指示器程序132还可改变将要检测的光条件。片断指示器程序132之后,DSP84调用填充PIP程序(步骤134),将指示器和光条件信息置入一PIP中,用于传输到主控制器54。然后,DSP84等待下一用于处理的图像的接收。
图7示出在片断指示器程序132执行过程中DSP84执行的步骤。如图所示,当DSP84执行片断指示器程序132时,DSP84调用寻找指示器程序以判断指示器是否在所需的图像中,如果是,则确定指示器在当前获得的图像中的位置(步骤140)。当寻找指示器程序140完成时,DSP84调用更新背景程序以更新背景图像,从而处理光条件的改变(步骤142)。
在更新背景程序执行中,DSP84利用下面等式连续更新背景图像:
Bn+1(i,j)=(1-a)Bn(i,j)+aI(i,j)                  (0.6)
其中,
Bn+1为新的背景图像;
Bn为当前背景图像;
I为当前获取的图像;
i,j为被更新的背景图像像素的行和列坐标;和
a是0和1之间的数,用于指示从当前获取的图像I中获取的程度。a的值越大,背景图像更新的越快。
更新背景程序142执行后,利用DSP84计算当前获取的图像和背景图像之间的亮度差。向主控制器54发送信息从而使主控制器判断数字摄影机63是否需要重新曝光。如果光条件发生急剧的变化(即,环境照明被打开或关闭),则需要。当数字摄影机需要重新曝光时,主控制器54向数字摄影机63发送一命令PIP,指示数字摄影机获取用于曝光调节的图像。
图8示出DSP84在寻找指示器程序140执行过程中执行的步骤。如图所示,当DSP84执行寻找指示器程序140时,DSP84分别清除指示器位置和指示器尖端参数x和z(步骤150)。从而建立一垂直亮度柱状图(步骤152)。在这个阶段,形成表示当前图像和背景图像之间差别的差别图像,该差别图像中的像素亮度由列总计。这样,形成一640×1向量,表示在640×20差别图像中各列的总和。这样,640×1向量中的第一元素表示640×20差别图像的第一列中的20个像素的总和,640×1向量中的第二元素表示640×20差别图像的第二列中的20个像素的总和等等。该操作过程的其它特点可从2000.7在SPIE电子成像期刊中公开的,由V.Cheng等著写的文章题目为“智能摄影机应用:基于DSP的人类检测和寻迹”中得出。
在步骤152中创建垂直亮度柱状图之后,通过在垂直亮度柱状图中寻找具有大于噪声极值的最高亮度的列,可以确定指示器位置参数x(步骤154)。该列用作将被处理的指定区域(ROI)的中心,该ROI的宽度等于垂直亮度柱状图形成的顶峰的基础(见图10)。如果没有列具有大于噪声极值的亮度,则假设没有指示器在所获取的图像中。
当确定指示器位置参数x时,DSP84分析ROI以判断指示器尖端所处的像素行,并判断该行是表示触摸表面接触还是悬浮(步骤156)。特别的,该DSP84在ROI中创建一二进制表征码,从而如图12所示,白色像素表示指示器,黑色像素表示背景。从该表征码,可以很容易的计算出指示器的中心线和指示器的尖端位置z。
在填充PIP程序134中,DSP84使用片断指示器程序132执行过程中获得的指示器和光条件信息,并创建一PIP以将所需的图像简化为一小组数据,从而提供带宽经济。该PIP采用六(6)字信息包的形式,信息包中各字为十六(16)位。该PIP通常采用以下形式:
  头部   数据   校验和
该PIP的头部部分通常为十六(16)位,包括一目标/源区域、一数据类型区域、一图像帧编号区域、一序列编号区域和一信息包编号区域。该目标/源区域识别PIP的目的地和PIP的来源。如果PIP由主控制器54产生,则目的地应该为一单个的数字摄影机63或所有的数字摄影机。该数据类型指示该PIP是与指示器信息相关还是与其它信息如状态和判断信息相关。该图像帧编号区域存储一编号,从而使主控制器54顺序处理各数字摄影机63输出的图像。序列编号区域存储该PIP与其它PIP相关的编号。信息包编号区域存储识别信息包的编号。
PIP的数据部分通常为六十四(64)位,包括一指示器ID区域、一指示器位置参数区域、一指示器尖端参数区域、一接触状态区域和一指示器品质因素区域。该指示器ID区域存储一指示器的标识符,可以实现对多个指示器的寻迹。指示器位置参数区域存储DSP84计算的x值。指示器尖端参数区域存储DSP84计算的z值。接触状态区域存储一指示指示器处于与触摸表面60接触、没有接触或可能接触的值。指示器品质因素区域存储一关于检测到的指示器是真实指示器的可能性的统计值。
PIP的校验和部分用于确保PIP传输的完整性。如果PIP校验和错误很少发生,则表示校验和错误的PIP可由目的装置忽略。
不与指示器信息相关的状态PIP具有不同于上述说明的PIP的形式。对这种PIP,数据部分包括一指令类型区域、一指令编码区域和一数据区域。该指令类型区域识别指令类型是将要执行的指令还是一状态请求。该指令编码区域存储实际的指令或状态请求标识符。该数据区域存储根据指令类型而变化的数据。状态PIP的例子包括帧头部PIP、命令PIP和错误信息PIP。
帧头部PIP通常包括指示器PIP的数目,这些指示器PIP与具有当前图像统计量的当前获得的图像相符,这些统计量为例如当前获得图像和前一图像之间的亮度变化。主控制器54发出的命令PIP可命令数字摄影机调节其设定中的一个或多个,例如曝光,或捕捉用作新的背景图像的图像。一错误PIP将一个错误条件从数字摄影机63传给主控制器54,以便存储在一错误记录中。
各数字摄影机63响应于它的DSP84产生的各时钟信号,处理它以上述方式获取的各图像。当主控制器54巡检数字摄影机63时,DSP84创建的PIP只送至主控制器54。
当主控制器54巡检数字摄影机63时,向数字摄影机63提供帧同步脉冲以初始化DSP创建的PIP的传输。当接收到帧同步脉冲时,各DSP84通过数据总线将PIP传送到主控制器54中。通过串行端口96接收传送至主控制器54的PIP,并将其自动缓冲至DSP90。
当DSP90已经巡检完数字摄影机63并已经从各数字摄影机63中接收到包括指示器信息的PIP后,DSP90利用三角测量处理PIP,以判断指示器相对于触摸表面60的(x,y)坐标位置。特别的,利用三角测量处理从一对数字摄影机63得到的PIP。
图11示出需要两个角φcam1和φcam2来三角测量指示器相对于触摸屏60的位置(x0,y0)。各数字摄影机63产生的PIP包括一标识指示器中心线或顶端的编号θ(见图12)。当主控制器54从数字摄影机63接收到一PIP时,主控制器利用下面的等式,使用表示指示器中心线或顶端的编号以及数字摄影机的视野来计算角度φcam tan φ cam = 2 ( x a ) tan FOV 2 1 - ( 2 x a - 1 ) tan 2 FOV 2 . . . . . . . . ( 0.7 )
其中,x为表示指示器中心线或顶端的编号;
a为在离数字摄影机一定距离的地方,该数字摄影机的视野(FOV)所包围的总长度。
计算的角度φcam等于延伸超过产生该PIP的数字摄影机63的触摸表面60的规定外边缘的视野边界与从数字摄影机的光轴延伸并和所获取图像内的指示器相交的直线之间的夹角。最佳的,视野的边界为在视野范围内离开触摸表面60的规定外边缘(即x轴)一定量延伸。但是,在大多数情况下,各数字摄影机63的角度偏移δcam的扫描彼此不同且未知。
一旦主控制器54计算出角度φcam,则主控制器54利用摄影机偏移校准过程中确定的偏移角度δcam来调节角度φcam。利用这两个可用角度和调节后的角度φcam,主控制器54利用三角测量使用角度φcam来确定指示器相对于触摸表面60的位置。
在本实施例中,由于触摸屏52包括四个数字摄影机63,因此可使用六对数字摄影机进行三角测量。下面说明各对数字摄影机63怎样通过三角测量确定指示器位置。
为了利用从沿触摸屏52的左侧的数字摄影机63接收到的PIP确定指示器位置,使用下面的等式来确定上部和下部数字摄影机的给定角度为φ0和φ1时指示器位置的(x0,y0)坐标: x 0 = h w × 1 tan ( φ 0 ) + tan ( φ 1 ) . . . . . . . ( 0.8 ) y 0 = tan ( φ 0 ) tan ( φ 0 ) + tan ( φ 1 ) . . . . . . . . ( 0.9 )
其中:
h为触摸屏52的高度,即从数字摄影机焦点到焦点的垂直距离;
w为触摸屏52的宽度,即从数字摄影机焦点到焦点的水平距离;
φi为利用数字摄影机i和等式(0.7)测量的相对于水平的角度。
对沿触摸屏52的右侧的数字摄影机63来说,利用下面的等式来确定上部和下部数字摄影机的给定角度为φ2和φ3时指示器位置的(x0,y0)坐标: x 0 = 1 - h w × 1 tan ( φ 2 ) + tan ( φ 3 ) . . . . . . ( 0.10 ) y 0 = 1 - tan ( φ 2 ) tan ( φ 2 ) + tan ( φ 3 ) . . . . . . ( 0.11 )
当用角度φ2和φ3分别替换角度φ1和φ2代入等式(0.8)时,两个等式(0.8)和(0.10)之间的相似度,即等式(0.10)=1-等式(0.8)将变得很明显。等式(0.9)和(0.11)以相似的方式相关。
为了利用触摸屏52的底部的数字摄影机63确定指示器位置,利用下面的等式来确定底部左侧数字摄影机和底部右侧数字摄影机的给定角度为φ0和φ3时指示器位置的(x0,y0)坐标: x 0 = tan ( φ 3 ) tan ( φ 0 ) + tan ( φ 3 ) . . . . . . . ( 0.12 ) y 0 = w h × tan ( φ 3 ) tan ( φ 0 ) + tan ( φ 3 ) × tan ( φ 0 ) . . . . . . ( 0.13 ) = w h × x 0 × tan ( φ 0 )
为了利用触摸屏52的顶部的数字摄影机63确定指示器位置,利用下面的等式来确定顶部左侧数字摄影机和顶部右侧数字摄影机的给定角度为φ1和φ2时指示器位置的(x0,y0)坐标: x 0 = tan ( φ 2 ) tan ( φ 1 ) + tan ( φ 2 ) . . . . . . . ( 0.14 ) y 0 = 1 - w h × tan ( φ 2 ) tan ( φ 1 ) + tan ( φ 2 ) × tan ( φ 1 ) . . . . . . ( 0.15 ) = 1 - w h × x 0 × tan ( φ 1 )
当用角度φ1和φ2分别替换角度φ0和φ3代入等式(0.12)时,两个等式(0.12)和(0.14)之间的相似度,即等式(0.14)=等式(0.12)将变得很明显。当用角度φ1和φ2分别替换φ0和φ3代入等式(0.13)时,两个等式(0.13)和(0.15)具有如下关系:等式(0.15)=1-等式(0.13)。
为了利用从底部左侧到顶部右侧的对角线上的数字摄影机63确定指示器位置,利用下面的等式来确定底部左侧数字摄影机和顶部右侧数字摄影机的给定角度为φ0和φ2时指示器位置的(x0,y0)坐标: x 0 = h w - tan ( φ 2 ) tan ( φ 0 ) - tan ( φ 2 ) . . . . . . . ( 0.16 ) y 0 = 1 - w h - tan ( φ 2 ) tan ( φ 0 ) - tan ( φ 2 ) × tan ( φ 0 ) . . . . . . . ( 0.17 )
为了利用从底部右侧到顶部左侧的对角线上的数字摄影机63确定指示器位置,利用下面的等式来确定底部右侧数字摄影机和顶部左侧数字摄影机的给定角度为φ1和φ3时指示器位置的(x0,y0)坐标: x 0 = h w - tan ( φ 3 ) tan ( φ 1 ) - tan ( φ 3 ) . . . . . . ( 0.18 ) y 0 = 1 - 1 - w h - tan ( φ 3 ) tan ( φ 1 ) - tan ( φ 3 ) × tan ( φ 1 ) . . . . . ( 0.19 )
当用角度φ1和φ3分别替换φ0和φ2代入等式(0.16)时,两个等式(0.16)和(0.18)之间的相似度,即等式(0.18)=等式(0.16)将变得很明显。当用角度φ1和φ3分别替换φ0和φ2代入等式(0.17)时,两个等式(0.17)和(0.19)具有如下关系:等式(0.19)=1-等式(0.17)。
上述等式产生尺度[0,1]之间的坐标x0和y0。因此,任何适当的坐标尺度可以通过将x0和y0分别乘以最大X和最大Y值来得到。
在本实施例中,DSP90利用三角测量计算除对角线对外各数字摄影机对的指示器位置。然后将产生的指示器位置平均化,且产生的指示器位置坐标排队等候通过串行端口98和串行线驱动器94传输到个人计算机56。
通过三角测量获得的指示器的(x,y)位置,利用表面检测校准期间计算出的系数A-E,可利用等式(0.1)确定对应于(x,y)位置的z坐标。计算该z坐标,并将该z坐标与PIP中的z参数相比,从而提供指示器是悬于触摸表面60上还是与触摸表面实际接触的指示。
如果需要,如图13所示,DSP90可以计算指示器速率v和角度。通过检查在连续的PIP中指示器的z位置(或x截距)的变化和获知摄影机帧率,可以计算出指示器的速率。例如,如果摄影机帧率为每秒200帧且每帧z位置变化为1像素行,则指示器速率为每秒200像素。
由于PIP包括中心线的像素行0和19的x截距,因此可以确定指示器的角度。由于已知x距离(x截距之间的差)和y距离(像素行的数目),因此所有计算指示器角度的所需信息都可得到。
如果需要,当指示器处于离触摸表面60一定距离范围内时,可使用Kalman滤波器(本质上为一递归最小二乘方方法)以有效的“跟踪”指示器。为了实现上述跟踪,需要定义滤波器中使用的一系统等式或模式。由于主控制器54可提供指示器的位置z和速率v,因此可以使用下面的描述:
z=z0+vt
v=v
当滤波器需要知道怎样处理速率时,同样由于z和v可测量,需要这些等式中的第二个。定义状态向量为:
[zv]T
为了使系统在两个连续时间n和n+1中的状态相关,写入作为矩阵差别等式的系统等式: z v n + 1 = 1 dt 0 1 z v n + σ z σ v 或矩阵符号, x ^ n + 1 = A x ^ n + σ
这里,dt表示连续时间阶段之间的时间间隔。而且引入的RHS是“处理噪声”的短语。它完全是正式的,是部分Kalman滤波方法。还需要指定怎样在操作中引入测量。这可通过矩阵等式表示:
zn=Hxn+w
其中zn为位置和速率的测量,H为一“测量矩阵”,它为一恒等矩阵,xn为状态向量,w为测量噪声。实质上,可假设测量为状态向量的噪声版本。还需要定义与w相关的协方差矩阵。如果z的测量误差为0.5像素,则协方差矩阵为: R = ( 0.5 ) 2 1 0 0 1
处理上面引入的噪声需要相似矩阵Q,但由于它在某种程度是任意的,因此可将其作为滤波器的一调谐参数。例如,矩阵Q为恒等矩阵与一阶或小于一阶的因子相乘。通过上述的设定,有足够的信息开始滤波操作。第一步(预测)为: x ^ k + 1 ( - ) = A x ^ k ( + )
Pk(-)=APk-1(+)AT+Qk-1
这里(-)符号表示还没有进行测量,而(+)表示已经进行测量(但此时(+)指前一步骤)。而且,矩阵P的矩阵等式预测了协方差矩阵。下一步骤为滤波器增益计算: K k = P k ( - ) H k T [ H k P k ( - ) H k T + R k ] - 1
一旦测量完成,则可更新状态估算及其协方差: x ^ k ( + ) = x ^ k ( - ) + K k [ z k - H k x k ( - ) ] P k ( + ) = [ P k - 1 ( - ) + H k T R k - 1 H k ] - 1
状态x的估算可用于确定是否发生与触摸表面的接触。注意矩阵H和R都随时间为恒定,只有矩阵K和P变化(事实上,P接近于一常数矩阵)。进一步的简化在于不包括控制过程。
利用一系列表示指示器正以恒定速率接近触摸表面60的测量结果,执行Kalman滤波器的Matlab模拟。图15和16示出当时间步长dt为0.1秒、测量精度为0.5像素时的该模拟。圈状标记表示数据,线表示Kalman滤波器的状态估算。很明显,状态估算非常符合数据。
第二Matlab模拟的执行考虑到指示器的垂直(z)和水平(x)的运动。该模拟基本上是将两个相似的Kalman滤波器以“并行”方式一起操作。除了需要考虑的变量的数目加倍外,公式几乎完全一样。图17a-17d示出模拟的结果,并表现出指示器以恒定速率和以缓慢变化的x位置(即人手的不稳定)向触摸表面60的运动。
虽然前述触摸系统50包括一将图像显示到触摸屏的投影器,但本领域的技术人员应理解这不是必须的。触摸屏52可为透明或半透明,并被放在一显示单元上,从而使显示单元上的显示可通过触摸屏幕可视。而且,触摸屏也不需要为包围有框架的矩形层。触摸屏实际上可为在两个或多个数字摄影机的重叠视野范围内的任何表面。
而且,虽然触摸系统50包括一与数字摄影机分离的主控制器,但如果需要,可将数字摄影机中的一个改制成同时具有摄影机和主控制器的功能,并对其他数字摄影机巡检PIP。此时,可作为主控制器的数字摄影机最好包括一比其它数字摄影机更快的DSP84。
另外,虽然所述的表面检测程序为确定等式(0.1)中使用的系数A-E,从而计算指示器在相对于触摸屏的给定点(x,y)的z坐标,在表面检测程序中,可对主控制器54编程来计算对应触摸表面的唯一(x,y)区域的z坐标,并将该z坐标存储在一查找表(LUT)中。此时,当指示器在数字摄影机捕捉的图像中出现且指示器相对于触摸表面的(x,y)位置被确定时,可通过将LUT中对应于指示器所处的(x,y)区域的z坐标和指示器尖端所处的图像传感器和透镜组件的像素行比较,来确定指示器是否与触摸表面接触。
如上所述,对各数字摄影机,主控制器54计算或查找触摸表面的z坐标,并对该z坐标与指示器尖端位置z比较,从而确定指示器是否与触摸表面真实接触。但是,本领域技术人员应该知道数字摄影机中的DSP84可以包括图像处理软件以判断指示器是否与触摸表面真实接触。该图像处理可与主控制器指示器接触判断一起或替代它执行。
虽然上面说明了本发明最佳实施例,但本领域技术人员可在不脱离权利要求限定的精神和范围的情况下,对本发明进行变化和修改。

Claims (49)

1.一种基于摄影机的触摸系统,包括:
至少两个摄影机,它们与一无源触摸表面相联系,且具有包围所述触摸表面的视野重叠区域,所述至少两个摄影机从不同位置获取所述触摸表面的图像,并产生图像数据;和
一处理器,接收并处理由所述至少两个摄影机产生的图像数据,从而当在所述至少两个摄影机获得的图像中捕捉到所述指示器时,可以确定指示器相对于所述触摸表面的位置。
2.如权利要求1所述的触摸系统,其中:所述至少两个摄影机为具有通常沿所述触摸表面的平面看去的视野的数字摄影机。
3.如权利要求2所述的触摸系统,其中:各数字摄影机产生的图像数据包括指示器中心线x和指示器尖端位置z。
4.如权利要求3所述的触摸系统,其中:所述各数字摄影机包括一具有可选择像素行的像素阵列,在所述图像数据产生过程中,使用所述可选择像素行中的像素的像素亮度。
5.如权利要求4所述的触摸系统,其中:在所述图形数据产生过程中,使用所述可选择像素行范围内的指定区域中的像素的像素亮度。
6.如权利要求5所述的触摸系统,其中:所述各数字摄影机将所述图像数据形成信息包,将其传输到所述处理器以提供经济带宽。
7.如权利要求6所述的触摸系统,其中:各数字摄影机包括一CMOS图像传感器和一数字信号处理器,所述数字信号处理器接收图像传感器输出的图像,并执行寻找指示器程序,以判断指示器是否在所述数字摄影机获得的各图像中,以及所述指示器的中心线是否也如此。
8.如权利要求7所述的触摸系统,其中:在所述寻找指示器程序中,所述数字信号处理器建立一垂直亮度柱状图,该柱状图包括表示所获取图像和背景图像之间差别的像素亮度的列,所述垂直亮度柱状图的列具有大于极限值的最大像素亮度,用于定义所述指定区域的中心,所述指定区域的宽度由所述垂直亮度柱状图的列定义,这些列位于定义所述指定区域中心的所述列的相对侧,且具有大于所述极限值的像素亮度。
9.如权利要求8所述的触摸系统,其中:各数字摄影机的数字信号处理器分析所述指定区域中的像素,以确定指示器尖端所处的像素行并确定所述指示器尖端位置z。
10.如权利要求9所述的触摸系统,其中:各数字摄影机的数字信号处理器创建一所述指定区域中的表征码,白色像素表示所述指示器,黑色像素表示背景,从而可计算所述中心线x和指示器尖端位置。
11.如权利要求10所述的触摸系统,其中:各数字摄影机的数字信号处理器还执行一更新背景图像程序,从而在获取各图像后更新背景图像。
12.如权利要求11所述的触摸系统,其中:在所述更新背景图像程序中,各数字摄影机的数字信号处理器利用等式:
Bn+1(i,j)=(1-a)Bn(i,j)+aI(i,j)
其中Bn+1为新的背景图像;
Bn为当前背景图像;
I为当前获取的图像;
i,j为被更新的背景图像像素的行和列坐标:和
a是0和1之间的数,用于指示从当前获取图像I中获取的程度。
13.如权利要求12所述的触摸系统,其中:各数字摄影机的数字信号处理器还确定各获取图像和背景图像之间的差别以检测变化的光条件。
14.如权利要求13所述的触摸系统,其中:各数字摄影机将光条件信息传输给所述处理器,所述处理器利用所述光条件信息调节各数字摄影机的曝光。
15.如权利要求14所述的触摸系统,其中:各数字摄影机的数字信号处理器还执行一创建信息包程序,将所述图像数据和光条件信息加入所述信息包。
16.如权利要求3所述的触摸系统,其中:对于从各数字摄影机接收到的图像数据,所述处理器利用下面等式计算角度φcam tan φ cam = 2 ( x a ) tan FOV 2 1 - ( 2 x a - 1 ) t an 2 FOV 2
其中,x为表示指示器中心线或顶端的编号;a为在离数字摄影机一定距离的地方,该数字摄影机的视野(FOV)所包围的总长度;所述处理器利用三角测量根据计算出的角度确定该指示器相对于所述触摸表面的位置。
17.如权利要求16所述的触摸系统,其中:考虑所述指示器位置确定之前的数字摄影机偏移,调节所述计算的角度。
18.如权利要求17所述的触摸系统,其中:在数字摄影机校准程序执行中,确定所述数字摄影机偏移。
19.如权利要求17所述的触摸系统,其中:包括至少三个摄影机,所述处理器利用三角测量确定对于各对数字摄影机的指示器位置,并对确定的指示器位置平均化。
20.如权利要求19所述的触摸系统,其中:所述处理器还执行触摸表面确定程序以计算各数字摄影机所观察的触摸表面的方向,从而确定指示器何时与所述触摸表面接触,和所述指示器何时悬于所述触摸表面上。
21.如权利要求20所述的触摸系统,其中:当所述指示器在所述数字摄影机的视野内向所述触摸表面移动时,所述处理器还计算指示器的速率。
22.如权利要求20所述的触摸系统,其中:所述处理器对所述数字摄影机视野范围内的指示器寻迹。
23.如权利要求21所述的触摸系统,其中:所述处理器利用至少一个Kalman滤波器对所述指示器寻迹。
24.如权利要求19所述的触摸系统,其中:还包括一与所述处理器连接的计算机,所述计算机从所述处理器接收所述指示器的位置。
25.一种基于摄影机的触摸系统,包括:
一通常为矩形的无源触摸表面,利用指示器接触该表面;
一安装在所述触摸表面的各角附近的数字摄影机,所述数字摄影机具有包围所述触摸表面的重叠视野,所述数字摄影机获取所述触摸表面的图像,当在所述数字摄影机获取的图像中捕获到所述指示器时,产生包括指示器的中心线x和指示器尖端位置z的图像数据;和
一处理器,接收并处理所述数字摄影机产生的图像数据,以判断所述指示器相对于所述触摸表面的位置,和所述指示器是否与所述触摸表面接触。
26.如权利要求25所述的触摸系统,其中:所述各数字摄影机包括一具有可选择像素行的像素阵列,在图像数据产生过程中,使用所述可选择像素行中的像素的像素亮度。
27.如权利要求26所述的触摸系统,其中:在图形数据产生过程中,使用所述可选择像素行范围内的指定区域中的像素的像素亮度。
28.如权利要求27所述的触摸系统,其中:所述各数字摄影机包括一CMOS图像传感器和一数字信号处理器,所述数字信号处理器接收从所述图像传感器输出的图像,并执行寻找指示器程序,以判断指示器是否在所述数字摄影机获得的各图像中,以及所述指示器的中心线是否也如此。
29.如权利要求28所述的触摸系统,其中:在所述寻找指示器程序中,各数字摄影机的所述数字信号处理器建立一垂直亮度柱状图,该柱状图包括表示所获取图像和背景图像之间差别的像素亮度的列,所述垂直亮度柱状图的列具有大于极限值的最大像素亮度,用于定义所述指定区域的中心,所述指定区域的宽度由所述垂直亮度柱状图的列定义,这些列位于定义所述指定区域的中心的列的相对侧,且具有大于极限值的像素亮度。
30.如权利要求29所述的触摸系统,其中:各数字摄影机的数字信号处理器分析所述指定区域中的像素,以确定指示器尖端所处的像素行并确定所述指示器尖端位置z。
31.如权利要求30所述的触摸系统,其中:各数字摄影机的数字信号处理器在所述指定区域中创建一表征码,白色像素表示所述指示器,黑色像素表示背景,从而可计算所述中心线x和指示器尖端位置。
32.如权利要求31所述的触摸系统,其中:各数字摄影机的数字信号处理器还执行一更新背景图像程序,从而在获取各图像后更新背景图像。
33.如权利要求32所述的触摸系统,其中:在所述更新背景图像程序中,各数字摄影机的数字信号处理器利用等式:
Bn+1(i,j)=(1-a)Bn(i,j)+aI(i,j)
其中Bn+1为新的背景图像;
Bn为当前背景图像;
I为当前获取的图像;
i,j为被更新的背景图像像素的行和列坐标;和
a是0和1之间的数,用于指示从当前获取图像I中获取的程度。
34.如权利要求33所述的触摸系统,其中:各数字摄影机的数字信号处理器还确定各获取图像和背景图像之间的差别以检测变化的光条件。
35.如权利要求34所述的触摸系统,其中:各数字摄影机将光条件信息传输给所述处理器,所述处理器利用所述光条件信息调节各数字摄影机的曝光。
36.如权利要求35所述的触摸系统,其中:各数字摄影机的数字信号处理器还执行一创建信息包程序,将所述图像数据和光条件信息加入所述信息包,以传输给所述处理器。
37.如权利要求26所述的触摸系统,其中:对于从各数字摄影机接收到的图像数据,所述处理器利用下面等式计算角度φcam tan φ cam = 2 ( x a ) tan FOV 2 1 - ( 2 x a - 1 ) tan 2 FOV 2
其中,x为表示指示器中心线或顶端的编号;a为在离数字摄影机一定距离的地方,该数字摄影机的视野(FOV)所包围的总长度;所述处理器利用三角测量根据计算出的角度确定该指示器相对于所述触摸表面的位置。
38.如权利要求37所述的触摸系统,其中:考虑所述指示器位置确定之前的数字摄影机偏移,调节所述计算的角度。
39.如权利要求37所述的触摸系统,其中:所述处理器还执行触摸表面确定程序以计算各数字摄影机所观察的触摸表面的方向,从而确定指示器何时与所述触摸表面接触,和所述指示器何时悬于所述触摸表面上。
40.如权利要求39所述的触摸系统,其中:当所述指示器在所述数字摄影机的视野内向所述触摸表面移动时,所述处理器还计算指示器的速率。
41.如权利要求40所述的触摸系统,其中:所述处理器对所述数字摄影机视野范围内的指示器寻迹。
42.如权利要求41所述的触摸系统,其中:所述处理器利用至少一个Kalman滤波器对所述指示器寻迹。
43.如权利要求26所述的触摸系统,其中:所述触摸表面由一框架包围,其中各所述数字摄影机安装在位于与框架相连接的触摸表面角部的框架组件上,各数字摄影机被定向为使其视野向下且基本沿所述触摸表面的平面。
44.如权利要求26所述的触摸系统,其中:还包括一与所述处理器连接的计算机,所述计算机从所述处理器接收指示器的位置,并利用该指示器位置信息更新执行的应用程序。
45.如权利要求44所述的触摸系统,其中:计算机显示信息显示在触摸表面上。
46.一种检测指示器相对于触摸表面的位置的方法,包括以下步骤:
利用具有重叠视野的摄影机从不同位置获取所述触摸表面的图像,并产生图像数据;和
处理所述图像数据,以检测所述获取的图像中是否出现指示器,和判断所述指示器相对于所述触摸表面的位置。
47.如权利要求46所述的方法,其中:在所述处理步骤中,利用三角测量确定所述指示器相对于触摸表面的位置。
48.如权利要求47所述的方法,其中:在所述处理步骤中,处理所述图像以确定指示器何时与所述触摸表面接触,和所述指示器何时悬于所述触摸表面上。
49.如权利要求48所述的方法,其中:所述处理步骤还包括当指示器接近触摸表面时对指示器寻迹的步骤。
CNB018123600A 2000-07-05 2001-07-05 基于摄影机的触摸系统 Expired - Fee Related CN1310126C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US09/610,481 2000-07-05
US09/610,481 US6803906B1 (en) 2000-07-05 2000-07-05 Passive touch system and method of detecting user input
US29461101P 2001-06-01 2001-06-01
US60/294,611 2001-06-01

Publications (2)

Publication Number Publication Date
CN1440539A true CN1440539A (zh) 2003-09-03
CN1310126C CN1310126C (zh) 2007-04-11

Family

ID=26968623

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB018123600A Expired - Fee Related CN1310126C (zh) 2000-07-05 2001-07-05 基于摄影机的触摸系统

Country Status (10)

Country Link
US (2) US7692625B2 (zh)
EP (3) EP1739529B1 (zh)
JP (1) JP5042437B2 (zh)
CN (1) CN1310126C (zh)
AT (3) ATE453147T1 (zh)
AU (1) AU2001272250A1 (zh)
CA (1) CA2412878C (zh)
DE (3) DE60140909D1 (zh)
ES (4) ES2279823T3 (zh)
WO (1) WO2002003316A1 (zh)

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930261A (zh) * 2009-06-17 2010-12-29 智能技术Ulc公司 交互式输入系统及其臂组件
CN102033657A (zh) * 2009-09-24 2011-04-27 原相科技股份有限公司 触控系统及其指示物高度侦测方法和指示物坐标侦测方法
CN102096526A (zh) * 2009-12-15 2011-06-15 乐金显示有限公司 光学传感单元、显示模块和使用光学传感单元的显示装置
CN102184057A (zh) * 2010-04-29 2011-09-14 友达光电股份有限公司 触碰侦测装置及侦测触碰位置的方法
US8055022B2 (en) 2000-07-05 2011-11-08 Smart Technologies Ulc Passive touch system and method of detecting user input
CN102236477A (zh) * 2010-04-21 2011-11-09 广达电脑股份有限公司 背景影像更新方法及触控屏幕
CN102294119A (zh) * 2011-08-02 2011-12-28 广州市迪拓信息科技有限公司 一种触控设备感应控制方法及系统
US8089462B2 (en) 2004-01-02 2012-01-03 Smart Technologies Ulc Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
CN102346599A (zh) * 2010-08-04 2012-02-08 北京汇冠新技术股份有限公司 触摸定位方法、触摸屏、触摸系统和显示器
US8115753B2 (en) 2007-04-11 2012-02-14 Next Holdings Limited Touch screen system with hover and click input methods
US8120596B2 (en) 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
WO2012031512A1 (zh) * 2010-09-08 2012-03-15 北京汇冠新技术股份有限公司 触摸定位方法、触摸屏、触摸系统和显示器
US8149221B2 (en) 2004-05-07 2012-04-03 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
CN101019096B (zh) * 2004-05-05 2012-04-18 智能技术无限责任公司 用于相对于触摸面检测指示器的装置和方法
CN101206546B (zh) * 2006-12-15 2012-05-02 乐金显示有限公司 具有多触点识别功能的显示器件及其驱动方法
US8228304B2 (en) 2002-11-15 2012-07-24 Smart Technologies Ulc Size/scale orientation determination of a pointer in a camera-based touch system
CN102609153A (zh) * 2012-01-29 2012-07-25 胡世曦 一种计算物体与工作平面的接触位置的装置
US8274496B2 (en) 2004-04-29 2012-09-25 Smart Technologies Ulc Dual mode touch systems
US8289299B2 (en) 2003-02-14 2012-10-16 Next Holdings Limited Touch screen signal processing
CN102778979A (zh) * 2012-06-28 2012-11-14 广州视睿电子科技有限公司 光学触摸方法及其装置
CN102789340A (zh) * 2012-06-27 2012-11-21 深圳市巨龙科教高技术股份有限公司 一种电子白板的白板坐标获取方法、装置及电子白板
US8325134B2 (en) 2003-09-16 2012-12-04 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
CN101840281B (zh) * 2009-03-20 2012-12-05 原相科技股份有限公司 感测系统及其取得指示物的位置的方法
US8339378B2 (en) 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
US8384693B2 (en) 2007-08-30 2013-02-26 Next Holdings Limited Low profile touch panel systems
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US8432377B2 (en) 2007-08-30 2013-04-30 Next Holdings Limited Optical touchscreen with improved illumination
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US8456451B2 (en) 2003-03-11 2013-06-04 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US8456418B2 (en) 2003-10-09 2013-06-04 Smart Technologies Ulc Apparatus for determining the location of a pointer within a region of interest
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
CN103488348A (zh) * 2012-06-11 2014-01-01 东友科技股份有限公司 影像感测器群组的定位方法
CN103530061A (zh) * 2013-10-31 2014-01-22 京东方科技集团股份有限公司 显示装置及控制方法、手势识别方法、头戴显示装置
CN103973975A (zh) * 2014-04-10 2014-08-06 北京智谷睿拓技术服务有限公司 交互方法、装置及用户设备
TWI462033B (zh) * 2012-11-02 2014-11-21 Wistron Corp 觸控系統及觸控系統的繪圖方法
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
TWI475446B (zh) * 2012-04-24 2015-03-01 Wistron Corp 光學式觸控系統及其擷取訊號調整之方法
CN104423560A (zh) * 2013-09-09 2015-03-18 联想(北京)有限公司 一种信息处理方法和电子设备
CN104679353A (zh) * 2013-11-29 2015-06-03 纬创资通股份有限公司 光学触控装置及触控点坐标的计算方法
CN104777927A (zh) * 2014-01-15 2015-07-15 纬创资通股份有限公司 影像式触控装置及其控制方法
TWI494824B (zh) * 2010-08-24 2015-08-01 Quanta Comp Inc 光學觸控系統及方法
CN105023552A (zh) * 2014-04-21 2015-11-04 纬创资通股份有限公司 显示器及其亮度调整方法
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method

Families Citing this family (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6261095A (ja) * 1985-09-11 1987-03-17 カシオ計算機株式会社 波形エディット装置
JP4052498B2 (ja) 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
JP2001184161A (ja) 1999-12-27 2001-07-06 Ricoh Co Ltd 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
JP5042437B2 (ja) 2000-07-05 2012-10-03 スマート テクノロジーズ ユーエルシー カメラベースのタッチシステム
US6919880B2 (en) 2001-06-01 2005-07-19 Smart Technologies Inc. Calibrating camera offsets to facilitate object position determination using triangulation
US7499033B2 (en) 2002-06-07 2009-03-03 Smart Technologies Ulc System and method for injecting ink into an application
US7283126B2 (en) 2002-06-12 2007-10-16 Smart Technologies Inc. System and method for providing gesture suggestions to enhance interpretation of user input
US20040001144A1 (en) 2002-06-27 2004-01-01 Mccharles Randy Synchronization of camera images in camera-based touch system to enhance position determination of fast moving objects
US7256772B2 (en) 2003-04-08 2007-08-14 Smart Technologies, Inc. Auto-aligning touch system and method
EP1628196A4 (en) * 2003-05-19 2008-10-29 Eit Co Ltd POSITION SENSOR WORKING WITH A SURFACE IMAGE SENSOR
US20050030293A1 (en) * 2003-08-05 2005-02-10 Lai Chih Chang Method for predicting and estimating coordinates of a touch panel
US7232986B2 (en) * 2004-02-17 2007-06-19 Smart Technologies Inc. Apparatus for detecting a pointer within a region of interest
US7372456B2 (en) * 2004-07-07 2008-05-13 Smart Technologies Inc. Method and apparatus for calibrating an interactive touch system
US7711681B2 (en) * 2004-11-05 2010-05-04 Accenture Global Services Gmbh System for distributed information presentation and interaction
WO2006054207A1 (en) * 2004-11-16 2006-05-26 Koninklijke Philips Electronics N.V. Touchless manipulation of images for regional enhancement
US7847789B2 (en) * 2004-11-23 2010-12-07 Microsoft Corporation Reducing accidental touch-sensitive device activation
WO2007003682A1 (en) 2005-06-30 2007-01-11 Nokia Corporation Camera control means to allow operating of a destined location of the information surface of a presentation and information system
US20070064004A1 (en) * 2005-09-21 2007-03-22 Hewlett-Packard Development Company, L.P. Moving a graphic element
US8018579B1 (en) 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
EP1955132B1 (en) * 2005-11-18 2018-04-18 Accenture Global Services Limited Multiple target detection and application state navigation system
US7599520B2 (en) * 2005-11-18 2009-10-06 Accenture Global Services Gmbh Detection of multiple targets on a plane of interest
US8209620B2 (en) 2006-01-31 2012-06-26 Accenture Global Services Limited System for storage and navigation of application states and interactions
US20070165007A1 (en) * 2006-01-13 2007-07-19 Gerald Morrison Interactive input system
EP1821184A3 (en) * 2006-02-08 2007-11-14 Almeva AG System and method for interacting with a display through a shop window
US20070205994A1 (en) * 2006-03-02 2007-09-06 Taco Van Ieperen Touch system and method for interacting with the same
KR101127517B1 (ko) * 2006-06-15 2012-03-23 (주)나노티에스 터치 좌표 인식 방법과 이를 수행하기 위한 터치 스크린장치
JP5028552B2 (ja) 2006-06-19 2012-09-19 株式会社Nc3 電磁誘導を用いて物体を検出する物体検出装置
US8563880B2 (en) * 2006-10-24 2013-10-22 Newcom, Inc. Operating tool with conductor pieces
DE102007021537B4 (de) * 2006-12-13 2020-01-02 Lg Display Co., Ltd. Displayeinheit mit Mehrfachberührungs-Erkennungsfunktion
KR101330471B1 (ko) 2006-12-15 2013-11-20 엘지디스플레이 주식회사 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법
US8139045B2 (en) * 2006-12-15 2012-03-20 Lg Display Co., Ltd. Display device having multi-touch recognizing function and driving method thereof
KR100915627B1 (ko) * 2007-03-29 2009-09-04 주식회사 토비스 광학센서유닛에 의한 응답구조를 갖는 터치패널 구동방법
US20090140992A1 (en) * 2007-06-16 2009-06-04 Sunrise Telecom Incorporated Display system
PL2229617T3 (pl) 2007-12-05 2011-12-30 Almeva Ag Układ interakcyjny do interakcji między ekranem a wskaźnikiem
US7781722B2 (en) * 2008-02-07 2010-08-24 Lumio Inc Optical touch screen assembly
US20090278795A1 (en) * 2008-05-09 2009-11-12 Smart Technologies Ulc Interactive Input System And Illumination Assembly Therefor
US8887063B2 (en) * 2008-05-21 2014-11-11 Smart Technologies Ulc Desktop sharing method and system
RU2010149173A (ru) * 2008-06-05 2012-07-20 СМАРТ Текнолоджиз ЮЭлСи (CA) Разрешение неоднозначности и окклюзии множества указателей
US8131502B2 (en) * 2008-10-10 2012-03-06 Pixart Imaging Inc. Sensing system and method for obtaining location of pointer thereof
US8135561B2 (en) * 2008-10-10 2012-03-13 Pixart Imaging Inc. Sensing system
TWI471823B (zh) * 2008-07-31 2015-02-01 Pixart Imaging Inc 以移動向量在微小點陣圖上決定座標的方法
US9063615B2 (en) * 2008-08-07 2015-06-23 Rapt Ip Limited Detecting multitouch events in an optical touch-sensitive device using line images
US9092092B2 (en) * 2008-08-07 2015-07-28 Rapt Ip Limited Detecting multitouch events in an optical touch-sensitive device using touch event templates
US8232511B2 (en) * 2008-10-10 2012-07-31 Pixart Imaging Inc. Sensing system adapted to sense a pointer and calculate a location of the pointer
US8305363B2 (en) * 2008-10-10 2012-11-06 Pixart Imaging Sensing system and locating method thereof
TW201019191A (en) * 2008-11-07 2010-05-16 Pixart Imaging Inc Touch system and method for obtaining position of pointer thereof
WO2010116308A1 (en) * 2009-04-05 2010-10-14 Radion Engineering Co. Ltd. Unified input and display system and method
US8860693B2 (en) * 2009-07-08 2014-10-14 Apple Inc. Image processing for camera based motion tracking
US8692768B2 (en) 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
KR101552988B1 (ko) * 2009-07-10 2015-09-14 엘지디스플레이 주식회사 액정 표시장치의 구동장치와 그 구동방법
TWI420357B (zh) * 2009-08-28 2013-12-21 Pixart Imaging Inc 觸控系統及其指示物座標偵測方法
US7932899B2 (en) * 2009-09-01 2011-04-26 Next Holdings Limited Determining the location of touch points in a position detection system
US8547327B2 (en) * 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
US20110095977A1 (en) * 2009-10-23 2011-04-28 Smart Technologies Ulc Interactive input system incorporating multi-angle reflecting structure
US20110095989A1 (en) * 2009-10-23 2011-04-28 Smart Technologies Ulc Interactive input system and bezel therefor
US9213414B1 (en) * 2009-11-13 2015-12-15 Ezero Technologies Llc Keyboard with integrated touch control
US9293060B2 (en) 2010-05-06 2016-03-22 Ai Cure Technologies Llc Apparatus and method for recognition of patient activities when obtaining protocol adherence data
US10762172B2 (en) 2010-10-05 2020-09-01 Ai Cure Technologies Llc Apparatus and method for object confirmation and tracking
US20110119073A1 (en) 2009-11-18 2011-05-19 Al Cure Technologies LLC Method and Apparatus for Verification of Medication Administration Adherence
US9256776B2 (en) 2009-11-18 2016-02-09 AI Cure Technologies, Inc. Method and apparatus for identification
US9183601B2 (en) 2010-03-22 2015-11-10 Ai Cure Technologies Llc Method and apparatus for collection of protocol adherence data
US20110153360A1 (en) 2009-12-23 2011-06-23 Al Cure Technologies LLC Method and Apparatus for Verification of Clinical Trial Adherence
US8605165B2 (en) 2010-10-06 2013-12-10 Ai Cure Technologies Llc Apparatus and method for assisting monitoring of medication adherence
US8666781B2 (en) * 2009-12-23 2014-03-04 Ai Cure Technologies, LLC Method and apparatus for management of clinical trials
US20110128218A1 (en) * 2009-12-01 2011-06-02 Smart Technologies Ulc Interactive input system and bezel therefor
JP2011175543A (ja) * 2010-02-25 2011-09-08 Sanyo Electric Co Ltd 指示体検出装置及びタッチパネル
US10116903B2 (en) 2010-05-06 2018-10-30 Aic Innovations Group, Inc. Apparatus and method for recognition of suspicious activities
US9883786B2 (en) 2010-05-06 2018-02-06 Aic Innovations Group, Inc. Method and apparatus for recognition of inhaler actuation
US9875666B2 (en) 2010-05-06 2018-01-23 Aic Innovations Group, Inc. Apparatus and method for recognition of patient activities
US9471179B2 (en) 2010-08-20 2016-10-18 Serafim Technologies Inc. Laser optical touch control module analog-to-digital conversion system and method of the same
EP2447811B1 (en) 2010-11-02 2019-12-18 LG Display Co., Ltd. Infrared sensor module, touch sensing method thereof, and auto calibration method applied to the same
GB2487043B (en) * 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction and illumination system and method
US9019239B2 (en) 2010-11-29 2015-04-28 Northrop Grumman Systems Corporation Creative design systems and methods
US9116553B2 (en) 2011-02-28 2015-08-25 AI Cure Technologies, Inc. Method and apparatus for confirmation of object positioning
US9665767B2 (en) 2011-02-28 2017-05-30 Aic Innovations Group, Inc. Method and apparatus for pattern tracking
US8963883B2 (en) 2011-03-17 2015-02-24 Symbol Technologies, Inc. Touchless interactive display system
US9262011B2 (en) 2011-03-30 2016-02-16 Smart Technologies Ulc Interactive input system and method
US8390593B2 (en) * 2011-04-13 2013-03-05 Google Inc. Click disambiguation on a touch-sensitive input device
EP3675481A1 (en) 2011-08-16 2020-07-01 Imax Theatres International Limited Hybrid image decomposition and projection
US10558845B2 (en) 2011-08-21 2020-02-11 Aic Innovations Group, Inc. Apparatus and method for determination of medication location
CN102306053B (zh) * 2011-08-29 2014-09-10 Tcl集团股份有限公司 一种基于虚拟触摸屏的人机交互方法、装置及电子设备
CN102323866B (zh) * 2011-09-01 2013-08-21 广东威创视讯科技股份有限公司 一种摄像式触摸控制方法及其装置
CA2847999C (en) 2011-10-20 2019-11-12 Imax Corporation Invisible or low perceptibility of image alignment in dual projection systems
CN103890638B (zh) 2011-10-20 2019-05-03 图象公司 用于图像投影的失真补偿
US8896688B2 (en) 2011-11-04 2014-11-25 Hewlett-Packard Development Company, L.P. Determining position in a projection capture system
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
JP6057407B2 (ja) * 2012-02-22 2017-01-11 学校法人東京電機大学 タッチ位置入力装置及びタッチ位置入力方法
TWI470510B (zh) * 2012-04-19 2015-01-21 Wistron Corp 光學觸控裝置及觸控感測方法
DE102012217638A1 (de) 2012-09-27 2014-03-27 Robert Bosch Gmbh Interaktive Tafel und Haussteuerungssystem
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
TWI495949B (zh) * 2012-10-24 2015-08-11 Pixart Imaging Inc 光學觸控系統之曝光機制及使用該機制之光學觸控系統
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US10609285B2 (en) 2013-01-07 2020-03-31 Ultrahaptics IP Two Limited Power consumption in motion-capture systems
US9465461B2 (en) 2013-01-08 2016-10-11 Leap Motion, Inc. Object detection and tracking with audio and optical signals
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9632658B2 (en) 2013-01-15 2017-04-25 Leap Motion, Inc. Dynamic user interactions for display control and scaling responsiveness of display objects
JP2014140942A (ja) * 2013-01-25 2014-08-07 Seiko Epson Corp ロボット制御システム、ロボット、ロボット制御方法及びプログラム
US9399111B1 (en) 2013-03-15 2016-07-26 Aic Innovations Group, Inc. Method and apparatus for emotional behavior therapy
US9702977B2 (en) 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US9317916B1 (en) 2013-04-12 2016-04-19 Aic Innovations Group, Inc. Apparatus and method for recognition of medication administration indicator
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US9436851B1 (en) 2013-05-07 2016-09-06 Aic Innovations Group, Inc. Geometric encrypted coded image
US9747696B2 (en) 2013-05-17 2017-08-29 Leap Motion, Inc. Systems and methods for providing normalized parameters of motions of objects in three-dimensional space
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
JP6202942B2 (ja) * 2013-08-26 2017-09-27 キヤノン株式会社 情報処理装置とその制御方法、コンピュータプログラム、記憶媒体
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
CN104423720B (zh) * 2013-09-02 2018-01-05 颜涌 一种基于摄像头的电脑输入设备和方法
US9824297B1 (en) 2013-10-02 2017-11-21 Aic Innovations Group, Inc. Method and apparatus for medication identification
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9478124B2 (en) 2013-10-21 2016-10-25 I-Interactive Llc Remote control with enhanced touch surface input
US9625992B2 (en) 2013-10-21 2017-04-18 I-Interactive Llc Remote control with dual activated touch sensor input
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9317150B2 (en) * 2013-12-28 2016-04-19 Intel Corporation Virtual and configurable touchscreens
US9613262B2 (en) 2014-01-15 2017-04-04 Leap Motion, Inc. Object detection and tracking for providing a virtual device experience
GB2522248A (en) * 2014-01-20 2015-07-22 Promethean Ltd Interactive system
LU92408B1 (en) * 2014-03-21 2015-09-22 Olivier Raulot User gesture recognition
US9679113B2 (en) 2014-06-11 2017-06-13 Aic Innovations Group, Inc. Medication adherence monitoring system and method
WO2016018274A1 (en) * 2014-07-30 2016-02-04 Hewlett-Packard Development Company, L.P. Transparent whiteboard display
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
JP6464624B2 (ja) * 2014-09-12 2019-02-06 株式会社リコー 画像処理システム、画像処理装置、方法およびプログラム
JP6665415B2 (ja) * 2015-03-30 2020-03-13 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
US10289239B2 (en) 2015-07-09 2019-05-14 Microsoft Technology Licensing, Llc Application programming interface for multi-touch input detection
US11170484B2 (en) 2017-09-19 2021-11-09 Aic Innovations Group, Inc. Recognition of suspicious activities in medication administration
EP3743179B1 (en) 2018-01-25 2023-08-09 Neonode Inc. Spherical coordinate sensor for vehicle occupant monitoring
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
KR102469722B1 (ko) 2018-09-21 2022-11-22 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US11281337B1 (en) 2019-09-24 2022-03-22 Apple Inc. Mirror accessory for camera based touch detection

Family Cites Families (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4144449A (en) * 1977-07-08 1979-03-13 Sperry Rand Corporation Position detection apparatus
CA1109539A (en) * 1978-04-05 1981-09-22 Her Majesty The Queen, In Right Of Canada, As Represented By The Ministe R Of Communications Touch sensitive computer input device
US4558313A (en) 1981-12-31 1985-12-10 International Business Machines Corporation Indicator to data processing interface
US4507557A (en) * 1983-04-01 1985-03-26 Siemens Corporate Research & Support, Inc. Non-contact X,Y digitizer using two dynamic ram imagers
JPS61262917A (ja) * 1985-05-17 1986-11-20 Alps Electric Co Ltd 光電式タツチパネルのフイルタ−
DE3616490A1 (de) * 1985-05-17 1986-11-27 Alps Electric Co Ltd Optische koordinaten-eingabe-vorrichtung
US4822145A (en) * 1986-05-14 1989-04-18 Massachusetts Institute Of Technology Method and apparatus utilizing waveguide and polarized light for display of dynamic images
JPS6375918A (ja) * 1986-09-19 1988-04-06 Alps Electric Co Ltd 座標入力装置
US4782328A (en) 1986-10-02 1988-11-01 Product Development Services, Incorporated Ambient-light-responsive touch screen data input method and system
US4746770A (en) * 1987-02-17 1988-05-24 Sensor Frame Incorporated Method and apparatus for isolating and manipulating graphic objects on computer video monitor
US4907156A (en) * 1987-06-30 1990-03-06 University Of Chicago Method and system for enhancement and detection of abnormal anatomic regions in a digital image
JPH01320521A (ja) 1988-06-22 1989-12-26 Wacom Co Ltd 電子黒板装置及びその筆記具等
US5109435A (en) * 1988-08-08 1992-04-28 Hughes Aircraft Company Segmentation method for use against moving objects
US5130794A (en) 1990-03-29 1992-07-14 Ritchey Kurtis J Panoramic display system
US5097516A (en) * 1991-02-28 1992-03-17 At&T Bell Laboratories Technique for illuminating a surface with a gradient intensity line of light to achieve enhanced two-dimensional imaging
CA2058219C (en) 1991-10-21 2002-04-02 Smart Technologies Inc. Interactive display system
GB9201949D0 (en) * 1992-01-30 1992-03-18 Jenkin Michael Large-scale,touch-sensitive video display
US5483261A (en) * 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5880411A (en) * 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US5724743A (en) * 1992-09-04 1998-03-10 Snap-On Technologies, Inc. Method and apparatus for determining the alignment of motor vehicle wheels
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US5982352A (en) 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
EP0594146B1 (en) * 1992-10-22 2002-01-09 Advanced Interconnection Technology, Inc. System for automatic optical inspection of wire scribed circuit boards
US5317140A (en) * 1992-11-24 1994-05-31 Dunthorn David I Diffusion-assisted position location particularly for visual pen detection
US5502568A (en) * 1993-03-23 1996-03-26 Wacom Co., Ltd. Optical position detecting unit, optical coordinate input unit and optical position detecting method employing a pattern having a sequence of 1's and 0's
US5359155A (en) * 1993-03-25 1994-10-25 Tiger Scientific Corp. Illumination apparatus for a digitizer tablet
US5729704A (en) * 1993-07-21 1998-03-17 Xerox Corporation User-directed method for operating on an object-based model data structure through a second contextual image
JPH07230352A (ja) * 1993-09-16 1995-08-29 Hitachi Ltd タッチ位置検出装置及びタッチ指示処理装置
US5484966A (en) * 1993-12-07 1996-01-16 At&T Corp. Sensing stylus position using single 1-D image sensor
GB2286100A (en) * 1994-01-19 1995-08-02 Ibm Touch-sensitive display apparatus
US5577733A (en) 1994-04-08 1996-11-26 Downing; Dennis L. Targeting system
US5771039A (en) * 1994-06-06 1998-06-23 Ditzik; Richard J. Direct view display device integration techniques
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US5737740A (en) * 1994-06-27 1998-04-07 Numonics Apparatus and method for processing electronic documents
US5638092A (en) * 1994-12-20 1997-06-10 Eng; Tommy K. Cursor control system
JPH08179888A (ja) 1994-12-21 1996-07-12 Hitachi Ltd 大画面ディスプレイ用入力装置
US5554828A (en) * 1995-01-03 1996-09-10 Texas Instruments Inc. Integration of pen-based capability into a field emission device system
US5736686A (en) * 1995-03-01 1998-04-07 Gtco Corporation Illumination apparatus for a digitizer tablet with improved light panel
WO1996034332A1 (fr) * 1995-04-28 1996-10-31 Matsushita Electric Industrial Co., Ltd. Dispositif d'interface
JP3436828B2 (ja) * 1995-05-08 2003-08-18 株式会社リコー 画像処理装置
US5786810A (en) 1995-06-07 1998-07-28 Compaq Computer Corporation Method of determining an object's position and associated apparatus
JPH09106320A (ja) 1995-08-24 1997-04-22 Symbios Logic Inc 図形入力装置および図形入力方法
US5818424A (en) * 1995-10-19 1998-10-06 International Business Machines Corporation Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space
US5825352A (en) * 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
JPH09190284A (ja) 1996-01-11 1997-07-22 Canon Inc 情報処理装置およびその方法
TW394879B (en) * 1996-02-09 2000-06-21 Sega Enterprises Kk Graphics processing system and its data input device
US5991456A (en) * 1996-05-29 1999-11-23 Science And Technology Corporation Method of improving a digital image
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US5745116A (en) * 1996-09-09 1998-04-28 Motorola, Inc. Intuitive gesture-based graphical user interface
US5936615A (en) 1996-09-12 1999-08-10 Digital Equipment Corporation Image-based touchscreen
US5819201A (en) * 1996-09-13 1998-10-06 Magellan Dis, Inc. Navigation system with vehicle service information
JPH10124689A (ja) * 1996-10-15 1998-05-15 Nikon Corp 画像記録再生装置
JP3625349B2 (ja) * 1997-02-12 2005-03-02 株式会社東芝 画像入力装置および画像入力方法
AU5156198A (en) 1996-10-29 1998-05-22 Xeotron Corporation Optical device utilizing optical waveguides and mechanical light-switches
US6061177A (en) * 1996-12-19 2000-05-09 Fujimoto; Kenneth Noboru Integrated computer display and graphical input apparatus and method
US6252989B1 (en) * 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
JP3624070B2 (ja) * 1997-03-07 2005-02-23 キヤノン株式会社 座標入力装置及びその制御方法
US5914709A (en) * 1997-03-14 1999-06-22 Poa Sana, Llc User input device for a computer system
WO1998044316A1 (en) 1997-04-02 1998-10-08 Goszyk Kurt A Adjustable area coordinate position data-capture system
JP3876942B2 (ja) * 1997-06-13 2007-02-07 株式会社ワコム 光デジタイザ
US6161066A (en) * 1997-08-18 2000-12-12 The Texas A&M University System Advanced law enforcement and response technology
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6243074B1 (en) * 1997-08-29 2001-06-05 Xerox Corporation Handedness detection for a physical manipulatory grammar
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
WO1999021122A1 (en) 1997-10-22 1999-04-29 Ascent Technology, Inc. Voice-output reading system with gesture-based navigation
JP3794180B2 (ja) * 1997-11-11 2006-07-05 セイコーエプソン株式会社 座標入力システム及び座標入力装置
TW449709B (en) * 1997-11-17 2001-08-11 Hewlett Packard Co A method for distinguishing a contact input
US6310610B1 (en) * 1997-12-04 2001-10-30 Nortel Networks Limited Intelligent touch display
KR100595920B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
AU2439399A (en) * 1998-02-09 1999-08-23 Haim Azaria Video camera computer touch screen system
JP2000105671A (ja) * 1998-05-11 2000-04-11 Ricoh Co Ltd 座標入力/検出装置および電子黒板システム
JP4033582B2 (ja) * 1998-06-09 2008-01-16 株式会社リコー 座標入力/検出装置および電子黒板システム
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
JP2000089913A (ja) * 1998-09-08 2000-03-31 Gunze Ltd タッチパネル入力座標変換装置
DE19845030A1 (de) * 1998-09-30 2000-04-20 Siemens Ag Bildsystem
US6972753B1 (en) 1998-10-02 2005-12-06 Semiconductor Energy Laboratory Co., Ltd. Touch panel, display device provided with touch panel and electronic equipment provided with display device
US6335724B1 (en) * 1999-01-29 2002-01-01 Ricoh Company, Ltd. Method and device for inputting coordinate-position and a display board system
US6545669B1 (en) * 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
TW459192B (en) * 1999-06-25 2001-10-11 Toshiba Corp Electronic apparatus and electronic system provided with the same
US6671419B1 (en) * 1999-07-02 2003-12-30 Intel Corporation Method for reducing shadows and/or noise in a digital image
JP2001060145A (ja) * 1999-08-23 2001-03-06 Ricoh Co Ltd 座標入力/検出システムおよびその位置合わせ調整方法
JP3905670B2 (ja) * 1999-09-10 2007-04-18 株式会社リコー 座標入力検出装置、情報記憶媒体及び座標入力検出方法
JP4057200B2 (ja) * 1999-09-10 2008-03-05 株式会社リコー 座標入力装置および座標入力装置の記録媒体
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
JP4052498B2 (ja) * 1999-10-29 2008-02-27 株式会社リコー 座標入力装置および方法
US6710770B2 (en) * 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
JP3934846B2 (ja) * 2000-03-06 2007-06-20 株式会社リコー 座標入力/検出装置、電子黒板システム、受光素子の位置ズレ補正方法及び記憶媒体
JP2001265516A (ja) * 2000-03-16 2001-09-28 Ricoh Co Ltd 座標入力装置
JP2001282445A (ja) * 2000-03-31 2001-10-12 Ricoh Co Ltd 座標入力/検出装置および情報表示入力装置
JP3834766B2 (ja) 2000-04-03 2006-10-18 独立行政法人科学技術振興機構 マンマシーン・インターフェース・システム
US6864882B2 (en) * 2000-05-24 2005-03-08 Next Holdings Limited Protected touch panel display system
US6690397B1 (en) * 2000-06-05 2004-02-10 Advanced Neuromodulation Systems, Inc. System for regional data association and presentation and method for the same
US6690363B2 (en) * 2000-06-19 2004-02-10 Next Holdings Limited Touch panel display system
US6803906B1 (en) * 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
JP5042437B2 (ja) 2000-07-05 2012-10-03 スマート テクノロジーズ ユーエルシー カメラベースのタッチシステム
US7466843B2 (en) 2000-07-07 2008-12-16 Pryor Timothy R Multi-functional control and entertainment systems
US6531999B1 (en) * 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
US6747663B2 (en) * 2000-08-24 2004-06-08 Sun Microsystems, Inc. Interpolating sample values from known triangle vertex values
NO20004514A (no) 2000-09-11 2002-01-14 Njoelstad Tormod Tegne-, skrive- og peke-redskap for datamaskinbaserte presentasjoner og kontorarbeid
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
JP3793014B2 (ja) * 2000-10-03 2006-07-05 キヤノン株式会社 電子源の製造装置、電子源の製造方法及び画像形成装置の製造方法
US6680834B2 (en) * 2000-10-04 2004-01-20 Honeywell International Inc. Apparatus and method for controlling LED arrays
US6774889B1 (en) * 2000-10-24 2004-08-10 Microsoft Corporation System and method for transforming an ordinary computer monitor screen into a touch screen
US7016532B2 (en) * 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US6518600B1 (en) 2000-11-17 2003-02-11 General Electric Company Dual encapsulation for an LED
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
JP4551018B2 (ja) 2001-04-05 2010-09-22 富士通株式会社 画像結合装置
US6919880B2 (en) * 2001-06-01 2005-07-19 Smart Technologies Inc. Calibrating camera offsets to facilitate object position determination using triangulation
GB2378073B (en) * 2001-07-27 2005-08-31 Hewlett Packard Co Paper-to-computer interfaces
US7007236B2 (en) * 2001-09-14 2006-02-28 Accenture Global Services Gmbh Lab window collaboration
JP2003162370A (ja) 2001-09-14 2003-06-06 Ricoh Co Ltd 画像処理装置、タッチパネル付きディスプレイ装置、画像処理方法、および画像処理方法をコンピュータに実行させるプログラム
JP2003173237A (ja) * 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US7254775B2 (en) * 2001-10-03 2007-08-07 3M Innovative Properties Company Touch panel system and method for distinguishing multiple touch inputs
JP3920067B2 (ja) * 2001-10-09 2007-05-30 株式会社イーアイティー 座標入力装置
JP2003167669A (ja) 2001-11-22 2003-06-13 Internatl Business Mach Corp <Ibm> 情報処理装置、プログラム及び座標入力方法
US6628216B2 (en) * 2002-02-13 2003-09-30 Intersil Americas Inc. Calibration of resistor ladder using difference measurement and parallel resistive correction
US7038659B2 (en) * 2002-04-06 2006-05-02 Janusz Wiktor Rajkowski Symbol encoding apparatus and method
US7119351B2 (en) 2002-05-17 2006-10-10 Gsi Group Corporation Method and system for machine vision-based feature detection and mark verification in a workpiece or wafer marking system
US20030226968A1 (en) 2002-06-10 2003-12-11 Steve Montellese Apparatus and method for inputting data
US7260257B2 (en) * 2002-06-19 2007-08-21 Microsoft Corp. System and method for whiteboard and audio capture
US6972401B2 (en) 2003-01-30 2005-12-06 Smart Technologies Inc. Illuminated bezel and touch system incorporating the same
US7629967B2 (en) * 2003-02-14 2009-12-08 Next Holdings Limited Touch screen signal processing
US7532206B2 (en) * 2003-03-11 2009-05-12 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US6947032B2 (en) * 2003-03-11 2005-09-20 Smart Technologies Inc. Touch system and method for determining pointer contacts on a touch surface
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20050052427A1 (en) * 2003-09-10 2005-03-10 Wu Michael Chi Hung Hand gesture interaction with touch surface
US7411575B2 (en) * 2003-09-16 2008-08-12 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US7274356B2 (en) * 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest
US7265752B2 (en) * 2004-01-09 2007-09-04 Microsoft Corporation Multi-chart geometry images
US7538759B2 (en) 2004-05-07 2009-05-26 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US20080129707A1 (en) 2004-07-27 2008-06-05 Pryor Timothy R Method and apparatus employing multi-functional controls and displays

Cited By (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8055022B2 (en) 2000-07-05 2011-11-08 Smart Technologies Ulc Passive touch system and method of detecting user input
US8378986B2 (en) 2000-07-05 2013-02-19 Smart Technologies Ulc Passive touch system and method of detecting user input
US8203535B2 (en) 2000-07-05 2012-06-19 Smart Technologies Ulc Passive touch system and method of detecting user input
US8228304B2 (en) 2002-11-15 2012-07-24 Smart Technologies Ulc Size/scale orientation determination of a pointer in a camera-based touch system
US8456447B2 (en) 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
US8289299B2 (en) 2003-02-14 2012-10-16 Next Holdings Limited Touch screen signal processing
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US8466885B2 (en) 2003-02-14 2013-06-18 Next Holdings Limited Touch screen signal processing
US8456451B2 (en) 2003-03-11 2013-06-04 Smart Technologies Ulc System and method for differentiating between pointers used to contact touch surface
US8325134B2 (en) 2003-09-16 2012-12-04 Smart Technologies Ulc Gesture recognition method and touch system incorporating the same
US8456418B2 (en) 2003-10-09 2013-06-04 Smart Technologies Ulc Apparatus for determining the location of a pointer within a region of interest
US8576172B2 (en) 2004-01-02 2013-11-05 Smart Technologies Ulc Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US8089462B2 (en) 2004-01-02 2012-01-03 Smart Technologies Ulc Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
US8274496B2 (en) 2004-04-29 2012-09-25 Smart Technologies Ulc Dual mode touch systems
CN101019096B (zh) * 2004-05-05 2012-04-18 智能技术无限责任公司 用于相对于触摸面检测指示器的装置和方法
US8149221B2 (en) 2004-05-07 2012-04-03 Next Holdings Limited Touch panel display system with illumination and detection provided from a single edge
US8120596B2 (en) 2004-05-21 2012-02-21 Smart Technologies Ulc Tiled touch system
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
CN101206546B (zh) * 2006-12-15 2012-05-02 乐金显示有限公司 具有多触点识别功能的显示器件及其驱动方法
US8115753B2 (en) 2007-04-11 2012-02-14 Next Holdings Limited Touch screen system with hover and click input methods
US8094137B2 (en) 2007-07-23 2012-01-10 Smart Technologies Ulc System and method of detecting contact on a display
US8384693B2 (en) 2007-08-30 2013-02-26 Next Holdings Limited Low profile touch panel systems
US8432377B2 (en) 2007-08-30 2013-04-30 Next Holdings Limited Optical touchscreen with improved illumination
US8405637B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly with convex imaging window
US8405636B2 (en) 2008-01-07 2013-03-26 Next Holdings Limited Optical position sensing system and optical position sensor assembly
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
US8339378B2 (en) 2008-11-05 2012-12-25 Smart Technologies Ulc Interactive input system with multi-angle reflector
CN101840281B (zh) * 2009-03-20 2012-12-05 原相科技股份有限公司 感测系统及其取得指示物的位置的方法
CN101930261A (zh) * 2009-06-17 2010-12-29 智能技术Ulc公司 交互式输入系统及其臂组件
CN102033657A (zh) * 2009-09-24 2011-04-27 原相科技股份有限公司 触控系统及其指示物高度侦测方法和指示物坐标侦测方法
CN102096526B (zh) * 2009-12-15 2015-11-25 乐金显示有限公司 光学传感单元、显示模块和使用光学传感单元的显示装置
US8659578B2 (en) 2009-12-15 2014-02-25 Lg Display Co., Ltd. Optical sensing unit, display module and display device using the same
CN102096526A (zh) * 2009-12-15 2011-06-15 乐金显示有限公司 光学传感单元、显示模块和使用光学传感单元的显示装置
CN102236477B (zh) * 2010-04-21 2013-05-08 广达电脑股份有限公司 背景影像更新方法及触控屏幕
CN102236477A (zh) * 2010-04-21 2011-11-09 广达电脑股份有限公司 背景影像更新方法及触控屏幕
CN102184057A (zh) * 2010-04-29 2011-09-14 友达光电股份有限公司 触碰侦测装置及侦测触碰位置的方法
CN102184057B (zh) * 2010-04-29 2013-10-09 友达光电股份有限公司 触碰侦测装置及侦测触碰位置的方法
CN102346599B (zh) * 2010-08-04 2015-06-03 北京汇冠新技术股份有限公司 触摸定位方法和触摸屏
WO2012016498A1 (zh) * 2010-08-04 2012-02-09 北京汇冠新技术股份有限公司 触摸定位方法、触摸屏、触摸系统和显示器
CN102346599A (zh) * 2010-08-04 2012-02-08 北京汇冠新技术股份有限公司 触摸定位方法、触摸屏、触摸系统和显示器
TWI494824B (zh) * 2010-08-24 2015-08-01 Quanta Comp Inc 光學觸控系統及方法
CN102402340B (zh) * 2010-09-08 2014-07-09 北京汇冠新技术股份有限公司 触摸定位方法、触摸屏、触摸系统和显示器
CN102402340A (zh) * 2010-09-08 2012-04-04 北京汇冠新技术股份有限公司 触摸定位方法、触摸屏、触摸系统和显示器
WO2012031512A1 (zh) * 2010-09-08 2012-03-15 北京汇冠新技术股份有限公司 触摸定位方法、触摸屏、触摸系统和显示器
CN102294119A (zh) * 2011-08-02 2011-12-28 广州市迪拓信息科技有限公司 一种触控设备感应控制方法及系统
CN102609153A (zh) * 2012-01-29 2012-07-25 胡世曦 一种计算物体与工作平面的接触位置的装置
TWI475446B (zh) * 2012-04-24 2015-03-01 Wistron Corp 光學式觸控系統及其擷取訊號調整之方法
CN103488348B (zh) * 2012-06-11 2016-09-07 东友科技股份有限公司 影像感测器群组的定位方法
CN103488348A (zh) * 2012-06-11 2014-01-01 东友科技股份有限公司 影像感测器群组的定位方法
CN102789340A (zh) * 2012-06-27 2012-11-21 深圳市巨龙科教高技术股份有限公司 一种电子白板的白板坐标获取方法、装置及电子白板
CN102789340B (zh) * 2012-06-27 2015-12-16 深圳市巨龙科教高技术股份有限公司 一种电子白板的白板坐标获取方法、装置及电子白板
CN102778979A (zh) * 2012-06-28 2012-11-14 广州视睿电子科技有限公司 光学触摸方法及其装置
TWI462033B (zh) * 2012-11-02 2014-11-21 Wistron Corp 觸控系統及觸控系統的繪圖方法
CN104423560A (zh) * 2013-09-09 2015-03-18 联想(北京)有限公司 一种信息处理方法和电子设备
CN104423560B (zh) * 2013-09-09 2018-11-13 联想(北京)有限公司 一种信息处理方法和电子设备
CN103530061A (zh) * 2013-10-31 2014-01-22 京东方科技集团股份有限公司 显示装置及控制方法、手势识别方法、头戴显示装置
CN103530061B (zh) * 2013-10-31 2017-01-18 京东方科技集团股份有限公司 显示装置及控制方法
CN104679353B (zh) * 2013-11-29 2017-08-25 纬创资通股份有限公司 光学触控装置及触控点坐标的计算方法
CN104679353A (zh) * 2013-11-29 2015-06-03 纬创资通股份有限公司 光学触控装置及触控点坐标的计算方法
CN104777927A (zh) * 2014-01-15 2015-07-15 纬创资通股份有限公司 影像式触控装置及其控制方法
CN104777927B (zh) * 2014-01-15 2018-08-03 纬创资通股份有限公司 影像式触控装置及其控制方法
CN103973975B (zh) * 2014-04-10 2017-11-07 北京智谷睿拓技术服务有限公司 交互方法、装置及用户设备
CN103973975A (zh) * 2014-04-10 2014-08-06 北京智谷睿拓技术服务有限公司 交互方法、装置及用户设备
CN105023552A (zh) * 2014-04-21 2015-11-04 纬创资通股份有限公司 显示器及其亮度调整方法

Also Published As

Publication number Publication date
CA2412878A1 (en) 2002-01-10
DE60140909D1 (de) 2010-02-04
ES2279823T3 (es) 2007-09-01
EP1739528A1 (en) 2007-01-03
US20050077452A1 (en) 2005-04-14
EP1739528B1 (en) 2009-12-23
ES2396587T3 (es) 2013-02-22
US7692625B2 (en) 2010-04-06
EP1297488B1 (en) 2006-11-15
US9176627B2 (en) 2015-11-03
EP1739529A1 (en) 2007-01-03
DE60143592D1 (de) 2011-01-13
JP2004502261A (ja) 2004-01-22
ATE345525T1 (de) 2006-12-15
ES2340945T3 (es) 2010-06-11
EP1297488A1 (en) 2003-04-02
ES2435248T3 (es) 2013-12-17
CN1310126C (zh) 2007-04-11
US20100188370A1 (en) 2010-07-29
JP5042437B2 (ja) 2012-10-03
ATE490501T1 (de) 2010-12-15
DE60124549D1 (de) 2006-12-28
EP1739529B1 (en) 2010-12-01
AU2001272250A1 (en) 2002-01-14
ATE453147T1 (de) 2010-01-15
WO2002003316A1 (en) 2002-01-10
DE60124549T2 (de) 2007-09-06
CA2412878C (en) 2015-02-03

Similar Documents

Publication Publication Date Title
CN1310126C (zh) 基于摄影机的触摸系统
US10547833B2 (en) Camera calibration system, target, and process
EP2120183B1 (en) Method and system for cancellation of ambient light using light frequency
US6554431B1 (en) Method and apparatus for image projection, and apparatus controlling image projection
EP2333639A1 (en) Camera-based touch system and method
CN1606754A (zh) 计算显示位置的装置和方法
US8391591B2 (en) Method for measuring the growth of leaf disks of plants and apparatus suited therefor
CN1758720A (zh) 图像处理方法和图像处理装置
CN1743806A (zh) 移动体高度判别装置
CN112204615B (zh) 荧光图像配准方法、基因测序仪及系统、存储介质
CN1864176A (zh) 用于估计对象状态的估计系统、估计方法和估计程序
CN1784649A (zh) 自动校准的触摸系统及方法
CN1892702A (zh) 追踪装置
US8614694B2 (en) Touch screen system based on image recognition
CN1928799A (zh) 触摸屏定位装置及其定位方法
CN1959740A (zh) 图像处理方法及装置、图像处理用程序及其存储介质
EP3299937B1 (en) Information processing device and information processing method
CN109919038A (zh) 基于机器视觉与深度学习的配电柜方形压板状态识别方法
US20070071300A1 (en) Method and system for automatic vision inspection and classification of microarray slides
CN113592057A (zh) 菌落计数分析方法、装置及可读存储介质
JP2672509B2 (ja) カメラモデルの自動キャリブレーション方法およびその装置
JP7275983B2 (ja) 作業分析装置及び作業分析プログラム
US10943331B2 (en) Image processing method and image processing apparatus
WO2023240696A1 (zh) 定位追踪方法、装置、终端设备及计算机存储介质
CN1746837A (zh) 电子显示系统定位方法及其装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: INTELLIGENT TECHNOLOGY UNLIMITED LIABILITY COMPANY

Free format text: FORMER OWNER: INTELLIGENT TECHNOLOGY COMPANY

Effective date: 20100624

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: ALBERTA, CANADA TO: CANADA, AI BOTA

TR01 Transfer of patent right

Effective date of registration: 20100624

Address after: Canada, Alberta

Patentee after: Smart Technologies Inc.

Address before: Alberta Canada

Patentee before: Smart Technologies Inc.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070411

Termination date: 20200705

CF01 Termination of patent right due to non-payment of annual fee