CN102171636A

CN102171636A - 触摸输入系统校准

Info

Publication number: CN102171636A
Application number: CN2009801384805A
Authority: CN
Inventors: 大卫·E·霍姆格伦; 乔治·克莱克; 罗伯托·A·L·西罗蒂克; 爱德华·策; 王韵秋; 乔·赖特; 格兰特·麦克贝格尼
Original assignee: Smart Technologies ULC
Current assignee: Smart Technologies ULC
Priority date: 2008-09-29
Filing date: 2009-09-28
Publication date: 2011-08-31
Also published as: US20100079385A1; AU2009295317A1; CA2738178A1; EP2332029A4; EP2332029A1; WO2010034119A1

Abstract

提供了一种交互式输入系统以及校准交互式输入系统的方法。所述方法包括：接收在交互式输入系统的触摸板上呈现的校准视频的图像。基于所接收到的图像来创建校准图像，以及在校准图像中定位特征。基于已定位的特征和校准视频中的对应特征来确定触摸板与所接收到的图像之间的变换。

Description

触摸输入系统校准

技术领域

本发明通常涉及交互式输入系统，并且具体地，涉及用于校准交互式输入系统的方法以及执行所述校准方法的交互式输入系统。

背景技术

已知允许用户使用主动指示器(例如，发出光、声或其他信号的指示器)、被动指示器(例如，手指、圆柱体或其他适当对象)或者例如鼠标或轨迹球的其他适合的输入设备对应用程序注入输入(例如，数字墨水、鼠标事件等)。这些交互式输入系统包括，但不限于：包括采用模拟电阻或机器视觉技术注册指示器输入的触摸板的触摸系统，诸如转让给本申请的受让人的Calgary，Alberta，Canada的SMART技术公司的第5,448,263号、第6,141,000号、第6,337,681号、第6,747,636号、第6,803,906号、第7,232,986号、第7,236,162号和第7,274,356号的美国专利中所公开的，通过引用的方式将这些专利的内容合并于此；包括采用电磁、电容、声或其他技术注册指示器输入的触摸板的触摸系统；平板个人计算机(PC)；膝上型PC；个人数字助理(PDA)；或其他相似设备。

还已知使用机器视觉从多个指示器接收和处理输入的多触摸交互式输入系统。一个这样类型的多触摸交互式输入系统采用公知的受抑全内反射(FTIR)光学现象。根据FTIR的一般原理，由于波导的折射率的变化，当诸如指示器的对象触摸波导表面时，通过光波导传播的光的全内反射(TIR)受抑，造成一些光逃离触摸点。在多触摸交互式输入系统中，机器视觉系统捕获包括光逃离的点的图像，并且处理该图像，以基于用作对应用程序的输入的光逃离的点在波导表面上识别指示器的位置。FTIR多触摸交互式输入系统的一个示例在Han的第2008/0029691号美国专利申请公布中被公开。

为了在显示表面上准确地注册利用对应点在所捕获的图像中检测到的触摸点的位置，使得在显示表面上用户的触摸点对应于期望的位置，执行校准方法。通常，在校准期间，将已知校准图像投射到显示表面上。捕获所投射的图像，并且从所捕获的图像提取特征。确定在所捕获的图像中所提取的特征的位置，并且执行在已知校准图像中所确定的位置与特征的位置之间的映射。基于特征位置的映射，定义显示表面上的任何点与所捕获的图像之间的一般变换，从而完成校准。基于该校准，可以将所捕获的图像中检测到的任何触摸点从相机坐标变换到显示坐标。

FTIR系统在使用红外光检测触摸的同时在显示表面上显示可见光图像。通常从所显示的图像过滤出红外光，以便减少与触摸检测的干扰。然而，当执行校准时，使用红外成像设备捕获的过滤可见光校准图像的红外图像具有非常低的信噪比。其结果是，从校准图像的特征提取极具挑战性。

因此，下面的一方面的目的是提供一种用于校准交互式输入系统的新方法以及一种执行该校准方法的交互式输入系统。

发明内容

相应地，在一方面，提供了一种校准交互式输入系统的方法，包括：接收在交互式输入系统的触摸板上呈现的校准视频的图像；基于所接收到的图像来创建校准图像；在校准图像中定位特征；以及基于所定位的特征和校准视频中的对应特征来确定触摸板与所接收到的图像之间的变换。

根据另一方面，提供了一种交互式输入系统，包括：触摸板以及执行校准方法的处理结构，所述校准方法基于在触摸板上呈现的校准视频中的已知特征以及校准图像中定位的特征，确定触摸板与成像面之间的变换，所述校准图像基于所呈现的校准视频的接收到的图像而创建。

根据另一方面，提供了一种包含用于校准交互式输入系统的计算机程序的计算机可读介质，所述计算机程序包括：接收在交互式输入系统的触摸板上呈现的校准视频的图像的计算机程序代码；基于所接收到的图像来创建校准图像的计算机程序代码；在校准图像中定位特征的计算机程序代码；以及基于所定位的特征和所呈现的校准视频中的对应特征来确定触摸板与所接收到的图像之间的变换的计算机程序代码。

根据又一方面，提供了一种用于确定交互式输入系统中的触摸板的捕获的图像中的一个或多个触摸点的方法，包括：基于所捕获图像和没有任何触摸点的触摸板的图像来创建相似性图像；通过基于自适应阈值为相似性图像设置阈值来创建已设置阈值的图像；将一个或多个触摸点识别为所述已设置阈值的图像中的区域；以及基于相似性图像中对应区域中的像素强度来细调一个或多个触摸点的边界。

根据又一方面，提供了一种交互式输入系统，包括：触摸板以及执行触摸点确定方法的处理结构，所述触摸点确定方法将触摸板的捕获的图像中的一个或多个触摸点确定为使用已设置阈值的相似性图像中的对应区域中的像素强度细调的所述相似性图像中识别的区域。

根据再一方面，提供了一种包含用于确定交互式输入系统中的触摸板的捕获的图像中的一个或多个触摸点的计算机程序的计算机可读介质，所述计算机程序包括：基于所捕获的图像和没有任何触摸点的触摸板的图像来创建相似性图像的计算机程序代码；通过基于自适应阈值为相似性图像设置阈值来创建设置阈值的图像的计算机程序代码；将一个或多个触摸点识别为所述设置阈值的图像中的区域的计算机程序代码；以及基于相似性图像中对应区域中的像素强度来细调一个或多个触摸点的边界的计算机程序代码。

附图说明

现在将参照附图更加充分地描述实施例，在附图中：

图1是交互式输入系统的立体图；

图2a是图1的交互式输入系统的侧截面图；

图2b是形成图1的交互式输入系统的一部分的台面和触摸板的截面图；

图2c是指示器已经接触的图2b的触摸板的截面图；

图3是示出识别显示表面与图像面之间的变换进行的校准步骤的流程图；

图4是示出识别捕获的图像中的触摸点进行的图像处理步骤的流程图；

图5是由成像设备捕获的校准视频的单幅图像；

图6是示出在校准视频的捕获图像中的选择位置处的各个像素强度的曲线图；

图7a至图7d是示出用于在保留边缘以去除噪声的同时平滑平均差图像的各向异性扩散的效果的图像；

图8是图示成像设备的镜头的径向镜头失真的视图；

图9是保留边缘的差图像的失真校正图像。

图10是基于失真校正图像的边缘图像。

图11是图示图像面中的线与Radon面中的点之间的映射的视图；

图12是边缘图像的Radon变换的图像；

图13是示出被识别为失真校正图像上覆盖的Radon变换图像中的峰值的线以示出具有棋盘图案的对应性的图像；

图14是示出图13中识别的线的交叉点的图像；

图15是图示图像面中的点与显示面中的点的映射的视图；

图16是示出图像面中的交叉点与显示面中的已知交叉点之间的变换的拟合的视图；

图17a至图17d是在确定接收到的输入图像中的触摸点期间处理的图像；以及

图18是示出用于确定接收到的输入图像中的触摸点的图像处理期间为自适应阈值设置选择的像素强度的曲线图。

具体实施方式

现在转向图1，示出了触摸台形式的交互式输入系统的立体图，并且其通常由附图标记10来表示。触摸台10包括安装在柜16顶部的台面12。在此实施例中，柜16位于轮、脚轮等18之上，使得触摸台10能够根据需要容易地从一个地方移动到另一个地方。集成到台面12是基于使得能够检测和跟踪施加到其上的一个或多个指示器11(诸如手指、笔、手、圆柱体或其他对象)的触摸板14的受抑全内反射(FTIR)形式的坐标输入设备。

柜16支撑台面12和触摸板14，并容纳执行主机应用和一个或多个应用程序的处理结构20(见图2)。由处理结构20生成的图像数据被显示在触摸板14上，允许用户经由触摸板14的显示表面15上的指示器接触与所显示的图像交互。处理结构20将指示器接触解释为运行应用程序的输入并且相应地更新图像数据，使得在显示表面15上显示的图像反映指示器活动。按照这种方式，触摸板14和处理结构20允许指示器与触摸板14的交互被记录为手写或绘制或被用于控制应用程序的执行。

此实施例中的处理结构20是计算机形式的通用计算设备。所述计算机包括，例如，处理单元、系统存储器(易失性和/或非易失性存储器)、其他不可拆卸或可拆卸存储器(硬盘驱动器、RAM、ROM、EEPROM、CD-ROM、DVD、闪速存储器等)和将各种计算机组件耦合到处理单元的系统总线。

在由处理结构20运行的主机软件应用/操作系统的执行期间，在触摸板14的显示表面上显示包括画面页或画板(即，背景)的图形用户界面，在所述图形用户界面上显示图形部件。在此实施例中，图形用户界面使得能够经由指示器与触摸板14的显示表面15的交互来输入和操纵自由形式或者手写墨迹对象和其他对象。

柜16还容纳水平方向投影机22、红外(IR)滤波器24和镜子26，28和30。将红外检测相机形式的成像设备32安装在与镜子28相邻的支架33。镜子26，28和30的系统用于在不会过渡牺牲图像大小的情况下沿光路径“折叠”柜16内由投影机22投影的图像。由此可以使整个触摸台10尺寸紧凑。

成像设备32瞄准镜子30，并且因此看到显示表面15的反射，以减轻捕获的图像中出现的热点噪声，在具有针对显示表面本身的成像设备的系统中通常必须处理所述热点噪声。通过支架33将成像设备32定位在柜16内，使得其不干扰投影图像的光路径。

在触摸台10的操作期间，处理结构20向投影机22输出视频数据，投影机22进而通过IR滤波器24将图像投影到第一镜子26上。现在IR光基本被过滤出去的投影图像通过第一镜子26被反射到第二镜子28上。第二镜子28进而将图像反射到第三镜子30。第三镜子30将投影的视频图像反射到触摸板14的显示(底部)表面上。投影在触摸板14的底部表面上的视频图像通过触摸板14从上面可看得见。如图所示配置的镜子26，28，30的系统提供了紧凑路径，沿该紧凑路径可以将投影图像引导到显示表面。投影机22处于水平方向，以便保护投影机灯泡寿命，因为常用的投影机通常设计为水平放置。

外部数据端口/开关，在此实施例中是通用串行总线(USB)端口/开关34，从柜16的内部延伸通过柜壁到触摸台10的外部，提供了插入和去除USB钥匙36以及功能切换的使用权。

USB端口/开关34、投影机22和成像设备32每个都被连接到处理结构20且由处理结构20来管理。电源(未示出)向触摸台10的电子组件提供电力。电源可以是外部单元，或者，例如，是柜16内的通用电源，用于改善触摸台10的便携性。柜16完全封闭其内容，以便限制进入柜16的周围可见光和红外光的级别，从而促进令人满意的信噪比性能。这样做可以与用于管理柜16内的热量的各种技术竞争。触摸板14、投影机22和处理结构都是热量源，并且如果这样的热量长时间包含在柜16内可能减小组件的寿命，影响组件的性能且产生可能使触摸台10的光学组件失真的热波。这样，柜16容纳热管理设施(provision)(未示出)，以在将热空气从柜中排出的同时将较冷的周围空气引入柜中。例如，热管理设施可以是转让给本申请的受让人Calgary，Alberta，Canada的SMART技术公司的Sirotich等人在2008年9月29日提交的名为“TOUCH PANEL FOR INTERACTIVE INPUT SYSTEM AND INTERACTIVE INPUT SYSTEM EMPLOYING THE TOUCH PANEL”的第12/240,953号美国专利申请中公开的类型，上述申请的内容通过引用的方式合并于此。

如上所述，触摸台10的触摸板14基于受抑全内反射(FTIR)的原理操作，如上述Sirotich等人的第12/240,953号美国专利申请中更加详细的描述。图2b是台面12和触摸板14的截面图。台面12包括由支撑触摸板14的塑料形成的框架120。

触摸板14包括光波导144，根据此实施例，光波导144是一片压克力板。弹性扩散层146位于光波导144上，在此实施例中弹性扩散层146是Mount Forest，Ontario，Canada的Vintex Inc.制造的V-CAREV-LITE

隔离织物层或者其他适当材料。

当扩散层146与光波导144按压接触时，扩散层146基本反射逃离光波导144的IR光，使得逃离的IR光向下传播到柜16中。扩散层146还对投射到其上的可见光进行漫反射，以显示投影图像。

在与光波导144接触的弹性扩散层146的相反侧上覆盖的是具有平滑触摸表面的透明保护层148。在此实施例中，保护层148是一片薄的聚碳酸酯材料，其上施加了New Berlin，Wisconsin，U.S.A的Tekra Corporation制造的Marnot

材料的硬膜。当触摸板14可以在没有保护层148的情况下起作用时，保护层148允许在没有下面的扩散层146的不适当的变色、障碍或压痕的情况下且在用户的手指上没有不适当的穿戴的情况下使用触摸板14。此外，保护层148对整个触摸板14提供了耐磨、耐刮擦和耐化学性，这对板寿命是有用的。

保护层148、扩散层146和光波导144在其边缘夹固在一起作为一个单元且安装在台面12内。随着时间，长期使用可能磨损一个或多个层。按照期望，层的边缘可以松开，以便廉价地提供这些磨损层的替换。将理解，这些层可以按照其他方式固定在一起，诸如，通过使用一种或多种粘合剂、摩擦配件、螺钉、钉子或其他紧固方法。

包括一组红外发光二极管(LED)142的IR光源沿光波导144的至少一个侧面放置(进入图2b的页内)。每个LED 142向光波导144中发射红外光。在此实施例中，布置了IR LED 142的侧面经过了火焰抛光，以促进从IR LED 142接收光。在IR LED 142与光波导144的侧面之间保持1-2毫米(mm)的空隙，以便减小从IR LED 142到光波导144的热透过率，并且由此减轻压克力光波导中的热失真。反光带143结合到光波导144的另一侧面，以将光反射回光波导144，从而使得光波导144充满红外照明。

在操作中，在与光波导144的大的上下表面基本平行的方向上经由光波导144的火焰抛光的侧面引入IR光。因为上下表面的入射角不足以允许IR光逃离，所以由于全内反射(TIR)导致IR光通过光波导144的上或下表面而不逃离。在另一侧面，达到另一侧面的IR光通常通过反光带143完全反射回光波导144中。

如图2c所示，当用户用指示器11接触触摸板14的显示表面时，针对保护层148的指示器11的压力压缩针对光波导144的弹性扩散层146，造成指示器11的接触点或“触摸点”处的光波导144的折射率改变。这种改变在接触点“阻挠”TIR，造成在接触点处与光波导144的面基本垂直的方向上以允许IR光从光波导144逃离的角度反射IR光。逃离的IR光反射出点11，并且局部向下散射通过光波导144，并通过光波导144的底部表面离开光波导144。在每个指示器11在各个触摸点处接触触摸板114的显示表面时，对每个指示器11发生这种情况。

随着每个触摸点沿触摸板14的显示表面15移动，发生弹性传输层146针对光波导144的压缩，并且因此IR光的逃离跟踪触摸点移动。在触摸点移动期间或者一旦去除触摸点，由于扩散层146的弹性导致先前已经对具有触摸点的扩散层146解压缩，造成IR光从光波导144的逃离再次停止。这样，仅在允许在由成像设备获取的图像帧中捕获IR光的触摸点位置处，IR光从光波导144逃离。

成像设备32捕获第三镜子30的二维IR视频图像。结合基本抵御周围光的柜16，已经从投影机22投影的图像过滤的IR光确保由成像设备32捕获的图像的背景基本为黑色。当如上所述通过一个或多个指示器接触触摸板14的显示表面15时，由IR相机32捕获的图像包括与相应触摸点对应的一个或多个亮点。处理结构20接收所捕获的图像且执行图像处理，以检测所捕获的图像中的一个或多个亮点的坐标和特性。然后，将所检测到的坐标映射到显示坐标且通过在处理结构20上运行的应用程序被解释为墨水或鼠标事件。

通过校准来确定用于将检测到的图像坐标映射到显示坐标的变换。为了校准的目的，准备校准视频，校准视频包括含有黑-白棋盘图案的多个帧和含有相同大小的反(即，白-黑)棋盘图案的多个帧。将校准视频数据提供给投影机22，投影机22经由镜子26，28和30将校准视频的帧呈现在显示表面15上。针对镜子30的成像设备32捕获校准视频的图像。

图3是示出使用校准视频来确定从图像坐标变换到显示坐标而执行的步骤的流程图300。首先，接收所捕获的校准视频的图像(步骤302)。图5是校准视频的单幅捕获图像。如所期望的，图5的图像中信噪比非常低。对此单幅图像，难以收集棋盘图案用于校准。

然而，基于若干幅接收到的校准视频的图像，创建了具有定义棋盘图案的校准图像(步骤304)。在校准图像的创建期间，基于接收到的棋盘图案的图像来创建平均棋盘图像I_c，并且基于接收到的反棋盘图案的图像来创建平均反棋盘图像I_ic。为了将与棋盘图案相对应的接收到的图像和与反棋盘图案相对应的接收到的图像区分开，监视在所接收到的图像中选择的位置处像素或一束像素的像素强度。定义像素强度的范围，该范围具有高强度阈值和低强度阈值。在所选择的位置处，具有高强度阈值之上的像素强度的那些接收到的图像被认为是与棋盘图案相对应的图像。在所选择的位置处，具有低强度阈值之下的像素强度的那些接收到的图像被认为是与反棋盘图案相对应的图像。在所选择的位置处，具有在所定义的像素强度范围内的像素强度的那些接收到的图像被丢弃。在图6的曲线图中，水平轴表示对于接收到的一组校准视频捕获图像，所接收到的图像编号，并且垂直轴表示对于每个接收到的图像在所选择的像素位置处的像素强度。图6还示出定义范围的高强度阈值和低强度阈值。

在与棋盘图案相对应的每个接收到的图像中，通过将其每个像素设置为对应像素的平均强度来形成平均棋盘图像I_c。类似地，在与反棋盘图案相对应的每个接收到的图像中，通过将其每个像素设置为对应像素的平均强度来形成平均反棋盘图像I_ci。

然后，将平均棋盘图像I_c和平均反棋盘图像I_ci缩放到相同强度范围[0，1]。然后，如图7a所示，根据下面的等式1，使用平均棋盘图像I_c和平均反棋盘图像I_ic来创建平均差或“网格”图像d：

d＝I_c-I_ic (1)

然后，使用边缘保留平滑过程来对平滑网格图像进行平滑，以便在保留平均网络图像中的主要边缘的同时去除噪声。在此实施例中，平滑、边缘保留过程是各向异性扩散，如Perona等人在1990，IEEE TPAMI，vol.12，no.7，629-639上标题为“Scale-Space And Edge Detection Using Anisotropic Diffusion”的公开中所阐述的，通过引用的方式将其全部内容合并于此。

图7b至图7d示出了图7a中所示的平均网格图像上各向异性扩散的效果。图7b示出了在经历10次各向异性扩散过程迭代之后的平均网格图像，并且图7d示出了表示图7a中的平均网格图像与图7b中得到的平滑的边缘保留平均网格图像之间的差的图像，从而图示了已经去除非边缘噪声之后的平均网格图像。图7c示出了扩散系数c(x，y)的图像，从而图示了有效地限制平滑以保留边缘的情况。从图7c可以看出，在边缘图像中的网格线限制平滑。

利用已经平滑的平均网格图像，执行平均网格图像的镜头失真校正，以校正平均网络图像中的“枕形”失真，这是由于成像设备32的镜头的物理形状导致的。参照图8，镜头失真通常被认为径向和切向效果的组合。对于短焦距应用，诸如在利用成像设备32的情况下，径向影响占优势。沿光学半径r出现径向失真。

如下面的等式2和3所示来计算归一化的未失真图像坐标(x′，y′)：

x′＝x_n(1+K₁r²+K₂r⁴+K₃r⁶)； (2)

y′＝y_n(1+K₁r²+K₂r⁴+K₃r⁶). (3)

其中，

x_{n} = \frac{x - x 0}{f}

和 (4)

y_{n} = \frac{y - y_{0}}{f} - - - (5)

是归一化的失真图像坐标；

r²＝(x-x₀)²+(y-y₀)²； (6)

(x₀，y₀)是主点；

f是成像设备焦距；并且

K₁、K₂和K₃是失真系数。

根据下面的等式7和8来计算去归一化的未失真图像坐标(x_u，y_u)：

x_u＝fx′+x₀ (7)

y_u＝fy′+y₀ (8)

主点(x₀，y₀)，焦距f和失真系数K₁、K₂和K₃用参数表示对于给定镜头和成像设备传感器组合的镜头失真效果。主点(x₀，y₀)是用于测量镜头失真的原点，因为主点(x₀，y₀)是镜头失真效果的对称中心。如图8所示，未失真图像大于失真图像，可以采用Bouguet于2007年在http://www.vision.caltech.edu/bouguetj/calib_doc/index.html公开的标题为“Camera Calibration Toolbox For Matlab”中阐述的已知校准处理来确定失真系数K₁、K₂和K₃，通过引用的方式将其全部内容合并于此。

还将理解，当在使用交互式输入系统10期间从成像设备32接收变换图像时，在图像处理期间还执行以上失真校正过程。

在对于镜头失真已经校正了平均网格图像的情况下，如图9所示，执行边缘检测过程以检测平均网格图像中的网格线。在执行边缘检测之前，通过修剪已校正的平均网格图像以去除图像边缘的强伪迹来创建未失真平均网格图像的子图像，这也可以从图9看出，具体地在左上角和右上角。然后，将子图像的像素强度重新缩放到范围[0，1]。

利用已经创建且重新缩放的子图像，然后执行Canny边缘检测，以便强调图像边缘和降低噪音。在Canny边缘检测期间，根据下面的等式9和等式10，通过沿每个坐标应用中心差分来创建已缩放的子图像的边缘图像：

\frac{&PartialD;}{&PartialD; x} I = \frac{I_{i, j + 1} - I_{i, j - 1}}{2} - - - (9)

\frac{&PartialD;}{&PartialD; y} I = \frac{I_{i + 1, j} - I_{i - 1, j}}{2} - - - (10)

其中：

I表示已缩放的子图像；以及

I_ij表示在位置(i，j)的已缩放的子图像的像素强度。

利用Canny边缘检测，还执行非最大抑制，以便去除与网格线不相关联的边缘特征。在2000年Kovesi，P.D.，School of Computer Science & Software Engineering，The University of Western Australia，在http://www.csse.uwa.edu.au/～pk/research/matlabfns/上在标题为“MATLAB Functions for Computer Vision and Image Analysis”的公开中描述了Canny边缘检测，通过引用的方式将其全部内容合并于此。图10示出了用作校准图像的所得到的边缘图像，用于后续处理。

利用已经创建的校准图像，在校准图像中定位特征(步骤306)。在特征定位期间，识别校准中的主线，并且确定它们的交叉点，以便将交叉点识别为所定位的特征。在识别主线期间，使用Radon变换将校准图像变换到Radon面。Radon变换将图像面中的线变换到Radon面中的点，如图11所示。在形式上，根据下面的等式11来定义Radon变换：

R(ρ，θ)＝∫∫F(x，y)δ(ρ-x cos(θ)-y sin(θ))dx dy (11)

其中：

F(x，y)是校准图像；

δ是Dirac delta函数；以及

R(ρ，θ)是Radon面中的点，其表示F(x，y)的图像面中的线，该线从图像F的中心到接近图像F的中心的线中的点之间距离为ρ且相对于图像面的x轴角度为θ。

Radon变换估计校准图像中的每个点，以确定所述点是否位于与校准图像中心相距一定范围的线角度和距离的多条“测试”线xcos(θ)+ysin(θ)＝ρ中的每一条上，其中，测量到线的最近点的距离。这样，垂直线对应于零(0)弧度的角度θ，而水平线对应于π/2弧度的角度θ。

可以在数值上将Radon变换估计为离散角度和距离的校准图像的总和。在此实施例中，通过将Dirac delta函数近似为宽度σ＝1像素的窄高斯且根据下面的等式12执行求和来进行所述估计：

Σ_{i = 1}^{N_{x}} (Σ_{j = 1}^{N_{y}} F (x_{i}, y_{j}) e^{(- {(ρ - x_{i} \cos (θ) - y_{j} \sin (θ))}^{2})}) - - - (12)

其中：

ρ的范围从-150到150像素；以及

θ的范围从-2到2弧度。

上述ρ和θ的范围使得能够隔离基本垂直和基本水平线，由此考虑去除不可能是网格线的那些线，且由此减少处理结构20的处理量。

图12是图10的校准图像的说明性Radon变换图像R(ρ，θ)的图像，其中，水平轴上的角度θ的范围从-2到2弧度，并且垂直轴上的距离ρ范围从-150到150像素。如可以看出的，在Radon变换图像中零(0)弧度位置周围，在相应距离ρ存在四(4)个最大值或“峰值”。这四(4)个最大值中的每一个指示校准图像中相应几乎垂直的网格线。相似地，在Radon变换图像中π/2弧度位置周围，在相应距离ρ的四(4)个最大值指示校准图像中相应几乎水平的网格线。在Radon变换图像中-π/2弧度位置周围，在相应距离ρ的四(4)个最大值指示与上述在1.5弧度位置那些水平线相同的水平线，Radon变换已经考虑了垂直“翻转”。由于最右边的最大值适当地表示几乎水平的网格线，因此最左边的最大值是多余的。

进行聚类过程，以识别Radon变换图像中的最大值，并因此返回表示校准图像中的网格线的Radon变换图像中的一组(ρ，θ)坐标。图13示出了平均棋盘图像，其中一组网格线对应于其上已经叠加了通过聚类过程返回的组中的(ρ，θ)坐标。可以看出，网格线与棋盘图案很好地对应。

在已经确定网格线的情况下，然后计算网格线的交叉点用作特征点。在计算交叉点期间，如在1993年Oxford University Press，Oxford；Kanatani，K.在标题为“Geometric Computation For Machine Vision”的公开中描述的来计算水平网格线(ρ₁，θ₁)的每一个与垂直网格线(ρ₂，θ₂)的每一个的矢量乘积，通过引用的方式将其全部内容合并于此，并且在下面的等式13一般地示出：

v＝n x m (13)

其中：

n＝[cos(θ₁)，sin(θ₁)，ρ₁]^T；以及

m＝[cos(θ₂)，sin(θ₂)，ρ₂]^T

每个矢量v的前两个元素是线n和m的交叉点的坐标。

在已经定位交叉点的未失真图像坐标的情况下，确定触摸板显示面和图像面之间的变换(步骤308)，如图15的视图所示。通过一组确定的交叉点来定义图像面，其对应于显示面中的已知交叉点(X，Y)。因为显示面的标度是任意的，所以每个网格方块每边具有单位长度，从而认为每个交叉点与下一交叉点相距一个单位。如果必要，将显示面的纵横比应用于X和Y。这样，可以使用纵横比4/3且X和Y都位于[0，4]范围中。

在确定变换或“单应性”期间，根据下面的等式14，图像面中的交叉点(x，y)与显示面中的对应点(X，Y)相关：

[\begin{matrix} x \\ y \\ 1 \end{matrix}] = [\begin{matrix} H_{1,1} & H_{1,2} & H_{1,3} \\ H_{2,1} & H_{2,2} & H_{2,3} \\ H_{3,1} & H_{3,2} & H_{3,3} \end{matrix}] [\begin{matrix} X \\ Y \\ 1 \end{matrix}] - - - (14)

其中：

H_i，j是将要确定的相对显示面对相机面的位置和方向编码的变换矩阵H的矩阵元素。

如果存在单应性的矩阵的逆，则变换是可逆的；仅将单应性定义到高达任意标度因子。执行最小二乘估计过程，以便基于已知显示面中的对应交叉点的图像面中的交叉点来计算单应性。Hartley，R.L，Zisserman，A.W.在2005年在Second edition；Cambridge University Press，Cambridge上标题为“Multiple View Geometry in Computer Vision”的公开中描述了相似古城，通过引用的方式将其全部内容合并于此。通常，最小二乘估计过程包括H的初始线性估计，随后进行H的非线性细调。使用拉凡格式(Levenberg-Marquardt)算法，另外被称为阻尼最小二乘法来执行非线性细调，非线性细调可以明显改善拟合(衡量为拟合的均方根值误差减小)。

在图16中示出了基于图14的交叉点的上述变换的拟合。在这种情况下，在下面等式15中示出可将显示坐标变换为图像坐标的最终单应性H：

H = \begin{matrix} 24.8891 & - 3.2707 & 30.0737 \\ - 0.4856 & 22.4278 & 38.6608 \\ - 0.0051 & - 0.0151 & 0.6194 \end{matrix} - - - (15)

为了计算逆变换(即，从图像坐标到显示坐标的变换)，计算在等式15中所示的矩阵的逆，产生由逆导致的对应误差E，如下面的等式16所示：

E = \begin{matrix} 0.2575 & 0.2949 & - 0.7348 \\ 0.3096 & 0.2902 & - 0.8180 \\ 0.0014 & 0.0014 & - 0.0043 \end{matrix} - - - (16)

当配置交互式输入系统10时，通常进行上述校准方法。然而，可以根据用户的命令进行该校准方法，偶尔自动执行该校准方法，和/或可以在交互式输入系统10的操作期间进行该校准方法。例如，可以在足够短的持续时间中将校准棋盘图案与应用程序的其他呈现图像交织，以便在不干扰用户的情况下使用所呈现的棋盘/反棋盘图案来执行校准。

在已经确定从图像坐标到显示坐标的变换的情况下，执行交互式输入系统10的操作期间的图像处理，以便检测与触摸点相对应的捕获图像中的一个或多个亮点的坐标和特性。基于所述变换，图像面中的触摸点的坐标被映射到显示面中的坐标，并且由应用程序将其解释为墨水或鼠标事件。图4是示出为了检测触摸点的坐标和特性而在图像处理期间执行的步骤的流程图。

当接收到由成像设备32捕获的每个图像时(步骤702)，高斯滤波器被用于去除噪声且一般地平滑图像(步骤706)。在图17(b)中示出了示例性的已平滑图像I_hg。然后，根据下面的等式17，使用已平滑图像I_hg和没有触摸点时捕获的触摸板的背景图像I_bq，创建相似性图像I_s(步骤708)，其中，sqrt()是平方根运算：

I_s＝A/sqrt(B×C) (17)

其中：

A＝I_hg×I_bq；

B＝I_hg×I_hg；以及

C＝I_bq×I_bq.

图17(a)示出了示例性背景图像I_hg，并且图17(c)示出了示例性相似性图像I_s。

相似性图像I_s被自适应地设置阈值和分段，以便创建已设置阈值的相似性图像，其中，在黑色图像中，已设置阈值的相似性图像中的接触点可清晰地区分为白色区域(步骤710)。事实上，将理解，触摸点通常覆盖图像中的若干个像素的区域，并且因此也可以可互换地被称为触摸区。在自适应设置阈值期间，将自适应阈值选择为强度值，在所述强度值，具有所述或更高强度值的像素数目的大改变首先表明自身。通过在特定强度构建表示像素值的I_s的直方图且在特定强度创建表示像素数目之间的微分值的微分曲线，如图18所示。将自适应阈值选择为强度值(例如，图18中的点A)，在所述强度值，微分曲线从逐渐改变(例如，图18中的点A左侧的曲线)过渡到快速改变(例如，图18中的点A右侧的曲线)。基于自适应阈值，为相似性图像I_s设置阈值，从而形成二进制图像，其中，具有比自适应阈值更低强度的像素被设置为黑色，具有比自适应阈值更高强度的像素被设置为白色。图17(d)示出了示例性二进制图像。

在步骤712，然后，对自适应设置阈值的相似性图像执行颜色填充和本地化过程，以便识别触摸点。在此过程期间，二进制图像中的白色区域被填充颜色且被标注。然后，确定已平滑图像I_hg中每个对应区域的平均像素强度和像素强度的标准偏差，并且平均像素强度和像素强度的标准差用于定义将白色区域的边界细调的局部阈值。通过以这种方式定义每个触摸点的局部阈值，可以成功地将物理上彼此靠近的两个触摸点彼此区分，而不是认为是单个触摸点。

在步骤714，然后，执行主分量分析(PCA)，以便将每个识别的触摸点表征为具有索引号、焦点、长短轴和夹角的椭圆。焦点坐标被认为是触摸点的中心的坐标或触摸点位置。图17(e)示出了表征为相应椭圆的具有触摸点的示例性图像。在步骤716，然后执行特征提取和分类，以将每个椭圆表征为例如手指、拳头或手掌。在已经定位和表征触摸点的情况下，向主机应用提供触摸点数据作为输入(步骤718)。

根据此实施例，处理结构20使用其中央处理单元(CPU)和图形处理单元(GPU)来处理图像数据。如将理解的，GPU被构建成按照并行处理操作非常有效，并且因此非常适合快速处理图像数据。在此实施例中，CPU从成像设备32接收所捕获的图像，并且向图形处理单元(GPU)提供所捕获的图像。GPU执行滤波、相似性图像创建、设置阈值、颜色填充和本地化。由GPU提供的已处理图像返回CPU，用于PCA和表征。然后，CPU向主机应用提供触摸点数据，用作墨水和/或鼠标命令输入数据。

在主机应用接收到之后，图像坐标系统中捕获的触摸点数据经历考虑了由成像设备引起的镜头失真效果的变换以及未失真触摸点数据到显示坐标系统的变换。镜头失真变换与参照校准方法描述的变换相同，并且未失真触摸点数据到显示坐标系统的变换是基于校准期间确定的变换的映射。然后，主机应用跟踪每个触摸点，并且处理图像帧之间的连续性处理。更具体地，主机应用从帧接收触摸点数据，且基于该触摸点数据来确定是否注册新触摸点，修改现有触摸点，或者取消/删除现有触摸点。因此，当主机应用接收到与现有触摸点不相关的触摸点数据，且新触摸点符合唯一标识符时，主机应用注册表示新触摸点的触摸向下事件。例如，如果触摸点被表征为与现有触摸点相距设置阈值距离之外的触摸点，则触摸点数据可能被认为与现有触摸点不相关。当主机应用接收到与现有指示器相关的触摸点数据时，例如，在现有触摸点的阈值距离范围内，或者与现有触摸点重叠，但是具有不同的焦点，主机应用注册表示触摸点的移动的触摸移动事件。当停止从后续图像接收可以与现有触摸点相关联的触摸点数据时，主机应用注册表示从触摸板14的表面去除触摸点的触摸向上事件。基于触摸点当前与之相关联的元素和/或触摸点的当前位置，触摸向下、触摸移动和触摸向上事件被传递到用户界面的相应元素，诸如图形对象、部件或背景/画布。

可以在包括由处理结构20执行的计算机可执行指令的一个或多个软件应用中体现上述用于校准交互式输入系统的方法和系统以及上述用于确定触摸点的方法和系统。软件应用可以包括程序模块，包括例程、程序、对象组件、数据结构等，并且可以体现为在计算机可读介质上存储的计算机可读程序代码。计算机可读介质是能够存储此后能够通过处理结构20读取的数据的任何数据储存设备。例如，计算机可读介质的示例包括只读存储器、随机存取存储器、CD-ROM、磁盘和光数据储存设备。计算机可读程序代码还可以在网络上分发，包括耦合的计算机系统，使得以分布式方式存储和执行计算机可读程序代码。

尽管以上已经参照实施例进行了阐述，但是将理解，落入在此阐述的本发明的目的内的替代实施例是可能的。

例如，尽管以上已经描述各个触摸点被表征为椭圆，但是将理解，触摸点可以被表征为矩形、正方形或其他形状。根据指示器本身的形状，给定部分的所有触摸点被表征为具有相同大小和方向的相同形状，诸如正方形，或者不同的同时出现的触摸点被表征为具有不同形状。通过支持不同形状的表征，对于不同形状指示器可以进行不同操作，增加了可以控制应用的方式。

尽管上述实施例在校准方法期间采用各向异性扩散，以在镜头失真校正之前平滑平均网格图像，但是可以按照期望使用其他平滑技术，诸如应用3x3像素或更多像素的中值滤波。

尽管上述在图像处理期间的实施例执行镜头失真校正和触摸点的图像坐标到显示坐标的变换，但是根据替代实施例，可以对所接收到的图像执行镜头失真校正和变换，使得对未失真和已变换图像执行图像处理，以定位不需要进一步变换的触摸点。在这样的实施例中，因此。将对背景图像I_bg执行失真校正和变换。

尽管已经参照附图描述了实施例，但是本领域的技术人员将理解，在不脱离权利要求限定的本发明的精神和范围的情况下，可以进行各种变型和修改。

Claims

1.一种校准交互式输入系统的方法，包括：

接收在交互式输入系统的触摸板上呈现的校准视频的图像；

基于所接收到的图像来创建校准图像；

在所述校准图像中定位特征；以及

基于已定位的特征和所述校准视频中的对应特征来确定所述触摸板与所接收到的图像之间的变换。

2.如权利要求1所述的方法，其中，所述校准视频包括一组具有棋盘图案的帧和一组具有反棋盘图案的帧。

3.如权利要求2所述的方法，其中，创建校准图像包括：

基于接收到的所述棋盘图案的图像来创建平均棋盘图像；

基于接收到的所述反棋盘图案的图像来创建平均反棋盘图像；以及

创建差图像作为所述平均棋盘图像与所述平均反棋盘图像之间的差。

4.如权利要求3所述的方法，其中，基于所接收到的图像中选择位置的像素强度，将接收到的所述棋盘图案的图像与接收到的所述反棋盘图案的图像区分开。

5.如权利要求4所述的方法，进一步包括：基于在相应的接收到的图像中的选择位置处的像素强度高于或低于强度范围，选择接收到的图像用于创建所述平均棋盘图像和所述平均反棋盘图像。

6.如权利要求3至5中的一个所述的方法，进一步包括：将所选择的接收到的图像中的像素设置阈值为黑色或白色像素。

7.如权利要求3至6中的一个所述的方法，其中，已定位的特征是所述棋盘图案和所述反棋盘图案共有的线的交叉点。

8.如权利要求7所述的方法，其中，在所述校准图像的Radon变换中，所述线被识别为峰值。

9.如权利要求7至8中的一个所述的方法，其中，基于所识别的线的矢量乘积来识别所述交叉点。

10.如权利要求1至2中的一个所述的方法，其中，创建校准图像包括：

基于所接收到的图像来创建平均校准图像；以及

执行平滑、边缘保留过程，以从所述平均校准图像去除噪声。

11.如权利要求10所述的方法，其中，所述平滑、边缘保留过程是各向异性扩散过程。

12.如权利要求10所述的方法，其中，所述平滑、边缘保留过程是中值滤波。

13.如权利要求10至12中的一个所述的方法，其中，创建校准图像进一步包括：对所述平均校准图像执行镜头失真校正。

14.如权利要求13所述的方法，其中，所述镜头失真校正基于预定的镜头失真参数。

15.如权利要求11所述的方法，其中，创建校准图像包括：创建边缘图像。

16.如权利要求15所述的方法，其中，创建校准图像进一步包括：对所述边缘图像滤波以保留主要边缘。

17.如权利要求16所述的方法，其中，所述滤波包括：对所述边缘图像执行非最大抑制。

18.如权利要求3至9中的一个所述的方法，进一步包括：修剪所述差图像。

19.一种交互式输入系统，包括：触摸板以及执行校准方法的处理结构，所述校准方法基于在所述触摸板上呈现的校准视频中的已知特征以及校准图像中定位的特征，确定所述触摸板与成像面之间的变换，所述校准图像基于所呈现的校准视频中的接收到的图像而创建。

20.如权利要求19所述的交互式输入系统，其中，所述校准视频包括一组具有棋盘图案的帧和一组具有反棋盘图案的帧。

21.如权利要求19至20中的一个所述的交互式输入系统，其中，在执行所述校准方法期间，所述处理结构接收在所述交互式输入系统的所述触摸板上呈现的所述校准视频的图像；基于所接收到的图像来创建校准图像；在所述校准图像中定位特征；以及基于已定位的特征和所述校准视频中的对应特征来确定所述触摸板与所接收到的图像之间的变换。

22.一种包含用于校准交互式输入系统的计算机程序的计算机可读介质，所述计算机程序包括：

接收在所述交互式输入系统的触摸板上呈现的校准视频的图像的计算机程序代码；

基于所接收到的图像来创建校准图像的计算机程序代码；

在所述校准图像中定位特征的计算机程序代码；以及

基于已定位的特征和所呈现的校准视频中的对应特征来确定所述触摸板与所接收到的图像之间的变换的计算机程序代码。

23.一种用于确定交互式输入系统中的触摸板的捕获图像中的一个或多个触摸点的方法，包括：

基于所捕获的图像和没有任何触摸点的所述触摸板的图像来创建相似性图像；

通过基于自适应阈值为所述相似性图像设置阈值来创建已设置阈值的图像；

将一个或多个触摸点识别为所述已设置阈值的图像中的区域；以及

基于所述相似性图像中对应区域中的像素强度来细调所述一个或多个触摸点的边界。

24.如权利要求23所述的方法，进一步包括：在创建所述已设置阈值的图像之前，平滑所述相似性图像。

25.如权利要求23至24中的一个所述的方法，进一步包括：将每个触摸点表征为具有中心坐标的椭圆。

26.如权利要求25所述的方法，进一步包括：将每个触摸点中心坐标映射到显示坐标。

27.如权利要求23至26中的一个所述的方法，进一步包括：在创建相似性图像之前，将所捕获的图像和背景图像变换到显示坐标系统，以及校正镜头失真。

28.一种交互式输入系统，包括：触摸板以及执行触摸点确定方法的处理结构，所述触摸点确定方法将所述触摸板的捕获图像中的一个或多个触摸点确定为使用已设置阈值的相似性图像中的对应区域中的像素强度细调的所述相似性图像中识别的区域。

29.如权利要求28所述的交互式输入系统，其中，在执行所述触摸点确定方法期间，所述处理结构基于所捕获的图像和没有任何触摸点的所述触摸板的图像来创建相似性图像；通过基于自适应阈值为所述相似性图像设置阈值来创建已设置阈值的图像；将一个或多个触摸点识别为所述已设置阈值的图像中的区域；以及基于所述相似性图像中对应区域中的像素强度来细调所述一个或多个触摸点的所述边界。

30.一种包含用于确定交互式输入系统中的触摸板的捕获图像中的一个或多个触摸点的计算机程序的计算机可读介质，所述计算机程序包括：

基于所捕获的图像和没有任何触摸点的所述触摸板的图像来创建相似性图像的计算机程序代码；

通过基于自适应阈值为所述相似性图像设置阈值来创建已设置阈值的图像的计算机程序代码；

将一个或多个触摸点识别为所述已设置阈值的图像中的区域的计算机程序代码；

基于所述相似性图像中对应区域中的像素强度来细调所述一个或多个触摸点的所述边界的计算机程序代码。