CN1122022A - 手写体匹配技术 - Google Patents

Abstract

本发明涉及到手写体匹配方法，本发明对输入手写体中的速度最低值进行标识和编码。说明了三种手写体匹配算法：合成匹配器、字匹配器和弹性匹配器。合成匹配器根据手写体在速度最低区域内的形状对输入的手写体编码。字匹配器利用连续的高度编码方案根据速度最低值相对一参照线的高度对输入的手写体编码。弹性匹配器根据速度最低值和中间点的类别对手写体编码。

Description

手写体匹配技术

本发明涉及到不用先将电子墨迹转换成ASCII文本就能搜索该电子墨迹样本的方法与设备。“电子墨迹”是指用户在使用能获取手写输入的计算机输入设备如基于笔写输入的计算机等时所形成的动态踪迹。这种技术在本专利申请书的说明部分内称为“手写体匹配技术”。

对基于笔写输入的计算机来说，已知有多种系统用于识别手写输入。这类系统通常要识别输入中的各个字符并将它们转换成ASCII码文本以便系统在后来进行存储和处理。这就会有相当的计算开销，这种开销随所要求的识别精度而增加。在已知的系统中，对于非受限输入来说，识别精确度是相当有限的。

在某些手写体识别系统中，已知的是确定输入的速度最小值并利用这一信息在识别过程的一个步骤中将输入分解成笔划。

手写体匹配技术比之于识别整个的手写体之后再搜索最后的ASCII码文本有多方面的优点：

i)对于搜索就是将用户的输入与该用户先前的输入作比较的个人设备来说，匹配的精确度是较高的。手写体识别目前在处理人们自然书写时所使用的多种字母形式方面的能力是有局限的。手写匹配技术只需要用户在他们所使用的字母形式方面保持适当的一致性，即使该字母本身无法辨认也不要紧；

ii)对由几百个自由书写体构成的相对较小的搜索表来说，手写体匹配技术在运算上要比转换成ASCII码文本便宜；

iii)书写者并不局限于特定的字母集，而是可以在不必训练系统的情况下使用任意的符号。小型的图像、个人符号以及来自其它语言的符号，只要是有足够的特征并且是稳定的，就都可以使用。

以下论文说明了已知的手写体匹配的方法：

Daniel P.Lopresti&Andrew Tomkins＂Pictographic naming＂Technial Report 007-mei-pti-mitl-228-1，MatsushitaInformation Techology Laboratory，Princeton，November，1992

Daniel P.Lopresti&Andrew Tomkins＂A comparison oftechniques for graphical database queries＂.Technial ReportMITL-TR-45-93，Matsushita Information TechnologyLaboratory，Princeton，May，1993

Thierry Paquet&Yves Lecourtier.＂Recognition ofhandwritten sentences using a restricted lexicon＂.PatternRecognition 26(3)：391－407，1993.

头两篇参考文献涉及到按图形的匹配技术，由于图形因书写者而异，所以，这项技术是一项难题。这两篇文献说明了如何使用Hidden Markov模型，该模型是一种统计模式识别技术。第三篇参考文献说明了脱机即静态的手写图像的匹配技术，这项技术与本发明所说明的问题是不同的。上述三篇文献提出的方法均有着相对较低的精确度。

依照本发明，我们提供了一种将以电子方式存储的手写输入的样本与所存储的其它手写输入的样本相匹配的方法，这种方法包括：

确定手写输入的速度最小值；

利用一系列符号对手写输入进行编码，所说的每一个符号都表示手写输入在速度最低时的一个特征。

用串编辑测距法(string edit distance metric)将上述一系列符号与其它手写输入样本的代码相匹配。

本发明通过按拓扑和/或瞬时特征来匹配手写体，从而避免了全手写体识别的问题，并且，本发明能获得较高的匹配率。

在手写匹配时利用速度的最小值可以提供各样本的相对稳定的点集，以便使该样本与其它样本相匹配。此外，利用速度的最小值意味着用较少的点集对手写输入进行编码，从而节省了存储与计算的消耗。与已知的方法相比，本发明的方法能提高效率。

本发明的方法有广泛的应用。应用的实例有：匹配电子电话薄中的手写条目、诸如备忘录或文件检索之类的文档检索以及在手写电子备忘录中进行搜索。

编码特征可以是速度最小区域内手写输入的形状，而所说的符号则代表多个形状特征。

编码时可使用下列形状特征集：

弯曲点、开曲线、闭曲线以及直线的端点，其中，它们的编辑开销取决于形状特征。

最佳的是，线的端点与上述曲线特征之间替换成本是较低的。

所说的形状特征集也可包括各种平滑曲线和区分标记，这些特征的插入和删除开销也较低。

业已发现，这种特定的特征集能产生较好的效果并且能消除某些不可避免的因书写者不同而产生的差异。可以根据所要插入、删除及替换的特征改变编辑开销，因此，能适当地考虑到用于每种特征的编辑操作的重要性。

最佳的是，所说的编辑开销还取决于相应的编辑操作出现的概率。这一特点利用了变异出现的机会与该变异的偏差之间的关系。因此，可能的变异成因如使环线变形成弯曲点等要比不可能且明显的变形对两个样本之间的差别影响得更少。

在另一个实施例中，本发明的方法包括相对于参考线对速度最低时手写输入的标准高度进行编码，其中，以连续的尺度对所说的高度进行编码，其编辑开销取决于所编码的高度。

上述实施例将文字的上伸部和下伸部模式表示用作匹配的基础。该实施例是通过产生高度的代码矢量以及用于笔迹中各个关键点的表目而做到这一点的。所述关键点的高度是由该关键点距中线的标准距离来表示的。

在某些系统中，将笔划分成诸如“上伸部”、“下伸部”或“字身”之类的离散类。这种方法的问题在于：很难对比较靠近但落在分隔线两侧的两个点加以分类，从而夸大了这两点的不一致性。

通过利用连续的高度编码方案，而不是将速度最小值分成“上伸部”、“下伸部”或“字身部分”，可以避免因夸大特征不一致性的边界分类所引起的精确度下降。

用于删除和插入的编辑开销最好对应于相关速度最低值编码高度的数量，而用于替换的编辑开销则最好对应于相关速度最低值的高度差。

在又一实施例中，本发明的方法包括：

用一系统符号对手写输入编码，所说的符号表示最低速度中间的点的特征，其中，所说的中间点是通过在速度最低值之间对手写输入再次加以取样而产生的；

利用一三元组来对速度最低值和中间点进行编码，所说的三元组包含有：中间点的标准高度；相关点处与手写输入的切线所成的角度；以及将所说的点分类为电子墨迹中断点、速度最低值或一中间点；

以及使用取决于前述高度、角度与点类别的编辑开销。

在上述实施例中，使用了多边形的重新取样方法。

这一实施例对整个手写体的形状加以匹配，而不仅仅是匹配在速度最低区域内的手写体形状，从而利用了手写输入在速度最低值之间的形状，这种形状能提供笔划间更多的区别。

最佳的是，通过计算各种匹配分值的加权和以获得整个的匹配分值，从而组合利用上述三种匹配方式的结果。

以下将参照附图以举例的方式说明本发明的最佳实施例，在附图中：

图1显示了一手写体并示出了其关键点；

图2说明了查找关键点的过程；

图3说明了查找关键点过程中的轨迹序列；

图4说明了手写体匹配的基本(已知的)过程；

图5说明了预处理过程；

图6说明了利用递归分割法的多边形重新取样；

图7说明了一弯曲点；

图8说明了多边形部分的角度；

图9和图9a分别说明了一开环和相应的度量方法；

图10涉及到字形匹配器的编码；

图11说明了字形代码的组成；

图12说明了用于获得中线的密度直方图；

图13说明了倾斜校正的情况；

图14显示了与字匹配器有关的编辑开销；

图15是有关弹性匹配器的替换开销表；

图16是有关上述弹性匹配器的插入/删除开销表；

图17显示了三种匹配器用以获得整个匹配分值的结果组合；

图18是显示动态编程开销矩阵的表。

以下将说明本发明的三种手写体匹配算法。在详细说明这三种算法之前，先概述手写体匹配过程及预处理的步骤。概述的内容包括部分本技术目前发展水平的材料。

手写体匹配要对每个手写输入进行编码并使已编码的输入与存储的手写体代码相匹配。最佳的是，用于存储的手写体的代码已预选经过计算并存储在一搜索表内。

每一手写体匹配算法均有两个组成部分：编码器和匹配器。每当有新的手写体代码加入到上述搜索表时就使用编码器部分。该编码器从手写体数据中抽取一组特征，这组特征代表手写体的某一方面，它足够稳定从而能在搜索中使用。所抽取出来的代码以某种搜索表的形式存储起来以备在检索时使用。

进行搜索时使用匹配器部分。匹配器将查询字的代码与搜索表中的代码作比较。由于用户书写是变化的，所以查询的代码很难与搜索表中的条目作精确的匹配。因此，匹配器必须使用某种近似的匹配形式以判定查询代码与搜索表中的各条目的相似程度。结果是一组相对搜索表中每个条目的距离分值，这组分值可用来产生一个可能匹配的有序表。

上述算法中的每个编码方案都是以标记输入手写体中称为“关键点”的点集为基础的。所说的关键点代表输入墨迹中的有意义的点如端点、弯曲点、连笔字等等。图1说明了一个手写字10即字“pad”，它示出了关键点12。每个编码器都产生用于各关键点12和/或用于关键点12之间的笔划段的代码。图2说明了查找关键点的过程。

参照图2，对关键点的查找可分成以下几个步骤：

1.x和y坐标的信息流按减少10Hz的频率在14处被低通滤波以减少噪音。假定可及时均匀地对数据坐标流取样，因此这一步骤只要有一整数有限脉冲响应滤波器(integer finite impulseresponse filter)就足够了。对100Hz的取样率来说，可以使用滤波系数[2 6 12 18 20 18 12 6 2]

2.在16处对已经过滤的坐标流进行微分以便用一中心差分符x′_n＝x_n＋1－x_n－1产生变化率。在实践中，通过用组合的滤波器函数(filter kernel)[-2-6-10-12-8 0 8 12 10 6 2]来旋转坐标流，从而同时执行步骤1和步骤2。

3.在18处将独立的x和y变化率组合在一起以给出书写笔沿其轨线的速度： $v=\sqrt{{\stackrel{,}{x}}^2+{\left(k\stackrel{,}{y}\right)}^2}$ 其中，k为常数权值。试验表明，k＝3为最佳。事实上，我们使用切比雪夫过程来逼近下列公式，而不去计算相对费事的方根：

4.将速度轨迹的最小值用作关键点。通过在20处平滑(用20Hz的低通滤波器)并对速度轨迹进行微分然后再在22处查找合成加速度轨迹中的零交叉点，可以确定速度最低值。由于存在离散的拐点误差，所以用一个取样点所确定的零交叉点的位置可能是不精确的，因此，要检查一下各零交叉点的附近区域，看它们是否对应于较低的最低速度。

图3显示了查找关键点过程中所产生的一系列轨迹。

图4说明了基本的手写体匹配过程。将一查询手写体30提供给编码器32，该编码器生成查询手写体30的编码形式34。将业经编码的手写体34提供给匹配器36，该匹配器计算编码手写体34与搜索表38内各个条目的距离分值。

所描述的每个匹配器均使用相同的近似匹配方法，即匹配由动态程序所计算出来的串编辑距离(string edit distance)。基础动态编程工具的实现是标准的并且通过已调用的匹配器而使用有限束宽集合。说明上述方法的论文有：Okuda等的“Correction ofgarbled words based on levenstein metric”，该文载于IEEEtransactions on computing C-25(2)，1976年2月；以及R.A.Wagner和M.J.Fisher的“The string-to-string correctionproblem”，该文载于Journal of the Association for ComputingMachinery，pg 2168，1974。

尽管所述动态编程匹配器使用了多种符号而不是只使用简单的字符标记，但是，编辑距离最容易被看作匹配两个串(一个是查询手写体的编码串，一个是候选目标手写体串)。所说的编辑距离尺度将上述串之间的距离限定为将第一个串编辑进行第二个串的最小开销。我们假定有三种可用的基本编辑操作：

以开销ins(Si)来插入符号Si

以开销del(Si)来删除符号Si

以开销Subs(Si，Si′)来用新符号Si′替换符号Si

对任何给定的一对串来说，有多种不同的编辑顺序，这些编辑顺序能将一个串转换成另一个串，而编辑距离尺度则被限定为在所有可能的编辑顺序中最小的编辑开销。

例如，假设我们要匹配两个串abbc和acbb并且插入/删除/替换的编辑操作开销分别为1，1，2。那么，对应与用第一个b替换c以及删除最后一个c，这两个串之间的编辑距离是3。在所要说明的三种手写体匹配器中的每一个当中，编辑开销的集合取决于所插入、删除或替换的特定符号。

用于计算编辑距离的算法是动态编程的算法。用开销的两维数组(见图18中的表)可以很容易地实现这种算法。给定两个串a_1…n和b_1…m，则表中的条目d(i，j)给出了到目前为止为最低的开销即将子串a_1…i编辑进子串b_1…j的开销。此后，我们可以用下列公式以一次遍历所说的表的方式计算出d(i，j)条目： $\left(\mathrm{0,0}\right)=d(\⊥,\⊥)=0$

其中，

表示一空串

图18中表的右下角是最终的编辑距离。

在实现手写体匹配器中所使用的算法时，不用显示地构造出整个的表，最多只需要该表的两行，一是正在更新的一行，一是先前的一行。此外，将所扫描的表域限于有限的范围，即只考虑落在表对角的某一短距离之内的单元。上述范围限制能减少计算从O(n²)到O(nb)编辑距离的开销，其中，n是串的长度，b是所述范围的大小，它比n小5到10倍(O表示“阶”)。

在每个所要说明的手写体匹配器中，通过用所匹配的两个串长度的均值除上述匹配距离，而使该匹配距离标准化。每个点编辑开销的测度不会偏向于短的匹配串并且在实践中会虽小但却实际上有利于提高精确度。

除查找关键点以外，还存在有其它预处理步骤，这些步骤需在所说的基本手写体匹配过程之前执行，图5说明了这些步骤。

第一步骤是离散步骤40。

在某些平台上，可能会对墨迹取样点进行不正确的时刻标记，这就会使基于速度的处理过程中断。具体地说，在Windows平台上，可能是用鼠标驱动器而不是用特定的书写笔驱动器来捕获墨迹坐标。在这种情况下，墨迹坐标以相同的时间标记大批到达。虽然有本批墨迹坐标所表示的时间期间，但是，在假定各个样本是等距的情况下，可以用简单的预处理步骤来校正各样本的时间标记。

假定我们接收到一系列点：(p₁，t₁)，(p₂，t₁)…(P_n，t₁)(p_n＋1，t₂)

所说的离散算法计算出△t＝(t₂-t₁)/n

然后将所述序列中的点重新标记为：

(p₁，t₁)，(p₂，t₁＋△t)…(P_n，t₁＋(n-1)△t)(p_n＋1，t₂)…

下一个步骤是除去变形线步骤42。

由数字化图形输入板所捕获的手写体中的一种普通的人为因素都是变形线(hook)。当记录笔在书写者的手平稳到达他/她要进行书写的位置之前开始着墨时，就会出现变形线。这种变形线是相当不稳定的，对同一个人重复几次写同一个字来说，变形线的数量会有明显的变化。因此，如果变形线对手写体的编码产生影响，那么，这种变异的成因就会降低手写体匹配的精确度。所以，要对墨迹进行预处理以除掉所说的变形线。

正常情况下，图5中A1处所示的查找关键点的过程将确定弯曲点上的一个点，该点对应于笔划的起点。消除变形线的算法(dehooking algorithm)只涉及每一笔划的第一段和最后一段。如果：

则所说的算法就将这段笔划判断为变形线并予以消除。

上述精确的参数(1mm，0.25和45)是在对大量的样本数据进行试验之后选定的。参数的最佳值取决于手写体捕获系统的特点(书写笔的柔性、查找书写笔落点中的滞后量、表面摩擦力、影响书写体大小的书写区域)。

再一个步骤是滤波步骤44。

使用与在速度探测之前用来减少噪音的同样的10Hz低通滤波器对用于后面处理过程的墨迹进行滤波。某些算法特别是字形匹配器在使用未经滤波的墨迹时有更大的精确性，在这种情况下，可在预处理阶段中省略上述滤波步骤。

下一个步骤是重新取样步骤46。

在业已抽取出详细的基于时间的信息以后，紧接着对墨迹重新取样以简化后续处理(并减少后续处理的开销)是有益的。在几种可能的重新取样技术中，最有用的用来进行手写体匹配的通用技术是多边形重新取样技术。这种技术通常在手写体识别中使用。这种技术用一系列逼近整个曲线的线段来代替复杂的曲线。在所要说明的实施例中，把关键点当作固定点来处理，并且，仅对连续关键点之间的线段进行多边形重新取样。

所使用的算法是如图6所示的简单递归分割算法。

要对墨迹的线段AB进行重新取样。该线段开始时是两个连续关键点之间的线段。重新取样算法的核心内容如下：

1.设定A与B之间的直线线段。

2.确定距AB最大距离(t)处的数据点，该点在图6中为c。

3.if t＜阈值Then退出(AB是非常接近的)

else加入C作为一顶点并递归地对AC和CB重

新取样

可按如下方式优化上述方法以便提高这一基本过程的速度：-if线段AB具有斜率m且将A设置在(0，0)

Then t＝|y－mx|/h其中(仍使用切比雪夫逼近法)：

这样，在搜索步骤2中，可以用简单的整数运算计算出h。此外，h独立于所测试的点，因此，在上述搜索的内部循环之外就可计算出h。

-由于曲线线段大部分都呈简单的中凸形并且是大致对称的，所以，在步骤2中从A与B之间的中间数据点开始用登山法(hill climbing)进行搜索并首先会找到局部的最大值。只有当该局部最大值超出上述测试距离时，才去查找其它的最大值。

所说的“阈值”参数决定着上述多边形逼近法按何种密切程度去匹配原始墨迹。减小这一参数会增加逼近的精度并增加多边形线段的数量(从而增加了存储开销与搜索时间)。

参数0.1mm用于所有的将要说明的实施例。这可以相当密切地逼近所说的曲线并可产生3.6至1倍的数据简缩。

合成匹配器

所要说明的本发明的第一个实施例是合成匹配器。该匹配器通过用表示关键点位置处的手写体形状的符号来标记各个关键点，从而对手写体进行编码。所使用的特定标记是：

弯曲点：1！<>，用于朝上、朝下、朝左、朝右的弯曲点；

开曲线：n u，用于向上中凸/中凹的曲线；

闭曲线：opge

各种平滑曲线：～

区分符：·

直线端点：I L{}N U Y

这样，可将图1所示的手写体编码为L！P<>olu>olU。

虽然图1所示的手写体看起来有11个关键点，但实际上有12个关键点，这是因为，有两个关键点在字符“a”上的11处相重合。

将上述代码作为一个带有用于各关键点的字符标记的简单串存储起来。

所说的合成匹配器的编码算法能根据输入墨迹的图形产生标记串。所要编码的墨迹业已如上所述经过离散、除去变形线、滤波以及多边形重新取样，并且，已经查找到了关键点。

上述核心算法可抽取单一的笔划(书写笔下落和书写笔抬起之间的墨迹)：

标记笔划：

if isDiacritical(笔划)    //测试笔划是否可区

then给出“·”

else

标记笔划的起点

对于笔划中的每个内部关键点{标记关键点}

标记笔划的终点

上述算法的各个组成部分使用了若干组试探性的阈值。可通过与手工标记的一数据组相比较而试验性地选定上述阈值，并且，这些阈值不起关键性的作用。例如，如果该算法在一个主观上更有可能是平滑曲线的位置处将关键点标记成一弯曲点，那么，上述阈值就是不重要的。关键在于决择点在同一作者的同一个字的多个样本中是足够稳定的。

以下将更详细地说明上述合成算法的组成。

isDiacritical-

将一个笔划看作是可区别开的笔划(并用·加以标记)，如果：

1.该笔划是简单且较小的笔划(具有5个以下的关键点，起点与终点的距离小于D并且该笔划距一直线的最大偏离距离小于D)，或者

2.该笔划非常简单且非常小或者是短且水平的笔划(只有2个关键点，长度小于D，或者，该笔划距一直线的最大偏离距离小于D且该笔划在水平30°之内)。

其中限制条件D定义为D＝h/15，h是所编码的整个手写体的高度。

上述标准是针对英文文本的。但是，在所说的匹配过程中区分标记并不十分重要，所以上述算法的这部分的精确度并不是很关键。

标记角度——

在区分滤波器的第二种情况以及下述的若干步骤中，需要测试角度。在实现这一算法的过程中，用一个字节存储角度代码，因此，0，64，128，192的角度分别对应于向上、向右、向下和向左。由于墨迹是有序的，所以，书写笔的移动方向是已知的，也就是说，可以将向上的笔划与向下的笔划区分开来。在上述算法的所有后续伪码定义中，使用了上述角度表示法。

标记笔划的起点——

为了标记笔划的起点，我们使用：

标记笔划的起点：

测试第一个多边形线段的角α

α∈[-40，40]     ＝＞给出“L”(向下的笔划)

α∈(40，100)     ＝＞给出“}”(向右的笔划)

α∈[100，156]    ＝＞给出“|”(向上的笔划)

α∈(156，216)    ＝＞给出“{”(向左的笔划)

因此，可以对称于主方向但对于向下的笔划用略宽的窗口来测试所说的角度。

标记笔划的终点——

草写笔划连笔字的部分中会出现某些直线的终点，因而，上述算法的目的是要标记这些终点。所使用的试探性算法是：

标记笔划的终点：

d＝(最后一个多边线段的角)-(倒数第二个多边线段的角)

测试最后一个多边线段的角α

α∈[-40，40]    ＝＞给出“L”(向下的笔划)

α∈(40，100)    ＝＞

if d＞0 then给出“N”else给出“U”(向右的笔划)

α∈[100，156]    ＝＞给出“|”(向上的笔划)

α∈(156，216)    ＝＞

if d＞0 then给出“Y”else给出“{”(向左的笔划)

除了水平端点根据它们是否向上或向下拐而有略微不同的标记以外，上述过程基本上与标记笔划的起点相同。

标记关键点——

上述标记算法的最后一个组成部分是标记内部关键点，即不位于笔划起点或终点处的关键点。

标记关键点：

if isCusp    //测试是否是弯曲点

then         测试该弯曲点的角α

α∈[-40，40]    ＝＞给出“1”(向下的笔划)

α∈(40，100)    ＝＞给出“＞”(向右的笔划)

α∈[100，156]    ＝＞给出“！”(向上的笔划)

α∈(156，216)    ＝＞给出“＞”(向左的笔划)

else

if isSmoothInflexion//测试是否是平滑弯曲

then给出“～”

else

if isPositive&isDown then给出“y”

if isNegative&isUp then给出“e”

if isLoop&isPositive then给出“p”

if isLoop&isNegative&isClosed then给出“o”

otherwise

if isUp then给出“n”

if isDown then给出“U”

存在有若干种在上述算法中使用的试探性测试法：

isCusp

一个弯曲点(Cusp)被定义为一个点，与该点两侧的角度变化率相比，这个点具有为锐角的角度变化。“角度变化”是指该点两侧多边形线段之间的角。图7说明了一个弯曲点，图8显示了相关的角。弯曲点的测度如下： $C=[{\mathrm{\&alpha;}}_2-\frac{({\mathrm{\&alpha;}}_1+{\mathrm{\&alpha;}}_3)}{3}]$

如果上述弯曲点的测度值C大于给定的阈值(目前设置为70)，则isCusp测试返回“true”。

isSmoothInflexion

它测试墨迹中的平滑弯曲的点，即曲率变化较小且曲率的符号越过此关键点发生变化。利用图8所示的角度，如果：

(C＜40)(Sign(α₁)≠Sign(α₃))(Sign用于测试符号)

isSmoothInflexion返回true。

isPositive/isNegative

它们仅告知墨迹的角度是增加的还是减小的。仍使用图8中的符号，如果α₂＞0，则isPositive返回true，而isNegative正好与之相反。

isDown/isUp

它们测试关键点处与墨迹垂直的方向。为此，把法角β简单地看作是图8中方向矢量AB和CB的均值。

如果β∈[100，190]，则isDown返回“true”。如果β∈[-40，60]，则isUp返回“true”。这些测试是不对称的，从而反映出对斜写作者略有偏向。

isLoop/isClosed

这类测试的目的是区分开曲线(“u”和“n”)以及闭曲线(“o”和“p”)。这些测试在从前一个关键点到下一个关键点的整个范围内测试墨迹并确定最小和最大x值的位置。图9a显示了一个具有三个关键点的开曲线。如图9b所示，要进行四种测度。如果lgap或rgap是负的，则在后续的计算中将它们设置为零。

如果

则isLoop返回“true”如果 $(\frac{\mathrm{Closure}}{\mathrm{Scale}}<0.55)$

则isClosed返回“true”

如前所述，匹配是以串编辑距离为基础的。将插入、删除及替换开销的集合设置成能处理书写风格中的差异(如连笔字中的间断)以及上述标记算法中的不稳定性(如可能把“u”标记成“o”的循环测试的缺欠，或者相反)。设置上述开销的过程如下：

1.手工定义开销的初始集。

2.利用上述开销集查找词对扩展测试数据库中每一对词之间的最小开销编辑序列。

3.测度替换、插入和删除每个符号或符号对的相对的频率。

4.对每个符号或符号对用公式C_i＝-logP_i来更新所说的开销。

5.就测试集的效率测试更新后的开销。如果效率有进一步的提高，则转步骤2，否则，按先前的开销集退出。

上述结果是一个固定开销的表，该表反映了局部变异的概率以及诸如从一环线到一弯曲点之类的变形，从而产生较低的开销。在实践中，上述第一次设置的开销应是足够精确的，因此只需作重复改进的一次循环就能产生最终的开销表。字形匹配表

所要说明的另一个实施例是字形匹配器。字形匹配器利用了手写体整个形状的图像，从而反映出形状轮廓中上伸部和下伸部的形状，例如，如图10所示。在图10中，所显示的字“pad”始于下伸部50、延续于标准字符高度的区域52并终止于上伸部54。

编码器产生整数的代码矢量，它表示按时间顺序的关键点的标准高度。相对于(可能是倾斜的)中线及手写体平均关键点高度使关键点的高度标准化。

以下概括地给出编码算法：

1.清空代码串

2.投影手写体的y-密度直方图，并查找其中值

3.从上述中值中找出关键点的平均垂直距离

4.按时间顺序对每个关键点

4.1从关键点的高度中减去上述中值

4.2用在步骤3中找到的均值除上述结果

4.3将上述结果加至代码串的尾部

更正式地说，一个字形代码被定义为按时间顺序的N个整数S_i的序列S，从而，S＝S₁，S₂，…S_N其中

并且，y_i是关键点i的y坐标值，y_中值是与关键点i有相同x坐标值的手写体的中线的y坐标值，以及

是关键点距上述中值的平均垂直距离，这些参数如图11所示。

相对于用来限定墨迹在手写体内路径的坐标系原点来说，所要比较的两个手写体很有可能具有不同的整体位置。例如，用于手写体表的条目形式可能位于用来捕获墨迹的图形输入板的下半部，而用于查询手写体的条目形式则可能位于图形输入板的上半部。通过表明关键点相对手写体中线的高度可以克服这一问题。通过在图12所示的直方图60中投影出手写体沿y轴的密度，就可以找到上述中线。然后，将中线62的高度置为直方图包含有点的方框的中点，而对所包含的点来说，存在有同样数量的具有较高和较低高度的其它点。

通过沿手写体的路径按等距间隔对该手写体重新取样并对所重新取样的点的y坐标值落在每个直方图方块内的次数进行计数，就可以形成所说的密度直方图。标准化完全不受直方图方块的数量和宽度的影响。使用了50个均匀分布手写体高度上的直方图方块。

所比较的两个手写体很有可能有不同的尺寸。通过相对距手写体中所有关键点中值的平均距离明确一个关键点距该中值的距离，从而能获得大小的不变性。非正式地说，这种测度涉及到上述关键点距某一中心位置距离的差异。一个手写体大小的成倍增加会使上述因子加倍，从而能获得所需的标准化。由于不太受远离的关键点的影响，所以将上述密度直方图的中值而不是均值用作所说的中心位置，而前述远离的关键点则起因于特别长的上伸部或下伸部。

与此相似，所要匹配的两个手写体的基线可能不与水平线成同样的角度。用图13所示的方法可以获得对变化坡度的部分稳定性。

在图13所示的方法中，垂直线65将手写体的边框64分成两个相等大小的区域：区域1和区域2。对每个区域来说，分别(如上述那样)构造密度直方图以便找到它们各自的中线。区域1的中线称为前部中线66，区域2的中线称为后部中线68。

然后，将倾斜的中线70设置成通过前部中线66与手写体边框64最左侧相交处以及后部中线68与边框64最右侧相交处的直线。

上述方法不能很好地估算手写体基线相对水平线的实际倾斜度。对任何一个特定的手写体来说，上伸部和下伸部的形状都有可能偏离该估算值。但是，对手写体匹配来说，只需要两个手写体相对倾斜度的估算值，由于上伸部与下伸部的形状在正确匹配的手写体中是相同的，所以上述估算值是可靠的。

所说的匹配器仍使用串编辑测距法。如果用这种方法，就需要限定基本的插入、删除和替换符的开销。由于代码串的元素是整数，所以，可将上述操作符开销定义为简单的算术函数，即

替换开销S(C_i ¹，C_j ²)＝w(C_i ¹，C_j ²)＝|(C_i ¹－C_j ²)|

插入开销i(C_i ¹)＝w(C_i ¹，0)＝|C_i ¹|

删除开销d(C_j ²)＝w(0，C_j ²)＝|C_j ²|

其中C_i ⁿ表示代码串n的元素i。

图14说明了上述开销，在图14中，为清楚起见，假设两个手写体共用一个共同的中线。

可以看到S(C_i ¹，C_j ²)≤i(C_i ¹)＋d(C_{j 2})，也就是说，两个关键点之间的替换开销总是小于或等于删除一个关键点和插入另一个关键点的开销。

最低开销的编辑序列是那些基本上包含具有相似高度的替换关键点的序列。用任何类型的关键点替换位于上伸部(或下伸部)末端的关键点，或者对该关键点的删除或插入，都将导致较高的临界开销并会增加整个的匹配距离。所以，正如所预料的那样，整个匹配的最小距离将是具有相似上伸部、下伸部及字符本身形状的手写体之间的距离。而且，插入和删除接近中线的关键点会有较低的临界开销从而不会对整个匹配距离产生很大的影响。因此，上述匹配器对在字符本身关键点位置以及在使用连写时的不稳定性来说有相当的健壮性，从而反映出是把重点放在手写体的整个形状上而不是放在手写体的内部细节上。

弹性匹配器

弹性形状匹配器匹配整个手写体的形状而不仅仅是关键点处的形状。

假定相对某些标准轴例如通过确定位于各手写体左下角的原点的位置来对所要比较的手写体进行测度。取样点的绝对数量以及多次出现的自然差异会阻碍直接使用这些点去有效地计算相似性的测度值。相反，所述匹配器的目的是产生一组可更方便进行比较的特征。

手写体多次出现后变异的自然原因是按不同顺序写入笔划子集的概率。最普通情况是通过过滤诸如i中的点以及t中的短横之类的区分符来加以补偿的，而不使用这些短的笔划来作比较。可如以上标题为“isDiacritical”一节所说明的那样确定上述这些笔划。

抬笔起到笔划分隔符的作用，并且，抬笔对于明确某些可能具有相似落笔轮廓的笔划序列是有用的。但是抬笔不可能反复出现，同一手写体的两个样本可能在抬笔的次数及位置上是不同的。将抬笔记为两个关键点序列之间的分隔符。

用一形状代码矢量序列来对笔划序列编码，而所说的代码矢量则是从点序列中按下述方法形成的：

分段与二次取样

在重新取样预处理步骤中利用上述速度最小值的信息对笔划即两次抬笔之间的一系列点加以分段。为了减少匹配的复杂性，对由速度最小值所界定的线段进行二次取样，从而用多边形重新取样通过一组直线来逼近所说的线段。

对二次取样点进行编码

对在二次取样空间中的每个点均记录下列信息：

1.与前述边框一角的相对y位移。

2.所述点处的曲线的切线角度θ(如果该点是抬笔点，那么就计算前一个笔划的最后一点与下一个笔划的第一个点之间的角度)其中 $\mathrm{\&theta;}=a\tan \left[\frac{y-y^{\&prime;}}{x-x^{\&prime;}}\right]$

3.用于指示所说的点是关键点、抬笔点还是一多边形二次取样的中间点的指示符。

将上述信息适当地量化以使存储要求与精确度之间的关系最优化。目前的设置使用了用于所述y位移的6位和一个符号位以及用于所述切线角的6位和一个符号位。在抬笔的情况下，将当前的点看作是该抬笔之后笔划的第一个点。更正式地说，用一个下列类型的矢量来表示用于一笔划序列的形状代码：

1.(x，y)表示当前所检测的点，dervative(x，y)表示该点处书写笔速度的近似值。

2.(x′，y′)表示先前的点。

3.Centroid(x，y)表示笔划序列的形心。

4.penup？是一指示一次抬笔的布尔值。

5.Knot-point？是一布尔值，它指示是否将该编码点标识为一速度最低值。如果设置了penup？则knot-point？无意义。

弹性形状匹配技术使用了与合成匹配器及字形匹配器相同的动态编程算法。事实上，这项技术试图使曲线变形以便与原型相匹配。通过位置差异和在笔划的各取样点处书写笔轨迹的切线的线性加权和(Linear weighted sum)来计算两个笔划轮廓的差异。该差异可能是由下列因素引起的：

1.两个笔划相应点的位置差异

2.两个笔划之一上的多余点

在上述两个点都是关键点或都是二次取样点的情况下，一个笔划的点p与原型中相应点q之间的替换开销可定义为：Subs(p，q)＝m(y_p－y_q)＋n(μ_p－θ_q)

其中，m和n是适当选定的权值。

使一多边形重新取样的点变形成一次抬笔的开销要比匹配两个重新取样点的开销大，从而反映出所包含的较大的几何差异。对点的插入也会有高于变形开销的代价。图15的表显示了当前用于替换开销的量化值和权值。

事实上，用多边形取样点替换关键点的高开销会促使前述匹配算法校直两个手写体中的关键点，即便这意味着需要多次插入或删除中间的多边形取样点。

插入和删除开销是对称的。用于一关键点或多边形重新取样点的插入/删除开销等于用于一关键点和多边形重新取样点对的最大替换开销。用于一次抬笔的开销等于用一次抬笔来替换多边形重新取样点的代价。图16中的表显示了示例性的开销。

所说的匹配过程就是上述标准编辑距离的算法，但它使用了前述开销函数。

对前述弹性匹配器的可能改进是将其用作一局部匹配器(partial matcher)，即只利用某些可用的墨迹，也就是说50％的墨迹或跨越最后n个关键点的墨迹。这就对速度与精确度进行了折衷。例如，只匹配前部墨迹可以用相似的前缀快速标识所有的手写体，而所说的前缀对某些应用来说是足够用的。

在实际上，使多种手写体匹配算法相结合以使速度和精确度均为最大。例如，可以用已知的删除算法去减少搜索空间以便加快后续的匹配步骤的速度。上述删除算法会删掉搜索表中那些与将要成为匹配候选字的查询手写体太不相似的条目。由于匹配过程中无法在以后恢复由上述删除算法所引起的错误，所以，通常总是使用非常保守的删除策略。一般地说，删除算法最好也只能使搜索空间减半。其次，用已知的线性匹配算法(如轮廓、角度、直方图匹配器等)去进一步将搜索空间减少至相对小数量N个匹配候选字。最后，对用来产生最后分值的剩下的N个候选字以及它们的组合分值使用本发明的相对在计算上费事的动态编程手写体匹配器。

可以按多种方式如流水线或并行等方式组合上述三种手写体匹配器。一种可能的组合是以匹配距离的线性和为基础的。这种组合技术单纯使用各个匹配器去查找从查询手写体到手写体表中每一条目的距离，并将这些距离规范化成一通用的尺度，同时对这些距离求和以产生图17所示的整体距离d_n。

通过从对给定的表目所找到的距离d_m中减去用于该匹配器的平均最佳距离η再除以该匹配器的最佳匹配距离的标准差δ，就可求出标准化距离d_n，即：

d_n＝(d_m－η)/δ

通过观测从研究测试集中抽出的写作者的最佳匹配距离，可以找出η和δ的值。

标准化的作用是将所有的匹配距离安排到单一的尺度内，该尺度可解释为匹配的可信度。因此，可以使用上述经过标准化的整个距离去排除低可信度的匹配。在实践中，可找出最佳与次佳匹配之间的差距以提供较好的排除试探法。

业已发现，本发明的手写体匹配法能在保持可接受的速度的同时获得较高匹配精确度。按照不同的应用，速度和精确性的要求是不一样的，所以，可按要求如上述那样将匹配器加以组合。

上述所有方法都在软件中实现了。应该认识到，在专用设备中用硬件实现也是可能的。

应该认识到，本发明并不局限于用于写入手写体的输入装置，而是包括使用书写笔输入，手指输入、鼠标输入以及任何其它输入手写体方式的方法与设备。

Claims (12)

1.一种将以电子方式所存储的手写输入与所存储的手写输入的其它样本进行匹配的方法，该方法包括：

确定手写输入中速度最小值的位置；

用一系列符号对上述手写输入加以编码，所说的每一个符号均表示手写输入在速度最低时的一个特征；

用串编辑测距法将上述符号序列与手写输入其它样本的代码进行匹配。

2.如权利要求1所述的方法，其特征在于，所说的编码特征是手写输入在速度最低区域内的形状，所说的符号表示形状特征集，而编辑开销则取决于前述形状特征。

3.如权利要求2所述的方法，其特征在于，所说的形状特征集包括：弯曲点、开曲线、闭曲线和直线的端点。

4.如权利要求3所述的方法，其特征在于，直线端点与曲线特征之间的替换开销相对较低。

5.如权利要求3或4所述的方法，其特征在于，所说的形状特征集还包括多种平滑曲线以及区分标记，用于这些形状特征的插入和删除开销相对较低。

6.如前述任一权利要求所述的方法，其特征在于，所说的编辑开销还取决于出现相应编辑操作的概率。

7.如权利要求1所述的方法，其特征在于，它包括相对一参照线对速度最低处手写输入的标准化高度进行编码，其中，用一连续的尺度对所说的高度进行编码，并且，其编辑成本取决于所编码的高度。

8.如权利要求7所述的方法，其特征在于，删除与插入的编辑开销对应于有关的速度最小值的编码高度的数量，而替换的编辑开销则对应于有关的速度最小值的高度差。

9.如权利要求1所述的方法，其特征在于，它包括：

用一符号序列对手写输入进行编码，所说的符号表示在速度最低值中的点的特征，其中，通过对速度最低值之间的手写输入进行重新取样，可以产生所说的中间点；

用一三元组对前述速度最低值和中间点加以编码，所说的三元组包含有：上述点的标准化高度；在相关点处与手写输入的切线所成的角度以及将所说的点作为电子墨迹中的断点、速度最低值或中间点的类别；

以及使用编辑开销，该开销取决于高度、角度及点类别方面的差异。

10.如权利要求9所述的方法，其特征在于，所说的重新取样步骤包括多边形重新取样。

11.一种方法，它包括将权利要求2至6中任何一个、权利要求7和8以及权利要求9和10中所述的三种方法组合起来并计算从上述三种方法中获得的匹配分值的加权和以获得一整体匹配分值。

12.为实现前述任一权利要求所述之方法而形成的设备。

Images