CN1218936A

CN1218936A - 手势识别装置

Info

Publication number: CN1218936A
Application number: CN98120765A
Authority: CN
Inventors: 松尾英明; 高田雄二; 手嶋光隆; 猪木诚二; 吕山; 今川和幸
Original assignee: Comunication Research Lab Institute; Matsushita Electric Industrial Co Ltd
Current assignee: National Institute of Information and Communications Technology; Panasonic Holdings Corp
Priority date: 1997-09-26
Filing date: 1998-09-25
Publication date: 1999-06-09
Anticipated expiration: 2018-09-25
Also published as: CN1139893C; EP0905644A2; US6215890B1; EP0905644A3

Abstract

提供一种手势识别装置。摄影设备1拍摄用户手势并存储在图象存储装置2。特征图象提取装置3根据由颜色变化表生成装置13生成的颜色变化表变换从图象存储装置2读取的立体图象数据的颜色并在信道中分解和输出特征图象。空间位置计算装置4通过运用从特征图象提取装置3输出的特征图象的视差计算用户特征部分的空间位置。区域划分装置5用空间区域代码定义围绕用户的空间。手势检测装置6检测用户的手相对于空间区域代码如何移动。

Description

手势识别装置

本发明涉及手势识别装置，特别是，涉及可以自动识别手势的手势识别装置。

通常，已知识别手势(例如，手语)的一些方法。第一种方法是通过检测附在身上的传感器的移动来测量身体的移动。(例如，参考“手势识别方法和应用”，Yuichi Takahashi等人，电子信息和通讯工程师协会，文件D-2第J73-D-2卷第121990号n．页，和日本专利公开号第8-115408号。)根据第二种方法，由照相机通过戴在手上的多色手套检测手，通过颜色信息提取关于手轮廓的信息来测量手指的移动。(例如，参考“运用颜色信息识别手势“，Kazuyoshi Yoshino等人，电子信息和通讯工程师协会，技术研究文件PRU94-52，第39-43页)此外，在第三种方法中，检测从附在身上的光纤发射的光量的变化来测量手指形状的变化(参考日本专利公开号第8-115408号)。

然而，上述第一至第三种方法都要求用户配有传感器、手套或者光纤，而它们会使用户感到不舒服并限制了用户的行动。此外，由于实际上用户的身材尺寸、在做移动时身体移动等的不同，使得通过预先从一个特定人那儿获得身体部分的绝对坐标值来识别移动的传统方法很容易导致识别误差，建议为大量用户记录身体部分的坐标值。然而，这种方法将遇到必须记录与用户数量成正比的大量数据的问题。此外，在传统方法中，把测得的手迹与记录在字典中的手势词汇相对应的手迹，逐字进行比较，以进行识别。这导致了另一个问题，即，当所要识别的字数增加，那么识别所需的时间将按指数极快速增加。

因此，本发明的目的在于提供一种手势识别装置，它可以识别并翻译手势，而不要求用户备有工具。

本发明的另一个目的在于，提供一种手势识别装置，无论用户之中身体大小的差异、在运动中身体的移动等，它都可以正确地识别和翻译手势而无差错。

本发明的又一个目的在于，提供一种手势识别装置，它可以在短时间内(甚至要识别的字数增加)完成识别和翻译处理。

第一方面是提供用于由用户执行的识别手势的手势识别装置，包括：

至少具有用于立体地拍下用户的两台摄像机的摄影装置；

用于在任意采样间隔内，存储从摄影装置中输出的用户的立体图象数据的图象存储装置；

特征图象提取装置，用于从图象存储装置依次提取立体图象数据、从每个立体图象数据提取显示用户身体特征的特征图象并在多个信道中分解和输出特征图象；

空间位置计算装置，用于根据从特征图象提取装置输出的特征图象的视差计算用户的身体部分的三维空间位置；

区域划分装置，用于根据从特征图象提取装置输出的特征图象的视差，把围绕用户的空间分成与用户的身体相关的多个区域；

手势检测装置，用于检测在空间位置计算装置计算的身体部分的三维空间位置上的与用户的手相对应的三维空间位置如何与对应的区域划分装置划分的区域进行移动；

手势字确定装置，用于根据由手势检测装置检测的手的移动，确定相应的手势字；和

输出装置，用于以由操作者识别的形式输出由手势字确定装置确定的结果。

如上所述，根据第一方面，通过拍摄用户的照片获得的立体图象数据提取身体部分的特征，而且通过运用立体图象数据的视差检测手势的三维移动，并根据检测结果识别手势字。这允许识别手势在不需要用户备有任何工具和不需要接触的情况下被识别。装置还把围绕用户的空间分成与用户身体相对应的多个区域，并检测用户的手的三维空间位置相对于划分区域如何移动。因此，它可以经常根据用户的身体适当地进行识别，而与用户的身体大小及用户的身体移动无关，这大大提高了识别的精确度。

根据第二方面，在第一方面中，特征图象提取装置根据形成立体图象数据的各个画面元素的颜色信息，在相应信道中输出特征图象。

根据第三方面，在第二方面中，

特征图象提取装置根据被提取的颜色和由操作者指定的没有被输出的颜色，对于每个信道设定颜色变换表，

根据颜色变化表，变化形成立体图象数据的各个画面元素的颜色信息；和

把根据颜色变化表变换的值与预定阈值区别开来，在相应信道中输出特征图象。

根据第四方面，在第一方面中，

区域划分装置根据空间位置计算装置计算的身体部分的三维空间位置估计没有出现在特征图象中的身体部分的位置，并根据估计位置把围绕用户的空间分成更小的区域。

如上所述，根据第四方面，估计没有出现的特征图象中的身体部分的位置，而且根据估计位置把围绕用户的空间分成更小区域，这能使识别更精确。

根据第五方面，在第一方面中，区域划分装置计算在时间上邻近的特征图象之间的差值，并只有当差值等于或大于预定阈值时，才执行划分区域的处理。

如上所述，根据第五方面，只有当在时间上邻近的特征图象之间的差值达到或超过预定阈值时，装置才划分区域，它减轻了区域划分的计算负担。

根据第六方面，在第一方面中，

区域划分装置把在用户身体前和后延伸的空间分成多个层，还把每个层分成多个区域。

根据第七方面，在第六方面中，

区域划分装置把层分成不同数量的层。

根据第八方面，在第七方面中，

区域划分装置把层分成当它向前时数量递减的区域，从用户的身体角度看，从最后层到前层。

根据第九方面，在第一方面中，

预先把作为识别对象的多个手势字分成多个种类，

而且手势字确定装置包括：

种类字典，其中对于每个种类，预先记录属于各个种类的手势字共有的移动特征，

字典，其中对过每个种类，存储各个手势字的移动的更加详细的特征，

种类检测装置，用于检测由手势检测装置检测到的手的移动属于种类字典之外的哪个种类，和

字识别装置，用于识别由手势检测装置检测到的手的移动与属于由种类检测装置检测到的种类的哪个手势字相对应。

如上所述，根据第九方面，与计算对于每个单字的类似程度的传统方法，分层检查手势字允许在短时间内完成识别。

根据第十方面，在第九方面中，

字识别装置输出属于由种类检测装置检测到的种类的手势字中，相对于由手势检测装置检测到的手的移动具有最高类似程度的一个手势字，作为识别结果。

根据第十一方面，在第九方面中，

字识别装置输出属于由种类检测装置检测到的种类的手势字中，相对于由手势检测装置检测到的手的移动具有等于或高于给定阈值的一个或多个手势字，作为识别结果。

根据第十二方面，在第一方面中，手势识别装置还包括用于通知用户何时开始手势的手势开始通知装置。

如上所述，根据第十二方面，可以通知用户何时开始手势，从而用户可以进行操作而无需焦虑。

根据第十三方面，在第一方面中，手势检测装置从显示移动的起始点和结束点之间检测到的三维空间位置的采样点中，提取移动方向大幅变化的采样点作为控制点，并通过运用起始点、结束点和控制点表示用户的手移动。

如上所述，根据第十三方面，装置从存在于移动的起始点和结束点之间的多个采样点中提取移动大幅变化的采样点作为控制点，并通过运用这些起始点、结束点和控制点表示用户的手的移动。因此，与通过运用所有采样点表示用户的手移动的方法相比，可以更加简单地表示用户的手移动，作为结果，可以更快地确定手势字。

根据第十四方面，在第十三方面中，

手势检测装置检测，

在起始点和结束点之间的采样点，它具有到连接起始点和结束点的等于或大于预定阈值的直线最大距离，

在起始点和邻近控制点之间的采样点，它具有到连接起始点和邻近控制点的等于或大于预定阈值的直线最大距离，

在结束点和邻近控制点之间的采样点，它具有到连接结束点和邻近控制点的等于或大于预定阈值的直线最大距离，

在两个邻近控制点之间的采样点，它具有到邻近这两个控制点的等于或大于预定阈值的直线最大距离，和

把这些检测采样点定义为控制点。

如上所述，根据第十四方面，由于用预定阀值来提取控制点，可以通过改变阀值来自由地改变显示移动的精确性。

根据第十五方面，在第十四方面中，手势检测装置通过运用多个阈值分层检测控制点，以分层表示用户的手移动，和

手势字确定装置根据由手势检测装置分层表示的用户的手移动，分层指定相应的手势字。

如上所述，根据第十五方面，与对所有字计算类似程度的传统方法相比，分层确定手势字能在短时间内完成识别。

结合附图，从对本发明的以下详细描述中，可以更加清楚地看到本发明的这些和其它目的、特征、方面和优点。

图1是示出根据本发明的第一实施例的手语识别装置的结构的方框图。

图2是示出图1的手语识别装置第一半操作的流程图。

图3是示出图1的手语识别装置后一半操作的流程图。

图4示出存储在图1中的图象存储装置2中的图象帧的例子的框图。

图5示出存储在图1的颜色变换表生成装置中的具有代表性的图象的例子的框图。

图6示出包括在图1的颜色变换表生成装置13中的颜色变换表的框图。

图7a至7c示出在相应信道中从图1的特征图象提取装置3输出的特征图象的例子的框图。

图8示出用于解释计算斑点的重心(the center of gravity position of a blob)的方法的框图。

图9示出三维空间位置表的结构框图，其中记录由图1的空间位置计算装置4计算的斑点的三维空间位置。

图10示出从在第三信道中输出的特征图象提取的身体的轮廓形状的框图。

图11示出显示对于图10的轮廓形状所定义的身体特征的代表线的框图。

图12示出由如图11所示的代表线划分的空间区域的框图。

图13示出由图1的区域划分装置限定的空间区域代码的框图。

图14以外观上示出在三维空间中第一至第三维之间的位置关系的框图。

图15示出在第一至第三维中空间区域代码定义的另一个例子的框图。

图16示出区域跃迁表的框图，它包含与当用户进行与“明信片”相对应的手语手势时所产生的手迹相对应的斑点的空间区域代码在时间上的变化。

图17a和17b示出手形的例子的框图。

图18是示出在本发明的第一实施例中检测移动代码的操作流程图。

图19a至19c是示出用于描述在本发明的第一实施例中的控制点检测操作的手迹的例子的框图。

图20是示出从采样点到直线的距离的示意图。

图21示出当指定移动代码时参考的移动代码表的框图。

图22a至22c示出属于第一类的手语手势的例子的框图。

图23示出记录在图1的字典11中属于第一类的手语特征信息的例子的框图。

图24示出对空间区域代码的相似程度的框图，其中空间区代码在三维上接近于记录在字典11中的“手势开始位置代码”和“手势结束位置代码”。

图25示出用于对于参考记录在字典11中的移动代码存储附近代码列表的移动附近代码表的部分的框图。

图26从外观上示出对于向下指的参考移动代码(由实线表示)的四个附近代码(由虚线表示)的框图。

图27是示出根据本发明的第二实施例的手语识别装置的结构的方框图。

图28是在本发明的第二实施例中，在手势检测装置中执行的检测移动代码的操作过程流程图。

图29a和29b示出移动手迹的例子的框图，其中用手迹来描述通过运用在本发明的第二实施例中的低分辨阈值THC1来检测控制点所进行的操作。

图30a至30c示出移动手迹的例子的框图，其中用手迹来描述通过运用在本发明的第二实施例中的高分辨阈值THC2来检测控制点所进行的操作。

图31是用于描述通过运用在本发明的第二实施例中的分层检测移动代码来执行的分层字识别操作的框图。

图32是示出根据本发明的第三实施例的手势识别装置的结构的方框图。

图33是示出运用计算机设备通过软件控制来实现的根据本发明的第三实施例的手势识别装置的结构的方框图。

(第一实施例)

图1是根据本发明的第一实施例的手语识别装置的结构的方框图。在图1中，本实施例的手语识别装置包括摄影设备1、图象存储装置2、特征图象提取装置3、空间位置计算装置4、区域划分装置5、手势检测装置6、种类检测装置8、字识别装置9、种类字典10、字典11、输出装置12和颜色变换表生成装置13。

摄影设备1包括多个电视摄像机，它拍下用户移动的立体照片。图象存储装置2存储从摄影设备1输出的立体图象数据的多个帧。颜色变换表生成装置13根据操作者从存储在图象存储装置2中的立体图象数据的多个帧中选出的代表图象上指定的画面元素的颜色，生成三色变换表，它们分别与第一至第三信道相对应。特征图象提取装置3从图象存储装置2顺序读取立体图象数据，并根据由颜色变换表生成装置13生成的颜色变化表，变换在读取的立体图象数据中的画面元素的颜色数据，以提取显示在第一至第三信道中分解和输出的显示用户的身体特征的立体特征图象。

空间位置计算装置4通过运用在各个信道中从特征图象提取装置4输出的立体图象的视差，计算包括在各个信道中的斑点的三维空间位置(被看作一块图象的每个图象)。区域划分装置5根据从特征图象提取装置3输出的立体特征图象和在空间位置接收装置4中计算的斑点的三维空间位置，划分包围身体的三维空间，而且生成用于限定被划分区域的空间区域代码。手势识别装置6根据从特征图象提取装置4输出的立体图象、空间位置计算装置4中计算的斑点的三维空间位置和由区域划分装置5产生的空间区域代码，检测与手相对应的斑点如何移到与由区域划分装置5生成的空间区域代码相关的空间中。

种类字典10包含被分成多个种类的手语手势(每组包括类似的手语手势)。种类检测装置8检测由手势检测装置6检测的手语手势的特征属于包括在种类字典10中的哪一类。字典11包括属于单个种类的手语字的手势特征。字识别装置9检测由手势检测装置6检测的手语手势的特征与属于由种类检测装置8检测的种类的哪个手语字相对应。输出装置12以图象、字母、语音等的形式输出由字识别装置9检测的结果。

图2和3是示出如图1所示的实施例的操作过程的流程图。参照图2和3，描述本实施例的操作过程。

首先，摄影设备1开始拍照(步骤S1)。在这个操作过程中，包括在摄影设备1中的左右两侧的两个电视摄像机感觉不同角度下的用户身体的上半部分。以适当的采样周期，把从摄影设备1输出的立体图象数据存储在图象存储设备2中。在标准情况下，根据NTSC标准，图象存储装置2在1/30秒采样间隔内存储立体图象数据。然而，可以通过改变采用周期，在另一个采样间隔内(例如，1/10秒或者1/5秒)存储立体图象数据。如图4所示，以时序方式，给存储在图象存储装置2中的立体图象数据的各个帧按顺序编号(编成IMG1、IMG2…)。

接着，颜色变换表生成装置13确定是否设定(步骤S2)设在其中的表设置标志(未图示)。如下所述，当设定颜色变化表时，设定该设定标志(见步骤S11)。首先，不设定颜色变化表，从而表设置标志处于重设定状态，因此进程进到步骤S3。在步骤S3中，如图5所示，操作者从存储在图象存储装置2中的立体图象数据的多个帧中选择图象数据的任一帧作为用于特征提取的代表图象。虽然从摄影设备1输出的图象数据存储在图象存储装置2中，但还在显示装置(未图示)中显示它。操作者在适当时候给颜色编号表生成装置13选择命令，同时查看在显示装置中的显示内容以指定代表图象。然后，颜色变化表生成装置13从图象存储装置2中读取操作者所迭的代表图象的图象数据。接着，颜色变化表生成装置13执行设定颜色变化表的处理(步骤S4至S11)。下面详细描述在步骤S4至S11中所进行的处理过程。

颜色变化表生成装置13包含用于三个信道的颜色变化表131(如图6所示)，在这些颜色变化表131中的设定的是与在RGB颜色空间中的所有颜色位置相对应的变换值。由于在这个实施例中，由8比特(0至255)表示每个R、G、B，所以颜色变化表131可能具有与16777216(=256×256×256)种颜色相对应的变换值。然而，因为这个结构需要大量数据时，所以实际上，把RGB颜色空间粗略地分成网孔。变换值分配给独立的网孔。变换值包括0至255。即，无论赋予RGB何值作为输入信号，颜色变化表131都把RGB值变换成0至255中的一个值。即，颜色变化表131仅把由操作者指定的特定颜色输出到第一至第三信道中。

在下面所述的操作中，假设当在第一信道中输出眼睛和头部的颜色时，颜色接近于黑色、当在第二信道中输出脸和手的颜色时，颜色接近于肤色、而在第三信道中输出衣服的颜色时，颜色遍布整个身体。然而普通的电视摄像机输出RGB信号，这里假设第一信道与R信号相对应、第二信道与G信号相对应，而第三信道与B信号相对应。然而，实际上，第一信道可与G或B信号相对应。

首先，操作者指定第一信道作为输出信道。然后，操作者将取出的颜色指定到第一信道中(步骤S4)。在这种情况下，操作者通过运用指示装置(诸如，鼠标器)指定在显示装置(未图示)中显示的代表图象(图5)中的头发部分“a”和眼睛部分“b”。然后，操作者不仅可以指定一个部分，而且还可以指定多个部分。作为响应，颜色变化表生成装置13确定表示指定部分a和b颜色的RGB值作为从第一信道中取出的颜色，并在颜色变化表131中的相应颜色空间区域中设定对于第一信道的最大值“255”(见图6)。此时所获得的颜色信息可以是HSI系统、YUV、YIQ中的任一个。接着，操作者指定不把颜色输出到第一信道中(步骤S5)。在这种情况下，操作者通过运用鼠标器等，指定在代表图象(图5)中的衣服部分“c”和“e”以及脸部部分“d”。此时，操作者可以指定多个部分。作为响应，颜色变化表生成装置13确定表示指定部分c、d和e的颜色的RGB值是不在第一信道中输出的颜色，并在第一信道颜色变化表131中的相应颜色空间区域中设定最小值“0”。接着，颜色变化表生成装置13确定此时指定的输出信号是第一信道(步骤S6)，并在步骤S4中指定的颜色和在步骤S5中指定的颜色之间执行给定的插入操作计算没有在步骤S4和S5中指定的颜色的变换值，并在第一信道颜色变化表131中的相应颜色空间区域中设定经计算的变换值(步骤S7)。

这里，例如，上述在步骤S7中执行的给定的插入操作可以是在“通过运用颜色空间变换校正颜色的方法”(Jun Ikeda等人，图象信息和电视工程师协会，1995年年会，n页)中所述的颜色空间变换操作。现在描述这种变换操作。

现在，假设i=1、2、…、n，由下式表示在RGB坐标系统中校正颜色之前的特定颜色：

Si=(ri,gi,bi)

至于在第一信道中提取的颜色，在校正之后的颜色取为

Si₀’=(255,0,0)

至于不在第一信道中提取的颜色，在校正之后颜色取为

Si₁’=(0,0,0)

然后，当校正量取为Mi时，下列等式(1)有效：

Mi=Si’-Si

=S’(Si)-Si

=M(Si)…(1)

将等式(1)作为边界条件，通过离特定点Si的距离解出下列功能等式(2)，来确定对于任一颜色S=(r,g,b)的校正S’=(a,0,0)[a=0至255]后的颜色。

M(s)=f(｜S-Si｜,…｜S-Sn｜)…(2)

可以通过多种方法解出等式(2)。例如，在任一颜色和所提取的颜色之间的最小距离取为

Si₀=min(｜Si₀’-S｜)

而在任一颜色和不被提取的颜色之间的最小距离取为

Si₁=min(｜Si₁’-S｜)

然后，可以获得由下列等式(3)所示的校正S’=(A,0,0)之后的颜色。注意，A=0至255。

A=(255×Si)/(Si₀-Si₁)…(3)

虽然，上述等式(3)通过线性插入解出等式(2)，也可以用非线性插入来解出等式(2)。

接着，操作者指定第二信道作为输出信道，并指定取出颜色，而且不在第二信道中输出(步骤S4和S5)。在这种情况下，操作者用鼠标器等指定在所选代表图象(图5)中的脸部部分“d”是在第二信道中取出的颜色。操作者还用鼠标器等指定脸部以外的其它部位作为不在第二信道中输出的颜色。作为响应，颜色变化表生成装置13在第二信道颜色变化表131(见图6)中的相应颜色空间区域中设置最大值“255”和最小值“0”。接着，颜色变化表生成装置13确定在此时指定的输出信道是第二信道(步骤S8)，并在步骤S4中指定的颜色和在步骤S5中指定的颜色之间进行给定的插入操作，以计算不在步骤S4和S5中指定的颜色的变换值，并在第二信道颜色变化表131中的相应颜色空间区域中，设定计算所得的相应变换值(步骤S9)。

接着，操作者指定第三信道作为输出信道，并指定要取出且不在第三信道中输出的颜色(步骤S4和S5)。在这种情况下，操作者运用鼠标器等指定在代表图象(图5)中的衣服中的部分“c”和“e”作为在第三信道中取出的颜色。操作者通过运用鼠标器等，还指定除了衣服之外的其它部分(例如，背景部分)作为不在第三信道中输出的颜色。作为响应，颜色变化表生成装置13在第三信道颜色变化表131(见图6)中的相应颜色空间区域中，设定最大值“255”和最小值“0”。接着，颜色变化表生成装置13确定此时指定的输出信道是第三信道(步骤S8)，并在步骤S4中指定的颜色和在步骤S5中指定的颜色之间执行给定的插入操作，以计算不在步骤S4和S5中指定的颜色的变换值，并在第三信道颜色变化表131中的相应颜色空间区域中设定计算值(步骤S10)。

最后，颜色变化表生成装置13设定表设置标志(步骤S11)，并结束设定颜色变换表131的处理过程。

接着，特征图象提取装置3通过运用由颜色变化表生成装置13生成三张颜色变化表131，变换包括在从图象存储装置2中读取的立体图象数据中的画面元素。然后，特征图象提取装置3只输出等于或大于预定阈值的变换值的元素。于是，以在第一至第三信道中分解的形式，输出当前用户的身体特征的立体特征图象(见图7a至7c)(步骤S12)。图7a示出在第一信道中输出的特征图象，它包括与头发相对应的斑点71、与眉毛相对应的斑点72和73和与眼睛相对应的斑点74和75，作为斑点(被看作一块图象的图象)。图7b示出在第二信道中输出的特征图象，它包括与脸部相对应的斑点76和与手相对应的斑点77和78。图7c示出在第三信道中输出的特征图象，它包括与身体的所有区域相对应的斑点79。

接着，空间位置计算装置4获得包括在如图7(a)、(b)、(c)所示的第一至第三信道中的在特征图象中的斑点的重力位置的图象上(on-image)中心(步骤13)。参考图8，描述用于获得与右手相对应的斑点的重力位置的中心的方法。首先，获得在目的斑点的周围矩分别取(X_st,Y_st),(X_end,Y_end)为周围矩形的对角线顶点α和β形的坐标。坐标的原点取为如图7a至7c所示的图象的左上角。现在，当在图8中的图象上的斑点的重力G的中心坐标为(X_q,Y_q)，然后分别由下式(4)和(5)获得X_q和Y_q:

X_g=(X_st+Y_end)/2…………(4)

Y_g=(Y_st+Y_end)/2…………(5)

用相同的方法获得其他斑点的重力位置的中心。

接着，空间位置计算装置4计算在第一至第三信道中的各个斑点的三维空间位置(步骤14)。现在，在右左两侧的一对相应斑点中，把由在摄影设备1中的右摄像机感觉的斑点的重力位置的中心取为G_R=(X_gR,Y_gR)，而把由左摄像机感觉的斑点重力位置的中心取为G_L=(X_gL,Y_gL)，然后，空间位置计算装置4通过运用下列等式(6)至(8)，计算该斑点的三维空间位置(X_w,Y_w,Z_w):

X_w={X_gL+X_gR)/2}x{d/(X_gL-X_gR)}………(6)

Y_w={d/(X_gL-X_gR)}xY_gL…………(7)

Z_w=fx{d/(X_gL-X_gR)}………(8)

在等式(6)至(8)中“d”表示在右左摄像机之间的位置，而“f”表示焦距。如从等式(6)至(8)可见，空间位置计算装置4通过利用从特征图象提取装置3输出的特征图象的视差，计算斑点的三维空间位置。空间位置计算装置4把在步骤S14中计算的斑点的三维空间位置记录在如图9所示的三维空间位置表中。

虽然是在假设水平放置右左摄像机的情况下，描述计算方法，但是可以把右左摄像机放置在任一位置上。根据在右左摄像机之间的位置关系，可以更改等式(6)至(8)。

接着，区域划分装置5从如图7c所示的第三信道的特征图象中提取如图10所示的身体轮廓。接着，区域划分装置5根据所提取的轮廓检测表示身体特征的代表线(步骤S16)。在图11中，线HUL是与X轴平行的线并接触到人的轮廓的最上端，它表示身体的头顶。线FRL和线FLL是与Y轴平行的线并接触到身体轮廓的上部分(上部1/3处)的右左两端，它们表示脸部的右、左端。把线FRL的垂直延伸部分与轮廓相交的点取为frlp(Xf,Yf)。把当从左端开始搜索图象所找到的第一交叉点取为tempp(Xt,Yt)。从点frlp到点tempp搜索轮廓时找到的具有最大曲率的点是点shp，它表示右肩。线SUL与X轴平行，而且通过点shp。线SHRL与Y轴平行，并通过点shp。线MCL与Y轴平行，并位于线FRL和线FLL之间的中点，它表示身体的中心轴。线SHLL和线SHRL对称于线MCL。线ERL和线MCL对称于SHRL。线ZLL和线ERL对称于线MCL。线NEL与X轴平行，并位于线SUL和线HUL之间的3/4位置上。线BML与X轴平行，并位于线SUL和图象的底部之间的中点位置上。

接着，区域划分装置5获得各个代表线的交点0至21(见图12)，把由右摄像机和左摄像机感觉的图象中带有相同交点数的点认为是相应的右左点，与空间位置计算装置4相类似，区域划分装置5通过利用视差计算关于交点0至21的三维空间位置(步骤S17)。例如，对于交点第0号，当把通过右摄像机感觉的图象上的坐标值取为(X_R0,Y_R0)，而把通过左摄像机感觉的图象上的坐标值取为(X₁₀,Y₁₀)时，区域划分装置5把那些坐标值代入上述等式(6)至(8)，以计算它的三维空间位置。对于其他交点，用相同的方法计算三维空间位置。接着，区域划分装置5根据在步骤S17中计算所得的结果，定义用于如图13所示第一维的空间区域代码(0至24)。区域划分装置5把在人的前面的线MCL和线SHRL之间的距离的第一维空间延伸的区域定义为(25-49)，并把在更前面的区域定义为第三维空间区域代码(50-74)。图14从外观上示出由区域划分装置5定义的第一至第三维之间的位置关系。接着，区域划分装置5把定义空间区域代码和用于限定它们的交点的三维坐标值存储在空间区域代码表(未图示)中(步骤S18)。于是，可与用户的身体部分相对应划分区域(脸、颈、胸、腹、脸颊等)，同时空间区域代码表示与用户的身体部分相对应的部分。

更理想的是，区域划分装置5可以接收来自空间位置计算装置4的与头发和眼睛相对应的斑点的三维空间位置。然后，它根据头发和眼睛之间的位置关系，估计构成脸的其他元素(鼻子、嘴巴、耳朵等)的位置，而且根据其他元素的估计位置，把空间区域(即，与图13的与空间区域代码(11)相对应的空间区域)分成更小的部分。在这种情况下，区域划分装置5包括鼻子、嘴巴、耳朵等相对于头发和眼睛的先前记录的一般位置关系。当输入与头发和眼睛相对应的斑点的三维空间位置时，它根据在鼻子、嘴巴、耳朵等之间的先前记录的位置关系，估计鼻子、嘴巴、耳朵等在三维空间中的大约位置。然后，区域划分装置5根据鼻子、嘴巴、耳朵等在三维空间中的估计位置，把空间分成更小区域，并定义用于限定它们的空间区域代码。

区域划分装置5可以设置成以计算在某一信道(例如，第三信道)中时间上邻近的图象之间的差值，从而只有当差值等于或大于阈值时，它才建立空间区域代码(如在步骤S18中所示)。在这种情况下，由于只有当用户移动幅度大的情况下才产生空间区域代码，这就缩小了区域划分装置5的计算负荷。如图15所示，区域划分装置5可以在数值更大的维中更加粗略地定义空间区域代码，如从第一、第二至第三维，即，当它向前移动时，在用户的前头。

接着，手势检测装置6从在第二信道中获得的斑点中，指定具有与手相对应尺寸的斑点为手，并确定记录在图9的三维空间位置表中的相应斑点的三维空间位置属于在步骤S18(见图13)中建立的哪个空间区域代码。(步骤S19)把此时确定的结果记录在如图16所示的区域跃迁表中。如图16所示的区域跃迁表包含当例如进行表示“明信片”的手语手势时记录下来的数据。当把在第二信道中的某个斑点的区域取为La，把用于该区域的最小阈值取为TH_SM，把最大阈值取为TH_BG时，手势检测装置6确定满足有下列等式(9)给定的条件的斑点是手，，并确定满足有下列等式(10)给定的条件的斑点是代表其他部分的斑点：

La＞TH_SM和La＜TH_BG………(9)

La＜TH_SM和La＞TH_BG………(10)

从上面的等式(9)和(10)可见，确定如图7b所示的斑点77和78是与手相对应的斑点，然后，指定右手和左手。

接着，手势检测装置6确定与手相对应的斑点的移动是否在预定恒定时间或者更长时间内保持静止(步骤S20)。当那些斑点的移动是连续的，重复在步骤S12至S19中的操作。然后，以时间上连续的方法，把那些斑点所属的空间区域代码记录在如图16所示的区域跃迁表中。因此，通过查看区域跃迁表可以知道手是如何相对于用户的身体移动的。

另一方面，当与手相对应的斑点的移动在大于预定恒定时间内保持静止，即，当已结束与一个字相对应的手语手势，手势检测装置6分析记录在区域跃迁表(见图16)中的空间区域代码，并把手的移动分解成元素，以检测特征(步骤S21)。通过存储在图16的区域跃迁表中的空间区域代码检测下列特征。

右手的特征；

“移动代码” 右→下→左

“手势开始位置代码” 36

“手势结束位置代码” 38

“手之间的位置关系” 线相对于身体对称

“指定的特定部分” X

“手形” 第4

左手的特征；

“移动代码” 左→右下→右

“手势开始位置代码” 36

“手势结束位置代码” 13

“手之间的位置关系” 线相对于身体对称

“指定的特定部分” X

“手形” 第4

这里，“指定特定部分”示出由手在一系列移动中所表示的身体的特定部分。记号“X”示出不指定任何部分。“手形”表示接近于多个预定手形模式中的那个手形。图17a和17b示出预定手形的例子。图17a示出与“υ”(它是音标发音为[hi])相对应的第4号手形。图17b示出与“τ”(它是音标发音为[te])相对应的第2号手形。

现在，参照如图18所示的流程图和如图19a至19c所示的手的移动轨迹，更加详细描述在步骤S21中执行的检测移动代码的操作。

如图19a所示把手势的起始点取为ST(xs,ys,zs)，而把手势的结束点取为END(xe,ye,ze)。手势检测装置6首先获得把起始点ST和结束点END连接起来的直线L1(步骤S101)。接着，手势检测装置6获得从各个采样点n1至n9到直线L1的垂直线，并获得垂直线的长度d1至d9(步骤S102)。参照如图20所示的广义模型，通过下列等式(11)可以获得从任一采样点n到直线L的垂直线d的长度。注意，由下列等式(12)给出在等式(11)中的变量“t”。

d = \sqrt{{{(xe - xs)}^{*} t + xs - xn}^{2} + {{(ye - ys)}^{*} t + ys - yn}^{2} + {{(ze - zs)}^{*} t + zs - zn}^{2}}

…(11)

t = \frac{(xe - xs) (xs - xn) + (ye - ys) (ys - yn) + (ze - zs) (zs - zn)}{{(xe - xs)}^{2} + {(ye - ys)}^{2} + {(ze - zs)}^{2}} - - - (12)

因此，在步骤S102中，通过运用上述等式(11)可以获得从各个采样点n1至n9到直线L1的垂直线长度。

接着，手势检测装置6把具有最长的垂直线的采样点作为控制候选点(步骤S103)。在这种情况下，把具有到直线L1的最大距离d3的采样点n3看作控制候选点。接着，手势检测装置6确定最大距离d3是否不小于预定阈值THC(步骤S104)。当最大距离d3等于或大于预定阈值THC，手势检测装置6把该点n3定义为控制点(步骤S105)。在这种情况下，最大距离d3等于或大于阈值THC，因此把采样点n3定义为控制点c1。

接着，手势检测装置6检测在起始点ST和结束点END之间的一个新的控制点(步骤S106)。重复执行检测新控制点的操作，直至在起始点ST和结束点END之间不再检测到任何新的控制点(步骤S107)。

更具体地说，如图19b所示，手势检测装置获得把起始点ST和控制点c1线路相连的直线L2以及把控制点c1和结束点END相连的直线L3，然后通过运用上面等式(11)，计算直线L2和存在于起始点ST和控制点c1之间的各个采样点n1和n2之间的距离，以及直线L3和存在于控制点c1和结束点END之间的各个采样点n4至n9之间的距离。在起始点ST和控制点c1之间，采样点n2具有到直线L2的最大距离d2，而且把它看作是控制候选点。然而，由于该距离d2小于阈值THC，所以不把采样点n2定义为控制点。因此，在起始点ST和控制点c1之间不存在任何控制点。在控制点c1和结束点END之间，采样点n8具有到直线L3的最大距离d8，而且把它看作是控制候选点。由于该距离d8等于或大于阈值THC，所以把采样点n8定义为控制点c2。

接着，如图19c所示，手势检测装置6获得把控制点c1和控制点c2相连的直线L4，并通过运用上述等式(11)计算存在于它们之间的直线L4和各个采样点n4至n7之间的距离。此时，把具有最大距离d7的采样点n7作为控制候选点。然而，由于距离d7短于阈值THC，所以不把采样点n4定义为控制点。因此，在控制点c1和控制点c2之间不存在任何控制点。于是，如图19c所示，手势检测装置6获得连接控制点c2和结束点END的直线L5，并通过运用等式(11)计算存在于它们之间的在直线L5和采样点n9之间的距离d9。此时，由于距离d9短于阈值THC，所以把采样点n9作为控制候选点而非控制点。因此，在控制点c2和结束点END之间不存在任何控制点。即，在手从起始点ST到结束点END的移动中，有两个控制点c1和c2。

接着，手势检测装置6通过运用起始点、控制点和结束点建立移动代码(步骤S108)。即，在如图19a至19c所述的手的轨迹情况下，可以把它分解成ST→c1,c1→c2,c2→END的移动。参照如图21所示的移动代码表(存储在手势检测装置6中),ST→c1与[1．右]相对应、c1→c2与[4．下]相对应、c2→END与[2．左]相对应。因此，在这种情况下，移动代码是“右→下→左”。

接着，种类检测装置8确定在步骤S19中由手势检测装置6检测的手语手势的特征属于记录在种类字典10中的哪一类(步骤S22)。种类是这样的组，每个组都包含带有类似移动的多个手语手势。把作为由该装置识别的对象的多个手语手势先分成多个种类。种类字典10包含预先记录的各个种类中的手势特征。在该实施例中，例如，假设种类字典10包含在种类1至7中的特征。种类1包括这样的手势，起先双手靠拢，然后在右左两侧对称移动。种类2包括这样的手势，双手独立移动，同时保持一定或更大的间隔。种类3包括这样的手势，手接触在一起相同移动或者手重叠相同移动。种类4包括这样的手势，一只手保持静止，而另一只手在离静止的手的给定区域内移动。种类5包括这样的手势，一只手保持静止，而另一只手从等于或者大于给定区域的间隔开始移近并与静止的手接触。种类6包括由双手进行的除上述手势之外的其它手势。种类7包括只由一只手进行的手势。

当分析记录图16的在区域跃迁表中的空间区域代码的变化和三维坐标位置时，可见双手首先是接触的，然后在右左两侧几乎相对于与身体垂直的中心线对称移动，最后重新靠拢。该移动与记录在种类字典10中的种类1的特征一致。

字典11包括对于在各个种类中手语字的移动的更详细特征。图22a至22c示出属于种类1的手语字的例子。虽然满足上述条件的手语字不仅包括如图22a至22c所示的那些，而且还包括其它字，但是这里为了简化假设满足类似条件(即，“明信片”、“所有”和“几乎”)的手语字属于种类1。如图23所示，字典11包括示出用于属于种类1的三个手语字的移动的特征的信息。即，字典11记录信息，诸如，“移动代码”、“手势起始位置代码”、“手势结束位置代码”、“指定特定部分”、“手之间的位置关系”、“手形”等。

字识别装置9从字典11读取属于由种类检测装置8检测的种类的手语字的移动的特征信息(步骤S23)。接着，字识别装置9把在步骤S21中检测的手语手势的特征与关于在步骤S23中读取的手语字的特征信息相比较，以计算每个手语字的一致性的程度(步骤S24)。

此时，对于如图24所示的“手势起始位置代码”和“手势结束位置代码”，如果在步骤S19中检测到的空间位置代码和记录在字典11中的空间区域代码完全一致，那么类似程度为100％。当它们在三维上都很接近，根据接近程度给予类似程度。例如，如图16所示，当对于在步骤S19中检测到的左手的手势结束位置代码是“13”，对于如图23所示的“明信片”的左手的手势结束位置代码是“38”。在这种情况下，如图24所示，相对于空间位置代码“38”，空间位置代码“13”的类似程度是89％。注意，示出如图24所示的类似程度只作为例子，而可以对其进行任意改变。向没有在图24中示出的空间位置代码(即，与空间位置代码“38”空间分开的空间位置代码)提供较低的类似程度(例如，类似程度为20％)。

对于“移动代码”，当把记录在字典11中的移动代码取为参考移动代码，把与四边形锥体(由参考移动代码作为中心轴围绕形成的)的脊(平面在四边形锥体的侧面上相交形成的线)相对应的四个移动代码作为对于该参考移动代码的附近代码。把给定的类似程度(例如，类似程度为90％)分配给这四个附近代码。把较低的类似程度(例如，类似程度为20％)分配给其它移动代码。图25示出存储对于参考移动代码的附近代码表的移动附近代码表的部分。图26外观上示出对于指向下方的参考移动代码(由实现表示)的四个附近代码(由虚线表示)。字识别装置9参考如图25所示的附近代码表以确定实际检测到的移动代码是否是记录在字典11中的参考移动代码的附近代码。

当空间区域代码如图16所示改变时，把由手势检测装置6在步骤S18中进行的分析结果与记录在字典11中的手语字“明信片”的特征相比较，以显示与除了“左手的手势结束位置代码是13”之外的与其它手语字“明信片”的特征相一致的所有特征，并示出左手的第二“移动代码”是“右下”。因此，在这种情况下的类似程度是80.1％(=89％×90％)。该类似程度高于属于种类1的其它手语字“所有”和“几乎”的类似程度。因此，字识别装置9确定经检测的手语手势与“明信片”相对应(步骤S25)。当其它手语字的类似程度更高时，它指定带有最高类似程度的手语字为识别结果。

接着，输出装置12在话音、字母、图象中或者在它们的任一组合中输出，由字识别装置9指定的手语字“明信片”(步骤S26)。这使得操作者能够知道识别的结果。

接着，特征图象提取装置3确定它是否已接收到来自操作者的结束识别操作的指令(步骤S27)。没有接收指令的情况下，它再执行步骤S12中的操作。然后，重复在步骤S13至S26的操作。如果它接收到来自操作者的结束指令，颜色变化表生成装置13使表设置标志复位(步骤S28)。然后，如图1所示的手语识别装置结束操作。

虽然在上述第一实施例中的字识别装置9输出具有最高一致程度的手语字作为识别结果，也可以将它设置成输出等于或高于预定阈值的类似程度的一个或多个手语字作为识别结果。

(第二实施例)

虽然在上述第一较佳实施例中，唯一检测手势的移动代码，但是下面描述另一个实施例作为第二实施例，其中分层检测移动代码，而且根据分层检测的移动代码，分层识别手语字。

图27是示出根据本发明的第二实施例的手语识别装置的结构的方框图。除了下列方面，该实施例的结构和操作过程与如图1所示的第一实施例的相同，并由相同标号表示相应部分且在这里不再描述。

图28是示出在第二实施例的手势检测装置60中执行的检测移动代码操作的流程图。这里，根据如图29a和29b以及图30a至30c所示的手迹，描述由手势检测装置60执行的移动代码检测操作，作为例子。

首先，手势检测装置60根据低分辨率阈值THC1检测移动代码(步骤S201)。此时，手势检测装置60通过运用如图18所示的算法，检测移动代码。即，手势检测装置60获得如图29所示的连接起始点ST和结束点END的直线L1，然后，通过运用上述等式(11)，计算直线L1和各个采样点n1至n4之间的距离d1至d4。这里，把具有到直线L1的最大距离d3的采样点n3作为控制候选点。接着，手势检测装置60比较最大距离d3和低分辨率阈值THC1。在这种情况下，由于低分辨率THC1高于最大距离d3，所以不把采样点n3定义为控制点。因此，如图29b所示，在运用低分辨率阈值THC1时，不存在任何控制点。

接着，手势检测装置60通过运用低分辨率THC1检测到的如图29b所示的手迹将其表示为ST→END，并根据如图21所示的移动代码表把移动代码定义为“下”。

接着，手势检测装置60根据高分辨率THC2检测移动代码(步骤S202)。此时，手势检测装置60通过运用如图18所示的算法检测移动代码。选择的高分辨率阈值THC2的值小于低分辨率THC1的值。即，手势检测装置60获得连接起始点ST和结束点END的直线L1(如图30a所示)，而且通过运用等式(11)，计算在直线L1和各个采样点n1至n4之间的距离d1至d4。此时，最大距离d3大于阈值THC2的距离，因此检测采样点n3作为控制点c1。类似地，如图30b所示，手势检测装置60在起始点ST和控制点c1之间，然后在控制点c1和结束点END之间检测新控制点。这里，如图30c所示，在起始点ST和控制点c1之间检测新控制点c2。因此，当运用高分辨率阈值THC2时，存在两个控制点c1和c2。

接着，手势检测装置60把通过运用高分辨率THC检测到的如图30c所示的手迹表示为ST→c2,c2→c1,c1→END，而且根据如图21所示的移动代码表把移动代码定义为“右下→左下→右下”。

接着，种类检测装置80通过运用用低分辨率阈值THC1检测到的移动代码“下”选择相应的种类。这里，选择在图31中的“写”和“刷新(refresh)”作为识别对象的候选者。

接着，字识别装置90通过运用用高分辨率阈值THC2检测到的移动代码“右下→左下→右下”选择相应字。这里，选择在图31中的“写”手势字。

通过这种方法，运用对移动检测具有的不同分辨率的多个阈值，可以首先缩小具有大移动的物体，然后指定具有详细移动的手势。

只要关系式THC1＞THC2保持，就可以任意选择低分辨率阈值THC1和高分辨率阈值THC2。可以运用三个或多个阈值。

(第三实施例)

图32是示出根据本发明的第三实施例的手语识别装置的结构的方框图。在图32中，该实施例的手语识别装置还具有在摄影设备1和图象存储装置2之间的手势开始通知装置14。在其它方面该结构与如图1手势的第一实施例的相同，而且由相同标号表示相应部分，这里不再描述。这个所示开始通知装置14通常选通从摄影设备1输出的图象帧来禁止向图象存储装置2提供图象帧。当操作者发出开始识别操作的指令，手势开始通知装置14就通过光、话音、图象等，通知用户何时开始识别操作。这允许用户适当地开始手语手势。响应于来自操作者的开始指令，手势开始通知装置14向图象存储装置2提供从摄影设备1输出的图象帧。然后在图象存储装置2中积累图象帧，并且开始识别手语手势的处理。

以功能块方框图的形式描述实施例。然而，如图33所示，可由软件控制运用计算机装置来实现实施例。在图33中，该计算机装置包括摄影设备1、图象存储装置2、CPU21、RAM22、程序存储装置23、输入装置24和显示装置25。程序存储装置23包括用于实现如图2和3中的流程图所示的操作的程序数据。CPU21根据程序数据执行如图2和3所示的操作。RAM22存储在由CPU21进行处理期间生成的工作数据。输入装置24包括键盘、鼠标器等，它响应于操作者的操作，把各种指令和数据输入到CPU21。摄影设备1和图象存储装置2具有与如图1所示的摄影设备1和图象存储装置2相同的结构。

这里，把程序数据存储到程序存储装置23中的方法包括各种方法。在第一种方法中，从包含程序数据的存储媒体(软盘、CD-ROM、DVD等)中读取程序数据，并把它存储在程序存储装置23中。在第二种方法中，接收由联机通讯转递的程序数据，并把它存储在程序存储装置23中。在第三种方法中，在转运装置之前，预先把程序数据存储在程序存储装置23中。

虽然构成上述所有实施例都设置成用于识别手语，本发明还可以应用在不同的方法下，不仅能识别手语，而且还用于识别任何有意义的手势。

虽然详细描述了本发明，但是上述描述在所有方面上只用于说明而非限制。可以理解，在不偏离本发明范围的情况下，设计多种其它变更和变化。

Claims

1．一种用于识别由用户进行的手势的手势识别装置，其特征在于，包括：

至少具有用于拍下用户的立体照的两台摄像机的摄影装置；

用于在任意采样间隔内，存储从所述摄影装置输出的用户的立体图象数据的图象存储装置；

特征图象提取装置，用于从所述图象存储装置依次提取立体图象数据、从每个立体图象数据提取显示用户身体特征的特征图象并在多个信道中分解和输出特征图象；

空间位置计算装置，用于根据从所述特征图象提取装置输出的特征图象的视差检测用户的身体部分的三维空间位置；

区域划分装置，用于根据从所述特征图象提取装置输出的所述特征图象的所述视差，把围绕用户的空间分成与用户的身体相关的多个区域；

手势检测装置，用于检测在由所述空间位置计算装置计算的身体部分的三维空间位置上的与用户的手相对应的三维空间位置如何相对于由所述区域划分装置划分的区域进行移动；

手势字确定装置，用于根据由所述手势检测装置检测的手的移动，确定相应的手势字；和

输出装置，用于以可由操作者识别的形式输出由所述手势字确定装置确定的结果。

2．如权利要求1所述的手势识别装置，其特征在于，所述特征图象提取装置根据形成所述立体特征数据的各个画面元素的颜色信息，在相应的信道中，输出所述特征图象。

3．如权利要求2所述的手势识别装置，其特征在于，所述特征图象提取装置根据被提取的颜色和由操作者指定的没有被输出的颜色，对于每个所述信道设定颜色变换表，

根据所述颜色变化表，变化形成所述立体图象数据的各个画面元素的颜色信息；和

把根据所述颜色变化表变换的值与预定阈值区别开来，以在相应信道中输出所述特征图象。

4．如权利要求1所述的手势识别装置，其特征在于，所述区域划分装置根据由所述空间位置计算装置计算的身体部分的三维空间位置估计没有出现在所述特征图象中的身体部分的位置，并根据估计位置把围绕用户的空间分成更小的区域。

5．如权利要求1所述的手势识别装置，其特征在于，所述区域划分装置计算在时间上邻近的所述特征图象之间的差值，并只有当差值等于或大于预定阈值时，才执行划分区域的处理。

6．如权利要求1所述的手势识别装置，其特征在于，所述区域划分装置把在用户身体前和后延伸的空间分成多个层，还把每个层分成多个区域。

7．如权利要求6所述的手势识别装置，其特征在于，所述区域划分装置把所述层分成不同编号的区域。

8．如权利要求7所的手势识别装置，其特征在于，所述区域划分装置把层分成当它向下时数量递减的区域，从用户的身体角度看，从最后层到前层。

9．如权利要求1所述的手势识别装置，其特征在于，预先把作为识别对象的多个手势字分成多个种类，

而且所述手势字确定装置包括：

种类字典，其中对于每个所述种类，预先记录为属于各个种类的手势字共有的移动特征，

字典，其中对于每个所述种类，存储各个手势字的移动的更加详细特征，

种类检测装置，用于检测由所述手势检测装置检测到的手的移动属于所述种类字典中的哪个种类，和

字识别装置，用于识别由所述手势检测装置检测到的手的移动与属于由所述种类检测装置检测到的种类的哪个手势字相对应。

10．如权利要求9所述的手势识别装置，其特征在于，所述字识别装置输出在属于由所述种类检测装置检测到的种类的手势字中，相对于由所述手势检测装置检测到的手的移动具有最高类似程度的一个手势字，作为识别结果。

11．如权利要求9所述的手势识别装置，其特征在于，所述字识别装置输出在属于由所述种类检测装置检测到的种类的手势字中，相对于由所述手势检测装置检测到的手的移动具有等于或高于给定阈值的一个或多个手势字，作为识别结果。

12．如权利要求1所述的手势识别装置，其特征在于，还包括用于通知用户何时开始手势的手势开始通知装置。

13．如权利要求1所述的手势识别装置，其特征在于，所述手势检测装置从显示移动的起始点和结束点之间检测到的三维空间位置的采样点中，提取移动方向大幅变化的采样点作为控制点，并通过运用起始点、结束点和控制点表示用户的手移动。

14．如权利要求13所述的手势识别装置，其特征在于，所述手势检测装置检测，

在所述起始点和所述结束点之间的采样点，它具有到连接所述起始点和所述结束点的直线的等于或大于预定阈值的最大距离，

在所述起始点和邻近控制点之间的采样点，它具有到连接所述起始点和所述邻近控制点的直线的等于或大于预定阈值的最大距离，

在所述结束点和邻近控制点之间的采样点，它具有到连接所述结束点和所述邻近控制点的直线的等于或大于预定阈值的最大距离，

在两个邻近控制点之间的采样点，它具有到连接这两个控制点的直线的等于或大于预定阈值的最大距离，和

把这些检测采样点定义为所述控制点。

15．如权利要求14所述的手势识别装置，其特征在于，所述手势检测装置通过运用多个阈值分层检测所述控制点，以分层表示用户的手移动，和

所述手势字确定装置根据由所述手势检测装置分层表示的用户的手移动，分层指定相应的手势字。