CN1692373B - 图像识别系统图像识别方法 - Google Patents

Abstract

在图像描述系统中，特征量提取部从图像序列的各帧提取布局特征量。代表特征量计算部，从由特征量提取部提取的布局特征量组，计算出代表图像序列的布局特征量。

Description

图像识别系统图像识别方法

技术领域

本发明涉及图像系统以及图像识别系统。

背景技术

以往，图像序列描述系统，以描述用于检索相似的图像序列(图像所包括的帧的集合)的特征量为目的而采用。采用图像序列描述系统的第1现有例的图像序列检索系统，由A.Mufit Ferman et al.在“GROUP-OF-FRAME/PICTURE COLOR HISTOGRAM DESCRIPTORS FORMULTIMEDIT APPLICATION”(ICIP2000)中记载。图1表示该第1现有例中所述的图像序列检索系统。

参照图1，图像序列检索系统备有：直方图生成部11、代表直方图生成部12、描述文件生成部13、代表直方图存储部14、直方图生成部15、代表直方图生成部16、相似性计算部17、相似性分类部18和相似图像显示部19。

直方图生成部11从登记在数据库中的对象图像序列的各帧提取彩色直方图。代表直方图生成部12，计算由直方图生成部11提取的所有帧相关的彩色直方图的各分量的平均值。描述文件生成部13根据规定的格式描述计算出的平均值，并存储到代表直方图存储部14中。

直方图生成部15从作为查询图像供给的图像序列的各帧中提取彩色直方图。代表直方图生成部16计算由直方图生成部15提取的所有帧的彩色直方图的各分量的平均值，以作为代表直方图。相似性计算部17分别计算由代表直方图生成部16生成的代表直方图与存储在代表直方图存储部14中的各代表直方图的相似性。相似性分类部18按照相似性的高顺序重新排列所登记的图像。相似图像显示部19按照相似性高的顺序显示图像。

另一典型的图像识别系统(第2现有例)在特开2000-259832号公报中被公开。图2表示该第2现有例的图像序列检索系统。参照图2，图像序列识别系统备有：特征量提取帧选择部21、颜色布局组生成部22、描述文件生成部23、颜色布局组存储部24、特征量提取帧选择部25、颜色布局组生成部26和图像识别部27。

特征量提取帧选择部21，从登记在数据库中的对象图像序列选择提取特征量的对象帧组。颜色布局组生成部22，分别从所选择的各帧提取表示图像的颜色布局特征的特征量。描述文件生成部23，根据规定的格式描述计算出的特征量，并存储在颜色布局组存储部24中。

特征量提取帧选择部25，从作为查询图像提供的图像序列中选择提取特征量的对象帧组。颜色布局组生成部26，分别从所选择的帧提取表示图像的颜色布局特征的特征量。图像识别部27，通过在每一帧将由颜色布局组生成部26生成的颜色布局组和存储在代表颜色布局组24中的颜色布局组顺次进行比较，判断查询图像序列与存储在颜色布局组存储部中的图像序列的哪一个相同，或者任何一个都不相同，并作为识别结果输出。

然而，在上述的现有系统中，存在如下的问题。

在第1现有例的系统中，由于只比较了一个代表图像序列的彩色直方图，故通过减少比较次数，从而可以实现高速检索处理。但是，在识别图像序列时得不到充分的效果。另外，由于彩色直方图没有考虑布局结构，所以也会误检索出具有相同颜色但图形不同的图像。

另外，在第2现有例中，由于以帧为单位来比较特征量，故可得到良好的识别效果。但是，由于以帧为单位来比较特征量，故对照次数增多，处理成本增大。

与上述说明相关，在特开平7-79206号公报中，公开了CM自动识别系统。该现有例的CM自动识别装置备有：每个TV广播区域所具备的CM提取装置和介由通信路径与多个CM提取装置能通信地连接的CM识别装置。CM提取装置备有多个CM扫描仪和CM提取控制装置。将多个CM扫描仪中的每一个备于每个规定的TV广播区域内的CM识别对象电台中，接收对应电台的广播后检测CM声音数据。CM提取控制装置将包含由多个CM扫描仪检测到的CM声音数据、广播CM的电台名、广播CM的时刻以及CM的广播秒数的CM数据，介由通信路径发送到CM装置中。CM识别装置备有CM基准数据存储部、CM描述文件和比较部。CM基准数据存储部与各TV广播区域相对应地设置。在CM基准数据存储部中，按照每个CM识别对象电台登记有具有包含广播预定的CM的比较用声音数据以及广播预定CM的识别代码的附加数据的CM基准数据。将CM描述文件设置在各TV广播区域的每个CM识别对象电台中。比较部将从各YV广播区域的CM提取装置接收的CM数据中的CM声音数据，与存储在对应的TV广播区域用的CM基准数据存储部中的对应电台的CM基准数据中的比较用声音数据进行比较，通过使其一致，从而将该CM基准数据中的附加数据以及该CM数据中的CM广播时刻数据存储在对应的CM描述文件中。

另外，高速信号探索装置在特开2001-92486中被公开。在该现有例中，从输入信号检索与预先登记的参照信号相似的部分。从参照信号导入参照特征量系列。从输入信号导入输入特征量系列，相对该输入特征量系列设置观测窗。计算参照特征量系列和观测窗内的输入特征量系列的相似性，根据计算出的相似性，计算观测窗的步幅，使观测窗只移动该步幅。在已移动的观测窗位置，根据已得到的相似性，判断是否需要将上述的已移动的观测窗向时间的反方向返回。反复进行相似性计算过程、步幅计算过程以及退回必要性判断过程，对输入信号的多个位置计算与参照信号的相似性，将该相似性与预先设定的目标相似性进行比较，决定参照信号是否存在于输入信号的该位置中。

此外，图像结构化装置在特开2001-101205中被公开。该现有例的图像结构化装置包括图像记录装置、抽取图像的特征量的图像特征量抽取装置和将已抽取的特征量和数字图像一起存储的结构记录介质。已记录的图像，由插入镜头(cut shot)变化点描述装置分割为段，由代表帧抽取装置、照相机信息存储装置、环境信息存储装置取得的信息通过信息附加装置附加并管理。

另外，CM调查装置在特开2001-359125中被公开。该现有例的CM调查装置设置在家庭中，并将该家庭所视听的广告相关数据作为CM调查用数据向CM调查中心发送。CM调查装置备有：接收部，其接收采用特定算法将各广播电台的广播输出数据中的调查对象广告图像部分的数据量缩小的CM缩小数据；和存储该已接收的CM缩小数据的接收数据存储部。输出数据存储是记录采用特定算法将在广播接收机中实际视听的广播输出数据的数据量缩小的输出缩小数据，将输出缩小数据和CM缩小数据进行比较，以决定视听广告。将该决定向CM调查中心发送。

此外，图像检索装置在特开2002-117037中被公开。该现有例的图像检索装置，从检索对象动态图像中检索与规定的查询图像相似的图像。在该图像检索装置中，帧特征量提取部将包含在检索对象动态图像中的至少一部分帧的特征量提取，以作为帧特征量输出。帧特征量存储部，存储从帧特征量提取部输出的帧特征量。图像特征量提取部，提取查询图像的特征量，并作为图像特征量输出。相似性计算部，将存储在帧特征量存储部中的帧特征量和从图像特征量提取部输出的图像特征量进行比较，计算两者的相似性。帧特征量综合部，将存储在帧特征量存储部中的帧特征量中、相似性满足预先给定条件的帧特征量综合到至少一个组中。相似图像选择部，在帧特征量综合部中综合完的组内选择至少一个相似性最高的帧特征量。这样，将具有由相似图像选择部选择的帧特征量的图像作为检索结果公布。

另外，动态图像内容的检索信息提取系统在特开2002-335473中被公开。在该现有例中，将动态图像内容分割为动态图像内容的各场景。图像缩略图部选择每一场景的代表静止图像画。这样，将每个场景的代表静止图像按照动态图像内容的情节展开顺序保存到动态图像检索信息数据库中。

此外，多媒体存档(archive)的描述方案在特表2002-537591中被公开。在该现有例中，数字存储子系统根据多媒体描述方案存储多媒体记录以及该记录的描述。计算机处理装置访问记录的描述，具有根据记录的描述属性，将数字存储子系统内的至少两个记录相关联的至少一个簇(cluster)，在至少一个簇中生成具有供给索引的集合体结构描述方案的存档描述。由此，在可操作状态下将计算机处理装置连接在数字存储子系统上。在可操作状态下将存档描述存储装置连接在计算机处理装置上，以便存储存档描述记录。

再有，高速信号检索方法在日本专利第3065314号中被公开。在该现有例中，针对作为预先登记的音响信号的参照信号，生成特征量系列。相对作为被输入的音响信号的输入信号，设定一定时间长度的输入信号观测窗。针对输入信号观测窗内的输入信号生成特征量系列。计算表示生成的特征量系列和生成的特征量系列的相似性的输入信号相似值，根据计算出的输入信号相似值，计算表示可以移动输入信号观测窗量的移动可能量。根据计算出的移动可能量，决定输入信号观测窗的位置，并将该输入信号观测窗设置在该位置上。由此，重复上述动作，针对输入信号观测窗的各位置计算输入信号相似值，根据输入信号相似值与预先设定的阈值的比较结果，判断在输入信号上，输入信号观测窗在目前所示的位置上是否存在参照信号。

发明内容

因此，本发明的目的是提供一种通过以可以选择帧单位的对照所需的图像序列的方式进行图像序列描述，从而不会降低图像序列的识别精度而可以实现识别处理的高速化图像系统和图像描述系统。

在本发明的方案中，一种图像描述系统，其中包括：特征量提取部，其从图像序列的各帧提取布局特征量；和代表特征量计算部，其从由所述特征量提取部提取的布局特征量组，计算代表图像序列的布局特征量。

另外，在本发明的另一方案中，一种图像描述系统，其中包括：特征量提取部，其从图像序列的各帧提取布局特征量；代表特征量计算部，其从由所述特征量提取部提取的布局特征量组，计算代表图像序列的布局特征量；和代表布局特征量存储部，其存储由所述代表特征量计算部计算出的代表布局特征量。

此外，在本发明的另一方案中，一种图像描述系统，其中包括：特征量提取部，其从图像序列的各帧提取布局特征量；代表特征量计算部，其从由所述特征量提取部提取的布局特征量组，计算代表图像序列的布局特征量；代表布局特征量存储部，其存储由所述代表特征量计算部计算出的代表布局特征量；和布局特征量组存储部，其存储由所述特征量提取部计算出的布局特征量组。

根据上述，优选所述代表特征量计算部，求出由所述特征量提取部提取的布局特征量的各要素的平均值，以作为代表特征量。

另外，优选所述代表特征量计算部，对由所述特征量提取部提取的布局特征量的各要素，将其值按照升序或者降序重新排列，计算中值，以作为代表特征量。

所述布局特征量可以为颜色布局信息，也可以为边缘直方图信息。

再有，优选所述代表特征量根据描述方案进行描述，所述描述方案为：作为代表特征量，能从至少包括颜色布局以及边缘直方图的多个特征量中选择一个；作为代表特征量计算方法，能由至少包括平均值、中值、逻辑乘(intersection)的多种方法中选择一种。

还有，在本发明的另一方案中，一种能由计算机执行的图像识别软件产品，其中实现：由图像序列的各帧提取布局特征量的特征量提取功能；和从由所述特征量提取功能提取的布局特征量组，计算代表图像序列的布局特征量的代表特征量计算功能。

另外，在本发明的另一方案中，一种图像描述方法，其中包括：特征量提取步骤，其从图像序列的各帧提取布局特征量；和代表特征量计算步骤，其从由所述特征量步骤提取的布局特征量组，计算代表图像序列的布局特征量。

此外，在本发明的另一方案中，一种图像识别系统，其中包括：代表布局特征量存储部，其将代表图像序列的布局特征量作为代表布局特征量进行存储；和图像序列选择部，其将存储在代表布局特征量存储部中的查询图像序列的代表布局特征量和所登记着的图像序列的代表布局特征量进行比较，选择与查询图像序列相似的图像序列。

进而，在本发明的另一方案中，一种图像识别系统，其中包括：代表布局特征量存储部，其将代表图像序列的布局特征量作为代表布局特征量进行存储；特征量提取部，其从查询图像序列的各帧提取布局特征量；代表特征量计算部，其从由所述特征量提取部提取的布局特征量组，计算代表查询图像序列的布局特征量；和图像序列选择部，其将存储在代表布局特征量存储部中的查询图像序列的代表布局特征量和所登记着的图像序列的代表布局特征量进行比较，选择与查询图像序列相似的图像序列。

再有，在本发明的另一方案中，一种图像识别系统，其特征在于，包括：代表颜色布局特征量存储部，其存储代表包括多帧的登记图像序列的第一代表颜色布局特征量；颜色布局特征量组存储部，其存储与所述登记图像序列的各帧的颜色布局特征量；特征量提取部，其从查询图像序列的各帧提取颜色布局特征量；代表特征量计算部，其从所述查询图像序列的所述提取的颜色布局特征量，计算代表所述查询图像序列的第二代表颜色布局特征量；图像序列选择部，其将所述第二代表颜色布局特征量和所述第一代表颜色布局特征量进行比较，选择与所述查询图像序列相似的登记图像序列；和识别部，其将所述查询图像序列的所述提取的颜色布局特征量与所述选择的登记图像序列的所述颜色布局特征量进行匹配。

在上述中，优选所述第一代表颜色布局特征量是所述登记图像序列的所述颜色布局特征量的各要素的平均值，所述第二代表颜色布局特征量是所述查询图像序列的所述提取的颜色布局特征量的各要素的平均值。。

另外，优选所述第一代表颜色布局特征量是所述登记图像序列的所述颜色布局特征量的各要素的中值，所述第二代表颜色布局特征量是所述查询图像序列的所述提取的颜色布局特征量的各要素的中值。

此外，所述布局特征量可以是颜色布局信息，也可以是边缘直方图信息。

还有，优选所述代表特征量根据描述方案进行描述，该方案为：作为代表特征量，能从至少包括颜色布局以及边缘直方图的多个特征量中选择一个；作为代表特征量计算方法，能从至少包括的平均值、中值、逻辑乘的多种方法中选择一种。

再有，在本发明的另一方案中，一种能够由计算机执行的图像识别软件产品，其中实现：存储功能，其将代表图像序列的布局特征量作为代表布局特征量存储在所述计算机的存储功能中；和选择功能，其将由所述存储功能存储的查询图像序列的代表布局特征量与所登记着的图像序列的代表布局特征量进行比较，选择与查询图像序列相似的图像序列。

另外，在本发明的另一方案中，一种图像识别方法，其特征在于，包括：存储代表包括多帧的登记图像序列的第一代表颜色布局特征量；存储所述登记图像序列的各帧的颜色布局特征量；从查询图像序列的各帧中提取颜色布局特征量；从所述查询图像序列的所述提取的颜色布局特征量，计算代表所述查询图像序列的第二代表颜色布局特征量；将所述第二代表颜色布局特征量与所述第一代表颜色布局特征量进行比较，选择与所述查询图像序列相似的登记图像序列；和将所述查询图像序列的所述提取的颜色布局特征量与所述选择的登记图像序列的所述颜色布局特征量进行匹配。

进而，在本发明的另一方案中，一种描述方案，其描述图像序列的特征量，其中作为代表特征量，能从至少包括颜色布局以及边缘直方图的多个特征量中选择一个；作为代表特征量计算方法，能从至少包括平均值、中值、逻辑乘的多种方法中选择一种。

如上所述，根据本发明，对于在与代表布局特征量进行比较的时刻判断为没有是相同内容的可能性的登记图像序列，可以跳过所有需要处理成本的布局特征量组的以帧为单位的比较处理。由此，不会降低识别精度，可以大幅度减少对照处理成本。

另外，预先生成并存储图像序列的代表布局特征量，从而可以以少的成本提供用于选择具有相同内容可能性的登记图像序列的信息。

进一步，以相同的描述方案为基础描述代表布局特征量，可以在多个系统中交换布局特征量，由多个存储装置调出代表布局特征量。

附图说明

图1是表示第1现有例的系统的图。

图2是表示第2现有例的系统的图。

图3是表示本发明的第1实施例的构成的框图。

图4是表示第1实施例中平均的代表布局特征量的生成顺序的流程图。

图5是表示第1实施例中取得中值的代表布局特征量的生成顺序的流程图。

图6是表示第1实施例中的平均化的颜色布局值的一例的图。

图7是表示第1实施例中的取得中值的颜色布局值的一例的图。

图8是表示第1实施例中的描述方案的示意图。

图9是表示第1实施例的图像识别顺序的流程图。

图10是表示本发明的第2实施例的构成的框图。

图11是表示本发明的第3实施例的构成的框图。

图12是表示本发明的第4实施例的构成的框图。

图13是表示本发明的第5实施例的构成的框图。

图14是表示相对第1实施例中的各特征量而可以使用的归并(aggregation)方法的图。

图15是表示第1实施例中的二进制描述句法的图。

图16是表示第1实施例中的合并方法的二进制表现描述的一例的图。

图17是表示第1实施例中的其它的描述方案的图。

具体实施方式

下面，参照附图对本发明的图像识别系统进行详细说明。

(第1实施例)

图3是表示本发明的第1实施例的图像识别系统的构成例的框图。

如图3所示，本实施例的图像识别系统包括描述部31、存储部32和识别部33。描述部31通过从图像序列提取并生成特征量，来描述图像的信号特征。特征量存储部32存储应登记的图像的特征量。识别部33识别查询图像序列。

描述部31备有布局特征量提取部101和代表布局特征量计算部102。

布局特征量提取部101，从应登记的图像序列的各帧提取布局特征量。在彩色直方图中，难以识别与查询图像相比颜色不同但内容相同的图像。在内容相同的图像彼此之间，即使颜色不同，图像的构图也几乎没有改变。因此，为了识别图像，认为采用表现图像的大致构图的布局特征量是有效的。因此，利用布局特征量。作为布局特征量可考虑各种各样的值，采用由国际标准规格ISO/IEC 15838-3MPEG-7 VISUAL规定、表示颜色的布局结构的颜色布局描述符，或者表示边缘的布局结构的边缘直方图描述符。

代表布局特征量计算部102从由布局特征量提取部101提取的布局特征量组，计算出代表应登记的图像序列的代表布局特征量。作为计算代表布局特征量的方法可以考虑各种各样的方法，在此采用布局特征量组的平均化方法、应用中值的方法。图4、图5表示这些方法中的流程图。

图4是表示平均化的代表布局特征量的生成顺序的流程图。作为布局特征量，以亮度的6个系数、色差的每3个系数作为特征量而具有的颜色布局为例，来表示顺序。图6表示各帧的颜色布局的各要素的值。YDC表示亮度直流成分，CbDC、CrDC表示色差直流成分，YAC[n]表示第n个亮度交流成分，CbAC[n]、CrAC[n]表示第n个色差交流成分。

首先，将布局特征量的各要素的总和复位为0(步骤A1)。接着，将由布局特征量提取部101提取的帧的布局特征量按每一帧读入。对所有的帧将已读取的帧特征量的各要素的值进行加法运算(步骤A2～A4)。例如，如果注意图6的表的要素YDC(亮度直流成分)，则总和为31+11+15+21+32＝110。将所有帧的布局的特征量每一个要素的总和用帧数归一化，计算平均值(步骤A5)。如果注意图6的表的要素YDC(亮度直流成分)，则平均值为110÷5＝22。将计算出的平均值的集合作为代表布局特征量(步骤A6)。在图6的表的例子中，将在平均值记录中所示的值作为代表布局特征量。

图5是表示中值的代表布局特征量的生成顺序的流程图。作为布局特征量，以亮度的6个系数、色差的每3个系数作为特征量而具有的颜色布局为例，来表示顺序。图5表示各帧的颜色布局的各要素的值。YDC表示亮度直流成分，CbDC、CrDC表示色差直流成分，YAC[n]表示第n个亮度交流成分，CbAC[n]、CrAC[n]表示第n个色差交流成分。

首先，将布局特征量的各要素的总和复位为0(步骤B1)。接着，读取由布局特征量提取部提取的所有帧的布局特征量。将读取到的所有帧的特征量的要素的值在每个要素中按照升序重新排列(步骤B2～B3)。例如，如果注意图7的表的要素YDC(亮度直流成分)，则排列的结果是32、31、21、15、11。从在所有帧的布局特征量的每个要素中按照升序重新排列的数字列取得中间值，求得中值(步骤B4)。如果注意图7的表的要素YDC(亮度直流成分)，则中值为21。将计算出的中值的集合作为代表布局特征量(步骤B5)。在图7的表的例中，将在中值记录中所示的值作为代表布局特征量。

除此之外，在将各要素按升序重新排列时，也考虑用只选择各要素的最小值来代替求中值的方法。

提取出的代表特征量，根据规定的描述方案进行描述。通过预先定义描述方案并在终端间共有，从而可以与其它的终端交换已描述的数据，并能在多个终端间协同利用。

作为描述方案，可以采用各种各样的方式。图8表示描述方案的一例。定义为：作为代表布局特征量，能选择颜色布局和边缘直方图的任意一方，作为生成代表布局特征量的方法(aggregation)，能选择平均化(Average)、中值(Median)、最小值(Intersection)中的任意一个。

另外，也可以用二进制表现来进行特征量描述，以代替将描述方案描述在数据库中。图15表示二进制表现的特征量描述的句法的一例。在由二进制表现进行描述特征量时，首先描述生成代表布局特征量的方法(aggregation)是否被规定。在描述归并时分配1，反之分配0。接着，在描述归并的情况下，描述代表布局特征量的生成方法。在平均值(Average)的情况下分配001，在中值(Median)的情况下分配010，在最小值(Intersection)的情况下分配011。然后，分配表示作为代表布局特征量而被选择的特征量的标识符。在颜色布局的情况下分配4，在边缘直方图的情况下分配8。进一步，继续二进制表现已选择的特征量的内容。作为二进制表现方法，选择由ISO/IEC15938-3定义的二进制表现方法。

图8中的描述方案以及图15中所示的二进制句法(binary syntax)中的语义(semantics)如下。

·描述符ID

该字段是用于特定代表特征量的种类的标识符。在颜色布局时分配4，在边缘直方图时分配8。其它的值被禁止。

·描述符

该字段表示采用由国际标准规格ISO/IEC15838-3规定的描述方法而生成的特征量。能应用的方法为颜色布局以及边缘直方图。

·归并标志

在该字段中表示。在分配“1”时，归并的属性如下。

·归并

在该任选字段中，从帧/图像的组指定用于生成代表特征量的归并方法。归并，对包含在帧或图像的组中的所有要素进行。可以适用以下三种中的任意一个。

·平均值

所谓平均的归并意味着将各帧/图像的特征量各要素逐一进行相加运算，通过在帧/图像数中进行归一化，而计算构成特征量的各要素。

·中值

所谓中值的归并意味着生成将各帧/图像的特征量的各要素的值按升序重新排列的序列，根据该序列取得中值，以作为代表值。

·最小值(intersection)

最小值的归并意味着通过从所有帧/图像中所包括的特征量计算各要素相关的最低值，从而取得构成代表特征量的各要素。

还有，禁止一部分的归并方法的应用。可以对各特征量应用的规定方法在图14中由“Y”符号指定。

图中表示作为归并方法，对颜色布局、边缘直方图双方可以应用平均值和中值。

在归并方法(Aggregation Type)的二进制表现描述时，应用图16的图表。具体地说，平均(平均值)时分配001，中值(Median)时分配010，最小值(Intersection)时分配011。

图17表示其它的描述方案例。作为代表特征量，不只是颜色布局或者边缘直方图，可以将由MPEG-7规定的所有图像特征量中的一个或者多个实例化。另外，所谓图片类型(Picture Type)是将静止图像特征量归拢在一起的描述方案。

此外，归并方法不一定是已规定的方法，也可以选择未定义(unspecified)的方法。通过作为未定义而设置，从而可以规定并应用系统固有的归并方法。

这样，通过以相同的描述方案为基础来描述代表布局特征量，从而可以在多个系统中交换代表布局特征量，或由多个存储装置调出代表布局特征量。

另外，通过规定二进制表现句法，并以该句法为基础来二进制描述代表布局特征量，从而与以描述方案为基础进行描述的情况相比，可以用大幅度减少的信息量来描述特征量。

存储部32备有代表布局特征量存储部103和布局特征量组存储部104。

代表布局特征量存储部103存储由代表布局特征量计算部102计算出的代表布局特征量。另外，布局特征量组存储部存储由布局特征量提取部101提取的各帧的布局特征量。

识别部33备有布局特征量提取部105、代表布局特征量计算部106、图像序列选择部107和图像序列识别部108。

布局特征量提取部105，从输入的查询图像序列的各帧提取布局特征量。提取方法与布局特征量计算部101相同。

代表布局特征量计算部106，从由布局特征量提取部105提取的布局特征量组计算代表查询图像序列的代表布局特征量。计算方法与代表布局特征量计算部102相同。

图像序列选择部107，将由代表布局特征量计算部106生成的查询图像序列的代表布局特征量与存储在代表布局特征量存储部103中的登记图像序列的代表布局特征量进行比较，判断相似性，只选择判断为有与查询序列为相同内容的可能性的登记图像序列。

图像序列识别部108，针对由图像序列选择部107选择的登记图像序列，对由布局特征量计算部105生成的查询图像序列的布局特征量组与存储在布局特征量组存储部104中的登记图像序列的布局特征量组进行比较。通过比较来评价相似性，判断是否为与查询图像序列相同的内容，在存在相同内容的登记图像时，输出相同内容的登记图像序列的标识符。

参照图3以及图9，对图像序列识别顺序进行说明。图9是表示本实施例中的图像序列识别顺序的流程图。首先，在代表布局特征量存储部103中，预先将所有登记图像序列相关的代表布局特征量和表示图像的标识符一起存储。另外，在布局特征量存储部104中，预先将所有登记图像序列相关的布局特征量组和表示图像的标识符一起存储(步骤C1)。

由提取布局特征量提取部105以及代表布局特征量计算部106从供给的查询图像序列中，提取布局特征量以及代表布局特征量(步骤C2～C3)。

接着，图像序列选择部107，读取一个登记图像序列的代表布局特征量，将读取的代表布局特征量与查询图像序列的代表布局特征量以帧为单位进行比较(步骤C4～C5)。计算查询图像序列的代表布局特征量与读取的登记图像序列的代表布局特征量的距离，判断计算出的差值是否在规定的阈值以下(步骤C6)。在计算出的差值在规定的阈值之下时，判断为存在查询图像序列与登记图像序列为相同内容的可能性，输出相应的登记图像序列的标识符(步骤C6的是)。

图像序列识别部108读取布局特征量组(步骤C7)，该特征量组与判断为存在相同内容的可能性的图像序列的标识符相对应。将读取的布局特征量组与查询特征量组的布局特征量组进行比较(步骤C8)。作为布局特征量的时间序列数据的比较方法，例如可以采用特开2000-259832号公报(第2现有例)所述的方法，由此可以高速地进行比较。比较的结果，在判断为查询图像序列与登记图像序列是相同内容时，输出登记图像序列的标识符(步骤C9～C10)。

如上所述，在第1实施例中，设置图像序列选择部107以及图像序列识别部108，在比较完代表布局特征量的时刻，针对判断为没有相同内容的可能性的登记图像序列，可以跳过需要处理成本的布局特征量组的以帧为单位的比较处理。因此，不会降低识别精度，而可以大幅度降低对照处理成本。

另外，由代表布局特征量计算部102生成图像序列的代表布局特征量，并存储在代表布局特征量存储部104中。由此，可以用少的成本选择存在相同内容的可能性的登记图像序列。

(第2实施例)

本发明的第2实施例的图像识别系统，如图10所示，代替布局特征量提取部105以及代表布局特征量计算部106，预先提取查询图像序列的代表布局特征量以及布局特征量组，并存储在代表布局特征量存储部103以及布局特征量组存储部104中。

图像序列选择部107，将存储在代表布局特征量存储部103中的查询图像序列的代表布局特征量与登记图像序列的代表布局特征量进行比较，评判相似性，选择有与查询图像序列是相同内容的可能性的登记图像序列。

图像序列识别部108，针对由图像序列选择部107选择的登记图像序列，将存储在布局特征量组存储部104中的查询图像序列的布局特征组与登记图像序列的布局特征量组进行比较，评判相似性，判断与查询图像序列是否为相同内容，在存在相同内容的登记图像时输出登记图像序列的标识符。通过不进行特征量计算运算，从而能进行高速处理。

在第2实施例中，设置图像序列选择部107以及图像序列识别部108，在比较完代表布局特征量的时刻，对判断为没有内容相同的可能性的登记图像序列，可以跳过所有的需要处理成本的布局特征量组的比较。因此，不会降低识别精度，可以大幅度减少对照处理成本。

(第3实施例)

图11表示根据本发明的第3实施例的图像识别系统。如图11所示，第3实施例的图像识别系统备有：从图像序列提取特征量并描述图像的信号特征的描述部31；存储应登记的图像的特征量的存储部35；和用于查询图像序列的选择部36。

描述部31与第1实施例相同。

存储部35备有代表布局特征量存储部103。代表布局特征量存储部103存储由描述部31生成的代表布局特征量。

选择部36备有布局特征量提取部105、代表布局特征量计算部106和图像序列选择部107。布局特征量提取部105、代表布局特征量计算部106以及图像序列选择部107的功能与第1实施例相同。

在第3实施例中，设置图像序列选择部107，可以选择没有为相同内容的可能性的登记图像序列。另外，由代表布局特征量计算部102生成图像序列的代表布局特征量，并存储在代表布局特征量存储部104中。由此，可以以少的成本选择有相同内容的可能性的登记图像序列。

(第4实施例)

图12表示本发明的第4实施例的图像识别系统。如图12所示，代替在第3实施例中设置的布局特征量提取部105以及代表布局特征量计算部106，预先计算查询图像序列的代表布局特征量并存储在代表布局特征量存储部103中。

在第4实施例中，设置图像序列选择部107，可以选择没有为相同内容的可能性的登记图像序列。另外，由代表布局特征量计算部102生成图像序列的代表布局特征量，并存储在代表布局特征量存储部104中，可以用少的成本选择有相同内容的可能性的登记图像序列。

(第5实施例)

图13表示本发明的第5实施例的图像识别系统。如图13所示，本实施例的图像描述系统备有：通过由图像序列提取并生成特征量而描述图像的信号特征的描述部31；和存储应登记的图像的特征量的存储部35。描述部31与存储部35的作用与第3实施例相同。

在第5实施例中，由代表布局特征量计算部102生成图像序列的代表布局特征量，并存储在代表布局特征量存储部104中，可以用少的成本提供用于选择有相同内容的可能性的登记图像序列的信息。

接着对具体例进行说明。

该具体例表示采用广告(CM)的广告识别系统。在本系统中，从所接收的广播图像生成颜色布局描述符，与登记在数据库中的各CM逐一进行对照，识别广播中的CM是什么内容。将识别结果作为广播调查报告通知给用户。

首先，登记15秒的CM图像。从CM图像的各帧提取颜色布局，从提取的颜色布局组计算代表各CM图像的颜色布局。将计算出的代表颜色布局和提取出的颜色布局组预先存储在CM数据库中。

接着，进行从广播波取得的图像的颜色布局阵列与预先登记的各CM的颜色布局阵列的对照。从广播图像将包含在15秒内的帧作为查询图像序列逐一输入。从查询图像序列提取颜色布局，从提取出的颜色布局组生成代表颜色布局。

通过代表颜色布局的比较，选择有与作为查询图像序列的目前正广播的图像为相同内容的可能性的CM。

然后，将已选择的CM与包含在查询图像序列内的所有帧的颜色布局进行比较。根据与所有的已选择的CM的距离计算的检索结果，在与判断为最相似的CM的特征量距离在预定的阈值以下时，判断广播中的图像场景为该CM。为了实时检测，要求在输入图像的采样间隔以内结束检索处理。识别结果作为广播调查报告通知给用户。

还有，在本实施例中，进行包括代表颜色布局的比较工序的情况，以及不包括代表颜色布局的比较工序的所有CM，对照了查询图像序列内所包括的所有帧的颜色布局的情况下的对照次数的比较。不会降低识别精度，且能够将对照次数削减到10％左右。

另外，上述的实施例是本发明优选的一实施例。本发明并不限于此，在不脱离本发明的主要内容的范围内能够进行各种各样的变形。

如以上所详细说明的，根据本发明，针对在比较了代表布局特征量的时刻判断为不存在是相同内容的可能性的登记图像序列，可以跳过所有需要处理成本的布局特征量组的以帧为单位的比较处理。因此，不会降低识别精度，且可以大幅度地减少对照处理成本。

另外，生成图像序列的代表布局特征量，并将其预先存储。由此，可以以少的成本提供用于选择有相同内容的可能性的登记图像序列的信息。

进一步，以共同的描述方案为基础来描述代表布局特征量，可以在多个系统中交换代表布局特征量，可以由多个存储装置调出代表布局特征量。

还有，上述实施例中实现各种动作的部分，可以作为硬件来实现，也可以作为软件来实现。这种情况下，通过执行存储在存储器(图中未示出)中的软件，从而公知的计算机系统内的CPU(图中未示出)实现各部分的功能。

Claims (6)

1.一种图像识别系统，其特征在于，包括：

代表颜色布局特征量存储部，其存储代表包括多帧的登记图像序列的第一代表颜色布局特征量；

颜色布局特征量组存储部，其存储所述登记图像序列的各帧的颜色布局特征量；

特征量提取部，其从查询图像序列的各帧提取颜色布局特征量；

代表特征量计算部，其从所述查询图像序列的所述提取的颜色布局特征量，计算代表所述查询图像序列的第二代表颜色布局特征量；

图像序列选择部，其将所述第二代表颜色布局特征量和所述第一代表颜色布局特征量进行比较，选择与所述查询图像序列相似的登记图像序列；和

识别部，其将所述查询图像序列的所述提取的颜色布局特征量与所述选择的登记图像序列的所述颜色布局特征量进行匹配。

2.根据权利要求1所述的图像识别系统，其特征在于，

所述第一代表颜色布局特征量是所述登记图像序列的所述颜色布局特征量的各要素的平均值，所述第二代表颜色布局特征量是所述查询图像序列的所述提取的颜色布局特征量的各要素的平均值。

3.根据权利要求1所述的图像识别系统，其特征在于，

所述第一代表颜色布局特征量是所述登记图像序列的所述颜色布局特征量的各要素的中值，所述第二代表颜色布局特征量是所述查询图像序列的所述提取的颜色布局特征量的各要素的中值。

4.一种图像识别方法，其特征在于，包括：

存储代表包括多帧的登记图像序列的第一代表颜色布局特征量；

存储所述登记图像序列的各帧的颜色布局特征量；

从查询图像序列的各帧中提取颜色布局特征量；

从所述查询图像序列的所述提取的颜色布局特征量，计算代表所述查询图像序列的第二代表颜色布局特征量；

将所述第二代表颜色布局特征量与所述第一代表颜色布局特征量进行比较，选择与所述查询图像序列相似的登记图像序列；和

将所述查询图像序列的所述提取的颜色布局特征量与所述选择的登记图像序列的所述颜色布局特征量进行匹配。

5.根据权利要求4所述的图像识别方法，其特征在于，

所述第一代表颜色布局特征量是所述登记图像序列的所述颜色布局特征量的各要素的平均值，所述第二代表颜色布局特征量是所述查询图像序列的所述提取的颜色布局特征量的各要素的平均值。

6.根据权利要求4所述的图像识别方法，其特征在于，

所述第一代表颜色布局特征量是所述登记图像序列的所述颜色布局特征量的各要素的中值，所述第二代表颜色布局特征量是所述查询图像序列的所述提取的颜色布局特征量的各要素的中值。

Images