CN1432947A - 搜索多媒体对象的装置及方法 - Google Patents

Abstract

本发明公开了一种搜索多媒体对象的装置和方法，在服务器－客户端环境的多媒体搜索中，尤其是在无线通信环境中，该装置和方法把服务器中的特征描述信息数据库添加到移动终端中，从而能够简化搜索所需的通信过程。因此，可以有效地使用系统并减少通信费用。

Description

搜索多媒体对象的装置及方法

技术领域

本发明涉及使用基于内容信息搜索多媒体对象的装置和方法，特别涉及在服务器—客户端环境中搜索多媒体对象的装置和方法。

背景技术

基于内容的多媒体搜索系统通过分析文本信息，如关键词，以及基于内容的信息，如颜色和纹理，而搜索相应对象。

在基于内容的图像搜索系统中，绝大多数图像搜索引擎使用颜色、纹理和形状信息。可以使用多种方法来表征各种信息。例如，对于颜色来说，颜色直方图代表所有颜色的分布，典型颜色表示出现几率最高的颜色，颜色布局表示局部区域的典型颜色，该局部区域的典型颜色可用作表示颜色的信息。这些信息能够影响搜索性能。因此，大多数搜索集中在用于改善搜索结果的特征信息的进展上。基于内容的搜索的特征信息及其中的信息，如关键词，被称为“描述”(此后称为“特征描述信息”)。为搜索图像，通过比较各个图像的特征描述信息，具有相似特征描述信息的图像被指定为搜索结果。特征描述信息被预先提取并存储，并包括用于高速搜索的索引信息。

一般而言，根据搜索的查询类型，如样例查询，用户草图查询和文本查询而把搜索分为几种类型。其中，一种示例性的文本查询是关键词搜索，其余两种查询类型是基于内容的搜索。

在使用样例查询的搜索中，用户通过使用与他/她希望搜索的对象相似的对象而提交查询，搜索系统搜索特征描述信息与查询所提交的对象所包含的特征描述信息最相似的对象。这里，若查询实例是特征描述信息已经被提取的对象，则搜索系统检测数据库中相应对象的特征描述信息，并搜索具有相似特征描述信息的对象。如果查询实例是特征描述信息没有被提取的新对象，则搜索系统通过使用提取引擎来提取给定对象的特征描述信息，并搜索数据库中具有相似特征描述信息的对象。

在使用用户草图查询的搜索中，用户直接提出一个查询图像，以便完全表达预期对象。这里，搜索系统中的提取引擎提取用户提出的查询图像的特征描述信息。

一般来说，可在服务器和客户端不分割的一个系统中执行搜索，或者也可在服务器—客户端概念下，含有执行搜索的客户端，以及具有实际数据，特征描述信息和索引的服务器的系统模型中执行搜索。例如，前者用于在PC中使用PC搜索个人数字相册，后者用于把存储在PC中的数字相册连接到移动终端，如PDA(个人数字助理)并搜索数字相册。这里，服务器是PC，客户端是PDA。

图1显示了用于一般搜索的服务器—客户端系统模型。

移动终端10和对象存储器11在通信环境中相互连接。客户端的移动终端10包括用于查询的搜索界面101，用于从查询所使用的对象中提取特征描述信息的特征描述信息提取引擎102，用于显示搜索结果的显示器103，用于处理数据的缓存器104，以及用于与对象存储器11进行通信的通信接口105。查询对象的特征描述信息被传输给含有要搜索的对象的服务器中的对象存储器11，并由搜索引擎进行比较和搜索。

服务器中的对象存储器11包括用于提取多媒体对象的特征描述信息的特征描述信息提取引擎106，用于存储对象的数据库107，用于存储特征描述信息的数据库108，用于比较特征描述信息并搜索相应对象的搜索引擎109，用于搜索和数据通信的缓存器110，以及用于与移动终端进行通信的通信接口111。

图2显示了用于一般搜索的服务器—客户端系统模型的另一个实例，其中服务器中仅包括特征描述信息提取引擎。如上所述，移动终端20具有搜索界面201，搜索结果显示器202，缓存器203和通信接口204。对象存储器21具有特征描述信息提取引擎205，对象数据库206，特征描述信息数据库207，搜索引擎208，缓存器209以及通信接口210。

当特征描述信息提取引擎205仅在服务器中时，查询对象自身从移动终端20被传输给服务器中的对象存储器21，且必要时提取查询对象的特征描述信息。与图1不同，客户端不需要包含特征描述信息提取引擎，这是有利的。然而，由于特征描述信息一般小于原始对象，所以必须传输大容量的对象。

如图3和图4所示的图像搜索中，一般来说，服务器包含对应于每个对象的缩略图(thumbnail)，并用其来显示搜索结果。缩略图是原始图像的简化图像。为确定特定对象是否是用户希望搜索到的合适对象，使用缩略图来代替原始图像。使用图像的原始大小增加了传输量。因此，为显示一些搜索结果在存储器中使用缩略图存储少量对象。

图3所示的服务器—客户端系统模型与图1类似。即，移动终端30包括搜索界面301，特征描述信息提取引擎302，搜索结果显示器303，缓存器304以及通信接口305。对象存储器31包括特征描述信息提取引擎306，对象数据库307，特征描述信息数据库308，搜索引擎309，缓存器310，通信接口311以及缩略图312。

图4所示的服务器—客户端系统模型与图2类似。即，移动终端40包括搜索界面401，搜索结果显示器402，缓存器403以及通信接口404。对象存储器41包括特征描述信息提取引擎405，对象数据库406，特征描述信息数据库407，搜索引擎408，缓存器409，通信接口410以及缩略图411。

图3和图4的服务器—客户端系统模型需要通过无线通信传输特征描述信息和缩略图，产生了通信负载和费用。

如上所述，在一般搜索中，搜索过程中需要交互作用来向服务器传输查询对象的特征描述信息，从服务器接受初步结果，并允许用户确认结果并重新开始搜索。因此，在服务器—客户端环境中，当产生交互作用时，则执行通信。直到现在为止，绝大多数的搜索已经在使用有线互联网的服务器—客户端环境中执行了。但是，由于移动通信环境的发展以及使用移动终端的多媒体服务的活跃，最近服务器—客户端通信环境已经转变为无线通信。无线通信提供的网络环境比有线通讯更恶劣。由于通信费用很高，用户更愿意节制不必要的通信。但是，搜索需要通信时间来搜索所需对象，也需要所需对象的传输时间，这增加了用户的负担。因此，解决这个问题是必要的。

由于获得数字多媒体对象的设备，如数字相机的普遍化，用户能够在个人存储空间，如PC中建立个人资料库。个人资料库可连接到移动终端，从而用户可以从外部搜索并显示结果。这种情况下，当用户在搜索所需对象时，他/她需要与存储着该资料库的PC进行无线通信。因此，增加了通信负载和费用。

发明内容

本发明的目的在于解决至少一个上述问题和/或缺点，并至少提供一个下文将要描述的优点。

因此，本发明的一个目标在于通过提供一种搜索多媒体对象的设备和方法而解决前述问题，当在服务器—客户端环境中搜索多媒体对象时，通过最小化客户端与服务器之间的通信过程，该设备和方法能够有效使用无线通信环境并减少负载。

通过提供一种搜索多媒体对象的设备而实现前述和其它目标以及优点，该设备包括：含有要搜索的对象的独立存储器；以及终端，该终端包括用于基于内容搜索的特征描述信息数据库；使用特征描述信息和索引中的至少一种而执行搜索的搜索引擎；用于执行查询和确认搜索结果中至少一种的搜索界面；以及用于从独立存储器接收特征描述信息、索引和所希望的结果的通信接口，该接口被提供来不与独立存储器进行通信即可进行搜索，并从独立存储器接收所需结果。

根据本发明的另一个方面，搜索多媒体对象的方法包括以下步骤：获取多媒体对象；把所获取的多媒体对象存储在对象存储器中；提取搜索多媒体对象所需要的特征描述信息，并使用所提取的特征描述信息更新索引；进行通信以在终端中存储所提取的特征描述信息和索引；根据所存储的特征描述信息和索引使用终端执行搜索；以及进行通信以从对象存储器中接收搜索结果中用户所需的对象。

根据本发明的另一个方面，搜索多媒体对象的方法包括以下步骤：获取多媒体对象；提取搜索所获取的多媒体对象所需要的特征描述信息，并使用所提取的特征描述信息更新索引；进行通信以向对象存储器传输所获取的多媒体对象，并将其存储在对象存储器中；在特征描述信息中描述用于把存储在对象存储器中的对象连接到特征描述信息的连接信息；根据特征描述信息、索引和连接信息，使用终端执行搜索；以及进行通信以从对象存储器中接收搜索结果中的用户所需对象。

本发明的其它优点、目的和特征有一部分将在以下的说明书中进行阐述，有一部分则对于本领域的技术人员经过对以下内容的检验后会变得明了，或者通过本发明的实践而体验到。所附的权利要求书具体指出了本发明的目的和优点。

附图说明

参考附图，下文将详细叙述本发明。其中，相同标号代表相同部件。

图1是框图，显示了服务器—客户端环境中搜索多媒体对象的现有设备的第一个实例；

图2是框图，显示了服务器—客户端环境中搜索多媒体对象的现有设备的第二个实例；

图3是框图，显示了服务器—客户端环境中搜索多媒体对象的现有设备的第三个实例；

图4是框图，显示了服务器—客户端环境中搜索多媒体对象的现有设备的第四个实例；

图5是框图，显示了根据本发明的第一个实施例，在服务器—客户端环境中搜索多媒体对象的装置；

图6是框图，显示了根据本发明的第二个实施例，在服务器—客户端环境中搜索多媒体对象的装置；

图7是流程图，显示了一种根据本发明的第一个实施例，搜索多媒体对象的方法；以及

图8是流程图，显示了一种根据本发明的第二个实施例，搜索多媒体对象的方法。

优选实施例说明

下文的详细描述将参考附图，根据本发明的优选实施例介绍一种搜索多媒体对象的装置和方法。

图5是框图，显示了根据本发明的第一个实施例，在服务器—客户端环境中搜索多媒体对象的装置。

如图5所示，移动终端50包括用于查询的搜索界面501，用于确认搜索结果的显示器502，用于提取特征描述信息的特征描述信息提取引擎503，用于搜索的搜索引擎504，索引和特征描述信息数据库505，缓存器506，以及用于与对象存储器进行通信的无线通信接口507和有线通信接口508。

对象存储器51含有用于提取多媒体对象的特征描述信息的特征描述信息提取引擎509、索引和对象数据库510、缓存器511、用于与移动终端进行通信的有线通信接口512和无线通信接口513。存储原始对象的服务器进一步还包括在终端中包含的索引和特征描述信息数据库515和搜索引擎514。因此，如果需要的话，服务器自己就能执行搜索。

图6是框图，描述了根据本发明的第二个实施例，在服务器—客户端环境中搜索多媒体对象的装置。在图5和图6中，相同标号代表相同部件，此处省略了其中的描述。这里，移动终端50包括缩略图516。当显示搜索结果时，使用缩略图来代替原始图像，因此，减少了通信费用。

在如图5和图6所示的系统中，仅当用户最终通过搜索获得所需结果时才执行通信。

使用上述系统进行对象获取和搜索的过程可分为提取对象的步骤和搜索对象的步骤，如图7所示。

当获得对象，如图像时，其被传输给对象存储器51并存储在其中(步骤S11和S12)。这里，可通过多种获取设备获得对象，这些设备包括数字相机和带有相机的PDA。存储对象的对象存储器51是大容量的独立存储器，如PC或DVR(数字录像机)。存储完对象后，则为搜索而提取特征描述信息(步骤S13)。若需要，则同时提取缩略图(步骤S14)。通过反映特征描述信息值而更新用于高速搜索的索引。

参考图5(或图6)所示的系统，下文将描述上述过程(步骤S11-S14)。使用对象获取设备获得的对象通过有线或无线通信接口512或513被传输给对象存储器51，并通过缓存器511被存储在对象数据库510中。此后，特征描述信息提取引擎被激活，用于提取对象的特征描述信息，该特征描述信息被存储在相应数据库515中。若需要，可同时提取并存储缩略图516。

另一方面，当用户需要时或周期性的，搜索所需的信息，如特征描述信息、索引和缩略图，通过有线通信接口512和508被传输给移动终端50，并存储在其中(步骤S15)。即，该信息通过有线通信接口512和508被从对象存储器51传输到移动终端50，并通过缓存器506被存储在索引和特征描述信息数据库505中。

当用户使用搜索界面501开始查询搜索时，该搜索在移动终端中执行。当用户选择所需结果时，所需对象通过无线通信被从对象存储器传输给移动终端(步骤S16和S17)。

也就是，当用户使用搜索界面501进行查询搜索时，若查询对象不包括特征描述信息，则特征描述信息提取引擎503被激活，用于提取相应查询对象的特征描述信息，同时，搜索引擎504被激活，用于根据索引和特征描述信息数据库505的信息执行搜索。搜索结果被显示在搜索结果显示器502上。当用户选择所需结果时，用户的所需结果通过无线通信接口507和513就被从对象存储器51的对象数据库510中传输到移动终端50。

图7中，已获得的对象通过有线通信被存储，且搜索结果通过无线通信被传输，然而，其可根据服务器—客户端环境而改变。

若对象获取设备局限于执行搜索的移动终端时，当通过移动终端获得对象时，则提取移动终端中包含的特征描述信息，更新索引，且提取缩略图。提取以后，所获得的对象通过有线通信被传输给对象存储器并存储在其中，且在特征描述信息中描述使用所存地址的连接信息，因此，实现了上述搜索系统。图8显示了这些过程。

如图8所示，使用移动终端50获得对象(步骤S21)，提取特征描述信息(步骤S22)，且提取缩略图(步骤S23)。此后，所获得的对象通过有线通信被传输给对象存储器51，并存储在其中。在特征描述信息中描述了对象存储器51的连接信息(步骤S25)。与图7所示的搜索步骤相同，当用户使用搜索界面501执行查询搜索时，若查询对象不包括特征描述信息，则特征描述信息提取引擎503被激活，用于提取查询对象的特征描述信息，搜索引擎504被用于根据索引和特征描述数据库505的信息而执行搜索(步骤S26)。搜索结果被显示在搜索结果显示器502上。当用户选择所需结果时，用户的所需结果通过无线通信接口507和513被从对象存储器51的对象数据库510中传输给移动终端50(步骤S27)。

应该认识到，存储器之间的通信接口是实现本发明的服务器—客户端系统模型所必需的。该系统要求一种装置，用于用户需要时或周期性地从服务器中取得特征描述信息、索引和缩略图。近来，大多数移动终端提供连接PC的接口，因此可以解决这些问题。

另外，还要考虑特征描述信息和实际对象之间的连接信息。特征描述信息的标准已由MPEG-7(运动图像专家组)获得。根据MPEG-7标准，特征描述信息具有连接相应对象的连接信息。

如前所述，根据本发明，存储特征描述信息的数据库被包含在终端中。虽然一般搜索需要终端和服务器之间的一些无线通信，但搜索在终端中执行，且仅当终端从服务器接收对到应于搜索结果的对象时，才执行无线通信。所以，可以有效使用这种搜索装置并减少无线通信费用。

虽然已经显示并参考其中的特定实施例描述了本发明，本领域的技术人员应该理解：本发明可以有各种形式和细节上的改变，而不脱离由所附权利要求所限定的本发明精神和范围。

上述的实施例和优点仅仅是示例性的，并不对本发明构成限制。本发明可以容易地应用于其它类型的装置。本发明的说明书是用于进行说明，不限制权利要求的范围。对于本领域的技术人员，很显然可以有很多的替换、改进和变化。在权利要求书中，装置加功能的语句旨在涵盖实现所述功能的结构，其不仅包括结构的等同，也包括等同的结构。

Claims (14)

1.一种搜索多媒体对象的装置，包括：

含有所要搜索的对象的独立对象存储器；以及

终端，该终端不与独立存储器进行通信而执行搜索，并从独立存储器接收期望的结果，其中，所述终端包括：用于基于内容的搜索的特征描述信息数据库；使用特征描述信息和索引中的至少一种而执行搜索的搜索引擎；执行查询和搜索结果确认中的至少一种的搜索界面；以及用于从独立存储器接收特征描述信息、索引和所需结果的通信接口。

2.根据权利要求1所述的装置，其中，所述对象存储器包括：

存储作为搜索对象的多媒体对象和索引的对象存储单元；

特征描述信息提取引擎，用于从对象中提取特征描述信息；

通信接口，用于向终端传输特征描述信息和多媒体对象；以及

缓存器，用于处理对象存储器中的数据。

3.根据权利要求1所述的装置，其中，终端包括：

存储单元，用于存储来自对象存储器的搜索对象特征描述信息和索引；

搜索界面，用于执行查询；

特征描述信息提取引擎，用于提取查询对象的特征描述信息；

搜索引擎，用于使用特征描述信息和索引执行搜索；

显示器，用于确认搜索结果；

缓存器，用于处理终端的数据，以及

通信接口，用于与对象存储器进行通信。

4.根据权利要求2所述的设备，其中，所述对象存储器还包括：

存储单元，用于存储所述搜索对象的特征描述信息以及索引；

搜索引擎，用于使用所述特征描述信息和索引而执行搜索，由此所述对象存储器与终端一样地执行搜索。

5.根据权利要求2所述的装置，其中，所述通信接口包括：

无线通信接口，用于从独立存储器中接收所希望的结果；

有线通信接口，用于预先从独立存储器传输特征描述信息和索引，并存储它们。

6.根据权利要求1所述的装置，其中，所述装置还包括用于向用户显示搜索结果的缩略图。

7.根据权利要求1所述的装置，其中，所述特征描述信息包括每个对象的连接信息，用以传输存储于独立存储器中的相应对象。

8.根据权利要求1所述的装置，其中，所述终端是移动终端，独立对象存储器是个人计算机PC，且通过有线和无线通信而在移动终端和PC之间执行搜索。

9.一种搜索多媒体对象的方法，包括以下步骤：

获得多媒体对象；

在对象存储器中存储所获得的多媒体对象；

提取搜索多媒体对象所需的特征描述信息，并使用所提取的特征描述信息更新索引；

通过通信，在终端中存储所提取的特征描述信息和索引；

根据所存储的特征描述信息和索引，用终端执行搜索；以及

通过通信，从对象存储器中接收搜索结果中用户所期望的对象。

10.根据权利要求9所述的方法，其中，所述方法还包括以下步骤：

提取缩略图；以及

通过通信，在终端中存储所提取的缩略图。

11.根据权利要求9所述的方法，其中，所述终端是移动终端，且通过有线或无线通信执行移动终端与所述对象存储器之间的搜索。

12.一种搜索多媒体对象的方法，包括以下步骤：

获得多媒体对象；

提取搜索所获得的多媒体对象所需要的特征描述信息，并使用所提取的特征描述信息更新索引；

通过通信，向对象存储器传输所获得的多媒体对象，并将其存储在对象存储器中；

在特征描述信息中描述用于把对象存储器中存储的对象连接到特征描述信息的连接信息；

根据特征描述信息、索引和连接信息，用终端执行搜索；以及

通过通信，从对象存储器接收搜索结果中用户所需的对象。

13.根据权利要求12所述的方法，其中，所述方法还包括提取缩略图的步骤。

14.根据权利要求12所述的方法，其中，所述终端是移动终端，且通过有线或无线通信执行移动终端和对象存储器之间的搜索。

Images