CN101187979A - 个人识别设备及方法和识别辞典数据的更新方法及程序 - Google Patents

个人识别设备及方法和识别辞典数据的更新方法及程序 Download PDF

Info

Publication number
CN101187979A
CN101187979A CNA2007101875208A CN200710187520A CN101187979A CN 101187979 A CN101187979 A CN 101187979A CN A2007101875208 A CNA2007101875208 A CN A2007101875208A CN 200710187520 A CN200710187520 A CN 200710187520A CN 101187979 A CN101187979 A CN 101187979A
Authority
CN
China
Prior art keywords
individual
dictionary data
information
weighting factor
recognition element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101875208A
Other languages
English (en)
Other versions
CN101187979B (zh
Inventor
江浦由佳
兒岛环
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101187979A publication Critical patent/CN101187979A/zh
Application granted granted Critical
Publication of CN101187979B publication Critical patent/CN101187979B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Abstract

本发明提供了个人识别设备及方法和识别辞典数据的更新方法及程序。一种个人识别设备将个人识别辞典数据与从提取自个人的识别元素中提取的特征数据进行比较,从而识别具有所捕获的识别元素的个人,所述识别辞典数据由从用于识别个人的识别元素中提取的特征数据生成,并且与用于指定个人的个人指定信息相关联地被存储。个人识别设备包括分配加权因子的辞典数据更新处理部件,该部件向在每个捕获时间处捕获的特征数据分配加权因子,从而基于个人识别的结果生成或更新与个人指定部件所获取的个人指定信息相对应的识别辞典数据,所述加权因子根据时间获取部件新获取的捕获时间信息和先前获取的并且与个人指定信息相关联地被存储在辞典数据生成信息存储部件中的识别元素的捕获时间信息而被生成。

Description

个人识别设备及方法和识别辞典数据的更新方法及程序
技术领域
本发明涉及利用用于识别个人(person)的识别元素(identificationelement)识别个人的个人识别设备和个人识别方法,所述识别元素例如个人的面部图像或声音。本发明还涉及个人识别设备中的识别辞典数据的更新方法,以及被用在个人识别设备中的识别辞典数据的更新程序。
背景技术
例如,已知一种个人识别方法,其中识别元素的特征数据(例如,要被识别的多个人中的每个人的面部、声音或指纹)被预先存储为辞典数据,并且从要被识别的个人捕获的上述识别元素的特征数据与被存储为辞典数据的识别元素的特征数据进行比较,从而识别所捕获的个人的识别元素是谁的识别元素。
根据这种个人识别方法,就被作为识别元素示例的面部图像而言,捕获要被识别的个人的上述面部图像,并且利用从被捕获的面部图像提取的特征数据生成辞典数据。在这种情况下,为了平均化在捕获用作识别元素的面部图像时在图像状况或面部方向方面的误差,通常对于同一个人捕获多个面部图像,并且将平均后的特征数据存储作为用于识别该个人的辞典数据(参见日本未实审专利申请公开No.2003-271958)。
通常,当再次对每个个人执行面部图像识别时,该被识别个人的面部图像的特征数据被反映在识别辞典数据中,从而更新每个个人的面部图像的辞典数据。
在这种情况下,根据相关技术,在假设所有被捕获的面部图像具有相等的权重的情况下,生成并更新辞典数据。就是说,根据相关技术,在更新识别辞典数据时,先前被捕获的面部图像的特征数据和新捕获的特征数据全部被均等地平均。例如,新捕获的特征数据与识别辞典数据相加,并且相加后的结果被除以特征数据已被捕获的总次数,从而计算出简单的平均值,并且这样被平均后的特征数据被用作新的识别辞典数据。
发明内容
一般来说,个人的面部图像或声音随时间而变化。因此,当利用个人的面部图像或声音作为用于识别个人的识别元素时,个人的面部图像或声音随时间的变化应当被考虑。
根据相关技术的简单平均技术,任何时候都是利用诸如面部图像或声音之类的识别元素的最近(latest)特征数据来更新识别辞典数据。因此,可以认为一定程度上考虑了识别元素随时间变化的影响。
由于现有技术的方法是上述的简单平均方法,所以如果识别元素过去已被捕获的次数很大,则最新的(即,当前的)诸如面部图像或声音之类的识别元素除以捕获的总次数,从而其贡献比率变得非常小,导致可能不会对识别准确度有很大改善的问题。就利用根据相关技术的简单平均更新识别辞典数据的方法而言,另一个问题在于频繁的更新导致太多的平均,这可能会淡化辞典数据中的个人特征。
因而,需要提高用于个人识别的辞典数据的准确度。
根据本发明的实施例,提供了一种个人识别设备,包括:辞典数据存储装置,该装置与用于指定要被识别的个人的个人指定信息相关联地存储用于所述个人的识别辞典数据,所述识别辞典数据由从用于识别个人的识别元素中提取的特征数据生成;识别装置,该装置用于将从提取自所述个人的识别元素中提取的特征数据与所述辞典数据存储装置中的所述识别辞典数据进行比较,以识别具有被捕获的识别元素的个人;时间获取装置,该装置用于获取关于从所述个人捕获的识别元素的捕获时间的信息;个人指定装置,该装置用于基于所述识别装置对所述个人的识别的结果,来获得指定具有所述被捕获的识别元素的个人的所述个人指定信息;辞典数据生成信息存储装置,该装置用于将所述被捕获的识别元素的数据或从所述识别元素提取的特征数据以及所述时间获取装置所获取的时间信息,与所述个人指定装置所获取的所述个人指定信息相关联地添加和存储到所述辞典数据生成信息存储装置中;以及辞典数据更新处理装置,该装置用于利用关于所述时间获取装置新获取的捕获时间的信息、关于先前已获取并与所述个人指定装置所获取的所述个人指定信息相关联地被存储在所述辞典数据生成信息存储装置中的所述识别元素的捕获时间的信息、以及在每个捕获时间处捕获的特征数据,生成或更新与所述个人指定装置所获取的所述个人指定信息相对应的所述识别辞典数据,所述辞典数据更新处理装置被配置为通过利用根据每条特征数据的捕获时间的加权因子对每条特征数据进行加权来更新所述识别辞典数据。
就根据本发明的上述实施例的个人识别设备而言,基于从要被识别的个人获取的识别元素的捕获时间(获取时间),对从每个识别元素提取的特征数据进行加权,并且利用加权后的特征数据更新识别辞典。因此,例如,通过给予较近的特征数据较大的权重,通过执行上述更新可以获得可预期提供更高的个人识别准确度的识别辞典数据。
根据本发明,通过更新可以获得准确的识别辞典数据,从而提高个人识别的准确度。
附图说明
图1是示出了根据本发明实施例的个人识别设备的硬件配置示例的框图;
图2是示出了根据本发明实施例的被存储在面部识别辞典数据库中的内容的示例的图;
图3是示出了根据本发明实施例的被存储在面板识别辞典数据库中的内容的格式示例的图;
图4是示出了根据本发明实施例的个人识别设备中的面部识别处理的示例的视图;
图5是示出了根据本发明实施例的个人识别设备中的面部识别处理的示例的视图;
图6是示出了根据本发明实施例的个人识别设备中的面部识别处理的示例的视图;
图7是示出了根据本发明实施例的个人识别设备中的面部识别处理的示例的视图;
图8是示出了根据本发明实施例的个人识别设备中的面部识别处理的示例的视图;
图9是示出了根据本发明实施例的个人识别设备中的加权因子计算方法的设置和选择的视图;
图10是示出了根据本发明实施例的个人识别设备中的加权因子计算方法的第一示例的图;
图11是示出了根据本发明实施例的个人识别设备中的加权因子计算方法的第二示例的图;
图12是示出了根据本发明实施例的个人识别设备中的加权因子计算方法的第二示例的图;
图13A和13B是示出了根据本发明实施例的个人识别设备中的加权因子计算方法的第三示例的图;
图14是示出了根据本发明实施例的个人识别设备中的加权因子计算方法的第四示例的图;
图15是示出了根据本发明实施例的个人识别设备中的面部识别辞典数据的计算方法的示例的图;
图16是示出了根据本发明实施例的个人识别设备中的面部识别处理的流程的流程图的一部分的图;
图17是示出了根据本发明实施例的个人识别设备中的面部识别处理的流程的流程图的一部分的图;
图18是示出了根据本发明实施例的个人识别设备中的面部识别辞典数据的更新处理流程的流程图的一部分的图;
图19是示出了根据本发明实施例的个人识别设备中的加权因子计算处理流程的流程图的一部分的图;以及
图20是示出了根据本发明实施例的个人识别设备中的加权因子计算处理流程的流程图的一部分的图。
具体实施方式
下文中,将参考附图描述根据本发明实施例的个人识别设备,同时将利用作为用于识别个人的识别元素的面部图像来执行个人识别的设备作为示例。
图1是示出了根据本实施例基于面部图像的个人识别设备的配置示例的框图。在图1中所示的示例中,基于面部图像的个人识别设备例如被配置在个人计算机中。方框所指示的组件中的一部分也可以用软件来配置。
如图1中所示,在根据本实施例的基于面部图像的个人识别设备中,存储程序等的ROM(只读存储器)3、工作区域RAM(随机访问存储器)4、操作部件接口5、显示接口76和图像数据输入接口7经由系统总线2被连接到CPU(中央处理单元)1。
诸如键盘或鼠标之类的操作输入部件8被连接到操作部件接口5。例如由LCD(液晶显示器)形成的显示器9被连接到显示接口6。
在图像数据输入接口7从诸如包括USB(通用串行总线)的成像照相机之类的图像输出设备接收图像数据的情况下,例如用USB端子和USB接口来配置图像数据输入接口7。
在图像数据输入接口7从其中存储图像数据的卡片型存储器接收图像数据的情况下,用其中装载该卡片型存储器的存储器读取器来配置图像数据输入接口7。
在图像数据输入接口7从其中存储图像数据的光盘接收图像数据的情况下,用能够从该光盘中读取图像数据的光盘驱动器来配置图像数据输入接口7。
应当注意,图像数据输入接口7不仅捕获图像数据,还捕获伴随图像数据的信息,例如,包括成像时间信息和成像状况(例如,Exif(交换图像文件格式)格式的信息)。
在这种情况下,虽然未示出,但是如果在经由图像数据输入接口7所捕获的图像数据中未包括成像时间信息,则因为没有成像时间信息,所以CPU 1在显示器9上显示催促用户输入成像时间的消息,以使得用户响应于该消息而输入的成像时间信息与所述被捕获的成像数据相关联地被获取。
在本实施例中,面部识别辞典数据库10、面部识别图像处理部件11、面部识别处理部件12、显示信息生成部件13和辞典数据更新处理部件14被连接到系统总线2。辞典数据更新处理部件14包括加权因子计算部件15和辞典数据生成/更新部件16。
利用诸如硬盘之类的存储装置的存储区域的全部或者一部分来配置面部识别辞典数据库10。在本实施例中,多个个人Pi(i=1,2,...,且下文中也是一样;i对应于个人编号)中的每一个人的个人辞典数据Di与用于识别每一个人的个人指定信息(个人识别ID等)相关联地被存储并保持在面部识别辞典数据库10中,所述个人辞典数据Di被记录以用于基于面部图像的个人识别。在以下描述中,术语“面部识别”与“基于面部图像的个人识别”同义。
如图2中所示,在本实施例中,单个人的个人辞典数据Di包括面部识别辞典数据FRDi以及1个或多个(n(n=1,2,...N)个)条辞典数据生成信息DPIi,n,并且与个人指定信息相关联地被存储并保持。在本实施例中,个人的名字(姓和名)被记录作为个人指定信息。作为个人指定信息,不仅可以使用个人的名字(姓和名),也可以使用个人识别编号或符号或其它这种个人信息,或者可以使用用于识别个人的那些信息片段的组合。
在本实施例中,作为个人辞典数据Di,例如对于每个人,可以累积最多N条(例如40条)辞典数据生成信息。这是通过考虑辞典数据库所使用的存储容量来设置的。此外,在本实施例中,要被累积的个人辞典数据Di被更新,以始终保留要被累积作为个人辞典数据Di的数据中的最近N条数据。
在本示例中,辞典数据生成信息DPIi,n包括与针对要进行面部识别的单个人Pi在不同的时间点处捕获的n(n=1到N,N是最大值)个面部图像有关的信息。在本实施例中,如图2中所示,这个辞典数据生成信息DPIi,n包括时间信息Ti,n、所捕获的面部图像的特征数据Vi,n和特征数据Vi,n的加权因子Wi,n,所述加权因子被用于利用所捕获的面部图像的特征数据Vi,n来更新面部识别辞典数据。后面将给出对加权因子Wi,n的详细描述。
面部识别辞典数据FRDi是利用被存储为针对第i个人Pi的辞典数据生成信息DPIi,n的一部分的面部图像的特征数据(特征向量)而生成或更新的特征数据(特征向量),并且是针对这个人Pi的辞典数据,该辞典数据在针对被捕获用于面部识别的面部图像的面部识别处理时被使用。
在本实施例中,如下所述,每一个人Pi的面部识别辞典数据FRDi按后面将描述的方式利用加权后的数据而生成,所述加权后的数据是通过利用特征数据的加权因子对与该个人Pi相关联地被存储在面部识别辞典数据库10中的每个辞典数据生成信息DPIi,n的特征数据(特征向量)进行加权而获得的。
此外,在本实施例中,如下所述,多种计算方法可用作加权因子Wi,n的计算方法(设置方法),从而允许用户从加权因子Wi,n的多个可用计算方法中选择一种。此外,作为用于指定所选择的加权因子计算方法的信息,加权因子参数设置信息ST被存储在面部识别辞典数据库10中。
虽然对于要被识别的个人的每个个人辞典数据Di可以选择并设置加权因子计算方法,但是,在本实施例中,为面部识别辞典数据库10总地选择并设置一种加权因子计算方法。
图3是示出了被存储在面部识别辞典数据库10中的数据格式的图。
就是说,在本实施例中,如图3中所示,用于指定一种加权因子计算方法的加权因子参数设置信息被存储用于整个面部识别辞典数据库10。
面部识别辞典数据库10包括针对多个人的个人辞典数据Di(i=1,2,...)。每个个人辞典数据Di包括针对相应个人Pi的面部识别辞典数据FRDi以及辞典信息生成信息序列。如上所述,辞典信息生成信息序列包括n(n=1到N,N是最大值)条辞典数据生成信息DPIi,n。此外,每个辞典数据生成信息DPIi,n包括特征数据(特征向量)Vi,n、成像时间信息Ti,n和加权因子Wi,n。
接下来,如图4中所示,面部识别图像处理部件11根据经由图像数据输入接口7捕获的原始图片的图像数据执行面部检测和眼睛检测,并且依据眼睛的位置旋转面部图像以使被检测到的双眼的位置成一条水平线。根据眼睛的位置旋转面部图像的原因在于,如下所述,双眼水平且面朝前方的面部图像被用作面部识别的参考。
此外,面部识别图像处理部件11执行用于提取用于识别面部图像的特征部分(例如,眉毛、眼睛、鼻子和嘴)的特征数据的特征点绘制(特征点采样),从而获取特征向量Vin作为针对所捕获的面部图像Fin的特征数据。在这种情况下,特征向量Vin被表示为用多种特征量作为变量的函数。
应当注意,由于面部识别图像处理部件11中的诸如面部检测、眼睛检测和特征向量Vin的计算之类的处理在日本未实审专利申请公布No.2006-72770、日本未实审专利申请公布No.2005-44330以及“Learning ofReal-Time,Random Posture Face Detector using Pixel Difference Feature”,Koutaro Sabe,Kenichi Hidai,Technical Digest of the 10th Image SensingSymposium,pp.547-552,June 2004中进行了详细地描述,所以这里省略了其详细的描述。
面部识别图像处理部件11向面部识别处理部件12提供特征向量Vin,用作针对被捕获的面部图像Fin所获取的特征数据。
如果面部检测或眼睛检测不成功,或者如果面部检测或眼睛检测成功但是在面部识别图像处理部件11中特征向量计算没有成功,则面部识别图像处理部件11将对该结果的指示发送给面部识别处理部件12或显示信息生成部件13。
面部识别处理部件12从面部识别图像处理部件11接收特征向量Vin作为从被捕获的图像中获取的面部图像Fin的特征数据,并且将这个特征向量Vin与被存储在面部识别辞典数据库10中的多个人的面部识别辞典数据(特征向量)FRDi进行对比和验证,从而检测可以被确定为相匹配的面部识别辞典数据FRDi。
然后,如果面部识别处理部件12成功地检测到可以被确定为匹配的面部识别辞典数据FRDi,则面部识别处理部件12向显示信息生成部件13发送对该结果的指示以及与被成功检测到的面部识别辞典数据FRDi相对应的个人指定信息,在本示例中,该个人指定信息是个人的姓和名。
如果面部识别处理部件12没有成功检测到可以被确定为匹配的面部识别辞典数据FRDi,则面部识别处理部件12向显示信息生成部件13发送对该结果的指示。
应当注意,如果面部识别处理部件12从面部识别图像处理部件11接收到面部检测和眼睛检测没有成功的指示,或者接收到面部检测或眼睛检测成功但是特征向量计算没有成功的指示,则面部识别处理部件12不执行上述面部识别处理。
当显示信息生成部件13从面部识别处理部件12接收到关于面部识别成功的指示以及作为面部识别结果的用作个人指定信息的个人的姓和名时,显示信息生成部件13生成如图5中所示的面部识别结果确认屏幕的显示信息,以使用户确认面部识别的结果,并且使显示信息经由显示接口6被显示在显示器9的屏幕上。
如图5中所示,这个面部识别结果确认屏幕显示被捕获的面部图像Fin的显示图像21、询问用户面部识别结果是否正确的询问消息22“Isthis“...”?”以及针对询问消息22的应答按钮图标23、24。作为面部识别结果的姓和名被显示在询问消息22的“...”部分中。
在图5的示例中,由于被捕获的面部图像的特征数据已经被面部识别处理部件12确定为匹配“Taro Tanaka”的个人辞典数据Di的面部图像的特征数据(面部识别辞典数据FRDi),所以“Taro Tanaka”被显示在询问消息22的“...”部分中。
应答按钮图标23是肯定应答按钮,应答按钮图标24是否定应答按钮。
在图5中所示的屏幕中,当用户利用操作输入部件8点击肯定应答按钮23时,显示信息生成部件13依照CPU 1的控制将作为面部识别结果的姓和名信息提供给辞典数据更新处理部件14。如下所述,辞典数据更新处理部件14与由接收到的姓和名所指定的个人指定信息相关联地生成或更新被存储在面部识别辞典数据库10中的个人辞典数据Di。
此外,在图5所示的屏幕中,当用户利用操作输入部件8点击否定应答按钮24时,显示信息生成部件13生成如图6中所示的关于面部识别结果错误的屏幕的显示信息,通知用户面部识别结果错误的事实,并且使该显示信息经由显示接口6被显示在显示器9的屏幕上。
如图6中所示,这个面部识别结果错误的屏幕显示被捕获的面部图像Fin的显示图像21,以及催促输入姓和名以指定被捕获的面部图像Fin是谁的面部图像的消息25。用户将个人的姓和名输入到消息25内的姓名输入字段26中,个人的姓和名被显示为显示图像21。
接受用户输入的姓和名之后,显示信息生成部件13将被输入的姓和名信息提供给辞典数据更新处理部件14。如下所述,辞典数据更新处理部件14执行生成或更新个人辞典数据Di的处理,所述个人辞典数据Di与包括接收到的姓和名的个人指定信息相关联地被存储在面部识别辞典数据库10中。
应当注意,当用户指示面部识别处理结束且没有向姓名输入字段26中输入姓和名时,不从显示信息生成部件13发送姓名信息,并且指示不进行辞典更新的通知根据CPU 1的控制被发送给辞典数据更新处理部件14。从而,辞典数据更新处理部件14不执行辞典数据的生成或更新。
当显示信息生成部件13从面部识别处理部件12接收到指示在面部识别辞典数据库10内不存在与所捕获的面部图像相匹配的辞典数据的通知,作为面部识别结果时,显示信息生成部件13生成如图7中所示的面部识别结果不匹配屏幕,以通知用户“不匹配”作为面部识别结果,并且使显示信息经由显示接口6被显示在显示器9的屏幕上。
如图7中所示,该面部识别结果不匹配屏幕显示被捕获的面部图像Fin的显示图像21,以及催促输入姓和名以指定被捕获的面部图像Fin是谁的面部图像的消息27。用户将个人的姓和名输入到消息27内的姓名输入字段28中,个人的姓和名被显示为显示图像21。
接受用户输入的姓和名之后,显示信息生成部件13将被输入的姓和名信息提供给辞典数据更新处理部件14。如下所述,辞典数据更新处理部件14执行生成或更新个人辞典数据Di的处理,其中将接收到的姓和名作为个人指定信息。
应当注意,当用户指示面部识别处理结束且没有向姓名输入字段28中输入姓和名时,不从显示信息生成部件13发送姓名信息,并且指示不进行辞典更新的通知根据CPU 1的控制被发送给辞典数据更新处理部件14。从而,辞典数据更新处理部件14不执行辞典数据的生成或更新。
当显示信息生成部件13从面部识别图像处理部件11接收到指示面部检测或眼睛检测或者最后的特征向量计算没有成功的通知时,显示信息生成部件13生成如图8中所示的验证错误通知屏幕的显示信息,并且使该显示信息经由显示接口6被显示在显示器9的屏幕上。
如图8中所示,该验证错误通知屏幕显示指出被捕获的面部图像未被用于辞典更新的消息29。然后,根据CPU 1的控制,显示信息生成部件13通知辞典数据更新处理部件14没有要执行的辞典更新。
在本实施例中,当个人指定信息由显示信息生成部件13基于识别的结果而指定时,辞典数据更新处理部件14执行对与该个人指定信息相对应的个人辞典数据Di的更新。
在这种情况下,从以上描述可以理解,“当个人指定信息由显示信息生成部件13基于识别的结果而指定时”的情况包括其中面部识别结果正确并且用户指定信息通过个人识别设备而被指定的情况,其中面部识别结果错误并且个人指定信息由用户所输入的个人的姓和名指定的情况,以及其中作为面部识别的结果没有找到匹配信息且新的面部图像被捕获,并且其中个人指定信息由用户所输入的个人的姓和名指定的情况。
当辞典数据更新处理部件14接收到在面部识别图像处理部件11中面部检测或眼睛检测或者最后的特征向量计算没有成功的通知时,辞典数据更新处理部件14不执行上述个人辞典数据Di的更新。并且当针对被捕获的面部图像的个人指定信息的指定最终没有成功时,辞典数据更新处理部件14也不执行上述个人辞典数据Di的更新。
在本实施例中,当执行对面部识别辞典数据库10中与被指定的个人指定信息相对应的个人辞典数据Di的更新时,辞典数据更新处理部件14首先参考上述个人辞典数据Di中所包括的辞典数据生成信息DPIi,n的条数。如果该数目小于最大值N,则辞典数据更新处理部件14将新获取的面部图像的特征向量Vin和面部图像的成像时间信息添加并存储到个人辞典数据Di中,作为最近的辞典数据生成信息。
此外,如果与要被更新的个人指定信息相对应的个人辞典数据Di中所包括的辞典数据生成信息DPIi,n的条数为最大数目N,则辞典数据更新处理部件14从辞典数据生成信息DPIi,n中丢弃最早的辞典数据生成信息DPIi,1,并且按如下方式顺次降低每个辞典数据生成信息DPIi,n的时间次序:
DPIi,n→DPIi,n-1
然后,新捕获的面部图像的特征向量Vin及其成像时间信息被存储为最近的辞典数据生成信息DPIi,N,从而更新个人辞典数据Di。由于此时还没有计算加权因子,所以先前所存储的加权因子保持原样。
利用如上所述更新后的个人辞典数据Di中所包括的成像时间信息,计算并存储针对至少最近的辞典数据生成信息DPIi,N的加权因子。如下所述,视情况而定,针对最初被存储为个人辞典数据的另一辞典数据生成信息的加权因子按照所选择的加权因子计算方法被更新,或者不被更新而按原样被使用。
辞典数据更新处理部件14将加权因子参数设置信息ST传送给加权因子计算部件15,并且如下所述,指出要被加权因子计算部件15执行的加权因子计算方法。同时,辞典数据更新处理部件14将最近的辞典数据生成信息DPIi,N和必要的过去的辞典数据生成信息DPIi,n的成像时间信息Ti,N传送给加权因子计算部件15,并且指示加权因子计算。
在本实施例中,当个人指定信息由显示信息生成部件13基于识别结果而指定时,加权因子计算部件15利用最近的成像时间信息和过去的成像时间信息计算针对特征向量的加权因子,该加权因子被用于更新与所述个人指定信息相对应的个人辞典数据Di的面部识别辞典数据FRDi。
如上所述,在根据本实施例的个人识别设备中,多个(在本示例中为四种)计算方法可用作该加权因子的计算方法(设置方法)。要使用这四种加权因子计算方法中的哪一种方法由用户选择和设置,并且选择/设置信息被存储到面部识别辞典数据库10中。
在本实施例中,当用户例如经由操作输入部件8从设置菜单中指出“加权因子计算方法的选择”时,如图9中所示的“加权因子设置方法选择屏幕”被显示在显示器9上。
如图9中所示,在本实施例中,以下四种加权因子计算方法(设置方法)被显示作为可以被选择和设置的加权因子计算方法候选的列表:
(1)按成像顺序线性地设置加权因子;
(2)按成像顺序非线性地设置加权因子;
(3)根据成像间隔(区段)设置加权因子;
(4)根据成像间隔(与前一图像之间的时间差)设置加权因子。
下面将描述每种计算方法的细节。
如图9中所示,在本示例中,在每个加权因子计算方法候选的前面提供了供用户选择/设置的复选标记(check-mark)输入字段30。通过利用诸如鼠标之类的定点设备点击在所需要的加权因子计算方法候选的前面提供的复选标记输入字段30,用户可以选择并设置这个加权因子计算方法候选作为要使用的加权因子计算方法。图9的示例示出了选择“(1)按成像顺序线性地设置加权因子”的状态。
在这种情况下,取决于所选择的加权因子计算方法,存在加权因子计算部件15只计算针对新捕获的面部图像的特征向量的加权因子的情况,以及不仅计算针对新捕获的面部图像的特征向量的加权因子,并且还重新计算针对与个人指定信息相关联地被存储的先前被捕获的面部图像的特征向量的加权因子的情况。
接下来,将进一步提供关于本实施例中所采用的四种加权因子计算方法中的每一种的描述。
[第一示例:按照成像顺序线性地设置加权因子(线性计算方法)]
图10是示出了按照成像顺序线性地计算(设置)加权因子的方法的图。该加权因子计算方法在下文中将被称为线性计算方法。
在采用这种线性计算方法的情况下,就针对与基于利用新捕获的面部图像的识别而被指定的个人指定信息相关联地被存储的个人辞典数据Di的特征数据的加权因子而言,不仅最近的辞典数据生成信息DPIi,New(当存储有N条辞典数据生成信息时,DPIi,New=DPIi,N)的加权因子Wi,New,而且所有先前被捕获并存储的辞典数据生成信息DPIi,n(n=1,2,...)的加权因子都被重新计算并更新。
因此,在采用这种线性计算方法的情况下,辞典数据更新处理部件14将所有更新后的辞典数据生成信息的片段的成像时间信息都传送给加权因子计算部件15。
然后,在该线性计算方法中,由于更新后的个人辞典数据Di的最早的辞典数据生成信息的成像时间Ti,1在本实施例中被用作参考,所以加权因子计算部件15首先计算更新后的个人辞典数据Di的每个辞典数据生成信息的成像时间Ti,n(n=1,2,...,New)与最早成像时间Ti,1之间的时间差ΔTi(1_n)。
然后,如图10中所示,加权因子计算部件15根据下面的(公式1)计算加权因子Wi,n,使得加权因子Wi,n随着所计算出的时间差ΔTi(1_n)的变大而线性增大。
就是说,加权因子计算部件15利用以下公式计算针对每个特征向量Vi,n的加权因子Wi,n:
Wi,n=p×ΔTi(1_n)+q...(公式1)
应当注意,在图10中,时间差ΔTi,1=0,并且此时的加权因子Wi,1变为预先设置的加权因子的最小值q。此外,当预先设置的加权因子的最大值被设为r时,针对最近的成像时间的时间差ΔTi(1_New)的加权因子Wi,New=r。
此外,图10中所示的线性函数的直线斜率p按如下方式表示:
p=(r-q)/(ΔTi(1_New)-ΔTi(1_1))这与更新后的辞典数据生成信息DPIi的多个片段的最近成像时间和最早成像时间之间的差(ΔTi,New-ΔTi,1)相对应。这个值不是恒定的,而是每当新数据被捕获时都会改变。
这里,在N条辞典数据生成信息DPIi,1到DPIi,N与个人指定信息相关联地被存储在面部识别辞典数据库10中的情况下,时间差ΔTi(1_New)按如下方式表示:
时间差ΔTi(1_New)=ΔTi(1_N)=Ti,N-Ti,1。
然而,当即使在添加了辞典数据生成信息之后,也只有不到N条与个人指定信息相对应的辞典数据生成信息被存储在面部识别辞典数据库10中时,这不到N条辞典数据生成信息中最近的一条信息的成像时间用作最近的成像时间,并且该成像时间和最早的成像时间Ti,1之间的时间差用作针对最近的成像时间的时间差ΔTi(1_New)。
在以上描述中,利用更新后的个人辞典数据Di的最早辞典数据生成信息的成像时间Ti,1作为参考,计算该成像时间Ti,1和每个辞典数据生成信息的成像时间Ti,n之间的时间差ΔTi(1_n),并且设置加权因子Wi,n以随着时间差ΔTi(1_n)的变大而线性增大。但是,计算时间差所相对的参考可以被设置为最近的成像时间Ti,New。
在那种情况下,在时间差ΔT(New_New)(=0)处,加权因子Wi,New变为最大值r,并且随着时间差ΔT(New_n)的变大而线性减小。当与最早成像时间Ti,1的时间差为ΔT(New_1)时的加权因子Wi,1变为最小值q。
[第二示例:按照成像顺序非线性地设置加权因子(非线性计算方法)]
图11是示出了按照成像顺序非线性地计算(设置)加权因子的方法的图。下文中,该加权因子计算方法将被称为非线性计算方法。
同样,在采用这种非线性计算方法的情况下,就针对与基于利用新捕获的面部图像的识别而被指定的个人指定信息相关联地被存储的个人辞典数据Di的特征数据的加权因子而言,不仅最近的辞典数据生成信息DPIi,New(当存储有N条辞典数据生成信息时,DPIi,New=DPIi,N)的加权因子Wi,New,而且所有先前被捕获并存储的辞典数据生成信息DPIi,n(n=1,2,...)的加权因子都被重新计算并更新。
因此,同样,在采用这种非线性计算方法的情况下,辞典数据更新处理部件14将所有更新后的辞典数据生成信息的片段的成像时间信息都传送给加权因子计算部件15。
然后,同样,在该非线性计算方法中,由于更新后的个人辞典数据Di的最早的辞典数据生成信息的成像时间Ti,1在本实施例中被用作参考,所以加权因子计算部件15首先计算更新后的个人辞典数据Di的每个辞典数据生成信息的成像时间Ti,n(n=1,2,...,New)与最早成像时间Ti,1之间的时间差ΔTi(1_n)。
然后,如图11中所示,加权因子计算部件15根据下面的(公式2)计算加权因子Wi,n,使得加权因子Wi,n随着所计算出的时间差ΔTi(1_n)的变大而非线性增大。
就是说,加权因子计算部件15利用以下公式计算针对每个特征向量Vi,n的加权因子Wi,n:
如果时间差ΔTi(1_n)<ΔTθ,则
Wi,n=f(ΔTi(1_n))+q,并且
如果时间差ΔTi(1_n)≥ΔTθ,则
Wi,n=r
      ...(公式2)
(公式2)中的f(ΔTi(1_n))是以时间差ΔTi(1_n)为变量的非线性函数,并且可以使用各种非线性变化模式的曲线函数。图11中所示的示例使用这样的曲线函数,其中较小的加权因子被提供给先前的面部图像的特征向量以使它们对面部识别辞典数据的影响较小,并且其中较大的加权因子被提供给更近的面部图像的特征向量以增大它们对面部识别辞典数据的影响。
由图11和(公式2)可以理解,在根据本实施例的非线性计算方法中,以预定的阈值时间差ΔTθ分出的时间差区段PT被设置为优先区段,所述时间差区段PT小于与最近的成像时间Ti,New相对应的时间差ΔTi,New,并且针对该优先区段PT中所包括的时间差ΔT(1_n)的加权因子Wi,n被设置为最大值r。就是说,为较近的面部图像的特征向量设置最大加权因子,从而增大它们对面部识别辞典数据的影响。
在本实施例中,阈值时间差ΔTθ可以由用户调整和设置。就是说,在本实施例中,在用户在图9中所示的加权因子设置方法选择/设置屏幕上选择了第二方法“按照成像顺序非线性地设置”的情况下,当个人指定信息被指定并且CPU 1确定执行对相应的个人辞典数据Di的更新时,根据CPU 1的控制,显示信息生成部件13生成“优先区段PT调整”屏幕,以显示在显示器9上。
如图12中所示,在这个“优先区段PT调整”屏幕上,在成像时间序列字段31中显示了被存储作为要更新的个人辞典数据Di的更新后的各条辞典数据生成信息DPIi,n中所包括的成像时间序列,并且提供了优先区段PT调整字段32以允许与成像时间序列相关联地进行调整。
在成像时间序列字段31中,水平方向被作为时间方向,并且各个成像时间用垂直线31a来指示。在优先区段PT调整字段32中,与上述最早成像时间Ti,1的时间差ΔT(1_n)与成像时间序列字段31相关联地被显示在水平轴上,水平方向被作为时间差方向。在优先区段PT调整字段32中,当在水平方向(时间差方向)上移动调整点标记33的位置同时,用户可以设置优先区段PT(即,阈值时间差ΔTθ)。
应当注意,优先区段PT可以为零,从而不被设置。
应当注意,同样,在该非线性计算方法中,与上述线性计算方法一样,可以参考最近的成像时间Ti,New来计算时间差,而不是更新后的个人辞典数据Di的最早辞典数据生成信息的成像时间Ti,1。
在那种情况下,加权因子设置特性曲线就相当于将图11中所示的特性曲线轴对称地翻转而得到的曲线,从而使得最近的时间差和最早的时间差的位置被翻转,其中在最近的时间差位置和最早的时间差位置中间的时间差位置作为对称轴位置。
在以上描述中,在个人指定信息被指定之后并且在加权因子计算被执行之前,执行优先区段PT的设置。然而,也可以采用如下配置:当用户在图9中所示的加权因子设置方法选择/设置屏幕上选择第二方法“按成像顺序非线性地设置”时,用户可以设置该优选区段PT的大小。在那种情况下,用户不需要在每次加权因子被更新时都重新设置优先区段PT。
应当注意,在根据第一示例的上述线性计算方法中,也可以提供优先区段PT,其中当时间差ΔT(1_n)变得等于或大于预定时间差ΔTθ时,相应的加权因子Wi,n的值被设置为最大值r。
[第三示例:根据成像间隔(区段)设置加权因子]
通常,在成像间隔彼此接近的情况下(成像时间彼此接近),认为在那些成像时间捕获的个人的面部图像之间存在相对来说非常小的变化,因此实际上在它们的特征向量之间不存在变化。另一方面,在成像间隔彼此远离的情况下,个人的面部图像之间可能会发生变化,因此认为它们的特征向量之间存在变化。
考虑到这一点,根据该第三示例,基于成像间隔来设置加权因子。在成像间隔很短的情况下,加权因子被设置为较小的值以减小一个面部图像对面部识别辞典数据的影响,并且在成像间隔较长的情况下,加权因子被设置为较大的值以增大一个面部图像对面部识别辞典数据的影响。
有各种可以想到的方法来判断成像间隔是短还是长。在根据该第三示例的加权因子计算方法中,包括最早和最近成像时间的时间段被划分成多个区段,并且计算在每个划分后的区段中面部图像数据被捕获的次数(成像时间被捕获的次数)。如果捕获次数较少,则成像间隔被判断为较长,并且如果捕获次数很多,则成像间隔被判断为较短,并且根据以上判断结果设置与每个划分后的区段中所包括的成像时间相对应的加权因子。
同样,在采用该第三示例的情况下,就针对与基于利用新捕获的面部图像的识别而被指定的个人指定信息相关联地被存储的个人辞典数据Di的特征数据的加权因子而言,不仅最近的辞典数据生成信息DPIi,New(当存储有N条辞典数据生成信息时,DPIi,New=DPIi,N)的加权因子Wi,New,而且所有先前被捕获并存储的辞典数据生成信息DPIi,n(n=1,2,...)的加权因子都被重新计算并更新。
因此,同样,在采用该第三计算方法的情况下,辞典数据更新处理部件14将所有更新后的辞典数据生成信息的片段的成像时间信息都传送给加权因子计算部件15。加权因子计算部件15利用这些成像时间信息片段来计算相应的加权因子。
图13Δ和13B是示出了根据该第三示例的加权因子计算方法的图。图13A是示出了成像时间分布的图,其中时间沿水平方向。每个圆圈标记表示成像时间。图13B示出了每个划分后的区段的加权因子的示例。
就是说,在该第三示例中,利用更新后的辞典数据生成信息的最早成像时间Ti,1作为参考,针对每个预先被设置的预定时间长度t,设置划分区段。在图13B所示的示例中,设置了四个划分区段DV1、DV2、DV3和DV4。
接下来,对划分区段DV1、DV2、DV3和DV4内的每一个中所包括的成像次数进行计数。确定划分区段DV1、DV2、DV3和DV4中的每一个的加权因子,以使得计数结果的值越小,加权因子越大。
在这种情况下,在确定与划分区段DV1、DV2、DV3和DV4内的每一个中所包括的成像次数相对应的加权因子时,可以使用各种方法,包括针对成像次数线性地分配加权因子的方法,以及针对成像次数非线性地分配加权因子的方法。
然后,确定每个辞典数据生成信息DPIi,n的成像时间Ti,n被包括在哪个划分区段中,并且被设置用于这样确定的划分区段的加权因子被计算作为与所述成像时间Ti,n相对应的加权因子Wi,n。
虽然预先设置的预定时间长度t可以按固定的方式被设置,但是与上述优先区段PT的调整和设置一样,该预定时间长度t也可以由用户调整和设置。
与将最早成像时间作为参考以每个固定的区段长度来设置划分区段不同的是,可以通过将从最早成像时间到最近的成像时间的时间区段划分成预定数目的区段来设置每个划分区段。当按照这种方式设置划分区段时,从比最早成像时间早富余时间(margin time)的时间点到比最近成像时间晚富余时间的时间点的区段可以被划分成预定数目的区段。
[第四示例:根据成像间隔(与先前图像的时间差)设置加权因子]
与上述第三示例中一样,根据该第四示例的加权因子计算方法表示根据成像间隔计算加权因子的方法。作为判断成像间隔是长还是短的方法,该方法利用最近的成像时间Ti,New和紧挨着的前一成像时间之间的时间差。
就是说,在采用根据该第四示例的加权因子计算方法的情况下,如果与基于利用新捕获的面部图像的识别而被指定的个人指定信息相关联地被存储的个人辞典数据Di按上述方式被更新,则辞典数据更新处理部件14将针对新捕获的面部图像的最近的成像时间和紧挨着的前一成像时间都传送给加权因子计算部件15。
根据这样接收到的两条成像时间信息,加权因子计算部件15计算最近的成像时间Ti,New和紧挨着的前一成像时间之间的时间差ΔT((New-1)_New)。然后,加权因子计算部件15计算与所计算出的时间差ΔT((New-1)_New)相对应的加权因子Wi,New。
在根据该第四示例的加权因子计算方法的情况下,只需要计算与最近成像时间Ti,New相对应的加权因子Wi,New。就与其它先前的成像时间相对应的加权因子而言,可以按原样使用被存储为辞典数据生成信息的加权因子,并且不需要更新那些加权因子。
在该第四示例中,线性计算方法和非线性计算方法都可以被用作计算与所计算出的时间差ΔT((New-1)_New)相对应的加权因子Wi,New的方法。
图14示出了这样的情况,其中在该第四示例中,采用线性计算方法作为计算与所计算出的时间差ΔT((New-1)_New)相对应的加权因子Wi,New的方法。
就是说,在图14中所示的示例中,加权因子计算部件15利用以下公式计算针对新捕获的面部图像的加权因子Wi,New(当N条或更多条辞典数据生成信息被存储为个人辞典数据Di时,Wi,New=Wi,N):
如果时间差ΔT((New-1)_New)<MAX_INT,则
Wi,n=p×ΔTi(1_n)+q,并且
如果时间差ΔT((New-1)_New)≥MAX_INT,则
Wi,n=r
     ...(公式3)
这里,阈值MAX_INT对应于相对较长的时间间隔,其间在先前捕获的面部图像和新捕获的面部图像之间可能发生变化。如果计算出的时间差ΔT((New-1)_New)大于该阈值MAX_INT,则其加权因子被设置为最大值以对面部识别辞典数据施加较大的影响。在这种情况下,阈值MAX_INT例如是24小时。
[面部识别辞典数据FRDi的更新]
当在加权因子计算部件15中按照这种方式完成了对针对更新后的辞典数据生成信息DPIi,n的加权因子Wi,n的更新时,辞典数据更新处理部件14将所计算出的加权因子Wi,n存储在面部识别辞典数据库10中,作为与个人指定信息相对应的个人辞典数据Di的每个辞典数据生成信息DPIi,n的更新后的加权因子Wi,n,并将更新后的加权因子Wi,n传送给辞典数据生成/更新部件16,从而使辞典数据生成/更新部件16执行面部识别辞典数据FRDi的生成或更新。
辞典数据生成/更新部件16利用图15中所示的计算公式(公式4)来执行对与被指定的个人指定信息相对应的面部识别辞典数据FRDi的更新。就是说,辞典数据生成/更新部件16通过以下步骤来得到更新后的面部识别辞典数据FRDi:即,将最多N条辞典数据生成信息DPIi,1到DPIi,N中的每条信息中所包括的特征向量Vi,n与相应的加权因子Wi,n相乘,将这些相乘后的值加在一起,并且将相乘后的值的总和除以N个加权因子Wi,n的总和。
由于这个面部识别辞典数据FRDi的值(对应于特征向量)是利用N条辞典数据生成信息DPIi,1到DPIi,N的加权因子Wi,n而获得的,因此与相关技术相比,实现了面部识别辞典数据FRDi的准确度的提高,在相关技术中,面部识别辞典数据FRDi被确定为通过将N条辞典数据生成信息DPIi,1到DPIi,N中所包括的特征向量的总和除以数值N而得到的简单平均值。
在本实施例中,就有限数目的N条辞典数据生成信息DPIi,1到DPIi,N而言,在面部识别辞典数据库10中总是保持最近的数据,这意味着面部识别辞典数据FRDi被更新为更准确的数据。
应当注意,当在面部识别辞典数据库10中只存在N条或更少的辞典数据生成信息DPIi,n作为个人辞典数据时,辞典数据更新处理部件14将针对新捕获的面部图像的特征向量、获取时间信息和加权因子Wnew作为最近的辞典数据生成信息DPIi,n添加并存储到面部识别辞典数据库10中,以更新面部识别辞典数据库10,从而执行面部识别辞典数据FRDi的生成或更新。
当在那种情况下生成面部识别辞典数据FRDi时,辞典数据生成/更新部件16利用被作为个人辞典数据Di存储在面部识别辞典数据库10中的辞典数据生成信息DPIi,n的条数,来执行面部识别辞典数据FRDi的生成或更新,而不是上述(公式4)中的数目N。
如上所述,一旦N条辞典数据生成信息DPIi,n已被存储到面部识别辞典数据库10中作为个人辞典数据Di,辞典数据更新处理部件14就丢弃最早的辞典数据生成信息,并且将包括新捕获的面部图像的特征向量、获取时间信息和加权因子Wnew在内的数据存储作为最近的辞典数据生成信息。按照这种方式,辞典数据更新处理部件14更新构成个人辞典数据Di的辞典数据生成信息DPIi,n,并且利用更新后的每条辞典数据生成信息DPIi,n的加权因子Wi,n来执行对面部识别辞典数据FRDi的更新。
应当注意,在上述图1所示的方框配置中,面部识别图像处理部件11、面部识别处理部件12、显示信息生成部件13以及包括加权因子计算部件15和辞典数据生成/更新部件16的辞典数据更新处理部件14中的每一个部件都可以用硬件来配置,或者可以被配置为软件功能部件,以使得CPU 1基于ROM 3中所存储的软件程序并且利用RAM 4作为工作区域来执行软件处理。
在上述配置中,辞典数据生成信息DPIi,n至少包括特征向量、时间信息、总分数和加权因子。然而,加权因子可以不被存储,而是在由所捕获的最近的成像时间和所存储的先前成像时间更新面部识别辞典数据FRDi时被计算得到。然而,应当注意,在采用根据第四示例的加权因子计算方法的情况下,由于先前所计算的加权因子未被更新,所以优选地也存储加权因子。
此外,也可以存储所捕获的面部图像的信息而不存储特征向量,并且从所存储的面部图像信息中再次提取特征向量。在那种情况下,辞典数据生成信息DPIi,n中至少可以包括面部图像信息和成像时间信息。
[图1的面部图像识别设备中的处理操作]
[面部识别处理]
接下来,将给出关于在按上述配置的面部图像识别设备中的面部识别处理操作、针对被捕获的面部图像的特征数据的分数计算操作以及面部识别辞典数据生成或更新处理操作的描述。
图16和续接图16的图17是示出了面部识别处理操作的示例的流程图。参考图16和17描述的处理操作在CPU 1的控制下由图像数据输入接口7、面部识别图像处理部件11、面部识别处理部件12和显示信息生成部件13中的每一个来执行。
应当注意,如前所述,通过采用如下配置,可以省略上述相应的部件,在该配置中,CPU 1基于ROM 3中所存储的软件程序并且利用RAM4作为工作区域来执行作为软件处理的上述每个部件的处理。
首先,CPU 1经由图像数据输入接口7捕获包括面部图像的图像数据和包括Exif信息的伴随信息,并将这些信息传送到面部识别图像处理部件11(步骤S101)。
基于来自CPU 1的控制开始命令,面部识别图像处理部件11根据上述接收到的图像数据执行面部图像和眼睛检测以及基于所检测到的眼睛位置的面部旋转处理,并且由通过绘制特征点所得到的数据生成特征向量(步骤S102)。此时,成像时间信息被从伴随图像数据的Exif信息中提取并且被保持。
然后,如果特征向量的生成成功,则面部识别图像处理部件11输出针对该结果的信息和所生成的特征向量,并且如果由于面部图像的图像数据大小太小的原因导致特征向量的生成失败,则面部识别图像处理部件11输出指示特征向量的生成失败的信息。
CPU 1基于来自面部识别图像处理部件11的信息,判断面部图像的特征数据的生成是否已经成功(步骤S103)。然后,如果指示生成面部图像的特征向量失败的信息已从面部识别图像处理部件11输出,并且从而确定特征向量的生成失败,则CPU 1将针对该结果的信息传送到显示信息生成部件13。
接收到这个指示生成面部图像的特征向量失败的信息之后,显示信息生成部件13生成并输出图8中所示的验证错误通知屏幕的显示信息。CPU1经由显示接口6将该验证错误通知屏幕的显示信息发送给显示器9,并且如图8中所示,显示指示不能利用所捕获的面部图像执行验证并且所捕获的面部图像将不被用于辞典的消息29(步骤S104)。
此外,如果在步骤S103中确定指示生成面部图像的特征向量成功的信息和所生成的特征向量已从面部识别图像处理部件11输出,则CPU 1将指示成功的信息和所生成的特征向量传送给面部识别处理部件12。
基于这样接收到的面部图像的特征向量,面部识别处理部件12搜索面部识别辞典数据库10中的面部识别辞典数据FRDi,以查找可被判定为匹配的面部识别辞典数据FRDi。在检测到可被判定为匹配的面部识别辞典数据FRDi之后,面部识别处理部件12输出针对此结果的信息以及与被判定为匹配的那个面部识别辞典数据FRDi相对应的个人指定信息,该个人指定信息在本示例中是个人的姓和名信息。如果未能检测到可被判定为匹配的面部识别辞典数据FRDi,则面部识别处理部件12输出针对此结果的信息(步骤S105)。
响应于来自面部识别处理部件12的输出,CPU 1判断是否已检测到可被判定为匹配的面部识别数据FRDi(步骤S106),并且在确定已检测到可被判定为匹配的面部识别辞典数据FRDi之后,CPU 1将从面部识别处理部件12接收到的个人的姓和名信息与指示面部识别成功的信息一起传送给显示信息生成部件13,所述个人的姓和名信息作为与已被判定为匹配的面部识别辞典数据FRDi相对应的个人指定信息。
接收到指示面部识别成功的信息以及个人的姓和名信息之后,显示信息生成部件13生成并输出如图5中所示的面部识别结果确认屏幕的显示信息,催促用户确认面部识别结果。CPU 1经由显示接口6向显示器9发送该面部识别结果确认屏幕的显示信息,并显示如图5中所示的消息22,询问用户面部识别结果是否正确(步骤S107)。
然后,CPU 1等待图5中所示的屏幕上的用户确认操作输入,并且判断这个确认操作输入是否指示面部识别的验证结果正确(步骤S108)。如果判断出用户的确认操作输入指示验证结果“正确”,则CPU 1执行针对面部识别辞典数据库10的更新例程(步骤S109)。后面将描述针对面部识别辞典数据库10的这个更新例程的细节。
如果在步骤S108中判断出用户确认操作输入指示验证结果“错误”,则CPU 1向显示信息生成部件13发送针对该结果的信息。然后,显示信息生成部件13生成并输出如图6中所示的面部识别结果错误屏幕的显示信息,因此CPU 1经由显示接口6向显示器9发送该显示信息,并显示图6中所示的消息25,催促用户输入姓和名以指定所捕获的面部图像是谁的面部图像(图17中的步骤S111)。
然后,CPU 1等待用户向姓名输入字段26中输入姓和名(步骤S112)。在确定姓和名的输入已被接受之后,CPU 1判断是否存在针对所输入的姓和名的个人辞典数据Di(步骤S113)。然后,如果判断出存在针对所输入的姓和名的个人辞典数据Di,则处理转到步骤S109,以执行面部识别辞典数据库10的更新例程。
如果在步骤S113中判断出面部识别辞典数据库10中不存在针对所输入的姓和名的个人辞典数据Di,则利用所输入的姓和名作为个人指定信息,CPU 1将与该个人指定信息相关联的个人辞典数据Di存储并新记录到面部识别辞典数据库10中(步骤S114)。在这种情况下,如图2中所示,要被新纪录的个人辞典数据Di包括诸如特征向量、成像时间和所捕获的面部图像的加权因子之类的信息。由于针对第一次被捕获的面部图像只存在一个特征向量,所以该特征向量也可以按原样被记录为面部识别辞典数据。
应当注意,上述将个人辞典数据Di新记录到面部识别辞典数据库10中的操作也可以作为下述面部识别辞典数据库10的更新处理的一部分而被执行。
接下来,如果在步骤S106中判断出没有检测到可被判定为与所捕获的面部图像的特征向量相匹配的面部识别辞典数据FRDi,则CPU 1向显示信息生成部件13发送针对该结果的信息。在接收到指示没有检测到可被判定为匹配的面部识别辞典数据FRDi的信息之后,显示信息生成部件13生成并输出如图7中所示的面部识别结果不匹配的显示信息,以通知用户“不匹配”的面部识别结果。CPU 1经由显示接口6向显示器9发送该显示信息,并显示图7中所示的消息28,催促用户输入姓和名以指定所捕获的面部图像是谁的面部图像(图17中的步骤S115)。
然后,CPU 1等待用户向姓名输入字段27中输入姓和名(步骤S112)。在确定姓和名的输入已被接受之后,利用所输入的姓和名作为个人指定信息,CPU 1将与该个人指定信息相关联的个人辞典数据Di存储并新记录到面部识别辞典数据库10中(步骤S114)。
[面部识别辞典数据库的更新处理]
接下来,将给出对图16的步骤S109中对面部识别辞典数据库的更新处理的描述。图18是示出了面部识别辞典数据库的更新处理的示例的流程图。在本实施例中,图18中所示的每个处理步骤由包括加权因子计算部件15和辞典数据生成/更新部件16的辞典数据更新处理部件14在CPU1的控制下来执行。应当注意,如前所述,通过采用如下配置,可以省略上述相应的部件,在该配置中,CPU 1基于ROM 3中所存储的软件程序并且利用RAM 4作为工作区域来执行作为软件处理的上述每个部件的处理。
应当注意,为了简单起见,以下描述针对于个人指定信息Di的N条辞典数据生成信息DPIi,n已被存储之后的处理的情形。
首先,辞典数据更新处理部件14读取与已被指定的个人指定信息相对应的个人辞典数据Di的辞典数据生成信息DPIi,n的所有片段,丢弃具有最早成像时间的信息DPIi,1,并且将辞典数据生成信息DPIi,n的序列顺序移向更早的成像时间。然后,新捕获的特征向量和成像时间信息又被存储到面部识别辞典数据库10中作为最近信息DPIi,N(步骤S201)。
接下来,辞典数据更新处理部件14从面部识别辞典数据库10中读取加权因子参数设置信息ST,并将加权因子参数设置信息ST传送给加权因子计算部件15,从而通知加权因子计算部件15采用哪种加权因子计算方法(步骤S202)。
接收到这个加权因子参数设置信息ST之后,加权因子计算部件15首先判断用户所选择的加权因子计算方法是否是根据上述第四示例“根据成像间隔(与先前图像的时间差)设置加权因子”的方法(步骤S203)。
如果在步骤S203中判断出用户所选择的加权因子计算方法不是上述第四示例的方法,则加权因子计算部件15获取更新后的个人辞典数据Di的辞典数据生成信息DPIi,n的所有片段的成像时间信息Ti,n(n=1到N),并且重新计算和更新所有加权因子Wi,n(n=1到N)(步骤S204)。
然后,在上述步骤S204之后,辞典数据生成/更新部件16获取在步骤S204中所生成的加权因子Wi,n(n=1到N),并将这样获取的加权因子Wi,n(n=1到N)分配给相应的特征向量Vi,n。然后,辞典数据生成/更新部件16利用上述图15中所示的(公式4)生成或更新面部识别辞典数据FRDi,并将所生成或更新的面部识别辞典数据FRDi写回到面部识别辞典数据库10中,作为与上述个人指定信息相对应的面部识别辞典数据FRDi(步骤S206)。
如果在步骤S203中判断出用户所选择的加权因子计算方法是上述第四示例的方法,则加权因子计算部件15从更新后的个人辞典数据Di的辞典数据生成信息DPIi,n中获取最近的成像时间信息Ti,N和其紧挨着的前一成像时间信息Ti,(N-1),并计算针对最近的特征向量Vi,N的加权因子Wi,N(步骤S205)。
然后,在上述步骤S205之后,辞典数据生成/更新部件16获取在步骤S204中所生成的加权因子Wi,N,获取针对先前的辞典数据生成信息的所有片段的加权因子Wi,n(n=1到(N-1)),并将这样获取的加权因子分配给相应的特征向量Vi,n。然后,辞典数据生成/更新部件16利用上述图15中所示的(公式4)生成或更新面部识别辞典数据FRDi,并将所生成或更新的面部识别辞典数据FRDi写回到面部识别辞典数据库10中,作为与上述个人指定信息相对应的面部识别辞典数据FRDi(步骤S206)。
[加权因子的重新计算]
接下来,将参考图19和续接图19的图20描述图18的步骤S204和S205中所示的加权因子计算处理。应当注意,虽然图18的处理过程是从重新计算针对所有特征向量的加权因子或者只计算针对在新成像时间处所捕获的特征向量的加权因子的角度来描述的,但是图19和20示出了其中通过顺序地确定加权因子参数设置信息ST来执行处理的情况。
就是说,如图19中所示,加权因子计算部件15首先判断用户所选择的加权因子计算方法是否是按照成像顺序计算加权因子的方法(步骤S301)。
如果在步骤S301中判断出所选择的方法是根据成像顺序计算加权因子的方法,则加权因子计算部件15获取更新后的个人辞典数据Di的辞典数据生成信息DPIi,n的所有片段的成像时间信息Ti,n(n=1到N),并且计算最早成像时间Ti,1和每个成像时间Ti,n(n=1到N)之间的时间差ΔTi(1_n)(n=1 to N)(步骤S302)。
然后,加权因子计算部件15判断基于成像顺序的加权因子设置方法是否是线性地设置加权因子的方法(步骤S303)。如果判断出设置方法是线性地设置加权因子的方法,如上面参考线性计算方法所描述的,则加权因子计算部件15利用上述(公式1)计算针对每个特征向量Vi,n的加权因子Wi,n,并将计算出的加权因子Wi,n传送给辞典数据生成/更新部件16(步骤S304)。然后,该处理例程结束。
如果在步骤S303中判断出基于成像顺序的加权因子设置方法是非线性地设置加权因子的方法,如上面参考非线性计算方法所描述的,则加权因子计算部件15利用上述(公式2)计算针对每个特征向量Vi,n的加权因子Wi,n,并将计算出的加权因子Wi,n传送给辞典数据生成/更新部件16(步骤S305)。然后,该处理例程结束。
如果在步骤S301中判断出用户所选择的加权因子计算方法不是根据成像顺序计算加权因子的方法,则加权因子计算部件15判断用户所选择的加权因子计算方法是否是根据上述第四示例的基于成像间隔(与先前图像的时间差)的设置方法(图20中的步骤S311)。
如果在步骤S311中判断出用户所选择的加权因子计算方法不是根据上述第四示例的基于成像间隔(与先前图像的时间差)的设置方法,而是根据上述第三示例的基于成像间隔(区段)的设置方法,如以上参考图13A和13B所描述的,则加权因子计算部件15设置多个划分区段,并且针对这样设置的每个划分区段,计算该划分区段中所包括的成像次数k(步骤S312)。
接下来,加权因子计算部件15根据计算出的成像次数设置每个划分区段的加权因子(步骤S313)。然后,加权因子计算部件15判断每个成像时间Ti,n属于哪个划分区段,并且基于这个判断结果,计算与每个成像时间Ti,n相对应的加权因子Wi,n(步骤S314)。然后,这个处理例程结束。
这样计算出的每个加权因子Wi,n被传送到辞典数据生成/更新部件16,并且被存储为每个辞典数据生成信息DPIi,n。
如果在步骤S311中判断出用户所选择的加权因子计算方法是根据上述第四示例的基于成像间隔(与先前图像的时间差)的设置方法,则加权因子计算部件15计算新捕获的面部图像的成像时间Ti,N和紧挨着的前一成像时间Ti,(N-1)之间的时间差ΔTi(N_N-1)(步骤S315)。
然后,加权因子计算部件15根据上述计算公式(公式3)计算在新成像时间Ti,N处捕获的面部图像的特征向量的加权因子Wi,N(步骤S316)。然后,该处理例程结束。
计算出的加权因子Wi,N被传送给辞典数据生成/更新部件16,并被存储作为辞典数据生成信息DPIi,N。
应当注意,以上描述是针对如下情形进行的:其中,在个人识别被执行之后,在该个人识别之后,执行利用新捕获的面部图像对面部识别辞典数据的更新。然而,也可以暂时地存储新捕获的面部图像的数据或特征向量、时间信息和加权因子,并且在个人识别之后适当的时间点处执行对面部识别辞典数据的更新。
[实施例的效果]
如前所述,根据上述实施例,在面部识别辞典数据FRDi的更新计算时,与采用N条辞典数据生成信息DPIi,n的各个特征向量的简单平均不同的是,将每个特征向量与基于成像时间而计算并且随着成像时间的推后而变大的加权因子相乘,并且将这些相乘后的值的总和除以加权因子的总和。因此,每个特征向量根据其成像时间来对面部识别辞典数据FRDi的生成做出贡献,从而使得可以获得更准确的辞典数据。
[其它实施例]
虽然以上描述是针对本发明被应用于面部识别处理设备的情况,但是很自然地,本发明的应用范围不局限于这种利用面部图像的个人识别设备。
例如本发明还可以应用于如下情况,其中,在个人识别处理中,基于随时间而变化的识别元素(例如,人的声音)来执行个人识别,并且基于那些识别元素中的每个识别元素被捕获的捕获时间计算加权因子,从而更新用于个人识别的辞典数据。
本领域技术人员应当理解,根据设计需要和其它因素,可以进行各种修改、组合、子组合和变化,只要在所附权利要求或其等同物的范围内即可。
本发明包含与2006年11月21日向日本专利局提交的日本专利申请JP 2006-313735有关的主题,该在先申请的全部内容通过引用结合于此。

Claims (18)

1.一种个人识别设备,包括:
辞典数据存储装置,该装置与用于指定要被识别的个人的个人指定信息相关联地存储所述个人的识别辞典数据,所述识别辞典数据由从用于识别所述个人的识别元素中提取的特征数据生成;
识别装置,该装置用于将从提取自所述个人的识别元素中提取的特征数据与所述辞典数据存储装置中的所述识别辞典数据进行比较,以识别具有被捕获的识别元素的个人;
时间获取装置,该装置用于获取关于从所述个人捕获的识别元素的捕获时间的信息;
个人指定装置,该装置用于基于所述识别装置对所述个人的识别的结果,来获得指定具有所述被捕获的识别元素的个人的所述个人指定信息;
辞典数据生成信息存储装置,该装置用于将所述被捕获的识别元素的数据或者从所述识别元素提取的特征数据以及所述时间获取装置所获取的时间信息,与所述个人指定装置所获取的所述个人指定信息相关联地添加和存储到所述辞典数据生成信息存储装置中;以及
辞典数据更新处理装置,该装置用于利用关于所述时间获取装置新获取的捕获时间的信息、关于先前已获取并与所述个人指定装置所获取的所述个人指定信息相关联地被存储在所述辞典数据生成信息存储装置中的所述识别元素的捕获时间的信息、以及在每个捕获时间处捕获的特征数据,生成或更新与所述个人指定装置所获取的所述个人指定信息相对应的所述识别辞典数据,所述辞典数据更新处理装置被配置为通过利用根据每条特征数据的捕获时间的加权因子对每条特征数据进行加权来更新所述识别辞典数据。
2.根据权利要求1所述的个人识别设备,其中所述辞典数据更新处理装置包括:
加权因子计算装置,该装置用于利用所述时间获取装置新获取的时间信息和关于先前获取的并且与所述个人指定装置所获取的个人指定信息相关联地被存储在所述辞典数据生成信息存储装置中的所述识别元素的捕获时间的信息,来计算针对所述新捕获的识别元素的特征数据的加权因子以及针对先前捕获的所述识别元素的特征数据的加权因子;以及
辞典数据生成或更新装置,该装置用于将所述加权因子计算装置所计算的所述加权因子中的每一个分配给先前所捕获的并且与所述个人指定装置所获取的个人指定信息相关联地被存储在所述辞典数据生成信息存储装置中的所述识别元素的特征数据,并且分配给所述新获取的识别元素的特征数据,并且该装置用于利用多条加权后的特征数据来生成或更新与所述个人指定装置所获取的所述个人指定信息相关联地被存储的所述识别辞典数据。
3.根据权利要求1所述的个人识别设备,其中所述辞典数据更新处理装置包括:
加权因子计算装置,该装置用于利用所述时间获取装置新获取的时间信息和关于先前获取的并且与所述个人指定装置所获取的所述个人指定信息相关联地被存储在所述辞典数据生成信息存储装置中的所述识别元素的捕获时间的信息,来计算针对所述新捕获的个人的识别元素的特征数据的加权因子,并且该装置用于将计算出的加权因子添加并存储到所述辞典数据生成信息存储装置中;以及
辞典数据生成或更新装置,该装置用于将被存储在所述辞典数据生成信息存储装置中的相应的加权因子分配给先前所获取的并且与所述个人指定装置所获取的所述个人指定信息相关联地被存储在所述辞典数据生成信息存储装置中的所述识别元素的特征数据,将所述加权因子计算装置所计算出的加权因子分配给所述新获取的识别元素的特征数据,并且利用多条加权后的特征数据生成或更新与所述个人指定装置所获取的个人指定信息相关联地被存储的所述识别辞典数据。
4.根据权利要求1所述的个人识别设备,其中:
所述辞典数据生成信息存储装置存储有限条数的可以与所述个人指定信息相关联地被存储的个人的识别元素的数据或者有限条数的从所述识别元素提取的特征数据,以及有限条数的所述时间获取装置所获取的时间信息;并且
在存储了所述有限条数的可以与所述个人指定信息相关联地被存储在所述辞典数据生成信息存储装置中的所述识别元素的数据或特征数据以及所获取的时间信息之后,当所述个人的识别元素被新捕获到时,则具有最早捕获时间的数据被丢弃,并且所述新捕获的识别元素的数据或特征数据以及所捕获的时间信息被存储到所述辞典数据生成信息存储装置中。
5.根据权利要求1所述的个人识别设备,其中:
所述加权因子计算装置基于所述识别元素的捕获时间计算针对每条特征数据的加权因子,以使得所述加权因子向着时间序列中的最近点线性增大。
6.根据权利要求1所述的个人识别设备,其中:
所述加权因子计算装置基于所述识别元素的捕获时间计算针对每条特征数据的加权因子,以使得所述加权因子向着时间序列中的最近的时间点非线性增大。
7.根据权利要求1所述个人识别设备,其中:
所述加权因子计算装置基于所述识别元素的每个捕获时间和所述识别元素的最早捕获时间之间的时间差来计算针对每条特征数据的加权因子。
8.根据权利要求1所述的个人识别设备,其中:
所述加权因子计算装置将包括所述识别元素的最早捕获时间和最近捕获时间的时间段划分成多个预定时间长度区段,对每个所述预定时间长度区段中所包括的所述识别元素的捕获次数进行计数,并且对于每个所述预定时间长度区段,计算针对每条特征数据的加权因子,以使得所述加权因子随着所述计数值的变大而增大。
9.根据权利要求1所述的个人识别设备,其中:
当所述识别元素被新捕获到时,所述加权因子计算装置基于所述新捕获的识别元素的捕获时间和紧挨着所述新捕获的识别元素之前被捕获的识别元素的捕获时间之间的时间差,计算针对所述新捕获的识别元素的特征数据的加权因子。
10.根据权利要求1所述的个人识别设备,其中:
所述个人识别设备包括供所述加权因子计算装置使用的多种加权因子计算方法;以及
所述个人识别设备还包括用于询问用户要使用所述多种加权因子计算方法中的哪种方法,并且接受用户的选择并针对所述询问进行设置的装置,
其中所述加权因子计算装置利用所述用户所选择并设置的加权因子计算方法来计算所述加权因子。
11.一种个人识别方法,包括:
识别步骤,该步骤将从提取自个人的识别元素中提取的特征数据与由所述特征数据生成的要被识别的个人的识别辞典数据进行比较,以识别具有所述被捕获的识别元素的个人,所述识别辞典数据与用于指定所述个人的个人指定信息相关联地被存储在辞典数据存储部件中;
时间获取步骤,该步骤获取关于从所述个人捕获的识别元素的捕获时间的信息;
个人指定步骤,该步骤基于在所述识别步骤中对所述个人的识别的结果,来获得指定具有所述被捕获的识别元素的个人的所述个人指定信息;
辞典数据生成信息存储步骤,该步骤将所述被捕获的识别元素的数据或从所述识别元素提取的特征数据以及在所述时间获取步骤中所获取的时间信息,与在所述个人指定步骤中所获取的所述个人指定信息相关联地添加和存储到所述辞典数据生成信息存储部件中;以及
辞典数据更新处理步骤,该步骤利用关于在所述时间获取步骤中新获取的捕获时间的信息、关于先前已获取并与在所述个人指定步骤中所获取的所述个人指定信息相关联地被存储在所述辞典数据生成信息存储部件中的所述识别元素的捕获时间的信息、以及在每个捕获时间处捕获的特征数据,生成或更新与在所述个人指定步骤中所获取的所述个人指定信息相对应的所述识别辞典数据,所述辞典数据更新处理步骤被配置为通过利用根据每条特征数据的捕获时间的加权因子对每条特征数据进行加权来更新所述识别辞典数据。
12.根据权利要求11所述的个人识别方法,其中所述辞典数据更新处理步骤包括:
加权因子计算步骤,该步骤利用在所述时间获取步骤中新获取的时间信息和关于先前获取的并且与所述个人指定步骤中所获取的个人指定信息相关联地被存储在所述辞典数据生成信息存储部件中的所述识别元素的捕获时间的信息,来计算针对所述新捕获的识别元素的特征数据的加权因子以及针对先前捕获的所述识别元素的特征数据的加权因子;以及
辞典数据生成或更新步骤,该步骤将在所述加权因子计算步骤中所计算的所述加权因子中的每一个分配给先前所捕获的并且与在所述个人指定步骤中所获取的个人指定信息相关联地被存储在所述辞典数据生成信息存储部件中的所述识别元素的特征数据,并且分配给所述新获取的识别元素的特征数据,并且该步骤用于利用多条加权后的特征数据来生成或更新与在所述个人指定步骤中所获取的所述个人指定信息相关联地被存储的所述识别辞典数据。
13.根据权利要求11所述的个人识别方法,其中所述辞典数据更新处理步骤包括:
加权因子计算步骤,该步骤利用在所述时间获取步骤中新获取的时间信息和关于先前获取的并且与在所述个人指定步骤中所获取的所述个人指定信息相关联地被存储在所述辞典数据生成信息存储部件中的所述识别元素的捕获时间的信息,来计算针对所述新捕获的个人的识别元素的特征数据的加权因子,并且该步骤用于将所述计算出的加权因子添加并存储到所述辞典数据生成信息存储部件中;以及
辞典数据生成或更新步骤,该步骤将被存储在所述辞典数据生成信息存储部件中的相应的加权因子分配给先前所获取的并且与在所述个人指定步骤中所获取的所述个人指定信息相关联地被存储在所述辞典数据生成信息存储部件中的所述识别元素的特征数据,并将所述加权因子计算步骤中所计算出的加权因子分配给所述新获取的识别元素的特征数据,并且利用多条加权后的特征数据生成或更新与在所述个人指定步骤中所获取的个人指定信息相关联地被存储的所述识别辞典数据。
14.一种个人识别设备中的识别辞典数据更新方法,所述个人识别设备将要被识别的个人的识别辞典数据与从捕获自个人的识别元素中提取的特征数据进行比较,以识别具有所述被捕获的识别元素的个人,所述识别辞典数据由从用于识别所述个人的识别元素中提取并且与用于指定所述个人的个人指定信息相关联地被存储的特征数据生成,所述更新方法包括:
时间获取步骤,该步骤获取关于从所述个人捕获的识别元素的捕获时间的信息;
个人指定步骤,该步骤基于对具有所述被捕获的识别元素的个人的识别结果,来获得指定具有所述被捕获的识别元素的个人的所述个人指定信息;
辞典数据生成信息存储步骤,该步骤将个人的被捕获的识别元素的数据或从所述识别元素提取的特征数据以及在所述时间获取步骤中所获取的时间信息,与在所述个人指定步骤中所获取的所述个人指定信息相关联地添加和存储到所述辞典数据生成信息存储部件中;以及
辞典数据更新处理步骤,该步骤利用关于在所述时间获取步骤中新获取的捕获时间的信息、关于先前已获取并与在所述个人指定步骤中所获取的所述个人指定信息相关联地被存储在所述辞典数据生成信息存储部件中的所述识别元素的捕获时间的信息、以及在每个捕获时间处捕获的特征数据,生成或更新与在所述个人指定步骤中所获取的所述个人指定信息相对应的所述识别辞典数据,所述辞典数据更新处理步骤被配置为通过利用根据每条特征数据的捕获时间的加权因子对每条特征数据进行加权来更新所述识别辞典数据。
15.根据权利要求14所述的识别辞典数据的更新方法,其中所述辞典数据更新处理步骤包括:
加权因子计算步骤,该步骤利用在所述时间获取步骤中新获取的时间信息和关于先前获取的并且与所述个人指定装置所获取的个人指定信息相关联地被存储在所述辞典数据生成信息存储部件中的所述识别元素的捕获时间的信息,计算针对所述新捕获的识别元素的特征数据的加权因子以及针对先前捕获的所述识别元素的特征数据的加权因子;以及
辞典数据生成或更新步骤,该步骤将在所述加权因子计算步骤中所计算的所述加权因子中的每一个分配给先前所捕获的并且与在所述个人指定步骤中所获取的个人指定信息相关联地被存储在所述辞典数据生成信息存储部件中的所述识别元素的特征数据,并且分配给所述新获取的识别元素的特征数据,并且该步骤用于利用多条加权后的特征数据来生成或更新与在所述个人指定步骤中所获取的所述个人指定信息相关联地被存储的所述识别辞典数据。
16.根据权利要求14所述的识别辞典数据的更新方法,其中所述辞典数据更新处理步骤包括:
加权因子计算步骤,该步骤利用在所述时间获取步骤中新获取的时间信息和关于先前获取的并且与在所述个人指定步骤中所获取的所述个人指定信息相关联地被存储在所述辞典数据生成信息存储部件中的所述识别元素的捕获时间的信息,计算针对所述新捕获的个人的识别元素的特征数据的加权因子,并且该步骤用于将所述计算出的加权因子添加并存储到所述辞典数据生成信息存储部件中;以及
辞典数据生成或更新步骤,该步骤将被存储在所述辞典数据生成信息存储部件中的相应的加权因子分配给先前所获取的并且与在所述个人指定步骤中所获取的所述个人指定信息相关联地被存储在所述辞典数据生成信息存储部件中的所述识别元素的特征数据,将所述加权因子计算装置所计算出的加权因子分配给所述新获取的识别元素的特征数据,并且利用多条加权后的特征数据生成或更新与在所述个人指定步骤中所获取的个人指定信息相关联地被存储的所述识别辞典数据。
17.一种个人识别设备中的识别辞典数据更新程序,所述个人识别设备将要被识别的个人的识别辞典数据与从被捕获的个人的识别元素中提取的特征数据进行比较,以识别具有所述被捕获的识别元素的个人,所述识别辞典数据由从用于识别所述个人的识别元素中提取并且与用于指定所述个人的个人指定信息相关联地被存储的特征数据生成,所述更新程序被配置为通过使计算机执行以下步骤来生成或更新识别辞典数据,所述步骤包括:
时间获取步骤,该步骤获取关于从所述个人捕获的识别元素的捕获时间的信息;
个人指定步骤,该步骤基于对具有所述被捕获的识别元素的个人的识别结果,来获得指定具有所述被捕获的识别元素的个人的所述个人指定信息;
辞典数据生成信息存储步骤,该步骤将个人的被捕获的识别元素的数据或从所述识别元素提取的特征数据以及在所述时间获取步骤中所获取的时间信息,与在所述个人指定步骤中所获取的所述个人指定信息相关联地添加和存储到所述辞典数据生成信息存储部件;以及
辞典数据更新处理步骤,该步骤利用关于在所述时间获取步骤中新获取的捕获时间的信息、关于先前已获取并与在所述个人指定步骤中所获取的所述个人指定信息相关联地被存储在所述辞典数据生成信息存储部件中的所述识别元素的捕获时间的信息、以及在每个捕获时间处捕获的特征数据,生成或更新与在所述个人指定步骤中所获取的所述个人指定信息相对应的所述识别辞典数据,所述辞典数据更新处理步骤被配置为通过利用根据每条特征数据的捕获时间的加权因子对每条特征数据进行加权来更新所述识别辞典数据。
18.一种个人识别设备,包括:
辞典数据存储部件,该部件与用于指定要被识别的个人的个人指定信息相关联地存储用于所述个人的识别辞典数据,所述识别辞典数据由从用于识别个人的识别元素中提取的特征数据生成;
识别部件,该部件将从提取自所述个人的识别元素中提取的特征数据与所述辞典数据存储部件中的所述识别辞典数据进行比较,以识别具有被捕获的识别元素的个人;
时间获取部件,该部件获取关于从所述个人捕获的识别元素的捕获时间的信息;
个人指定部件,该部件基于所述识别部件对所述个人的识别的结果,来获得指定具有所述被捕获的识别元素的个人的所述个人指定信息;
辞典数据生成信息存储部件,该部件将所述被捕获的识别元素的数据或从所述识别元素提取的特征数据以及所述时间获取部件所获取的时间信息,与所述个人指定部件所获取的所述个人指定信息相关联地添加和存储到所述辞典数据生成信息存储部件中;以及
辞典数据更新处理部件,该部件利用关于所述时间获取部件新获取的捕获时间的信息、关于先前已获取并与所述个人指定部件所获取的所述个人指定信息相关联地被存储在所述辞典数据生成信息存储部件中的所述识别元素的捕获时间的信息、以及在每个捕获时间处捕获的特征数据,生成或更新与所述个人指定部件所获取的所述个人指定信息相对应的所述识别辞典数据,所述辞典数据更新处理部件被配置为通过利用根据每条特征数据的捕获时间的加权因子对每条特征数据进行加权来更新所述识别辞典数据。
CN2007101875208A 2006-11-21 2007-11-21 个人识别设备及方法和识别辞典数据的更新方法及程序 Expired - Fee Related CN101187979B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006-313735 2006-11-21
JP2006313735A JP4305672B2 (ja) 2006-11-21 2006-11-21 個人識別装置、個人識別方法、識別用辞書データの更新方法および識別用辞書データの更新プログラム
JP2006313735 2006-11-21

Publications (2)

Publication Number Publication Date
CN101187979A true CN101187979A (zh) 2008-05-28
CN101187979B CN101187979B (zh) 2012-07-04

Family

ID=39463747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101875208A Expired - Fee Related CN101187979B (zh) 2006-11-21 2007-11-21 个人识别设备及方法和识别辞典数据的更新方法及程序

Country Status (5)

Country Link
US (1) US7916903B2 (zh)
JP (1) JP4305672B2 (zh)
KR (1) KR20090004348A (zh)
CN (1) CN101187979B (zh)
TW (1) TWI348119B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808149A (zh) * 2017-11-17 2018-03-16 腾讯数码(天津)有限公司 一种人脸信息标注方法、装置和存储介质
CN109492560A (zh) * 2018-10-26 2019-03-19 深圳力维智联技术有限公司 基于时间尺度的人脸图像特征融合方法、装置和存储介质
CN110431524A (zh) * 2017-03-16 2019-11-08 株式会社理光 信息处理系统、信息处理装置、信息处理程序和信息处理方法

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100825756B1 (ko) * 2006-12-05 2008-04-29 한국전자통신연구원 얼굴 특징 추출 방법 및 그 장치
CN101334780A (zh) * 2007-06-25 2008-12-31 英特维数位科技股份有限公司 人物影像的搜寻方法、系统及存储影像元数据的记录媒体
JP4816717B2 (ja) 2008-12-09 2011-11-16 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4636190B2 (ja) 2009-03-13 2011-02-23 オムロン株式会社 顔照合装置、電子機器、顔照合装置の制御方法、および顔照合装置制御プログラム
JP5385752B2 (ja) * 2009-10-20 2014-01-08 キヤノン株式会社 画像認識装置、その処理方法及びプログラム
TWI427544B (zh) * 2010-09-20 2014-02-21 Egis Technology Inc 具智能學習功能之生物特徵辨識裝置及其方法
JP4893855B1 (ja) 2010-12-21 2012-03-07 オムロン株式会社 画像認証装置、画像処理システム、画像認証装置制御プログラム、コンピュータ読み取り可能な記録媒体、および画像認証方法
JP5746550B2 (ja) * 2011-04-25 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法
JP5050113B1 (ja) * 2011-04-27 2012-10-17 株式会社東芝 映像表示装置、電子機器、映像表示方法
JP2012247840A (ja) * 2011-05-25 2012-12-13 Sony Corp 近隣人物特定装置、近隣人物特定方法、近隣人物特定プログラム及び近隣人物特定システム
JP5868164B2 (ja) * 2011-12-21 2016-02-24 キヤノン株式会社 撮像装置、情報処理システム、制御方法、及びプログラム
JP6161271B2 (ja) * 2011-12-22 2017-07-12 キヤノン株式会社 情報処理装置、その制御方法、及びプログラム
JP5279930B1 (ja) * 2012-03-27 2013-09-04 株式会社東芝 サーバ、電子機器、サーバの制御方法、サーバの制御プログラム
JP2014029623A (ja) * 2012-07-31 2014-02-13 Canon Inc 情報処理装置及び情報処理方法
US9519858B2 (en) * 2013-02-10 2016-12-13 Microsoft Technology Licensing, Llc Feature-augmented neural networks and applications of same
WO2015016262A1 (ja) * 2013-07-30 2015-02-05 日本電気株式会社 情報処理装置、認証システム、認証方法、及びプログラム
CN104573652B (zh) * 2015-01-04 2017-12-22 华为技术有限公司 确定人脸图像中人脸的身份标识的方法、装置和终端
JP6418033B2 (ja) * 2015-03-30 2018-11-07 オムロン株式会社 個人識別装置、識別閾値設定方法、およびプログラム
JP6671268B2 (ja) * 2016-09-12 2020-03-25 株式会社日立製作所 呼気アルコール検知のための認証システム及び認証方法
US10282592B2 (en) * 2017-01-12 2019-05-07 Icatch Technology Inc. Face detecting method and face detecting system
US11176597B2 (en) * 2018-10-30 2021-11-16 Ncr Corporation Associating shoppers together
CN109981890B (zh) * 2019-02-26 2020-10-27 维沃移动通信有限公司 一种提醒任务处理方法、终端及计算机可读存储介质
US11636117B2 (en) 2019-06-26 2023-04-25 Dallas Limetree, LLC Content selection using psychological factor vectors
US11170271B2 (en) * 2019-06-26 2021-11-09 Dallas Limetree, LLC Method and system for classifying content using scoring for identifying psychological factors employed by consumers to take action
CN112150557A (zh) * 2020-09-14 2020-12-29 北京百度网讯科技有限公司 用于路侧感知相机数据流的众数获取方法、装置及介质
WO2022225610A1 (en) * 2021-04-18 2022-10-27 Microsoft Technology Licensing, Llc Object data storage

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3254994B2 (ja) * 1995-03-01 2002-02-12 セイコーエプソン株式会社 音声認識対話装置および音声認識対話処理方法
JP3621245B2 (ja) 1997-12-12 2005-02-16 株式会社東芝 人物認識装置、人物認識方法、および、人物認識プログラムの記録媒体
JP3808639B2 (ja) 1998-10-13 2006-08-16 株式会社東芝 署名照合方法及び装置
JP2000214238A (ja) 1999-01-22 2000-08-04 Toshiba Corp バッテリ駆動予想時間算出装置及びバッテリ駆動予想時間算出方法
JP4645872B2 (ja) 2000-11-29 2011-03-09 オムロン株式会社 制御装置および認証方法
JP2003108984A (ja) * 2001-07-27 2003-04-11 Toshiba Corp 顔画像認識装置、通行制御装置、顔画像認識方法、及び通行制御方法
JP4314016B2 (ja) * 2002-11-01 2009-08-12 株式会社東芝 人物認識装置および通行制御装置
US7804982B2 (en) * 2002-11-26 2010-09-28 L-1 Secure Credentialing, Inc. Systems and methods for managing and detecting fraud in image databases used with identification documents
FR2850190B1 (fr) * 2003-01-21 2006-04-28 Atmel Grenoble Sa Procede et dispositif de reconnaissance de personne
US7421097B2 (en) 2003-05-27 2008-09-02 Honeywell International Inc. Face identification verification using 3 dimensional modeling
JP2005044330A (ja) 2003-07-24 2005-02-17 Univ Of California San Diego 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置
JP2006072540A (ja) 2004-08-31 2006-03-16 Toshiba Corp 個人認証システム
JP2006072770A (ja) 2004-09-02 2006-03-16 Sanyo Electric Co Ltd 顔検出装置および顔向き推定装置
JP2006092491A (ja) 2004-09-27 2006-04-06 Glory Ltd 本人認証装置、本人認証システム、本人認証方法および本人認証プログラム
JP4267584B2 (ja) * 2005-02-28 2009-05-27 株式会社東芝 機器制御装置及びその方法
US7711157B2 (en) * 2006-08-01 2010-05-04 California Institute Of Technology Artificial intelligence systems for identifying objects

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110431524A (zh) * 2017-03-16 2019-11-08 株式会社理光 信息处理系统、信息处理装置、信息处理程序和信息处理方法
CN110431524B (zh) * 2017-03-16 2022-10-21 株式会社理光 信息处理系统、信息处理装置、信息处理程序和信息处理方法
CN107808149A (zh) * 2017-11-17 2018-03-16 腾讯数码(天津)有限公司 一种人脸信息标注方法、装置和存储介质
CN109492560A (zh) * 2018-10-26 2019-03-19 深圳力维智联技术有限公司 基于时间尺度的人脸图像特征融合方法、装置和存储介质

Also Published As

Publication number Publication date
TW200839621A (en) 2008-10-01
TWI348119B (en) 2011-09-01
US7916903B2 (en) 2011-03-29
US20080123907A1 (en) 2008-05-29
KR20090004348A (ko) 2009-01-12
CN101187979B (zh) 2012-07-04
JP4305672B2 (ja) 2009-07-29
JP2008129830A (ja) 2008-06-05

Similar Documents

Publication Publication Date Title
CN101187979B (zh) 个人识别设备及方法和识别辞典数据的更新方法及程序
EP3286679B1 (en) Method and system for identifying a human or machine
EP2199945B1 (en) Biometric authentication device and method, computer-readable recording medium recorded with biometric authentication computer program, and computer system
EP2579183B1 (en) Biometric training and matching engine
KR101426952B1 (ko) 정보처리 장치, 정보처리 방법, 개인 식별 장치 및 개인 식별 장치에서 사전 데이터 생성/갱신 방법
CA2369532C (en) Fingerprint identification system
CN100388312C (zh) 生物测量信息登记装置、校验装置、登记/校验系统和登记方法
GB2579469A (en) Validating identification of a user for purchase of age-restricted items
US20020152034A1 (en) Personal authentication method and device
US20040172562A1 (en) System and method for identity recognition of an individual for enabling an access to a secured system
JPS62157966A (ja) 個人の同一性を確認する方法および装置
CN108335026A (zh) 银行密码信息变更实现方法、设备、系统及存储介质
WO2007084153A2 (en) Multimodal biometric analysis
CN101192931A (zh) 认证系统、认证装置及认证方法
CN106570367B (zh) 基于键盘操作的用户身份识别方法和装置
CN110659908A (zh) 一种数据交易身份验证系统
JP4820593B2 (ja) 本人認証方法及び本人認証システム
CN111585761B (zh) 基于特征函数的身份验证方法、装置和计算机设备
CN111476446A (zh) 业务状态的监控处理方法、装置、设备及存储介质
CN112036894B (zh) 利用虹膜特征及动作特征进行身份确认的方法及系统
WO2016171923A1 (en) Method and system for identifying a human or machine
JP6737062B2 (ja) プログラム及び情報処理装置
CN110570199B (zh) 一种基于用户输入行为的用户身份检测方法及系统
CN108596127B (zh) 一种指纹识别方法、身份验证方法及装置和身份核验机
JP2866461B2 (ja) 指紋照合装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120704

Termination date: 20131121