CN101454803A - 视频的特殊效果检测装置、特殊效果检测方法、特殊效果检测程序及视频再生装置 - Google Patents

视频的特殊效果检测装置、特殊效果检测方法、特殊效果检测程序及视频再生装置 Download PDF

Info

Publication number
CN101454803A
CN101454803A CNA2007800192616A CN200780019261A CN101454803A CN 101454803 A CN101454803 A CN 101454803A CN A2007800192616 A CNA2007800192616 A CN A2007800192616A CN 200780019261 A CN200780019261 A CN 200780019261A CN 101454803 A CN101454803 A CN 101454803A
Authority
CN
China
Prior art keywords
boundary line
frame
image boundary
interval
special
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007800192616A
Other languages
English (en)
Inventor
岩元浩太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN101454803A publication Critical patent/CN101454803A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect

Abstract

图像分界线候补像素检测部，从视频的各帧中检测出作为构成图像分界线的像素的候补的图像分界线候补像素，按帧输出作为确定图像边界线候补像素的信息的图像边界线候补像素信息。线提取部提取出各帧的图像边界线候补像素信息表示的图像边界线候补像素构成的线作为图像边界线，按帧输出作为描述图像边界线的信息的图像边界线描述信息。图像边界线所有帧区间检测部，使用各帧的图像边界线描述信息，判定每一帧中是否有图像边界线，检测出有图像边界线的帧连续的帧区间，作为含特殊效果的帧区间。

Description

视频的特殊效果检测装置、特殊效果检测方法、特殊效果检测程序及视频再生装置
技术领域
本发明涉及一种检测视频中所包含的特殊效果的视频的特殊效果检测装置、特殊效果检测方法及特殊效果检测程序，特别地涉及一种能够检测根据视频的空间的渐次变化的视频切换的视频的特殊效果检测装置、特殊效果检测方法及特殊效果检测程序。根据视频的空间的渐次变化的视频切换例如是擦除和DVE(数字视频特效)。
背景技术
视频的特殊效果是视频切换的一种。在视频的特殊效果中，进行切换前后的视频一面慢慢地改变空间的占有比例，一面切换的这种渐次变化。在视频的特殊效果中，有擦除和DVD(Digital Video Effect：数字视频特效)。图1(A)、(B)是分别表示擦除的例子的说明图。图2(A)～(I)是分别表示DVE的例子的说明图。
如图1所例示的，在擦除中，切换前后的视频的位置是固定的，使显示各视频的区域慢慢地变化，切换画面。如图2所例示的，在DVE中，一个视频的位置是固定的，以在其上重叠的形态，一面伴随另一个视频平行移动、放大缩小、旋转、扭转等的图像转换，一面出现或消失，切换画面。无论哪一个特点都在于，切换前后的视频一面在空间上共存，一面切换画面。此外，无论哪一个，切换的模式是无数的。
与作为通常多用的瞬间的视频切换的镜头转换不同，视频的特殊效果是视频的编辑人员有意的插入的视频切换。视频的特殊效果，被利用在视频的意义的重要之处、和编辑人员想特别赋予印象之处。例如，利用于新的拐角和话题的开始点、和场面的转换点等中。因此，通过检测出视频的特殊效果，理解视频的内容和构造之后，就能够取得重要的信息。
在文献中记载了检测擦除和DVE等特殊效果的方法。
在特开平8-237549号公报(段落0011-0016)和特开2005-237002号公报(段落0031-0035)中，记载着使用邻接帧间的特征量的差分值(帧间差分值)检测根据含擦除的渐次变化的视频切换的方法。在这些中记载的方法中，检测帧的特征量缓慢地变化的区间。在特开平8-237549号公报中记载的方法中，在帧间差分值成为验证某一缓慢变化的阈值以上的帧延续、且累积的帧间差分值成为某另一大的值以上的情况下，检测根据渐次变化的视频切换。作为帧间差分值，使用像素间的辉度值的变化量。在特开2005-237002号公报中记载的方法中，在帧间差分值成为验证某一缓慢变化的阈值以上的帧延续、且在其前后的期间帧间差分值成为某一阈值以下的帧延续的情况下，检测出擦除。
在特开平7-288840号公报(段落011)和特开平11-252501号公报(段落0012-0020)中，记载着检测擦除的方法。擦除具有所谓切换后的视频慢慢地替换切换前的视频的区域、最终切换后的视频替换切换前的视频的整个区域的性质。在这些中记载的方法中，使用擦除具有的性质检测同样变化的擦除。根据邻接帧间的像素间的差分值等，求各帧中的图像的变化区域。用连续的多个帧的图像变化区域的逻辑和来评价得到的综合的图像变化区域，检测擦除。在特开平11-252509号公报(段落0053-0057)中也记载着检测擦除的方法。在特开平11-252509号公报中记载的方法中，一旦预测误差的帧平均变大，就判定为擦除的可能性高。
河合吉彦、马场口登、北桥忠宏在“着眼于广播型运动视频中的数字视频特效的重放场景检测的方法”(电子信息通信学会论文誌D-II、Vol.J84-D-II、No.2、pp.432-435、2001年2月)中公开有检测DVE的方法。在“着眼于广播型运动视频中的数字视频特效的重放场景检测的方法”中记载的方法中，预先登记DVE的图形，通过比较预先登记的DVE的图形和视频，来检测出类似的图形作为DVE。
但是，在上述文献中记载的现有的方法，无法高精度地检测视频的特殊效果，同时不依赖于图形而通用且不会误检测特殊效果以外的视频变化。特殊效果以外的视频变化，例如是拍摄全景、图像电子放大等照相机运动，视频内的物体的运动等的渐次变化。在特开平8-237549号公报和特开平11-252501号公报中记载的方法，虽然不依赖于特殊效果的模式而能通用地应用，但由于使用单纯的帧的特征量的比较，所以不能区别特殊效果的视频变化和特殊效果以外的视频变化。原因是即便在特殊效果以外的视频变化中，也与特殊效果同样，帧的特征量缓慢地变化。由于不能区别特殊效果的视频变化和特殊效果以外的视频变化，所以存在所谓多发生错误检测特殊效果以外的视频变化的问题。
在特开平7-288840号公报和特开平11-252501号公报(段落0012-0020)中记载的方法，由于使用均匀变化的擦除的性质来检测擦除，所以能够将擦除与特殊效果以外的视频变化区分检测。但是，由于DVE随着复杂的图像转换切换视频，所以使用上述的擦除的性质检测DVE是极其困难的。由此，不能通用地检测出所有图形的擦除和DVE。在特开平11-252509号公报中记载的方法，在预测误差的帧平均变大时判定为擦除的可能性高。由于预测误差的帧平均变大不限于擦除的情形，所以特开平11-252509号公报中记载的方法不能高精度地检测擦除等的特殊效果。
在“着眼于广播型运动视频中的数字视频特效的重放场景检测的方法”中记载的方法中，需要按特殊效果的模式登记作业。特殊效果的模式是无数的，不可能事先登记所有模式的特殊效果。在“着眼于广播型运动视频中的数字视频特效的重放场景检测的方法”中记载的方法中，虽然能够检测预先登记了模式的有限的数量的特殊效果，但不能检测没有登记的模式的特殊效果。
特开平6-259561号公报公开了用于高精度且高速计算动态图像中的目标的移动速度和移动方向的计算装置。
特开平9-245167号公报公开了迅速地进行复杂的图像的对照的图像对照方法。
特许第3585977号公报公开了即便在地面上有运动物体的影子，通过图像处理也能正确地求出运动物体的位置的运动区域检测装置。
高木幹雄、下田阳久的监修的“新编图像解析手册”(东京大学出版会、2004年9月)公开了与本发明关联的技术。
John Canny在“A Computational Approach to Edge Detection”(IEEETransactions on Pattern Analysis and Machine Intelligence、Vol.8、No.6、pp.679-698、1986年11月)中公开了与本发明关联的技术。
H.J.Zhang、A.Kankanhalli、S.W.Smoliar在“Automatic Partitioning ofFull-Motion Video”(Multimedia Syatems 1、pp.10-28、1993年)中公开了与本发明关联的技术。
发明内容
本发明目的在于，提供一种不依赖于特殊效果的模式，而通用地、且不会错误检测特殊效果以外的视频变化，能够高精度地检测视频中所含有的特殊效果的视频的特殊效果检测装置、特殊效果检测方法及特殊效果检测程序。
本发明的一个特征在于，着眼于构成特殊效果的帧不依赖于模式，而通用地具有存在于帧内的2个图像之间的边界线(称为图像边界线)。
根据本发明的视频的特殊效果检测装置，通过从构成视频的帧中提取作为存在于帧内的2个图像之间的边界线的图像边界线来检测视频中所包含的特殊效果。视频的特殊效果检测装置优选包括：图像边界线提取部，从输入视频的各帧中提取出作为存在于帧内的2个图像之间的边界线的图像边界线，输出作为描述图像边界线的信息的图像边界线描述信息；以及特殊效果检测部，使用各帧的图像边界线描述信息检测出含特殊效果的帧区间，输出作为确定帧区间的信息的特殊效果帧区间信息。特殊效果代表地是根据擦除或数字视频特效的视频切换。此外，图像边界线还可包含与存在于帧内的2个图像之间的边界线联动而运动的帧内的线。
在根据本发明的视频的特殊效果检测装置中，优选图像边界线提取部，包括：图像边界线候补像素检测部，从输入视频的各帧中，检测出作为构成图像边界线的像素的候补的图像边界线候补像素，按帧输出作为确定图像边界线候补像素的信息的图像边界线候补像素信息；以及线提取部，提取出各帧的图像边界线候补像素信息表示的图像边界线候补像素构成的线作为图像边界线，按帧输出作为描述图像边界线的信息的图像边界线描述信息。
图像边界线候补像素检测部，也可以将满足以下条件中任一个或多个的组合的像素作为图像边界线候补像素检测出来：作为边缘的像素、帧间像素差分值大的像素、属于运动向量零散的区域的像素。
线提取部也可以使用霍夫(Hough)变换提取出图像边界线候补像素构成的直线作为图像边界线。
在根据本发明的视频的特殊效果检测装置中，优选特殊效果检测部，包括图像边界线所有帧区间检测部，使用各帧的图像边界线描述信息，判定在每一帧中是否有图像边界线，检测出有图像边界线的帧连续的帧区间作为含特殊效果的帧区间，输出作为确定帧区间的信息的特殊效果帧区间信息。
通过采用这样的结构，根据本发明的视频的特殊效果检测装置，提取出作为存在于帧内的2个图像之间的边界线的图像边界线，根据提取出的图像边界线检测含特殊效果的帧区间。图像边界线，在构成特殊效果的帧中不依赖于模式而通用地含有，在照相机运动等的特殊效果以外的视频变化的帧中则不含有。由此，能够不依赖于模式而通用地、且不错误检测特殊效果以外的视频变化，能够高精度地检测特殊效果。
在根据本发明的视频的特殊效果检测装置中，优选特殊效果检测部，包括图像边界线连续移动帧区间检测部，检测出各帧的图像边界线描述信息表示的图像边界线连续地移动的帧区间作为含特殊效果的帧区间，输出作为确定帧区间的信息的特殊效果帧区间信息。
图像边界线连续移动帧区间检测部，也可以将描述各帧的图像边界线的参数表示为参数空间内的特征点，检测出在参数空间内表示图像边界线的特征点随时间连续地移动的帧区间作为含特殊效果的帧区间。
通过采用这样的结构，根据本发明的视频的特殊效果检测装置，检测出图像边界线连续地移动的帧区间作为含特殊效果的帧区间。在特殊效果中，图像边界线在帧间连续地移动。由此不依赖于模式而通用地、且不错误检测特殊效果以外的视频变化，能够高精度地检测特殊效果。并且，由于不仅根据图像边界线的有无，还根据图像边界线是否连续地移动，来检测特殊效果，所以与仅根据图像边界线的有无检测特殊效果的结构比较，能够更高精度地检测特殊效果。
在根据本发明的视频的特殊效果检测装置中，优选特殊效果检测部，包括：图像边界线组合提取部，提取出各帧的图像边界线描述信息表示的多个图像边界线的组合，按帧输出作为描述图像边界线的组合的信息的图像边界线组合信息，以及图像边界线组合所有帧区间检测部，使用各帧的图像边界线组合信息，判定每一帧中是否有图像边界线的组合，检测出有图像边界线的组合的帧连续的帧区间作为含特殊效果的帧区间，输出作为确定帧区间的信息的特殊效果帧区间信息。
在根据本发明的视频的特殊效果检测装置中，优选特殊效果检测部，包括：图像边界线组合提取部，提取出各帧的图像边界线描述信息表示的多个图像边界线的组合，按帧输出作为描述图像边界线的组合的信息的图像边界线组合信息，以及图像边界线组合连续移动帧区间检测部，检测出各帧的图像边界线组合信息表示的图像边界线的组合连续地移动的帧区间作为含特殊效果的帧区间，输出作为确定帧区间的信息的特殊效果帧区间信息。
图像边界线组合提取部也可以提取出多个图像边界线形成四角形或四角形的一部分的图像边界线的组合。
图像边界线组合连续移动帧区间检测部，也可以将描述各帧的图像边界线的组合的各自的图像边界线的参数表示为参数空间内的特征点，检测出各特征点在参数空间内随时间连续地移动的帧区间作为含特殊效果的帧区间。
通过采用这样的结构，根据本发明的视频的特殊效果检测装置，从帧中提取出图像边界线的组合，根据提取出的图像边界线的组合来检测含特殊效果的帧区间。图像边界线的组合形成的图像框，在特殊效果当中的构成DVE的帧中含有，在特殊效果以外的视频变化的帧中不含有。由此，不会误检测特殊效果以外的视频变化，能够高精度地检测特殊效果当中的DVE。并且，由于根据多个图像边界线的组合检测特殊效果，所以与仅根据单独的图像边界线检测特殊效果的结构比较，能够更高精度地检测特殊效果当中的DVE。
本发明的效果在于，不依赖于特殊效果的模式通用地、且不会误检测特殊效果以外的视频变化，能够高精度地检测视频中所含有的特殊效果。
其理由是因为，图像边界线提取部，从帧中提取出构成特殊效果的帧中共同含有、在特殊效果以外的视频变化的帧中不含有的图像边界线，特殊效果检测部根据提取出的图像边界线检测含特殊效果的帧区间。
附图说明
图1(A)及(B)是表示擦除的例子的说明图。
图2(A)至(I)是表示DVE的例子的说明图。
图3是表示根据本发明的特殊效果检测装置的第1实施方式的方框图。
图4(A)至(F)是图像边界线的例子的说明图。
图5是表示用于计算运动向量的零散程度的块和此运动向量的一例的说明图。
图6是表示有图像边界线的帧连续的帧区间的一例的说明图。
图7是表示第1实施方式的工作流程图。
图8是表示根据本发明的特殊效果检测装置的第2实施方式的方框图。
图9(A)至(C)是表示图像边界线在帧间连续地移动的状态的一例的说明图。
图10是例示表示描述图像边界线的参数的特征点在参数空间内随时间连续地移动的轨迹的说明图。
图11是表示第2实施方式的工作流程图。
图12是表示根据本发明的特殊效果检测装置的第3实施方式的方框图。
图13(A)至(F)是表示形成图像框的图像边界线的组合的例子的说明图。
图14是表示第3实施方式的工作流程图。
图15是表示根据本发明的特殊效果检测装置的第4实施方式的方框图。
图16是例示表示图像边界线的组合的各自的图像边界线的特征点在参数空间内随时间连续地移动的状态的说明图。
图17是表示第4实施方式的工作流程图。
图18表示根据本发明的特殊效果检测装置的第5实施方式的方框图。
图19是表示构成图像边界线的图像的边缘方向相对于图像边界线的方向变垂直的说明图。
图20是表示根据本发明的特殊效果检测装置的第6实施方式的方框图。
图21是表示根据本发明的特殊效果检测装置的第7实施方式的方框图。
图22是表示根据本发明的特殊效果检测装置的第8实施方式的方框图。
图23是表示根据本发明的特殊效果检测装置的第9实施方式的方框图。
图24是表示根据本发明的特殊效果检测装置的第10实施方式的方框图。
具体实施方式
(第1实施方式)
下面，参照附图，说明本发明的第1实施方式。
图3是表示根据本发明的特殊效果检测装置的第1实施方式的方框图。如图3所示，本发明的第1实施方式的特殊效果检测装置包括图像边界线提取部11和特殊效果检测部21。再有，例如，特殊效果检测装置可以用根据存储在记录介质中的程序执行处理的计算机等的信息处理装置来实现。此情况在以下的各实施方式中也是相同的。
图像边界线提取部11从输入视频的各帧中提取出存在于帧内的作为2个图像之间的边界线的图像边界线，输出作为描述提取出的图像边界线的信息的图像边界线描述信息。图像边界线是指在构成特殊效果的帧内共存的切换前后的2个图像之间的边界线。特殊效果是切换前后的图像一面在空间上共存，一面进行切换的特征。由此，构成特殊效果的帧具有图像边界线。
图4(A)至(F)是表示图像边界线的例子的说明图。在图4(A)至(F)中，符号9表示图像边界线。再有，图像边界线不必是严密地存在于帧内的2个图像之间的边界线。图像边界线也可以包含与存在于帧内的2个图像之间的边界线联动而运动的帧内的线。图像边界线也可以是与存在于帧内的2个图像之间的边界线联动而运动的帧内的线。再有，在此所述的图像边界线的说明，也适用于以后所有实施方式。
图像边界线提取部11包含图像边界线候补像素检测部111和线提取部112。图像边界线候补像素检测部111，从输入视频的各帧中检测出作为构成图像边界线的像素的候补的图像边界线候补像素。然后，图像边界线候补像素检测部111按帧输出作为确定检测出的图像边界线候补像素的信息的图像边界线候补像素信息。再有，在此，作为像素，既可以照旧使用构成输入视频的各帧的像素，也可以使用通过任意的分辨率转换等的图像处理新得到的像素。此外，作为输入视频的帧，既可以使用构成输入视频的所有帧，也可以使用通过任意的取样得到的子集。此情况也适用于以后的所有实施方式。
当检测图像边界线候补像素时，图像边界线候补像素检测部111检测符合特殊效果中的构成图像边界线的像素具有的性质的像素。作为构成图像边界线的像素具有的性质，有所谓构成图像边界线的像素是边缘即图像的亮度急剧变化的之处的像素的性质。因为图像边界线是2个不同的图像之间的边界。检测成为边缘的像素的方法有各种各样，可以使用其中的任意的方法。这些的方法的详细内容记载在例如“新编图像解析手册”的pp.1228-1246中。例如，可以将在“新编图像解析手册”中记载的Prewitt、Sobel、Roberts、Robinson、Kirsch、拉普拉斯算子等的边缘检测操作码应用于图像内的各像素检测成为边缘的像素。此外，也可以使用记载在“AComputational to Edge Detyection”中的Canny的边缘检测法，检测成为边缘的像素。能使作为这样检测出的边缘的像素成为像素边界线候补像素。
作为构成图像边界线的像素具有的另一性质，有所谓构成图像边界线的像素帧间像素差分值大的性质。因为图像边界线运动。为了检测某一帧的帧间像素差分值大的像素，在此帧和邻接此帧的帧的对应的像素之间求像素值的差分值。而且，能够使此差分值比某一阈值更大的像素成为此帧的帧间像素差分值大的像素。此外，在帧间求像素值的差分值时，不仅在与仅邻接的一方向的帧(例如下一帧)，还在与邻接的反方向的帧(例如前一帧)之间求像素值的差分值，将此双方比某一阈值更大的像素作为帧间像素差分值大的像素也是可以的。在此，作为像素值，可以使用按任意的色度图描述的信号值。能够将这样检测出的帧间像素差分值大的像素作为图像边界线候补像素。
虽然可以将具有上述2个性质的任意一个性质的像素作为图像边界线候补像素，但优选共同具有上述性质的像素为图像边界线候补像素。此情况下，分别求具有各自的性质的像素，将具有此双方的性质的像素作为图像边界线候补像素也是可以的。此外，为了抑制计算成本，也可以先求具有任意一个的性质的像素，从这些像素中进一步检测具有另一个性质的像素，作为图像边界线候补像素。
此外，除上述的2个性质外，作为构成图像边界线的像素具有的其它的性质，有所谓构成图像边界线的像素属于运动向量零散区域的性质。因为构成图像边界线的像素处于2个图像间的运动的边界上。在此，运动向量零散区域是多个彼此接近的地点的运动向量的方向和大小不一致的区域。为了检测出运动向量零散区域，例如，按各像素或块等的每一小区域计算表示此像素或小区域的运动向量和其周边的多个像素或小区域的运动向量的、零散的程度的零散程度，能够将计算出的运动向量的零散程度是某一阈值以上的像素或小区域作为运动向量零散区域。
图像边界线候补像素检测部111计算运动向量的零散程度时，例如求成为对象的多个运动向量的平均向量，能够将各运动向量和平均向量的向量间距离的平均值作为运动向量的零散程度。当像这样计算运动向量的零散程度时，在成为对象的多个运动向量的方向和大小一致的情况下，运动向量的零散程度成为0，在成为对象的多个运动向量的方向和大小零散的情况下，运动向量的零散程度变大。再有，计算运动向量的方法，例如记载在“新编图像解析手册”的pp.1495-1498中。
接着，参照附图说明具体例。图5是表示某一块(或也可以看作为像素)和其周边的块的合计9个块时，它们的运动向量的说明图。用(1)式表示这些运动向量，用(2)式表示这些运动向量的平均向量。运动向量的零散程度V，作为由(1)式表示的运动向量和由(2)式表示的平均向量的向量间距离的平均值，能够按(3)式这样计算出。
[数学式1]
(m1，m2，…，m9)…(1)
[数学式2]
m…(2)
[数学式3]
v = 1 9 Σ i = 1 9 | m ‾ - m i | 2 · · · ( 3 )
图像边界线候补像素检测部111按此方式对各块(或像素)计算运动向量的零散程度。图像边界线候补像素检测部111可以检测出属于计算出的运动向量的零散程度是某一阈值以上的块(或像素)的所有像素作为属于运动向量零散区域的像素。再有，在此说明的检测属于运动向量的零散区域的像素的方法，是一个例子，并不仅限于此方法。能够将属于这样检测出的运动向量的零散区域的像素作为图像边界线候补像素。
再有，也可以将属于运动向量的零散区域的像素作为保持不变的图像边界线候补像素。优选将属于运动向量的零散区域、且具有上述其它的2个性质的任意的性质、或双方的性质的像素作为图像边界线候补像素。
此外，图像边界线候补像素检测部111也可以通过膨胀处理提取检测出的图像边界线候补像素的周边的像素，还在图像边界线候补像素中追加周边的像素。图像边界线候补像素信息，如果是确定针对各帧检测出的图像边界线候补像素的信息的话，则可以是任何的信息。图像边界线候补像素信息可以是相对帧内的所有像素用2值表现是不是图像边界线候补像素的2值图像的信息。此外，图像边界线候补像素信息还可以是表示检测出的所有图像边界线候补像素的位置的列表。
线提取部112输入图像边界线候补像素检测部111输出的各帧的图像边界线候补像素信息，针对各帧，提取出图像边界线候补像素信息表示的图像边界线候补像素构成的线作为图像边界线。然后，按帧输出描述提取出的图像边界线的图像边界线描述信息。在此，提取出的图像边界线对于各帧可以是多个。
再有，由于特殊效果中的图像边界线通常是直线，所以线提取部112提取出的图像边界线候补像素构成的线也可以限定为直线。但是，由于还存在含少见的曲线等直线以外的图像边界线的特殊效果，所以在以这些特殊效果为检测的对象的情况下，不应该将线提取部112提取出的图像边界线候补像素构成的线限定为直线。作为提取图像边界线候补像素构成的线的方法，也可以使用从像素的集合中提取线的任意的方法。提取线的方法的例子，例如记载在“新编图像解析手册”的pp.1246-1260中。
作为提取图像边界线候补像素构成的线的方法，优选使用霍夫变换(Hough变换)。霍夫变换是根据对参数空间的投票从图像中提取用参数能够描述的图形(例如直线、圆、椭圆、抛物线)的方法。霍夫变换作为提取直线的方法特别有效。根据霍夫变换的直线提取方法例如记载在“新编图像解析手册”的pp.1254-1256中。在以图像边界线候补像素为输入的霍夫变换中，对通过各图像边界线候补像素的所有直线在参数空间上进行投票，线提取部112提取出投票量多的直线。线提取部112可以将通过以图像边界线候补像素为输入的霍夫变换提取出的直线作为图像边界线。
由于如果是能用参数描述的图形的话就能够提取，所以霍夫变换也能够适用于以曲线等的直线以外的图像边界线为提取的对象的情形。此外，在“新编图像解析手册”的pp.1256-1258中记载的一般化的霍夫变换能够检测任意形状的图形。如果使用一般化霍夫变换就能够提取任意形状的图像边界线。
此外，线提取部112也可以针对提取出的图像边界线检验构成图像边界线的图像边界线候补像素是否沿图像边界线连续地存在。而且，线提取部112在图像边界线候补像素不连续地存在的情况下，认为不适于作为图像边界线，将该图像边界线除外也是可以的。例如，线提取部112沿图像边界线测量图像边界线候补像素连续地存在的长度，将此长度为某一阈值以下的图像边界线除外也是可以的。
图像边界线描述信息是描述在各帧中提取出的图像边界线的信息。在图像边界线是直线的情况下，图像边界线描述信息也可以是描述直线的多维的参数。例如，在根据霍夫变换的直线提取中，设自针对帧定义的(x、y)坐标系中的原点以直线下降的垂线的长度为ρ，垂线和水平轴(x轴)所成的角度为θ，将直线表现为ρ＝xcos θ+sin θ。此情况下，可以将2维的参数(ρ、θ)作为图像边界线描述信息。
此外，也可以将描述构成图像边界线的所有像素的位置的列表作为图像边界线描述信息。但是，仅在向后述的第6实施方式中的边缘方向计算部131提供图像边界线描述信息的情况下，图像边界线描述信息必须是确定构成图像边界线的所有像素的信息。此外，仅在向后述的图像边界线所有帧区间检测部211提供图像边界线描述信息的情况下(第一实施方式等)，对应于图像边界线所有帧区间检测部211执行的处理，图像边界线描述信息也可以是表示各帧是否含图像边界线的2值的信息。再有，在此所述的图像边界线描述信息的说明，也适用于以后所有实施方式。
特殊效果检测部21使用图像边界线提取部11输出的各帧的图像边界线描述信息，检测出含特殊效果的帧区间，输出作为确定检测出的帧区间的信息的特殊效果帧区间信息。
特殊效果检测部21包括图像边界线所有帧区间检测部211。图像边界线所有帧区间检测部211使用图像边界线提取部11输出的各帧的图像边界线描述信息，判定每一帧中是否有图像边界线。然后，图像边界线所有帧区间检测部211检测出有图像边界线的帧连续的帧区间作为含特殊效果的帧区间。然后，图像边界线所有帧区间检测部211输出作为确定检测出的帧区间的信息的特殊效果帧区间信息。在此，存在检测出的图像边界线的帧连续的帧区域不一定要所有帧都有图像边界线。在帧区间的中途可以允许含有某一规定数量的没有图像边界线的帧。此外，在此检测出的帧区间并不必是由多个帧构成的帧区间。检测出有图像边界线的单一的帧作为含特殊效果的帧区间也可以。
作为检测有图像边界线的帧连续的帧区间的方法的一例，有将检测出的帧区间的帧数的最小值设定为N，在有图像边界线的帧连续的帧区间的帧数为N幅以上的情况下，检测帧区间的方法。此时，在帧区间的中途也可以允许含有某一规定数量的不含图像边界线的帧。由于特殊效果由多个帧构成，所以通常设定2以上的数值作为N。例如，优选将N设定为构成作为学习准备的视频中所含有的特殊效果区间的帧数的最小值。图6是表示有图像边界线的帧连续的帧区间的一例的说明图。图6以时序列示出有图像边界线的帧为1、没有的帧为0的视频的帧列。在此例中，在帧区间的中途允许含有不含图像边界线的帧。
特殊效果帧区间信息是确定含检测出的特殊效果的帧区间的信息，例如是表示帧区间的最初的帧和最后的帧的信息。再有，在此所述的特殊效果帧区间信息的说明适用于以后所有实施方式。
能够将以上这样输出的特殊效果帧区间信息利用在输入视频的再生控制中。即除上述结构外，还能够设置根据特殊效果检测装置输出的特殊效果帧区间信息，进行输入视频的再生控制的视频再生控制装置。在具备这样的特殊效果检测装置和视频再生控制装置的视频再生装置中，例如，能够将特殊效果帧区间信息表示的帧区间作为再生的开始点候补和再生的结束点候补来控制再生。
例如，视频再生控制装置将特殊效果帧区间信息表示的帧区间内的任意的帧作为再生的开始点候补，根据用户的再生指示(例如遥控操作等)，进行来自开始点候补的帧的搜索再生。此外，分别设特殊效果帧区间信息表示的帧区间的最初的帧和最后的帧为帧F1和帧F2。设自此特殊效果帧区间前一视频为视频A、后一视频为视频B。并且，视频再生控制装置，在有视频A的再生指示时进行再生直到帧F2，在有视频B的再生指示时，自帧F1开始再生也是可以的。
如背景技术中所说明的，特殊效果利用在视频的意义上重要之处，或编辑者想特别赋予印象之处，例如新的拐角和话题的开始点、场面的转换点等中。因此，通过使用特殊效果检测装置输出的特殊效果帧区间信息进行再生控制，话题和拐角等视频的意义上重要的单位下的视频观赏成为可能。由此，能够及早访问想观赏的视频的部位，能够提供有效的观赏。再有，在此所述的能够将特殊效果检测装置输出的特殊效果帧区间信息利用于输入视频的再生控制中，对于以后所有实施方式也适用。即，除以后所有实施方式的特殊效果检测装置外，还能够设置根据特殊效果检测装置输出的特殊效果帧区间信息进行输入视频的再生控制的视频再生控制装置。
接着，参照图7的流程图，说明第1实施方式的工作。首先，从输入视频取得新帧，提供给图像边界线候补像素检测部111(步骤A01)。在此，在开始执行步骤AO1的情况下，以新帧为开始帧。接着，图像边界线候补像素检测部111从帧中检测出图像边界线候补像素，输出确定检测出的图像边界线候补像素的图像边界线候补像素信息(步骤A02)。
接着，线提取部112提取出图像边界线候补像素信息表示的图像边界线候补像素构成的线作为图像边界线，输出描述提取出的图像边界线的图像边界线描述信息(步骤A03)。接着，图像边界线所有帧区间检测部211使用一直向当前帧输出的图像边界线描述信息，新检测有图像边界线的帧连续的帧区间(步骤A04)。再有，为了防止检测出的帧区间的重复，例如，可以仅在在当前帧中有图像边界线的帧区间结束的情况下，检测帧区间。在新检测出有图像边界线的帧连续的帧区间的情况下，进入步骤A05。在此以外的情况下，进入步骤A06。
在新检测出图像边界线连续的帧区间的情况下，图像边界线所有帧区间检测部211，以此帧区间为含特殊效果的帧区间，输出确定帧区间的特殊效果帧区间信息(步骤A05)。最后，判定当前帧是不是结束帧(步骤A06)，在是结束帧的情况下结束处理。在当前帧不是结束帧的情况下，进入步骤A01，取得视频的下一帧作为新帧，继续进行处理。直到到达结束帧如此执行从步骤A01到AO6的处理。
在第1实施方式中，图像边界线，利用所谓在构成特殊效果的帧中不依赖于模式而通用地含有，且在照相机运动等特殊效果以外的视频变化的帧中不含有的性质。在第1实施方式中，图像边界线提取部11从帧中提取出图像边界线，特殊效果检测部21根据提取出的图像边界线检测含特殊效果的帧区间。因此，在第1实施方式中，有不依赖于模式而能够通用，且不会误检测特殊效果以外的视频变化，能够高精度地检测特殊效果的效果。
(第2实施方式)
接着，参照附图，说明本发明的第2实施方式。
图8是表示根据本发明的特殊效果检测装置的第2实施方式的方框图。如图8所示，本发明的第2实施方式的特殊效果检测装置，包括图像边界线提取部11和特殊效果检测部22。第2实施方式在图3所示的第1实施方式中的特殊效果检测部21被替换为特殊效果检测部22这点上与第1实施方式不同。图像边界线检测部11由于与第1实施方式中的图像边界线检测部11相同，所以在此省略说明。
特殊效果检测部22与第1实施方式中的特殊效果检测部21相同，使用图像边界线提取部11输出的各帧的图像边界线描述信息，检测出含特殊效果的帧区间，输出作为确定帧区间的信息的特殊效果帧区间信息。但是，与第1实施方式中的特殊效果检测部21结构不同。
特殊效果检测部22包含图像边界线连续移动帧区间检测部221。图像边界线连续移动帧区间检测部221检测出图像边界线提取部11输出的各帧的图像边界线描述信息表示的图像边界线连续地移动的帧区间，作为含特殊效果的帧区间。然后，图像边界线连续移动帧区间检测部221，输出作为确定检测出的帧区间的信息的特殊效果帧区间信息。
在特殊效果中，如图9(A)至(C)所例示的，图像边界线9在帧间连续地移动。在此，所谓图像边界线9连续地移动是指随时间图像边界线9一面慢慢地改变位置和斜度一面在帧内移动的状态。例如，在图9(A)所示的例子中，垂直的图像边界线9，以从左向右横切帧的形式连续地移动。此外，在图9(B)所示的例子中，下边的图像边界线9从帧之下向上慢慢地移动。此外，在图9(C)所示的例子中，左边的图像边界线9从帧的之左向右慢慢地移动。
作为检测图像边界线连续地移动的帧区间的方法的一例，有将描述图像边界线的参数表示为参数空间内的特征点，提取出在参数空间内表示图像边界线的特征点随时间连续地移动的帧区间的方法。在此，作为描述图像边界线的参数，使用在第1实施方式中所述的2维的参数(ρ、θ)表示具体例。
图10是在含特殊效果的帧区间中，用2维的参数(ρ、θ)表示图像边界线提取部11提取出的图像边界线，作为特征点在ρ-θ的2维参数空间上描绘的说明图。由于特殊效果中的图像边界线在帧间连续地移动，所以表示描述图像边界线的参数的特征点，也如图10所示，被描绘成在参数空间内随时间连续地移动的轨迹。为了提取出在参数空间内表示图像边界线的特征点随时间连续地移动的帧区间，可以通过评价参数空间内的特征点间的距离来判定特征点的连续性。例如，计算表示在邻接的帧间提取出的图像边界线的特征点间的参数空间中的距离，如果此距离在某一阈值以内，则判定这些帧的图像边界线是连续的。
图像边界线连续移动帧区间检测部221逐次地在邻接的帧间进行此处理。图像边界线连续移动帧区间检测部221在判定为特征点是连续的帧区间成为某一帧数以上的情况下，就能够检测出帧区间作为图像边界线连续地移动的帧区间。此外，图像边界线连续移动帧区间检测部221在判定参数空间内的特征点间的连续性时，还可以进行特征点的预测。例如，图像边界线连续移动帧区间检测部221当判定表示从某一帧(称为当前帧)中提取出图像边界线的特征点是不是与表示从与当前帧相比过去的帧提取出的图像边界线的特征点连续之时，就基于过去的帧的特征点计算当前帧的特征点的预测点，计算此预测点和实际提取出的当前帧的特征点的距离，如果此距离是某一阈值以内的话，则能够判定为是连续的。此外，图像边界线连续移动帧区间检测部221，在判定参数空间内的特征点的连续性时，也可以允许某一固定量的例外值。
此外，如图9(A)至(C)所示，在特殊效果中，通常图像边界线9从帧的一端向另一端连续地移动。所谓帧的一端是指帧的外框的附近的帧内的区域。在特殊效果中，通常，首先在帧的一端出现图像边界线，此图像边界线随时间在帧内连续地移动，最后在帧的另一端消失。
例如，在图9(A)所示的例子中，图像边界线9从帧的左端向右端连续地移动。因此，图像边界线连续移动帧区间检测部221，也可以检查出图像边界线从帧的一端向另一端连续地移动的帧区间作为含特殊效果的帧区间。例如，图像边界线连续移动帧区间检测部221，通过从图像边界线连续地移动的帧区间之中，选择帧区间的最初的帧的图像边界线存在于帧的一端、且帧区间的最后的帧的图像边界线存在于帧的另一端的帧区间，就能够检测出图像边界线从帧的一端向另一端连续地移动的帧区间。再有，在判定图像边界线是否存在于帧的一端时，例如图像边界线连续移动帧区间检测部221计算从帧的外框到图像边界线的距离，在此距离是某一阈值以内的情况下，能够判定为图像边界线存在于帧的一端，在此距离是阈值以上的情况下能够判定为图像边界线不存在于帧的一端。
此外，由于特殊效果是切换前后的视频一面慢慢地改变空间上的占有比例，一面切换渐次变化，所以由图像边界线划分的2个图像区域(例如，纵的图像边界线的情形是其左右的图像区域，横的图像边界线的情形是其上下的图像区域)中，面积随时间减少中的图像区域隶属于切换前的视频，面积随时间增加中的图像区域隶属于切换后的视频。由此，面积随时间减少中的图像区域不类似于切换后的视频的帧，部分类似于切换前的视频的帧。此外，面积随时间增加中的图像区域，不类似于切换前的视频的帧，部分地类似于切换后的视频的帧。
图像边界线连续移动帧区间检测部221在图像边界线连续地移动的帧区间还满足此性质的情况下，可以检测出帧区间作为含特殊效果的帧区间。即，图像边界线连续移动帧区间检测部221，在检测出的图像边界线连续地移动的帧区间还在各帧中，当满足由此帧的图像边界线区分的2个图像区域当中
(a)面积随时间减少中的图像区域不类似于帧区间的之后的帧，
(b)面积随时间减少中的图像区域类似于帧区间的之前的帧，
(c)面积随时间增加中的图像区域不类似于帧区间的之前的帧，
(d)面积随时间增加中的图像区域类似于帧区间的之后的帧
中至少任意一个的性质或多个性质的组合的情况下，也可以检测出帧区间作为含特殊效果的帧区间。在此，所谓帧区间之前/之后的帧既可以是帧区间前1个/后1个帧，也可以是仅帧区间的某一规定数之前/之后的帧。此外，帧区间之前/之后的帧也可以分别为多幅的帧，例如帧区间之前/之后的N帧(N是帧幅数)。
在此，在由图像边界线区分的2个图像区域中，为了分开面积随时间减少中的图像区域、和面积随时间增加中的图像区域，也可以比较此帧的2个图像区域的面积、和由其前后的帧的图像边界线区分的2个图像区域的面积。
此外，为了判断图像区域和帧的类似性，可以使用任何的方法。作为一例，有使用图像区域和在帧中各自包含的像素的统计的性质(图像特征)计算图像区域和帧的类似度(或距离)，根据通过阈值处理判断帧是否与图像区域类似的方法。在此，所谓像素的统计的性质(图像特征)例如是辉度和颜色的直方图、辉度和颜色的平均值·离散值、结构信息等。图像边界线连续移动帧区间检测部221，对每一帧进行类似性的判断，在满足上述性质的帧数超过某一比例的情况下，检测出帧区间作为含特殊效果的帧区间也是可以的。
此外，图像边界线连续移动帧区间检测部221在每一帧中仅进行类似度的计算，计算帧区间整体中的类似度(增加中的图像区域和帧区间的之前的帧的类似度、增加中的图像区域和帧区间的之后的帧的类似度、减少中的图像区域和帧区间的之前的帧的类似度、减少中的图像区域和帧区间的之后的帧的类似度)，判定在帧区间整体中是否满足上述性质，在满足的情况下，可以检测出帧区间作为含特殊效果的帧区间。
此外，图像边界线连续移动帧区间检测部221在判定由图像边界线划分的图像区域和帧区间的前后的帧的类似度时，不需要使用图像区域的整个区域，使用仅图像区域的一部分的区域来判断与帧区间的前后的帧的类似性也是可以的。例如，图像边界线连续移动帧区间检测部221也可以使用由图像边界线划分的图像区域中、仅接近图像边界线的图像区域。此外，图像边界线连续移动帧区间检测部221，也可以使用由图像边界线划分的图像区域中、仅夹在当前帧的图像边界线和邻接帧的图像边界线之间的图像区域。
接着，参照图11的流程图，说明第2实施方式的工作。首先，从输入视频取得新帧，提供给图像边界线候补像素检测部111(步骤B01)。在此，在开始执行步骤BO1的情况下，设新帧为开始帧。接着，图像边界线候补像素检测部111从帧中检测出图像边界线候补像素，输出确定检测出的图像边界线候补像素的图像边界线候补像素信息(步骤B02)。
接着，线提取部112提取出图像边界线候补像素信息表示的图像边界线候补像素构成的线作为图像边界线，输出描述提取出的图像边界线的图像边界线描述信息(步骤B03)。接着，图像边界线连续移动帧区间检测部221使用一直向当前帧输出的图像边界线描述信息，新检测图像边界线描述信息表示的图像边界线连续地移动的帧区间(步骤B04)。再有，为了防止检测出的帧区间的重复，图像边界线连续移动帧区间检测部221，例如，也可以仅在在当前帧中图像边界线连续地移动的帧区间结束的情况下，检测帧区间。在新检测出图像边界线连续地移动的帧区间的情况下，进入步骤B05。在此以外的情况下，进入步骤B06。
在新检测出图像边界线连续的帧区间的情况下，图像边界线连续移动帧区间检测部221以此帧区间为含特殊效果的帧区间，输出确定帧区间的特殊效果帧区间信息(步骤B05)。最后，判定当前帧是不是结束帧(步骤B06)，在是结束帧的情况下结束处理。在当前帧不是结束帧的情况下，进入步骤B01，取得视频的下一帧作为新帧，继续进行处理。直到到达结束帧如此执行从步骤B01到BO6的处理。
在第2实施方式中，在特殊效果中，利用所谓图像边界线在帧间连续地移动的性质。在第2实施方式中，由于检测出图像边界线连续地移动的帧区间作为含特殊效果的帧区间，所以与第1实施方式相同，有不依赖于模式而能够通用，且不会误检测特殊效果以外的视频变化，能够高精度地检测特殊效果的效果。并且，根据第2实施方式，不仅根据图像边界线的有无，还根据图像边界线是否连续地移动来检测特殊效果。因此，根据第2实施方式，与根据图像边界线的有无检测特殊效果的第1实施方式比较，具有能更高精度地检测出特殊效果的效果。
(第3实施方式)
接着，参照附图，说明本发明的第3实施方式。
图12是表示根据本发明的特殊效果检测装置的第3实施方式的方框图。如图12所示，本发明的第3实施方式的特殊效果检测装置，包括图像边界线提取部11和特殊效果检测部23。第3实施方式在图3所示的第1实施方式中的特殊效果检测部21被替换为特殊效果检测部23这点上与第1实施方式不同。图像边界线检测部11由于与第1实施方式中的图像边界线检测部11相同，所以在此省略说明。
特殊效果检测部23与第1实施方式中的特殊效果检测部21相同，使用图像边界线提取部11输出的各帧的图像边界线描述信息，检测出含特殊效果的帧区间，输出作为确定帧区间的信息的特殊效果帧区间信息。但是，特殊效果检测部23与第1实施方式中的特殊效果检测部21结构不同。
特殊效果检测部23包括图像边界线组合提取部231和图像边界线组合所有帧区间检测部232。图像边界线组合提取部231提取出图像边界线提取部11输出的各帧的图像边界线描述信息表示的多个图像边界线的组合。然后，图像边界线组合提取部231按帧输出作为描述提取出的图像边界线的组合的信息的图像边界线组合信息。在此，图像边界线的组合优选是构成特殊效果中的DVE的帧内的、形成在切换前后的2个视频中重叠在上面的视频的显示区域的图像框的组合。
图13(A)至(F)是表示形成上述这样的图像框的图像边界线9的组合的例子的说明图。如图13(A)至(F)所示，由于图像框通常是四角形，所以可以将图像边界线组合提取部231提取出的图像边界线的组合限定在形成四角形的图像边界线的组合。但是，由于还存在图像框是四角形以外的图形的DVE，所以以这些DVE为检测的对象的情况下，不应该将图像边界线组合提取部231提取出的图像边界线的组合限定为形成四角形的图像边界线的组合。
此外，如图13(E)和(F)所示，由于没有限制图像边界线9形成的图像框必须容纳在帧内，所以图像边界线组合提取部231提取出的图像边界线地组合不必是形成封闭的图形的图像边界线的组合。例如，如图13的(E)和(F)所示，图像边界线组合提取部231提取出的图像边界线的组合，也可以是形成四角形的一部分(但是2边以上)的图像边界线9的组合。
在此，示出将图像边界线组合提取部231提取出的图像边界线的组合限定为形成四角形或四角形的一部分的图像边界线的组合，提取图像边界线的组合的方法的一例。为了在帧内提取出多个图像边界线形成的四角形(或四角形的一部分)的组合，图像边界线提取部11可以从所有组合当中探索从在此帧中提取出的多个图像边界线之中、形成满足预先规定的条件的四角形(或四角形的一部分)的图像边界线的组合。作为预先规定的条件的一例，可列举四角形的大小、图像边界线的交差点的位置、图像边界线的交差的角度等。例如，调查作为学习用准备的视频中所含的特殊效果的四角形的图像框就能够设定这些条件。
图像边界线组合信息是描述在各帧中提取出的图像边界线的组合的信息。例如，图像边界线组合信息也可以是描述提取出的图像边界线的组合的各自的图像边界线的图像边界线描述信息的设置等(涉及图像边界线描述信息，参照第1实施方式)。此外，仅在图像边界线组合信息被提供给后述的图像边界线组合所有帧区间检测部232的情况下(第3实施方式等)，对应图像边界线组合所有帧区间检测部232执行的处理，图像边界线组合信息可以是表示各帧是否有图像边界线的组合的2值的信息。在此所述的图像边界线组合信息的说明，适用于以后所有实施方式。
图像边界线组合所有帧区间检测部232使用图像边界线组合提取部231输出的各帧的图像边界线组合信息，判定每一帧中是否有图像边界线的组合。然后，图像边界线组合所有帧区间检测部232检测出有图像边界线的组合的帧连续的帧区间作为含特殊效果的帧区间，输出作为确定此帧区间的信息的特殊效果帧区间信息。在此检测出的有图像边界线的组合的帧连续的帧区间并不一定所有帧都有图像边界线的组合。可以允许在帧区间的中途含有某一规定数量的没有图像边界线的组合的帧。此外，在此检测出的帧区间并不一定是由多个帧构成的帧区间。即便检测出具有图像边界线的组合的单一的帧作为含特殊效果的帧区间也可以。
检测有图像边界线的组合的帧连续的帧区间的方法，作为一例，可以与在第1实施方式的图像边界线所有帧区间检测部211的说明中说明过的、检测有图像边界线的帧连续的帧区间的方法相同。但是，从构成特殊效果的所有帧中检测出图像边界线的组合是不容易的(由于成为检测的对象的四角形的图像框变小了)。此外，大多限制能够检测图像边界线的组合的帧数。因此，在图像边界线组合所有帧区间检测部232中，优选将检测出的帧区间的帧数的最小值N设定为比在图像边界线所有帧区间检测部211中设定的最小值N更小的值。设N＝1也是有效的。
此外，图像边界线组合所有帧区间检测部232可以在有检测出的图像边界线的组合的帧连续的帧区间中，进一步解析各帧的图像边界线的组合构成的图形的面积的随时间的变化。而且，图像边界线组合所有帧区间检测部232可以在面积的时间的变化满足某一基准的情况下，检测出上述的帧区间作为含特殊效果的帧区间。例如，图像边界线组合所有帧区间检测部232也可以在各帧的图像边界线的组合构成的图形的面积随时间单调增加或单调减少的情况下，检测出上述帧区间作为含特殊效果帧区间。
例如，如图2(A)～(H)所示，因为在特殊效果中的DVE中，图像边界线的组合构成的、表示切换前后的2个视频中重叠在上面的视频的显示区域的图像框的面积，通常是单调增加(例如图2的(A)、(D)、(F)、(H))或单调减少的(例如图2的(B)、(C)、(E)、(G))。像这样，限定于各帧的图像边界线的组合构成的图形的面积随时间单调增加或单调减少的情形，当检测出有图像边界线的组合的帧连续的帧区间作为含特殊效果的帧区间时，存在能够更高精度地检测特殊效果当中的DVE的效果。
接着，参照图14的流程图，说明第3实施方式的工作。首先，从输入视频中取得新帧，提供给图像边界线候补像素检测部111(步骤C01)。在此，在开始执行步骤CO1的情况下，设新帧为开始帧。接着，图像边界线候补像素检测部111从帧中检测出图像边界线候补像素，输出确定检测出的图像边界线候补像素的图像边界线候补像素信息(步骤C02)。
接着，线提取部112提取出图像边界线候补像素信息表示的图像边界线候补像素构成的线作为图像边界线，输出描述提取出的图像边界线的图像边界线描述信息(步骤C03)。接着，图像边界线组合提取部231提取出图像边界线描述信息表示多个图像边界线的组合，输出描述提取出的图像边界线的组合的图像边界线组合信息(步骤C04)。
接着，图像边界线组合所有帧区间检测部232使用一直输出到当前帧的图像边界线组合信息，新检测有图像边界线的组合的帧连续的帧区间(步骤C05)。再有，为了防止检测出的帧区间的重复，例如，可以仅在在当前帧中有图像边界线的组合的帧区间结束的情况下，检测该帧区间。在新检测出有图像边界线的组合的帧连续的帧区间的情况下，进入步骤C06。在此以外的情况下，进入步骤C07。
在新检测出图像边界线的组合连续的帧区间的情况下，图像边界线组合所有帧区间检测部232，以此帧区间为含特殊效果的帧区间，输出确定帧区间的特殊效果帧区间信息(步骤C06)。最后，判定当前帧是不是结束帧(步骤C07)，在是结束帧的情况下结束处理。在当前帧不是结束帧的情况下，进入步骤C01，取得视频的下一帧作为新帧，继续进行处理。直到到达结束帧如此执行从步骤C01到CO7的处理。
在第3实施方式中，利用所谓图像边界线的组合形成的图像框，包含在特殊效果中的构成DVE的帧中、不包含在特殊效果以外的视频变化的帧中的性质。在第3实施方式中，从帧中提取出图像边界线的组合，根据提取出的图像边界线的组合检测出含特殊效果的帧区间。因此，有不会误检测特殊效果以外的视频变化，能够高精度地检测特殊效果中的DVE的效果。并且，在第3实施方式中，根据多个图像边界线的组合来检测特殊效果。因此，与根据仅单独的图像边界线来检测特殊效果的第1实施方式比较，具有能更高精度地检测出特殊效果中的DVE的效果。
(第4实施方式)
接着，参照附图，说明本发明的第4实施方式。
图15是表示根据本发明的特殊效果检测装置的第4实施方式的方框图。如图15所示，本发明的第4实施方式的特殊效果检测装置，包括图像边界线提取部11和特殊效果检测部24。第4实施方式在图3所示的第1实施方式中的特殊效果检测部21被替换为特殊效果检测部24这点上与第1实施方式不同。图像边界线检测部11由于与第1实施方式中的图像边界线检测部11相同，所以在此省略说明。
特殊效果检测部24与第1实施方式中的特殊效果检测部21相同，使用图像边界线提取部11输出的各帧的图像边界线描述信息，检测出含特殊效果的帧区间，输出作为确定帧区间的信息的特殊效果帧区间信息。但是，结构与第1实施方式中的特殊效果检测部21不同。
特殊效果检测部24包含图像边界线组合提取部231和图像边界线组合连续移动帧区间检测部241。由于图像边界线组合提取部231与第3实施方式中的图像边界线组合提取部231相同，在此省略说明。
图像边界线组合连续移动帧区间检测部241检测出图像边界线组合提取部231输出的各帧的图像边界线组合信息表示的图像边界线的组合连续地移动的帧区间作为含特殊效果的帧区间，输出作为确定此帧区间的信息的特殊效果帧区间信息。在此，所谓图像边界线的组合连续地移动的帧区间是指图像边界线的组合的各自的图像边界线连续地移动的帧区间。但是，并不一定图像边界线的组合的所有图像边界线要连续地移动。即便图像边界线组合连续移动帧区间检测部241在图像边界线的组合的仅一部分的图像边界线连续地移动的情况下，也可以检测此帧区间作为图像边界线的组合连续地移动的帧区间。
作为检测图像边界线的组合连续地移动的帧区间的方法的一个例子，有将描述从帧中提取出的的图像边界线的组合的各自的图像边界线的参数表示为参数空间内的特征点，检测出各特征在参数空间内随时间连续地移动的帧区间，检测出此帧区间作为图像边界线的组合连续地移动帧区间的方法。
图16是例示在含特殊效果的帧区间中，表示图像边界线的组合的各自的图像边界线的特征点在参数空间内随时间连续地移动的状态的说明图。即便在仅仅是表示图像边界线的组合的一部分的图像边界线的特征点随时间连续地移动的情况下，也可以检测出此帧区间作为图像边界线的组合连续地移动帧区间。检测表示各图像边界线的特征点在参数空间内连续地移动的帧区间的方法，作为一例，与在第2实施方式的图像边界线连续移动帧区间检测部221中说明的方法相同。
此外，图像边界线组合连续移动帧区间检测部241也可以检测出图像边界线组合从帧的一端向另一端连续地移动的帧区间作为含特殊效果的帧区间。即，图像边界线组合连续移动帧区间检测部241可以检测出图像边界线组合的各自的图像边界线从帧的一端向另一端连续地移动的帧区间作为含特殊效果的帧区间。再有，作为检测各个图像边界线从帧的一端向另一端移动的帧区间的方法，使用第2实施方式所述的方法即可。此外，并不一定要图像边界线的组合的所有图像边界线从帧的一端向另一端连续地移动。即便图像边界线组合连续移动帧区间检测部241在仅图像边界线的组合的一部分的图像边界线自帧的一端向另一端连续地移动的情况下，也能够检测出此帧区间作图像边界线的组合从帧的一端向另一端连续地移动的帧区间。
此外，图像边界线组合连续移动帧区间检测部241还可以在检测出的图像边界线的组合连续地移动的帧区间中，进一步解析各帧的图像边界线的组合构成的图形的面积的时间的变化。而且，图像边界线组合连续移动帧区间检测部241在面积的时间的变化满足某一基准的情况下，可以检测出上述帧区间作为含特殊效果的帧区间。例如，图像边界线组合连续移动帧区间检测部241，在各帧的图像边界线的组合构成的图形的面积随时间单调增加或单调减少的情况下，也可以检测出上述帧区间作为含特殊效果帧区间。
与第3实施方式中说明的相同，例如，如图2(A)～(H)所示，因为在特殊效果中的DVE中，图像边界线的组合构成的、表示切换前后的2个视频中重叠在上面的视频的显示区域的图像框的面积，通常是单调增加(例如图2的(A)、(D)、(F)、(H))或单调减少(例如图2的(B)、(C)、(E)、(G))的。像这样，限定于各帧的图像边界线的组合构成的图形的面积随时间单调增加或单调减少的情形，当检测出图像边界线的组合连续地移动的帧区间作为含特殊效果的帧区间时，就有能够更高精度地检测特殊效果当中的DVE的效果。
此外，如针对第2实施方式的图像边界线连续移动帧区间检测部221所说明的，特殊效果由于是切换前后的视频一面慢慢地改变空间上的占有比例，一面切换渐次变化，所以由图像边界线划分的2个图像区域(图像边界线的组合的内部的区域和外部区域)中，面积随时间减少中的图像区域隶属于切换前的视频，面积随时间增加中的图像区域隶属于切换后的视频。由此，面积随时间减少中的图像区域不类似于切换后的视频的帧，部分类似于切换前的视频的帧。此外，面积随时间增加中的图像区域，不类似于切换前的视频的帧，部分地类似于切换后的视频的帧。
图像边界线组合连续移动帧区间检测部241在图像边界线的组合连续地移动的帧区间还满足此性质的情况下，也可以检测出帧区间作为含特殊效果的帧区间。即，图像边界线组合连续移动帧区间检测部241在检测出的图像边界线的组合连续地移动的帧区间还在各帧中，当满足由此帧的图像边界线的组合区分的2个图像区域当中
(a)面积随时间减少中的图像区域不类似于帧区间的之后的帧，
(b)面积随时间减少中的图像区域类似于帧区间的之前的帧，
(c)面积随时间增加中的图像区域不类似于帧区间的之前的帧，
(d)面积随时间增加中的图像区域类似于帧区间的之后的帧
中至少任意一个的性质或多个性质的组合的情况下，也可以检测出帧区间作为含特殊效果的帧其间。在此，所谓帧区间之前/之后的帧既可以是帧区间的前1个/后1个帧，也可以是帧区间的仅某一规定数之前/之后的帧。此外，帧区间之前/之后的帧也可以分别为多幅的帧，例如帧区间之前/之后的N帧(N是帧幅数)。
再有，面积随时间减少中的图像区域和面积随时间增加中的图像区域的分别处理，图像区域和帧类似性的判断处理等详细的说明，与第2实施方式的图像边界线连续移动帧区间检测部221的说明相同。
接着，参照图17的流程图，说明第4实施方式的工作。首先，从输入视频中取得新帧，提供给图像边界线候补像素检测部111(步骤D01)。在此，在开始执行步骤DO1的情况下，设新帧为开始帧。
接着，图像边界线候补像素检测部111从帧中检测出图像边界线候补像素，输出确定检测出的图像边界线候补像素的图像边界线候补像素信息(步骤D02)。接着，线提取部112提取出图像边界线候补像素信息表示的图像边界线候补像素构成的线作为图像边界线，输出描述提取出的图像边界线的图像边界线描述信息(步骤D03)。
接着，图像边界线组合提取部231提取出图像边界线描述信息表示的多个图像边界线的组合，输出描述提取出的图像边界线的组合的图像边界线组合信息(步骤D04)。
接着，图像边界线组合连续移动帧区间检测部241使用一直向当前帧输出的图像边界线组合信息，新检测图像边界线组合信息表示的图像边界线的组合连续地移动的帧区间(步骤D05)。再有，为了防止检测出的帧区间的重复，例如，图像边界线组合连续移动帧区间检测部241可以仅在在当前帧中图像边界线的组合连续地移动的帧区间结束的情况下，检测帧区间。在新检测出图像边界线的组合连续地移动的帧区间的情况下，进入步骤D06。在此以外的情况下，进入步骤D07。
在新检测出图像边界线的组合连续地移动的帧区间的情况下，图像边界线组合连续移动帧区间检测部241，以此帧区间为含特殊效果的帧区间，输出确定帧区间的特殊效果帧区间信息(步骤D06)。最后，判定当前帧是不是结束帧(步骤D07)，在是结束帧的情况下结束处理。在当前帧不是结束帧的情况下，进入步骤D01，取得视频的下一帧作为新帧，继续进行处理。直到到达结束帧如此执行从步骤D01到DO7的处理。
在第4实施方式中，检测出图像边界线的组合连续地移动的帧区间作为含特殊效果的帧区间。因此，根据第4实施方式，一面具有第3实施方式的效果，一面与检测有图像边界线的组合的帧连续的帧区间作为含特殊效果的帧区间的第1实施方式比较，具有能更高精度地检测出特殊效果中的DVE的效果。
(第5实施方式)
接着，参照附图，说明本发明的第5实施方式。
图18是表示根据本发明的特殊效果检测装置的第5实施方式的方框图。如图18所示，本发明的第5实施方式的特殊效果检测装置，包括图像边界线提取部12和特殊效果检测部21。第5实施方式在图3所示的第1实施方式中的图像边界线提取部11被替换为图像边界线提取部12这点上与第1实施方式不同。再有，在此，虽然例示在第1实施方式中替换图像边界线提取部11的结构，但也可以是在第2、第3、第4实施方式的任意一个中替换图像边界线提取部11的结构。
图像边界线提取部12与第1实施方式中的图像边界线提取部11相同，从输入视频的各帧中，提取出存在于帧内的作为2个图像之间的边界线的图像边界线，输出作为描述提取出的图像边界线的信息的图像边界线描述信息。但是，与第1实施方式中的图像边界线提取部11结构不同。
图像边界线提取部12包含图像边界线候补像素检测部111、边缘方向计算部121和加权霍夫变换部122。由于图像边界线候补像素检测部111与第1实施方式中的图像边界线候补像素检测部111相同，在此省略说明。
边缘方向计算部121以图像边界线候补像素检测部111输出的各帧的图像边界线候补像素信息为输入，计算出图像边界线候补像素信息表示的各图像边界线候补像素的边缘方向。然后，边缘方向计算部121按帧输出计算出的各图像边界线候补像素的边缘方向。所谓边缘方向是图像的浓度梯度方向，计算边缘方向的方法可以是任意的。边缘方向的计算方法一例，例如记载在“新编图像解析手册”的p.1232中。
加权霍夫变换部122(Hough变换)以图像边界线候补像素检测部111输出的各帧的图像边界线候补像素信息和边缘方向计算部121输出的各帧的各图像边界线候补像素的边缘方向为输入。然后，加权霍夫变换部122对各帧，在使用以图像边界线候补像素为输入的霍夫变换的直线提取方法中，控制接收投票的直线的方向和图像边界线候补像素的边缘方向所成角度，以便越接近垂直越增大投票的分量，来进行投票，提取出直线。加权霍夫变换部122以提取出的直线为图像边界线。加权霍夫变换部122按帧输出描述提取出的图像边界线的图像边界线描述信息。
在以在第1实施方式的线提取部112的说明中说明的图像边界线候补像素为输入的霍夫变换中，各图像边界线候补像素的投票的分量是一样的。加权霍夫变换部122中，接收投票的直线方向和图像边界线候补像素的边缘方向所成的角度越接近垂直、越增大投票的分量这点与第1实施方式不同。作为投票的分量的计算方法，例如有，在设接收投票的直线方向和图像边界线候补像素的边缘方向的所成的角度为θ(但是0≤θ≤π/2)的情况下，设θ为投票的分量的方法。此外，也可以设α为常数，按(4)式这样计算投票的分量W。
[数学式4]
W = exp { - ( π / 2 - θ α ) 2 } · · · ( 4 )
特殊效果检测部21由于与第1实施方式中的特殊效果检测部21相同，在此省略说明。
如图19的说明图所示，在理想的条件下，构成图像边界线的像素的边缘方向有相对于图像边界线的方向垂直这样的性质。在第5实施方式中，利用此性质。在第5实施方式中，通过接收投票的直线方向和图像边界线候补像素的边缘方向所成的角度越接近垂直、越增大投票的分量的霍夫变换，来提取出图像边界线。因此，与第1实施方式比较，在第5实施方式中，能够更高精度地提取出图像边界线。其结果，在第5实施方式中，有能够更高精度地检测特殊效果的效果。
(第6实施方式)
接着，参照附图，说明本发明的第6实施方式。
图20是表示根据本发明的特殊效果检测装置的第6实施方式的方框图。如图20所示，本发明的第6实施方式的特殊效果检测装置，包括图像边界线提取部13和特殊效果检测部21。第6实施方式在图3所示的第1实施方式中的图像边界线提取部11被替换为图像边界线提取部13这点上与第1实施方式不同。再有，在此，虽然例示了在第1实施方式中替换图像边界线提取部11的结构，但也可以是在第2、第3、第4实施方式任意一个中替换图像边界线提取部11的结构。
图像边界线提取部13与第1实施方式中的图像边界线提取部11相同，从输入视频的各帧中，提取出存在于帧内的作为2个图像之间的边界线的图像边界线，输出作为描述提取出的图像边界线的信息的图像边界线描述信息。但是，图像边界线提取部13与第1实施方式中的图像边界线提取部11结构不同。
图像边界线提取部13包含图像边界线候补像素检测部111、线提取部112、边缘方向计算部131和图像边界线过滤部132。图像边界线候补像素检测部111，由于与第1实施方式中的图像边界线候补像素检测部111相同，在此省略说明。线提取部112由于与第1实施方式中的线提取部112相同，在此省略说明。
边缘方向计算部131以线提取部112输出的各帧的图像边界线描述信息为输入，计算出构成图像边界线描述信息表示的图像边界线的各图像边界线候补像素的边缘方向。然后，边缘方向计算部131按帧输出计算出的构成各图像边界线的各图像边界线候补像素的边缘方向。在此，不需要计算出构成图像边界线的所有图像边界线候补像素的边缘方向。边缘方向计算部131也可以仅针对任意取样的图像边界线候补像素计算边缘方向。计算边缘方向的方法可以是任意的。边缘方向的计算方法一例，例如记载在“新编图像解析手册”的p.1232中。
图像边界线过滤部132以线提取部112输出的各帧的图像边界线描述信息和边缘方向计算部131输出的构成各帧的各图像边界线的各图像边界线候补像素的边缘方向为输入。然后，图像边界线过滤部132在统计地判定为图像边界线描述信息表示的图像边界线的方向和构成此图像边界线的各图像边界线候补像素的边缘方向所成角度接近垂直的情况下，输出图像边界线描述信息。在此之外的情况下，图像边界线过滤部132不输出图像边界线描述信息。
在具体的实现方法的一例中，分别计算图像边界线的方向、和构成此图像边界线的各图像边界线候补像素的边缘方向所成角度。在此例中，在计算出的各角度和表示垂直方向的角度(π/2)之差的绝对值成为某一阈值以下的图像边界线候补像素的比例成为某一阈值以上的情况下，统计地判定为图像边界线的方向和构成此图像边界线的各图像边界线候补像素的边缘方向所成角度接近垂直。此外，作为另一实现方法的例子，分别计算图像边界线的方向、和构成此图像边界线的各图像边界线候补像素的边缘方向所成角度。在另一个例子中，在计算出的各角度和表示垂直方向的角度(π/2)之差的绝对值的平均值、或差的2次方的平均值成为某一阈值以下情况下，统计地判定为图像边界线的方向和构成此图像边界线的各图像边界线候补像素的边缘方向所成角度接近垂直。
特殊效果检测部21由于与第1实施方式中的特殊效果检测部21相同，在此省略其说明。
在第6实施方式中，与第5实施方式相同，在理想的条件下，利用构成图像边界线的像素的边缘方向相对于图像边界线的方向垂直这样的性质。在第6实施方式中，在统计地判定为图像边界线的方向和构成此图像边界线的各图像边界线候补像素的边缘方向所成角度不接近垂直的情况下，去除线提取部112提取出的图像边界线。因此，能够减少不是图像边界线的线被作为图像边界线误检测的情形。其结果，具有能够更高精度地检测特殊效果的效果。并且，在第6实施方式中，仅针对构成由线提取部112提取出的图像边界线的图像边界线候补像素计算边缘方向。因此在第6实施方式中，与第5实施方式比较，还有能够抑制计算量的效果。
(第7实施方式)
接着，参照附图，说明本发明的第7实施方式。
图21是表示根据本发明的特殊效果检测装置的第7实施方式的方框图。如图21所示，本发明的第7实施方式的特殊效果检测装置，包括图像边界线提取部14和特殊效果检测部21。第7实施方式在图3所示的第1实施方式中的图像边界线提取部11被替换为图像边界线提取部14这点上与第1实施方式不同。再有，在此，虽然例示在第1实施方式中替换图像边界线提取部11的结构，但也可以是在第2、第3、第4实施方式任意一个中替换图像边界线提取部11的结构。
图像边界线提取部14与第1实施方式中的图像边界线提取部11相同，从输入视频的各帧中，提取出存在于帧内的作为2个图像之间的边界线的图像边界线，输出作为描述提取出的图像边界线的信息的图像边界线描述信息。但是，图像边界线提取部14与第1实施方式中的图像边界线提取部11结构不同。
图像边界线提取部14包含图像边界线候补像素检测部111、线提取部112、运动向量计算部141和图像边界线过滤部142。图像边界线候补像素检测部111，由于与第1实施方式中的图像边界线候补像素检测部111相同，在此省略说明。由于线提取部112与第1实施方式中的线提取部112相同，在此省略说明。
运动向量计算部141以线提取部112输出的各帧的图像边界线描述信息为输入，计算出图像边界线描述信息表示的图像边界线上的多个点的运动向量。然后，运动向量计算部141按帧输出计算出的各图像边界线上的多个点的运动向量。计算运动向量的方法可以是任意的。运动向量的计算方法一例，例如记载在“新编图像解析手册”的pp.1495-1498中。
图像边界线过滤部142以线提取部112输出的各帧的图像边界线描述信息和运动向量计算部141输出的各帧的各图像边界线上的多个点的运动向量为输入。然后，图像边界线过滤部142在图像边界线描述信息表示的图像边界线上的多个点的运动向量的方向和大小不一致的情况下，输出图像边界线描述信息。在此之外的情况下，图像边界线过滤部142不输出图像边界线描述信息。
作为判定图像边界线上的多个点的运动向量的方向和大小不一致的方法的一例，有与第1实施方式的图像边界线候补像素检测部111中说明的方法相同地，计算运动向量的零散的程度的方法。用(5)式表示图像边界线上的多个点(设为N点)的运动向量，用(6)式表示这些运动向量的平均向量。运动向量的零散程度V，作为由(5)式表示的各运动向量和由(6)式表示的平均向量的向量间距离的平均值，能够按(7)式这样计算出。
[数学式5]
(m1，m2，…，mN)…(5)
[数学式6]
m…(6)
[数学式7]。
V = 1 N Σ i = 1 N | m ‾ - m i | 2 · · · ( 7 )
如果这样计算出的图像边界线上的多个点的的运动向量的零散程度是某一阈值以上的话，则能够判定为此图像边界线上的多个点的运动向量的方向和大小不一致。
特殊效果检测部21由于与第1实施方式中的特殊效果检测部21相同，在此省略说明。
图像边界线由于是2个图像间的运动的边界，所以具有图像边界线上的多个点的运动向量的方向和大小不一致这样的性质。在第7实施方式中，利用此性质。在第7实施方式中，在图像边界线上的多个点的运动向量的方向和大小一致的情况下，去除线提取部112提取出的图像边界线。因此，能够减少不是图像边界线的线被作为图像边界线误检测的情形。其结果，具有能够更高精度地检测特殊效果的效果。
(第8实施方式)
接着，参照附图，说明本发明的第8实施方式。
图22是表示根据本发明的特殊效果检测装置的第8实施方式的方框图。如图22所示，本发明的第8实施方式的特殊效果检测装置，包括渐次变化区间检测部3、图像边界线提取部11和特殊效果检测部21。第8实施方式在除图3所示的第1实施方式的结构还具有渐次变化区间检测部3这点上与第1实施方式不同。再有，在此，虽然例示出第1实施方式的结构和渐次变化区间检测部3的组合，但也可以是其它实施方式的结构和渐次变化区间检测部3的组合。
渐次变化区间检测部3从输入视频的各帧中提取出特征量，通过比较自各帧中提取出的特征量，来检测作为视频缓慢地变化的区间的渐次变化区间。渐次变化区间检测部3提供检测出的渐次变化区间的帧列作为图像边界线提取部11的输入。
从各帧中提取出的特征量可以是任意的。根据从各帧中提取出的特征量的比较来检测渐次变化区间的方法，例如记载在特开平8-237549号公报、特开2005-237002号公报、“Automatic Partitioning of Full-MotionVideo”中。虽然可以使用这些文献中记载的方法，但也可以使用除根据特征量的比较来检测渐次变化区间之外的方法。
在第8实施方式中，从输入视频的渐次变化区间中检测特殊效果。因此，在第8实施方式中，与除从直接输入视频中检测特殊效果之外的实施方式比较，有能够更高速地检测视频的特殊效果的效果。
(第9实施方式)
接着，参照附图，说明本发明的第9实施方式。
图23是表示根据本发明的特殊效果检测装置的第9实施方式的方框图。如图23所示，本发明的第9实施方式的特殊效果检测装置，包括图像边界线提取部11、特殊效果检测部21和帧比较部4。第9实施方式在除图3所示的第1实施方式的结构外还具有帧比较部4这点上与第1实施方式不同。再有，在此，虽然例示第1实施方式的结构和帧比较部4的组合，但也可以是其它实施方式的结构和帧比较部4的组合。
帧比较部4接收特殊效果检测部21输出的特殊效果帧区间信息，从输入视频中获取特殊效果帧区间信息表示的帧区间的前后的帧，提取出获得的帧的特征量。然后，帧比较部4比较提取出的特征量，判定在帧区间的前后是否切换了视频。帧比较部4在判定为切换视频的情况下，输出特殊效果帧区间信息。在此以外的情况下，帧比较部4不输出特殊效果帧区间信息。
在此，获取的帧区间的前后的帧，不必是帧区间的前一个及后一个的帧。可以是帧区间的仅某一规定数前及后的帧。此外，帧区间的前后的帧还可以是各个多幅的帧、例如帧区间的前后的N帧(N是帧幅数)。此情况下，帧比较部4，比较帧区间的前后的多幅的帧的特征量，判定在帧区间的前后是否切换视频也是可以的。从帧中提取出的特征量可以是任意的。
作为比较帧区间的前后的帧的特征量判定在帧区间的前后是否切换视频的方法的一例，有计算特征量间的距离(或类似度)，在计算出的距离是某一阈值以上(或类似度是阈值以下)的情况下判定为切换视频的方法。也可以用任意的方法计算出特征量间的距离和类似度。在此，例如，优选从作为学习用准备的视频中调查视频切换的前后的帧的特征量之间的距离(或类似度)来设定阈值。
在第9实施方式中，在判定为在特殊效果检测部21输出的特殊效果帧区间信息表示的帧区间的前后未切换视频的情况下，去除特殊效果检测部21输出的特殊效果帧区间信息。因此，在第9实施方式中，有能够减少误检测不是特殊效果的情形的效果。
(第10实施方式)
接着，参照附图，说明本发明的第10实施方式。
图24是表示根据本发明的特殊效果检测装置的第10实施方式的方框图。如图24所示，本发明的第10实施方式的特殊效果检测装置，包括图像边界线提取部11、特殊效果检测部21和过滤部5。第10实施方式在除图3所示的第1实施方式的结构外还具有过滤部5这点上与第1实施方式不同。再有，在此，虽然例示第1实施方式的结构和过滤部5的组合，但也可以是其它实施方式的结构和过滤部5的组合。
过滤部5接收特殊效果检测部21输出的特殊效果帧区间信息，限制特殊效果帧区间信息并输出，以便限制在任意的时间区间检测出的含特殊效果的帧区间的数。例如，过滤部5将时间区间长设定为L，限制特殊效果检测部21输出的特殊效果帧区间信息表示的帧区间，以使其在视频中的任意的位置的时间区间长L中最大仅含1个，输出仅表示被限制的帧区间的特殊效果帧区间信息。限制的方法是任意的。例如，也可以使特殊效果帧区间信息表示的帧区间的区间长长的帧区间优先等。
在第10实施方式中，能够抑制在短的时间区间内多数检测特殊效果，有能够防止连续地发生误检测的效果。
根据上述实施方式，能够检测出作为视频的意义上的重要部位的拐角和话题等的开始点。由此，上述实施方式能够适用于视频的自动构造化中。

Claims (31)

1、一种视频的特殊效果检测装置，具备：
图像边界线提取部，从构成视频的帧中提取出作为存在于帧内的2个图像之间的边界线的图像边界线；以及
特殊效果检测部，根据图像边界线检测出视频中所包含的特殊效果。
2、根据权利要求1所述的视频的特殊效果检测装置，其中，
图像边界线提取部，从视频的各帧中提取出作为存在于帧内的2个图像之间的边界线的图像边界线，输出作为描述上述图像边界线的信息的图像边界线描述信息，
特殊效果检测部，使用各帧的上述图像边界线描述信息检测出含特殊效果的帧区间，输出作为确定上述帧区间的信息的特殊效果帧区间信息。
3、根据权利要求2所述的视频的特殊效果检测装置，其中，特殊效果是根据擦除或数字视频特效的视频切换。
4、根据权利要求2或3所述的视频的特殊效果检测装置，其中，图像边界线还包含与存在于帧内的2个图像之间的边界线联动而运动的帧内的线。
5、根据权利要求2至4任意一项所述的视频的特殊效果检测装置，其中，
图像边界线提取部，包括：
图像边界线候补像素检测部，从视频的各帧中，检测出作为构成图像边界线的像素的候补的图像边界线候补像素，按帧输出作为确定上述图像边界线候补像素的信息的图像边界线候补像素信息；以及
线提取部，提取出各帧的上述图像边界线候补像素信息表示的图像边界线候补像素构成的线作为图像边界线，按帧输出作为描述上述图像边界线的信息的图像边界线描述信息。
6、根据权利要求5所述的视频的特殊效果检测装置，其中，
图像边界线候补像素检测部，将满足以下条件中任一个或多个的组合的像素作为图像边界线候补像素检测出来：
作为边缘的像素、帧间像素差分值大的像素、属于运动向量零散的区域的像素。
7、根据权利要求5或6所述的视频的特殊效果检测装置，其中，线提取部使用霍夫变换，提取出图像边界线候补像素构成的直线作为图像边界线。
8、根据权利要求2至7任意一项所述的视频的特殊效果检测装置，其中，
特殊效果检测部，包括：
图像边界线所有帧区间检测部，使用各帧的图像边界线描述信息，判定每一帧中是否有图像边界线，将有图像边界线的帧连续的帧区间作为含特殊效果的帧区间检测出来，输出作为确定上述帧区间的信息的特殊效果帧区间信息。
9、根据权利要求2至7任意一项所述的视频的特殊效果检测装置，其中，
特殊效果检测部，包括：
图像边界线连续移动帧区间检测部，将各帧的图像边界线描述信息表示的图像边界线连续地移动的帧区间，作为含特殊效果的帧区间检测出来，输出作为确定帧区间的信息的特殊效果帧区间信息。
10、根据权利要求9所述的视频的特殊效果检测装置，其中，图像边界线连续移动帧区间检测部，将描述各帧的图像边界线的参数表示为参数空间内的特征点，将在上述参数空间内表示上述图像边界线的上述特征点随时间连续地移动的帧区间，作为含特殊效果的帧区间检测出来。
11、根据权利要求9或10所述的视频的特殊效果检测装置，其中，图像边界线连续移动帧区间检测部，将图像边界线从帧的一端向另一端连续地移动的帧区间，作为含特殊效果的帧区间检测出来。
12、根据权利要求9至11任意一项所述的视频的特殊效果检测装置，其中，图像边界线连续移动帧区间检测部，通过对图像边界线连续地移动的帧区间，评价各帧中由帧的上述图像边界线划分的2个图像区域的至少一个图像区域、和上述帧区间之前及之后的帧的至少一个帧的该图像区域之间的类似性，来检测出上述帧区间作为含特殊效果的帧区间。
13、根据权利要求2至7任意一项所述的视频的特殊效果检测装置，其中，
特殊效果检测部，包括：
图像边界线组合提取部，提取出各帧的图像边界线描述信息表示的多个图像边界线的组合，按帧输出作为描述上述图像边界线的组合的信息的图像边界线组合信息，以及
图像边界线组合所有帧区间检测部，使用各帧的上述图像边界线组合信息，判定每一帧中是否有图像边界线的组合，将有图像边界线的组合的帧连续的帧区间，作为含特殊效果的帧区间检测出来，输出作为确定上述帧区间的信息的特殊效果帧区间信息。
14、根据权利要求13所述的视频的特殊效果检测装置，其中，图像边界线组合所有帧区间检测部，还解析各帧的图像边界线的组合构成的图形的面积在时间上的变化，在上述面积在时间上的变化满足一基准的情况下，检测出上述帧区间作为含特殊效果的帧区间。
15、根据权利要求14所述的视频的特殊效果检测装置，其中，图像边界线组合所有帧区间检测部，在面积随时间单调增加或单调减少的情况下，检测出帧区间作为含特殊效果的帧区间。
16、根据权利要求2至7任意一项所述的视频的特殊效果检测装置，其中，
特殊效果检测部，包括：
图像边界线组合提取部，提取出各帧的图像边界线描述信息表示的多个图像边界线的组合，按帧输出作为描述上述图像边界线的组合的信息的图像边界线组合信息，以及
图像边界线组合连续移动帧区间检测部，将各帧的图像边界线组合信息表示的图像边界线的组合连续地移动的帧区间，作为含特殊效果的帧区间检测出来，输出作为确定上述帧区间的信息的特殊效果帧区间信息。
17、根据权利要求13至16任意一项所述的视频的特殊效果检测装置，其中，图像边界线组合提取部，提取出多个图像边界线形成四角形或四角形的一部分的图像边界线的组合。
18、根据权利要求16或17所述的视频的特殊效果检测装置，其中，图像边界线组合连续移动帧区间检测部，将描述各帧的图像边界线的组合的各自的图像边界线的参数，表示为参数空间内的特征点，将上述各特征点在上述参数空间内随时间连续地移动的帧区间，作为含特殊效果的帧区间检测出来。
19、根据权利要求16至18任意一项所述的视频的特殊效果检测装置，其中，图像边界线组合连续移动帧区间检测部，将图像边界线的组合从帧的一端向另一端连续地移动的帧区间，作为含特殊效果的帧区间检测出来。
20、根据权利要求16至19任意一项所述的视频的特殊效果检测装置，其中，图像边界线组合连续移动帧区间检测部，还解析各帧的图像边界线的组合构成的图形的面积在时间上的变化，在上述面积在时间上的变化满足一基准的情况下，检测出上述帧区间作为含特殊效果的帧区间。
21、根据权利要求20所述的视频的特殊效果检测装置，其中，图像边界线组合连续移动帧区间检测部，在面积随时间单调增加或单调减少的情况下，检测出帧区间作为含特殊效果的帧区间。
22、根据权利要求16至21任意一项所述的视频的特殊效果检测装置，其中，图像边界线组合连续移动帧区间检测部，通过对图像边界线的组合连续地移动的帧区间，评价各帧中由帧的上述图像边界线划分的2个图像区域的至少一个图像区域、和上述帧区间之前及之后的帧的至少一个帧的该图像区域之间的类似性，来检测出上述帧区间作为含特殊效果的帧区间。
23、根据权利要求2至22任意一项所述的视频的特殊效果检测装置，其中，
图像边界线提取部，包括：
图像边界线候补像素检测部，从视频的各帧中，检测出作为构成图像边界线的像素的候补的图像边界线候补像素，按帧输出作为确定上述图像边界线候补像素的信息的图像边界线候补像素信息；
边缘方向计算部，计算出各帧的上述图像边界线候补像素信息表示的各图像边界线候补像素的边缘方向，按帧输出计算出的各图像边界线候补像素的上述边缘方向；以及
加权霍夫变换部，对每一帧，在使用以上述图像边界线候补像素信息表示的图像边界线候补像素为输入的霍夫变换的直线提取方法中，按照使得接收投票的直线的方向和上述图像边界线候补像素的上述边缘方向所成角度越接近垂直则越增大投票的分量的方式进行控制并投票，提取出直线，以提取出的上述直线为图像边界线，输出作为描述上述图像边界线的信息的图像边界线描述信息。
24、根据权利要求5至23任意一项所述的视频的特殊效果检测装置，其中。
图像边界线提取部，还包括：
边缘方向计算部，计算出构成各帧的图像边界线描述信息表示的图像边界线的各图像边界线候补像素的边缘方向，按帧输出计算出的构成上述图像边界线的各图像边界线候补像素的上述边缘方向；以及
图像边界线过滤部，对每一帧，在统计地判定为上述图像边界线描述信息表示的图像边界线的方向和构成上述图像边界线的各图像边界线候补像素的上述边缘方向所成角度接近垂直的情况下，输出上述图像边界线描述信息。
25、根据权利要求5至24任意一项所述的视频的特殊效果检测装置，其中，
图像边界线提取部，还包括：
运动向量计算部，计算出各帧的图像边界线描述信息表示的图像边界线上的多个点的运动向量，按帧输出计算出的上述图像边界线上的多个点的上述运动向量；以及
图像边界线过滤部，对每一帧，在上述图像边界线描述信息表示的图像边界线上的多个点的上述运动向量的方向和大小不一致的情况下，输出上述图像边界线描述信息。
26、根据权利要求2至25任意一项所述的视频的特殊效果检测装置，包括：
渐次变化检测部，从视频的各帧中提取出特征量，通过比较自各帧中提取出的特征量，检测出视频缓慢地变化的区间即渐次变化区间，输出上述渐次变化区间的帧列；
上述视频是由上述渐次变化检测部预先限定在渐次变化区间中的视频。
27、根据权利要求2至26任意一项所述的视频的特殊效果检测装置，包括：
帧比较部，从视频中获取特殊效果检测部输出的特殊效果帧区间信息表示的帧区间的前后帧，提取出所获得的上述帧的特征量，比较提取出的上述特征量，判定在上述帧区间的前后视频是否被切换过，在判定为视频被切换过的情况下，输出上述特殊效果帧区间信息。
28、根据权利要求2至27任意一项所述的视频的特殊效果检测装置，包括：
过滤部，接收特殊效果检测部输出的特殊效果帧区间信息，限制上述特殊效果帧区间信息并进行输出，以限制在任意的时间区间检测出的含特殊效果的帧区间的数量。
29、一种视频再生装置，包括：
权利要求2至28任意一项所述的视频的特殊效果检测装置；以及
视频再生控制装置，根据上述视频的特殊效果检测装置输出的特殊效果帧区间信息进行视频的再生控制。
30、一种视频的特殊效果检测方法，
从视频的各帧中提取出作为存在于帧内的2个图像之间的边界线的图像边界线；
输出作为描述上述图像边界线的信息的图像边界线描述信息；
使用各帧的上述图像边界线描述信息检测出含特殊效果的帧区间；
输出作为确定上述帧区间的信息的特殊效果帧区间信息。
31、一种视频的特殊效果检测程序，在计算机中执行以下处理：
从视频的各帧中提取出作为存在于帧内的2个图像之间的边界线的图像边界线的处理；
输出作为描述上述图像边界线的信息的图像边界线描述信息的处理；
使用各帧的上述图像边界线描述信息检测出含特殊效果的帧区间的处理；以及
输出作为确定上述帧区间的信息的特殊效果帧区间信息的处理。
CNA2007800192616A 2006-05-25 2007-05-16 视频的特殊效果检测装置、特殊效果检测方法、特殊效果检测程序及视频再生装置 Pending CN101454803A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP145694/2006 2006-05-25
JP2006145694 2006-05-25

Publications (1)

Publication Number Publication Date
CN101454803A true CN101454803A (zh) 2009-06-10

Family

ID=38778378

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007800192616A Pending CN101454803A (zh) 2006-05-25 2007-05-16 视频的特殊效果检测装置、特殊效果检测方法、特殊效果检测程序及视频再生装置

Country Status (6)

Country Link
US (1) US20090263023A1 (zh)
EP (1) EP2028619A4 (zh)
JP (1) JPWO2007138858A1 (zh)
KR (1) KR20090006861A (zh)
CN (1) CN101454803A (zh)
WO (1) WO2007138858A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675425A (zh) * 2019-08-22 2020-01-10 腾讯科技（深圳）有限公司 一种视频边框识别方法、装置、设备及介质

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2216983A1 (en) * 2009-02-05 2010-08-11 Mitsubishi Electric R&D Centre Europe B.V. Detection of wipe transitions in video
US9904845B2 (en) * 2009-02-25 2018-02-27 Honda Motor Co., Ltd. Body feature detection and human pose estimation using inner distance shape contexts
US9311708B2 (en) 2014-04-23 2016-04-12 Microsoft Technology Licensing, Llc Collaborative alignment of images
US9413477B2 (en) 2010-05-10 2016-08-09 Microsoft Technology Licensing, Llc Screen detector
US9508011B2 (en) * 2010-05-10 2016-11-29 Videosurf, Inc. Video visual and audio query
JP2011247957A (ja) * 2010-05-24 2011-12-08 Toshiba Corp パターン検査方法および半導体装置の製造方法
JP5113881B2 (ja) * 2010-06-03 2013-01-09 株式会社デンソー 車両周辺監視装置
US20120017150A1 (en) * 2010-07-15 2012-01-19 MySongToYou, Inc. Creating and disseminating of user generated media over a network
US8705866B2 (en) * 2010-12-07 2014-04-22 Sony Corporation Region description and modeling for image subscene recognition
US8503792B2 (en) * 2010-12-17 2013-08-06 Sony Corporation Patch description and modeling for image subscene recognition
JP5472137B2 (ja) * 2011-01-24 2014-04-16 株式会社デンソー 境界検出装置、および境界検出プログラム
WO2013002653A1 (en) * 2011-06-27 2013-01-03 Chan Shun Heng Method of analysing a video of sports motion
WO2013008746A1 (ja) * 2011-07-14 2013-01-17 株式会社メガチップス 直線検出装置および直線検出方法
JP5911122B2 (ja) * 2011-07-14 2016-04-27 株式会社メガチップス 直線検出装置および直線検出方法
JP5856401B2 (ja) * 2011-07-28 2016-02-09 株式会社メガチップス 直線検出装置および直線検出方法
JP5871571B2 (ja) 2011-11-11 2016-03-01 株式会社Pfu 画像処理装置、矩形検出方法及びコンピュータプログラム
JP5854774B2 (ja) * 2011-11-11 2016-02-09 株式会社Pfu 画像処理装置、直線検出方法及びコンピュータプログラム
JP5822664B2 (ja) 2011-11-11 2015-11-24 株式会社Pfu 画像処理装置、直線検出方法及びコンピュータプログラム
JP2013232829A (ja) * 2012-05-01 2013-11-14 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2014092899A (ja) * 2012-11-02 2014-05-19 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
KR102121530B1 (ko) * 2013-04-25 2020-06-10 삼성전자주식회사 영상을 디스플레이 하는 방법 및 그 장치
JP6676873B2 (ja) * 2014-09-22 2020-04-08 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US10484601B2 (en) * 2015-08-31 2019-11-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP6590021B2 (ja) * 2018-04-19 2019-10-16 コニカミノルタ株式会社 画像処理装置及び照射野認識方法
CN109600559B (zh) * 2018-11-29 2021-07-23 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
CN109474850B (zh) * 2018-11-29 2021-07-20 北京字节跳动网络技术有限公司 运动像素视频特效添加方法、装置、终端设备及存储介质
CN110298662B (zh) * 2019-07-04 2022-03-22 中国工商银行股份有限公司 交易重复提交的自动化检测方法及装置
CN110503010B (zh) * 2019-08-06 2022-05-06 北京达佳互联信息技术有限公司 素材显示方法、装置以及电子设备、存储介质
CN110913205B (zh) * 2019-11-27 2022-07-29 腾讯科技（深圳）有限公司 视频特效的校验方法及装置
CN111182364B (zh) * 2019-12-27 2021-10-19 杭州小影创新科技股份有限公司 一种短视频版权检测方法及系统
CN112906553B (zh) * 2021-02-09 2022-05-17 北京字跳网络技术有限公司 图像处理方法、装置、设备及介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259561A (ja) 1993-03-08 1994-09-16 Mitsubishi Electric Corp 動画像中の視標速度計算装置および視標追従装置
JP2914170B2 (ja) * 1994-04-18 1999-06-28 松下電器産業株式会社 映像変化点検出方法
US5635982A (en) * 1994-06-27 1997-06-03 Zhang; Hong J. System for automatic video segmentation and key frame extraction for video sequences having both sharp and gradual transitions
JP3585977B2 (ja) 1995-03-07 2004-11-10 松下電器産業株式会社 動領域検出装置
JP3098704B2 (ja) 1996-03-08 2000-10-16 グローリー工業株式会社 画像照合方法及び装置
US6195458B1 (en) * 1997-07-29 2001-02-27 Eastman Kodak Company Method for content-based temporal segmentation of video
JP3624677B2 (ja) 1998-03-04 2005-03-02 株式会社日立製作所 動画像の特殊効果検出装置及びプログラムを記録した記録媒体
JP3738939B2 (ja) 1998-03-05 2006-01-25 Ｋｄｄｉ株式会社 動画像のカット点検出装置
US7430339B2 (en) * 2004-08-09 2008-09-30 Microsoft Corporation Border matting by dynamic programming
JP4225503B2 (ja) 2005-02-17 2009-02-18 Ｋｄｄｉ株式会社 動画像のカット点検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675425A (zh) * 2019-08-22 2020-01-10 腾讯科技（深圳）有限公司 一种视频边框识别方法、装置、设备及介质

Also Published As

Publication number Publication date
EP2028619A1 (en) 2009-02-25
WO2007138858A1 (ja) 2007-12-06
JPWO2007138858A1 (ja) 2009-10-01
KR20090006861A (ko) 2009-01-15
US20090263023A1 (en) 2009-10-22
EP2028619A4 (en) 2010-10-20

Similar Documents

Publication Publication Date Title
CN101454803A (zh) 视频的特殊效果检测装置、特殊效果检测方法、特殊效果检测程序及视频再生装置
Maqueda et al. Event-based vision meets deep learning on steering prediction for self-driving cars
CN100559376C (zh) 生成视频摘要的方法、系统及设备
EP2641230B1 (en) Method and apparatus for detection and removal of rain from videos using temporal and spatiotemporal properties
CN101510356B (zh) 视频检测系统及其数据处理装置、视频检测方法
CN109784162A (zh) 一种行人行为识别及轨迹跟踪方法
CN105260713B (zh) 一种车道线检测方法和装置
Hao et al. Learning from synthetic photorealistic raindrop for single image raindrop removal
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
JP3892059B2 (ja) 動物体追跡装置
CN107330373A (zh) 一种基于视频的违章停车监控系统
CN104809437A (zh) 一种基于实时视频的车辆检测与跟踪方法
Ten Kate et al. Mid-range and distant vehicle detection with a mobile camera
CN104463903A (zh) 一种基于目标行为分析的行人图像实时检测方法
CN105868708A (zh) 一种图像目标识别方法及装置
CN111741186B (zh) 一种视频抖动检测方法、装置以及系统
US20030165193A1 (en) Method for abstracting multiple moving objects
CN102622575A (zh) 基线带视频监控系统和监控方法
CN101794450A (zh) 视频图像序列中烟雾的检测方法及装置
CN113947731A (zh) 一种基于接触网安全巡检的异物识别方法及系统
CN103077387A (zh) 视频中货运列车车厢自动检测方法
CN111523385A (zh) 一种基于帧差法的静止车辆检测方法及系统
CN112836631A (zh) 车辆轴数确定方法、装置、电子设备及存储介质
KR102042397B1 (ko) 압축영상에 대한 신택스 기반의 히트맵 생성 방법
CN106683113A (zh) 特征点跟踪方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20090610