WO2007138858A1

WO2007138858A1 - 映像の特殊効果検出装置、特殊効果検出方法、特殊効果検出プログラム及び映像再生装置

Info

Publication number: WO2007138858A1
Application number: PCT/JP2007/060035
Authority: WO
Inventors: Kota Iwamoto
Original assignee: Nec Corporation
Priority date: 2006-05-25
Filing date: 2007-05-16
Publication date: 2007-12-06
Also published as: JPWO2007138858A1; EP2028619A1; EP2028619A4; US20090263023A1; CN101454803A; KR20090006861A

Abstract

　画像境界線候補画素検出部は、映像の各フレームから、画像境界線を構成する画素の候補である画像境界線候補画素を検出し、画像境界線候補画素を特定する情報である画像境界線候補画素情報をフレームごとに出力する。線抽出部は、各フレームの画像境界線候補画素情報が示す画像境界線候補画素が構成する線を画像境界線として抽出し、画像境界線を記述する情報である画像境界線記述情報をフレームごとに出力する。画像境界線所有フレーム区間検出部は、各フレームの画像境界線記述情報を用いて、フレームごとに画像境界線を有するか否かを判定し、画像境界線を有するフレームが連続するフレーム区間を、特殊効果を含むフレーム区間として検出する。

Description

明細書

映像の特殊効果検出装置、特殊効果検出方法、特殊効果検出プログラム及び映像再生装置

技術分野

[0001] 本発明は、映像に含まれる特殊効果を検出する映像の特殊効果検出装置、特殊効果検出方法および特殊効果検出プログラムに関し、特に、映像の空間的な漸次変化による映像切り替えを検出できる映像の特殊効果検出装置、特殊効果検出方法および特殊効果検出プログラムに関する。映像の空間的な漸次変化による映像切り替えは、例えば、ワイプや DVE (ディジタルビデオエフェクト）である。

背景技術

[0002] 映像の特殊効果は、映像切り替えの一種である。映像の特殊効果においては、切り替え前後の映像が空間的な占有割合を徐々に変化しながら切り替わる漸次変化が行われる。映像の特殊効果には、ワイプと DVE (Digital Video Effect ：ディジタルビデオエフェクト）がある。図 1 (A) , (B)は、それぞれワイプの例を示す説明図である。図 2 (A)〜(I)は、それぞれ DVEの例を示す説明図である。

[0003] 図 1に例示されているように、ワイプでは、切り替え前後の映像の位置は固定であり、それぞれの映像を表示させる領域を徐々に変化させて画面が切り替わる。図 2に例示されているように、 DVEでは、一方の映像の位置は固定で、その上に重畳される形で、他方の映像が平行移動、拡大縮小、回転、ひねりなどの画像変換を伴いながら出現または消失して画面が切り替わる。いずれも、切り替え前後の映像が空間的に共存しながら画面が切り替わることが特徴である。また、いずれも、切り替わるパターンが無数にある。

[0004] 映像の特殊効果は、一般に多用される瞬時的な映像切り替えであるカットとは異なり、映像の編集者が意図的に挿入する映像切り替えである。映像の特殊効果は、映像の意味的に重要な箇所や、編集者が特に印象付けたい箇所に利用される。例えば、新規のコーナーやトピックの開始点や、場面の転換点などに利用される。従って、映像の特殊効果を検出することによって、映像の内容や構造を理解する上で重要な情報を取得することができる。

[0005] ワイプや DVEなどの特殊効果を検出する方法力文献に記載されている。

[0006] 特開平 8 - 237549号公報（段落 0011— 0016)ゃ特開 2005 - 237002号公報 ( 段落 0031— 0035)には、ワイプを含めた漸次変化による映像切り替えを、隣接フレーム間の特徴量の差分値 (フレーム間差分値)を用いて検出する方法が記載されている。これらに記載されている方法では、フレームの特徴量が緩やかに変化していく区間を検出する。特開平 8— 237549号公報に記載されている方法では、フレーム間差分値が、ある緩やかな変化を検知するしきい値以上になるフレームが続き、かつ、累積されたフレーム間差分値が、ある別の大きなしきい値以上になる場合に、漸次変化による映像切り替えを検出する。フレーム間差分値として、画素間の輝度値の変化量が用いられている。特開 2005— 237002号公報に記載されている方法では、フレーム間差分値力ある緩やかな変化を検知するしきい値以上になるフレームが続き、かつ、その前後の区間においてフレーム間差分値が、あるしきい値以下になるフレームが続く場合に、ワイプを検出する。

[0007] 特開平 7— 288840号公報 (段落 0011)ゃ特開平 11 252501号公報 (段落 001 2-0020)には、ワイプを検出する方法が記載されている。ワイプは、切り替え後の映像が切り替え前の映像の領域を徐々に置き換えていき、最終的に切り替え後の映像が切り替え前の映像の全領域を置き換える、という性質を有する。これらに記載されて、る方法では、ワイプが有する性質を用いて一様に変化するワイプを検出する。隣接フレーム間の画素間の差分値などにもとづいて、各フレームにおける画像の変化領域を求める。連続する複数フレームの画像変化領域の論理和によって得られる総合の画像変化領域を評価して、ワイプを検出する。特開平 11 252509号公報（段落 0053— 0057)にも、ワイプを検出する方法が記載されている。特開平 11— 25 2509号公報に記載されている方法では、予測誤差のフレーム平均が大きくなると、ワイプの可能性が高!、と判定する。

[0008] 河合吉彦、馬場口登、北橋忠宏は、 DVEを検出する方法を、"放送型スポーッ映像におけるディジタルビデオ効果に着目したリブレイシーン検出の一手法"（電子情報通信学会論文誌 D—II、Vol. J84— D—II、No. 2、 pp. 432— 435、 2 001年 2月）に開示している。 "放送型スポーツ映像におけるディジタルビデオ効果に着目したリブレイシーン検出の一手法"に記載されている方法では、あら力じめ DVE のパターンを登録しておき、あら力じめ登録された DVEのパターンと映像とを比較することによって、類似したパターンを DVEとして検出する。

[0009] しかし、上記文献に記載されている従来の方法は、パターンに依存せず汎用的に、かつ、特殊効果以外の映像変化を誤って検出することなぐ映像の特殊効果を高精度に検出することができない。特殊効果以外の映像変化は、例えばパン、ズームなどのカメラモーションや、映像内のオブジェクトの動きなどの漸次変化である。特開平 8 237549号公報ゃ特開平 11— 252501号公報に記載されている方法は、特殊効果のパターンに依存せず汎用的に適用できるものの、単純なフレームの特徴量の比較を用いるため、特殊効果の映像変化と特殊効果以外の映像変化とを区別できない。なぜなら、特殊効果以外の映像変化においても、特殊効果と同様に、フレームの特徴量が緩やかに変化するからである。特殊効果の映像変化と特殊効果以外の映像変化とを区別できないので、特殊効果以外の映像変化を誤って検出することが多く発生するという問題がある。

[0010] 特開平 7— 288840号公報ゃ特開平 11— 252501号公報（段落 0012— 0020)に記載されている方法は、一様に変化するワイプの性質を用いてワイプを検出するので、ワイプを、特殊効果以外の映像変化とは区別して検出することができる。しかし、 DVEは複雑な画像変換を伴って映像が切り替わるので、上述したワイプの性質を用いて DVEを検出することは極めて困難である。そのため、あらゆるパターンのワイプと DVEを汎用的に検出できな、。特開平 11― 252509号公報に記載されて、る方法は、予測誤差のフレーム平均が大きくなるとワイプの可能性が高いと判定する。予測誤差のフレーム平均が大きくなるのはワイプの場合に限られな、から、特開平 11—2

52509号公報に記載されている方法は、高精度にワイプなどの特殊効果を検出できない。

[0011] "放送型スポーツ映像におけるディジタルビデオ効果に着目したリプレイシーン検出の一手法"に記載されている方法では、特殊効果のパターンごとに登録作業が必要になる。特殊効果のパターンは無数にあり、あらゆるパターンの特殊効果を登録しておくことは不可能である。 "放送型スポーツ映像におけるディジタルビデオ効果に着目したリブレイシーン検出の一手法"に記載されている方法では、あら力じめパターンを登録した限られた数の特殊効果は検出できるものの、登録されていないパターンの特殊効果は検出できな!/、。

[0012] 特開平 6— 259561号公報は、動画像中の視標の移動速度と移動方向を高精度且つ高速に計算するための計算装置を開示している。

[0013] 特開平 9— 245167号公報は、複雑な画像の照合を迅速に行うための画像照合方法を開示している。

[0014] 特許第 3585977号公報は、床面に動物体の影があっても動物体の位置を画像処理により正確に求めることを可能とする動領域検出装置を開示している。

[0015] 高木幹雄、下田陽久の監修による"新編画像解析ノヽンドブック" (東京大学出版会、 2004年 9月）は、本発明に関連する技術を開示している。

[0016] John Cannyは、本発明に関連する技術を" A Computational Approach to

Edge Detection (IEEE Transactions on Pattern Analysis ana Mac hine Intelligence, Vol. 8、 No. 6、 pp. 679— 698、 1986年 11月；)に開示している。

[0017] H. J. Zhang, A. Kankanhalli, S. W. Smoliarは、本発明に関連する技術を

Automatic Partitioning of Full— Motion Video (Multimedia System s 1、 pp. 10— 28、 1993年）【こ開示して!/ヽる。

発明の開示

[0018] 本発明は、映像に含まれる特殊効果を、特殊効果のパターンに依存せず、汎用的に、かつ、特殊効果以外の映像変化を誤って検出することなぐ高精度に検出できる、映像の特殊効果検出装置、特殊効果検出方法および特殊効果検出プログラムを提供することを目的とする。

[0019] 本発明は、特殊効果を構成するフレームが、パターンに依存せず汎用的に、フレーム内に存在する 2つの画像の間の境界線 (画像境界線と呼ぶ）を有することに着目している点に一つの特徴がある。

[0020] 本発明による映像の特殊効果検出装置は、映像を構成するフレームから、フレーム内に存在する 2つの画像の間の境界線である画像境界線を抽出することによって映像に含まれる特殊効果を検出する。映像の特殊効果検出装置は、入力映像の各フレームから、フレーム内に存在する 2つの画像の間の境界線である画像境界線を抽出し、画像境界線を記述する情報である画像境界線記述情報を出力する画像境界線抽出部と、各フレームの画像境界線記述情報を用いて特殊効果を含むフレーム区間を検出し、フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する特殊効果検出部とを備えることが好ましい。特殊効果は、代表的には、ワイプまたはディジタルビデオエフェクトによる映像切り替えである。また、画像境界線は、フレーム内に存在する 2つの画像の間の境界線と連動して動くフレーム内の線をも含んでもよい。

[0021] 本発明による映像の特殊効果検出装置においては、画像境界線抽出部が、入力映像の各フレームから、画像境界線を構成する画素の候補である画像境界線候補画素を検出し、画像境界線候補画素を特定する情報である画像境界線候補画素情報をフレームごとに出力する画像境界線候補画素検出部と、各フレームの画像境界線候補画素情報が示す画像境界線候補画素が構成する線を画像境界線として抽出し、画像境界線を記述する情報である画像境界線記述情報をフレームごとに出力する線抽出部とを含むことが好ましい。

[0022] 画像境界線候補画素検出部は、エッジである画素、フレーム間画素差分値が大きい画素、動きベクトルがばらつく領域に属する画素、のいずれか 1つを満たす画素、または複数の組合せを満たす画素を、画像境界線候補画素として検出してもよヽ。

[0023] 線抽出部は、ハフ変換を用いて画像境界線候補画素が構成する直線を画像境界線として抽出してもよい。

[0024] 本発明による映像の特殊効果検出装置においては、特殊効果検出部が、各フレームの画像境界線記述情報を用いて、フレームごとに画像境界線を有する力否かを判定し、画像境界線を有するフレームが連続するフレーム区間を、特殊効果を含むフレーム区間として検出し、フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する画像境界線所有フレーム区間検出部を含むことが好ましい。

[0025] このような構成を採用することにより、本発明による映像の特殊効果検出装置は、フレーム内に存在する 2つの画像の間の境界線である画像境界線を抽出し、抽出した画像境界線にもとづいて特殊効果を含むフレーム区間を検出する。画像境界線は、特殊効果を構成するフレームにはパターンに依存せず汎用的に含まれ、カメラモーシヨンなどの特殊効果以外の映像変化のフレームには含まれない。このため、特殊効果をパターンに依存せず汎用的に、かつ特殊効果以外の映像変化を誤って検出することなぐ高精度に検出できる。

[0026] 本発明による映像の特殊効果検出装置においては、特殊効果検出部が、各フレームの画像境界線記述情報が示す画像境界線が、連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出し、フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する画像境界線連続移動フレーム区間検出部を含むことが好ましい。

[0027] 画像境界線連続移動フレーム区間検出部は、各フレームの画像境界線を記述するパラメータをパラメータ空間内の特徴点として表し、パラメータ空間内で画像境界線を表す特徴点が時間とともに連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出してもよい。

[0028] このような構成を採用することにより、本発明による映像の特殊効果検出装置は、画像境界線が連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出する。特殊効果では画像境界線はフレーム間を連続的に移動する。このため、特殊効果をパターンに依存せず汎用的に、かつ特殊効果以外の映像変化を誤って検出することなぐ高精度に検出できる。さらに、画像境界線の有無だけでなぐ画像境界線が連続的に移動する力否力、にもとづいて特殊効果を検出するため、画像境界線の有無だけにもとづいて特殊効果を検出する構成と比較して、より高精度に特殊効果を検出することができる。

[0029] 本発明による映像の特殊効果検出装置においては、特殊効果検出部が、各フレームの画像境界線記述情報が示す複数の画像境界線の組合せを抽出し、画像境界線の組合せを記述する情報である画像境界線組合せ情報をフレームごとに出力する画像境界線組合せ抽出部と、各フレームの画像境界線組合せ情報を用いて、フレームごとに画像境界線の組合せを有するか否かを判定し、画像境界線の組合せを有するフレームが連続するフレーム区間を、特殊効果を含むフレーム区間として検出し、フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する画像境界線組合せ所有フレーム区間検出部とを含むことが好ましい。

[0030] 本発明による映像の特殊効果検出装置においては、特殊効果検出部が、各フレームの画像境界線記述情報が示す複数の画像境界線の組合せを抽出し、画像境界線の組合せを記述する情報である画像境界線組合せ情報をフレームごとに出力する画像境界線組合せ抽出部と、各フレームの画像境界線組合せ情報が示す画像境界線の組合せが、連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出し、フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する画像境界線組合せ連続移動フレーム区間検出部とを含むことが好ましい。

[0031] 画像境界線組合せ抽出部は、複数の画像境界線が、四角形、または四角形の一部を形成する画像境界線の組合せを抽出してもよ、。

[0032] 画像境界線組合せ連続移動フレーム区間検出部は、各フレームの画像境界線の組合せのそれぞれの画像境界線を記述するパラメータをパラメータ空間内の特徴点として表し、各特徴点がパラメータ空間内で時間とともに連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出してもよい。

[0033] このような構成を採用することにより、本発明による映像の特殊効果検出装置は、フレームから画像境界線の組合せを抽出し、抽出した画像境界線の組合せにもとづ!/、て特殊効果を含むフレーム区間を検出する。画像境界線の組合せが形成する画像枠は、特殊効果のうちの DVEを構成するフレームに含まれ、特殊効果以外の映像変化のフレームには含まれない。このため、特殊効果のうちの DVEを、特殊効果以外の映像変化を誤って検出することなぐ高精度に検出できる。さらに、複数の画像境界線の組合せにもとづ、て特殊効果を検出するため、単独の画像境界線のみにもとづいて特殊効果を検出する構成と比較して、より高精度に特殊効果のうちの DVEを検出することができる。

[0034] 本発明の効果は、映像に含まれる特殊効果を、特殊効果のパターンに依存せず汎用的に、かつ、特殊効果以外の映像変化を誤って検出することなぐ高精度に検出できることである。 [0035] その理由は、画像境界線抽出部が、フレームから、特殊効果を構成するフレームには共通に含まれ、特殊効果以外の映像変化のフレームには含まれない画像境界線を抽出し、特殊効果検出部が抽出した画像境界線にもとづいて特殊効果を含むフレーム区間を検出するためである。

図面の簡単な説明

[0036] [図 1]図 1 (A)及び (B)は、ワイプの例を示す説明図である。

[図 2]図 2 (A)乃至 (I)は、 DVEの例を示す説明図である。

[図 3]図 3は、本発明による特殊効果検出装置の第 1の実施の形態を示すブロック図である。

[図 4]図 4 (A)乃至 (F)は、画像境界線の例を示す説明図である。

[図 5]図 5は、動きベクトルのばらつき度合いを算出するためのブロックとその動きべクトルの一例を示す説明図である。

[図 6]図 6は、画像境界線を有するフレームが連続するフレーム区間の一例を示す説明図である。

[図 7]図 7は、第 1の実施の形態の動作を示すフローチャートである。

[図 8]図 8は、本発明による特殊効果検出装置の第 2の実施の形態を示すブロック図である。

[図 9]図 9 (A)乃至 (C)は、画像境界線がフレーム間を連続的に移動する様子の一例を示す説明図である。

[図 10]図 10は、画像境界線を記述するパラメータを表す特徴点がパラメータ空間内で時間とともに連続的に移動する軌跡を例示した説明図である。

[図 11]図 11は、第 2の実施の形態の動作を示すフローチャートである。

[図 12]図 12は、本発明による特殊効果検出装置の第 3の実施の形態を示すブロック図である。

[図 13]図 13 (A)乃至 (F)は、画像枠を形成する画像境界線の組合せの例を示す説明図である。

[図 14]図 14は、第 3の実施の形態の動作を示すフローチャートである。

[図 15]図 15は、本発明による特殊効果検出装置の第 4の実施の形態を示すブロック図である。

[図 16]図 16は、画像境界線の組合せのそれぞれの画像境界線を表す特徴点がパラメータ空間内で時間とともに連続的に移動する様子を例示した説明図である。

[図 17]図 17は、第 4の実施の形態の動作を示すフローチャートである。

[図 18]図 18は、本発明による特殊効果検出装置の第 5の実施の形態を示すブロック図である。

[図 19]図 19は、画像境界線を構成する画素のエッジ方向が画像境界線の方向に対して垂直になることを示す説明図である。

[図 20]図 20は、本発明による特殊効果検出装置の第 6の実施の形態を示すブロック図である。

[図 21]図 21は、本発明による特殊効果検出装置の第 7の実施の形態を示すブロック図である。

[図 22]図 22は、本発明による特殊効果検出装置の第 8の実施の形態を示すブロック図である。

[図 23]図 23は、本発明による特殊効果検出装置の第 9の実施の形態を示すブロック図である。

[図 24]図 24は、本発明による特殊効果検出装置の第 10の実施の形態を示すブロック図である。

発明を実施するための最良の形態

[0037] (第 1の実施の形態）

次に、本発明の第 1の実施の形態を図面を参照して説明する。

[0038] 図 3は、本発明による特殊効果検出装置の第 1の実施の形態を示すブロック図である。図 3に示すように、本発明の第 1の実施の形態の特殊効果検出装置は、画像境界線抽出部 11と特殊効果検出部 21とを備えている。なお、特殊効果検出装置は、例えば、記録媒体に記憶されたプログラムに従って処理を実行するコンピュータ等の情報処理装置で実現される。このことは、以下の各実施の形態でも同様である。

[0039] 画像境界線抽出部 11は、入力映像の各フレームから、フレーム内に存在する 2つの画像の間の境界線である画像境界線を抽出し、抽出した画像境界線を記述する情報である画像境界線記述情報を出力する。画像境界線とは、特殊効果を構成するフレーム内において共存する切り替え前後の 2つの画像の間の境界線のことを指す。特殊効果は、切り替え前後の画像が空間的に共存しながら切り替わることが特徴である。そのため、特殊効果を構成するフレームは画像境界線を有する。

[0040] 図 4 (A)から (F)は、画像境界線の例を示す説明図である。図 4 (A)から (F)にお、て、符号 9は、画像境界線を示す。なお、画像境界線は、厳密にフレーム内に存在する 2つの画像の間の境界線である必要はない。画像境界線は、フレーム内に存在する 2つの画像の間の境界線と連動して動くフレーム内の線をも含んでもよい。画像境界線は、フレーム内に存在する 2つの画像の間の境界線と連動して動くフレーム内の線であってもよい。なお、ここで述べた画像境界線の説明は、以後全ての実施の形態について当てはまる。

[0041] 画像境界線抽出部 11は、画像境界線候補画素検出部 111と、線抽出部 112とを含む。画像境界線候補画素検出部 111は、入力映像の各フレームから、画像境界線を構成する画素の候補である画像境界線候補画素を検出する。そして、画像境界線候補画素検出部 111は、検出した画像境界線候補画素を特定する情報である画像境界線候補画素情報を、フレームごとに出力する。なお、ここで、画素として、入力映像の各フレームを構成する画素をそのまま用いてもょヽし、任意の解像度変換などの画像処理によって新たに得られた画素を用いてもよい。また、入力映像のフレームとして、入力映像を構成する全てのフレームを用いてもよいし、任意のサンプリングによって得られたサブセットを用いてもよい。このことは、以後全ての実施の形態について当てはまる。

[0042] 画像境界線候補画素検出部 111は、画像境界線候補画素を検出するときに、特殊効果における画像境界線を構成する画素が有する性質に合致した画素を検出する。画像境界線を構成する画素が有する性質として、画像境界線を構成する画素はェッジすなわち画像の明度が急激に変化する箇所の画素であるという性質がある。画像境界線が 2つの異なる画像の間の境界だ力もである。エッジである画素を検出する方法は様々あり、そのうちの任意の方法を用いればよい。それらの方法の詳細は、例えば"新編画像解析ノヽンドブッグ，の pp. 1228— 1246に記載されている。例えば、 "新編画像解析ハンドブック"に記載されている Prewitt、 Sobel、 Roberts, Robin son, Kirsch、ラプラシアンなどのエッジ検出オペレータを画像内の各画素に適用してエッジである画素を検出してもよい。また、" A Computational Approach to Edge Detection"に記載されている Cannyのエッジ検出法を用いて、エッジである画素を検出してもよい。こうして検出されたエッジである画素を、画像境界線候補画素とすることができる。

[0043] 画像境界線を構成する画素が有する別の性質として、画像境界線を構成する画素はフレーム間画素差分値が大き、と、う性質がある。画像境界線が動くからで力る。あるフレームのフレーム間画素差分値が大きい画素を検出するには、そのフレームとそのフレームに隣接するフレームの対応する画素の間で、画素値の差分値を求める。そして、その差分値がある閾値よりも大きい画素を、そのフレームのフレーム間画素差分値が大きい画素とすることができる。また、フレーム間で画素値の差分値を求める際に、隣接する一方向だけのフレーム (例えば、次フレーム)だけではなぐ隣接する逆方向のフレーム（例えば、前フレーム）との間でも画素値の差分値を求め、その両方があるしき、値よりも大き、画素を、フレーム間画素差分値の大き、画素としてもよい。ここで、画素値として、任意の表色系によって記述される信号値を用いればよい。こうして検出されたフレーム間画素差分値が大きい画素を、画像境界線候補画素とすることができる。

[0044] 上記の 2つの性質の、ずれかの性質を有する画素を画像境界線候補画素としてもよいが、上記の性質を共に有する画素を画像境界線候補画素とするほうが望ましい。この場合、それぞれの性質を有する画素を別々に求め、その両方の性質を有する画素を画像境界線候補画素としてもよい。また、計算コストを抑えるために、どちらか一方の性質を有する画素を先に求め、それらの画素の中力さらに他方の性質の有する画素を検出し、画像境界線候補画素としてもよい。

[0045] また、上記の 2つの性質の他に、画像境界線を構成する画素が有する別の性質として、画像境界線を構成する画素は動きベクトルがばらつく領域に属するという性質がある。画像境界線を構成する画素が、 2つの画像間の動いている境界上にあるからである。ここで、動きベクトルがばらつく領域とは、複数のお互いに近接する地点の動きベクトルの方向や大きさが揃わない領域のことである。動きベクトルがばらつく領域を検出するには、例えば、各画素あるいはブロックなどの小領域ごとに、その画素あるいは小領域の動きベクトルとその周辺の複数の画素ある、は小領域の動きベクトルの、ばらつきの度合いを示すばらつき度合いを算出し、算出された動きベクトルのばらつき度合、があるしき、値以上である画素あるいは小領域を、動きベクトルがばらつく領域とすることができる。

[0046] 画像境界線候補画素検出部 111は、動きベクトルのばらつき度合いを算出するときに、例えば、対象となる複数の動きベクトルの平均ベクトルを求め、各動きベクトルと平均ベクトルとのベクトル間距離の平均値を動きベクトルのばらつき度合!/、とすることができる。このように動きベクトルのばらつき度合いを算出すると、対象となる複数の動きベクトルの方向や大きさが揃う場合は、動きベクトルのばらつき度合いが 0になり、対象となる複数の動きベクトルの方向や大きさがばらつく場合は、動きベクトルのばらつき度合いが大きくなる。なお、動きベクトルを算出する方法は、例えば、 "新編画像解析ハンドブック，，の PP. 1495— 1498に記載されている。

[0047] 次に、図面を参照して具体例を述べる。図 5は、あるブロック（あるいは画素と考えてもよい。）と、その周辺のブロックの計 9つのブロックと、それらの動きベクトルを示す説明図である。これらの動きベクトルを（1)式で表し、これらの動きベクトルの平均べタトルを（2)式で表す。動きベクトルのばらつき度合い Vは、（1)式で表される動きべタトルと（2)式で表される平均ベクトルとのベクトル間距離の平均値として、 (3)式のように算出できる。

[0048] [数 1]

(m^ m ^ ' ^ mg ) …ひ）

[0049] [数 2]

[0050] [数 3]

[0051] 画像境界線候補画素検出部 111は、このようにして各ブロック（または画素）に対して動きベクトルのばらつき度合いを算出する。画像境界線候補画素検出部 111は、算出された動きベクトルのばらつき度合、があるしき!、値以上であるブロック（ある!/ヽは画素）に属する全ての画素を、動きベクトルがばらつく領域に属する画素として検出できる。なお、ここで説明した、動きベクトルのばらつく領域に属する画素を検出する方法は、一例であり、この方法に限定されるわけではない。こうして検出された動きベクトルのばらつく領域に属する画素を、画像境界線候補画素とすることができる。

[0052] なお、動きベクトルのばらつく領域に属する画素をそのまま画像境界線候補画素としてもよい。動きベクトルのばらつく領域に属し、かつ上記の他の 2つの性質のいずれかの性質、あるいは両方の性質をも有する画素を、画像境界線候補画素とすることが望ましい。

[0053] また、画像境界線候補画素検出部 111は、検出した画像境界線候補画素の周辺の画素を膨張処理によって抽出し、周辺の画素も画像境界線候補画素に追加するようにしてもよい。画像境界線候補画素情報は、各フレームに対して検出した画像境界線候補画素を特定する情報であれば、どのような情報でもよい。画像境界線候補画素情報は、フレーム内の全ての画素に対して、画像境界線候補画素であるか否かを 2値で表現した 2値画像の情報でもよい。また、画像境界線候補画素情報は、検出された全ての画像境界線候補画素の位置を示すリストでもよい。

[0054] 線抽出部 112は、画像境界線候補画素検出部 111が出力した各フレームの画像境界線候補画素情報を入力し、各フレームに対して、画像境界線候補画素情報が示す画像境界線候補画素が構成する線を、画像境界線として抽出する。そして、抽出された画像境界線を記述する画像境界線記述情報を、フレームごとに出力する。ここで、抽出する画像境界線は、各フレームに対して複数あっても力まわない。

[0055] なお、特殊効果における画像境界線は、通常、直線であるため、線抽出部 112が抽出する画像境界線候補画素が構成する線を、直線に限定してもよい。しかし、まれに曲線などの直線以外の画像境界線を含む特殊効果もあるため、これらの特殊効果を検出の対象とする場合は、線抽出部 112が抽出する画像境界線候補画素が構成する線を、直線に限定すべきではない。画像境界線候補画素が構成する線を抽出する方法として、画素の集合力も線を抽出する任意の方法を用いればよい。線を抽出する方法の例は、例えば"新編画像解析ノヽンドブッグ'の pp. 1246— 1260に記載されている。

[0056] 画像境界線候補画素が構成する線を抽出する方法として、ハフ変換を用いることが望ましい。ハフ変換は、パラメータで記述できる図形 (例えば直線、円、楕円、放物線 )を、パラメータ空間に対する投票によって、画像から抽出する方法である。ハフ変換は、特に、直線を抽出する方法として有効である。ハフ変換による直線の抽出方法は、例えば"新編画像解析ノヽンドブッグ，の pp. 1254— 1256に記載されている。画像境界線候補画素を入力としたハフ変換では、各画像境界線候補画素を通る全ての直線に対してパラメータ空間上で投票を行い、線抽出部 112は、投票量の多い直線を抽出する。線抽出部 112は、画像境界線候補画素を入力としたハフ変換によって抽出された直線を、画像境界線とすることができる。

[0057] ハフ変換は、パラメータで記述できる図形であれば抽出できるので、曲線などの直線以外の画像境界線を抽出の対象とする場合にも適用できる。また、 "新編画像解析ノヽンドブッグ'の pp. 1256— 1258に記載されている一般ィ匕ハフ変換は任意形状の図形を検出することができる。一般化ハフ変換を用いれば任意形状の画像境界線を抽出することちできる。

[0058] また、線抽出部 112は、抽出した画像境界線に対して、画像境界線を構成する画像境界線候補画素が画像境界線に沿って連続的に存在するか否かを検証してもよい。そして、線抽出部 112は、画像境界線候補画素が連続的に存在しない場合に、画像境界線として不適当とみなして、該画像境界線を除外してもよい。例えば、線抽出部 112は、画像境界線に沿って、画像境界線候補画素が連続的に存在する長さを測定し、その長さがあるしき、値以下である画像境界線を除外するようにしてもょヽ

[0059] 画像境界線記述情報は、各フレームで抽出した画像境界線を記述する情報である。画像境界線が直線である場合には、画像境界線記述情報は、直線を記述する複数次元のパラメータでもよい。例えば、ハフ変換による直線抽出では、フレームに対して定義された (x、 y)座標系における原点力も直線に降ろした垂線の長さを p、垂線と水平軸 (X軸）とのなす角度を Θとして、直線を p =xcos Θ +ysin Θと表現する。この場合、 2次元のパラメータ、 0 )を画像境界線記述情報としてもよい。

[0060] また、画像境界線を構成する全ての画素の位置を記述したリストを、画像境界記述情報にしてもよい。ただし、画像境界線記述情報が後述する第 6の実施の形態におけるエッジ方向算出部 131に供給される場合に限っては、画像境界線記述情報は画像境界線を構成する全ての画素を特定する情報でなくてはならない。また、画像境界線記述情報が後述する画像境界線所有フレーム区間検出部 211に供給される場合に限っては (第 1の実施の形態など）、画像境界線所有フレーム区間検出部 211が実行する処理に対応して、画像境界線記述情報が、各フレームが画像境界線を含むか否かを示す 2値の情報であってもよい。なお、ここで述べた画像境界線記述情報の説明は、以後全ての実施の形態について当てはまる。

[0061] 特殊効果検出部 21は、画像境界線抽出部 11が出力した各フレームの画像境界線記述情報を用いて、特殊効果を含むフレーム区間を検出し、検出したフレーム区間を特定する情報である特殊効果フレーム区間情報を出力する。

[0062] 特殊効果検出部 21は、画像境界線所有フレーム区間検出部 211を含む。画像境界線所有フレーム区間検出部 211は、画像境界線抽出部 11が出力した各フレームの画像境界線記述情報を用いて、フレームごとに画像境界線を有するか否かを判定する。そして、画像境界線所有フレーム区間検出部 211は、画像境界線を有するフレームが連続するフレーム区間を、特殊効果を含むフレーム区間として検出する。そして、画像境界線所有フレーム区間検出部 211は、検出したフレーム区間を特定する情報である特殊効果フレーム区間情報を出力する。ここで、検出する画像境界線を有するフレームが連続するフレーム区間は、必ずしも全てのフレームが画像境界線を有する必要はない。フレーム区間の途中で画像境界線を有しないフレームがある規定数含まれることを許容するようにしてもよい。また、ここで検出するフレーム区間は必ずしも複数のフレーム力も構成されるフレーム区間である必要はない。画像境界線を有する単一のフレームを、特殊効果を含むフレーム区間として検出しても力まわない。

[0063] 画像境界線を有するフレームが連続するフレーム区間を検出する方法の一例として、検出するフレーム区間のフレーム数の最小値を Nと設定し、画像境界線を有するフレームが連続するフレーム区間のフレーム数が N枚以上である場合に、フレーム区間を検出する方法がある。このとき、フレーム区間の途中で画像境界線を含まないフレームがある規定数含まれることを許容するようにしてもよ!ヽ。特殊効果は複数のフレ一ムカも構成されるため、通常 Nとして 2以上の数値を設定する。例えば、 Nを、学習用として用意された映像に含まれる特殊効果区間を構成するフレーム数の最小値と設定することが望ましい。図 6は、画像境界線を有するフレームが連続するフレーム区間の一例を示した説明図である。図 6は、映像のフレーム列を、画像境界線を有するフレームを 1、有しないフレームを 0として時系列で示している。この例では、フレーム区間の途中で画像境界線を含まないフレームが含まれることを許容している。

[0064] 特殊効果フレーム区間情報は、検出された特殊効果を含むフレーム区間を特定する情報であり、例えばフレーム区間の最初のフレームと最後のフレームを示す情報などである。なお、ここで述べた特殊効果フレーム区間情報の説明は、以後全ての実施の形態について当てはまる。

[0065] 以上のようにして出力された特殊効果フレーム区間情報を、入力映像の再生制御に利用することができる。すなわち、上記の構成に加えて、特殊効果検出装置が出力した特殊効果フレーム区間情報にもとづいて、入力映像の再生制御を行う映像再生制御装置を設けることができる。このような特殊効果検出装置と映像再生制御装置とを備えた映像再生装置では、例えば、特殊効果フレーム区間情報が示すフレーム区間を、再生の開始点候補や、再生の終了点候補として再生を制御することができる。

[0066] 例えば、映像再生制御装置は、特殊効果フレーム区間情報が示すフレーム区間内の任意のフレームを再生の開始点候補として、ユーザの再生指示 (例えばリモコン操作など）によって、開始点候補のフレームからの頭出し再生を行ってもよい。また、特殊効果フレーム区間情報が示すフレーム区間の最初のフレームと最後のフレームとをそれぞれフレーム Flとフレーム F2とする。その特殊効果フレーム区間より前の映像を映像 A、後の映像を映像 Bとする。そして、映像再生制御装置は、映像 Aの再生指示があったときにはフレーム F2までを再生し、映像 Bの再生指示があったときにはフレーム F1から再生を開始するようにしてもょ、。

[0067] 背景技術の説明で述べたように特殊効果は映像の意味的に重要な箇所や、編集者が特に印象付けたい箇所、例えば新規のコーナーやトピックの開始点、場面の転換点などに利用される。よって、特殊効果検出装置が出力した特殊効果フレーム区間情報を用いて再生制御を行うことにより、トピックやコーナーなどの映像の意味的に重要な単位での映像視聴が可能になる。このため、映像の視聴したい箇所に素早くアクセスでき、効率的な視聴を提供することができる。なお、ここで述べた、特殊効果検出装置が出力した特殊効果フレーム区間情報を入力映像の再生制御に利用できることは、以後全ての実施の形態について当てはまる。すなわち、以後全ての実施の形態の特殊効果検出装置に加えて、特殊効果検出装置が出力した特殊効果フレーム区間情報にもとづいて、入力映像の再生制御を行う映像再生制御装置を設けることがでさる。

[0068] 次に、図 7のフローチャートを参照して、第 1の実施の形態の動作を説明する。まず、入力映像力新フレームが取得され、画像境界線候補画素検出部 111に供給される（ステップ A01)。ここで、ステップ A01が初めて実行される場合には、新フレームを開始フレームとする。次に、画像境界線候補画素検出部 111は、フレーム力も画像境界線候補画素を検出し、検出した画像境界線候補画素を特定する画像境界線候補画素情報を出力する (ステップ A02)。

[0069] 次に、線抽出部 112は、画像境界線候補画素情報が示す画像境界線候補画素が構成する線を画像境界線として抽出し、抽出された画像境界線を記述する画像境界線記述情報を出力する (ステップ A03)。次いで、画像境界線所有フレーム区間検出部 211は、現フレームまでに出力された画像境界線記述情報を用いて、画像境界線を有するフレームが連続するフレーム区間を新たに検出する (ステップ A04)。なお、検出されたフレーム区間の重複を防ぐには、例えば、現フレームにおいて画像境界線を有するフレーム区間が終了した場合にのみ、フレーム区間を検出するようにすればよい。画像境界線を有するフレームが連続するフレーム区間が新たに検出された場合は、ステップ A05に進む。それ以外の場合は、ステップ A06に進む。

[0070] 画像境界線が連続するフレーム区間が新たに検出された場合には、画像境界線所有フレーム区間検出部 211は、そのフレーム区間を特殊効果を含むフレーム区間とし、フレーム区間を特定する特殊効果フレーム区間情報を出力する (ステップ A05 )。最後に、現フレームが終了フレームである力否かを判定し (ステップ A06)、終了フレームである場合は処理を終了する。現フレームが終了フレームでない場合には、ステツプ A01に進み、映像の次のフレームを新フレームとして取得し、処理を続行する。こうしてステップ A01から A06までの処理を、終了フレームに到達するまで実行する。

[0071] 第 1の実施の形態では、画像境界線は、特殊効果を構成するフレームにはパターンに依存せず汎用的に含まれ、カメラモーションなどの特殊効果以外の映像変化のフレームには含まれないという性質を利用している。第 1の実施の形態では、画像境界線抽出部 11がフレームカゝら画像境界線を抽出し、特殊効果検出部 21が抽出された画像境界線にもとづいて特殊効果を含むフレーム区間を検出する。したがって、第 1の実施の形態では、特殊効果をパターンに依存せず汎用的に、かつ特殊効果以外の映像変化を誤って検出することなぐ高精度に検出できる効果がある。

[0072] (第 2の実施の形態）

次に、本発明の第 2の実施の形態を図面を参照して説明する。

[0073] 図 8は、本発明による特殊効果検出装置の第 2の実施の形態を示すブロック図である。図 8に示すように、本発明の第 2の実施の形態の特殊効果検出装置は、画像境界線抽出部 11と特殊効果検出部 22とを備えている。第 2の実施の形態は、図 3に示された第 1の実施の形態における特殊効果検出部 21が、特殊効果検出部 22に置き換わっている点で第 1の実施の形態とは異なる。画像境界線検出部 11は、第 1の実施の形態における画像境界線検出部 11と同じものであるため、ここでは説明を省略する。

[0074] 特殊効果検出部 22は、第 1の実施の形態における特殊効果検出部 21と同様に、画像境界線抽出部 11が出力した各フレームの画像境界線記述情報を用いて、特殊効果を含むフレーム区間を検出し、フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する。しかし、第 1の実施の形態における特殊効果検出部 21 とは構成が異なる。

[0075] 特殊効果検出部 22は、画像境界線連続移動フレーム区間検出部 221を含む。画像境界線連続移動フレーム区間検出部 221は、画像境界線抽出部 11が出力した各フレームの画像境界線記述情報が示す画像境界線が連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出する。そして、画像境界線連続移動フレーム区間検出部 221は、検出したフレーム区間を特定する情報である特殊効果フレーム区間情報を出力する。

[0076] 特殊効果では、図 9 (A)乃至 (C)に例示するように、画像境界線 9はフレーム間を連続的に移動する。ここで、画像境界線 9が連続的に移動するとは、時間とともに画像境界線 9が位置や傾きを徐々に変化させながらフレーム内を移動していく様子を指す。例えば、図 9の (A)に示す例では、垂直の画像境界線 9が、フレームを左から右へと横切る形で連続的に移動している。また、図 9の（B)に示す例では、下辺の画像境界線 9が、フレームの下力上へと徐々に移動していく。また、図 9の（C)に示す例では、左辺の画像境界線 9が、フレームの左力右へと徐々に移動していく。

[0077] 画像境界線が連続的に移動するフレーム区間を検出する方法の一例として、画像境界線を記述するパラメータをパラメータ空間内の特徴点として表し、パラメータ空間内で画像境界線を表す特徴点が時間とともに連続的に移動するフレーム区間を抽出する方法がある。ここでは、画像境界線を記述するパラメータとして、第 1の実施の形態で述べた 2次元のパラメータ（ p、 0 )を使って、具体例を示す。

[0078] 図 10は、特殊効果を含むフレーム区間において、画像境界線抽出部 11が抽出した画像境界線を 2次元のパラメータ、 Θ )で表し、特徴点として p - Θの 2次元パラメータ空間にプロットした説明図である。特殊効果における画像境界線はフレーム間を連続的に移動するので、画像境界線を記述するパラメータを表す特徴点も、図 1 0に示すようにパラメータ空間内で時間とともに連続的に移動する軌跡として描かれる。パラメータ空間内で画像境界線を表す特徴点が時間とともに連続的に移動するフレーム区間を抽出するには、パラメータ空間内における特徴点間の距離を評価することにより、特徴点間の連続性を判定していけばよい。例えば、隣接するフレーム間で抽出された画像境界線を表す特徴点間のパラメータ空間における距離を算出し、その距離があるしき、値以内であれば、それらのフレームの画像境界線が連続であると判定する。

[0079] 画像境界線連続移動フレーム区間検出部 221は、この処理を逐次的に隣接するフレーム間で行う。画像境界線連続移動フレーム区間検出部 221は、特徴点が連続であると判定されたフレーム区間があるフレーム数以上となった場合に、フレーム区間を、画像境界線が連続的に移動するフレーム区間として検出することができる。また、画像境界線連続移動フレーム区間検出部 221は、パラメータ空間内における特徴点間の連続性を判定する際に、特徴点の予測を行ってもよい。例えば、画像境界線連続移動フレーム区間検出部 221は、あるフレーム (現フレームと呼ぶ。）から抽出された画像境界線を表す特徴点が、現フレームよりも過去のフレーム力も抽出された画像境界線を表す特徴点と連続であるかを判定する際に、過去のフレームの特徴点から現フレームの特徴点の予測点を算出し、その予測点と実際に抽出された現フレームの特徴点との距離を算出し、その距離があるしきい値以内であれば、連続であると判定することができる。また、画像境界線連続移動フレーム区間検出部 221は、パラメータ空間内における特徴点の連続性を判定する際に、ある一定量の例外値を許容するようにしてちょい。

[0080] また、図 9 (A)乃至 (C)に示されたように、特殊効果では通常、画像境界線 9はフレームの端から他端へと連続的に移動する。フレームの端とは、フレームの外枠の近傍のフレーム内の領域のことを指す。特殊効果では、通常、画像境界線は、まず、フレームの端に出現し、その画像境界線が時間と共にフレーム内を連続的に移動していき、最後にフレームの別の端で消失する。

[0081] 例えば、図 9の (A)に示す例では、画像境界線 9はフレームの左端力も右端へと連続的に移動している。よって、画像境界線連続移動フレーム区間検出部 221は、画像境界線がフレームの端力他端へと連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出するようにしてもよい。例えば、画像境界線連続移動フレーム区間検出部 221は、画像境界線が連続的に移動するフレーム区間の中から、フレーム区間の最初のフレームの画像境界線がフレームの端に存在し、また、フレーム区間の最後のフレームの画像境界線がフレームの別の端に存在するフレーム区間を選択することで、画像境界線がフレームの端力他端へと連続的に移動するフレーム区間を検出することができる。なお、画像境界線がフレームの端に存在するか否か判定する際に、画像境界線連続移動フレーム区間検出部 221は、例えば、フレームの外枠力も画像境界線までの距離を算出し、その距離がある閾値以内である場合は画像境界線がフレームの端に存在し、しき、値以上である場合には画像境界線がフレームの端に存在しな、、と判定することができる。

[0082] また、特殊効果は、切り替え前後の映像が空間的な占有割合を徐々に変化しながら切り替わる漸次変化であるため、画像境界線によって区分される 2つの画像領域（例えば、縦の画像境界線の場合はその左右の画像領域、横の画像境界線の場合はその上下の画像領域)のうち、面積が時間的に減少中の画像領域は切り替え前の映像に所属し、面積が時間的に増加中の画像領域は切り替え後の映像に所属する。このため、面積が時間的に減少中の画像領域は、切り替え後の映像のフレームとは類似せず、切り替え前の映像のフレームと部分的に類似する。また、面積が時間的に増加中の画像領域は、切り替え前の映像のフレームとは類似せず、切り替え後の映像のフレームと部分的に類似する。

[0083] 画像境界線連続移動フレーム区間検出部 221は、画像境界線が連続的に移動するフレーム区間が、さらにこの性質を満たす場合に、フレーム区間を特殊効果を含むフレーム区間として検出するようにしてもよい。すなわち、画像境界線連続移動フレーム区間検出部 221は、検出された画像境界線が連続的に移動するフレーム区間力 Sさらに、各フレームにおいて、そのフレームの画像境界線によって区分される 2つの画像領域のうち、

(a)面積が時間的に減少中の画像領域がフレーム区間の後のフレームと類似しない

(b)面積が時間的に減少中の画像領域がフレーム区間の前のフレームと類似する

(c)面積が時間的に増加中の画像領域がフレーム区間の前のフレームと類似しない

(d)面積が時間的に増加中の画像領域がフレーム区間の後のフレームと類似するの少なくともいずれか 1つの性質、または複数の性質の組合せを満たす場合に、フレーム区間を特殊効果を含むフレーム区間として検出するようにしてもよい。ここで、フレーム区間の前の Z後のフレームとは、フレーム区間の 1つ前の Z後のフレームでもよいし、フレーム区間のある所定数だけ前の Z後のフレームであってもよい。また、フレーム区間の前の Z後のフレームはそれぞれ複数枚のフレーム、例えばフレーム区間の前の Z後の Nフレーム（Nはフレーム枚数）、としてもよ!/、。

[0084] ここで、画像境界線によって区分される 2つの画像領域のうち、面積が時間的に減少中の画像領域と、面積が時間的に増加中の画像領域とを分別するには、そのフレームの 2つの画像領域の面積と、その前後のフレームの画像境界線によって区分される 2つの画像領域の面積とを比較すればょ、。

[0085] また、画像領域とフレームの類似性を判断するために、どのような方法を用いてもよい。一例として、画像領域とフレームのそれぞれに含まれる画素の統計的な性質 (画像特徴)を用いて画像領域とフレームの類似度 (または距離)を算出し、しき!ヽ値処理によって画像領域とフレームが類似するか否かを判断する方法がある。ここで、画素の統計的な性質 (画像特徴）とは、例えば、輝度や色のヒストグラムや、輝度や色の平均値'分散値、テクスチャ情報、などである。画像境界線連続移動フレーム区間検出部 221は、類似性の判断をフレームごとに行って、上記性質を満たすフレーム数がある割合を超える場合に、フレーム区間を特殊効果を含むフレーム区間として検出するようにしてもよい。

[0086] また、画像境界線連続移動フレーム区間検出部 221は、フレームごとでは類似度の算出のみを行い、フレーム区間全体での類似度 (増加中の画像領域とフレーム区間の前のフレームとの類似度、増加中の画像領域とフレーム区間の後のフレームとの類似度、減少中の画像領域とフレーム区間の前のフレームとの類似度、減少中の画像領域とフレーム区間の後のフレームとの類似度)を算出し、フレーム区間全体で上記性質を満たすカゝ否かを判定し、満たす場合にフレーム区間を特殊効果を含むフレーム区間として検出するようにしてもよい。

[0087] また、画像境界線連続移動フレーム区間検出部 221は、画像境界線によって区分される画像領域とフレーム区間の前後のフレームの類似性を判定する際に、画像領域の全領域を用いる必要はなぐ画像領域の一部の領域だけを用いてフレーム区間の前後のフレームとの類似性を判定してもよい。例えば、画像境界線連続移動フレーム区間検出部 221は、画像境界線によって区分される画像領域のうち、画像境界線に近い画像領域のみを用いてもよい。また、画像境界線連続移動フレーム区間検出部 221は、画像境界線によって区分される画像領域のうち、現フレームの画像境界線と隣接フレームの画像境界線との間に挟まれる画像領域のみを用いてもよい。

[0088] 次に、図 11のフローチャートを参照して、第 2の実施の形態の動作を説明する。まず、入力映像力新フレームが取得され、画像境界線候補画素検出部 111に供給される（ステップ B01)。ここで、ステップ B01が初めて実行される場合には、新フレームを開始フレームとする。次に、画像境界線候補画素検出部 111は、フレーム力も画像境界線候補画素を検出し、検出した画像境界線候補画素を特定する画像境界線候補画素情報を出力する (ステップ B02)。

[0089] 次に、線抽出部 112は、画像境界線候補画素情報が示す画像境界線候補画素が構成する線を、画像境界線として抽出し、抽出された画像境界線を記述する画像境界線記述情報を出力する (ステップ B03)。次いで、画像境界線連続移動フレーム区間検出部 221は、現フレームまでに出力された画像境界線記述情報を用いて、画像境界線記述情報が示す画像境界線が連続的に移動するフレーム区間を新たに検出する (ステップ B04)。なお、検出されたフレーム区間の重複を防ぐためには、画像境界線連続移動フレーム区間検出部 221は、例えば、現フレームにおいて画像境界線が連続的に移動するフレーム区間が終了した場合にのみ、フレーム区間を検出するようにすればよい。画像境界線が連続的に移動するフレーム区間が新たに検出された場合は、ステップ B05に進む。それ以外の場合は、ステップ B06に進む。

[0090] 画像境界線が連続するフレーム区間が新たに検出された場合には、画像境界線連続移動フレーム区間検出部 221は、そのフレーム区間を、特殊効果を含むフレーム区間とし、フレーム区間を特定する特殊効果フレーム区間情報を出力する (ステツプ B05)。最後に、現フレームが終了フレームであるか否かを判定し (ステップ B06)、終了フレームである場合は処理を終了する。現フレームが終了フレームでな、場合には、ステップ B01に進み、映像の次のフレームを新フレームとして取得し、処理を続行する。こうしてステップ B01から B06までの処理を、終了フレームに到達するまで実行する。

[0091] 第 2の実施の形態では、特殊効果において画像境界線はフレーム間を連続的に移動するという性質を利用している。第 2の実施の形態では、画像境界線が連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出するため、第 1の実施の形態と同様に、特殊効果をパターンに依存せず汎用的に、かつ、特殊効果以外の映像変化を誤って検出することなぐ高精度に検出できる効果がある。さらに、第 2の実施の形態によれば、画像境界線の有無だけでなぐ画像境界線が連続的に移動する力否かにもとづいて特殊効果が検出される。従って、第 2の実施の形態によれば、画像境界線の有無にもとづいて特殊効果を検出する第 1の実施の形態と比較して、より高精度に特殊効果を検出することができる効果がある。

[0092] (第 3の実施の形態）

次に、本発明の第 3の実施の形態を図面を参照して説明する。

[0093] 図 12は、本発明による特殊効果検出装置の第 3の実施の形態を示すブロック図である。図 12に示すように、本発明の第 3の実施の形態の特殊効果検出装置は、画像境界線抽出部 11と特殊効果検出部 23とを備えている。第 3の実施の形態は、図 3に示された第 1の実施の形態における特殊効果検出部 21が、特殊効果検出部 23に置き換わっている点で第 1の実施の形態とは異なる。画像境界線検出部 11は、第 1の実施の形態における画像境界線検出部 11と同じものであるため、ここでは説明を省略する。

[0094] 特殊効果検出部 23は、第 1の実施の形態における特殊効果検出部 21と同様に、画像境界線抽出部 11が出力した各フレームの画像境界線記述情報を用いて、特殊効果を含むフレーム区間を検出し、フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する。しかし、特殊効果検出部 23は、第 1の実施の形態における特殊効果検出部 21とは構成が異なる。

[0095] 特殊効果検出部 23は、画像境界線組合せ抽出部 231と、画像境界線組合せ所有フレーム区間検出部 232とを含む。画像境界線組合せ抽出部 231は、画像境界線抽出部 11が出力した各フレームの画像境界線記述情報が示す複数の画像境界線の組合せを抽出する。そして、画像境界線組合せ抽出部 231は、抽出された画像境界線の組合せを記述する情報である画像境界線組合せ情報を、フレームごとに出力する。ここで、画像境界線の組合せは、特殊効果のうちの DVEを構成するフレーム内における、切り替え前後の 2つの映像のうち上に重畳されたほうの映像の表示領域を示す画像枠を形成する組合せであることが望ましい。

[0096] 図 13 (A)乃至 (F)は、上記のような画像枠を形成する画像境界線 9の組合せの例を示す説明図である。図 13 (A)乃至 (F)に示すように、画像枠は、通常、四角形であるため、画像境界線組合せ抽出部 231が抽出する画像境界線の組合せを、四角形を形成する画像境界線の組合せに限定してもよい。しかし、画像枠が四角形以外の図形である DVEも存在するため、これらの DVEを検出の対象とする場合は、画像境界線組合せ抽出部 231が抽出する画像境界線の組合せを、四角形を形成する画像境界線の組合せに限定すべきではな、。

[0097] また、図 13の（E)や (F)に示すように、画像境界線 9が形成する画像枠は必ずしもフレーム内に収まるとは限らないため、画像境界線組合せ抽出部 231が抽出する画像境界線の組合せは、閉じた図形を形成する画像境界線の組合せである必要はない。例えば、画像境界線組合せ抽出部 231が抽出する画像境界線の組合せは、図 13の (E)や (F)のように、四角形の一部（ただし 2辺以上）を形成する画像境界線 9 の組合せであってもよ、。

[0098] ここでは、画像境界線組合せ抽出部 231が抽出する画像境界線の組合せを四角形、または四角形の一部を形成する画像境界線の組合せに限定して、画像境界線の組合せを抽出する方法の一例を示す。フレーム内において複数の画像境界線が形成する四角形 (または四角形の一部）の組合せを抽出するには、画像境界線抽出部 11がそのフレームで抽出した複数の画像境界線の中から、あら力じめ規定された条件を満たす四角形 (または四角形の一部)を形成する画像境界線の組合せを、全ての組合せの中力も探索すればよい。あら力じめ規定する条件の一例として、四角形の大きさ、画像境界線の交差点の位置、画像境界線の交差の角度などが挙げられる。これらの条件を、例えば、学習用として用意された映像に含まれる特殊効果の四角形の画像枠を調査して設定することができる。

[0099] 画像境界線組合せ情報は、各フレームで抽出した画像境界線の組合せを記述する情報である。例えば、画像境界線組合せ情報は、抽出した画像境界線の組合せのそれぞれの画像境界線を記述する画像境界線記述情報のセットなどでょ、 (画像境界線記述情報に関しては、第 1の実施の形態を参照。 ) oまた、画像境界線組合せ情報が後述する画像境界線組合せ所有フレーム区間検出部 232に供給される場合に限っては (第 3の実施の形態など)、画像境界線組合せ所有フレーム区間検出部 23 2が実行する処理に対応して、画像境界線組合せ情報が、各フレームが画像境界線の組合せを有するか否かを示す 2値の情報であってもよヽ。ここで述べた画像境界線組合せ情報の説明は、以後全ての実施の形態について当てはまる。

[0100] 画像境界線組合せ所有フレーム区間検出部 232は、画像境界線組合せ抽出部 23 1が出力した各フレームの画像境界線組合せ情報を用いて、フレームごとに画像境界線の組合せを有するか否カゝ判定する。そして、画像境界線組合せ所有フレーム区間検出部 232は、画像境界線の組合せを有するフレームが連続するフレーム区間を、特殊効果を含むフレーム区間として検出し、そのフレーム区間を特定する情報である特殊効果フレーム区間情報を出力する。ここで検出する画像境界線の組合せを有するフレームが連続するフレーム区間は必ずしも全てのフレームが画像境界線の組合せを有する必要はな、。フレーム区間の途中で画像境界線の組合せを有しな、フレームがある規定数含まれることを許容するようにしてもよい。また、ここで検出するフレーム区間は必ずしも複数のフレーム力も構成されるフレーム区間である必要はない。画像境界線の組合せを有する単一のフレームを、特殊効果を含むフレーム区間として検出しても力まわない。

[0101] 画像境界線の組合せを有するフレームが連続するフレーム区間を検出する方法は、一例として、第 1の実施の形態の画像境界線所有フレーム区間検出部 211の説明において説明した、画像境界線を有するフレームが連続するフレーム区間を検出する方法と同様でよい。ただし、特殊効果を構成する全てのフレーム力画像境界線の組合せを検出するのは容易でない (検出の対象とする四角形の画像枠が小さくなつたりするため)。また、画像境界線の組合せが検出できるフレーム数が限られることが多い。よって、画像境界線組合せ所有フレーム区間検出部 232において、検出するフレーム区間のフレーム数の最小値 Nを、画像境界線所有フレーム区間検出部 211 において設定する最小値 Nよりも小さい値に設定することが望ましい。 N= 1とすることも有効である。

[0102] また、画像境界線組合せ所有フレーム区間検出部 232は、検出された画像境界線の組合せを有するフレームが連続するフレーム区間において、さらに各フレームの画像境界線の組合せが構成する図形の面積の時間的な変化を解析してもよい。そして、画像境界線組合せ所有フレーム区間検出部 232は、面積の時間的な変化がある基準を満たす場合に、上記のフレーム区間を、特殊効果を含むフレーム区間として検出するよう〖こしてもよい。例えば、画像境界線組合せ所有フレーム区間検出部 232 は、各フレームの画像境界線の組合せが構成する図形の面積が、時間とともに単調増加または単調減少していく場合に、上記のフレーム区間を、特殊効果を含むフレーム区間として検出するようにしてもよい。

[0103] 例えば、図 2の (A)〜（H)に示されたように、特殊効果のうちの DVEにおいて画像境界線の組合せが構成する、切り替え前後の 2つの映像のうち上に重畳されたほうの映像の表示領域を示す画像枠の面積は、通常、単調増加（例えば図 2の (A)、 (D )、（F)、（H) )または単調減少（例えば図 2の（B)、（C)、（E)、（G) )するためである。このように各フレームの画像境界線の組合せが構成する図形の面積が時間とともに単調増加または単調減少する場合に限定して、画像境界線の組合せを有するフレームが連続するフレーム区間を、特殊効果を含むフレーム区間として検出すると、より精度よく特殊効果のうちの DVEを検出することができる効果がある。

[0104] 次に、図 14のフローチャートを参照して、第 3の実施の形態の動作を説明する。まず、入力映像力新フレームが取得され、画像境界線候補画素検出部 111に供給される（ステップ C01)。ここで、ステップ C01が初めて実行される場合には、新フレームを開始フレームとする。次に、画像境界線候補画素検出部 111は、フレーム力も画像境界線候補画素を検出し、検出した画像境界線候補画素を特定する画像境界線候補画素情報を出力する (ステップ C02)。

[0105] 次に、線抽出部 112は、画像境界線候補画素情報が示す画像境界線候補画素が構成する線を、画像境界線として抽出し、抽出された画像境界線を記述する画像境界線記述情報を出力する (ステップ C03)。次いで、画像境界線組合せ抽出部 231 は、画像境界線記述情報が示す複数の画像境界線の組合せを抽出し、抽出された画像境界線の組合せを記述する画像境界線組合せ情報を出力する (ステップ C04)

[0106] 次に、画像境界線組合せ所有フレーム区間検出部 232は、現フレームまでに出力された画像境界線組合せ情報を用いて、画像境界線の組合せを有するフレームが連続するフレーム区間を新たに検出する (ステップ C05)。なお、検出されたフレーム区間の重複を防ぐためには、例えば、現フレームにおいて画像境界線の組合せを有するフレーム区間が終了した場合にのみ、該フレーム区間を検出するようにすればよい。画像境界線の組合せを有するフレームが連続するフレーム区間が新たに検出された場合は、ステップ C06に進む。それ以外の場合は、ステップ C07に進む。

[0107] 画像境界線の組合せが連続するフレーム区間が新たに検出された場合には、画像境界線組合せ所有フレーム区間検出部 232は、そのフレーム区間を、特殊効果を含むフレーム区間とし、フレーム区間を特定する特殊効果フレーム区間情報を出力する（ステップ C06)。最後に、現フレームが終了フレームであるか否かを判定し (ステツプ C07)、終了フレームである場合は処理を終了する。現フレームが終了フレームでない場合には、ステップ C01に進み、映像の次のフレームを新フレームとして取得し、処理を続行する。こうしてステップ C01から C07までの処理を、終了フレームに到達するまで実行する。

[0108] 第 3の実施の形態では、画像境界線の組合せが形成する画像枠は、特殊効果のうちの DVEを構成するフレームに含まれ、特殊効果以外の映像変化のフレームには含まれないという性質を利用している。第 3の実施の形態では、フレーム力も画像境界線の組合せを抽出し、抽出した画像境界線の組合せにもとづ、て特殊効果を含むフレーム区間が検出される。よって、特殊効果のうちの DVEを、特殊効果以外の映像変化を誤って検出することなぐ高精度に検出できる効果がある。さらに、第 3の実施の形態では、複数の画像境界線の組合せにもとづ、て特殊効果が検出される。従って、単独の画像境界線のみにもとづ、て特殊効果を検出する第 1の実施の形態と比較して、より高精度に特殊効果のうちの DVEを検出することができる効果がある [0109] (第 4の実施の形態）

次に、本発明の第 4の実施の形態を図面を参照して説明する。

[0110] 図 15は、本発明による特殊効果検出装置の第 4の実施の形態を示すブロック図である。図 15に示すように、本発明の第 4の実施の形態の特殊効果検出装置は、画像境界線抽出部 11と特殊効果検出部 24とを備えている。第 4の実施の形態は、図 3に示された第 1の実施の形態における特殊効果検出部 21が、特殊効果検出部 24に置き換わっている点で第 1の実施の形態とは異なる。画像境界線検出部 11は、第 1の実施の形態における画像境界線検出部 11と同じものであるため、ここでは説明を省略する。

[0111] 特殊効果検出部 24は、第 1の実施の形態における特殊効果検出部 21と同様に、画像境界線抽出部 11が出力した各フレームの画像境界線記述情報を用いて、特殊効果を含むフレーム区間を検出し、フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する。しかし、第 1の実施の形態における特殊効果検出部 21 とは構成が異なる。

[0112] 特殊効果検出部 24は、画像境界線組合せ抽出部 231と、画像境界線組合せ連続移動フレーム区間検出部 241とを含む。画像境界線組合せ抽出部 231は、第 3の実施の形態における画像境界線組合せ抽出部 231と同じものであるため、ここでは説明を省略する。

[0113] 画像境界線組合せ連続移動フレーム区間検出部 241は、画像境界線組合せ抽出部 231が出力した各フレームの画像境界線組合せ情報が示す画像境界線の組合せが連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出し、そのフレーム区間を特定する情報である特殊効果フレーム区間情報を出力する。ここで、画像境界線の組合せが連続的に移動するフレーム区間とは、画像境界線の組合せのそれぞれの画像境界線が連続的に移動するフレーム区間のことを指す。ただし、必ずしも画像境界線の組合せの全ての画像境界線が連続的に移動する必要はない。画像境界線組合せ連続移動フレーム区間検出部 241は、画像境界線の組合せの一部の画像境界線のみが連続的に移動する場合でも、そのフレーム区間を画像境界線の組合せが連続的に移動するフレーム区間として検出してもよい。 [0114] 画像境界線の組合せが連続的に移動するフレーム区間を検出する方法の一例として、フレームカゝら抽出された画像境界線の組合せのそれぞれの画像境界線を記述するパラメータをパラメータ空間内の特徴点として表し、各特徴点がパラメータ空間内で時間とともに連続的に移動するフレーム区間を検出し、そのフレーム区間を画像境界線の組合せが連続的に移動するフレーム区間として検出する方法がある。

[0115] 図 16は、特殊効果を含むフレーム区間において、画像境界線の組合せのそれぞれの画像境界線を表す特徴点が、パラメータ空間内で時間とともに連続的に移動する様子を例示する説明図である。画像境界線の組合せの一部の画像境界線を表す特徴点のみが時間とともに連続的に移動する場合でも、そのフレーム区間を画像境界線の組合せが連続的に移動するフレーム区間として検出してもよい。各画像境界線を表す特徴点がパラメータ空間内で連続的に移動するフレーム区間を検出する方法は、一例として、第 2の実施の形態の画像境界線連続移動フレーム区間検出部 22 1にお、て説明した方法と同様である。

[0116] また、画像境界線組合せ連続移動フレーム区間検出部 241は、画像境界線の組合せが、フレームの端力他端へと連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出するようにしてもよい。すなわち、画像境界線組合せ連続移動フレーム区間検出部 241は、画像境界線の組合せのそれぞれの画像境界線力フレームの端力他端へと連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出するようにしてもよい。なお、個々の画像境界線がフレームの端力他端へと移動するフレーム区間を検出する方法として、第 2の実施の形態に述ベた方法を用いればよい。また、必ずしも画像境界線の組合せの全ての画像境界線力 Sフレームの端力他端へと連続的に移動する必要はな、。画像境界線組合せ連続移動フレーム区間検出部 241は、画像境界線の組合せの一部の画像境界線のみ力 Sフレームの端力も他端へと連続的に移動する場合でも、そのフレーム区間を画像境界線の組合せがフレームの端力他端へと連続的に移動するフレーム区間として検出してもよい。

[0117] また、画像境界線組合せ連続移動フレーム区間検出部 241は、検出された画像境界線の組合せが連続的に移動するフレーム区間において、さらに各フレームの画像境界線の組合せが構成する図形の面積の時間的な変化を解析してもよい。そして、画像境界線組合せ連続移動フレーム区間検出部 241は、面積の時間的な変化がある基準を満たす場合に、上記のフレーム区間を、特殊効果を含むフレーム区間として検出するよう〖こしてもよい。例えば、画像境界線組合せ連続移動フレーム区間検出部 241は、各フレームの画像境界線の組合せが構成する図形の面積が、時間とともに単調増加または単調減少していく場合に、上記のフレーム区間を、特殊効果を含むフレーム区間として検出するようにしてもよい。

[0118] 第 3の実施の形態において説明したのと同様に、例えば図 2の (A)〜(H)に示されたように、特殊効果のうちの DVEにおいて画像境界線の組合せが構成する、切り替え前後の 2つの映像のうち上に重畳されたほうの映像の表示領域を示す画像枠の面積は、通常、単調増加 (例えば、図 2の (A)、（D)、（F)、（H) )または単調減少 (例えば、図 2の（B)、（C)、（E)、（G) )するためである。このように各フレームの画像境界線の組合せが構成する図形の面積が時間とともに単調増加または単調減少する場合に限定して、画像境界線の組合せが連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出すると、より精度よく特殊効果のうちの DVEを検出することができる効果がある。

[0119] また、第 2の実施の形態の画像境界線連続移動フレーム区間検出部 221について説明したように、特殊効果は、切り替え前後の映像が空間的な占有割合を徐々に変化しながら切り替わる漸次変化であるため、画像境界線によって区分される 2つの画像領域 (画像境界線の組合せの内部の領域と外部の領域)のうち、面積が時間的に減少中の画像領域は切り替え前の映像に所属し、面積が時間的に増大中の画像領域は切り替え後の映像に所属する。このため、面積が時間的に減少中の画像領域は、切り替え後の映像のフレームとは類似せず、切り替え前の映像のフレームと部分的に類似する。また、面積が時間的に増加中の画像領域は、切り替え前の映像のフレ一ムとは類似せず、切り替え後の映像のフレームと部分的に類似する。

[0120] 画像境界線組合せ連続移動フレーム区間検出部 241は、画像境界線の組合せが連続的に移動するフレーム区間が、さらにこの性質を満たす場合に、フレーム区間を特殊効果を含むフレーム区間として検出するようにしてもよい。すなわち、画像境界線組合せ連続移動フレーム区間検出部 241は、検出された画像境界線の組合せが連続的に移動するフレーム区間がさらに、各フレームにおいて、そのフレームの画像境界線の組合せによって区分される 2つの画像領域のうち、

[0121] なお、面積が時間的に減少中の画像領域と、面積が時間的に増加中の画像領域との分別処理や、画像領域とフレームの類似性の判断処理等の詳細な説明は、第 2 の実施の形態の画像境界線連続移動フレーム区間検出部 221について説明したのと同様である。

[0122] 次に、図 17のフローチャートを参照して、第 4の実施の形態の動作を説明する。まず、入力映像力新フレームが取得され、画像境界線候補画素検出部 111に供給される（ステップ D01)。ここで、ステップ D01が初めて実行される場合には、新フレームを開始フレームとする。

[0123] 次に、画像境界線候補画素検出部 111は、フレームから画像境界線候補画素を検出し、検出した画像境界線候補画素を特定する画像境界線候補画素情報を出力する (ステップ D02)。次いで、線抽出部 112は、画像境界線候補画素情報が示す画像境界線候補画素が構成する線を、画像境界線として抽出し、抽出された画像境界線を記述する画像境界線記述情報を出力する (ステップ D03)。

[0124] 次に、画像境界線組合せ抽出部 231は、画像境界線記述情報が示す複数の画像境界線の組合せを抽出し、抽出された画像境界線の組合せを記述する画像境界線組合せ情報を出力する (ステップ D04)。

[0125] 次に、画像境界線組合せ連続移動フレーム区間検出部 241は、現フレームまでに出力された画像境界線組合せ情報を用いて、画像境界線組合せ情報が示す画像境界線の組合せが、連続的に移動するフレーム区間を新たに検出する (ステップ DO 5)。なお、検出されたフレーム区間の重複を防ぐには、画像境界線組合せ連続移動フレーム区間検出部 241は、例えば、現フレームにおいて画像境界線の組合せが連続的に移動するフレーム区間が終了した場合にのみ、フレーム区間を検出するようにすればよ!、。画像境界線の組合せが連続的に移動するフレーム区間が新たに検出された場合は、ステップ D06に進む。それ以外の場合は、ステップ D07に進む。

[0126] 画像境界線の組合せが連続的に移動するフレーム区間が新たに検出された場合には、画像境界線組合せ連続移動フレーム区間検出部 241は、そのフレーム区間を、特殊効果を含むフレーム区間とし、フレーム区間を特定する特殊効果フレーム区間情報を出力する (ステップ D06)。最後に、現フレームが終了フレームである力否かを判定し (ステップ D07)、終了フレームである場合は処理を終了する。現フレームが終了フレームでない場合は、ステップ D01に進み、映像の次のフレームを新フレームとして取得し、処理を続行する。こうしてステップ DO 1から D07までの処理を、終了フレームに到達するまで実行する。

[0127] 第 4の実施の形態では、画像境界線の組合せが連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出する。このため、第 4の実施の形態によれば、第 3の実施の形態の効果を有しつつ、画像境界線の組合せを有するフレームが連続するフレーム区間を、特殊効果を含むフレーム区間として検出する第 1の実施の形態と比較して、より高精度に特殊効果のうちの DVEを検出することができる効果がある。

[0128] (第 5の実施の形態）

次に、本発明の第 5の実施の形態を図面を参照して説明する。

[0129] 図 18は、本発明による特殊効果検出装置の第 5の実施の形態を示すブロック図である。図 18に示すように、本発明の第 5の実施の形態の特殊効果検出装置は、画像境界線抽出部 12と特殊効果検出部 21とを備えている。第 5の実施の形態は、図 3に示された第 1の実施の形態における画像境界線抽出部 11が、画像境界線抽出部 12 に置き換わっている点で第 1の実施の形態とは異なる。なお、ここでは、第 1の実施の形態において画像境界線抽出部 11が置き換わっている構成を例示するが、第 2、第 3、第 4の実施の形態の、ずれかにお、て画像境界線抽出部 11が置き換わって!/、る構成であってもよい。

[0130] 画像境界線抽出部 12は、第 1の実施の形態における画像境界線抽出部 11と同様に、入力映像の各フレームから、フレーム内に存在する 2つの画像の間の境界線である画像境界線を抽出し、抽出した画像境界線を記述する情報である画像境界線記述情報を出力する。しかし、第 1の実施の形態における画像境界線抽出部 11とは構成が異なる。

[0131] 画像境界線抽出部 12は、画像境界線候補画素検出部 111と、エッジ方向算出部 121と、重み付きハフ変換部 122とを含む。画像境界線候補画素検出部 111は、第 1の実施の形態における画像境界線候補画素検出部 111と同じものであるため、ここでは説明を省略する。

[0132] エッジ方向算出部 121は、画像境界線候補画素検出部 111が出力した各フレームの画像境界線候補画素情報を入力とし、画像境界線候補画素情報が示す各画像境界線候補画素のエッジ方向を算出する。そして、エッジ方向算出部 121は、算出された各画像境界線候補画素のエッジ方向を、フレームごとに出力する。エッジ方向とは画像の濃度勾配方向のことであり、エッジ方向を算出する方法は任意でよい。エッジ方向の算出方法の一例は、例えば、 "新編画像解析ハンドブッグ 'の p. 1232に記載されている。

[0133] 重み付きハフ変換部 122は、画像境界線候補画素検出部 111が出力した各フレームの画像境界線候補画素情報と、エッジ方向算出部 121が出力した各フレームの各画像境界線候補画素のエッジ方向とを入力とする。そして、重み付きハフ変換部 12 2は、各フレームに対して、画像境界線候補画素を入力としたノヽフ変換を用いた直線抽出方法において、投票を受ける直線の方向と画像境界線候補画素のエッジ方向がなす角度が垂直に近いほど投票の重みを大きくするように制御して投票を行って直線を抽出する。重み付きハフ変換部 122は、抽出した直線を画像境界線とする。重み付きハフ変換部 122は、抽出された画像境界線を記述する画像境界線記述情報を、フレームごとに出力する。

[0134] 第 1の実施の形態の線抽出部 112の説明において説明した画像境界線候補画素を入力としたハフ変換では、各画像境界線候補画素の投票の重みは一律であった。重み付きハフ変換部 122では、投票を受ける直線の方向と画像境界線候補画素のエッジ方向がなす角度が垂直に近いほど投票の重みを大きくする点が第 1の実施の形態とは異なる。投票の重みの算出方法の一例として、例えば、投票を受ける直線の方向と画像境界線候補画素のエッジ方向のなす角度を 0 (ただし 0≤ θ≤π /2 とする。 )とした場合、 Θを投票の重みとする方法がある。また OCを定数として、投票の重み Wを、（4)式のように算出してもよい。

[0135] [数 4]

[0136] 特殊効果検出部 21は、第 1の実施の形態における特殊効果検出部 21と同じものであるため、ここでは説明を省略する。

[0137] 図 19の説明図に示すように、理想的な条件下において、画像境界線を構成する画素のエッジ方向は画像境界線の方向に対して垂直になるという性質を有する。第 5の実施の形態では、この性質を利用している。第 5の実施の形態では、投票を受ける直線の方向と画像境界線候補画素のエッジ方向がなす角度が垂直に近!、ほど投票の重みを大きくするハフ変換によって画像境界線を抽出する。よって、第 1の実施の形態と比較して、第 5の実施の形態では、より高精度に画像境界線を抽出できる。その結果、第 5の実施の形態では、より高精度に特殊効果を検出できる効果がある。

[0138] (第 6の実施の形態）

次に、本発明の第 6の実施の形態を図面を参照して説明する。

[0139] 図 20は、本発明による特殊効果検出装置の第 6の実施の形態を示すブロック図である。図 20に示すように、本発明の第 6の実施の形態の特殊効果検出装置は、画像境界線抽出部 13と特殊効果検出部 21とを備えている。第 6の実施の形態は、図 3に示された第 1の実施の形態における画像境界線抽出部 11が、画像境界線抽出部 13 に置き換わっている点で第 1の実施の形態とは異なる。なお、ここでは、第 1の実施の形態において画像境界線抽出部 11が置き換わっている構成を例示するが、第 2、第 3、第 4の実施の形態の、ずれかにお、て画像境界線抽出部 11が置き換わって!/、る構成であってもよい。

[0140] 画像境界線抽出部 13は、第 1の実施の形態における画像境界線抽出部 11と同様に、入力映像の各フレームから、フレーム内に存在する 2つの画像の間の境界線である画像境界線を抽出し、抽出した画像境界線を記述する情報である画像境界線記述情報を出力する。しかし、画像境界線抽出部 13は、第 1の実施の形態における画像境界線抽出部 11とは構成が異なる。

[0141] 画像境界線抽出部 13は、画像境界線候補画素検出部 111と、線抽出部 112と、ェッジ方向算出部 131と、画像境界線フィルタリング部 132とを含む。画像境界線候補画素検出部 111は、第 1の実施の形態における画像境界線候補画素検出部 111と同じでものあるため、ここでは説明を省略する。線抽出部 112は、第 1の実施の形態における線抽出部 112と同じものであるため、ここでは説明を省略する。

[0142] エッジ方向算出部 131は、線抽出部 112が出力した各フレームの画像境界線記述情報を入力とし、画像境界線記述情報が示す画像境界線を構成する各画像境界線候補画素のエッジ方向を算出する。そして、エッジ方向算出部 131は、算出された各画像境界線を構成する各画像境界線候補画素のエッジ方向を、フレームごとに出力する。ここで、画像境界線を構成する全ての画像境界線候補画素のエッジ方向を算出する必要はない。エッジ方向算出部 131は、任意にサンプリングした画像境界線候補画素に対してのみエッジ方向を算出してもよい。エッジ方向を算出する方法は任意でよい。エッジ方向の算出方法の一例は、例えば、 "新編画像解析ハンドブック，，の p. 1232に記載されている。

[0143] 画像境界線フィルタリング部 132は、線抽出部 112が出力した各フレームの画像境界線記述情報と、エッジ方向算出部 131が出力した各フレームの各画像境界線を構成する各画像境界線候補画素のエッジ方向とを入力とする。そして、画像境界線フィルタリング部 132は、画像境界線記述情報が示す画像境界線の方向と、その画像境界線を構成する各画像境界線候補画素のエッジ方向がなす角度が垂直に近いと統計的に判定される場合に、画像境界線記述情報を出力する。それ以外の場合は、画像境界線フィルタリング部 132は、画像境界線記述情報を出力しな、。

[0144] 具体的な実現方法の一例にお!、て、画像境界線の方向と、その画像境界線を構成する各画像境界線候補画素のエッジ方向がなす角度とをそれぞれ算出する。この一例において、算出された各角度と垂直方向を示す角度（ π /2)との差の絶対値があるしきヽ値以下となる画像境界線候補画素の割合が、あるしきヽ値以上となる場合に、画像境界線の方向とその画像境界線を構成する各画像境界線候補画素のエツジ方向がなす角度が垂直に近いと統計的に判定する。また、別の実現方法の一例として、画像境界線の方向と、その画像境界線を構成する各画像境界線候補画素のエッジ方向がなす角度とをそれぞれ算出する。別の一例において、算出された各角度と垂直方向を示す角度（ π /2)との差の絶対値の平均値、または差の 2乗値の平均値が、あるしきい値以下となる場合に、画像境界線の方向とその画像境界線を構成する各画像境界線候補画素のエッジ方向がなす角度が垂直に近いと統計的に判定する。

[0145] 特殊効果検出部 21は、第 1の実施の形態における特殊効果検出部 21と同じものであるため、ここでは説明を省略する。

[0146] 第 6の実施の形態では、第 5の実施の形態と同様に、理想的な条件下において、画像境界線を構成する画素のエッジ方向は、画像境界線の方向に対して垂直になるという性質を利用している。第 6の実施の形態では、線抽出部 112が抽出した画像境界線が、画像境界線の方向と画像境界線を構成する各画像境界線候補画素のェッジ方向がなす角度が垂直に近くないと統計的に判定された場合に除去される。よつて、画像境界線ではない線が画像境界線として誤って検出されることを減らすことができる。その結果、より高精度に特殊効果を検出できる効果がある。さらに、第 6の実施の形態では、線抽出部 112で抽出された画像境界線を構成する画像境界線候補画素のみに対してエッジ方向を算出する。従って、第 6の実施の形態では、第 5の実施の形態と比較して、計算量を抑えることができる効果もある。

[0147] (第 7の実施の形態）次に、本発明の第 7の実施の形態を図面を参照して説明する。

[0148] 図 21は、本発明による特殊効果検出装置の第 7の実施の形態を示すブロック図である。図 21に示すように、本発明の第 7の実施の形態の特殊効果検出装置は、画像境界線抽出部 14と特殊効果検出部 21とを備えている。第 7の実施の形態は、図 3に示された第 1の実施の形態における画像境界線抽出部 11が、画像境界線抽出部 14 に置き換わっている点で第 1の実施の形態とは異なる。なお、ここでは、第 1の実施の形態において画像境界線抽出部 11が置き換わっている構成を例示するが、第 2、第 3、第 4の実施の形態の、ずれかにお、て画像境界線抽出部 11が置き換わって!/、る構成であってもよい。

[0149] 画像境界線抽出部 14は、第 1の実施の形態における画像境界線抽出部 11と同様に、入力映像の各フレームから、フレーム内に存在する 2つの画像の間の境界線である画像境界線を抽出し、抽出した画像境界線を記述する情報である画像境界線記述情報を出力する。しかし、画像境界線抽出部 14は、第 1の実施の形態における画像境界線抽出部 11とは構成が異なる。

[0150] 画像境界線抽出部 14は、画像境界線候補画素検出部 111と、線抽出部 112と、動きベクトル算出部 141と、画像境界線フィルタリング部 142とを含む。画像境界線候補画素検出部 111は、第 1の実施の形態における画像境界線候補画素検出部 11 1と同じものであるため、ここでは説明を省略する。線抽出部 112は、第 1の実施の形態における線抽出部 112と同じものであるため、ここでは説明を省略する。

[0151] 動きベクトル算出部 141は、線抽出部 112が出力した各フレームの画像境界線記述情報を入力とし、画像境界線記述情報が示す画像境界線上の複数の点の動きべタトルを算出する。そして、動きベクトル算出部 141は、算出された各画像境界線上の複数の点の動きベクトルを、フレームごとに出力する。動きベクトルを算出する方法は任意でよい。動きベクトルの算出方法の一例は、例えば、 "新編画像解析ハンドブック，，の pp. 1495— 1498に記載されている。

[0152] 画像境界線フィルタリング部 142は、線抽出部 112が出力した各フレームの画像境界線記述情報と、動きベクトル算出部 141が出力した各フレームの各画像境界線上の複数の点の動きベクトルとを入力とする。そして、画像境界線フィルタリング部 142 は、画像境界線記述情報が示す画像境界線上の複数の点の動きベクトルの方向や大きさが揃わない場合に、画像境界線記述情報を出力する。それ以外の場合は、画像境界線フィルタリング部 142は、画像境界線記述情報を出力しな、。

[0153] 画像境界線上の複数の点の動きベクトルの方向や大きさが揃わないかを判定する方法の一例として、第 1の実施の形態の画像境界線候補画素検出部 111で説明した方法と同様に、動きベクトルのばらつきの度合いを算出する方法がある。画像境界線上の複数の点（N点とする）の動きベクトルを（5)式で表し、これらの動きベクトルの平均ベクトルを（6)式で表す。動きベクトルのばらつき度合い Vは、（5)式で表わされる各動きベクトルと（6)式で表わされる平均ベクトルとのベクトル間距離の平均値として、（7)式のように算出できる。

[0154] [数 5]

(m m₂ , ' " , m_N ) - - - (5)

[0155] [数 6] m . ·ィ 6)

[0156] [数 7]

1 ^N ,_ 2

V =一 > \m - mj · · · (7)

[0157] こうして算出された画像境界線上の複数の点の動きベクトルのばらつき度合いがあるしきい値以上であれば、その画像境界線上の複数の点の動きベクトルの方向ゃ大きさが揃わないと判定することができる。

[0158] 特殊効果検出部 21は、第 1の実施の形態における特殊効果検出部 21と同じものであるため、ここでは説明を省略する。

[0159] 画像境界線は、 2つの画像間の動いている境界であるため、画像境界線上の複数の点の動きベクトルの方向や大きさが揃わないという性質を有する。第 7の実施の形態では、この性質を利用している。第 7の実施の形態では、線抽出部 112が抽出した画像境界線力画像境界線上の複数の点の動きベクトルの方向や大きさが揃う場合に除去される。よって、画像境界線ではない線が画像境界線として誤って検出されることを減らすことができる。その結果、より高精度に特殊効果を検出できる効果がある

[0160] (第 8の実施の形態）

次に、本発明の第 8の実施の形態を図面を参照して説明する。

[0161] 図 22は、本発明による特殊効果検出装置の第 8の実施の形態を示すブロック図である。図 22に示すように、本発明の第 8の実施の形態の特殊効果検出装置は、漸次変化区間検出部 3と、画像境界線抽出部 11と、特殊効果検出部 21とを備えている。第 8の実施の形態は、図 3に示された第 1の実施の形態の構成に加えて、漸次変化区間区検出部 3を有する点で第 1の実施の形態とは異なる。なお、ここでは、第 1の実施の形態の構成と漸次変化区間検出部 3との組合せを例示するが、他の実施の形態の構成と漸次変化区間検出部 3との組合せであってもよい。

[0162] 漸次変化区間検出部 3は、入力映像の各フレーム力特徴量を抽出し、各フレーム力抽出した特徴量を比較することにより、映像が緩やかに変化する区間である漸次変化区間を検出する。漸次変化区間検出部 3は、検出された漸次変化区間のフレーム列を、画像境界線抽出部 11の入力として供給する。

[0163] 各フレーム力抽出する特徴量は、任意でよい。各フレームから抽出した特徴量の比較にもとづいて漸次変化区間を検出する方法は、例えば、特開平 8— 237549号公報、特開 2005— 237002号公報、" Automatic Partitioning of Full—Moti on Video"に記載されている。これらの文献に記載されている方法を用いてもよいが、特徴量の比較にもとづ、て漸次変化区間を検出する他の方法を用いてもょ、。

[0164] 第 8の実施の形態では、入力映像の漸次変化区間から特殊効果を検出する。よつて、第 8の実施の形態では、直接入力映像カゝら特殊効果を検出する他の実施の形態と比較して、より高速に映像の特殊効果を検出することができる効果がある。

[0165] (第 9の実施の形態）

次に、本発明の第 9の実施の形態を図面を参照して説明する。

[0166] 図 23は、本発明による特殊効果検出装置の第 9の実施の形態を示すブロック図である。図 23に示すように、本発明の第 9の実施の形態の特殊効果検出装置は、画像境界線抽出部 11と、特殊効果検出部 21と、フレーム比較部 4とを備えている。第 9の実施の形態は、図 3に示された第 1の実施の形態の構成に加えて、フレーム比較部 4 を有する点で第 1の実施の形態とは異なる。なお、ここでは、第 1の実施の形態の構成とフレーム比較部 4との糸且合せを例示する力他の実施の形態とフレーム比較部 4 との組合せであってもよ!/、。

[0167] フレーム比較部 4は、特殊効果検出部 21が出力した特殊効果フレーム区間情報を受け取り、特殊効果フレーム区間情報が示すフレーム区間の前後のフレームを入力映像から取得し、取得したフレームの特徴量を抽出する。そして、フレーム比較部 4 は、抽出した特徴量を比較してフレーム区間の前後で映像が切り替わった力否かを判定する。フレーム比較部 4は、映像が切り替わつたと判定された場合に、特殊効果フレーム区間情報を出力する。それ以外の場合は、フレーム比較部 4は、特殊効果フレーム区間情報を出力しない。

[0168] ここで、取得するフレーム区間の前後のフレームは、フレーム区間の 1つ前および 1 つ後ろのフレームである必要はない。フレーム区間のある所定数だけ前および後ろのフレームであってもよい。また、フレーム区間の前後のフレームはそれぞれ複数枚のフレーム、例えばフレーム区間の前後の Nフレーム（Nはフレーム枚数）であってもよい。この場合、フレーム比較部 4は、フレーム区間の前後の複数枚のフレームの特徴量を比較して、フレーム区間の前後で映像が切り替わった力否かを判定してもよい。フレーム力も抽出する特徴量は、任意でよい。

[0169] フレーム区間の前後のフレームの特徴量を比較してフレーム区間の前後で映像が切り替わった力否かを判定する方法の一例として、特徴量間の距離 (あるいは類似度 )を算出し、算出された距離があるしき!、値以上 (ある!/、は類似度がしき!/、値以下)である場合に映像が切り替わつたと判定する方法がある。特徴量間の距離や類似度を任意の方法で算出してよい。ここで、しきい値は、例えば、学習用として用意された映像から、映像切り替えの前後のフレームの特徴量の間の距離 (あるいは類似度)を調查して設定されることが好まし、。

[0170] 第 9の実施の形態では、特殊効果検出部 21が出力した特殊効果フレーム区間情報力それが示すフレーム区間の前後で映像が切り替わっていないと判定された場合に除去される。よって、第 9の実施の形態では、特殊効果ではないものが誤って検出されることを減らすことができる効果がある。

[0171] (第 10の実施の形態）

次に、本発明の第 10の実施の形態を図面を参照して説明する。

[0172] 図 24は、本発明による特殊効果検出装置の第 10の実施の形態を示すブロック図である。図 24に示すように、本発明の第 10の実施の形態の特殊効果検出装置は、画像境界線抽出部 11と、特殊効果検出部 21と、フィルタリング部 5とを備えている。第 10の実施の形態は、図 3に示された第 1の実施の形態の構成に加えて、フィルタリング部 5を有する点で第 1の実施の形態とは異なる。なお、ここでは、第 1の実施の形態の構成とフィルタリング部 5との組合せを例示するが、他の実施の形態の構成とフィルタリング部 5との組合せであってもよ!/、。

[0173] フィルタリング部 5は、特殊効果検出部 21が出力した特殊効果フレーム区間情報を受け取り、任意の時間区間において検出される特殊効果を含むフレーム区間の数を制限するように特殊効果フレーム区間情報を制限して出力する。例えば、フィルタリング部 5は、時間区間長を Lと設定し、特殊効果検出部 21が出力した特殊効果フレーム区間情報が示すフレーム区間が映像中の任意の位置の時間区間長 Lに最大で 1つだけ含まれるように制限し、制限されたフレーム区間を示す特殊効果フレーム区間情報のみを出力する。制限の方法は任意である。例えば特殊効果フレーム区間情報が示すフレーム区間の区間長が長いものを優先するなどしてもよい。

[0174] 第 10の実施の形態では、短い時間区間内で特殊効果が多数検出されるのを抑えることができ、誤検出が連続的に発生するのを防ぐことができる効果がある。

[0175] 上記実施の形態によれば、映像の意味的に重要な箇所であるコーナーやトピックなどの開始点を検出することができる。このため、上記実施の形態は、映像の自動構造ィ匕に適用できる。

Claims

請求の範囲

[1] 映像を構成するフレームから、フレーム内に存在する 2つの画像の間の境界線である画像境界線を抽出する画像境界線抽出部と、

画像境界線にもとづいて映像に含まれる特殊効果を検出する特殊効果検出部とを具備する

映像の特殊効果検出装置。

[2] 画像境界線抽出部は、映像の各フレームから、フレーム内に存在する 2つの画像の間の境界線である画像境界線を抽出し、前記画像境界線を記述する情報である画像境界線記述情報を出力し、

特殊効果検出部は、各フレームの前記画像境界線記述情報を用いて特殊効果を含むフレーム区間を検出し、前記フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する

請求の範囲 1記載の映像の特殊効果検出装置。

[3] 特殊効果が、ワイプまたはディジタルビデオエフェクトによる映像切り替えである請求の範囲 2記載の映像の特殊効果検出装置。

[4] 画像境界線が、フレーム内に存在する 2つの画像の間の境界線と連動して動くフレーム内の線をも含む請求の範囲 2または 3に記載の映像の特殊効果検出装置。

[5] 画像境界線抽出部が、

映像の各フレームから、画像境界線を構成する画素の候補である画像境界線候補画素を検出し、前記画像境界線候補画素を特定する情報である画像境界線候補画素情報をフレームごとに出力する画像境界線候補画素検出部と、

各フレームの前記画像境界線候補画素情報が示す画像境界線候補画素が構成する線を画像境界線として抽出し、前記画像境界線を記述する情報である画像境界線記述情報をフレームごとに出力する線抽出部とを含む

請求の範囲 2から 4のいずれかに記載の映像の特殊効果検出装置。

[6] 画像境界線候補画素検出部が、エッジである画素、フレーム間画素差分値が大きい画素、動きベクトルがばらつく領域に属する画素のいずれか 1つを満たす画素、または複数の組合せを満たす画素を、画像境界線候補画素として検出する請求の範囲 5に記載の映像の特殊効果検出装置。

[7] 線抽出部が、ハフ変換を用いて画像境界線候補画素が構成する直線を画像境界線として抽出する請求の範囲 5または 6に記載の映像の特殊効果検出装置。

[8] 特殊効果検出部が、

各フレームの画像境界線記述情報を用いて、フレームごとに画像境界線を有するか否かを判定し、画像境界線を有するフレームが連続するフレーム区間を特殊効果を含むフレーム区間として検出し、前記フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する画像境界線所有フレーム区間検出部を含む請求の範囲 2から 7のいずれかに記載の映像の特殊効果検出装置。

[9] 特殊効果検出部が、

各フレームの画像境界線記述情報が示す画像境界線が連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出し、フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する画像境界線連続移動フレーム区間検出部を含む

請求の範囲 2から 7のいずれかに記載の映像の特殊効果検出装置。

[10] 画像境界線連続移動フレーム区間検出部が、各フレームの画像境界線を記述するノメータをパラメータ空間内の特徴点として表し、前記パラメータ空間内で前記画像境界線を表す前記特徴点が時間とともに連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出する請求の範囲 9記載の映像の特殊効果検出装置。

[11] 画像境界線連続移動フレーム区間検出部が、画像境界線がフレームの端力他端へと連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出する請求の範囲 9または 10に記載の映像の特殊効果検出装置。

[12] 画像境界線連続移動フレーム区間検出部が、画像境界線が連続的に移動するフレーム区間がさらに、各フレームにおいて、フレームの前記画像境界線によって区分される 2つの画像領域の少なくとも一方の画像領域と、前記フレーム区間の前と後のフレームの少なくとも一方のフレームとの間の類似性を評価することにより、前記フレーム区間を特殊効果を含むフレーム区間として検出する請求の範囲 9から 11のいずれかに記載の映像の特殊効果検出装置。

[13] 特殊効果検出部が、

各フレームの画像境界線記述情報が示す複数の画像境界線の組合せを抽出し、前記画像境界線の組合せを記述する情報である画像境界線組合せ情報をフレームごとに出力する画像境界線組合せ抽出部と、

各フレームの前記画像境界線組合せ情報を用いて、フレームごとに画像境界線の組合せを有するカゝ否かを判定し、画像境界線の組合せを有するフレームが連続するフレーム区間を、特殊効果を含むフレーム区間として検出し、前記フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する画像境界線組合せ所有フレーム区間検出部とを含む

[14] 画像境界線組合せ所有フレーム区間検出部が、さらに各フレームの画像境界線の組合せが構成する図形の面積の時間的な変化を解析し、前記面積の時間的な変化がある基準を満たす場合に、前記フレーム区間を、特殊効果を含むフレーム区間として検出する請求の範囲 13記載の映像の特殊効果検出装置。

[15] 画像境界線組合せ所有フレーム区間検出部が、面積が時間とともに単調増カロまたは単調減少していく場合に、フレーム区間を、特殊効果を含むフレーム区間として検出する請求の範囲 14記載の映像の特殊効果検出装置。

[16] 特殊効果検出部が、

各フレームの画像境界線組合せ情報が示す画像境界線の組合せが連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出し、前記フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する画像境界線組合せ連続移動フレーム区間検出部とを含む

[17] 画像境界線組合せ抽出部が、複数の画像境界線が、四角形、または四角形の一部を形成する画像境界線の組合せを抽出する請求の範囲 13から 16のいずれかに記載の映像の特殊効果検出装置。

[18] 画像境界線組合せ連続移動フレーム区間検出部が、各フレームの画像境界線の組合せのそれぞれの画像境界線を記述するパラメータをパラメータ空間内の特徴点として表し、前記各特徴点が前記パラメータ空間内で時間とともに連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出する請求の範囲 16または 17記載の映像の特殊効果検出装置。

[19] 画像境界線組合せ連続移動フレーム区間検出部が、画像境界線の組合せが、フレームの端力他端へと連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出する請求の範囲 16から 18のいずれかに記載の映像の特殊効果検出装置。

[20] 画像境界線組合せ連続移動フレーム区間検出部が、さらに各フレームの画像境界線の組合せが構成する図形の面積の時間的な変化を解析し、前記面積の時間的な変化がある基準を満たす場合に、前記フレーム区間を、特殊効果を含むフレーム区間として検出する請求の範囲 16から 19のいずれかに記載の映像の特殊効果検出装置。

[21] 画像境界線組合せ連続移動フレーム区間検出部が、面積が時間とともに単調増加または単調減少していく場合に、フレーム区間を、特殊効果を含むフレーム区間として検出する請求の範囲 20記載の映像の特殊効果検出装置。

[22] 画像境界線組合せ連続移動フレーム区間検出部が、画像境界線の組合せが連続的に移動するフレーム区間がさらに、各フレームにおいて、フレームの前記画像境界線によって区分される 2つの画像領域の少なくとも一方の画像領域と、前記フレーム区間の前と後のフレームの少なくとも一方のフレームとの間の類似性を評価することにより、前記フレーム区間を特殊効果を含むフレーム区間として検出する請求の範囲 16から 21のいずれかに記載の映像の特殊効果検出装置。

[23] 画像境界線抽出部が、

各フレームの前記画像境界線候補画素情報が示す各画像境界線候補画素のエツジ方向を算出し、算出された各画像境界線候補画素の前記エッジ方向をフレームごとに出力するエッジ方向算出部と、

フレームごとに、前記画像境界線候補画素情報が示す画像境界線候補画素を入力としたハフ変換を用いた直線抽出方法において、投票を受ける直線の方向と前記画像境界線候補画素の前記エッジ方向がなす角度が垂直に近いほど投票の重みを大きくするように制御して投票を行って直線を抽出し、抽出した前記直線を画像境界線として、前記画像境界線を記述する情報である画像境界線記述情報を出力する重み付きハフ変換部とを含む

請求の範囲 2から 22のいずれかに記載の映像の特殊効果検出装置。

[24] 画像境界線抽出部が、さらに、

各フレームの画像境界線記述情報が示す画像境界線を構成する各画像境界線候補画素のエッジ方向を算出し、算出された前記画像境界線を構成する各画像境界線候補画素の前記エッジ方向をフレームごとに出力するエッジ方向算出部と、フレームごとに、前記画像境界線記述情報が示す画像境界線の方向と、前記画像境界線を構成する各画像境界線候補画素の前記エッジ方向がなす角度が垂直に近いと統計的に判定される場合に、前記画像境界線記述情報を出力する画像境界線フィルタリング部とを含む

請求の範囲 5から 23のいずれかに記載の映像の特殊効果検出装置。

[25] 画像境界線抽出部が、さらに、

各フレームの画像境界線記述情報が示す画像境界線上の複数の点の動きべタトルを算出し、算出された前記画像境界線上の複数の点の前記動きベクトルをフレームごとに出力する動きベクトル算出部と、

フレームごとに、前記画像境界線記述情報が示す画像境界線上の複数の点の前記動きベクトルの方向や大きさが揃わない場合に、前記画像境界線記述情報を出力する画像境界線フィルタリング部とを含む

請求の範囲 5から 24のいずれかに記載の映像の特殊効果検出装置。

[26] 映像の各フレーム力特徴量を抽出し、各フレーム力抽出した特徴量を比較することにより、映像が緩やかに変化する区間である漸次変化区間を検出し、前記漸次変化区間のフレーム列を出力する漸次変化検出部を備え、

前記映像が、前記漸次変化検出部によって予め漸次変化区間に限定された映像である

請求の範囲 2から 25のいずれかに記載の映像の特殊効果検出装置。

[27] 特殊効果検出部が出力した特殊効果フレーム区間情報が示すフレーム区間の前後のフレームを映像力も取得し、取得した前記フレームの特徴量を抽出し、抽出した前記特徴量を比較して前記フレーム区間の前後で映像が切り替わった力否かを判定し、映像が切り替わつたと判定された場合に、前記特殊効果フレーム区間情報を出力するフレーム比較部を備えた請求の範囲 2から 26のいずれかに記載の映像の特殊効果検出装置。

[28] 特殊効果検出部が出力した特殊効果フレーム区間情報を受け取り、任意の時間区間において検出される特殊効果を含むフレーム区間の数を制限するように、前記特殊効果フレーム区間情報を制限して出力するフィルタリング部を備えた請求の範囲 2 力も 27のいずれか〖こ記載の映像の特殊効果検出装置。

[29] 請求の範囲 2から 28のいずれかに記載の映像の特殊効果検出装置と、

前記映像の特殊効果検出装置が出力した特殊効果フレーム区間情報にもとづいて映像の再生制御を行う映像再生制御装置と

を具備する

映像再生装置。

[30] 映像の各フレームから、フレーム内に存在する 2つの画像の間の境界線である画像境界線を抽出し、

前記画像境界線を記述する情報である画像境界線記述情報を出力し、各フレームの前記画像境界線記述情報を用いて特殊効果を含むフレーム区間を検出し、

前記フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する映像の特殊効果検出方法。映像の各フレームから、フレーム内に存在する 2つの画像の間の境界線である画像境界線を抽出する処理と、

前記画像境界線を記述する情報である画像境界線記述情報を出力する処理と、各フレームの前記画像境界線記述情報を用いて特殊効果を含むフレーム区間を検出する処理と、

前記フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する処理と

をコンピュータに実行させる映像の特殊効果検出プログラム。