WO2006126391A1

WO2006126391A1 - コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラム

Info

Publication number: WO2006126391A1
Application number: PCT/JP2006/309378
Authority: WO
Inventors: Takao Okuda
Original assignee: Sony Corporation
Priority date: 2005-05-26
Filing date: 2006-05-10
Publication date: 2006-11-30
Also published as: KR20080007424A; US20090066845A1; JP4613867B2; KR101237229B1; JP2007006454A

Abstract

　映像に含まれるテロップを利用して映像コンテンツのトピックの切り替わりを検出し、トピック毎にコンテンツを分割する。　まず、映像コンテンツから画像の切り替わりによりシーンが大きく変化するシーン・チェンジ点を検出する。次いで、シーン・チェンジ点の前後１秒のフレームの平均画像を作成し、この平均画像を用いてシーン・チェンジ点でテロップが出現しているかどうかを高精度で検出する。そして、同じ静止テロップが出現している区間を検出し、同じ静止テロップが出現している各区間の時間に関するインデックス情報を作成する。

Description

明細書

コンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ'プログラム

技術分野

[0001] 本発明は、例えばテレビ放送の録画により得られた映像コンテンツに対しインデックス付けなどの処理を行なうコンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ 'プログラムに係り、特に、録画した映像コンテンツを番組内で取り上げられている話題 (すなわちトピック）に従ってシーンの切り替わりを判別しシーン毎に分割若しくは分類を行なうコンテンツ処理装置及びコンテンツ処理方法、並びにコンビュ一タ.プログラムに関する。

[0002] さら〖こ詳しくは、本発明は、映像に含まれるテロップを利用して映像コンテンツのトビックの切り換わりを検出しトピック毎にコンテンツを分割しインデックス付けを行なうコンテンッ処理装置及びコンテンツ処理方法、並びにコンピュータ 'プログラムに係り、特に、映像に含まれるテロップを利用しながら、比較的少ない処理量でトピックの検出を行なうコンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ 'プログラムに関する。

背景技術

[0003] 現代の情報文明社会において、放送の役割は計り知れない。とりわけ、音響とともに映像情報を視聴者の元に直接届けるテレビ放送の影響は大きい。放送技術は、信号処理やその送受信、音声や映像の情報処理など、幅広い技術を包含する。

[0004] テレビの普及率は極めて高ぐほとんどすべての家庭内に設置されており、各放送局から配信される放送コンテンツは不特定多数の人々によって視聴されている。また、放送コンテンツを視聴する他の形態として、受信したコンテンツを視聴者側で一旦録画しておき、好きな時間に再生するということが挙げられる。

[0005] 最近ではデジタル技術の発達により、映像や音声力なる AVデータを大量に蓄積することが可能になってきた。例えば、数十〜数百 GBの容量を持つ HDD (ノヽ一ド' ディスク 'ドライブ）が比較的安価に入手することが可能となり、 HDDベースの録画機や、テレビ番組の録画 Z視聴機能を持ったパーソナル 'コンピュータ (PC)などが登場してきている。 HDDは、記録データへのランダム 'アクセスが可能な装置である。したがって、録画コンテンツを再生するときは、従来のビデオ'テープの場合のように、録画しておいた番組を単に先頭力順に再生する必要はなぐ好きな番組 (あるいは、番組中の特定のシーンや特定のコーナー）力も直接再生を開始することができる。ハード ·ディスク装置などの大容量ストレージを搭載した受信機 (テレビやビデオ録画再生装置)を使用し、放送コンテンツを受信し一旦受信機内に蓄積して力再生するという視聴形態のことを、「サーバ型放送」と呼ぶ。サーバ型放送システムによれば、通常のテレビ受像のようなリアルタイムで視聴する必要はなぐユーザは自分の都合のよ、時間に放送番組を視聴することができる。

[0006] ハード'ディスクの大容量ィ匕に伴い、サーバ型放送システムにより数十時間分にも及ぶ番組録画が可能である。このため、録画した映像コンテンツをユーザがすべて視聴することは不可能に近ぐユーザが興味を持つ場面だけをうまくシーン検索し、ダイジェスト視聴するというスタイル力 S、より効率的であるとともに録画コンテンツの有効活用にもなる。

[0007] このような録画コンテンツにおけるシーン検索やダイジェスト視聴を行なうには、映像に対しインデックス付けを行なう必要がある。映像インデックス付けの手法としては、ビデオ信号が大きく変化したフレームをシーン'チェンジ点として検出し、インデックス付けを行なう方法が広く知られている。

[0008] 例えば、連続した 1フィールド又は 1フレームの 2枚の画面の画像に対して、画像を構成する成分のヒストグラムをそれぞれ作成し、それらの差分の合計値を計算して設定した閾値よりも大きいときに画像のシーンが変化したことを検出するシーン'チェンジ検出方法が知られている（例えば、特許文献 1を参照のこと)。ヒストグラムを作成する際に、該当するレベルとその両側の隣接するレベルに対してある一定数を振り分けて加算し、その後規格ィ匕することによって新たなヒストグラムの結果を算出し、この新たに算出したヒストグラムを用いて 2枚毎の画面の画像のシーンが変化したことを検出することにより、フェード画像についても正確なシーン'チェンジを検出することが可能となる。 [0009] し力しながら、シーン 'チェンジ点は番組中に非常に多く存在する。一般的には、番組内で同じ話題 (すなわちトピック）を扱っている期間を一塊にして、映像コンテンツを分割し分類することがダイジェスト視聴には適してヽると思料されるが、同じ話題が継続する間も頻繁にシーンが切り換わる。このため、シーン'チェンジにのみ依存した映像インデックス付け方法では、ユーザにとって望ま、インデックス付けを行なうことにはならない。

[0010] また、映像情報を用いて映像カット位置を検出するとともに、音響情報を用いて音響クラスタリングを行な、、映像及び音響それぞれの情報を統合してインデックスを付与し、インデックスの情報に従ってコンテンツの編集、検索、選択視聴を行なう映像音響コンテンツ編集装置について提案がなされている（例えば、特許文献 2を参照のこと)。この映像音響コンテンツ編集装置によれば、音響情報力得たインデックス情報 (音声、無音、音楽を区別）とシーン'チェンジ点を関連付けることにより、映像的にも音響的にも意味のある位置をシーンとして検出することができるとともに、無駄なシーン 'チェンジ点をある程度は削除することができる。し力しながら、シーン'チェンジ点は番組中に非常に多く存在するため、トピック毎に映像コンテンツを分割することは無理である。

[0011] 他方、ニュース番組やバラエティ番組などのテレビ放送においては、番組の制作' 編集の手法として、フレームの四隅に番組の話題を明示的あるいは暗示的に表現したテロップを表示することが一般的に採用されて、る。フレーム中で表示されるテロップは、その表示区間での放送番組のトピックを特定又は推定するための重要な手が力りになる。したがって、映像コンテンツ力もテロップを抽出し、テロップの表示内容を 1つの指標として映像インデックス付けを行なうことが可能であると考えられる。

[0012] 例えば、フレーム中のテロップを特徴画部分として検出し、テロップだけの映像データを抽出して放送番組の内容を示すメニューを自動的に作成する放送番組内容メニユー作成装置について提案がなされている (例えば、特許文献 3を参照のこと)。フレーム力テロップを検出するには通常エッジ検出をしなければならないが、エッジ計算は処理負荷が高い。同装置では、すべてのフレームでエッジ計算を行なうため、計算量が膨大になるという問題がある。また、同装置は、映像データ力抽出される各テロップを用いてニュース番組の番組メニューを自動作成することを主な目的としており、検出されたテロップ力も番組におけるトピックの変化を特定したり、トピックを利用して映像インデックス付けを行なったりするものではない。すなわち、フレームから検出されたテロップの情報を利用してどのように映像インデックス付けを行なうべきか t 、う問題を解決して、な、。

[0013] 特許文献 1 :特開 2004— 282318号公報

特許文献 2：特開 2002— 271741号公報

特許文献 3：特開 2004 - 364234号公報

発明の開示

発明が解決しょうとする課題

[0014] 本発明の目的は、録画した映像コンテンツを番組内で取り上げられてヽる話題 (すなわちトピック）に従ってシーンの切り換わりを判別しシーン毎に分割て映像インデッタス付けを好適に行なうことができる、優れたコンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ 'プログラムを提供することにある。

[0015] 本発明のさらなる目的は、映像に含まれるテロップを利用して映像コンテンツのトビックの切り替わりを検出し、トピック毎にコンテンツを分割し映像インデックス付けを好適に行なうことができる、優れたコンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ 'プログラムを提供することにある。

[0016] 本発明のさらなる目的は、映像に含まれるテロップを利用しながら、比較的少なヽ処理量でトピックの検出を行なうことができる、優れたコンテンツ処理装置及びコンテンッ処理方法、並びにコンピュータ 'プログラムを提供することにある。

課題を解決するための手段

[0017] 本発明は、上記課題を参酌してなされたものであり、その第 1の側面は、画像フレームの時系列力なる映像コンテンツを処理するコンテンツ処理装置であって、処理対象となる映像コンテンツから、画像フレームの切り替わりによりシーンが大きく変化するシーン'チェンジ点を検出するシーン'チェンジ検出部と、

処理対象となる映像コンテンツから、連続する複数の画像フレームにまたがって同じ静止テロップが出現している区間を検出するトピック検出部と、前記トピック検出部が検出した、同じ静止テロップが出現している各区間の時間に関するインデックス情報を蓄積するインデックス蓄積部と、

を具備することを特徴とするコンテンツ処理装置である。

[0018] テレビ番組などの放送コンテンツを受信し一旦受信機内に蓄積して力再生するという視聴形態が一般的となりつつある。ここで、ハード'ディスクの大容量ィ匕に伴い、サーバ型放送システムにより数十時間分にも及ぶ番組録画が可能になってくると、ュ一ザが興味を持つ場面だけをうまくシーン検索し、ダイジェスト視聴すると、ぅスタイルが有効である。このような録画コンテンツにおけるシーン検索やダイジェスト視聴を行なうには、映像に対しインデックス付けを行なう必要がある。

[0019] 従来、映像コンテンツ力もシーン 'チェンジ点を検出してインデックス付けを行なう方法が一般的であつたが、シーン 'チェンジ点は番組中に非常に多く存在し、ユーザにとっては望ましヽインデックス付けにはならなヽと考えられる。

[0020] また、ニュース番組やバラエティ番組などのテレビ放送においては、フレームの四隅に番組のトピックを表現したテロップを表示することが多、ので、映像コンテンツからテロップを抽出し、テロップの表示内容を 1つの指標として映像インデックス付けを行なうことが可能である。し力しながら、映像コンテンツ力もテロップを抽出するにはフレーム毎にエッジ検出処理を行なわなければならず、計算量が膨大になるという問題がある。

[0021] そこで、本発明に係るコンテンツ処理装置では、まず、処理対象となる映像コンテンッからシーン ·チェンジ点を検出し、各シーン ·チェンジ点にお、て前後するフレームを利用して、当該位置でテロップが出現しているかどうかを検出する。そして、テロップの出現が検出されたときに、同じ静止テロップが出現している区間を検出するようにしたので、テロップを抽出するためのエッジ検出処理の機会を最小限に抑え、トビック検出のための処理負荷を軽減することができる。

[0022] 前記トピック検出部は、シーン.チェンジ点の前後例えば 1秒間におけるフレームの平均画像を作成し、この平均画像に対してテロップ検出を行なうようにする。シーン' チェンジ前後でテロップが表示され続けていれば、平均画像を作ることによって、テロップ部分は鮮明に残り、それ以外の部分はぼやけるので、テロップ検出の精度を高めることができる。このテロップ検出は、例えばエッジ検出により行なうことができる。

[0023] そして、前記トピック検出部は、テロップが検出されたシーン'チェンジ点から前方のフレームとテロップ領域の比較を行なって、該テロップ領域力もテロップが消えた位置を当該トピックの開始位置として検出する。同様に、テロップが検出されたシーン'チェンジ点力も後方のフレームとテロップ領域の比較を行なって、該テロップ領域カもテ口ップが消えた位置を当該トピックの終了位置として検出する。テロップ領域力もテロップが消えたかどうかは、例えば、比較対象となる各フレームについてテロップ領域における色要素毎の平均色を算出し、フレーム間でこれらの平均色のユークリッド距離が所定の閾値を超えたかどうかによつて、少ない処理負荷で判定することができる。勿論、周知のシーン'チェンジ検出と同じ方法をテロップ領域に用いることによって、テロップの消失位置の検出をさらに厳密に行なうことができる。

[0024] 但し、領域内で平均色を算出すると、その領域に含まれるテロップ以外の背景色の影響を受け易いという問題がある。そこで、その代替案として、エッジ情報を用いてテ口ップの有無を判別する方法が挙げられる。すなわち、比較対象となる各フレームにっ、てテロップ領域におけるエッジ画像を求め、フレーム間でのテロップ領域のエツジ画像の比較結果に基づ、てテロップ領域におけるテロップの存在を判定する。具体的には、比較対象となる各フレームについてテロップ領域におけるエッジ画像を求め、テロップ領域で検出されたエッジ画像の画素数が急激に減少したときにテロップが消えたと判定し、該画素数の変化が少ないときには同じテロップが出現し続けていると判定することができる。ちなみに、エッジ画像の画素数が急激に増加したときに新たなテロップが出現したと判定することができる。

[0025] また、テロップが変化してもエッジ画像の数があまり変化しな、可能性もある。そこで、フレーム間でテロップ領域のエッジ画像の画素数の変化が小さ、場合であっても、さらに互いのエッジ画像同士で対応するエッジ画素毎の論理積 (AND)をとり、その結果画像におけるエッジ画素の数が急激に減少した場合には (例えば、 3分の 1以下）、テロップが変化した、すなわちテロップの開始又は終了位置と推定することができる。

[0026] また、前記トピック検出部は、検出されたテロップ開始位置及び終了位置力テロップの出現時間を求め、このテロップの出現時間が一定時間以上の場合のみトピックと判断することで、誤検出を低減するようにしてもよい。

[0027] また、前記トピック検出部は、フレーム内でテロップが検出されたテロップ領域の大きさ又は位置情報に基づ、て必要なテロップであるかどうかを判定するようにしてもよい。映像フレーム中でテロップが出現する位置やその大きさは、放送業界において大まかな慣習があり、この慣習に倣って、映像フレーム中においてテロップが出現する位置情報や大きさを考慮してテロップ検出を行なうことで、誤検出を低減することができる。

[0028] また、本発明の第 2の側面は、画像フレームの時系列からなる映像コンテンツに関する処理をコンピュータ 'システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ ·プログラムであって、前記コンピュータ ·システムに対し、

処理対象となる映像コンテンツから、画像フレームの切り替わりによりシーンが大きく変化するシーン'チェンジ点を検出するシーン'チェンジ検出手順と、

前記シーン'チェンジ検出手順において検出されたシーン'チェンジ点の前後のフレームを利用して、当該シーン'チェンジ点でテロップが出現しているかどうかを検出し、テロップが検出されたシーン'チェンジ点の前後において連続する複数の画像フレームにまたがって同じ静止テロップが出現している区間を検出するトピック検出手順と、

前記トピック検出手順において検出した、同じ静止テロップが出現している各区間の時間に関するインデックス情報を蓄積するインデックス蓄積手順と、

前記インデックス蓄積手順にぉ、て蓄積されたインデックス情報の中からあるトピックが選択された場合に、該当する映像コンテンツのうちインデックス情報として記述されている開始時間から終了時間に至るまでの区間を再生出力する再生手順と、を実行させることを特徴とするコンピュータ ·プログラムである。

[0029] 本発明の第 2の側面に係るコンピュータ 'プログラムは、コンピュータ 'システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ 'プログラムを定義したものである。換言すれば、本発明の第 2の側面に係るコンピュータ'プログラムをコンピュータ 'システムにインスト一ノレすることによって、コンピュータ 'システム上では協働的作用が発揮され、本発明の第 1の側面に係るコンテンツ処理装置と同様の作用効果を得ることができる。

発明の効果

[0030] 本発明によれば、映像に含まれるテロップを利用して映像コンテンツのトピックの切り替わりを検出し、トピック毎にコンテンッを分割し映像インデックス付けを好適に行なうことができる、優れたコンテンツ処理装置及びコンテンツ処理方法、並びにコンビュータ ·プログラムを提供することができる。

[0031] また、本発明によれば、映像に含まれるテロップを利用しながら、比較的少な！/ヽ処理量でトピックの検出を行なうことができる、優れたコンテンツ処理装置及びコンテンッ処理方法、並びにコンピュータ ·プログラムを提供することができる。

[0032] 本発明によれば、例えば録画したテレビ番組をトピック毎に分割することが可能になる。テレビ番組をトピック毎に分割し映像インデックス付けすることで、ユーザはダイジェスト視聴などの効率的な番組の視聴が可能になる。ユーザは、録画コンテンツの再生時に例えばトピックの冒頭部分を見て確認し、興味がなければ次のトピックに簡単にスキップすることができる。また、録画した映像コンテンツを DVDなどに記録する際には、残したいトピックだけを切り出すといった編集作業を簡単に行なうことができる。

[0033] 本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図面の簡単な説明

[0034] [図 1]図 1は、本発明の一実施形態に係る映像コンテンツ処理装置 10の機能的構成を模式的に示した図である。

[図 2]図 2は、テロップ領域を含んだテレビ番組の画面構成例を示した図である。

[図 3]図 3は、映像コンテンツから、同じ静止テロップが出現している区間を検出するためのトピック検出処理の手順を示したフローチャートである。

[図 4]図 4は、シーン'チェンジ点の前後の平均画像力もテロップを検出する仕組みを説明するための図である。

[図 5]図 5は、シーン'チェンジ点の前後の平均画像力もテロップを検出する仕組みを説明するための図である。

[図 6]図 6は、シーン'チェンジ点の前後の平均画像力もテロップを検出する仕組みを説明するための図である。

[図 7]図 7は、シーン'チェンジ点の前後の平均画像力もテロップを検出する仕組みを説明するための図である。

[図 8]図 8は、アスペクト比が 720 X 480ピクセルとなる映像フレームにおけるテロップ検出領域の構成例を示した図である。

[図 9]図 9は、フレーム'シーケンスからトピックの開始位置を検出する様子を示した図である。

[図 10]図 10は、フレーム 'シーケンスからトピックの開始位置を検出するための処理手順を示したフローチャートである。

[図 11]図 11は、フレーム ·シーケンスからトピックの終了位置を検出する様子を示した図である。

[図 12]図 12は、フレーム ·シーケンスからトピックの終了位置を検出するための処理手順を示したフローチャートである。

符号の説明

[0035] 10· ··映像コンテンツ処理装置

11…映像蓄積部

12…シーン'チェンジ検出部

13· ··トピック検出部

14· ··インデックス蓄積部

15· ··再生部

発明を実施するための最良の形態

[0036] 以下、図面を参照しながら本発明の実施形態について詳解する。

[0037] 図 1には、本発明の一実施形態に係る映像コンテンツ処理装置 10の機能的構成を模式的に示している。図示の映像コンテンツ処理装置 10は、映像蓄積部 11と、シーン'チェンジ検出部 12と、トピック検出部 13と、インデックス蓄積部 14と、再生部 15を備えている。 [0038] 映像蓄積部 11は、放送波を復調して蓄積したり、インターネット経由で情報資源からダウンロードした映像コンテンツを蓄積したりする。例えば、ハード.ディスク.レコーダなどを用いて映像蓄積部 11を構成することができる。

[0039] シーン'チェンジ検出部 12は、トピック検出の対象となる映像コンテンツを映像蓄積部 11から取り出し、連続する画像フレームにおけるシーン (光景又は情景）を追跡し

、画像の切り替わりによりシーンが大きく変化する位置すなわちシーン'チェンジ点を検出する。

[0040] 例えば、本出願人に既に譲渡されている特開 2004— 282318号公報に開示されてヽるシーン'チェンジ検出方法を適用してシーン'チェンジ検出部 11を構成することができる。すなわち、連続した 1フィールド又は 1フレームの 2枚の画面の画像に対して、画像を構成する成分のヒストグラムをそれぞれ作成し、それらの差分の合計値を計算して設定した閾値よりも大きいときに画像のシーンが変化したことによりシーン •チェンジ点を検出する。ヒストグラムを作成する際に、該当するレベルとその両側の隣接するレベルに対してある一定数を振り分けて加算し、その後規格ィ匕することによつて新たなヒストグラムの結果を算出し、この新たに算出したヒストグラムを用いて 2枚毎の画面の画像のシーンが変化したことを検出することにより、フェード画像についても正確なシーン'チェンジを検出することが可能となる。

[0041] トピック検出部 12は、トピック検出の対象となる映像コンテンツから、同じ静止テロップが出現している区間を検出し、同映像コンテンツ内で同じトピックが継続している区間として出力する。

[0042] ニュース番組やバラエティ番組などのテレビ放送においては、フレーム中で表示されるテロップは、その表示区間での放送番組のトピックを特定又は推定するための重要な手が力りになる。しかしながら、すべてのフレームについてエッジ検出してテロップを抽出しようとすると計算量が膨大になってしまう。そこで、本実施形態では、映像コンテンツ力検出されたシーン'チェンジ点に基づいて、エッジ検出すべきフレーム数を極力抑えて、同じ静止テロップが出現している区間を検出するようにした。同じ静止テロップが出現している区間は、放送番組内で同じトピックが継続している期間とみなすことができ、一塊として扱うことが映像コンテンツの分割や映像インデックス付け、ダイジェスト視聴には適していると思料される。トピック検出処理の詳細については後述に譲る。

[0043] インデックス蓄積部 14は、トピック検出部 11が検出した、同じ静止テロップが出現している各区間に関する時間情報を蓄積する。下表には、インデックス蓄積部 14において蓄積される時間情報の構成例を示している。同表では、検出された区間毎にレコードが設けられ、レコードには当該区間に相当するトピックのタイトルと、区間の開始時間及び終了時間が記録される。例えば、 XML (extensible Markup Langu age)のような一般的な構造ィ匕記述言語を用いてインデックス情報を記述することができる。トピックのタイトルには、映像コンテンツ (若しくは放送番組)のタイトルや、表示されたテロップの文字情報を用いることができる。

[0044] [表 1]

[0045] 再生部 15は、再生指示された映像コンテンツを映像蓄積部 11から取り出し、これを復号 '復調して映像及び音響出力する。本実施形態では、再生部 15は、コンテンツ再生時にインデックス蓄積部 14力もコンテンツ名によって適切なインデックス情報を取得し、コンテンツと関連付ける。例えば、インデックス蓄積部 14において管理されるインデックス情報の中からあるトピックが選択された場合には、該当する映像コンテンッを映像蓄積部 11から取り出し、インデックス情報として記述されて、る開始時間から終了時間に至るまでの区間を再生出力する。

[0046] 続いて、トピック検出部 13において、映像コンテンツから、同じ静止テロップが出現している区間を検出するトピック検出処理の詳細について説明する。

[0047] 本実施形態では、シーン'チェンジ検出部 12によって検出された各シーン'チェンジ点において前後するフレームを利用して、当該位置でテロップが出現しているかどうかを検出する。そして、テロップの出現が検出されたときに、同じ静止テロップが出現している区間を検出するようにしたので、テロップを抽出するためのエッジ検出処理の機会を最小限に抑え、トピック検出のための処理負荷を軽減することができる。

[0048] 例えば-ユース番組やバラエティ番組と!/、つたジャンルのテレビ放送では、視聴者の理解や賛同を得る、あるいは興味を抱力せ番組内に気持ちを引き込ませるといつた目的で、テロップを表示する方法が採られる。その多くの場合、図 2に示すように画面の四隅のいずれかの領域を利用して静止テロップが存在する。静止テロップは、通常、以下に示す特徴を持つ。

[0049] (1)放送中の番組の内容を簡単に表現している（タイトル的なもの)。

(2)同じ話題の間は表示され続ける。

[0050] 例えば-ユース番組では、ある-ユースが放送されている間は、その-ユースのタイトルが表示され続けている。トピック検出部 13では、このような静止テロップが出現している区間を検出し、検出された区間を 1つのトピックとしてインデックス付けを行なう。また、検出された静止テロップを切り出してサムネイルィ匕することや、テロップの表示を文字認識することによってトピックのタイトルを文字情報として取得することも可能である。

[0051] 図 3には、トピック検出部 13において、映像コンテンツから、同じ静止テロップが出現している区間を検出するためのトピック検出処理の手順をフローチャートの形式で示している。

[0052] まず、処理対象となる映像コンテンツから、最初のシーン'チェンジ点におけるフレームを取り出し (ステップ S1)、シーン'チェンジ点から 1秒後のフレームと 1秒前のフレームの平均画像を作成し (ステップ S 2)、この平均画像に対してテロップ検出を行なう（ステップ S3)。これは、シーン'チェンジ前後でテロップが表示され続けていれば、平均画像を作ることによって、テロップ部分は鮮明に残り、それ以外の部分はぼやけることを利用して、テロップ検出の精度を高めるためである。但し、平均画像の作成に用いるフレームは、シーン'チェンジ点の前後 1秒のフレームに限定されるものではない。シーン 'チェンジ点の前後のフレームであることが重要であり、さらに多くのフレームを用いて平均画像を作成するようにしてもょ、。 [0053] 図 4〜図 6には、シーン 'チェンジ点の前後の平均画像からテロップを検出する様子を図解している。シーン'チェンジ点の前後のフレーム間では、シーンが大きく変化しているので、平均化することで互いのイメージが重なり合い、ちょうど αブレンドされたようにぼやけてしまう。これに対し、シーン'チェンジ点の前後でも同じ静止テロップが出現し続けている場合には、そのテロップ部分は鮮明に残り、図 5に示すように、平均化によりぼやけた背景部分に対して相対的に強調される。したがって、エッジ検出処理により、高精度でテロップ領域を抽出することができる。他方、シーン'チェンジ点の前後の、ずれか一方でのみテロップ領域が出現する場合 (あるいは静止テロップが切り替わる場合）には、図 6に示すように、画像の平均化処理により背景部分と同様にテロップ領域もぼやけてしまうので、テロップを誤って検出することはなくなる。

[0054] 一般に、テロップは背景に比べて輝度が高い特徴がある。したがって、エッジ情報を用いてテロップの検出を行なう方法を適用することができる。例えば、入力画像を Υ UV変換し、このうち Υ成分に対してエッジ計算を行なう。エッジ計算技術として、例えば、本出願人に既に譲渡されている特開 2004— 343352号公報に記載されているテロップ情報処理方法や、特開 2004— 318256号公報に記載されている人工的画像の抽出方法を適用することができる。

[0055] そして、平均画像力もテロップを検出することができた場合には (ステップ S4)、検出された矩形領域のうち、例えば以下の条件を満たすものをテロップ領域として取り出す。

[0056] (1)一定サイズより大きい（例えば、 80 X 30画素）。

(2)テロップが表示される候補領域（図 2を参照のこと)のうち複数の領域にまたがつていない。

[0057] 映像フレーム中でテロップが出現する位置やテロップ文字の大きさは、放送業界において大まかな慣習がある。そこで、この慣習に倣って、映像フレーム中においてテ口ップが出現する位置情報や大きさを考慮してテロップ検出を行なうことで、誤検出を低減することができる。図 8には、アスペクト比が 720 X 480ピクセルとなる映像フレームにおけるテロップ検出領域の構成例を示している。

[0058] テロップが検出されたときには、次いで、テロップが検出されたシーン'チェンジ点から前方のフレームに対し手順にテロップ領域の比較を行なって、き、該テロップ領域力テロップが消えたフレームより時間的に 1つ後ろのフレームを当該トピックの開始位置として検出する (ステップ S 5)。

[0059] 図 9には、ステップ S5においてフレーム 'シーケンスからトピックの開始位置を検出する様子を図解している。同図に示すように、ステップ S3においてテロップが検出されたシーン'チェンジ点から前方に向かって、 1フレーム毎に順に遡ってテロップ領域の比較を行なう。そして、テロップ領域力テロップが消えたフレームを検出すると、それより 1つ後ろのフレームを当該トピックの開始位置として検出する。

[0060] また、図 10には、ステップ S5においてフレーム 'シーケンスからトピックの開始位置を検出するための処理手順をフローチャートの形式で示している。まず、現在のフレーム位置の前方にフレームが存在する場合には (ステップ S21)、そのフレームを取得し (ステップ S22)、フレーム間でテロップ領域の比較を行なう（ステップ S23)。そして、テロップ領域に変化がなければ (ステップ S 24の No)、テロップが出現し続けていることになるので、ステップ S21に戻り、上述と同様の処理を繰り返す。また、テロップ領域に変化があれば (ステップ S24の Yes)、テロップが消滅したことになるので、その 1つ手前のフレームをトピックの開始位置として出力し、当該処理ルーチンを終了する。

[0061] 同様に、テロップが検出されたシーン'チェンジ点から後方のフレームに対し手順にテロップ領域の比較を行なって、き、該テロップ領域力もテロップが消えたフレームより時間的に 1つ前のフレームを当該トピックの終了位置として検出する (ステップ S6)。

[0062] 図 11には、フレーム 'シーケンスからトピックの終了位置を検出する様子を図解している。同図に示すように、ステップ S3においてテロップが検出されたシーン'チェンジ点から前方に向かって、 1フレーム毎に順に進行してテロップ領域の比較を行なう。そして、テロップ領域力もテロップが消えたフレームを検出すると、それより 1つ手前のフレームを当該トピックの終了位置として検出する。

[0063] また、図 12には、ステップ S6においてフレーム 'シーケンスからトピックの終了位置を検出するための処理手順をフローチャートの形式で示している。まず、現在のフレーム位置の後方にフレームが存在する場合には (ステップ S31)、そのフレームを取得し (ステップ S32)、フレーム間でテロップ領域の比較を行なう（ステップ S33)。そして、テロップ領域に変化がなければ (ステップ S34の No)、テロップが出現し続けていることになるので、ステップ S31に戻り、上述と同様の処理を繰り返す。また、テロップ領域に変化があれば (ステップ S34の Yes)、テロップが消滅したことになるので、その 1つ後ろのフレームをトピックの終了位置として出力し、当該処理ルーチンを終了する。

[0064] 図 9並びに図 11に示すようにテロップの消失位置を検出する際に、時間軸上に並ぶフレーム ·シーケンスにつ、て、シーン ·チェンジ点を開始位置としてのその前方及び後方それぞれに向かってフレーム 1枚ずつテロップ領域の比較を順次行なうことで、テロップが消えた位置を厳密に検出することができる。あるいは、処理を軽減するために、以下の方法でおおよそのテロップ消失位置を検出するようにしてもょ、。

[0065] (1) MPEGのように、 Iピクチャ（フレーム内符号化画像）と数枚の Pピクチャ（フレーム間順方向予測符号ィ匕画像)が交互に配列された符号ィ匕画像の場合において、 Iピクチヤ間で比較を行なう。

(2) 1秒毎にフレームの比較を行なう。

[0066] テロップ領域力もテロップが消えた力どうかは、例えば、比較対象となる各フレームについて、テロップ領域における RGBの各要素の平均色を算出し、フレーム間でこれらの平均色のユークリッド距離が所定の閾値を超えた力どうかによって、少ない処理負荷で判定することができる。すなわち、シーン'チェンジ点であるフレームのテロップ領域の平均色（RGBの各要素の平均）を RO 、GO 、： BO とし、シーン'チェン

avg avg avg

ジ点から n番目のフレームのテロップ領域の平均色を Rn 、Gn , Βη とすると、下

avg avg avg

式（1)を満たすシーン'チェンジ点力前方又は後方の n番目のフレームにてテロップが消えたと判断する。閾値としては例えば 60とする。

[0067] [数 1]

ΛΙ 。_VG - R 0_avg f + {GN _avg - G 0_m + (BN _avg - B 0_M >閾値 ■■■(" また、シーン'チェンジしないフレーム区間で静止テロップが消失した場合、平均画像をとると、図 7に示すように、背景となるシーンは鮮明に残る力テロップはぼやけて見えなくなる。すなわち、図 5に示した結果とは逆になる。シーン ·チェンジしないフレーム区間で静止テロップが出現した場合も同様である。なお、テロップの消失位置の検出をさらに厳密に行ないたい場合には、特開 2004— 282318号公報で開示されているシーン 'チェンジ検出と同じ方法をテロップ領域に用いることもできる。

[0069] ここで、テロップを検出する際に、領域内の平均色を算出すると、その領域に含まれるテロップ以外の背景色の影響を受け易ぐ検出精度が低下してしまうという問題がある。そこで、その代替案として、テロップ領域のエッジ情報を用いてテロップの有無を判別する方法が挙げられる。すなわち、比較対象となる各フレームについてテロップ領域におけるエッジ画像を求め、フレーム間でのテロップ領域のエッジ画像の比較結果に基づ、てテロップ領域におけるテロップの存在を判定する。具体的には、比較対象となる各フレームについてテロップ領域におけるエッジ画像を求め、テロップ領域で検出されたエッジ画像の画素数が急激に減少したときにテロップが消えたと判定することができる。逆に、画素数が急激に増加したときにはテロップが出現したと判定することもできる。また、エッジが像の画素数の変化が少ないときには、同じテロップが出現し続けていると判定することができる。

[0070] 例えば、シーン ·チェンジ点を SCとし、 SCにおけるテロップ領域を Rect、 SCにおける Rectのエッジ画像を Edgelmglとする。また、 SCから（時間軸上の前方若しくは後方の） n番目のフレームのテロップ領域 Rectのエッジ画像を EdgelmgNとする。伹し、エッジ画像は適当な閾値 (例えば 128)で 2値ィ匕する。図 10に示したフローチヤ一ト中のステップ S23、並びに図 12に示したフローチャート中のステップ S33では、 Ed gelmglと EdgelmgNのエッジ点の数（画素数）を比較し、エッジ点の数が急激に減少した場合には（例えば、 3分の 1以下）、テロップが消えたと推定することができる（逆に急激に増加した場合には、テロップが出現したと推定することができる）。

[0071] また、 Edgelmglと EdgelmgNでエッジ点の数があまり変化していない場合には、テロップが出現し続けていると推定することができる。但し、テロップが変化してもエツジ点の数があまり変化しない可能性もある。そこで、 Edgelmglと EdgelmgNの画素毎の論理積 (AND)をとり、その結果画像におけるエッジ点の数が急激に減少した場合には (例えば、 3分の 1以下）、テロップが変化した、すなわちテロップの開始又は終了位置と推定するようにして、検出精度を高めることができる。

[0072] 続いて、ステップ S6で求めたテロップ終了位置力もステップ S5で求めたテロップ開始位置を減算して、テロップの出現時間を求める。そして、このテロップの出現時間がー定時間以上の場合のみトピックと判断することで (ステップ S 7)、誤検出を低減することができる。 EPG (Electric Program Guide)から番組のジャンル情報を取得し、ジャンルによって出現時間の閾値を変更することも可能である。例えば、ニュースの場合は比較的長時間テロップが出現しているので 30秒、バラエティの場合は 10秒、というようにできる。

[0073] ステップ S7において、トピックとして検出されたテロップの開始位置及び終了位置は、インデックス情報蓄積部 14に保存される (ステップ S8)。

[0074] そして、トピック検出部 13はシーン'チェンジ検出部 12に問い合わせて、当該映像コンテンツに、ステップ S6で検出されたテロップ終了位置以降にシーン'チェンジ点があるかどうかを確認する (ステップ S9)。当該テロップ終了位置以降にシーン'チェンジ点がもはやない場合には、本処理ルーチン全体を終了する。一方、当該テロップ終了位置以降にシーン'チェンジ点がある場合には、次のシーン'チェンジ点のフレームに移動してから (ステップ S10)、ステップ S2に戻り、上述したトピックの検出処理を繰り返し行なう。

[0075] また、ステップ S4において、処理対象となっているシーン'チェンジ点でテロップが検出されなかった場合には、トピック検出部 13はシーン'チェンジ検出部 12に問い合わせて、当該映像コンテンツに次のシーン'チェンジ点があるかどうかを確認する（ステップ Sl l)。次のシーン ·チェンジ点がもはやない場合には、本処理ルーチン全体を終了する。一方、次のシーン'チェンジ点がある場合には、次のシーン'チェンジ点のフレームに移動してから (ステップ S10)、ステップ S2に戻り、上述したトピックの検出処理を繰り返し行なう。

[0076] 本実施形態では、図 2に示したようにテレビ画像中の四隅にテロップ領域があるという前提でテロップの検出処理を行なっている。ところが、これらの領域を用いて常に時刻を表示しているテレビ番組も多い。そこで、検出されたテロップ領域を文字認識し、数字が取得できればテロップではな、と判断することで誤認識を回避するようにしてもよい。

[0077] また、テロップが画面からー且消えた数秒後に同じテロップが再び現れることがある。この対策として、テロップ表示に途切れすなわち一時的な中断が生じた場合であつても以下の条件を満たしていれば、テロップが連続している（すなわちトピックが継続している）と扱うことで、無駄なインデックスを生成しないようにすることができる。

[0078] (1)テロップが消える前と再出現した後のテロップ領域について上式（1)を満たすこと。

(2)テロップが消える前と再出現した後のテロップ領域について、エッジ画像の画素数がほぼ同じで、且つエッジ画像の対応するピクセル毎の論理積を取ってもエッジ画像の画素数がほぼ同じであること。

(3)テロップが消えて、る時間が閾値 (例えば 5秒)以下であること。

[0079] 例えば、 EPGからテレビ番組のジャンル情報を取得し、ニュース、バラエティなどのジャンルによって中断時間の閾値を変更するようにしてもよい。

産業上の利用可能性

[0080] 以上、特定の実施形態を参照しながら、本発明につ、て詳解してきた。しかしながら、本発明の要旨を逸脱しなヽ範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

[0081] 本明細書では、主にテレビ番組を録画して得た映像コンテンツに対してインデックス付けを行なう場合を例にとって説明してきたが、本発明の要旨はこれに限定されるものではない。テレビ放送以外の用途で制作'編集され、トピックを表すテロップ領域を含んださまざまな映像コンテンツに対しても、本発明に係るコンテンツ処理装置によって好適にインデックス付けを行なうことができる。

[0082] 要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

Claims

請求の範囲

[1] 画像フレームの時系列からなる映像コンテンツを処理するコンテンツ処理装置であつて、

処理対象となる映像コンテンツから、画像フレームの切り替わりによりシーンが大きく変化するシーン'チェンジ点を検出するシーン'チェンジ検出部と、

処理対象となる映像コンテンツから、連続する複数の画像フレームにまたがって同じ静止テロップが出現している区間を検出するトピック検出部と、

前記トピック検出部が検出した、同じ静止テロップが出現している各区間の時間に関するインデックス情報を蓄積するインデックス蓄積部と、

を具備することを特徴とするコンテンツ処理装置。

[2] 映像コンテンツの再生時に、前記インデックス蓄積部において管理されるインデックス情報と映像コンテンツとの関連付けを行なう再生部をさらに備える、

ことを特徴とする請求項 1に記載のコンテンツ処理装置。

[3] 前記再生部は、前記インデックス蓄積部にぉ、て管理されるインデックス情報の中力もあるトピックが選択された場合には、該当する映像コンテンツのうちインデックス情報として記述されている開始時間力終了時間に至るまでの区間を再生出力する、ことを特徴とする請求項 2に記載のコンテンツ処理装置。

[4] 前記トピック検出部は、前記シーン'チェンジ検出部により検出されたシーン'チェンジ点の前後のフレームを利用して、当該位置でテロップが出現しているかどうかを検出する、

ことを特徴とする請求項 1に記載のコンテンツ処理装置。

[5] 前記トピック検出部は、シーン'チェンジ点の前後の所定期間におけるフレームの平均画像を作成し、該平均画像に対してテロップ検出を行なう、

ことを特徴とする請求項 1に記載のコンテンツ処理装置。

[6] 前記トピック検出部は、

テロップが検出されたシーン.チェンジ点力も前方のフレームとテロップ領域の比較を行なって、該テロップ領域からテロップが消えたフレームより 1つ後ろのフレームを当該トピックの開始位置として検出し、テロップが検出されたシーン.チェンジ点力も後方のフレームとテロップ領域の比較を行なって、該テロップ領域からテロップが消えたフレームより 1つ前のフレームを当該トピックの終了位置として検出する、

ことを特徴とする請求項 5に記載のコンテンツ処理装置。

[7] 前記トピック検出部は、比較対象となる各フレームについてテロップ領域における色要素毎の平均色を算出し、フレーム間で平均色のユークリッド距離が所定の閾値を超えたかどうかによつてテロップ領域力もテロップが消えた力どうかを判定する、ことを特徴とする請求項 6に記載のコンテンツ処理装置。

[8] 前記トピック検出部は、比較対象となる各フレームについてテロップ領域におけるェッジ画像を求め、フレーム間でのテロップ領域のエッジ画像の比較結果に基づ！/、てテロップ領域におけるテロップの存在を判定する、

ことを特徴とする請求項 6に記載のコンテンツ処理装置。

[9] 前記トピック検出部は、比較対象となる各フレームについてテロップ領域におけるェッジ画像を求め、テロップ領域で検出されたエッジ画像の画素数が急激に減少したときにテロップが消えたと判定し、該画素数の変化が少ないときには同じテロップが出現し続けていると判定する、

ことを特徴とする請求項 8に記載のコンテンツ処理装置。

[10] 前記トピック検出部は、テロップ領域で検出されたエッジ画像の画素数の変化が小さい場合に、さらに互いのエッジ画像同士で対応するエッジ画素毎の論理積をとり、その結果画像におけるエッジ画素の数が急激に減少した場合にはテロップが変化したと判定する、

ことを特徴とする請求項 9に記載のコンテンツ処理装置。

[11] 前記トピック検出部は、検出されたテロップ開始位置及び終了位置力テロップの出現時間を求め、該テロップの出現時間が一定時間以上の場合のみトピックと判断する、

ことを特徴とする請求項 6に記載のコンテンツ処理装置。

[12] 前記トピック検出部は、フレーム内でテロップが検出されたテロップ領域の大きさ又は位置情報に基づいて必要なテロップであるかどうかを判定する、ことを特徴とする請求項 6に記載のコンテンツ処理装置。

[13] コンピュータ上で構築されるコンテンツ処理システム上で、画像フレームの時系列力らなる映像コンテンツを処理するコンテンツ処理方法であって、

前記コンピュータが備えるシーン'チェンジ手段が、処理対象となる映像コンテンツから、画像フレームの切り替わりによりシーンが大きく変化するシーン'チェンジ点を検出するシーン'チェンジ検出ステップと、

前記コンピュータが備えるトピック検出手段力前記シーン'チェンジ検出ステップにおいて検出されたシーン'チェンジ点の前後のフレームを利用して、当該シーン' チェンジ点でテロップが出現しているかどうかを検出し、テロップが検出されたシーン 'チェンジ点の前後において連続する複数の画像フレームにまたがって同じ静止テロップが出現している区間を検出するトピック検出ステップと、

前記コンピュータが備えるインデックス蓄積手段が、前記トピック検出ステップにおいて検出した、同じ静止テロップが出現している各区間の時間に関するインデックス情報を蓄積するインデックス蓄積ステップと、

を具備することを特徴とするコンテンツ処理方法。

[14] 前記インデックス蓄積ステップにお、て蓄積されたインデックス情報の中からあるトピックが選択された場合に、該当する映像コンテンツのうちインデックス情報として記述されている開始時間から終了時間に至るまでの区間を再生出力する再生ステップをさらに備える、

ことを特徴とする請求項 13に記載のコンテンツ処理方法。

[15] 前記トピック検出ステップでは、シーン'チェンジ点の前後の所定期間におけるフレームの平均画像を作成し、該平均画像に対してテロップ検出を行なう、

ことを特徴とする請求項 13に記載のコンテンツ処理方法。

[16] 前記トピック検出ステップでは、

テロップが検出されたシーン.チェンジ点力も前方のフレームとテロップ領域の比較を行なって、該テロップ領域からテロップが消えたフレームより 1つ後ろのフレームを当該トピックの開始位置として検出し、

テロップが検出されたシーン.チェンジ点力も後方のフレームとテロップ領域の比較を行なって、該テロップ領域からテロップが消えたフレームより 1つ前のフレームを当該トピックの終了位置として検出する、

ことを特徴とする請求項 15に記載のコンテンツ処理方法。

[17] 前記トピック検出ステップでは、比較対照となる各フレームについてテロップ領域における色要素毎の平均色を算出し、フレーム間で平均色のユークリッド距離が所定の閾値を超えた力どうかによってテロップ領域力もテロップが消えたかどうかを判定する、

ことを特徴とする請求項 16に記載のコンテンツ処理方法。

[18] 前記トピック検出ステップでは、比較対象となる各フレームについてテロップ領域におけるエッジ画像を求め、フレーム間でのテロップ領域のエッジ画像の比較結果に基づいてテロップ領域におけるテロップの存在を判定する、

ことを特徴とする請求項 16に記載のコンテンツ処理方法。

[19] 前記トピック検出ステップでは、比較対象となる各フレームについてテロップ領域におけるエッジ画像を求め、テロップ領域で検出されたエッジ画像の画素数が急激に減少したときにテロップが消えたと判定し、該画素数の変化が少ないときには同じテ口ップが出現し続けていると判定する、

ことを特徴とする請求項 18に記載のコンテンツ処理方法。

[20] 前記トピック検出ステップでは、テロップ領域で検出されたエッジ画像の画素数の変化が小さい場合に、さらに互いのエッジ画像同士で対応するエッジ画素毎の論理積をとり、その結果画像におけるエッジ画素の数が急激に減少した場合にはテロップが変化したと判定する、

ことを特徴とする請求項 19に記載のコンテンツ処理方法。

[21] 前記トピック検出ステップでは、検出されたテロップ開始位置及び終了位置力テロップの出現時間を求め、該テロップの出現時間が一定時間以上の場合のみトピックと判断する、

ことを特徴とする請求項 16に記載のコンテンツ処理方法。

[22] 前記トピック検出ステップでは、フレーム内でテロップが検出されたテロップ領域の大きさ又は位置情報に基づいて必要なテロップであるかどうかを判定する、ことを特徴とする請求項 16に記載のコンテンツ処理方法。

画像フレームの時系列からなる映像コンテンツに関する処理をコンピュータ 'システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ ·プログラムであって、前記コンピュータ 'システムに対し、

前記インデックス蓄積手順にぉ、て蓄積されたインデックス情報の中からあるトピックが選択された場合に、該当する映像コンテンツのうちインデックス情報として記述されている開始時間から終了時間に至るまでの区間を再生出力する再生手順と、を実行させることを特徴とするコンピュータ ·プログラム。