WO1999016196A1 - Device and method for generating encoded stream, system and method for transmitting data, and system and method for edition - Google Patents

Description

明細書

符号化ストリ一ム生成装置及び方法、 データ伝送システム及び方法ならびに編集 システム及び方法 技術分野

本発明は、 ビデオデータ及びオーディォデータ等の素材データを符号化する際 に、 各ピクチャ毎にタイムコードが付加された符号化ストリ一ムを生成する符号 化ストリーム生成装置及び方法、 各ピクチャ毎にタイムコ一ドが付加された符号 化ストリームを伝送するデータ伝送システム及び方法、 さらには、 符号化ストリ 一ムに付加されたタイムコ一ドを利用することによつて素材デ一タを編集する編 集システム及び方法に関する。 背景技術

近年、 ビデオデータやオーディオデータを圧縮符号化する M P E G (Moving P icture Experts Group) 規格に関する技術が飛躍的に発達し、 M P E G規格によ つて圧縮符号化された放送素材を受信装置側に伝送するデジタル伝送システムや 、 M P E G (Moving Picture Experts Group) 規格によって圧縮符号化したビデ ォデータやオーディオデータを、 大容量のディジタルデータを記録可能な光ディ スクである D V D (ディジタル · ビデオ ·ディスク） のような蓄積メディァを用 いて記録したり、 再生したりする記録再生システムが提案されている。

また、 ビデオデータやオーディォデータやその他のプライべ一トデータ等を個 別に符号化して得られる複数種類の符号化ストリーム （以下、 ストリームともい う。 ） を、 実際のアプリケ一ションに適用する場合には、 各ストリ一ムを統合し て伝達する必要があり、 このような場合に、 デジタルデータ伝送システムが用い られている。 具体的には、 デジタルデータ伝送システムでは、 複数種類のストリ —ムを、 ストリームの伝達媒体 （蓄積メディアや伝送路） に適合するように時分 割多重化 （マルチプレックス） することによって、 受信機側に伝送されるトラン スポートストリームを生成する。 一方、 受信機側では、 送信側から伝送されてき たトランスポ一トストリ一ムを受信し、 ビデオやオーディォ等の種類毎のス卜リ —ムに分離 （デマルチプレックス） し、 個別に復号化するようになつている。 ところで、 このような伝送システムにおいて扱われる素材データ （ビデオデ一 夕及びオーディオデータ） には、 一般に、 タイムコードと呼ばれる時間情報が付 随している。 このタイムコードとは、 S M P T Eにおいて定義されている時間情 報のことであって、 " Time And Control Data" のことである。 具体的には、 こ のタイムコードは、 フレーム （FRAMES) 、 秒 （SECONDS ) 、 分 （MIMUTES ) 、 時 (HOURS ) のデータから構成されている。

一方、 デジタルデータ伝送システムでは、 時間情報は、 S T C (System Time Clock ；基準となる時刻情報） 、 P T S (Presentation Time Stamp ；再生出力 の時刻管理情報） 、 D T S (Decoding Time Stamp ；復号の時刻管理情報） 、 S C R (System Clock Reference；時刻基準参照値） 、 P C R (Program Clock Re ference ； プログラム時刻基準参照値） という独自の時間概念に基づいて管理さ れている。 つまり、 M P E G規格に基づいて符号化された符号化ストリームは、 上述したタイムコ一ドとは全く異なる時間情報によって処理タイミングが管理さ れている。

つまり、 ベースバンドビデオデータを取り扱い、 処理するべ一スバンドシステ ムの分野では、 ベ一スパンドビデオデータはタイムコ一ドを使用して全ての処理 タイミングが管理されている。 一方、 符号化ス卜リームを取り扱い、 処理する符 号化システムの分野では、 符号化ス トリームは前述した S T C、 P T S、 D T S 及び S C R、 P C R等の独自の時間情報によって全ての処理タイミングが管理さ れている。

ところで、 M P E G規格において符号化されたストリームは、 シーケンスレイ ャと、 G O P (Group Of Picture) レイヤと、 ピクチャレイヤと、 スライスレイ ャと、 マクロブロックレイヤと、 ブロックレイヤとから構成されている。 また、 M P E G規格では、 G 0 Pレイヤのヘッダデータを記述するための group— of oi cture_header( ) という関数が定 されている ₀ この group— of— picture header( )関数は、 G O Pレイヤのヘッダデータとして、 3 2ビッ 卜の group— start— code 、 2 5 ヒッ トの time code、 1 じッ 卜の closed gop、 及び 1 ヒッ 卜の broken— lin k というデータを有している。 この group start codeは、 グループォブピクチャ ヘッダのスタートを示すためのデータであって、 GOPの先頭ピクチャのシ一ケ ンスの先頭からの時間を示すタイムコードである。 closed— gopは、 GOP内の画 像が他の GO Pから独立再生可能なことを示すフラグデータである。 broken_lin k は、 編集などのために GOP内の先頭の Bピクチャが正確に再生できないこと を示すフラグデータである。

MP E G規格において定義されている group— of— picture— header ( ；)関数によつ て、 G 0 Pレイヤのヘッダデータとして記述される time— code は、 伝送されるプ ログラムのシ一ケンスの先頭からのタイムコ一ドを示すデータであって、 ォリジ ナル素材に付与されているオリジナルタイムコ一ドが使用されているわけではな い。 例えば、 オリジナル素材の先頭フレームに対して外部装置から供給されたォ リジナルタイムコ一ド 「01:30:00:00 」 が付与されていたとしても、 そのォリジ ナル素材の先頭フレームが符号化されると、 符号化ストリ一ムの GO Pレイヤの ヘッダデータとして記述される time— code は、 「00:00:00:00 」 となる。 また、 オリジナル素材の各フレームに付与されたオリジナルタイムコ一ドが不連続なタ ィムコ一ドであったとしても、 符号化ストリームの GO Pレイヤのヘッダデータ として記述される time— code は、 シーケンシャルなタイムコードとなる。 つまり 、 オリジナル素材に付与されたオリジナルタイムコードと、 符号化ストリームの GO Pレイヤのヘッダデータとして記述されるタイムコードとは必ずしも一致し ない。

また、 MP E G規格の group— of— picture— header( )関数によって記述される ti me一 code は、 G 0 Pレイヤのヘッダデータとして記述されるデータであるので、 MP E G規格においては、 タイムコードを G 0 P毎にしか記述することができな い。 つまり、 MP E G規格においては、 符号化ストリームの G 0 Pレイヤにタイ ムコ一ドを記述することよって GO P毎にタイムコ一ドを伝送することはできる 力^ 各フレーム （各ピクチャ） 毎にタイムコードを記述するようには定義されて いないので、 各ピクチャ毎にタイムコ一ドを伝送することができない。

従って、 MP E G規格の符号化ストリームには、 タイムコード情報が各ピクチ ャ毎に付加されていないので、 ォリジナル素材を MP E G規格に基づいて符号化 して符号化ストリ一ムとして受信装置側に伝送する場合において、 ォリジナル素 材の各フレームに付与されていたオリジナルタイムコ一ドを、 受信装置側に伝送 することができないという問題があつた。

その結果、 受信装置側において、 オリジナル素材に対して付与されたオリジナ ルタイムコ一ドを使用して編集したり、 オリジナル素材とオリジナルタイムコ一 ドとが対応付けられて記録された記憶メディアと全く同じ記録メディアを作成す るということが全く実現できなかつった。 発明の開示

本発明はかかる問題点に鑑みてなされたもので、 その目的は、 オリジナル素材 データに付随するタイムコードが各ピクチャ （各フレーム） に対応するように記 述された符号化ストリームを生成する符号化ス卜リーム生成装置及び方法、 なら びにタイムコードが各ピクチャ （各フレーム） に対応するように記述された符号 化ストリームを伝送するデータ伝送システム及び方法を提供するものである。 また、 本発明の他の目的は、 オリジナル素材データに付随するタイムコードを 、 符号化ストリームと共に伝送することによって、 受信側において、 伝送された タイムコ一ドを使用した編集処理を可能にする編集システムおよび方法を提供す るものである。

本発明の符号化ストリ一ム生成装置は、 素材データを符号化することによって 得られる符号化ストリ一ムを生成する符号化ストリ一ム生成装置において、 素材 データに付随するタイムコ一ドを、 符号化ストリ一ムのデータ構造において復号 再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録して、 符号 化ストリ一ムを生成する符号化ストリーム生成手段を備えたものである。

本発明の符号化ストリーム生成方法は、 素材データを符号化することによって 得られる符号化ストリームを生成する符号化ストリ一ム生成方法において、 素材 データに付随するタイムコ一ドを、 符号化ストリ一ムのデータ構造において復号 再生の単位毎に存在可能で且つ任意のデ―タを記録可能な領域に記録して、 符号 化ストリームを生成するものである。

これらの符号化ストリーム生成装置または符号化ストリーム生成方法では、 素 材データに付随するタイムコ一ドが、 符号化ストリ一ムのデータ構造において復 号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録されて、 符号化ストリ一ムが生成される。

本発明の他の符号化ストリ—ム生成装置は、 符号化ストリ一ムを生成する符号 化ストリーム生成装置において、 ソースビデオデータを符号化することによって 得られる複数のレイヤから成る階層構造の符号化ストリ一ムであって、 複数のレ ィャのうちのピクチャレイヤに、 ソースビデオデータの各フレームに付随してい るタイムコードが記述された符号化ストリ一ムを生成する符号化ストリーム生成 手段を備えたものである。

本発明の他の符号化ストリ一ム生成方法は、 符号化ストリ一ムを生成する符号 化ストリーム生成方法において、 ソースビデオデータを符号化することによって 得られる複数のレイヤから成る階層構造の符号化ストリームであって、 複数のレ ィャのうちのピクチャレイヤに、 ソースビデオデータの各フレームに付随してい るタイムコ一ドが記述された符号化ストリームを生成するものである。

これらの符号化ストリ一ム生成装置または符号化ストリ一ム生成方法では、 符 号化ストリ一ムの複数のレイヤのうちのピクチヤレイヤに、 ソースビデオデータ の各フレームに付随しているタイムコ一ドが記述された符号化ストリ一ムが生成 ^れる。

本発明のさらに他の符号化ストリ一ム生成装置は、 符号化ストリ一ムを生成す る符号化ストリーム生成装置において、 ソースビデオデータを M P E G規格に基 づいて符号化することによって生成される符号化ストリ一ムであって、 符号化ス トリ一ムのピクチャレイヤのユーザデータエリアに、 ソースビデオデータに付随 しているタイムコ一ドを示すデータエレメン卜が記述された符号化ストリームを 生成する符号化ストリ一ム生成手段を備えたものである。

本発明のさらに他の符号化ストリ一ム生成方法は、 符号化ストリ一ムを生成す る符号化ストリ一ム生成方法において、 ソースビデオデータを M P E G規格に基 づいて符号化することによって生成される符号化ストリ一ムであって、 符号化ス トリ一ムのピクチャレイヤのユーザデータエリアに、 ソースビデオデータに付随 しているタイムコ一ドを示すデータエレメントが記述された符号化ストリ一ムを 生成するものである。 これらの符号化ス卜リ一ム生成装置または符号化ストリ一ム生成方法では、 符 号化ストリ一ムのピクチャレイヤのユーザデータエリァに、 ソースビデオデータ に付随しているタイムコ一ドを示すデ一タエレメン卜が記述された符号化ストリ —ムが生成される。

本発明のデータ伝送システムは、 ソースビデオデ一タを伝送するデータ伝送シ ステムにおいて、 ソースビデオデ一夕とソースビデオデータに付随しているタイ ムコ一ドとが関連付けられて記憶された記録媒体を備え、 記録媒体からソ一スビ デォデータとソースビデオデータに関連するタイムコ一ドを出力するデータ供給 手段と、 ソースビデオデータを符号化することによって生成される複数のレイヤ から成る階層構造の符号化ストリームであって、 複数のレイヤのうちのピクチヤ レイヤに、 ソースビデオデータの各フレームに付随しているタイムコ一ドが記述 された符号化ストリ一ムを生成する符号化手段と、 符号化ス卜リ一ムを伝送する 伝送手段と、 伝送手段を介して伝送された符号化ストリームを復号化すると共に 、 符号化ストリ一ムのシンタックスを解析することによって符号化ストリームの ピクチャレイヤからタイムコードを抽出する復号化手段と、 復号化手段によって 復号化された復号化デ一タと復号化手段によって抽出されたタイムコ一ド情報と を関連付けて記録媒体に記録することによって、 データ供給手段の記録媒体と同 じデータが記録された記録媒体を得るデータ記録手段とを備えたものである。 本発明のデータ伝送方法は、 ソースビデォデ一タを伝送するデータ伝送方法に おいて、 ソースビデオデータとソースビデオデータに付随しているタイムコ一ド とが関連付けられて記憶された記録媒体から、 ソースビデオデータとソースビデ ォデータに関連するタイムコ一ドを出力するデータ供給手順と、 ソースビデオデ ―タを符号化することによつて生成される複数のレイヤから成る階層構造の符号 化ストリームであって、 複数のレイヤのうちのピクチヤレイヤに、 ソースビデオ データの各フレームに付随しているタイムコ一ドが記述された符号化ストリ一ム を生成する符号化手順と、 符号化ストリームを伝送する伝送手順と、 伝送手順に よって伝送された符号化ストリームを復号化すると共に、 符号化ストリ一ムのシ ンタックスを解析することによって符号化ストリ一ムのピクチャレイヤからタイ ムコ—ドを抽出する復号化手順と、 復号化手順によって復号化された復号化デー タと復号化手順によって抽出されたタイムコ一ド情報とを関連付けて記録媒体に 記録することによって、 データ供給手順によつて出力するデータが記録された記 録媒体と同じデータが記録された記録媒体を得るデ一タ記録手順とを含むもので あ <t> 0

これらのデータ伝送システムまたはデータ伝送方法では、 ソースビデオデータ とソースビデオデータに付随しているタイムコードとが関連付けられて記憶され た記録媒体から、 ソースビデオデータとソースビデオデータに関連するタイムコ —ドが出力され、 複数のレイヤのうちのピクチヤレイヤに、 ソースビデオデータ の各フレームに付随しているタイムコ一ドが記述された符号化ストリ一ムが生成 され、 この符号化ス トリームが伝送される。 また、 伝送された符号化ストリーム が復号化されると共に、 符号化ス卜リームのシンタックスを解析することによつ て符号化ストリ一ムのピクチャレイヤからタイムコードが抽出され、 復号化され た復号化データと抽出されたタイムコ一ド情報とを関連付けて記録媒体に記録す ることによって、 データ供給側において出力するデータが記録された記録媒体と 同じデータが記録された記録媒体が得られる。

本発明の編集システムは、 ソースビデオデータを編集する編集システムにおい て、 ソースビデオデータに対して設定された編集点に基づいて、 編集リストを生 成する手段と、 ソースビデオデータを符号化することによって生成される複数の レイヤから成る階層構造の符号化ストリ一ムであって、 複数のレイヤのうちのピ クチャレイヤに、 ソースビデオデータの各フレームに付随しているタイムコ一ド が記述された符号化ス 卜リ一ムを生成する符号化手段と、 符号化ス卜リ一ムを伝 送する伝送手段と、 伝送手段を介して伝送された符号化ストリームを復号化する と共に、 符号化ストリームのシンタックスを解析することによって符号化ストリ —ムのピクチャレイヤからタイムコードを抽出する復号化手段と、 符号化ストリ —ムのシンタックスを解析することによって得られたタイムコ一ドと編集リスト とに基づいて、 復号化手段によつて複号化された復号化ソースビデオデータを編 集する編集手段とを備えたものである。 一― 本発明の編集方法は、 ソースビデオデータを編集する編集方法において、 ソー スビデオデータに対して設定された編集点に基づいて、 編集リストを生成する手 順と、 ソースビデオデータを符号化することによって生成される複数のレイヤか ら成る階層構造の符号化ストリ一ムであって、 複数のレイヤのうちのピクチヤレ ィャに、 ソースビデオデータの各フレームに付随しているタイムコ一ドが記述さ れた符号化ストリームを生成する符号化手順と、 符号化ス卜リ一ムを伝送する伝 送手順と、 伝送手順によって伝送された符号化ストリームを復号化すると共に、 符号化ストリ一ムのシンタックスを解析することによって符号化ストリ一ムのピ クチャレイヤからタイムコ一ドを抽出する復号化手順と、 符号化ス卜リ一ムのシ ンタックスを解析することによって得られたタイムコ一ドと編集リストとに基づ いて、 復号化手順によつて複号化された復号化ソースビデオデータを編集する編 集手順とを含むものである。

これらの編集システムまたは編集方法では、 ソースビデォデータに対して設定 された編集点に基づいて編集リストが生成され、 複数のレイヤのうちのピクチヤ レイヤに、 ソースビデオデータの各フレームに付随しているタイムコードが記述 された符号化ストリームが生成され、 この符号化ストリームが伝送される。 また 、 伝送された符号化ストリームが復号化されると共に、 符号化ストリームのシン 夕ックスを解析することによって符号化ストリ一ムのピクチャレイヤからタイム コ一ドが抽出され、 この得られたタイムコードと編集リス卜とに基づいて、 復号 化された復号化ソースビデオデータが編集される。

本発明の他の編集システムは、 ソースビデオデータを符号化することによって 得られた符号化ストリームを編集する編集システムにおいて、 ソースビデオデ一 夕に対して設定された編集点に基づいて、 編集リストが生成する手段と、 ソース ビデオデータを符号化することによって生成される複数のレイヤから成る階層構 造の符号化ストリームであって、 複数のレイヤのうちのピクチヤレイヤに、 ソ一 スビデオデ一夕の各フレームに付随しているタイムコードが記述された符号化ス トリ一ムを生成する符号化手段と、 符号化ストリ一ムのシンタックスを解析する ことによって得られたタイムコ一ドと編集リス卜とに基づいて、 符号化ストリ一 ムを編集するストリーム編集手段とを備えたものである。 ―― 本発明の他の編集方法は、 ソースビデオデータを符号化することによって得ら れた符号化ストリームを編集する編集方法において、 ソースビデオデータに対し て設定された編集点に基づいて、 編集リストを生成する手順と、 ソースビデオデ —タを符号化することによつて生成される複数のレイヤから成る階層構造の符号 化ストリ一ムであって、 複数のレイヤのうちのピクチヤレイヤに、 ソースビデオ データの各フレームに付随しているタイムコ一ドが記述された符号化ストリ一ム を生成する符号化手順と、 符号化ストリームのシンタックスを解析することによ つて得られたタイムコ一ドと編集リス卜とに基づいて、 符号化ストリ一ムを編集 するストリ一ム編集手順とを含むものである。

これらの編集システムまたは編集方法では、 ソースビデオデータに対して設定 された編集点に基づいて編集リス卜が生成され、 複数のレイヤのうちのピクチヤ レイヤに、 ソースビデオデータの各フレームに付随しているタイムコ一ドが記述 された符号化ストリ一ムが生成される。 また、 符号化ストリ一ムのシンタックス を解析することによって得られたタイムコードと編集リス卜とに基づいて、 符号 化ストリ一ムが編集される。

本発明のさらに他の編集システムは、 符号化ストリ一ムを編集する編集システ ムにおいて、 ベースバンドのソ一スビデオデータを処理することによって設定さ れた編集点に基づいて、 編集リストを生成するべ一スバンドシステムと、 ソース ビデオデータを符号化することによつて生成される複数のレイヤから成る階層構 造の符号化ストリ一ムであって、 複数のレイヤのうちのピクチヤレイヤに、 ソ一 スビデオデータの各フレームに付随しているタイムコ一ドが記述された符号化ス トリ一ムを生成し、 符号化ストリ一ムのシンタックスを解析することによって得 られたタイムコ一ドとべ一スバンドシステムにおいて生成された編集リストとに 基づいて、 符号化ストリ一ムをストリ一ムレベルで編集する符号化システムとを 備えたものである。

本発明のさらに他の編集方法は、 符号化ストリ一ムを編集する編集方法におい て、 ベ一スパンドのソ一スビデオデータを処理することによって設定された編集 点に基づいて、 編集リストを生成する手順と、 ソースビデオデータを符号化する ことによって生成される複数のレイヤから成る階層構造の符号化ストリ一ムであ つて、 複数のレイヤのうちのピクチヤレイヤに、 ソースビデオデータの各フレ一 ムに付随しているタイムコ一ドが記述された符号化ストリ一ムを生成し、 符号化 スト リ一ムのシン夕ックスを解析することによって得られたタイムコ一ドと編集 リストを生成する手順によって生成された編集リス卜とに基づいて、 符号化スト リームをストリ一ムレベルで編集する符号化手順とを含むものである。

これらの編集システムまたは編集方法では、 ベ一スパンドのソースビデオデ一 タを処理することによつて設定された編集点に基づいて編集リストが生成される また、 複数のレイヤのうちのピクチヤレイヤに、 ソースビデオデ一夕の各フレ

—ムに付随しているタイムコ一ドが記述された符号化ストリ一ムが生成され、 符 号化ストリームのシンタックスを解析することによって得られたタイムコ一ドと 生成された編集リス 卜とに基づいて、 符号化ストリ一ムがストリ一ムレベルで編 集される。

本発明のその他の目的、 特徴及び利益は、 次の説明を以て十分明白になるであ ろう。 図面の簡単な説明

第 1図は、 本発明の一実施の形態に係る符号化ストリーム生成装置を含むデジ タルデータ伝送システムの構成の一例を示すプロック図である。

第 2図は、 本発明の一実施の形態に係る符号化ストリーム生成装置を含むデジ タルデータ処理システムの構成の一例を示すプロック図である。

第 3図は、 第 1図及び第 2図におけるビデオエンコーダの構成の一例を示すブ 口ック図である。

第 4図は、 第 1図及び第 2図におけるオーディォエンコーダの構成の一例を示 すプロック図である。

第 5図は、 第 1図及び第 2図における A C 3エンコーダの構成の一例を示すブ 口ック図である。

第 6図は、 M P E G規格に基く符号化ストリ一ムのシンタックスを示す図であ る。

第 7図は、 M P E G規格に基く符符号化ストリ一ムのシンタツクスを示す図:^ ある。

第 8図は、 M P E G規格に基く符符号化ストリ一ムのシンタックスを示す図で ある。

第 9図は、 M P E G規格に基く符符号化ストリ一ムのシンタックスを示す図で ある。

第 1 0図は、 M P E G規格による符号化ビデオストリームのデータ構造をより わかりやすく説明するための図である。

第 1 1 A図及び第 1 1 B図は、 ピクチャ レイヤのユーザデ一タエリアに記述さ れるタイムコ一ド情報のデータ構造を示す図である。

第 1 2図は、 ピクチャレイヤのユーザデ一タエリアに記述される情報のデータ 識別コ一ドを示す図である。

第 1 3図は、 符号化ストリ一ムにタイムコ一ドを付加する第 1の方法を説明す るための説明図である。

第 1 4図は、 符号化ストリームにタイムコ一ドを付加する第 2の方法を説明す るための説明図である。

第 1 5図は、 M P E G規格によるオーディォエレメンタリストリ一ムのデ一夕 構造を示す説明図である。

第 1 6 A図及び第 1 6 B図は、 ビデオフレームとオーディオフレームとの位相 差を説明するための説明図である。

第 1 7図は、 A C 3規格による A C 3ストリームのデータ構造を示す説明図で ある。 発明を実施するための最良の形態

以下、 本発明の一実施の形態に係る符号化ストリ一ム生成装置及び符号化スト リ一ム生成方法について、 図面を参照して詳細に説明する。

第 1図は、 本発明の一実施の形態に係る符号化ストリーム生成装置を含むデジ タルデータ伝送システムの構成を示すプロック図である。 この第 1図に開示され たデジタルデータ伝送システムは、 送信システム 1と受信システム 2とその間の 伝走路 3とから構成されている。 実際にこのデジタルデータ伝送システムが運用 される場合には、 この送信システム 1と受信システム 2は様々な形態が考えられ 、 例えば、 送信システム 1が取材現場に配置された中継車である場合には、 受信 システム 2はメインまたは地方等の放送局であることが考えられる。 また、 送信 システム 1がメィン放送局である場合には、 受信システム 2は地方放送局である ことが考えられる。 以下に、 送信システム 1及び受信システム 2について詳細に 説明する。

送信システム 1は、 大きく分けて、 ベースバンドビデオデータ及びベースバン ドオーディオデータを処理し、 取扱うためのベースバンドシステム 1 Aと、 符号 化された符号化ストリ一ムを取扱う符号化システム 1 Bとから構成される。 尚、 ここで説明したベ一スパンドビデオデータ及びべ一スバンドォ一ディォデータと は、 圧縮符号化されていないデータのことである。

送信システム 1のベースバンドシステム 1 Aは、 取材現場においてビデオカメ ラ等によって撮影されたォリジナルソース素材が記録されたテープを受取り、 そ のテープからォリジナルソース素材を再生したり、 テープに情報を記録したりす るための VTR 1 2と、 ランダムアクセス可能な記録媒体を有し、 このランダム アクセス可能な記録媒体からオリジナルソース素材を再生したり、 記録媒体に情 報を記録したりするための A/Vサーバ 1 3と、 VTR 1 2におけるテープ及び AZVサーバ 1 3における記録媒体に記録されたオリジナルソース素材を使用し て編集リスト EDL (エディ ッ トデイシジョンリスト） を生成する編集機 1 4と 、 VTR 1 2から再生されたビデオデータ D_v 及びオーディオデータ D_A 、 AZ Vサーバ 1 3から再生されたビデオデータ Dv 及びオーディオデータ D_A をル一 ティ ングして、 所定のプロックに出力するためルータ 1 5とを備えている。

送信システム 1の符号化システム 1 Bは、 ォリジナルソース素材として供給さ れたビデオデータ Dv を MP E Gビデオ規格に従ってエンコード （符号化） して 、 ビデオエレメンタリストリーム （ビデオ E S) を出力するビデオエンコーダ 1 6と、 オリジナルソース素材として供給されたオーディォデ一タ D_A を MP E G ォ一ディォ規格に従ってェンコ一ドして、 オーディォエレメンタリストリ一ム （ オーディオ E S) を出力するオーディオエンコーダ 1 7と、 オリジナルソース素 材として供給されたオーディオデータ D_A を AC 3規格に従ってェンコ一ドして 、 プライべ一トエレメンタリストリ一ム （プライべ一ト E S) を出力する AC 3 エンコーダ 1 8と、 ビデオエンコーダ 1 6、 オーディオエンコーダ 1 7及び AC 3エンコーダから出力されたエレメ ンタリストリームをそれぞれバケツ トイ匕し、 バケツタイズドエレメ ンタリストリーム （P E S) をそれぞれ出力するバケツ夕 ィザ 1 9、 2 0、 2 1と、 このパケッタイザ 1 9、 2 0、 2 1からそれぞれ出力 されたバケツタイズドエレメ ンタリストリームを多重化することによって、 トラ ンスポ一トストリ一ム （TS) を生成する トランスポ一トストリ一ムマルチプレ クサ （TSMUX) 1 7とから構成される。

第 1図に示したデジタルデータ伝送システムは、 更に、 これらのベースバンド システム 1 A及び符号化システム 1 Bの各プロックを制御及び管理するための C PU 1 1を備えている。 この C PU 1 1は、 VTR 1 2又は AZVサーバ 1 3力、 ら再生されたビデオデータ及びオーディォデータの各フレームに対応付けられて いるタイムコード TCを受取り、 このタイムコード TCを所定のフォーマツ 卜に 変換して、 ビデオエンコーダ 1 6、 オーディオエンコーダ 1 7及び AC 3ェンコ ーダに供給する。

また、 第 1図に示した受信システム 3は、 符号化ス トリ一ムを処理し、 取り扱 う復号化システム 3 Aと、 復号化されたベ一スパンドビデオデータやべ一スバン ドオーディォデータを処理し、 取り扱うベ一スパンドシステム 3 Bとを備えてい 受信システム 3の復号化システム 3 Aは、 伝送メディァ 2を介して送信システ ム 1から伝送されたトランスポ一トストリームを受取り、 ビデオバケツタイズド エレメ ンタリストリーム （ビデオ PE S) とオーディオバケツタイズドエレメ ン タリストリーム （オーディオ PE S) とプライべ一卜バケツタイズドエレメ ンタ リスト リーム （プライベート PE S) とにデマルチプレクサする トランスポート ストリ一ムデマルチプレクサ （TSDEMUX) 3 2と、 このトランスポ一トス トリ一ムデマルチプレクサ 3 2より出力されるビデオバケツタイズドエレメ ンタ リストリーム、 ォ一ディォパケッタイズドエレメ ンタリストリーム及びプライべ ―トバケツタイズドエレメ ンタリストリームをそれぞれデバケツ トイ匕し、 ビデオ エレメ ンタリストリーム （ビデオ E S) 、 オーディオエレメ ンタリストリ一ム オーディオ E S) 及びプライべ一トエレメ ンタリストリ一ム （プライべ一ト E S ) を出力するデバケツタイザ 3 6、 3 7及び 3 8と、 このデバケツタイザ 3 6よ り出力されたビデオエレメンタリストリームをデコード （復号化） してべ一スバ ンドのビデオデータ Dv を出力するビデオデコーダ 3 6と、 デバケツタイザ 3 4 から出力されるオーディォエレメンタリストリ一ムをデコ一ドしてべ一スバンド のオーディオデータ D_A を出力するオーディオデコーダ 3 7と、 デバケツタイザ 3 5から出力されるプライべ一トエレメンタリストリ一ムをデコ一ドしてベース バンドのオーディオデータ D_A を出力する AC 3デコーダ 3 8とを備えている。 また、 受信システム 3のべ一スバンドシステム 3 Bは、 ビデオデコーダ 3 6か ら出力されたビデオデータ D_v と、 オーディオデコーダ 3 7から出力されたォ一 ディォデータ D_A と、 A C 3デコーダ 3 8から出力されたオーディオデータ D_A とを受取り、 所定の処理装置にルーティ ングするためのルータ 3 9と、 ルータ 3 9から出力されたビデオデ一タ Dv 及びオーディオデータ D_A を受取り、 テープ 状の記録媒体に記録する VTR 4 0と、 ルータ 3 9から出力されたビデオデータ Dv 及びオーディオデータ D_A を受取り、 ランダムアクセス可能な記録媒体に記 録する AZVサ一バ 4 1と、 VTR 4 0及び A/Vサーバ 4 1に格納されたビデ ォデータ Dv 及びオーディォデ一タ D_A を編集するための編集機 4 2とを備えて いる。 また、 ビデオデコ一タ 3 6、 オーディオデコーダ 3 7及び A C 3デコーダ 3 8は、 それぞれ、 エレメンタリストリ一ムのシンタックスを解析することによ つて、 エレメンタリストリ一ム中に記述されているタイムコ一ド情報を抽出する 機能を有している。

さらに、 受信システム 3は、 復号化システム 3 A及びベースバンドシステム 3 B内の全てのブロックを制御及び管理するための C PU 4 2を備えている。 この C P U 4 2は、 ビデオデコ一タ 3 6、 オーディオデコーダ 3 7及び AC 3デコー ダ 3 8から出力されたタイムコ一ドデータ T Cを受取り、 そのタイムコード TC を編集機 4 2に供給する。

次に、 送信システム 1と受信システム 2の各回路について詳細に説明する。 VTR 1 2及び AZVサーバ 1 3には、 ォリジナルソース素材としてのベ: Z"ス バンドのビデオデータ及びオーディオデータが記録されている。 さらに、 その V TR 1 2及び A/Vサーバ 1 3に記録されたビデオデータ及びオーディオデータ は、 各フレーム毎にオリジナルタイムコードと関連付けられている。 つまり、 ビ デォデータ及びオーディォデータの各フレームには、 それぞれタイムコ一ドが付 与されているということである。

タイムコ一ドには、 LTC (Longitudinal Time Code / Linear Time Code ) と V I TC (Vertical Interval Time Code)の 2種類がある。 L T Cは、 テープ の長手方向に設けられたタイムコ一ドトラックに記録されたタイムコ一ドであつ て、 V I TCは、 映像信号の垂直ブランキング期間に揷入されたタイムコードで ある。 LTCにおいては、 シャ トル再生等のように再生ヘッ ドがテープに対して 高速アクセスしている場合には、 この LTCからタイムコ一ドを読み取ることが できるが、 スローやスチール再生等のように再生へッ ドがテープに対して超低速 にアクセスしている場合には、 この LTCからタイムコ一ドを読み取ることがで きなくなる。 これに対して、 V I TCにおいては、 再生へッ ドがテープに対して 超低速にアクセスしている場合には、 この V I TCからタイムコ一ドを読み取る ことができる力 再生へッ ドがテープに対して高速アクセスしている場合には、 V I T Cからタイムコードを読み取ることができない。 つまり、 LTC及び V I TC共に一長一短があるため、 通常は、 全く同じタイムコ一ドを LTC及び V I TCとしてテープ上に記録し、 テープを再生する際には LTC又は V I TCのい ずれかによつてタイムコ一ドを読み取るようにしている。

本発明の実施例においては、 VTR 12及び A/Vサーバ 13では、 共に LT Cと V I TCの 2種類のタイムコ一ドが所定のフォーマツ 卜で記録されており、 VTR 1 2及び A/Vサーバ 1 3からオリジナルビデオデータ及びオリジナルォ —ディォデータが再生される場合には、 そのオリジナルビデオデータ及びオリジ ナルォ一ディォデータに対応したタイムコ一ド TCが出力される。

編集機 1 4は、 VTR 1 2及び A/Vサーバ 1 3に記録されたォリジナルビデ ォデータ及びオリジナルオーディォデータにアクセスし、 ィン点ゃァゥ 卜点等の 編集点をオリジナルビデオデータ及びオリジナルオーディオデータに対して設定 する。 このイン点は編集開始点を示すタイムコードからなり、 アウト点は編集終 了点を示すタイムコ一ドからなる。 編集オペレータが必要と思われる所望のシ一 ンのみを選択するように、 この編集機 14を操作して複数の編集点をオリジナル ビデオデータ及びォリジナルオーディォデータに対して設定すると、 その設定さ れた編集点に従って編集リスト （EDL) が生成される。 この編集リストは、 設 定されたィン点のタイムコ一ド及びァゥト点のタイムコードに基く単なるタイム コ一ドのリストである。 尚、 AZVサーバ 1 3から出力されるビデオデータ D_v 及びオーディオデータ D_A は、 この編集リストに従って編集されたビデオデータ 及びオーディォデータでは無く、 編集されていないオリジナルのビデオデータ及 びオーディオデータである。 本発明の実施例においては、 この編集機 1 4によつ て生成された編集リス卜に従って、 ォリジナルビデオデータ及びォリジナルオー ディォデータを編集し、 編集されたビデオデータ及び編集されたオーディォデー タを作成する編集処理は、 受信システム 3の編集機 42によって行われる。 ル一タ 1 5は、 VTR 1 2及び AZVサーバ 1 3から再生されたォリジナルビ デォデータ Dv 及びオリジナルオーディオデータ D_A をルーティ ングして、 所定 のプロセッサに供給するための回路である。 例えば、 オリジナルビデオデータ D は、 ビデオエンコーダ 1 6に供給されるようにルーティ ングされ、 オリジナル オーディオデータ D_A は、 オーディオエンコーダ 1 7又は AC 3エンコーダ 1 8 に供給されるようにルーティ ングされる。

ビデオエンコーダ 1 6は、 供給されたオリジナルビデオデータ Dv を MP EG 規格に従って圧縮符号化することによって符号化ストリ一ム （又はビデオエレメ ンタリストリームとも言う） を生成する回路である。 また、 ビデオエンコーダ 1 6は、 CPU 1 1から、 オリジナルビデオデータ Dv に対応したオリジナルタイ ムコード TCを各フレーム毎に受取り、 そのタイムコード TCを、 符号化ストリ —ムにおけるピクチャレイヤのユーザデータエリアに記述する。 符号化ストリー ムのどの場所にこのタイムコ一ド TCを記述するかについては詳しくは後述する オーディオエンコーダ 1 7は、 供給されたオリジナルオーディオデータ D_A を MP E G規格に従って圧縮符号化することによって符号化オーディォストリ一ム (オーディオエレメンタリストリームとも言う） を生成する回路である。 また、— オーディオエンコーダ 1 7は、 CPU 1 1力ヽら、 オリジナルオーディオデータ D に対応したオリジナルタイムコード T Cを各フレーム毎に受取り、 そのタイム コード T Cを、 符号化ストリーム中に記述する。 符号化ストリームのどの場所に このォリジナルタイムコ一ドを記述するかについては詳しくは後述する。

A C 3エンコーダ 1 8は、 供給されたォリジナルオーディォデータ D _A を A C 3規格に従って圧縮符号化することによって符号化プライべ一トストリーム （プ ライべ一 トエレメ ンタリストリームとも言う） を生成する回路である。 また、 A C 3エンコーダ 1 8は、 C P U 1 1から、 ォリジナルォ一ディォデ一タ D _A に対 応したオリジナルタイムコ一ド T Cを各フレーム毎に受取り、 そのタイムコ一ド T Cを、 符号化ストリーム中に記述する。 符号化ストリームのどの場所にこのォ リジナルタイムコ一ドを記述するかについては詳しくは後述する。

バケツタイザ 1 9、 2 0及び 2 1は、 ビデオェンコーダ 1 6から出力されたビ デォエレメ ンタリス トリーム、 オーディオエンコーダ 1 7から出力されたオーデ ィォエレメ ンタリストリーム、 及び A C 3エンコーダ 1 7から出力されたプライ ベ一トエレメンタリストリ一ムをそれぞれ受取り、 D V B (デジタルビデオプロ ―ドキャスティ ング） において規格化されているバケツタイズドエレメ ンタリス トリ一ムの形態になるようにそれぞれバケツ ト化する。 バケツタイザ 1 9は、 ノ、。 ケッ ト化したビデオエレメンタリストリ一ムを、 ビデオパケタイズドエレメ ンタ リストリームとしてトランスポートストリームマルチプレクサ 2 2に出力し、 パ ケッタイザ 2 0は、 バケツ ト化したオーディオエレメ ンタリストリームを、 ォ一 ディォパケタイズドエレメ ンタリストリームとしてトランスポートス トリームマ ルチプレクサ 2 2に出力し、 パケッタイザ 2 1は、 パケッ ト化したプライベート エレメ ンタリストリ一ムを、 プライべ一トパケタイズドエレメ ンタリス トリ一ム としてトランスポ一トストリ一ムマルチプレクサ 2 に出力する。

トランスポ一トス トリームマルチプレクサ 2 2は、 ビデオバケツタイズドエレ メ ンタリス トリームとオーディォバケツタイズドエレメ ンタリス トリ一ムとブラ ィべ—トバケツタイズドエレメ ンタリストリームをそれぞれトランスポ一トス 卜 リ一ムパケッ 卜の単位に分解し、 そのトランスポ一トストリ一ムパケッ ト単位に 分解されたバケツ トをそれぞれ多重化することによってトランスポ一トスト '丄 ムを生成する。

トランスポ一トストリ一ムデマルチプレクサ 3 2は、 伝送メディァ 2を介して 伝送されたトランスポ一トス 卜リームを、 ビデオバケツタイズドエレメ ンタリス トリ一ムとォ一ディォパケッタイズドエレメ ンタリストリ一ムとプライべ一トパ ケッタイズドエレメ ンタリストリームとに分離 （デマルチプレクス） し、 ビデオ パケッタイズドエレメンタリス トリームをデパケッタイザ 3 3に出力し、 オーデ ィォパケッタイズドエレメ ンタリストリ一ムをォ一ディォデコーダ 3 7に出力し 、 プライべ一トバケツタイズドエレメンタリストリームを A C 3デコーダに出力 する。

デパケッタイザ 3 3は、 ビデオパケッタイズドエレメ ンタリストリ一ムをデパ ケッ トイ匕して、 ビデオエレメ ンタリストリ一ムをビデオデコーダ 3 6に出力し、 デバケツタイザ 3 4は、 オーディオバケツタイズドエレメ ンタリストリ一ムをデ バケツ トイ匕して、 オーディォエレメ ンタリストリームをォ一ディォデコーダ 3 7 に出力し、 デバケツタイザ 2 6は、 プライべ一トバケツタイズドエレメ ンタリス トリームをデバケツ トイ匕して、 プライべ一トエレメ ンタリストリームを A C 3デ コーダ 3 8に出力する。

ビデオデコーダ 3 6は、 まず、 供給されたビデオエレメ ンタリストリ一ムを復 号化する前に、 ビデオエレメ ンタリス ト リームのシンタックスを解析する。 符号 化ストリ一ムのシンタックスを解析することによって、 ストリ一ムのピクチャレ ィャゃマクロプロックレイヤをデータエレメ ントとしてストリ一ム中に記述され たピクチャタイプ、 予測モード、 動きベク トル、 量子化ステップ、 及び D C Tモ ―ド等の符号化パラメ一タを、 符号化ストリ一ム中から抽出する。 このように符 号化ス トリームのシンタックスを解析する理由は、 エンコーダにおける符号化処 理に対応した復号化処理を行なう必要があるからである。 本発明の実施例におい ては、 このように符号化ストリームのシンタックスを解析する際に、 ピクチャレ ィャのュ一ザデ一タエリアにピクチャ毎に記述されているタイムコ一ドを抽出す る。 ビデオデコーダ 3 6は、 ス ト リームから抽出された各種の符号化パラメータ に従って、 符号化ス ト リームを復号化し、 復号化されたビデオデータ D _v をルー タ 3 9に供給する。 さらに、 ビデオデコーダ 3 6は、 符号化ストリーム中から抽 出したフレ一ム毎のタイムコ一ド T Cを C P U 3 1に供給する。

ォ一ディォデコーダ 3 7は、 まず、 供給されたオーディォエレメ ンタリストリ —ムを復号化する前に、 オーディォエレメンタリストリ一ムのシン夕ックスを解 析する。 このように、 符号化ストリームのシンタックスを解析することによって 、 ストリーム中に記述された符号化パラメ一タをストリーム中から抽出する。 本 発明の実施例においては、 この符号化ストリ一ムのシンタックスを解析する際に 、 符号化ストリ一ム中に記述されているタイムコ一ド情報をフレーム毎に抽出す る。 オーディオデコーダ 3 6は、 ストリームから抽出された符号化パラメ一夕に 従って、 符号化オーディオストリームを復号化し、 復号化されたオーディオデー タ D _A をルータ 3 9に供給する。 さらに、 オーディォデコーダ 3 7は、 符号化ス トリ一ム中から抽出したフレーム毎のタイムコード T Cを C P U 3 1に供給する

A C 3デコーダ 3 8は、 まず、 供給されたプライべ一トエレメンタリストリー ムを復号化する前に、 プライべ一トエレメンタリストリ一ムのシンタックスを解 析する。 このように、 符号化ストリームのシンタックスを解析することによって 、 ストリーム中に記述された符号化パラメータをストリーム中から抽出する。 本 発明の実施例においては、 この符号化ストリ一ムのシンタックスを解析する際に 、 符号化スト リーム中に記述されているタイムコード情報を抽出する。 プライべ ―トデコーダ 3 6は、 ストリ一ムから抽出された符号化パラメータに従って、 符 号化プライべ一トストリ一ムを復号化し、 復号化されたオーディォデータ D _A を ルータ 3 9に供給する。 さらに、 A C 3デコーダ 3 8は、 符号化ストリ一ム中か ら抽出したフレーム毎のタイムコ一ド T Cを C P U 3 1に供給する。

ビデオデコーダ 3 6、 オーディオデコーダ 3 7及び A C 3デコーダ 3 8から出 力されたべ一スバンドのビデオデータ D _V 又はべ一スバンドのォ一ディォデータ D A は、 ルータ 3 9を介して V T R 4 0又は A Z Vサーバ 4 1に供給される。

C P U 3 1は、 ビデオデコーダ 3 6から出力されるビデオデータ D _V の各フレ —ムに対応したタイムコード T Cを、 ビデオデコーダ 3 6から受取り、 オーディ ォデコーダ 3 7から出力されるオーディオデータ D _A の各フレームに対応したタ ィムコード T Cを、 オーディオデコーダ 3 7カヽら受取り、 また、 A C 3デコ一—ダ 3 8から出力されるオーディオデータ D _A の各フレームに対応したタイムコード T Cを、 A C 3デコーダ 3 8から受取る。 さらに、 C P U 3 1は、 ビデオデコー ダ 3 6、 オーディオデコーダ 3 7及び AC 3デコーダ 3 8から受取ったタイムコ ―ド TCに基づいて、 VTR 4 0又は AZVサーバ 4 1に供給されるべ一スバン ドのビデオデータ Dv 及びべ一スバンドのオーディオデータ D_A に対応したタイ ムコード TCを、 VTR 4 0及び A/Vサーバ 4 1に供給する。

VTR 4 0又は A/Vサーバ 4 1は、 ルータ 3 9から供給されたべ一スバンド のビデオデータ Dv 及びベースバンドのオーディオデータ D_A を記録媒体上に記 録する際に、 C PU 3 1から供給されたタイムコード TCとビデオデータ Dv 及 びオーディオデータ D_A の各フレームとを関連付けて記録する。 例えば、 VTR 4 0において、 ビデオデータ Dv とオーディオデータ D_A を、 テープ上に記録す る場合には、 C PU 3 1から供給されたタイムコ一ド TCに含まれる V I TCを 、 ビデオデータ Dv のブランキング区間に挿入して、 それをテープ上の傾斜トラ ックに記録すると共に、 C PU 3 1から供給されたタイムコード TCに含まれる LTCを、 テープ上の長手トラックに記録する。

従って、 VTR 4 0及び A/Vサーバ 4 1の記録媒体には、 送信システム 1の VTR 1 2の記録媒体及び A/Vサーバの記録媒体に記録されていたオリジナル ビデオデータ、 オリジナルオーディオ及びオリジナルタイムコードと、 全く同じ ビデオデータ、 オーディオ及びタイムコ一ドが記録されることになる。

編集機 4 2は、 送信システム 1の編集機 1 4から電話回線等によって伝送され た編集リストを受取り、 その編集リストに従って、 VTR 4 0及び AZVサーバ 4 2に記録されたビデオデータ Dv 及びオーディオデータ D_A を編集する。 もち ろん、 送信システム 1の編集機 1 4から供給される編集リス卜がなかったとして も、 VTR 4 0及び A/Vサーバ 4 1の記録媒体には、 送信システム 1の VTR 1 2の記録媒体及び AZVサ-バの記録媒体に記録されていたォリジナルビデオ データ、 オリジナルオーディォ及びオリジナルタイムコ一ドと、 全く同じビデオ データ、 オーディオ及びタイムコードが記録されているので、 そのタイムコード を使用して送信システム 1の編集機 1 4における編集処理と同じ編集処理を行な うことができる。

以上のように、 従来の MP E Gを用いた伝送システムでは、 伝送された符号化 ストリームには各フレーム毎にタイムコ一ドが重畳されていなかったので、 符号 化ストリ一ムと共に受信側に各フレーム毎のタイムコ一ドを伝送することはでき なかったが、 第 1図に示されたデジタルデータ伝送システムによれば、 送信側に おいてオリジナル素材に付与されたオリジナルタイムコ一ドを符号化ストリーム において各フレーム毎に重畳するようにしたので、 受信側においてもオリジナル 素材に付与されていたオリジナルタイムコードを再現できる。 その結果、 送信側 においてォリジナル素材とそのォリジナル素材の各フレームに関連付けられたォ リジナルタイムコードが記録された記録媒体と全く同じタイムコ一ドが記録され た記録媒体を受信側において作成することができる。

従って、 受信側の記録媒体に記録されたオリジナルタイムコ一ドを使用すれば 、 送信側の編集処理と全く同じ編集処理を受信側においても実現することができ る。 また、 送信側の記録媒体と受信側の記録媒体とは全く同じ記録媒体であるの で、 送信側にいてォリジナル素材に対して生成された編集リストを使用すれば、 受信側においては自動的に編集処理を実行することができる。

第 2図は、 本発明の他の実施の形態に係るデジタルデータ処理システムの構成 を示すプロック図である。 第 1図において説明したデジタルデータ伝送システム と第 2図に開示されたデジタルデータ処理システムと異なる点は、 第 1図のデジ タル伝送システムでは、 受信システム 3側において、 伝送された符号化ストリー ムをデコードした後、 ベースバンドのビデオデータ及びベースバンドのォ一ディ ォデータを編集するようにしているのに対して、 この第 2図に開示されたデジ夕 ルデ一タ処理システムでは、 復号化されたベースバンドのビデオデータ及びォ一 ディォデータを編集するのでは無く、 符号化ストリームの状態で編集するように している点が異なる。

第 2図に示されたデジタルデータ処理システムは、 ベースバンドビデオデータ 及びべ一スバンドォ一ディォデータを処理し、 取り扱うためのベースバンドシス テム 5 0 Aと、 符号化された符号化ストリ一ムを取り扱う符号化システム 5 0 B とから構成される。

図 2に示されたデジタルデータ処理システムにおけるべ一スバンドシステム 5 0 Aは、 ランダムアクセス可能な記録媒体からベースバンドのォリジナル素材を 再生するための A Z Vサーバ 5 2と、 A Z Vサーバ 5 2の記録媒体に記録された オリジナル素材を使用して編集リスト E D Lを生成する編集機 5 3とを備えてい る 0

また、 第 2図に示されたデジタルデータ処理システムにおける符号化システム 5 0 Bは、 A/Vサーバ 5 2から再生されたべ一スバンドのビデオデータ D_V を MP E G規格に基づいて符号化し、 ビデオエレメンタリストリ一ムを出力するビ デォエンコーダ 5 と、 AZVサーバ 5 2から再生されたべ一スバンドのオーデ ィォデータ DA を MP E G規格に基づいて符号化し、 オーディォエレメンタリス トリームを出力するオーディオエンコーダ 5 5と、 AZVサーバ 5 2から再生さ れたベースバンドのオーディオデータ D_A を A C 3規格に基づいて符号化し、 ォ —ディォエレメンタリストリームを出力する A C 3エンコーダ 5 6と、 ビデオェ ンコーダ 5 4、 オーディオエンコーダ 5 5及び A C 3エンコーダ 5 6から出力さ れたエレメンタリストリ一ムのシンタックスをそれぞれ解析し、 エレメンタリス トリ一ム中に記述されたタイムコ一ド情報を抽出するストリ一ム解析部 5 7と、 ビデオエンコーダ 5 4、 オーディォエンコーダ 5 5及び A C 3エンコーダ 5 6か ら出力されたエレメンタリストリ一ムを、 それぞれランダムアクセス可能な記録 媒体に記録するストリームサーバ 5 9とを有している。

さらに、 第 2図に示されたデジタルデータ処理システムは、 これらのベースバ ンドシステム 5 0 A及び符号化システム 5 0 Bの各プロックを制御及び管理する ための C P U 5 1を備えている。 この C P U 5 1は、 A/Vサーバ 5 2から再生 されたビデオデータ及びオーディオデータの各フレームに対応付けられている夕 ィムコード T Cを受取り、 このタイムコード T Cを所定のフォーマツ トに変換し て、 ビデオエンコーダ 5 4、 オーディオエンコーダ 5 5及び A C 3エンコーダ 5 6に供給する。

A/Vサーバ 5 2には、 AZVサーバ 1 3と同じように、 オリジナルソース素 材としてのベースバンドのビデオデータ及びオーディォデータが記録されており 、 さらに、 ビデオデータ及びオーディオデータは、 各フレーム毎にオリジナルタ ィムコ一ドと関連付けられて記録媒体に記録されている。 また、 A/Vサーバ— 5— 2には、 共に L T Cと V I T Cの 2種類のタイムコードが所定のフォーマツ 卜で 記録されており、 AZVサーバ 5 2からオリジナルビデオデータ及びオリジナル オーディォデ一夕が再生される場合には、 そのォリジナルビデオデータ及びォリ ジナルオーディォデータの各フレームに対応したォリジナルタイムコ一ド T C力く 出力される。

編集機 5 3は、 A Z Vサーバ 5 2に記録されたオリジナルビデオデータ及びォ リジナルオーディォデータにアクセスし、 ィン点ゃァゥト点から構成される編集 点を、 オリジナルビデオデータ及びオリジナルオーディオデータに対して設定す る。 編集オペレータがこの編集機 1 4を操作することによって、 オリジナルビデ ォデータ及びォリジナルオーディォデータに対して、 編集オペレータが必要と思 われる所望のシーンのみを選択するように、 複数のィン点及びァゥト点によって 定義される編集区間を設定すると、 その設定したィン点及びァゥト点に従って編 集リスト （E D L ) が生成される。 尚、 A / Vサーバ 5 2から出力されるビデオ データ D _v 及びオーディオデータ D _A は、 この編集リストに従って編集されたビ デォデータ及びオーディォデータでは無く、 編集されていないォリジナルのビデ ォデータ及びオーディオデータである。 本発明の実施例においては、 この編集機 5 2によつて生成された編集リストに従つてォリジナルビデオデータ及びォリジ ナルオーディオデータを実際に編集し、 編集されたビデオデータ及び編集された オーディオを生成する編集処理は、 編集機 5 8によって行われる。

ビデオエンコーダ 5 4は、 供給されたオリジナルビデオデータ D v を M P E G 規格に従って圧縮符号化することによって符号化ストリーム （ビデオエレメンタ リストリームとも言う） を生成する回路である。 また、 ビデオエンコーダ 5 4は 、 C P U 5 1から、 オリジナルビデオデータ D v に対応したオリジナルタイムコ ―ド T Cを各フレーム毎に受取り、 そのタイムコ一ド T Cを、 符号化ストリ一ム のピクチャレイヤのデータエレメントとして記述する。 符号化ストリ一ムのどの 場所にこのオリジナルタイムコ一ドを記述するかについては詳しくは後述する。 オーディォエンコーダ 5 5は、 供給されたォリジナルオーディォデータ D _A を M P E G規格に従つて圧縮符号化することによつて符号化ォ一ディォストリ： r Λ (オーディオエレメンタリストリームとも言う） を生成する回路である。 また、 オーディォエンコーダ 5 5は、 C P U 5 1から、 ォリジナルオーディォデータ D A に対応したオリジナルタイムコード T Cを各フレーム毎に受取り、 そのタイム コ一 ド T Cを、 符号化ストリ一ム中に記述する。

A C 3エンコーダ 5 6は、 供給されたオリジナルオーディオデータ D _A を A C 3規格に従って圧縮符号化することによって符号化プライべ一トストリーム （プ ライべ一トエレメ ンタリストリ一ムとも言う） を生成する回路である。 また、 A C 3エンコーダ 5 6は、 C P U 5 1から、 オリジナルオーディォデータ D _A に対 応したォリジナルタイムコ一ド T Cを各フレーム毎に受取り、 そのタイムコード T Cを、 符号化ス トリ一ム中に各フレーム毎に記述する。

ストリ一ム解析部 5 7は、 ビデオエンコーダ 5 4、 オーディォエンコーダ 5 5 及び A C 3エンコーダ 5 6からそれぞれ供給されたエレメ ンタリストリ一ムのシ ンタックスを解析する。 ストリーム解析部 5 7は、 それぞれ供給されたエレメ ン タリス トリ一ムのシンタックスを解析することによって、 ピクチャレイヤのュ一 ザデ一タエリアに記述されているタイムコ一ド情報をフレーム毎 （ピクチャ毎） に抽出する。 ス トリ一ム解析部 5 7は、 ストリ一ムサーバ 5 9に供給されるエレ メ ンタリストリームの各フレーム （ピクチャ） に対応するタイムコード T Cを編 集機 5 8に供給する。

編集機 5 8は、 ストリ一ムサーバ 5 9の記録再生タイミング及び記録媒体上に おけるデータの記録アドレスを管理するための機能を有している。 編集機 5 8は 、 ストリ一ム解析部 5 8によってエレメ ンタリストリ一ムから抽出されたタイム コ一ド T Cを受取り、 このタイムコ一ド T Cに対応した書込みァドレスを生成し 、 その書込みアドレスをストリームサーバ 5 9に供給する。 すなわち、 この編集 機 5 8は、 ストリームサーバ 5 9の記録媒体に記録された符号化ストリームと、 そのフレームに付与されているタイムコ一ドとを関連付けるためのテーブル状の メモリを有している。 従って、 このテーブルを参照することによって、 所望の夕 ィムコ一ドに対応する符号化ストリ一ムがストリ一ムサーバ 5 9における記録媒 体のどのアドレスに記憶されいるのかを判断することができる。 また、 編集機 5 8は、 ベースバンドシステム内の編集機 5 3から編集リストを受取り、 上述-した メモリ内の記録ァ ドレスとこの編集リス卜に基づいて、 ストリームサーバ 5 9の 再生を制御する。 具体的には、 編集リストによって指定されたイン点とアウト点 の区間のストリ一ムをス トリームサーバ 5 9から再生するようにストリ一ムサ一 バの記録再生を制御する。 従って、 ス トリームサーバ 5 9から出力された編集ス トリ一ムは、 編集機 5 3において生成された編集リス卜に対応したストリ一ムと なる。

以上のように、 第 2図に示されたデジタルデータ処理システムによれば、 ベー スバンドシステム 5 0 Aにおいて生成した編集リス卜に従って、 符号化ストリ一 ムをストリームの状態のまま編集することができる。 例えば、 第 1図に示された デジタルデータ伝送システムの A / Vサーバ 4 1から出力された編集されたビデ ォデータ及び編集されたオーディオデータを含んだ編集プログラムはべ一スバン ドデータであるので、 この編集プログラムを他の伝送路に伝送する場合には、 再 びこの編集プログラムを符号化する必要がある。 しかしながら、 第 2図に示され たデジタルデータ処理システムによれば、 ストリームサーバ 5 9から出力された 編集ストリームは符号化ストリームの状態のままであるので、 再度符号化処理す ること無く、 伝送媒体に伝送することができる。 よって、 第 2図に示されたデジ タルデータ処理システムによれば、 再符号化処理による画質劣化を防止すること ができるという効果を有している。

第 3図は、 ビデオエンコーダ 1 6、 5 6の構成の一例を示すブロック図である 。 このビデオエンコーダ 1 6、 5 6は、 ビデオエンコーダ内の全てのブロックを 制御及び管理するためのェンコ一ドコントロ一ラ 6 0と、 ベ一スパンドのビデオ データ D _v を受取り、 符号化する順番に従ってピクチャ （ I ピクチャ （intra co ded picture , Ρヒクチャ predictive coded picture) ， Bヒクナヤ (bidi rectionally predictive coded picture) ) の順番を並べ替える画像並べ替え回 路 6 1と、 この画像並べ替え回路 6 1の出力データを入力し、 フレーム構造かフ ィ一ルド構造かを判別し、 判別結果に応じた走査変換及び 1 6 X 1 6画素のマク ロブロック化を行う走査変換 ·マクロブロック化回路 6 2と、 この走査変換 .マ クロブロック化回路 6 2の出力データに基づいて、 動きべク トルを検出して、 動 きべクトルデータを出力する動き検出回路 6 3と、 走査変換 ·マクロブロック化 回路 6 2の出力データと予測画像データとの差分をとる減算回路 6 4と、 この減 算回路 6 4の出力データに対して、 D C T (離散コサイン変換） ブロック単位で D C Tを行い、 D C T係数を出力する D C T回路 6 5と、 この0〇丁回路6 5の 出力データを量子化する量子化回路 6 6と、 この量子化回路 6 6の出力データを 可変長符号化する可変長符号化回路 6 7と、 この可変長符号化回路 6 7の出力デ —タを一旦保持し、 ビデオエレメンタリストリーム （E S ) として出力するバッ ファメモリ 6 8とを備えている。

ビデオエンコーダ 1 6、 5 4は、 さらに、 量子化回路 6 6の出力データを逆量 子化する逆量子化回路 6 9と、 この逆量子化回路 6 9の出力データに対して逆 D C Τを行う逆 D C Τ回路 7 0と、 この逆 D C T回路 7 0の出力データと予測画像 データとを加算して出力する加算回路 7 1と、 この加算回路 7 1の出力データを 保持し、 動きべク トルに基づいて動き補償を行って予測画像データを減算回路 6 4及び加算回路 7 1に出力する動き補償回路 7 2と、 可変長符号化回路 6 7から の発生ビッ ト量データに基づいて、 量子化回路 6 6における量子化特性を制御す ることによって目標符号量を制御するビッ トレ一トコントロール部 4 3とを備え ている。

画像並べ替え回路 6 1は、 ベースバンドのビデオデータ D _v を受取り、 ェンコ —ダコントローラ 6 0の制御に従って、 符号化する順番に従ってピクチャの順番 の並べ替えを行なう。 ピクチャの順番が並べ替えられたデータは、 走査変換 ·マ クロブロック化回路 6 2に供給される。 走査変換 ·マクロブロック化回路 6 2は 、 供給されたデータの予測モ一ドに基づいてフレーム フィ一ルド等の走査変換 及びマクロブロック化が行われる。 動き検出回路 6 3は、 走査変換 ·マクロプロ ック化回路 6 2の出力デ一夕から動きべク トルを検出し、 その検出した動きべク トルデータを出力する。

供給されたビデオデータを I ピクチャとして符号化する場合には、 減算回路 6 4において予測画像データとの差分をとることなく、 走査変換 ·マクロプロック 化回路 6 2の出力データをそのまま D C T回路 6 5に入力して D C Tを行い、 量 子化回路 6 6によって D C T係数を量子化し、 可変長符号化回路 6 7に供給する 供給されたビデオデータを Pピクチヤとして符号化する場合には、 動き補償回 路 7 2によって、 保持している過去の I ピクチャまたは Pピクチャに対応する画 像データと動き検出回路 6 3からの動きべク トルとに基づいて予測画像データを 生成し、 予測画像データを減算回路 6 4及び加算回路 7 1に出力する。 また、 減 算回路 6 4によって、 走査変換.マクロブロック化回路 6 2の出力データと動き 補償回路 7 2からの予測画像データとの差分をとり、 D C T回路 6 5にょって13 C Tを行い、 量子化回路 6 6によって D C T係数を量子化し、 その量子化された データを可変長符号化回路 6 7に供給する。

供給されたビデオデータを Bピクチヤとして符号化する場合には、 動き補償回 路 7 2によって、 保持している過去及び未来の I ピクチャまたは Pピクチャに対 応する 2つの画像データと動き検出回路 6 3からの 2つの動きべク トルとに基づ いて予測画像データを生成し、 予測画像データを減算回路 6 4及び加算回路 7 1 に出力する。 また、 減算回路 6 4によって、 走査変換 ·マクロブロック化回路 6 2の出力データと動き補償回路 7 2からの予測画像データとの差分をとり、 D C T回路 6 5によって D C Tを行い、 量子化回路 6 6によって D C T係数を量子化 し、 量子化されたデータを可変長符号化回路 6 7に供給する。

エンコードコントローラ 6 0は、 ピクチャタイプ、 予測モード、 動きべク トル 、 量子化ステップ、 及び D C Tモード等の M P E G規格において定義されている 各種の符号化パラメータを可変長符号化回路 6 7に供給すると共に、 C P U 1 1 から供給されたタイムコ一ド T Cを可変長符号化回路 6 7に供給する。 この符号 化パラメータとは、 シーケンスレイヤ、 G O Pレイヤ、 ピクチャレイヤ、 スライ スレイヤ、 マクロブロックレイヤ、 及びプロックレイヤとして記述すべきデータ エレメ ントのことである。

可変長符号化回路 6 7は、 量子化回路 6 6において量子化されたデータを可変 長符号化すると共に、 その可変長符号化された符号化データとェンコ一ドコン卜 ローラ 6 0から供給された各種の符号化パラメータとに従って、 シ一ケンスレイ ャ、 G O Pレイヤ、 ピクチャレイヤ、 マクロブロックレイヤに適切なデータ及び データエレメ ン トを記述することによって、 符号化ストリームを生成する。 この 符号化ストリ一ムを生成する際に、 可変長符号化回路 6 7は、 ェンコ一ドコン b ローラ 6 0から供給されるタイムコ一ド T Cを、 ピクチャレイヤのユーザデータ エリアに記述することによって、 各ピクチャ毎にタイムコ一ド情報が付加 （重畳 ) された符号化ストリームを生成する。

以上のようにして、 オリジナルビデオデータに付随するォリジナルタイムコ一 ドが各フレーム毎に付加された符号化ビデオエレメンタリストリ一ムが生成され る。

第 4図は、 第 1図及び第 2図に示したオーディオエンコーダ 1 7、 5 5の構成 の一例を示すブロック図である。 このオーディオエンコーダ 1 7、 5 5は、 ベー スバンドのオーディオデータ D _A を入力し、 3 2帯域のサブバンド信号に分割し て出力するサブバンド分析フィルタバンク 8 1 と、 このサブバンド分析フィルタ バンク 8 1の各出力信号を量子化する線形量子化器 8 2と、 この線形量子化器 8 2の各出力信号に基づいて、 符号化されたオーディォデータを生成すると共に、 この符号化されたオーディオデータに、 C R C (巡回冗長チヱック） のためのェ ラ一チヱックや、 後述する符号化されたサイ ド情報や、 C P U 1 1からのタイム コードデータ T C等を付加して、 所定のデータ構造のビッ トストリ一ムを形成し 、 オーディォエレメンタリストリーム （E S ) として出力するビッ トストリ一ム 形成部 8 3とを備えている。

オーディオエンコーダ 1 7、 5 5は、 更に、 入力されるオーディオデータ D _A を高速フーリエ変換 （F F T ) する F F T部 8 4と、 サブバンド分析フィルタバ ンク 8 1の各出力信号よりスケールファクタを抽出するスケールファクタ抽出部 8 5と、 F F T部 8 4の出力信号とスケールファクタ抽出部 8 5によって抽出さ れたスケールファクタとを用いて、 心理聴覚分析のための心理聴覚モデルを形成 する心理聴覚モデル形成部 8 6 と、 この心理聴覚モデル形成部 8 6によって形成 された心理聴覚モデルに基づいて、 動的にビッ ト割り当てを行い、 ビッ ト害 ljり当 て情報を線形量子化器 8 2に与えて、 線形量子化器 8 2における量子化特性を制 御する動的ビッ ト割当部 8 7 と、 スケールファクタ抽出部 8 5によって抽出され たスケールファクタ及び動的ビッ ト割当部 8 7からのビッ ト割り当て情報を、 サ ィ ド情報として符号化し、 符号化されたサイ ド情報をビッ トストリ一ム形成部 8 3に与えるサイ ド情報符号化部 8 8とを備えている。 —―― サブバンド分析フィルタバンク 8 1は、 供給されたべ一スバンドのオーディオ データ D A を受取り、 このオーディオデータ D _A を 3 2帯域のサブバンド信号に 分割し、 このサブバンド信号を、 線形量子化器 8 2に出力する。 また、 F F T部 8 4は、 供給されたべ一スバンドのォ一ディォデータ D _A を受取り、 オーディオ データ D A を高速フーリエ変換し、 そのフーリエ変換された信号を心理聴覚モデ ル形成部 8 6に供給する。

スケールファクタ抽出部 8 5は、 サブバンド分析フィルタバンク 8 1の各出力 信号からスケールファクタを抽出し、 その抽出したスケースファクタ情報を心理 聴覚モデル形成部 8 6に供給する。 心理聴覚モデル形成部 8 6は、 F F T部 8 4 からの出力信号とスケールファクタ抽出部 8 5によって抽出されたスケールファ クタ情報とを用いて、 心理聴覚分析のための心理聴覚モデルを形成する。

動的ビッ ト割当部 8 7は、 この心理聴覚モデル形成部 8 6によって生成された 心理聴覚モデルに基づいて、 動的にビッ ト割り当てが行われ、 線形量子化器 8 2 における量子化特性を制御するための制御信号を生成する。 線形量子化器 8 2は 、 動的ビッ ト割当部 8 7からの量子化特性制御信号によって量子化特性が制御さ れる。 この線形量子化器 8 2の出力信号は、 ビッ トストリーム形成部 8 3に供給 される。

サイ ド情報符号化部 8 8は、 スケールファクタ抽出部 8 5によって抽出された スケールファクタ及び動的ビッ ト割当部 8 7からのビッ ト割り当て情報を、 サイ ド情報として符号化し、 ビッ トストリ一ム形成部 8 3に供給する。

ビッ トストリーム形成部 8 3は、 線形量子化器 8 2の各出力信号を使用して、 符号化されたオーディォデータが生成されると共に、 この符号化されたオーディ ォデータに、 エラ一チヱックや、 サイ ド情報符号化部 8 8によって符号化された サイ ド情報を付加する。 さらに、 このビッ トストリーム形成部 8 3は、 この符号 化されたオーディオデータに、 C P U 1 1からのタイムコ一ドデータ T C等を付 加し、 所定のデータ構造のビッ トストリームを形成する。 このようにして、 タイ ムコ一ドが付加されたオーディォェレメンタリス卜リ一ムが生成される。

第 5図は、 第 1図及び第 2図に示した A C 3エンコーダ 1 8、 5 9の構成の一 例を示すブロック図である。 この A C 3エンコーダ 1 8、 5 9は、 ベースバン のオーディオデータ D _A を受取り、 周波数領域に変換して、 指数部と仮数部から なる周波数係数を出力する周波数領域変換部 9 1を備えている。 周波数係数の指 数部は、 オーディオデータのスぺク トラルエンベロープ （Spectral envelope ) を示している。 A C 3エンコーダ 1 8、 5 9は、 更に、 周波数領域変換部 9 1よ り出力される周波数係数の指数部を符号化するスぺク トラルェンベロ一プ符号化 部 9 2と、 周波数領域変換部 9 1より出力される周波数係数の仮数部を量子化す る量子化部 9 3と、 スぺク トラルエンベロープ符号化部 9 2の出力データに基づ いてビッ ト割り当てを行い、 ビッ ト割り当て情報を量子化部 9 3に与えて、 量子 化部 9 3における量子化特性を制御するビッ ト割当部 9 4と、 スぺク トラルェン ベロ一プ符号化部 9 2の出力データ及び量子化部 9 3の出力データに、 C P U 1 1からのタイムコードデータ D TC等を付加して、 これらによって、 所定のデータ 構造のビッ トストリ一ムを形成し、 プライべ一トエレメンタリストリーム （E S ) として出力するビッ トストリーム形成部 9 5とを備えている。

周波数領域変換部 9 1は、 供給されたべ一スバンドのオーディオデータ D _A を 、 周波数領域に変換すると共に、 その周波数領域に変換されたデータを指数部と 仮数部からなる周波数係数に分解し、 周波数係数の仮数部を量子化部 9 3に出力 し、 周波数係数の指数部をスぺク トラルエンベロープ符号化部 9 2に出力する。 スぺク 卜ラルエンベロープ符号化部 9 2は、 周波数領域変換部 9 1から供給さ れた周波数係数の指数部を符号化し、 その符号化されたデータを、 ビッ ト割当部 9 4とビッ トストリ一ム形成部 9 5とに出力する。

量子化部 9 3は、 周波数領域変換部 9 1から供給された周波数係数の仮数部を 量子化し、 その量子化したデータを、 ビッ トストリーム形成部 9 5に出力する。 ビッ ト割当部 9 は、 スぺク トラルエンベロープ符号化部 9 2の出力データに 基づいてビッ ト割り当てを行い、 ビッ ト割り当て情報を量子化部 9 3に与える。 このビッ ト割当部 9 4からのビッ ト割り当て情報に基づいて量子化部 9 3におけ る量子化特性が制御される。

ビッ トストリ一ム形成部 9 5は、 C P U 1 1からタイムコードデータ T Cを受 取り、 スぺク トラルエンベロープ符号化部 9 2の出力データ及び量子化部 9 3の 出力データに、 そのタイムコードデータ T Cを付加する。 これらによって、 所定のデータ構造のビッ トストリ一ムが形成され、 プライべ —トエレメンタリストリーム （E S ) として出力される。 このようにして、 タイ ムコ一ドが付加されたプライべ一トェレメンタリストリ一ムが生成される。

次に、 M P E G規格に基づいて符号化された符号化ストリ一ムに対してタイム コ一ドを付加したときの符号化ストリームの構造について説明する。

第 6図は、 M P E Gのビデオストリ一ムのシンタックスを表わした図である。 ビデオエンコーダ 1 6、 5 4は、 この図に示されたシンタックスに従った符号化 ス トリームを生成すると共に、 ビデオデコーダ 3 6は、 この図に示されたシン夕 ックスに従って符号化ストリームを解析することによって、 符号化ビッ トストリ —ムから意味のある複数のデータ項目 （データエレメント） を抽出する。 図では 、 以下に説明するシンタックスのうち、 関数や条件文は細活字で表わされ、 デ一 タエレメントは、 太活字で表されている。 データ項目は、 その名称、 ビッ ト長及 びそのタイプ ·伝送順序を示す二一モニック （Mnemonic) で記述されている。 まず、 この第 6図に示されているシンタックスにおいて使用されている関数に ついて説明する。 実際には、 この第 6図に示されているシンタックスは、 ビデオ デコーダ側において伝送された符号化ストリームから所定の意味のあるデータを 抽出するために使用されるシン夕ックスである。 ビデオエンコーダ側において使 用されるシンタックスは、 第 6図に示されたシンタックスから if文や while文等 の条件文を省略したシンタックスである。

video sequesceOにおいて最初に記述されている next_start— code( ) 関数は、 ビッ トストリ一ム中に記述されているスタートコ一ドを探すための関数である。 この第 6図に示されたシンタックスに従って生成された符号化ストリ一ムには、 まず展初に、 sequence header () 関数と sequence extension()¾致によって定義 されたデータエレメントが記述されている。 この sequence— header〇 関数は、 M P E Gビッ トストリームのシーケンスレイヤのヘッダデータを定義するための関 数であって、 sequence— extensionO関数は、 M P E Gビッ トストリ一ムのシ一ケ ンスレイヤの拡張データを定義するための関数である。 „— - sequence— extension〇関数の次に配置されている do {} while構文は、 whil e 文によって定義されている条件が真である間、 do文の {} 内の関数に基づいて 記述されたデータエレメン卜が符号化デ一タストリ一ム中に記述されていること を示す構文である。 この while文に使用されている nextbits〇関数は、 ビッ トス トリ一ム中に記述されているビッ ト又はビッ ト列と、 参照されるデータエレメン トとを比較するための関数である。 この第 6図に示されたシンタックスの例では 、 nextbits〇関数は、 ビッ トストリ一ム中のビッ ト列とビデオシーケンスの終わ りを示す sequence end code とを比較し、 ビッ トストリ一ム中のビッ ト歹 ijと sequ ence一 end code とが一致しないときに、 この while文の条件が真となる。 従って 、 sequence一 extension〇関数の次に配置されている do {} while構文は、 ビッ トストリ一ム中に、 ビデオシーケンスの終わりを示す sequence— end— code が現れ ない間、 do文中の関数によって定義されたデータエレメントが符号化ビッ トス卜 リーム中に記述されていることを示している。

符号化ビッ トストリ一ムにおいて、 sequence一 extension〇関数によって定義さ れた各デ一タエレメン卜の次には、 extension— and一 user— data(O)関数によって定 義されたデ一タエレメン卜が記述されている。 この extension— and— user— data(O) 関数は、 M P E Gビッ トストリ一ムのシーケンスレイヤにおける拡張データとュ —ザデータを定義するための関数である。

この extension— and— user— data(O)関数の次に配置されている do {} while構 文は、 while 文によって定義されている条件が真である間、 do文の {} 内の関数 に基づいて記述されたデータエレメントが、 ビッ トストリ一ムに記述されている ことを示す関数である。 この while 文において使用されている nextbitsO関数は 、 ビッ トストリ一ム中に現れるビッ ト又はビッ ト歹 ijと、 picture— start— code又は group— start— codeとの一致を判断するための関数であって、 ビッ トストリーム中 に現れるヒッ 卜又はビッ 卜歹 'Jとヽ picture start code又は group— start codeと力く 一致する場合には、 while文によって定義された条件が真となる。 よって、 この do {} while 構文は、 符号化ビッ トストリーム中において、 picture_start— code 又は group— start— codeが現れた場合には、 そのスタートコードの次に、 do文中の 関数によって定義されたデータエレメン卜のコ一ドが記述されていることを示し ている。

この do文の最初に記述されている if文は、 符号化ビッ 卜ストリーム中に group —start— code が現れた場合、 という条件を示している。 この if文による条件は真 である場合には、 符号化ビッ トストリーム中には、 この group— start— codeの次に group of picture— header O 関数及び extension and user data (： u関数によって 定義されているデータエレメントが順に記述されている。

この group— of_picture—header〇 関数は、 M P E G符号化ビッ トストリ一ムの G O Pレイヤのヘッダデータを定義するための関数であって、 extension— and一 us er— data(l)関数は、 M P E G符号化ビッ トストリ一ムの G O Pレイヤの拡張デ一 夕及びユーザデータを定義するための関数である。

さらに、 この符号化ビッ トストリームにおいて、 group— of— picture_header〇 関数及び extension— and_user一 data( 1 )関数によつて定義されているデータエレメ ン卜の次には、 icture headerO関数と picture一 coding extensionO関数によつ て定義されたデータエレメントが記述されている。 もちろん、 先に説明した if文 の条件が真とならない場合には、 group— of— picture— header〇関数及び extensio n一 andjiser— data(l)関数によって定義されているデ一タエレメントは記述されて いないので、 extension— and— user data(O) 関数によって定義されているデータ エレメ ン卜の次にヽ picture headerO a picture coding extensionO関数及 び extension一 and— user— data(2)関数によって定義されたデータエレメン卜が記述 されている。

この picture— header〇関数は、 M P E G符号化ビッ トストリ一ムのピクチャ レ ィャのヘッダァ一タ 定義するための関数であって、 icture coding extension 〇関数は、 M P E G符号化ビッ トストリ一ムのピクチャ レイヤの第 1の拡張デ一 夕を定義するための関数である。 extension— and一 user一 data(2)関数は、 M P E G 符号化ビッ トストリ一ムのピクチャレイヤの拡張データ及びユーザデータを定義 するための関数である。 この extension— and— user_data(2)関数によつて定義され るユーザデータは、 ピクチャレイヤに記述されているデータであって、 各ピクチ ャ毎に記述することのできるデータであるので、 本発明においては、 この extens ion一 and一 user— data(2)関数によって定義されるユーザデータとして、 タイム； ド情報を記述するようにしている。

符号化ビッ トストリ一ムにおいて、 ピクチャレイヤのユーザデータの次には、 picture一 data〇関数によって定義されるデータエレメントが記述されている。 こ の picture— data〇関数は、 スライスレイヤ及びマクロブロックレイヤに関するデ —タエレメントを記述するための関数である。

この picture一 data〇関数の次に記述されている while文は、 この while文によ つて定義されている条件が真である間、 次の if文の条件判断を行うための関数で ある。 この while 文において使用されている nextbitsO関数は、 符号化ビッ トス 卜リ一ム中に、 picture— start code又は group start code力く d述されてレヽるカヽ否 かを判断するための関数であって、 ビッ トストリ一ム中に picture— start— code又 は group— start— codeが記述されている場合には、 この while 文によって定義され た条件が真となる。

次の if文は、 符号化ビッ トストリ—ム中に sequence一 end一 code が記述されてい るか否かを判断するための条件文であって、 sequence— end— code が記述されてい ないのでめれば、 sequence header 0 関数と sequence extensionOfe效とによつ て定義されたデータエレメン卜が記述されていることを示している。 sequence_e nd code は符号化ビデオストリ一ムのシ一ケンスの終わりを示すコ一ドであるの で、 符号化ストリ一ムが終了しない限り、 符号化ストリ一ム中には sequence— hea der() 関数と sequence— extension〇関数とによって定義されたデータエレメン卜 が記述されている。

この sequence header () 関数と sequence extension( )関数によって g己述されこ データエレメントは、 ビデオストリ一ムのシ一ケンスの先頭に記述された sequen ce header 0 関数と sequence extension()関数によって己; ^されたテ一タエレメ ントと全く同じである。 このように同じデータをストリ一ム中に記述する理由は 、 ビッ トストリ一ム受信装置側でデ一タストリームの途中 （例えばピクチャレイ ャに対応するビッ トストリ一ム部分） から受信が開始された場合に、 シーケンス レイヤのデータを受信できなくなり、 ストリームをデコ一ドできなくなることを 防止するためである。

この最後の sequence header u 関数と sequence extensionO関数とによって定 義されたデータエレメントの次、 つまり、 デ一タストリームの最後には、 シ一ケ ンスの終わりを示す 3 2ビッ トの sequence end code が記述されている。 以下、 sequence— headerO 関数、 sequence— extensionO関数、 extension一 and _user_data(0) 関数ヽ group— of— picture header 0 関数及び extension一 and一 user — data(l)関数について詳細に説明する。

sequence— header () 関数によって定義されたデ一タエレメントは、 sequence— h eader— codeヽ sequence— header present_f lag horizontal size value 、 vertic al— size— value、 aspect一 ratio— information、 frame— rate— code 、 bit一 rate— val ue、 marker— bit、 丽— buffer— size— value、 constrained— parameter一 flag、 load _intra_quantizer_matrix、 intra— quantizer matrixヽ load— non— intra auantiz er matrix 、 及び non— intra— quantizerjnatrix等である ₀

sequence header codeは、 シーケンスレイヤのスタ一ト同期コ一ドを表すデ一 タでめる。 sequence header present ； lagは、 sequence header 内のテ一夕が有 効か無効かを示すデータである。 horizontal_size— valueは、 画像の水平方向の 画素数の下位 12ビッ 卜から成るデータである。 vertical一 size— value は、 画像の 縦のラィン数の下位 12ビッ 卜からなるデ一タである。 aspect— ratio— information は、 画素のァスぺク ト比 （縦横比） または表示画面ァスぺク ト比を表すデータで ある。 frame— rate— code は、 画像の表示周期を表すデータである。 bit— rate— val ueは、 発生ビッ ト量に対する制限のためのビッ ト · レートの下位 18ビッ ト（400bs P単位で切り上げる） データである。 marker— bitは、 スタートコ一ドエミュレ一 シヨンを防止するために挿入されるビッ トデータである。 VBV— buffer— size— valu e は、 発生符号量制御用の仮想バッファ （ビデオバッファべリファイャ一） の大 きさを決める値の下位 10ビッ トデータである。 constrained— parameter— flagは、 各パラメ一タが制限以内であることを示すデ一タである。 load一 intra— quantizer —matrix は、 ィントラ M B用量子化マトリ ックス .データの存在を示すデータで ある。 intra quantizer matrixは、 ィントラ M B用量子ィ匕マトリックスの値を示 すデータである。 load non intra quantizer matrix は、 非イントラ M B用量子 ィ匕マ卜リ ックス ·ァ一夕の存在を示すデータである 匪— intra— quantizer matr ixは、 非ィントラ M B用量子化マトリッタスの値を表すデータである。 ―― sequence extensionO関数によって疋義されたァ一タエレメントとは、 extens ion start code、 extension start code identifier、 sequence— extension pre sent— flag 、 profile— and— level—indicatioru progressive— sequenceヽ chroma一 f ormat 、 horizontal— size— extension 、 vertical— size— extension 、 bit— rate— e xtensioru vbv— buffer— size extension ヽ low— delay ヽ frame一 rate extension n ヽ 及び frame— rate— extension— d等のデ一タエレメン卜である ₀

extension— start— codeは、 ェクステンションデータのスタート同期コ一ドを表 すデータである extension start code identifier は、 どの te テ一夕が送ら れるかを示すデータである sequence— extension— present— flag は、 シーケンス ェクステンション内のデータが有効であるか無効であるかを示すスデータである proiile_and— level— indicationは、 ビデオデータのプロファイルとレベルを指 定するためのデータである。 progressive— sequenceは、 ビデオデータが順次走査 であることを示すデータである。 chroma— format は、 ビデオデータの色差フォー マツ 卜 指定するためのテ一タである。 horizontal size extension は、 シ一ケ ンスヘッダの horizntal size valueにカロ; る上位 2ヒッ 卜の 一夕である。 vert ical size extension は、 シーケンスへッタの vertical size value にカロんる上 位 2 ビッ 卜のデータである。 bit— rate— extensionは、 シーケンスヘッダの bit— ra te valueに力 tlえる上位 1 2ヒッ 卜の： r—タである。 vbv buffer size extension は、 シーケンスヘッダの vbv— buffer— size— value に加える上位 8ビッ 卜のデータ である。 low— delay は、 Bピクチャを含まないことを示すデータである。 frame rate extension n はヽ シーケンスヘッダの frame— rate— code と組み合わせてフ レ一ムレ一トを得るためのデ一夕である。 frame— rate— extension— dは、 シ一ケン スへッダの frame— rate— code と組み合わせてフレ一ムレ一トを得るためのデ一夕 である。

extension— and user data i 関数は、 ι i」 力 2 以外のときは、 extension da ta〇関数によって定義されるデータエレメントは記述せずに、 user_data( ) 関数 によって定義されるデータエレメントのみを記述する。 よって、 extension— and一 user— data(O)関数は、 user— dataO 関数によって定義されるデータエレメ ン トの みを言己述する。 一― group一 of—picture— headerO 関数によって定義されたデータエレメン卜は、 gr oup start codeヽ group of picture header— present flagヽ time— code 、 closed — gop、 及び broken一 link から構成される ₀

group— start— codeは、 G 0 Pレイヤの開始同期コードを示すデータである。 gr oup of picture header— present flagはヽ group of picture header 内のァ一タ エレメントが有効であるか無効であるかを示すデータである。 time一 code は、 G 0 Pの先頭ピクチャのシ一ケンスの先頭からの時間を示すタイムコ一ドである。 closed— gopは、 G 0 P内の画像が他の G 0 Pから独立再生可能なことを示すフラ グデータである。 broken— link は、 編集などのために G 0 P内の先頭の Bピクチ ャが正確に再生できないことを示すフラグデータである。

extension and—user data(l)関数は、 extension and user data(O 関数と同じ ように、 user一 dataO 関数によって定義されるデ一夕エレメントのみを記述する ための関数である。

次に、 符号化ストリ一ムのピクチャレイヤに関するデータエレメントを記述す るための picture headerり関数ヽ picture coding extensionO関数ヽ extensions — and— user— data(2) 及び picture— data〇について説明する。

picture— headerO関数によって定義されたデータエレメントは、 picture— star t code temporal— reference icture coding type vbv— delay full pel f orward— vector forward f code full pel— backward— vector backward— f— cod e extra— bit— picture ヽ 及び extra— information— picture である。

具体的には、 picture— start— codeは、 ピクチャレイヤの開始同期コードを表す データである。 temporal— referenceは、 ピクチャの表示順を示す番号で G 0 Pの 先頭でリセッ トされるデータである。 picture— coding— type は、 ピクチャタイプ を示すデータである。 vbv— delay は、 ランダムアクセス時の仮想バッファの初期 状態を示すデータである。 full— pel— forward— vector は、 順方向動きべク トルの 精度が整数単位か半画素単位かを示すデータである。 forward一 f— codeは、 順方向 動きべク トル探索範囲を表すデータである。 full— pel— backward一 vectorは、 逆方 向動きべク トルの精度が整数単位か半画素単位かを示すデータである。 backward — f— code は、 逆方向動きべク トル探索範囲を表すデータである。 extra_bit_pic± ure は、 後続する追加情報の存在を示すフラグである。 この extra— bit一 picture が 「1」 の場合には、 次に extra information picture 力く存在し、 extra bit pi cture 力 「0」 の場合には、 これに続くデータが無いことを示している。 extra— information—picture は、 規格において予約された情報である。

この picture— coding— extensionO関数によって定義されたデータエレメントと は、 extension start code、 extension start code identifier、 f code [0] [0] 、 f code [0] [l]、 f— code [l] [0]、 f— code [l] [1]、 intra_dc_precision> picture— structure、 top一 field— first、 frame— predictive— frame—dct、 concealment— mo tion一 vectors、 q— scale type、 intra— vie— forma；、 alternate一 scan、 repeat fir st field、 chroma_ 20 type、 progressive— frame、 composite— display— flag、 v_axiSs field— sequence、 sub— carrier、 burst— amplitude ヽ 及び sub carrier— phase カヽら構成される ₀

extension start— codeは、 ピクチャレイャのェクステンショ ンデ一夕のスタ一 トを示す開始コードである。 extension— start— code identifier は、 どの拡張デ —夕が送られるかを示すコードである。 f— code [0] [0]は、 フォワード方向の水平 動きべク トル探索範囲を表すデータである。 f— code [0] [l]は、 フォワード方向の 垂直動きべク トル探索範囲を表すデータである。 f— code [l] [0]は、 バックワード 方向の水平動きべク トル探索範囲を表すデータである。 f— code [l] [l]は、 バック ワード方向の垂直動きべク トル探索範囲を表すデータである。 intra— dc—precisi onは、 D C係数の精度を表すデータである。 picture— structure は、 フレームス トラクチャかフィ一ルドストラクチャかを示すデータである。 フィ一ルドストラ クチャの場合は、 上位フィ一ルドか下位フィ一ルドかも併せて示すデータである top— field— first は、 フレームストラクチャの場合、 最初のフィールドが上位 か下位カヽを示すテ一夕である frame一 predictive frame dctは、 フレーム · ス卜 ラクチャの場合、 フレーム · モ一ド D C Tの予測がフレーム · モードだけである こと ¾:不すァ一夕である concealment motion vectorsはヽ ン卜ラマクロブロ ックに伝送エラ一を隠蔽するための動きべク トルがついていることを示すデータ である。 q— scale一 typeは、 線形量子化スケールを利用するか、 非線形量子化スケ —ルを利用するかを示すデータである。 intra_vlc— formatは、 イントラマク ブ ロックに、 別の 2次元 V L Cを使うかどうかを示すデータである。 alternate— sc anは、 ジグザグスキヤンを使う力、、 オルタネ一ト ·スキヤンを使うかの選択を表 すデータである。 repeat— first— fieldは、 2 ： 3プルダウンの際に使われるデ一 タである。 chroma— 420— type は、 信号フォーマツ 卜が 4 ： 2 ： 0の場合には、 次 の progressive— frame と同じ値であり、 そうでない場合は 0を表すデータである progressive— frame は、 このピクチャ力^ 順次走査でできているかどうかを示 すデータである。 composite— display— flagは、 ソ一ス信号がコンポジッ ト信号で あつたかどうかを示すデータである。 V一 axisは、 ソース信号が、 P A Lの場合に 使われるデータである。 field— sequenceは、 ソース信号が、 P A Lの場合に使わ れるデータである。 sub— carrier は、 ソース信号が、 P A Lの場合に使われるデ —夕である。 burst— amplitude は、 ソース信号が、 P A Lの場合に使われるデ一 タである。 sub— carrier— phase は、 ソース信号が、 P A Lの場合に使われるデ一 夕である。

extension— and— user— data( 2)関数は、 第 7図に示したように、 符号化ビッ トス トリ一ム中にエクステンションスタ一トコ一ド extension— start_codeが存在する 場合には、 extension_data〇関数によって定義されるデータエレメン卜が記述さ れている。 但し、 ビッ トストリ一ム中にェクステンションスタートコ一ドが存在 しない場合には extension— data() 関数によって定義されるデータエレメントは ビッ トストリ一ム中には記述されていない。 この extension— dataO関数によって 定義されているデータエレメン卜の次には、 ビッ トストリ一ム中にユーザデータ スタートコード user— data— start_codeが存在する場合には、 user— data〇 関数に よって定義されるデータエレメン卜が記述されている。

user dataO 関数は、 第 8図に不されたよつに、 user data— start code、 time — code〇 関数、 user— data等のデータエレメントを記述するための関数である。 user— data— start— codeは、 M P E Gビッ トストリ一ムのピクチャレイヤのュ一 ザデ一タエリアの開始を示すためのスタートコ一ドである。 この user— data— star t— codeの次に記述されている while構文は、 符号化ビッ トストリーム中に、 2 3 個の ' 0 ' とそれに続く ' Γ から構成される 2 4ビッ トのデータが現れない J艮 り真となる。 この 2 3個の ' 0 ' とそれに続く ' Γ から構成される 2 4ビッ ト のデータは、 全てのスタートコ一ドの先頭に付与されるデータであって、 全ての スタートコ—ドは、 この 2 4ビッ 卜の後ろに設けられることによって、 符号化ビ ッ トストリ一ム中において各スタートコ一ドの位置を見つけることができる。 time一 codeO 関数は、 タイムコードを記述するための関数である。 具体的には 、 第 9図に示されるように、 time— code〇 関数によって記述されるデータエレメ ントは、 ピクチャレイヤのユーザデ一タエリアにおいてタイムコ一ドが記述され ている位置を認識するためのスタートコ一ドを示す time— code— start— codeと、 そ のスタートコ一ドに続くデータの識別コ一ドを示す data—IDと、 そのデータ識別 コ一ドに対応するタイムコ一ドデ一タ等である。

本発明の特徴である time一 codeO 関数においては、 第 1 1 A図及び第 1 1 B図 に示されるように、 このデータ識別コ一ド data— ID が V I T Cを示す識別コ一ド であれば、 その次には 7 2ビッ トの V I T Cが記述され、 また、 このデータ識別 コ一ド data— ID が V I T Cを示す識別コ一ドであれば、 その次には 7 2ビッ トの L T Cが記述されるようになっている。 尚、 この time— codeO 関数によって記述 されるデータエレメントについては、 詳しくは後述する。

picture— dataO関数によって定義されるデータエレメントは、 sliceO 関数に よって定義されるデータエレメントである。 但し、 ビッ トストリ一ム中に、 slic e() 関数のスタートコードを示す slice— start— codeが存在しない場合には、 この sliceO 関数によって定義されるデータエレメントはビッ トストリ一ム中に記述 されていない。

sliceO 関数は、 スライスレイヤに関するデータエレメントを記述するための 関数であってヽ 具体的にはヽ slice start codeヽ slice auantiser scale codeヽ intra slice— flagヽ intra一 slice ヽ reserved一 bits 、 extra— bit— slice ヽ extra information— slice、 及び extra— bit— slice 等のデ一タエレメントと、 macroblo ck〇関数によって定義されるデータエレメントを記述するための関数である。 slice— start_codeは、 sliceO 関数によって定義されるデータエレメ ントのス タ一卜を示すスタ一卜コ一ト 'である slice quantiser scale codeはヽ このスラ イスレイヤに存在するマクロブロックに対して設定された量子化ステツプサイ— を示すデータである。 し力、し、 各マクロブロック毎に、 quantiser— scale_codeが 設定されている場合には、 各マクロブロックに対して設定された macroblock qua ntiser— scale_code のデータが優先して使用される。 intra_slice_flagは、 ビッ トストリーム中に intra— slice及び reserved bits が存在するか否かを示すフラ グである。 intra— slice は、 スライスレイヤ中にノンイントラマクロブロックが 存在するか否かを示すデータである。 スライスレイヤにおけるマクロプロックの いずれかがノンイントラマクロブロックである場合には、 intra— slice は 「0」 となり、 スライスレイヤにおけるマクロプロックの全てがノンイントラマクロブ ロックである場合には、 intra— slice は 「1」 となる。 reserved— bits は、 7ビ ッ 卜のデータであって 「0」 の値を取る。 extra bit— slice は、 符号化ストリ一 ムとして追加の情報が存在することを示すフラグであって、 次に extra— informat ion slice が存在する場合には 「1」 に設定される。 追加の情報が存在しない場 合には 「0」 に設定される。

macrobloc )関数は、 マクロプロックレイヤに関するデータエレメントを記述 するための関数でめってヽ 具体的には、 macroblock escape ヽ macroblock addre ss increments 及ひ macroblock auantiser scale— code 等のテ一タエレメン卜と 、 macroblock— modesO関数、 及び macroblock— vectors(s)関数によって定義され たデータエレメントを記述するための関数である。

macroblock— escape は、 参照マクロブロックと前のマクロブロックとの水平方 向の差が 3 4以上であるか否かを示す固定ビッ ト列である。 参照マクロブロック と前のマクロブロックとの水平方向の差が 3 4以上の場合には、 macroblock— add ress— incrementの jこ 3 3 ·2τプラスする。 macroblock address incrementは、 参 照マクロプロックと前のマクロプロックとの水平方向の差を示すデータである。 もし、 この macroblock— address incrementの 」に macroblock escape が 1つ存在 するのであれば、 この macroblock_address incrementの値に 3 3をプラスした値 が、 実際の参照マクロプロックと前のマクロプロックとの水平方向の差分を示す テ一タとなる。 macroblock auantiser scale code は、 各マクロフロック毎に設 定された量子化ステップサイズである。 各スライスレイヤには、 スライスレイヤ の量子化ステツプサイズを示す slice— quantiser— scale— codeが設定されているが 、 参照マクロブロックに対して macroblock auantiser— scale code が設定されて いる場合には、 この量子化ステツプサイズを選択する。 次に、 第 6図から第 9図によって説明したシンタックスによって生成されるス トリ一ムの構造を、 第 1 0図を参照してよりわかりやすく説明する。

第 1 0図は、 M P E G符号化ストリームのデータ構造を示す説明図である。 こ の図に示したように、 ビデオエレメンタリストリ一ムのデータ構造は、 少なくと もシーケンスレイヤ、 G O Pレイヤ及びピクチャレイヤを含んでいる。

シーケンスレイャはヽ next start codeO 関数 1 0 1、 sequence header 0 数 1 0 2、 extention— start— code 1 0 3、 sequence— extentionO関数 1 0 4、 ex tention— and— user— data(0)関数 1 0 5によって定義されるデータエレメントから 構成されている。 G O Pレイヤは、 group— start— code 1 0 6、 group— o picture s— headerO関数 1 0 7、 extention_and— user_data(l)関数 1 0 8によって定義さ れるデータエレメントから構成されている。 ピクチャレイヤは、 picture— header ^) Wi 1 0 9、 picture coding extentionO S¾ 1 1 0、 extention and user d ata(2)関数 1 1 1、 picture— data〇関数 1 1 2によって定義されるデータエレメ ントを含んでいる。 ビデオシーケンスの最後には、 sequence— end— code 1 1 3が 記述されている。

extention一 and— user— data( 2)関数 1 1 1は、 既に第 7図において説明したシン タックスカヽらも理解できるように、 user—data— start— code 1 1 4、 user dataO 関数 1 1 5、 next— start— code 1 1 6によって定義されるデータエレメントを含 んでいる。

user_data() 関数 1 1 5は、 既に第 8図において説明したシンタックスからも 理解できるように、 time— code〇 関数 1 1 7と user— data 1 1 8によって定義さ れるデ一タエレメントを含んでいる。

次に、 第 1 1 A図、 第 1 1 B図を参照して、 time— code〇 関数によって記述さ れるデ一タエレメン卜について詳細に説明する。

第 1 1 A図は、 time— code〇 関数によって、 ピクチャレイヤのユーザエリアに V I T C、 L T C及びアンシラリデータが記述されている例を示している図である 。 第 1 1 B図は、 この 7 2ビッ トの V I T C又は L T Cの詳細なデータ構造を示 している図である。

第 1 1 A図に示されるように、 3 2ビッ 卜の time code start codeの次には、 このユーザデ一タエリアに記録されるデータの識別コ一ド data— ID が記述されて いる。 この識別コード data_ID は、 第 1 2図のように予め設定されており、 例え ば、 data— ID '03， を示すデータであれば、 その次の 7 2ビッ 卜には V I T C が記述され、 data一 ID力 < '04' を示すデータであれば、 その次の 7 2ビッ 卜には L T Cが記述されるようになっている。

第 1 1 B図において、 第 1ビッ ト目の ' C F ' は、 カラ一フレームを表わし、 次の第 2ビッ ト目の ' D F ' はドロップフレームを表わしている。 次の 3ビッ ト 目から 8ビッ ト目までの 6ビッ トは、 タイムコードの 'フレーム' の部分を表わ し、 9ビッ ト目は、 フェイズコレクションを表わし、 1 0ビッ ト目から 1 6ビッ ト目までの 7ビッ トは、 タイムコードの '秒' の部分を表わしている。 1 7ビッ ト目、 3 4ビッ ト目、 5 1ビッ ト目及び 6 8ビッ ト目の ' Γ は、 前述したよう に 0が 2 3個連続しないようにするためのマ一力一ビッ 卜であって、 このように 所定間隔でマ一力一ビッ トを揷入することによって、 スタートコードエミユレ一 ションを防止することができる。

1 8ビッ ト目、 2 6ビッ ト目及び 2 7ビッ ト目の ' B G ' は、 バイナリグルー プを表わし、 1 9ビッ ト目から 2 5ビッ ト目の 7ビッ トは、 タイムコードの '分 ' の部分を表わし、 2 8ビッ ト目から 3 3ビッ ト目の 6ビッ トは、 タイムコード の '時' の部分を表わしている。

3 5ビッ ト目から 5 0ビッ ト目の 1 6ビッ ト及び、 5 2ビッ ト目から 6 7ビッ ト目までの 1 6日とは、 ユーザの任意のユーザデータを記述することはできるよ うにリザーブされている。 尚、 最後の 4ビッ トは、 バイ ト整列 （Byte Array) す るためのスタッフビッ トである。

次に、 M P E G規格に基づいて符号化された符号化ストリ一ムに対してタイム コ一ドを付加する方法について説明する。

ビデオエレメンタリストリ一ムでは、 符号化の都合上、 ピクチャが並べ替えら れている。 そのため、 ビデオエレメンタリストリームに対するタイムコードの付 加の方法には、 次の 2通りが考えられる。 なお、 以下の説明では、 I ピクチャ-ま たは Pピクチャの現れる周期 （M) を 3とする。

第 1 3図は、 ビデオエレメンタリストリ一ムに対するタイムコ一ドの付加の第 1の方法を説明するための説明図である。 第 1 3図において、 （a ) は、 ビデオ エンコーダ 1 6の入力ビデオデータにおけるピクチャタイプを表している。 符号

Iは I ピクチャ、 Pは Pピクチヤ、 Bは Bピクチャを表し、 付随する数字は各ピ クチャタイプ毎のピクチヤの順番を表している。 また、 （b ) は、 各ピクチャに 付随するタイムコ一ドを簡略化して表したものである。 第 1の方法は、 ビデオェ レメン夕リストリ一ムに対するタイムコードの付加の際には、 ピクチャの並べ替 えを考慮せずにタイムコ一ドを付加し、 再生時にタイムコ一ドを付け替える方法 である。 より具体的に説明すると、 第 1図における C P U 1 1は、 タイムコ一ド を取得したら、 ュ一ザデータ 1 1 5へのタイムコ一ドの記録までのディ レイを考 慮して、 そのままタイムコードを記録する。 この第 1の方法によってタイムコ一 ドを付加した場合におけるビデオデコーダ 3 6の入力時のピクチャタイプとタイ ムコードとを第 1 3図 （c ) , ( d ) に示す。 第 1の方法によってタイムコ一ド を付加した場合には、 ビデオデコーダ 3 6では、 I ピクチャまたは Pピクチャが 来たら、 それに付随して入力されたタイムコードを、 次の最初の Bピクチャに付 け、 その Bピクチャに付随して入力されたタイムコードを、 更に次の 2番目の B ピクチャに付ける。 そして、 2番目の Bピクチャに付随して入力されたタイムコ —ドを、 I ピクチャまたは Pピクチャに付ける。 この場合のビデオデコーダ 2 3 の出力ビデオデータにおけるピクチャタイプとタイムコードとを図 1 3 ( e ) ，

( f ) に示す。

第 1 4図は、 ビデオエレメンタリストリ一ムに対するタイムコ一ドの付加の第 2の方法を説明するための説明図である。 第 1 4図において、 （a ) は、 ビデオ エンコーダ 1 6の入力ビデオデータにおけるピクチャタイプを表し、 （b ) は、 各ピクチャに付随するタイムコ一ドを簡略化して表したものである。 第 2の方法 は、 ビデオエレメンタリストリームに対するタイムコ一ドの付加の際に、 ピクチ ャの並べ替えを考慮してタイムコ一ドを付加し、 再生時にはタイムコ一ドの付け 替えを行わない方法である。 より具体的に説明すると、 第 1図における C P U 1 1は、 タイムコ一ドを取得したら、 ユーザデータ 1 1 5へのタイムコ一ドの言 までのディ レイを考慮して、 ピクチャの並べ替え前後においてピクチャとタイム コードとの対応関係が一致するように、 ピクチャの並べ替えに合わせてタイムコ ―ドを並べ替えて記録する。 この第 2の方法によってタイムコ一ドを付加した場 合におけるビデオデコーダ 2 3の入力時のピクチャタイプとタイムコ一ドとを第 1 4 0 ( c ) , ( d ) に示す。 第 2の方法によってタイムコードを付加した場合 には、 ビデオデコーダ 3 6では、 ピクチャの並べ替えと同様にタイムコードを並 ベ替えて、 各ピクチャにタイムコードを対応させる。 この場合のビデオデコーダ 3 6の出力ビデオデータにおけるピクチャタイプとタイムコ一ドとを第 1 4図 （ e ) , ( f ) に示す。

次に、 タイムコ一ドをォ一ディォエレメンタリストリ一ムに付加する方法につ いて説明する。

第 1 5図は、 M P E Gオーディォ規格によるオーディォエレメンタリストリ一 ムのデータ構造を示す説明図である。 この図に示したように、 オーディオエレメ ンタリストリームは、 先頭から順に、 へッダ （header) 1 2 1、 エラ一チヱック (error— check ) 1 2 2、 オーディオデータ （audio— data) 1 2 3、 アンシラリ データ （ancillary— data) 1 2 4によって定義されるデータエレメントから構成 アンシラリデータ 1 2 4の領域は、 第 1 5図に示したオーディォストリ一ムの データ構造において復号再生の単位としての 1フレーム （オーディオフレーム） 毎に存在可能で且つ任意のデータを記録可能な領域である。

オーディオ符号化ストリームでは、 ビデオストリームと異なり、 ビッ トレート によって 1フレームの大きさが決まっている。 1フレームのデータ量は、 例えば 3 8 4 Xビッ トレ一ト ÷サンプリング周波数である。 アンシラリデータ 1 2 4の 領域のデータ量は、 1フレームのデータ量から、 ヘッダ 1 2 1、 エラ一チヱック 1 2 2およびオーディオデータ 1 1 3の各領域で実際に使用されるデ一タ量を引 いたデータ量となる。

本実施の形態では、 第 1 5図に示したォ一ディォエレメンタリストリ一ムのァ ンシラリデータ 1 2 4の領域に、 タイムコ一ドを記録する。 アンシラリデータ 1 2 4におけるタイムコードの記述方法は、 第 1 1 A図及び第 1 1 B図において説 明したユーザデータエリァにおけるタイムコ一ドの記述の仕方と同じである。 ォ 一ディォ符号化ストリームのアンシラリデータ 1 2 の領域には、 V I T Cや L T C等のタイムコ一ドの他に、 必ず 1 6ビッ 卜の audio_phase (オーディオ位相 情報） が記述される。 アンシラリデータ 1 2 4において、 time— code— start— code の後に、 data— ID がオーディオ位相情報を示す識別コードであれば、 その次の 2 バイ 卜には Audio— phase が記述されている。 このオーディオ位相情報は、 オーデ ィオフレームがビデオストリームにおけるフレーム （以下、 ビデオフレームとい う。 ） とは同期していないため、 オーディオフレームとビデオフレームとの位相 差を示すためのデータである。

第 1 6 A図及び第 1 6 B図は、 ビデオフレームとオーディオフレームとの位相 差を説明するための説明図である。 この図において、 第 1 6 A図は、 ビデオフレ ームを表し （ 1ブロックが 1 ビデオフレームを表している。 ） 、 図中の数字は、 各ビデオフレームに対応するタイムコードを表している。 また、 第 1 6 B図は、 オーディオフレームを表し （ 1ブロックが 1オーディオフレームを表している。 ) 、 図中の数字は、 各オーディオフレームに対応して記録されるタイムコードを 表している。 第 1 6 A図、 第 1 6 B図から分かるように、 ォ一ディオフレームは 、 ビデオフレームとは同期していない。 そこで、 本実施の形態では、 各オーディ オフレームに記録されるタイムコ一ドと実際のオーディオフレームの開始点との 時間のずれを位相差 （第 1 6 B図では符号 A〜Fで表している。 ） とし、 各ォ一 ディオフレーム毎の位相差をオーディォ位相情報としてタイムコ一ドと共に符号 化ス トリーム中に記述するようにしている。 なお、 このオーディオ位相情報は、 オーディォデータのサンプル数で表される。

次に、 タイムコードをプライべ一トエレメンタリストリ一ムである A C 3スト リームに付加する方法について説明する。 第 1 7図は、 A C 3規格による A C 3 ストリームのデータ構造を示す説明図である。 この図に示したように、 A C 3ス トリ一ムのデ一タ構造は、 先頭から順に、 シンク情報 （syncinfo) 1 3 1、 ビッ トストリ一ム情報 （B S I ) 1 3 2、 オーディオブロック （audblk) 1 3 3、 補 助データ （auxdata ) 1 3 4、 エラ—チヱック （errorcheck) 1 3 5の各領域を 有している。 —― 捕助データ 1 3 4の領域は、 第 1 7図に示した A C 3ストリームのデータ構造 において復号再生の単位としての 1フレーム （シンクフレーム （syncframe ) ) 毎に存在可能で且つ任意のデータを記録可能な領域である。 補助データ 1 3 4の 領域のデータ量は、 1 フレームのデータ量から、 補助データ 1 3 4の領域を除く 領域で実際に使用されるデータ量を引いたデータ量となる。

本実施の形態では、 第 1 7図に示した A C 3ストリームのデータ構造における 捕助データ 1 3 4の領域に、 タイムコード （ユーザビッ トを含む） を記録する。 補助データ 1 3 4におけるタイムコードの記述方法は、 オーディオ符号化ストリ —ムのアンシラリデータ 1 2 におけるタイムコ一ドの記述方法と全く同じであ る。

以上説明したように、 本実施の形態では、 ス トリームのデ一タ構造において復 号再生の単位毎に存在可能で且つ任意のデ—タを記録可能な領域にタイムコード を記録するようにしている。 具体的には、 ビデオエレメンタリストリームに対し ては、 ユーザデータ 1 1 5の領域にタイムコ一ドを記録し、 オーディォストリ一 ムに対しては、 アンシラリデータ 1 2 4の領域にタイムコ一ドを記録し、 A C 3 ストリームに対しては補助データ 1 3 4の領域にタイムコ一ドを記録するように している。 これにより、 本実施の形態によれば、 素材データに付随するタイムコ 一ドを、 復号再生の単位毎のストリ一ムに対応させて確実に伝達することができ る

また、 本実施の形態によれば、 ビデオストリーム、 オーディオストリームおよ び A C 3ストリームにそれぞれタイムコ一ドを付加するようにしたので、 受信シ ステム 3側で、 各ストリ一ムを分離した後でも、 いずれのストリ一ムでもタイム コードの情報が欠落することがない。 このことは、 各ストリームを例えばハード ディスク等に蓄積して、 各ストリームを再利用する （例えば、 加工して使用する ) ような場合でも、 時間情報が失われないので、 非常に有益である。

さらに、 本実施の形態によれば、 ュ一ザビッ トを含むタイムコードを、 ビデオ ストリ一ム、 オーディォストリ一ムおよび A C 3ストリ一ムに、 それぞれ記録す ることができるので、 ユーザビッ トとして記録された任意の情報も、 各ストリ一 ムに対応させて確実に伝達することができる。 ―― なお、 本発明は、 上記実施の形態に限定されず、 例えば、 タイムコードの情報 を、 ビデオエレメンタリストリ一ム、 オーディォエレメンタリストリ一ムおよび プライべ一トエレメ ンタリストリ一ム （A C 3ストリーム） に付加する際のフォ 一マツ トは、 実施の形態に示したフォーマツ 卜に限らず、 適宜に設定可能である 以上説明したように、 本発明の符号化ストリ一ム生成装置または本発明の符号 化ストリーム生成方法によれば、 素材データに付随するタイムコードを、 符号化 ストリームのデータ構造において復号再生の単位毎に存在可能で且つ任意のデ一 タを記録可能な領域に記録するようにしたので、 素材データに付随するタィムコ ―ドを、 復号単位毎の符号化ストリームに対応させて確実に伝達することができ るという効果を奏する。

また、 本発明の他の符号化ストリーム生成装置または本発明の他の符号化スト リ一ム生成方法によれば、 符号化ストリ一ムの複数のレイヤのうちのピクチヤレ ィャに、 ソースビデオデータの各フレームに付随しているタイムコ一ドを記述し た符号化ストリームを生成するようにしたので、 オリジナル素材データに付随す るタイムコ一ドが各ピクチャに対応するように記述された符号化ストリームを生 成することができるという効果を奏する。

また、 本発明のさらに他の符号化ストリ一ム生成装置または本発明のさらに他 の符号化ストリ一ム生成方法によれば、 符号化ストリ一ムのピクチャレイヤのュ —ザデータエリァに、 ソースビデオデータに付随するタイムコードを示すデータ エレメン卜が記述された符号化ストリ一ムを生成するようにしたので、 ォリジナ ル素材デ一タに付随するタイムコ一ドが各ピクチャに対応するように記述された 符号化ストリ一ムを生成することができるという効果を奏する。

また、 本発明のデータ伝送システムまたは本発明のデータ伝送方法によれば、 送信側では、 複数のレイヤのうちのピクチヤレイヤに、 ソースビデオデータの各 フレームに付随しているタイムコ一ドが記述された符号化ストリ一ムを生成し、 この符号化ストリームを伝送し、 受信側では、 伝送された符号化ストリームを復 号化すると共に、 符号化ストリームのシンタックスを解析することによって符号 化ストリ一ムのピクチャレイヤからタイムコ一ドを抽出し、 復号化された復号化 データと抽出されたタイムコ一ド情報とを関連付けて記録媒体に記録することに よって、 データ供給元の記録媒体と同じデータが記録された記録媒体を得るよう にしたので、 オリジナル素材データに付随するタイムコードが各ピクチャに対応 するように記述された符号化ストリームを生成して伝送でき、 且つ、 受信側にお いて、 オリジナル素材データと、 このオリジナル素材データの各フレームに付随 するタイムコードとが記録された記録媒体を得ることができるという効果を奏す る。

また、 本発明の編集システムまたは本発明の編集方法によれば、 送信側では、 ソースビデオデ一タに対して設定された編集点に基づいて編集リストを生成し、 複数のレイヤのうちのピクチヤレイヤに、 ソースビデオデータの各フレームに付 随しているタイムコードが記述された符号化ストリ一ムを生成し、 この符号化ス トリ一ムを伝送し、 受信側では、 伝送された符号化ストリームを復号化すると共 に、 符号化ストリームのシンタックスを解析することによって符号化ストリーム のピクチャレイヤからタイムコ一ドを抽出し、 このタイムコ一ドと編集リストと に基づいて、 復号化ソースビデオデータを編集するようにしたので、 ソースビデ ォデータの各フレームに付随しているタイムコ一ドを使用して、 送信側における 編集処理と全く同じ編集処理を受信側において実現することができるという効果 を奏する。

また、 本発明の他の編集システムまたは本発明の他の編集方法によれば、 ソ一 スビデオデータに対して設定された編集点に基づいて編集リストを生成し、 符号 化ストリ一ムの複数のレイヤのうちのピクチヤレイヤに、 ソ一スビデオデータの 各フレームに付随しているタイムコ一ドが記述された符号化ストリ一ムを生成し 、 符号化ストリ一ムのシンタックスを解析することによって得られたタイムコ一 ドと編集リストとに基づいて、 符号化ストリームを編集するようにしたので、 ソ —スビデオデータの各フレームに付随しているタイムコ一ドを使用して、 符号化 ストリ一ムの編集を実現することができるという効果を奏する。

また、 本発明のさらに他の編集システムまたは本発明のさらに他の編集方法に よれば、 ベ一スパンドのソースビデオデータを処理することによって設定された 編集点に基づいて編集リストを生成し、 ソースビデオデータを符号化する とに よって生成された複数のレイヤから成る階層構造の符号化ストリ一ムの複数のレ ィャのうちのピクチャレイヤに、 ソースビデオデータの各フレームに付随してい るタイムコードが記述された符号化ストリ一ムを生成し、 符号化ストリ一ムのシ ンタックスを解析することによって得られたタイムコ一ドと編集リストとに基づ いて、 符号化ストリームをストリ一ムレベルで編集するようにしたので、 符号化 ストリ一ムをストリ一ムレベルで編集することができ、 画質の劣化を防止するこ とができるという効果を奏する。

以上の説明に基づき、 本発明の種々の態様や変形例を実施可能であることは明 らかである。 従って、 以下のクレームの均等の範囲において、 上記の詳細な説明 における態様以外の態様で本発明を実施することが可能である。

Claims

請求の範囲

1 . 素材データを符号化することによって得られる符号化ストリ一ムを生成す る符号化ストリ一ム生成装置において、

上記素材データに付随するタイムコードを、 符号化ストリームのデータ構造に おいて復号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録 して、 符号化ストリームを生成する符号化ストリ一ム生成手段

を備えたことを特徴とする符号化ストリーム生成装置。

2 . 上記符号化ストリーム生成手段は、 上記タイムコードを、 ビデオデータ用 の符号化ストリ一ムのデータ構造において、 復号再生の単位としての 1ピクチャ 毎に存在可能で且つ任意のデータを記録可能なユーザデータ領域に記録すること を特徴とする請求の範囲第 1項記載の符号化ストリーム生成装置。

3 . 上記符号化ストリーム生成手段は、 上記タイムコードを、 オーディオデ— タ用の符号化ストリ一ムのデータ構造において、 復号再生の単位としての 1フレ —ム毎に存在可能で且つ任意のデータを記録可能な補助領域に記録することを特 徵とする請求の範囲第 1項記載の符号化ストリーム生成装置。

4 . 上記符号化ストリーム生成手段は、 上記タイムコードと任意の情報とを所 定のフォーマッ トにして上記領域に記録することを特徴とする請求の範囲第 1項 記載の符号化ス トリ—ム生成装置。

5 . 素材データを符号化することによって得られる符号化ストリームを生成す る符号化ストリ一ム生成方法において、

素材データに付随するタイムコ一ドを、 符号化ストリ一ムのデータ構造におい て復号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録して 、 符号化ストリームを生成することを特徴とする符号化ストリーム生成方法。

6 . 上記タイムコードを、 ビデオデータ用の符号化ストリームのデータ構造に おいて、 復号再生の単位としての 1 ピクチャ毎に存在可能で且つ任意のデータを 記録可能なュ一ザデ一タ領域に記録することを特徴とする請求の範囲第 5項記載 の符号化ストリ一ム生成方法。 ― -

7 . 上記タイムコードを、 オーディオデータ用の符号化ストリームのデータ構 造において、 復号再生の単位としての 1フレーム毎に存在可能で且つ任意のデー タを記録可能な補助領域に記録することを特徴とする請求の範囲第 5項記載の符 号化ストリーム生成方法。

8 . 上記タイムコードと任意の情報とを所定のフォーマツ トにして上記領域に 記録することを特徴とする請求の範囲第 5項記載の符号化ストリーム生成方法。

9 . 符号化ストリームを生成する符号化ストリーム生成装置において、 ソースビデオデータを符号化することによって得られる複数のレイヤから成る 階層構造の符号化ス卜リ一ムであって、 上記複数のレイヤのうちのピクチヤレイ ャに、 上記ソースビデオデータの各フレームに付随しているタイムコ一ドが記述 された符号化ストリ一ムを生成する符号化ストリ一ム生成手段

を備えたことを特徴とする符号化ストリ一ム生成装置。

1 0 . 上記符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロブロックレイャ及びプロッ クレイヤから構成されることを特徴とする請求の範囲第 9項記載の符号化ストリ ーム生成装置。

1 1 . 上記シーケンスレイヤには、 sequence— header ( ) 関数によって定義され るデータエレメントと、 sequence_extention()関数によって定義されるデ一タエ レメン卜と、 extention— and— user— data(0)によって定義されるデータエレメント とが記述され、

上記 G O Pレイヤには、 group— of— picture— headerO 関数によって定義される デ一タエレメン卜と、 extention— and— user— data( 1 )によつて定義されるデ一タエ レメントとが記述され、

上記ピクチャレイヤには、 picture— header〇関数によって定義されるデ一タエ レメン卜と、 picture— coding— extentionO関数によって定義されるデータエレメ ントと、 extention— and— user— data(2)によって定義されるデータエレメントが記 述され、

上記タィムコ一ドは、 上記 extent ion— and— user— data( 2)関数によつて示される user— data〇 関数によって示される time— code() 関数によって定義されるデータ エレメントであることを特徴とする請求の範囲第 1 0項記載の符号化ストリ一ム 生成装置。

1 2 . 上記タイムコ一ドは、 上記ピクチャレイヤのユーザデータエリアに記述 されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのュ一ザデ一タエリァに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデ一タエリアに記述されるタイムコードには、 所定ビッ ト毎にマ一力 ビッ トが揷入されていることを特徴とする請求の範囲第 9項記載の符号化ストリ —ム生成装置。

1 3 . 上記ソースビデオデータに対応するソースオーディオデータを符号化す ることによって得られる符号化オーディォストリ一ムであって、 上記符号化ォ一 ディォストリ一ムの補助データエリァに、 上記ソースオーディォデータの各フレ —ムに付随しているタイムコードが記述された符号化オーディォストリ一ムを生 成する符号化ォ一ディォストリ一ム生成手段をさらに備えていることを特徴とす る請求の範囲第 9項記載の符号化ストリ—ム生成装置。

1 . 上記符号化オーディオストリームの補助デ一タエリアには、 上記ソース オーディォデータに対応するタイムコードに加え、 上記ソースビデオデータのフ レームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 1 3項記載の符号化ストリーム生成

1 5 . 上記タイムコ一ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 9項記載の符号化ストリーム生成装置。

1 6 . 符号化ストリームを生成する符号化ストリーム生成方法において、 ソースビデオデータを符号化することによって得られる複数のレイヤから成る 階層構造の符号化ストリ一ムであって、 上記複数のレイヤのうちのピクチヤレイ ャに、 上記ソースビデオデータの各フレームに付随しているタイムコ一ドが記述 された符号化ストリ一ムを生成することを特徴とする符号化ストリーム生 方法

1 7 . 上記符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロブロックレイヤ及びプロッ クレイヤから構成されることを特徴とする請求の範囲第 1 6項記載の符号化スト リ—ム生成方法。

1 8 . 上記シーケンスレイヤには、 sequence— header ( ) 関数によって定義され るデータエレメントと、 sequence— extention( )関数によって定義されるデータェ レメン卜と、 extention— and— user_data(0)によって定義されるデータエレメント とが記述され、

上記 G 0 Pレイヤには、 group— of— picture— headerO 関数によって定義される データエレメントと、 extention— and— user— data(l)によって定義されるデ一タエ レメントとが記述され、

上記ピクチャレイヤには、 picture— header ( )関数によつて定義されるデ一タエ レメントと、 picture— coding— extention〇関数によって定義されるデータエレメ ントと、 extention— and— user— data(2)によって定義されるデータエレメントカ <記 述され、

上記タィムコードは、 上記 extention— and— user_data( ² )関数によつて示される user— dataO 関数によって示される time— codeO 関数によって定義されるデータ エレメ ントであることを特徴とする請求の範囲第 1 7項記載の符号化ストリーム 生成方法。

1 9 . 上記タイムコードは、 上記ピクチャレイヤのユーザデ一タエリアに記述 されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのユーザデ一タエリアに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデ一タエリアに記述されるタイムコードには、 所定ビッ ト毎にマーカ ビッ トが揷入されていることを特徴とする請求の範囲第 1 6項記載の符号化スト リーム生成方法。

2 0 . さらに、 上記ソースビデオデータに対応するソースオーディオデータを 符号化することによって得られる符号化オーディォストリームであって、 上記符 号化オーディォストリ一ムの補助データエリァに、 上記ソースオーディォデータ の各フレームに付随しているタイムコードが記述された符号化オーディォストリ —ムを生成することを特徴とする請求の範囲第 1 6項記載の符号化ストリーム生 成方法。

2 1 . 上記符号化オーディオス トリームの補助デ一タエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 2 0項記載の符号化ストリーム生成 方法。

2 2 . 上記タイムコ一ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 1 6項記載の符号化ストリ—ム生成方法。

2 3 . 符号化ストリ一ムを生成する符号化ストリーム生成装置において、 ソースビデオデータを M P E G規格に基づいて符号化することによって生成さ れる符号化ストリ一ムであって、 上記符号化ストリ一ムのピクチャ レイヤのユー ザデータエリアに、 上記ソースビデオデータに付随しているタイムコ一ドを示す データエレメン卜が記述された符号化ス卜リ一ムを生成する符号化ストリ一ム生 成手段

を備えたことを特徴とする符号化ストリ一ム生成装置。

2 4 . 上記符号化ストリームは、 複数のレイヤから成る階層構造をなし、 上記 符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレイヤ、 上記ピ クチャレイヤ、 スライスレイヤ、 マクロブロックレイヤ及びブロックレイヤから 構成されることを特徴とする請求の範囲第 2 3項記載の符号化ス卜リ一ム生成装

2 5 . 上記シーケンスレイヤには、 sequence— header〇 関数によって定義され るデータエレメントと、 sequence— extention〇関数によって定義されるデ一タエ レメン卜と、 extention— and— user— data(O)によつて定義されるデータエレメント とが記述され、

上記 G 0 Pレイヤには、 group— of— picture— header 0 関数によつて定義さ _れ—る データエレメントと、 extention— and— user— data( 1 )によつて定義されるデ一タエ レメントとが記述され、 上記ピクチャレイヤには、 picture— header〇関数によって定義されるデ一タエ レメントと、 picture_coding— extention〇関数によつて定義されるデータエレメ ントと、 extention— and— user— data(2)によって定義されるデ一タエレメン卜が記 述され、

上記タイムコ一ドは、 上記 extention— and— user— data(2)関数によって示される user一 data〇 関数によって示される time— codeO 関数によって定義されるデータ エレメントであることを特徴とする請求の範囲第 2 4項記載の符号化ストリ一ム

2 6 . 上記タイムコ一ドは、 上記ピクチャレイヤのユーザデ一タエリアに記述 されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのユーザデータエリアに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデ一タエリアに記述されるタイムコードには、 所定ビッ 卜毎にマーカ ビッ トが揷入されていることを特徴とする請求の範囲第 2 3項記載の符号化スト リーム生成装置。

2 7 . 上記ソースビデオデータに対応するソースオーディオデータを符号化す ることによって得られる符号化オーディォストリ一ムであって、 上記符号化ォ一 ディォストリ一ムの補助データエリアに、 上記ソースオーディォデータの各フレ —ムに付随しているタイムコ一ドが記述された符号化オーディォストリ一ムを生 成する符号化ォ一ディォストリ一ム生成手段をさらに備えていることを特徴とす る請求の範囲第 2 3項記載の符号化ストリーム生成装置。

2 8 . 上記符号化オーディオストリームの補助デ一タエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記ォ一ディォビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 2 7項記載の符号化ストリーム生成

2 9 . 上記タイムコ一ドは、 L T C (Longitudinal Time Code I Linear——Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 2 3項記載の符号化ストリ—ム生成装置。

3 0 . 符号化ストリ一ムを生成する符号化ストリ—ム生成方法において、 ソースビデオデータを M P E G規格に基づいて符号化することによって生成さ れる符号化ストリ一ムであって、 上記符号化ストリ一ムのピクチャレイヤのュ一 ザデ一タエリアに、 上記ソースビデオデータに付随しているタイムコ一ドを示す データエレメン卜が記述された符号化ストリームを生成することを特徴とする符 号化ストリーム生成方法。

3 1 . 上記符号化ストリームは、 複数のレイヤから成る階層構造をなし、 上記 符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレイヤ、 上記ピ クチャレイヤ、 スライスレイヤ、 マクロブロックレイヤ及びブロックレイヤから 構成されることを特徴とする請求の範囲第 3 0項記載の符号化ストリ一ム生成方 法。

3 2 . 上記シーケンスレイヤには、 sequence— header〇 関数によって定義され るデータエレメントと、 sequence— extention〇関数によって定義されるデ一タエ レメン卜と、 extention— and— user— data(O)によって定義されるデータエレメント とが記述され、

上記 G O Pレイヤには、 group— of— picture— header 0 関数によって定義される データエレメントと、 extention— and— user— data(l)によって定義されるデ一タエ レメントとが記述され、

上記ピクチャレイヤには、 picture— header〇関数によって定義されるデ一タエ レメン卜と、 picture— coding— extention( )関数によつて定義されるデータエレメ ントと、 extention— and— user— data( 2)によって定義されるデータエレメントカ <記 述され、

上記タイムコ—ドは、 上記 extention— and— user— data(2)関数によって示される user— data〇 関数によって示される time— codeO 関数によって定義されるデータ エレメ ントであることを特徴とする請求の範囲第 3 1項記載の符号化ストリーム 生成方法。

3 3 . 上記タイムコードは、 上記ピクチャレイヤのユーザデータエリアに記述 されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのユーザデ一タエリアに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデータエリアに記述されるタイムコードには、 所定ビッ ト毎にマ一力 ビッ トが揷入されていることを特徴とする請求の範囲第 3 0項記載の符号化スト リ—ム生成方法。

3 4 . さらに、 上記ソースビデオデータに対応するソースオーディオデータを 符号化することによって得られる符号化オーディオストリームであって、 上記符 号化オーディオストリ一ムの補助データエリァに、 上記ソースオーディォデータ の各フレームに付随しているタイムコ一ドが記述された符号化オーディォストリ —ムを生成することを特徴とする請求の範囲第 3 0項記載の符号化ス卜リーム生 成方法。

3 5 . 上記符号化オーディオス トリームの補助データエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記ォ一ディォビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 3 4項記載の符号化ストリ一ム生成 方法。

3 6 . 上記タイムコ一ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 3 0項記載の符号化ストリーム生成方法。

3 7 . ソースビデオデータを伝送するデータ伝送システムにおいて、 上記ソースビデオデータと上記ソースビデオデータに付随しているタイムコー ドとが関連付けられて記憶された記録媒体を備え、 上記記録媒体から上記ソース ビデオデータと上記ソースビデオデータに関連する上記タイムコ一ドを出力する データ供給手段と、

ソースビデオデータを符号化することによって生成される複数のレイヤから成 る階層構造の符号化ストリ一ムであって、 上記複数のレイヤのうちのピクチヤレ ィャに、 上記ソースビデオデータの各フレームに付随しているタイムコ一ドが記 述された符号化ストリ一ムを生成する符号化手段と、 ―― 上記符号化ストリ—ムを伝送する伝送手段と、

上記伝送手段を介して伝送された符号化ストリームを復号化すると共に、 上記 符号化ス トリ一ムのシンタックスを解析することによつて上記符号化ストリ一ム のピクチャレイヤから上記タイムコ一ドを抽出する復号化手段と、

上記復号化手段によって復号化された復号化データと上記復号化手段によって 抽出されたタイムコード情報とを関連付けて記録媒体に記録することによって、 上記デ—タ供給手段の記録媒体と同じデータが記録された記録媒体を得るデータ 記録手段と

を備えたことを特徴とするデータ伝送システム。

3 8 . 上記符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロブロックレイヤ及びプロッ クレイヤから構成されることを特徴とする請求の範囲第 3 7項記載のデータ伝送 システム。

3 9 . 上記シーケンスレイヤには、 sequence headerO 関数によって定義され るデータエレメントと、 sequence— extention( )関数によつて定義されるデ一タエ レメ ン卜と、 extention— and— user— data(O)によって定義されるデータエレメ ント とが記述され、

上記 G O Pレイヤには、 group— of— picture— header 0 関数によって定義される データエレメントと、 extention— and— user— data(l)によって定義されるデータェ レメントとが記述され、

上記ピクチャレイヤには、 picture— header〇関数によって定義されるデ一タエ レメン卜と、 picture— coding_extention〇関数によって定義されるデータエレメ ントと、 extention— and— user— data(2)によつて定義されるデ一タエレメントが記 述され、

上記タィムコードは、 上記 extention— and_user—data(2)関数によつて示される user dataO 関数によって示される time_code() 関数によって定義されるデータ エレメントであることを特徴とする請求の範囲第 3 8項記載のデータ伝送システ ム。

4 0 . 上記タイムコ一ドは、 上記ピクチャレイヤのユーザデータエリァに されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのユーザデ一タエリアに記述されたタイムコ一ドを、 上記符号化ストリーム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデ一タエリアに記述されるタイムコードには、 所定ビッ ト毎にマ一力 ビッ トが揷入されていることを特徴とする請求の範囲第 3 7項記載のデータ伝送 システム。

4 1 . 上記ソースビデオデータに対応するソースオーディオデータを符号化す ることによって得られる符号化オーディォストリ一ムであって、 上記符号化ォー ディォストリ一ムの補助デ一タエリアに、 上記ソースオーディォデータの各フレ —ムに付随しているタイムコ一ドが記述された符号化オーディォストリームを生 成する符号化オーディオストリーム生成手段をさらに備えていることを特徴とす る請求の範囲第 3 7項記載のデータ伝送システム。

4 2 . 上記符号化オーディオストリームの補助データエリアには、 上記ソース オーディォデ一夕に対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 4 1項記載のデータ伝送システム。

4 3 . 上記タイムコ一ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 3 7項記載のデータ伝送システム。

4 4 . ソースビデオデータを伝送するデータ伝送方法において、

上記ソースビデオデ一夕と上記ソースビデオデータに付随しているタイムコ一 ドとが関連付けられて記憶された記録媒体から、 上記ソースビデオデータと上記 ソースビデォデータに関連する上記タイムコードを出力するデータ供給手順と、 ソースビデオデータを符号化することによって生成される複数のレイヤから成 る階層構造の符号化ストリ一ムであって、 上記複数のレイヤのうちのピクチヤレ ィャに、 上記ソースビデオデータの各フレームに付随しているタイムコードが記 述された符号化ストリ一ムを生成する符号化手順と、 ―― 上記符号化ストリ一ムを伝送する伝送手順と、

上記伝送手順によって伝送された符号化ストリ—ムを復号化すると共に、 上記 符号化ストリ一ムのシンタックスを解析することによって上記符号化ストリ一ム のピクチャレイヤから上記タイムコードを抽出する復号化手順と、

上記復号化手順によって復号化された復号化データと上記複号化手順によって 抽出されたタイムコ一ド情報とを関連付けて記録媒体に記録することによって、 上記デ一タ供給手順によって出力するデータが記録された記録媒体と同じデータ が記録された記録媒体を得るデ一タ記録手順と

を含むことを特徴とするデータ伝送方法。

4 5 . 上記符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロブロックレイヤ及びブロッ クレイヤから構成されることを特徴とする請求の範囲第 4 4項記載のデータ伝送 方法。

4 6 . 上記シーケンスレイヤには、 sequence— header () 関数によって定義され るデータエレメントと、 sequence— extentionO関数によって定義されるデ一タエ レメントと、 extention— and— user_data(0)によって定義されるデータエレメント とが記述され、

上記 G O Pレイヤには、 group— of— picture— header 0 関数によって定義される デ一タエレメン卜と、 extention— and— user— data( l)によって定義されるデ一タエ レメントとが記述され、

上記ピクチャレイヤには、 picture—headerO関数によって定義されるデ一タエ レメン卜と、 picture— coding— extention〇関数によって定義されるデ一タエレメ ントと、 extention— and— user_data(2)によつて定義されるデータエレメントが記 述され、

上記タイムコ一ドは、 上記 extention— and— user— data(2)関数によって示される user— dataO 関数によって示される time— code( ) 関数によって定義されるデータ エレメントであることを特徴とする請求の範囲第 4 5項記載のデータ伝送方法。

4 7 . 上記タイムコードは、 上記ピクチャレイヤのユーザデータエリアに されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのユーザデータエリァに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデータエリアに記述されるタイムコードには、 所定ビッ ト毎にマ一力 ビッ トが揷入されていることを特徴とする請求の範囲第 4 4項記載のデータ伝送 方法。

4 8 . さらに、 上記ソースビデオデータに対応するソースオーディオデータを 符号化することによって得られる符号化オーディォストリ一ムであって、 上記符 号化オーディオストリームの補助デ一タエリアに、 上記ソースオーディォデ一タ の各フレームに付随しているタイムコ一ドが記述された符号化オーディォス卜リ -ムを生成することを特徴とする請求の範囲第 4 4項記載のデータ伝送方法。

4 9 . 上記符号化オーディオストリームの補助デ一タエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 4 8項記載のデータ伝送方法。

5 0 . 上記タイムコ一ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 4 4項記載のデータ伝送方法。

5 1 . ソースビデオデータを編集する編集システムにおいて、

上記ソースビデオデータに対して設定された編集点に基づいて、 編集リストを 生成する手段と、

ソースビデオデータを符号化することによって生成される複数のレイヤから成 る階層構造の符号化ストリ一ムであって、 上記複数のレイヤのうちのピクチヤレ ィャに、 上記ソースビデオデータの各フレームに付随しているタイムコ一ドが記 述された符号化ストリームを生成する符号化手段と、

上記符号化ストリ一ムを伝送する伝送手段と、

上記伝送手段を介して伝送された符号化ストリームを復号化すると共に、 上記 符号化ストリ一ムのシンタックスを解析することによって上記符号化ストリーム のピクチャレイヤから上記タイムコードを抽出する複号化手段と、 ―― 上記符号化ストリームのシンタックスを解析することによって得られたタイム コ—ドと上記編集リストとに基づいて、 上記復号化手段によって復号化された復 号化ソースビデオデータを編集する編集手段と

を備えたことを特徴とする編集システム。

5 2 . 上記符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロブロックレイヤ及びプロッ クレイヤから構成されることを特徴とする請求の範囲第 5 1項記載の編集システ ム。

5 3 . 上記シーケンスレイヤには、 sequence— headerO 関数によって定義され るァ一タエレメントと、 sequence extention()関数によつて定 feされるァータエ レメン卜と、 extention— and— user— data(O)によって定義されるデ一タエレメン卜 とが記述され、

上記 G O Pレイヤには、 group— of— picture— header () 関数によって定義される データエレメントと、 extention— and— user— data(l)によって定義されるデ一タエ レメントとが記述され、

上記ピクチャレイヤには、 picture— header〇関数によって定義されるデ一タエ レメン卜と、 picture— coding— extentionO関数によって定義されるデ一タエレメ ントと、 extention— and— user— data(2)によって定義されるデ一タエレメントカ記 述され、

上記タィムコードは、 上記 extention— and一 user— data( 2)関数によつて示される user— dataO 関数によって示される time— code() 関数によって定義されるデータ エレメントであることを特徴とする請求の範囲第 5 2項記載の編集システム。

5 4 . 上記タイムコードは、 上記ピクチャレイヤのユーザデ一夕エリアに記述 されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのユーザデータエリァに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデータエリアに記述されるタイムコードには、 所定ビッ ト毎にマーカ ビッ トが揷入されていることを特徴とする請求の範囲第 5 1項記載の編集システ ム。 —――

5 5 . 上記ソースビデオデータに対応するソースオーディオデータを符号化す ることによって得られる符号化オーディォストリ一ムであって、 上記符号化ォ一 ディォストリ一ムの補助デ一タエリアに、 上記ソースオーディォデータの各フレ ームに付随しているタイムコ一ドが記述された符号化ォ一ディォストリ一ムを生 成する符号化オーディォストリ一ム生成手段をさらに備えていることを特徴とす る請求の範囲第 5 1項記載の編集システム。

5 6 . 上記符号化オーディオストリームの補助デ一タエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 5 5項記載の編集システム。

5 7 . 上記タイムコ一ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 5 1項記載の編集システム。

5 8 . ソースビデオデータを編集する編集方法において、

上記ソースビデオデータに対して設定された編集点に基づいて、 編集リストを 生成する手順と、

ソースビデオデータを符号化することによつて生成される複数のレイヤから成 る階層構造の符号化ストリ一ムであって、 上記複数のレイヤのうちのピクチヤレ ィャに、 上記ソースビデオデータの各フレームに付随しているタイムコ一ドが記 述された符号化ストリ一ムを生成する符号化手順と、

上記符号化ストリ一ムを伝送する伝送手順と、

上記伝送手順によって伝送された符号化ストリームを復号化すると共に、 上記 符号化ストリームのシンタックスを解析することによって上記符号化ストリーム のピクチャレイヤから上記タイムコ一ドを抽出する復号化手順と、

上記符号化ストリ一ムのシンタックスを解析することによって得られたタイム コードと上記編集リス卜とに基づいて、 上記復号化手順によって復号化された復 号化ソースビデオデータを編集する編集手順と

を含むことを特徴とする編集方法。

5 9 . 上記符号化ス トリームの複数のレイヤは、 シーケンスレイヤ、 G OJ レ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロブロックレイヤ及びブロッ クレイヤから構成されることを特徴とする請求の範囲第 5 8項記載の編集方法。

6 0 . 上記シーケンスレイヤには、 sequence— header〇 関数によって定義され るデータエレメントと、 sequence— extentionO関数によって定義されるデ一タエ レメントと、 extention and user data(0)によつて定義されるデータエレメント とが記述され、

上記 G O Pレイヤには、 group— of picture— header ( ) 関数によって定義される データエレメントと、 extention— and_user_data(l)によって定義されるデ一タエ レメントとが記述され、

上記ピクチャレイヤには、 picture— header ( )関数によつて定義されるデ一タエ レメン卜と、 picture— coding— extention()関数によって定義されるデ一タエレメ ントと、 extention— and_user—data( 2)によつて定義されるデータエレメントが記 述され、

上記タイムコ一ドは、 上記 extention— and— user— data(2)関数によって示される user dataO 関数によって示される time— code〇 関数によって定義されるデータ エレメントであることを特徴とする請求の範囲第 5 9項記載の編集方法。

6 1 . 上記タイムコ一ドは、 上記ピクチャレイヤのユーザデ一タエリアに記述 されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのユーザデータエリァに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデ一タエリアに記述されるタイムコードには、 所定ビッ 卜毎にマーカ ビッ トが揷入されていることを特徴とする請求の範囲第 5 8項記載の編集方法。

6 2 . さらに、 上記ソースビデオデータに対応するソースオーディオデータを 符号化することによって得られる符号化オーディォストリ一ムであって、 上記符 号化オーディォストリ一ムの捕助デ一タエリアに、 上記ソースオーディォデータ の各フレームに付随しているタイムコ一ドが記述された符号化オーディォストリ —ムを生成することを特徴とする請求の範囲第 5 8項記載の編集方法。 ―—

6 3 . 上記符号化オーディオス トリームの補助デ一タエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記オーディォビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 6 2項記載の編集方法。

6 4 . 上記タイムコ一ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 5 8項記載の編集方法。

6 5 . ソースビデオデータを符号化することによって得られた符号化ストリ一 ムを編集する編集システムにおいて、

上記ソースビデオデータに対して設定された編集点に基づいて、 編集リストを 生成する手段と、

上記ソースビデオデータを符号化することによって生成される複数のレイヤか ら成る階層構造の符号化ストリ一ムであって、 上記複数のレイヤのうちのピクチ ャレイヤに、 上記ソースビデオデータの各フレームに付随しているタイムコ一ド が記述された符号化ストリ一ムを生成する符号化手段と、

上記符号化ストリ一ムのシンタックスを解析することによって得られたタイム コードと上記編集リストとに基づいて、 上記符号化ストリームを編集するストリ ーム編集手段と

を備えたことを特徴とする編集システム。

6 6 . 上記符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロプロックレイヤ及びプロッ クレイヤから構成されることを特徴とする請求の範囲第 6 5項記載の編集システ ム。

6 7 . 上記シーケンスレイヤには、 sequence— header〇 関数によって定義され るデータエレメン卜と、 sequence— extention〇関数によって定義されるデ一タエ レメン卜と、 extention— and— user— data(O)によって定義されるデータエレメント とが記述され、

上記 G O Pレイヤには、 group— of— picture— headerO 関数によって定義される デ一タエレメントと、 extention— and— user— data(l)によって定義されるデ 夂ェ レメントとが記述され、

上記ピクチャレイヤには、 picture headerO関数によって定義されるデ一タエ レメン卜と、 picture— coding— extentionO関数によつて定義されるデータエレメ ントと、 extention— and一 user— data(2)によつて定義されるデータエレメントが記 述され、

上記タイムコ一ドは、 上記 extention— and— user一 data(2)関数によって示される user— data〇 関数によって示される time— code() 関数によって定義されるデータ エレメントであることを特徴とする請求の範囲第 6 6項記載の編集システム。

6 8 . 上記タイムコ一ドは、 上記ピクチャレイヤのユーザデータエリァに記述 されるデータであって、 上記符号化ス ト リームを解析する際に、 上記ピクチャレ ィャのユーザデータエリァに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデータエリアに記述されるタイムコードには、 所定ビッ ト毎にマ一力 ビッ トが揷入されていることを特徴とする請求の範囲第 6 5項記載の編集システ ム。

6 9 . 上記ソースビデオデータに対応するソースオーディオデータを符号化す ることによって得られる符号化オーディォストリ一ムであって、 上記符号化ォ一 ディォストリ一ムの補助デ一タエリアに、 上記ソースオーディォデータの各フレ —ムに付随しているタイムコ一ドが記述された符号化オーディォストリ一ムを生 成する符号化オーディォストリ一ム生成手段をさらに備えていることを特徴とす る請求の範囲第 6 5項記載の編集システム。

7 0 . 上記符号化オーディオス ト リームの補助デ一タエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 6 9項記載の編集システム。

7 1 . 上記タイムコ—ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 6 5項記載の編集システム。

7 2 . ソースビデオデータを符号化することによって得られた符号化ス] 'J— ムを編集する編集方法において、

上記ソースビデオデータに対して設定された編集点に基づいて、 編集リストを 生成する手順と、

上記ソースビデォデータを符号化することによつて生成される複数のレイヤか ら成る階層構造の符号化ストリ一ムであって、 上記複数のレイヤのうちのピクチ ャレイヤに、 上記ソースビデオデータの各フレームに付随しているタイムコ一ド が記述された符号化ス卜リ一ムを生成する符号化手順と、

上記符号化ストリ一ムのシンタックスを解析することによって得られたタイム コードと上記編集リス卜とに基づいて、 上記符号化ストリームを編集するス卜リ ーム編集手順と

を含むことを特徴とする編集方法。

7 3 . 上記符号化ス トリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロプロックレイヤ及びプロッ クレイヤから構成されることを特徴とする請求の範囲第 7 2項記載の編集方法。

7 4 . 上記シーケンスレイヤには、 sequence— header〇 関数によって定義され るデータエレメントと、 sequence— extentionO関数によって定義されるデ一タエ レメン卜と、 extention— and— user— data(O)によつて定義されるデ一タエレメント とが記述され、

上記 G O Pレイヤには、 group— of— picture— headerO 関数によって定義される デ一タエレメン卜と、 extention— and— user— data(l)によって定義されるデ一タエ レメントとが記述され、

上記ピクチャレイヤには、 picture— header ()関数によって定義されるデ一タエ レメン卜と、 picture— coding— extention( )関数によつて定義されるデ一タエレメ ントと、 extention— and— user— data(2)によって定義されるデータエレメン卜が記 述され、

上記タィムコードは、 上記 extention_and— user— data(2)関数によつて示される user一 data〇 関数によって示される time一 code〇 関数によって定義されるデータ エレメントであることを特徴とする請求の範囲第 7 3項記載の編集方法。 ――

7 5 . 上記タイムコ一ドは、 上記ピクチャレイヤのユーザデータエリアに記述 されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのユーザデ一タエリアに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデ一タエリアに記述されるタイムコードには、 所定ビッ ト毎にマーカ ビッ トが揷入されていることを特徴とする請求の範囲第 7 2項記載の編集方法。

7 6 . さらに、 上記ソースビデオデータに対応するソースオーディオデータを 符号化することによって得られる符号化オーディオストリームであって、 上記符 号化オーディォストリ一ムの補助デ一タエリアに、 上記ソースオーディォデ一夕 の各フレームに付随しているタイムコードが記述された符号化オーディォストリ —ムを生成することを特徴とする請求の範囲第 7 2項記載の編集方法。

7 7 . 上記符号化オーディオストリームの補助データエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 7 6項記載の編集方法。

7 8 . 上記タイムコ—ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 7 2項記載の編集方法。

7 9 . 符号化ストリ一ムを編集する編集システムにおいて、

ベ一スパンドのソースビデオデータを処理することによって設定された編集点 に基づいて、 編集リストを生成するベースバンドシステムと、

上記ソースビデオデータを符号化することによって生成される複数のレイヤか ら成る階層構造の符号化ストリ一ムであって、 上記複数のレイヤのうちのピクチ ャレイヤに、 上記ソースビデオデータの各フレームに付随しているタイムコ一ド が記述された符号化ストリームを生成し、 上記符号化ストリ一ムのシンタックス を解析することによって得られたタイムコ一ドと上記べ一スバンドシステムにお いて生成された編集リス卜とに基づいて、 上記符号化ストリームをストリ一ムレ ベルで編集する符号化システムと - - を備えたことを特徴とする編集システム。

8 0 . 上記符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロプロックレイヤ及びプロッ クレイヤから構成されることを特徴とする請求の範囲第 7 9項記載の編集システ ム。

8 1 . 上記シーケンスレイヤには、 sequence一 header 0 関数によって定義され るデータエレメントと、 sequence— extentionO関数によって定義されるデータェ レメ ン卜と、 extention— and— user— data(O)によって定義されるデ一タエレメント とが記述され、

上記 G O Pレイヤには、 group— of— picture— headerO 関数によって定義される デ一タエレメントと、 extention— and— user— data(l)によって定義されるデ一タエ レメントとが記述され、

上記ピクチャレイヤには、 picture— header 0関数によつて定義されるデ一タエ レメントと、 picture— coding extentionO関数によって定義されるデ一夕エレメ ントと、 extention and user data(2)によって定義されるデ一タエレメン卜力記 述され、

上記タイムコ一ドは、 上記 extention— and— user— data(2)関数によって示される user— dataO 関数によって示される time— code( ) 関数によって定義されるデータ エレメ ントであることを特徴とする請求の範囲第 8 0項記載の編集システム。

8 2 . 上記タイムコ一ドは、 上記ピクチャレイヤのユーザデータエリアに記述 されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのユーザデータエリアに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデ一タエリアに記述されるタイムコードには、 所定ビッ ト毎にマ一力 ビッ 卜が挿入されていることを特徴とする請求の範囲第 7 9項記載の編集システ ム。

8 3 . 上記ソースビデオデータに対応するソースオーディオデータを符号化す ることによって得られる符号化オーディォストリ一ムであって、 上記符号化ォ一 ディォストリ一ムの補助データエリアに、 上記ソースオーディォデータの各: Zレ —ムに付随しているタイムコ一ドが記述された符号化オーディォストリ一ムを生 成する符号化オーディォストリーム生成手段をさらに備えていることを特徴とす る請求の範囲第 7 9項記載の編集システム。

8 4 . 上記符号化オーディオストリームの補助デ一タエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 8 3項記載の編集システム。

8 5 . 上記タイムコ一ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 7 9項記載の編集システム。

8 6 . 符号化ストリームを編集する編集方法において、

ベースバンドのソースビデオデータを処理することによって設定された編集点 に基づいて、 編集リス トを生成する手順と、

上記ソースビデオデータを符号化することによつて生成される複数のレイヤか ら成る階層構造の符号化ス トリームであって、 上記複数のレイヤのうちのピクチ ャレイヤに、 上記ソースビデオデータの各フレームに付随しているタイムコ一ド が記述された符号化ストリ一ムを生成し、 上記符号化ス トリームのシンタックス を解析することによって得られたタイムコードと上記編集リストを生成する手順 によって生成された編集リス卜とに基づいて、 上記符号化ストリ一ムをストリ一 ムレベルで編集する符号化手順と

を含むことを特徴とする編集方法。

8 7 . 上記符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロブロックレイャ及びブ口ッ クレイヤから構成されることを特徴とする請求の範囲第 8 6項記載の編集方法。

8 8 . 上記シーケンスレイヤには、 sequence— header〇 関数によって定義され るデータエレメントと、 sequence— extention〇関数によって定義されるデ一タエ レメン卜と、 extention and user data(O)によつて定義されるデ一タエレメント とが記述され、 一 _ 上記 G O Pレイヤには、 group— of— picture— headerO 関数によって定義される デ一タエレメントと、 extention and user data(l)によって定義されるデ一タエ レメントとが記述され、

上記ピクチャレイヤには、 picture— header (；)関数によつて定義されるデ一タエ レメン卜と、 picture一 coding— extention( )関数によつて定義されるデータエレメ ントと、 extention— and— user— data(2)によって定義されるデ一タエレメン卜が記 述され、

上記タィムコードは、 上記 extention一 and一 user一 data(2)関数によつて示される user— dataO 関数によって示される time— codeO 関数によって定義されるデータ エレメントであることを特徴とする請求の範囲第 8 7項記載の編集方法。

8 9 . 上記タイムコ一ドは、 上記ピクチャレイヤのユーザデータエリアに記述 されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのュ一ザデータエリァに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデータエリアに記述されるタイムコードには、 所定ビッ ト毎にマ一力 ビッ 卜が挿入されていることを特徴とする請求の範囲第 8 6項記載の編集方法。

9 0 . さらに、 上記ソースビデオデータに対応するソースオーディオデータを 符号化することによって得られる符号化オーディォストリ一ムであって、 上記符 号化ォ一ディォストリ一ムの補助データエリアに、 上記ソースオーディォデータ の各フレームに付随しているタイムコ一ドが記述された符号化オーディォストリ —ムを生成することを特徴とする請求の範囲第 8 6項記載の編集方法。

9 1 . 上記符号化オーディオストリームの補助デ一タエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 9 0項記載の編集方法。

9 2 . 上記タイムコ—ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 8 6項記載の編集方法。 ――