WO1998043423A1

WO1998043423A1 - Procede et dispositif generant un flux d'acheminement et dispositif de transmission de programme

Info

Publication number: WO1998043423A1
Application number: PCT/JP1998/001336
Authority: WO
Inventors: Satoshi Miyazawa
Original assignee: Sony Corporation
Priority date: 1997-03-25
Filing date: 1998-03-25
Publication date: 1998-10-01
Also published as: US6542518B1

Description

明細書

トランスポートストリーム生成装置おょぴその方法、並びにプログラム伝送装置

技術分野

本発明は、ビデオデータおよびオーディオデータを多重化し、 M P E Gのトランスポートストリームを生成するトランスポート生成装置およびその方法、並びに複数のプログラムを伝送するプログラム伝送装置に関する。

背景技術

近年、 M P E G 2による圧縮画像信号の伝送を採用したデジタル衛星放送システムやケーブル放送システムが提案され、全世界においてそれらのシステムが導入されつつある。これらの放送業界の中で、 1 9 9 3年頃にョ一口ツバにおいて提案された次世代の放送方式の開発および標準化を目的とした組織 D V B (Digital Video Broadcasting) が提案した D V B規格は、 M P E G 2をベースとしたデジタル放送において現時点のデファクトスタンダートとなっている。

この D V B規格における伝送方法は、まず、伝送すべきプログラムに含まれるビデオデータおよびオーディオデータを符号化し、符号化されたビデオストリームおよび符号化されたオーディオストリームを生成する。次に、この符号化されビデオストリームおよびオーディオストリームを伝送するために、トランスポートストリームという形態に変換する。この 1つのトランスポートストリームとは、符号化ビデォストリームと符号化ォ一ディォストリームを多重化したデータから構成されるストリームのことである。

このような符号化ビデオストリ一ムと符号化オーディオストリームが多重化されたトランスポートストリームを生成するために、符号化機能おょぴ多重化機能を有した多重化装置が開発されている。この従来の多重化装置は、ビデオストリ一ムのフレーム周期とオーディオストリームのフレーム同期に共に関係のない非同期の多重化周期を使用して、ビデオストリームとオーディオストリームとを多重化している例えば、第 1 3図のように、従来の多重化装置は、 3 3 m s e cを 1ビデオフレーム周期とするビデオストリームと、 2 4 m s e cを 1 オーディオフレーム周期とするオーディオストリームとを多重化処理する際に、この例えば、ビデオフレーム周期を使用して、ビデオストリームとオーディオストリームを多重化する多重化処理を行なっていた。

第 1 3図を参照して、この従来の多重化処理について説明する。第 1 3図に示されるように、多重化装置の多重化処理方法は、第 1のビデォフレーム周期においては、第 1のビデオフレーム期間中に符号化された符号化ビデオストリーム V 1 と、第 1のビデオフレーム期間中に符号化された符号化オーディオストリーム A 1および A 2を多重化し、第 2のビデオフレーム周期においては、第 2のビデオフレーム期間中に符号化された符号化ビデオストリーム V 2と、第 1のビデオフレーム期間中に符号化された符号化オーディオストリーム A 1および A 2を多重化し、以下同じようにこのような多重化処理を各ビデオフレーム周期毎に、繰り返していく。その結果、第 1 3図から理解できるように、第 1のビデオフレーム周期に生成された第 1のトランスポ一トストリームのデータ量は比較的大きく、第 2のビデオビデオフレーム周期に生成された第 2のトランス T 2のデータ量は比較的小さいくなる。つまり、従来の多重化処理によって生成された 1 ビデオフレーム期間中に生成されたトランスポートストリームのデータ量は、各ビデオフレーム期間毎に異なっている。

このような多重化処理方法を採用している従来の多重化装置は、ビデォストリームおよびオーディオストリームを受信するための受信装置に設けられた復号器用の S T D (System Target Decoder) バッファが破綻しないようなトランスポートストリームを生成するためには、各々のビデオフレーム期間において多重化のシュミレーションと必要とする。この S T Dバッファは、トランスポートストリームの復号処理およびトランスポートストリームのセマンティクスを記述するために使用される仮想的バッファである。

以下に従来のトランスポートストリームの生成処理について、第 1 4図のフローチヤ一トを参照して説明する。

ステップ S 1 0 0において、第 1のビデオフレーム期間に、ビデオ符号器から出力された符号化ビデオストリーム V 1およびオーディオ符号器から出力された符号化オーディオストリーム A 1および A 2を受け取る。

ステップ S 1 0 1において、第 1のビデオフレーム期間において、実際に符号化ビデオストリーム V 1およびオーディオストリーム A 1 および A 2を多重化して第 1 のトランスポートストリーム T 1 を生成する前に、まず、ビデオストリーム V 1 とオーディオストリーム A 1 および A 2を多重化するための 1つの多重化スケジュールを計画するステップ S 1 0 2において、ステップ S 1 0 1において決定した多重化スケジュールに基いてトランスポートストリーム生成し、そのトランスポートストリ一ムを復号化装置に伝送した場合に、復号器側のビデオ S T Dバッファおよびオーディオ S T Dバッファが破綻しないか否かをシュミレーションする。ステップ S I 03では、このシュミレーシヨンの結果、復号器側のビデオ S T Dバッファおょぴオーディォ S TDバッファが破綻しないか否かを判断する。復号器側のビデオ S TDバッファおよびオーディォ S TDバッファが共に破綻しないと判断されると、次のステップ S 1 04に進む。

ステップ S 1 04では、ステップ S 1 0 1において計画した多重化スケジュールに従って実際に、符号化ビデオストリーム V 1 とオーディォストリーム A 1および A 2を多重化する。

ステップ S 1 0 5では、多重化されたストリームから第 1のトランスポートストリーム T 1を生成する。

一方、ステップ S 1 0 3のシュミレーションの結果、復号器側のビデォ S T Dバッファおよびオーディォ S TDバッファが破綻すると判断されると、ステップ S 1 0 1に戻り、ステップ S 1 0 1において、先に計画した多重化スケジュールとは異なる別の多重化スケージユールを計画する。つまり、テツプ S 1 0 3結果が、「YE S」と判断されるまで、このステップ S 1 0 1、 S 1 02および S 1 0 3の処理を繰り返す。

ステップ S 1 06では、第 2のビデオフレーム周期におけるトランスポートストリーム T 2を生成するために、 nをインクリメントしてステップ S 1 00に戻る。

この第 1 4図によって示された従来のトランスポート生成処理のフローから理解できるように、新たな多重化スケジユーリングを計画し、そのスケジューリングに対応したシユミレーシヨンを行うという処理が、ビデオフレーム期間毎に必要であった。なぜなら、第 1 3図において説明したように、 1つのビデオフレーム期間中に多重化される符号化ビデオデータのデ一タ量および多重化される符号化オーディオストリームのデータ量は、個々のビデオフレーム期間の間で全く異なるからである。

さらに、このシュミレーシヨン処理は、ビデオ S T Dバッファおよびオーディオ S T Dバッファが破綻するか否かを仮想的的に判断しなければいけないので、このシュミレーシヨンのアルゴリズムが非常に複雑になり、このシュミレーションを行なうために多大の処理時間を要していた。

以上のように、従来の装置では、トランスポートストリーム処理に多大の演算時間が必要とされていたので、供給されたプログラムをリアルタイムで多重化伝送できないと問題があった。特に、近年提案されているようなデジタル衛星放送やデジタル地上波放送などにおいては、スポーツ等のライブプログラムをリアルタイムで伝送することが要求されている。しかし、このような従来の装置におけるトランスポ一ト生成アルゴリズムでは、このようなライブプログラムをリアルタィム伝送することが特に困難であった。

発明の開示

本発明は、このような従来の問題に鑑みてなされた発明であって、復号装置側の S T Dバッファが破綻しないようなトランスポートストリームを、リアルタイムで遅延なく生成することを目的とした発明である。

本発明のトランスポートストリーム生成装置は、 1 ビデオフレーム期間に多重化される符号化ビデオストリームのデータ量および所定期間に多重化される符号化オーディオストリームのデータ量のそれぞれ力どのビデオフレーム期間でも略一定となるようにしている。また、 1 ビデオフレーム期間に生成されたトランスポートストリームのデ —タ量が、どのビデオフレーム期間でも略一定となるようにされている。

よって、このトランスポートストリーム生成装置から出力されるトランスポートストリームは、どのフレーム期間においても一定のデ一タ量となるので、本発明のトランスポートストリーム生成装置は、復号器 S T Dバッファが破綻するか否かを判断するためのシュミレーシヨンを各フレーム毎に行なう必要がない。その結果、本発明のトランスポートストリーム生成装置は、従来のシュミレーションを必要とする装置に比較して高速にトランスポートストリームを生成することができ、また、さらにリアルタイムでトランスポートストリームを生成することができる。

また、本発明のトランスポートストリーム生成装置は、目標ビデオ符号化レートおよび目標オーディオ符号化レートに基いて、符号化されたビデオストリームおよび符号化されたオーディオストリームを多重化するためのスケージユールデータを生成するようにしている。また、このスケジュールデータは、この作成されたスケジュールデータに従って、符号化ビデオストリームおよび符号化オーディオストリームを多重化し、トランスポートストリームとして復号装置に伝送した場合、復号装置の S D Tバッファが破綻しないように、多重化処理をおこなうためのデータとなっている。よって、本発明のトランスポートストリーム生成装置は、このようなスケジュールデータを生成し、全てのビデオフレーム期間において、このスケジュールデータに従つた多重化処理を行なうことによって、容易に、復号装置の S D Tバッファが破綻することを防止している。つまり、本発明のトランスポートストリーム生成装置は、従来の装置のように、各ビデオフレーム毎に新たなスケジュールを計画し、さらに各ビデオフレーム毎にその計画したスケジュールに応じてシュミレーシヨンをするといった複雑な処理を行なう必要が一切ない。

また、本発明のトランスポートストリーム生成装置は、 1 ビデオフレーム期間に多重化される符号化ビデオストリームのデータ量および所定期間に多重化される符号化オーディオストリームのデータ量のそれぞれが、どのビデオフレーム期間でも略一定となり、また、 1 ビデオフレーム期間に生成されたトランスポートストリームのデータ量が、どのビデオフレーム期間でも略一定となるように、このスケジユールデータを生成している。つまり、本発明のトランスポートストリーム生成装置は、このスケジュールデータに従って多重化処理を行なうだけで、リアルタイムで、復号器 S T Dバッファが破綻しないような多重化処理を行なうことができる。

この発明による請求項 1の発明は、ソースビデオデータおよぴソースオーディオデータを伝送するためのトランスポートストリームを生成するためのトランスポートストリーム生成装置において、

指定されたビデオ符号化レート基いて、ソースビデオデータを符号化して符号化ビデオトリームを生成すると共に、指定されたオーディォ符号化レートに基いてソースオーディオデータを符号化して符号化オーディオストリームを生成する符号化手段と、

所定期間毎に、符号化ビデオストリームと符号化オーディオストリームを多重化する多重化手段と、

ビデオストリームおよびオーディオストリームが多重化された多重化ストリームからトランスポートストリームを生成するトランスポートストリーム生成手段と、

所定期間に多重化される符号化ビデオストリームのデータ量および所定期間に多重化される符号化オーディオストリームのデータ量のそれぞれが、どの所定期間でも略一定となるように符号化手段、多重化手段およびトランスポートストリーム生成手段を制御する制御手段とを備えたトランスポートストリーム生成装置である。

請求項 1 1 の発明は、ソースビデオデータおょぴソースオーディオデータを伝送するためのトランスポートストリームを生成するためのトランスポートストリーム生成装置において、

指定されたビデオ符号化レート基いて、ソースビデオデータを符号化して符号化ビデオトリームを生成すると共に、指定されたオーディォ符号化レートに基いてソースオーディォデータを符号化して符号化オーディオストリームを生成する符号化手段と、

所定期間毎に、符号化ビデオストリームと符号化オーディオストリ一ムを多重化する多重化手段と、

ビデオストリームおよびオーディォストリームが多重化された多重化ストリームからトランスポートストリームを生成するトランスポートストリーム生成手段と

所定期間にトランスポートストリームとして多重化される符号化ビデォストリームのデータレートおよび所定期間に多重化される符号化ォ一ディォストリームのデータレートが、どの所定期間でも略一定レートとなるように符号化手段、多重化手段およびトランスポートストリーム生成手段を制御する制御手段とを備えたことを特徴とするトランスポートストリーム生成装置である。

請求項 2 1の発明は、ソースビデオデータおよびソースオーディオデータを伝送するためのトランスポートストリームを生成するためのトランスポートストリーム生成装置において、

指定されたビデオ符号化レート基いて、ソースビデオデータを符号化して符号化ビデオトリームを生成すると共に、指定されたオーディォ符号化レートに基いてソースオーディオデータを符号化して符号化オーディオストリ一ムを生成する符号化手段と、

トランスポートストリームのデータレートがどの所定期間においても一定となるように、符号化手段、多重化手段およびトランスポートストリーム生成手段を制御する制御手段とを備えたことを特徴とするトランスポートストリーム生成装置である。

請求項 2 2の発明は、ソースビデオデータおよびソースオーディオデータを伝送するためのトランスポ一トストリームを生成するためのトランスポートストリーム生成装置において、

指定されたビデオ符号化レート基いてソースビデオデータを符号化しすると共に、指定されたオーディオ符号化レートに基いてソースォ一ディォデータを符号化する符号化手段と、

所定期間毎に符号化ビデオストリームと符号化オーディオストリームとを多重化することによって、トランスポートストリームを生成するトランスポートストリーム生成手段と、

指定されたビデオ符号化レートおよび指定されたオーディオ符号化レ一トに基いて、符号化されたビデオストリームおよび符号化されたオーディオストリームを多重化するためのスケージユールを生成する手段を備え、どの所定期間においても、この多重化スケジュールに従つた多重化処理を行なうようにトランスポートストリーム生成手段を制御する制御手段と

を備えたことを特徴とするトランスポートストリーム生成装置である請求項 2 3の発明は、ソースビデオデータおよびソースオーディオデータからトランスポートストリームを生成するためのトランスポートストリーム生成方法において、

指定されたビデオ符号化レート基いて、ソースビデオデータを符号化しすると共に、指定されたオーディオ符号化レートに基いてソースオーディオデータを符号化し、

多重化される符号化ビデオストリームのデータ量がどの所定期間でも略一定量であって、且つ、多重化される符号化オーディオストリームのデータ量がどの所定期間でも略一定量となるように、所定期間毎に、符号化ビデオストリームと符号化オーディオストリームを多重化し、

符号化ビデオストリームおよび符号化オーディオストリ一ムが多重化されたストリームからトランスポートストリームを生成することを特徴とするトランスポートストリーム生成方法である。

請求項 3 3の発明は、ソースビデオデータおよびソースオーディオデータからトランスポ一トストリームを生成するためのトランスポートストリ一ム生成方法において、

指定されたビデオ符号化レート基いて、ソースビデオデータを符号化すると共に、指定されたオーディオ符号化レートに基いてソースォ一ディォデータを符号化し、

多重化される符号化ビデオストリームのデータレートがどの所定期間でも略一定レートであって、且つ、多重化される符号化オーディオストリームのデータレートが、どの所定期間でも略一定レートとなるように、所定期間毎に、符号化ビデオストリームと符号化オーディオストリ一ムを多重化し、符号化ビデオストリームおょぴ符号化オーディオストリームが多重化されたトリームからトランスポートストリームを生成することを特徴とするトランスポートストリーム生成方法である。

請求項 3 の発明は、ソースビデオデータおよびソースオーディオデータを伝送するためのトランスポートストリームを生成するためのトランスポートストリーム生成方法において、

トランスポートストリームのデータレートがどの所定期間においても一定レートとなるように、所定期間毎に符号化ビデオストリームおよび符号化オーディオストリームとを多重化することによって、略一定レートのトランスポートストリームを生成することを特徴とするトランスポートストリーム生成方法である。

請求項 3 5の発明は、ソースビデオデータおよびソースオーディオデータを伝送するためのトランスポートストリームを生成するための 'トランスポートストリーム生成方法において、

指定されたビデオ符号化レートおよび指定されたオーディオ符号化レートに基いて、符号化されたビデオストリ一ムおよび符号化されたオーディオストリームを多重化するためのスケージユールを生成し、指定されたビデオ符号化レート基いてソースビデオデータを符号化すると共に、指定されたオーディオ符号化レートに基いてソースォーディォデータを符号化し、

どの所定期間においても、この多重化スケジュールに従った多重化処理を行なうように、符号化ビデオストリームと符号化オーディオストリームとを多重化することによって、トランスポートストリームを生成することを特徴とするトランスポートストリーム生成方法である請求項 3 6の発明は、ソースビデオデータおよびソースオーディオデータを符号化し、符号化した符号化ビデオストリームおよび符号化した符号化オーディオストリームをトランスポートストリームとして出力するためのトランスポートストリーム生成方法において、

指定された目標ビデオ符号化レ一トおよび目標オーディオ符号化レ一トに基いて、 1 ビデオフレーム期間中に多重化すべき符号化ビデオストリームのデータ量と多重化すべき符号化オーディオストリームのデータ量を決定し、

多重化すべき符号化ビデオストリームのデータ量と多重化すべき符号化オーディオストリームのデータ量に基いて、符号化ビデオストリ —ムと符号化オーディオストリームを多重化するための多重化スケジユールを決定し、

所定の多重化処理期間の処理単位で符号化ビデオストリームとォーディォストリームを多重化処理する際に、どのビデオフレーム期間においても、多重化スケージユールを使用して符号化ビデオストリームと符号化オーディオストリームを多重化することによってトランスポ一トストリームを出力することを特徴とするトランスポートストリーム生成方法である。

請求項 3 7の発明は、複数のプログラムを伝送するプログラム伝送装置において、

プログラム伝送装置は、

各々のプログラムに含まれるビデオストリームおよびオーディオストリームを符号化し、符号化されたビデオストリームおよび符号化ォ一ディォストリームを多重化してトランスポートストリームとして出力する複数の符号化装置と、

複数の符号化装置から出力された複数のトランスポートストリームを多重化する多重化装置と、

複数の符号化装置および多重化装置をコントロールするコントローラとから構成され、

符号化装置の各々は、

コントローラから指定されたビデオ符号化レートおよびオーディオ符号化レートに基いて、 1 ビデオフレーム期間中における符号化ビデォストリームと符号化オーディオストリームとを多重化するための基本スケジュールを生成し、

フレーム単位で符号化ビデオストリームとオーディオストリームを多重化する際に、各々のフレーム周期において、符号器バッファのシユミレーションを行なわずに、基本スケージユールに従った多重化処理を行なうことによって、トランスポートストリームを生成することを特徴とするプログラム伝送装置である。

請求項 3 8の発明は、複数のプログラムを伝送するプログラム伝送装置において、

プログラム伝送装置は、

複数の符号化装置および多重化装置をコントロ一ルするコントロ一ラとから構成され、符号化装置の各々は、

指定されたビデオ符号化レ一トおよびオーディオ符号化レートに基いて、所定の多重化処理間中に多重化すべき符号化ビデオストリームのデータ量と多重化すべき符号化オーディオストリームのデータ量を決定し、

多重化すべき符号化ビデオストリームのデータ量と多重化すべき符号化オーディオストリームのデータ量に基いて、符号化ビデオストリームと符号化オーディオストリームを多重化するための多重化スケジユールを決定し、

所定の多重化処理期間の処理単位で符号化ビデオストリームとォーディォストリームを多重化処理する際に、各々の所定の多重化処理期間において、多重化スケ一ジュールを使用して符号化ビデオストリームと符号化オーディオストリームを多重化する多重化処理を行なうことを特徴とするプログラム伝送装置である。

図面の簡単な説明

第 1図は、この発明が適用できるディジタル衛星放送の送信側のシステムを示すブロック図、第 2図は、送信側システムのエンコーダシステムのブロック図、第 3図は、この発明によるトランスポートストリーム生成装置の一実施形態のブロック図、第 4図は、ビデオェンコーダの一例のブロック図、第 5図は、オーディオエンコーダの一例のブロック図、第 6図は、ストリーム生成の概略を示す略線図、第 7図は、 P E Sヘッダの構成を示す略線図、第 8図は、 T Sヘッダの構成を示す略線図、第 9図は、トランスポートストリームの構成を示す略線図、第 1 0図はトランスポート生成処理を説明するためのフロ一チヤート、第 1 1図 Aおよび第 1 1図 Bは、トランスポートストリーム生成処理の詳細を説明するためのフローチヤ一ト、第 1 2図は、トランスポ一トストリームの生成処理のタイミングチヤ一ト、第 1 3図は、従来のトランスポートストリーム生成処理の説明に用いるタイミングチャート、第 1 4図は、従来のトランスポートストリーム生成処理の説明に用いるフローチャートである。

発明を実施するための最良の形態

第 1図は、本発明を適用できるディジタル衛星放送システムの概略を示す。送信側には、アーカイバ 1、サーバ 2等のビデオ、オーディォ（A V ) 情報蓄積装置が備えられる。具体的には、アーカイバ 1 として、 V T Rのカートマシンが使用され、サーバ 2 として、ハードデイスクからなる A Vサーバが使用される。また、これらのアーカイバ 1およびサーバ 2からの A V情報がルーティングスィッチャ 3に供給され、 A V情報のスイッチングがなされる。ル一ティングスィッチャ 3の出力情報が符号化システム 4に供給される。

符号化システム 4は、ビデオ情報およびオーディオ情報を M P E G 2によりそれぞれ圧縮するビデオエンコーダ、オーディオエンコーダと、各符号化出力とシステム制御用のヘッダ情報とを多重化するデータ多重化部と、複数チャンネルのストリームを多重化する多重化部と、多重化部からのトランスポートストリームに対してスクランブル処理、エラー訂正符号化処理を行う伝送路符号化部とを含む。符号化システム 4からのストリームが変調部例えば Q S K (Quadrature Phase Shift Keying) 変調部 5に供給される。これと共に、受信側のものと同様の復号器 6が設けられ、復号器 6からモニタ用出力を得るようになされる。

Q S K変調部 5からの変調出力がァップコンバータ 7を介して送信アンテナ 8に供給され、送信アンテナ 8から通信衛星 1 1に対して送信される。符号化システム 4では、ビデオ情報、オーディオ情報等の多重化と共に、複数チャンネルの多重化も行われる。それによつて、一つの周波数帯域幅に複数チャンネルの番組を多重化できる。第 1図は、 6チャンネルを多重化する場合を示している。

送信側システムのアーカイバ 1、サーバ 2、符号化システム 4は、イーサネット（ether- net) 等の L A N 9により結合されている。そして、 LAN 9に結合されたコンピュータ 1 0 a、 1 0 b、 1 0 cによつて、送信側システムの運用が管理される。

通信衛星 1 1により配信されるディジタル衛星放送の番組は、家庭の受信システム 1 2によって受信される。受信システム 1 2には、受信アンテナ 1 3と接続されたセットトップボックス 1 4およびテレビジョン受信機 1 5が含まれる。

セットトップボックス 1 4内には、送信側の構成と対応して、 QP S K復調部、エラー訂正回路、デスクランブル回路、ビデオデコーダ、オーディオデコーダ等が含まれている。復号されたビデオデータ、オーディオデータ、付加的データがテレビジョン受信機にて再生される。

第 2図は、符号化システム 4の構成の一例である。 2 1 , 、 2 12 、 · . · 、 2 1 η は、 ηチャンネノレの各チャンネノレのトランスポートストリーム生成装置を示す。各トランスポートストリーム生成装置は、ビデオデータ、オーディオデータ、プライベートデータ（付加的データ）が供給され、これらのデータを MP E G 2によって符号化する。ビデオデータを符号化する時に、コンピュータ 2 5からの目標符号化ビデオレート（例えば番組の内容に応じたレート）が与えられ、それに応じて、符号化レートが制御可能とされている。複数チャンネルのトランスポ一トストリ一ム生成装置 2 1 , 、 2 1₂ 、 . · · 、 2 1 n の出力データがデータ多重化部 22にて多重化される。データ多重化部 22は、スクランブル、エラー訂正符号化等の伝送路符号化部を含む。データ多重化部 2 2の出力が Q S K変調部に対して出力されるデータ多重化部 2 2には、各チャンネル毎に E P G (Electronic Pr ograra Guide)システム、 C A (Conditional Access)システム 23力らの情報が供給される。符号化システム 4は、イーサネット等の LAN 24を介して結合されたコンピュータ 2 5によって管理される。

トランスポートストリーム生成装置 2 1！、 2 12 、 · · ·、 2 1 n のそれぞれは、例えば第 3図に示す構成とされている。簡単のために以下の説明では、 1チャンネル分のデータを多重化する例について説明する。第 3図において、 3 1がビデオエンコーダ、 3 2がオーディォエンコーダである。映画のビデオデータに付随するサブタイトルデータを符号化するエンコーダを設けることもある。ェンコ一ド済みサブタイトルデータは、エンコード済みのビデオデータあるいはェンコード済みのオーディオデータに比べ、データ量が極端に少なく、 C PUバスを介して伝送しても、 C PUパスのデータトラフィックに影響を与えないので、問題が生じることはない。

ビデオエンコーダ 3 1は、スィッチャ等の外部機器（第 1図参照）から入力される映像データを、例えば MP EG 2方式により圧縮符号化する。ビデオエンコーダ 3 1からのビデオエレメンタリストリームがバッファメモリとしての符号器 F I F O (First In First Out)バッファ 3 3に供給される。

オーディオエンコーダ 3 2は、外部機器から入力されるオーディオデ一タを、例えば MP EG 2方式により圧縮符号化し、所定の長さのオーディオフレームごとに等しいデータ量のオーディオストリームを生成し、符号器 F I FOバッファ 34に対して出力する。 MP EG 2 オーディオのレイヤー 2では、 1 1 52サンプルを 1オーディオフレームとして符号化、復号がなされる。サンプリング周波数としては、 4 8 kHz, 44. 1 kHz, 3 2 k Hzまたはその他の周波数を使用できる。従って、各サンプリング周波数に対応して、 1オーディオフレームが 24ms、 26. Iras, 36msとなる。オーディオエンコーダ 3 2 からのオーディオエレメンタリストリームの伝送レートも固定レート例えば 3 84 k [bit/s] である。

また、プライべ一トデータ用のメモリとして RAM 3 5が設けられている。符号器 F 1 ?0バッファ 3 3、 34および RAM3 5から出力されるストリームがスィツチ回路で表されるマルチプレクサ 3 6の入力端子 a、 b、 cにそれぞれ供給される。マルチプレクサ 36で選択されたストリームがスィツチ回路で表されたマルチプレクサ 3 7の一方の入力端子 dに供給される。マルチプレクサ 3 7で選択されたストリームが F I FOバッファ 38を介してトランスポートストリーム T Sとして出力される。

第 3図に示すトランスポートストリーム生成装置は、エレメンタリストリームの多重化の制御のために、 C PU 3 9と、この C PU 3 9 と C PUバスを介して結合された R AM40、 4 1 と、データサイズ計数用インタ一フェース 42、 43と、イーサネットインターフエ一ス 44、シリアルインターフェース 45とが設けられている。イーサネットィンタ一フェース 44およびシリァルインターフェ一ス 4 5を介してプライべ一トデータ 1およびプライべ一トデータ 2が C PUバス上に供給される。プライベートデータは、サブタイトル、付加ォーディォ情報、テキスト情報、ユーザデータ等である。

マルチプレクサ 3 6は、 C P U 3 9からのコントロール信号の制御に従って、入力端子 a , b, cのいずれかを選択し、これらの入力端子のそれぞれに入力されるエレメンタリストリームのいずれかを選択する。マルチプレクサ 3 6で多重化されたストリームが供給されるマルチプレクサ 37も、 C PU 3 9からのコントロール信号で制御される。

なお、マルチプレクサ 3 6は、入力端子のいずれにも入力されるェレメンタリストリームがない場合、あるいは、スタッフイング処理を行う場合等は、入力端子 a , b, cのいずれをも選択せず、所定のブランクデータ（連続した論理値 1または 0) を出力する。

マルチプレクサ 3 7は、コントロール信号の制御に従って、入力端子 d, eのいずれかを選択し、入力端子 dからのエレメンタリストリームと、入力端子 eからのヘッダデータ（T Sパケットヘッダまたは P E Sパケットヘッダ）を選択して多重化し、 F I FOバッファ 38 に対して出力する。

F I F Oバッファ 3 8は、マルチプレクサ 3 7が多重化したデ一タストリームをバッファリングし、トランスポートストリーム T Sとして複数チヤンネルのストリームを多重化するための多重化部等の外部機器（図示せず）に対して出力する。

必要に応じて、マルチプレクサ 3 7からのトランスポートストリームを、ハードディスク装置、光磁気ディスク装置等の蓄積装置に出力して、記録するようにしても良い。

データサイズインターフェース 42および 43は、ビデオェンコ一ダ 3 1およびオーディオエンコーダ 3 2から入力されるビデオストリームおよびオーディオストリームのフレームまたはフィールドごとのデータサイズを計数し、 C PUバスを介して C PU 3 9に対して供給する。プライベートストリームのデータ量は、 C PU 3 9が分かっているので、プライべ一トストリームに関してのデータサイズインタ一フェースは不要である。

なお、データサイズの計数は、データサイズインターフェース 4 2 、 4 3ののそれぞれに内蔵されたカウンタにより行われる。また、データサイズの計数は、ビデオエンコーダ 3 1およびオーディオェンコーダ 3 2が出力する各エレメンタリストリームのフレームごとのデータサイズを、データサイズインターフェース 4 2および 4 3自身が検出することによっても可能である。

イーサネットインターフェース 4 4は、イーサネット等の L A N ( 図示せず）を介して入力されてくるプライべ一トデータ 2を受け入れ、 C P Uバスを介して C P U 3 9に対して出力する。シリアルインタ一フェース 4 5は、例えばコンピュータから入力されるシリアル形式のプライべ一トデータ 1を受け入れ、 C P Uバスを介して C P U 3 9 に対して出力する。

C P U 3 9は、例えば、マイク口プロセッサおよびプログラム格納用の R〇Mおよびこれらの周辺回路から構成され、トランスポートストリーム生成装置が所望の動作を行うように、トランスポートストリーム生成装置を制御する。具体的には、 C P U 3 9は、例えばビデオエンコーダ 3 1のビットレート制御回路に対して目標ビデオ符号化レ一トを供給する。

また、 C P U 3 9は、制御データ用 R AM 4 0に記憶された制御データを用いて、 P C R (program clock reference)の情報を含むァダプテーションフィ一ルドおよび P E S (Packetized Elementary Strea _ra)パケットヘッダの内容を生成する。生成されたヘッダは、処理用 R A M 4 1に記憶された後、マルチプレクサ 3 7の入力端子 eおよびその出力端子を介して出力される。このように、マルチプレクサ 3 6によって、エレメンタリストリームの多重化がされ、マルチプレクサ 3 7によって P E Sバケツトヘッダおよび T Sバケツトへッダが付加される。その結果、第 3図のトランスポートストリーム生成装置は、ェレメンタリストリームから P E Sバケツトと T Sバケツトへの変換の両者を行っている。

また、 C PU 3 9は、データサイズインターフェース 4 2および 4 3、イーサネットインタ一フェース 44、シリアルインターフェース 45から入力されるデータサイズ、および符号器 F I FOバッファ 3 3、 34の残り記録容量（バッファ残量）などに基づいて、多重化するエレメンタリストリームの順番、各エレメンタリストリームの多重化データ量などを決定し、その決定に基づいてマルチプレクサ 36、

3 7を制御する。この時に多重化のタイミング調整なども行う。

処理用 RAM 40は、上述したような処理を C PU 3 9が行う際に

、取り扱うデータ量等を記憶するメモリである。具体的には、例えば

C P U 3 9で生成されたヘッダがこの RAM 40に記憶され、この R AM40からマルチプレクサ 3 7の入力端子 eに対して出力され、トランスポートストリーム上に挿入される。

また， C P U 3 9がデータサイズインターフェース 4 2、 4 3等力ら読み込んだ符号化データ量のデータや、イーサネットインターフエース 44またはシリアルインターフェース 4 5を介して入力されたプライべートデータ等が処理用 RAM40に一旦記憶され、 C PU 3 9 における処理に供される。

また、後述する C P U 3 9における多重化データ量の決定の処理に用いられる多重化残存データ量 frame— bit 一 remain などの値も処理用 R AM40に記憶され、保持される。

制御データ用 RAM 4 1は、 C P U 3 9の処理にかかわる制御用データを記憶するメモリである。制御データ用 RAM 4 1には、例えばヘッダデータの作成に関連する制御データ、スケジュールデータ等が記憶される。

ビデオエンコーダ 3 1は、第 4図に示す構成とされている。すなわち、入力ビデオデータとローカル復号ビデオデータの差分を演算する減算回路 5 1 と、減算回路 5 1の出力を D C T変換する D C T回路 5 2と、 DCT回路 5 2からの係数データを量子化する量子化回路 5 3 と、量子化回路 5 3の出力を可変長符号化（VL C) する可変長符号化回路 54と、可変長符号化回路 54の一定レートの出力として取り出すためのバッファメモリ 5 5 とが設けられる。可変長符号化回路 5 4の発生データ量の情報がビットレート制御回路 5 6に供給され、量子化スケールが制御される。それによつて、発生データ量の制御がなされる。また、逆量子化回路 5 7、逆 DCT回路 5 8、加算回路 5 9 およびフレームメモリ 6 0からなるローカル復号部が設けられる。

さらに、図示を省略されているが、動き検出部が設けられ、動き検出部によって、マクロブロック単位の動きベクトルが検出される。この動きべクトルに基づいて、フレームメモリ 6 0が制御され、動き補償がなされる。

なお、 MP EGの場合では、ピクチャタイプが 3種類ある。すなわち、フレーム内符号化画像である I (Intra) ピクチャと、フレーム間前方向予測符号化画像である P (Predictive)ピクチャと、双方向予測画像である B (Bidirectionally predictive)ピクチャとがある。このピクチャタイプと同様に、マクロブロックタイプが 3種類ある。すなわち、フレーム内符号化（Intra) マクロブロックと、過去から未来を予測する前方向（Foward)フレーム間予測マクロブロックと、未来から過去を予測する後方向（Backwrd) フレーム間予測マクロブロックと、前後両方向から予測する内挿的（Interpolative) マクロブロックとがある。

I ピクチャ内の全てのマクロブロックは、フレーム内符号化マク口ブロックである。また、 Pピクチャ内には、フレーム内符号化マクロブロックと前方向フレーム間予測マクロブロックとが含まれる。 Bピクチャ内には、上述した 4種類の全てのタイプのマクロブロックが含まれる。これらのマクロブロックタイプに応じて、ローカル復号デ一タが形成され、また、予測符号化の場合に、減算回路 5 1において差分が演算され、フレーム内符号化の場合では、差分が演算されず、入力ビデオデータが減算回路 5 1の出力に現れる。

上述したトランスポートストリーム生成装置の C P U 3 9は、ビデォエンコーダ 3 1 のビットレート制御回路 5 6に対して目標データ量 video— rate— targetを供給する。ビットレート制御回路 5 6は、可変長符号化回路 5 4が実際に生成したビデオエレメンタリストリームのデータ量に基づいて、圧縮符号化後のデータ量が、設定された目標データ量 vi deo— rate— targetと等しくなるように量子化回路 5 3を制御する。

オーディオエンコーダ 3 2は、第 5図に示すように、サブバンド分析フィルタバンク（S A F B ) 6 1、線形量子化回路 6 2、ビット圧縮回路 6 3、 F F T (Fast Fourier Transfer ) 回路 6 4、心理聴覚モデル 6 5、動的ビット割り当て回路 6 6、スケールファクタ選択情報記憶回路 6 7、スケールファクタ抽出回路 6 8、サイド情報符号化回路 6 9およびビットストリーム生成回路 7 0から構成される。オーディオエンコーダ 3 2は、外部機器から入力されたオーディオデータを、 M P E G 2方式により圧縮符号化し、オーディオストリームを生成し、符号器 F I F Oバッファ 3 4およびデータサイズィンタ一フェース 4 3に対して出力する。上述した本発明の一実施例において、トランスポートストリーム生成装置は、ビデオエレメンタリストリーム、オーディオエレメンタリストリームおよびプライべ一トエレメンタリストリームを多重化し、

M P E G 2のトランスポートストリームを生成する。この多重化処理について以下に説明する。

最初にストリームについて説明する。ここでは、符号化されたビデォストリームからトランスポートストリームを生成するためのストリーム変換方法について説明する。但し、ビデオストリームとオーディォストリームとは同じストリーム変換を行なっているので、ここではビデオストリームの変換についてのみ説明する。

第 6図に示すように、ソースビデオデータを、 M P E G 2方式によつて符号化する場合には、数枚のビデオフレームを 1 G O P (Group Of Picture) として定義し、 G O P単位でソースビデオデータを圧縮符号化するようになされている。その際、 G O Pのピクチャのうち少なくとも 1つを I ピクチャとし、残るピクチャを P又は Bピクチャとしている。 I ピクチャとは、フレーム内符号化により圧縮符号化したピクチャであり、 Pピクチャとは I ピクチャ又は他の Pピクチャからのフレーム間予測符号化により圧縮符号化したピクチャであり、 Bピクチャとは、前後のピクチャからの双方向フレーム間予測符号化により圧縮符号化したピクチャである。

第 6図に示すように、 M P E G 2の規格に基いて符号化された符号化ビデオストリ一ムのデータ量は、各ビデオフレームが I ピクチャ、 Bピクチャ、 Pピクチャ等のピクチャタイプに応じて異なると共に、動き補償の有無に応じても異なってくる。従って、 1 ビデオフレーム期間にビデオエンコーダから出力される符号化ビデオストリ一ムのデータ量は、必ずしも一定ではない。この符号化された符号化ビデオストリームは、一般にはエレメンタリーストリーム（E S) と呼ばれる。この符号化ビデオストリーム V 1、 V 2、 V 3および V 4は、第 6図に示すように、その先頭にへッダを付加することにより P E S (Packetized Elementary Stream) パケット化される。

さらにこの P E Sバケツトのデータは、 1 84バイト毎に分割され、その先頭に 4 [byte] のトランスポートパケットヘッダ（T Sへッダ）を付加することにより伝送用のトランスポートバケツトに変換される。

第 7図に示すように、 P E Sパケットは、 P E Sパケットの開始を示す 24 〔bit 〕のパケット開始コードと、 P E Sパケットの実データ部分に収容されるストリームデータの種別（例えばビデオや音声等の種別）を示す 8 [bit 〕のストリーム I Dと、以降に続くデータの長さを示す 1 6 [bit 〕のバケツト長と、値「 1 0」を示すコードデータと、各種フラグ情報が格納されるフラグ制御部と、コンディショナル ' コーディング部のデータの長さを示す 8 [bit の P E Sへッダ長と、 P T S (Presentation Time Stamp ) と呼ばれる再生出力の時間情報や DT S (Decoding Time Stamp ) と呼ばれる復号時の時刻管理情報、或いはデータ量調整のためのスタッフイングバイト等が格納される可変長のコンデショナル · コーディング部とによって構成される。

第 8図に示すように、 T Sパケットは、 4バイトの T Sヘッダ部と、 1 84バイトの実データが記録されるペイロード部とから構成される。 T Sヘッダ部は、 T Sパケットの開始を示す 8 [bit 〕の同期バイトと、パケット内におけるビットエラーの有無を示す誤り表示部（エラー ' インジケータ部）と、 P E Sパケットの先頭がこの T Sパケット内に存在するか否かを示すュニット開始表示部と、この T Sパケットの重要度を示すトランスポート ·パケット · プライオリティ部と

、この T Sバケツトのペイロード部に収容されているストリ一ムデータの種別を示すバケツト識別情報 P I Dが格納される P I D部と、ぺイロ一ド部に収容されるストリームデータにスクランブルが施されているか否かを示すスクランブル制御部と、この T Sバケツト内にァダプテーション · フィールド部およびペイロード部が存在するか否かを示すァダプテーシヨン · フィールド制御部と、同じバケツト識別情報 P I Dを持つ T Sバケツトが途中で棄却されたか否かを示す巡回力ゥンタ情報が格納される巡回カウンタ部と、各種制御情報が格納されるァダプテーシヨン · フィールド部とによって構成される。

またァダプテーション · フィールド部は、当該ァダプテーション · フィールド部の長さを示すァダプテーション · フィールド長と、この

T Sバケツトに続く同じストリームの T Sパケットで時間情報がリセットされているか否かを示す不連続表示部と、この T Sパケットがランダム · アクセスのエントリーポイントであるか否かを示すランダムァクセス表示部と、この T Sパケットのペイロード部にストリームデータの重要部分が格納されているか否かを示すストリーム優先表示部と、コンディショナル · コーディング部に関するフラグ情報が格納されるフラグ制御部と、 P C R (Program Clock Reference ) と呼ばれる基準時間情報や O P C R (Original Program Clock Reference) と呼ばれる基準時間情報、或いはデータの差し替え点までの指標を示すスプライス · カウントダウン等の情報が格納されるコンデイショナル • コーディング部と、データ量調整のためのスタッフイングバイト部とによって構成される。次に、第 9図を参照して、本発明のトランスポートストリーム生成装置において使用されているトランスポートストリームの構造について説明する。

この第 9図は、本発明の特徴となる多重化スケジュールを使用して、符号化ビデオストリーム、符号化オーディオストリームをおよびその他のデータを多重化することによって生成されたトランスポ一トストリームを示した図である。このトランスポートストリームは、 PA T (Program Association Table ) つ—タ、 PMT (Program Map Ta ble ) データ、 P CR (Program Clock Reference ) データ、符号化ビデオストリーム、符号化オーディオストリーム、プライベートデータおよび NU L Lデータ等を伝送するための複数のトランスポートパケットから構成されている。

まず、このトランスポートストリームとして伝送される各種のデータについて説明する。

PMT (Program Map Table ) は、プログラムを構成するビデオストリームおよびオーディオストリームがそれぞれ格納されている T S バケツトのバケツト識別情報 P I Dを示す情報である。.例えばプログラム番号「X」のビデオストリームはパケット識別情報 P I Dが「X V」の T Sパケットとして伝送され、オーディオストリームは、パケット識別情報 P I Dが「XA」の T Sパケットとして伝送されるので、 PMTによって、そのバケツト識別情報 P I D 「XV」および「X A」を管理しておくことによって、プログラム番号「X」のビデオストリームおよびオーディオストリームが伝送されたトランスポートパケットを識別することができる。

PMTは、 8ビットのテーブル I D (table ID) 、 1 ビットのセクシヨン ' シンタクスインジケータ (section syntax indicator) 、 2 ビットの「0」リザーブ（reserved) データ、 1 2ビットのセクション長 (section length) 、 1 6ビッ卜のプログラム番号 (program nu raber) 、 2ビットのリザーブ（reserved) 、 5ビットのバージョン番号（version number) 、 1 ビットのカレント · ネクストインジケータ (current next indicator) 、 8ビッ卜のセクション番号 (section number) 、 8ビッ卜の最終セクション番号 (last section number ) 、 3ビットのリザーブ（reserved) 、 1 3ビットの P CR (Program Clock Reference ) および P I D (PCR PID ) 、 4ビットのリザーブ (reserved) 、 1 2ビッ卜のプログラム情報長 (program info lengt h ) 、数ビットのディスクリプタ（descriptor) 、 8ビットのストリ —ム ♦ タイプ (stream type ) 、 3ビッ卜のリザーブ (reserved) 、 1 3ビットのエレメンタリ P I D (elementary PID) 、 4ビットのリザーブ（reserved) 、 1 2ビットの E S情報長（ES info length) 、数ビットのディスクリプタ（descriptor) および 3 2ビットの CRC (CRC ) のデータから構成される。従って、ディスクリプタに数 1 0 バイトのユーザデータを記述したとしても、 PMTのデータサイズは 2 5バイト程度となる。

PAT (Program Association Table ) は、各プログラム毎に生成された PMTが格納されている T Sバケツトのバケツト識別情報 P I Dを示す情報である。

PATは、 MP EG 2で規定されたテーブルの種別を示す 8ビットのテーブル I D (Identifier) 、 1 ビットのセクション ' シンタクスィンジケータ、 1 ビットの「 0」データ、 2ビットのリザーブ、 1 2 ビットのセクション長、 1 6 ビットのトランスポートストリーム（ T S) I D、 2ビットのリザーブ、 5ビットのバージョン番号、 1 ビットのカレント · ネクストインジケータ、 8ビットのセクション番号、 8ビットの最終セクション番号、 1 6 ビットのプログラム番号、 3 ビットのリザーブ、 1 3ビッ卜のネットワーク P I D、又は 1 3ビットのプログラム · マップ p I Dおよび 3 2ビットの C R C (Cyclic Red undancy Check ) から構成されている。従って、この PATのデータサイズは 1 6バイト程度となる。

P CR (Program Clock Reference ) とは、時刻基準となる S T C (System Time Clock ) の値を符号器側で意図したタイミングにセットするための情報であって、実データ 4 2ビットを含む 6バイトのデータから構成される。

プライベートデータとは、 MP E G 2においては特に規定されていない、任意のユーザーデータであって、一般的には、個々のプロダラに対して付与された固有の E P G (エレクトリックプログラムガイド ) データや字幕データ等がこのプライべ一トデータとして伝送される。これらのプライベートデータは、 PAT、 PMTおよび P CRデータと同じように数パイト又は数十バイトから成るデータである。

NU L Lデータとは、 1 ビデオフレーム期間中に伝送されるトランスポ一トストリームの伝送レートが常に一定になるように、挿入されるダミーデータであって、プライベートデータと同じように、数バイト又は数十パイ卜から成るデータである。

なお、この第 9図に記載されたトランスポートストリームは、コンピュータ 2 5からビデオェンコーダ 3 1に供給された目標ビデオ符号化レート（ target —video 一 rate [bit/s]) 力 S 4 M [bit/s]であつて、コンピュータ 2 5からオーディオエンコーダ 3 2に供給された目標オーディオ符号化レート（ target — audiop— rate [bit/s]) が 3 84 K [bit/s] の場合の例であって、その場合に生成された多重化スケジュールデータに基いて生成されたトランスポートストリームである。

次に、本発明の特徴であるこの多重化スケジュールデータの生成方法について、第 9図を参照して説明する。

本発明のトランスポートストリーム生成装置は、先に説明した P C R、 PAT、 PMT、符号化ビデオストリーム、符号化オーディオストリームおよびプライべ一トデータの多重化処理を行なう前に、まず、これらの様々なデータを 1 ビデオフレーム期間に多重化するためのスケジュールデータを生成することが特徴である。ここで述べた多重化のためのスケジュールデータとは、 1 ビデオフレーム期間に、これらのさまざまなデータを伝送するためにいくつのトランスポ一トパケットを使用し、これらの個々のデータを伝送するために何番めのトランスポ一トバケツトを使用するかを定義するためのデータである。以下に、この多重化シュケジュールデータを生成する具体的な方法について説明する。まず、この多重化スケジュールデータを生成するためには、 1 ビデオフレーム期間に伝送されるトランスポートパケットの数を求めなければいけない。以下にこのトランスポートバケツトの数を求めるための方法について説明する。

先に説明したように、 PATデータ、 PMTデータ、 P CRデータは、数バイトから数十バイトのデータであるので、 1 トランスポートバケツトの基本単位である 1 84バイト以上を超えることなない。従つて、本発明のトランスポート生成装置では、これらの PATデータ、 PMTデータ、 P C Rデータを伝送するために使用されるトランスポートパケットを、それぞれ 1 トランスポートパケットとして定義している。

また、プライベートデータおょぴ NUL Lデータは、 PATデータ、 PMTデータ、 P C Rデータと同じように、数バイトから数十バイトのデータであるので、 1 トランスポートパケットの基本単位である

1 8 4バイト以上を超えることなない。従って、これらのプライべ一トデータおよび NU L Lデータを伝送するために使用されるトランスポートバケツトは、それぞれ 1 トランスポートバケツトで十分である。しかし、本発明のトランスポートストリーム生成装置は、ユーザが任意の多くのプライべ一トデータを伝送できるように、これらのブラィペートデータおよび NUL Lデータを伝送するために使用されるトランスポートパケットを、それぞれ 2 トランスポートパケットとして定義している。

次に符号化ビデオストリームを伝送するために必要なトランスポートバケツトの数を求める。

コンピュータ 2 5からビデオエンコーダ 3 1に供給された目標ビデォ符号化レート（target— video —rate [bit/s]) 、 4 M[bit/s] である場合を例にあげて説明する。

NT S C方式のビデオストリ一ムのフレーム周波数（frame ― fre quency [Hz] ) は、 1ノ 2 9. 9 7 [Hz]であるので、コンピュータ 2 5から供給された目標ビデオ符号化レート（target— video —rate [ bit/s]) が 4M [bit/s]である場合には、 1ビデオフレーム期間にビデォエンコーダ 3 1から出力される符号化ビデオストリームのデータ量 (size一 frame ― video [byte] ) は、

size一 frame 一 video [byte]

= target― video 一 rate [bit/ s] X frame ― frequency [Hz] / 8 [bit]

= 4 0 0 0 0 0 0/2 9. 9 7/8

= 1 6 6 8 3. 3 5 [byte]

である。つまり、 1 ビデオフレーム期間あたり、ビデオエンコーダ 3 1から 1 6 6 8 3 . 3 5バイトの符号化ビデオストリームが出力され、この出力されたストリームが符号器 F I F Oバッファ 3 3に供給される。しかし、符号化ストリームをバッファリングするための F I F Oバッファ 3 3からは、 1バイト単位でしか符号化ビデオストリームを読み出すことができないので、 1ビデオフレームあたり、 0 . 3 5バイトデータが符号器 F I F Oバッファ 3 3に残ってしまう。つまり、 1 ビデォフレーム期間あたり、この符号器 F I F Oバッファ 3 3には 1 6 6 8 3 . 3 5バイトのストリームが供給され、この符号器 F I F Oバッファ 3 3から 1 6 6 8 3バイトのデータが読み出されるので、 1 ビデォフレーム毎に 0 . 3 5バイトの残存データが蓄積され、結果的に、この符号器 F I F Oバッファ 3 3がオーバーフローしてしまう。本発明のトランスポートストリーム生成装置では、この符号器 F I F Oバッファ 3 3がオーバ一フローしないように、符号器 F I F Oバッファ 3 3に残った残存データに応じて、各ビデオフレーム毎に、この符号器 F I F Oバッファ 3 3から 1 6 6 8 3バイトの符号化ビデオデータを出力するか 1 6 6 3 4バイトの符号化ビデオデータを出力するかを決定している。

次に、この 1 6 6 8 3バイトのデータの符号化ビデオストリームを伝送するためには、どのくらいの数のトランスポートパケットを必要とするかを求める。 1つのトランスポートパケットには、 1 8 4パイトのデータが入るので、 1 ビデオフレーム期間にビデオエンコーダ 3 1から出力された 1 6 6 8 3バイトの符号化ビデオストリ一ムのデ一タ苴 size一 frame ― video [byte]は、

size― rrame ― video [bytej

= 1 6 6 8 3 [byte] = 1 8 4 [byte] X 9 0 [packet] + 1 2 3 [byte] と表わすことができる。つまり、この式から、 1 ビデオフレーム期間中に出力された 1 6 6 8 3バイトの符号化ビデオストリームを伝送するためには、 9 0個のトランスポートバケツトが必要であることが理解できる。

同じように、この 1 6 6 8 4パイトのデータの符号化ビデオストリームを伝送するためには、どのくらいの数のトランスポートバケツトを必要とするかを求める。 1 ビデオフレーム期間にビデオエンコーダ 3 1から出力された 1 6 6 8 4バイトの符号化ビデオストリームは、 s ize― frame 一 video [byte]

= 1 6 6 8 4 [byte]

= 1 8 4 [byte] X 9 0 [packet] + 1 2 4 [byte] と表わすことができる。つまり、この式から、 1 ビデオフレーム期間中に出力された 1 6 6 8 4バイトの符号化ビデオストリームを伝送するためには、 1 6 6 8 3バイトの符号化ビデオストリームを伝送するときと同じように、 9 0個のトランスポートバケツトが必要であることが理解できる。

つまり、 1 ビデオフレーム期間中にビデオエンコーダ 2 4の出力段に設けられた符号器 F I F Oバッファ 3 3から出力された符号化ビデォストリームが、 1 6 6 8 3バイト又は 1 6 6 8 4パイトのいずれの場合であっても、符号化ビデオストリームは、 9 0個のトランスポートバケツトを使用して伝送される。

次に符号化オーディオストリームを伝送するために必要なトランスポートバケツトの数を求める。

コンピュータ 2 5からオーディオエンコーダ 3 2に供給された目標オーディオ符号化レート（ target audio rate [bi t/s] ) 力、 3 8 4 K [bit/s]である場合を例にあげて説明する。

NT S C方式のビデオストリームのフレーム周波数（frame ― fre quency [Hz] ) 力 S、 1 / 2 9. 9 7 [Hz] であるので、目標オーディォ符号化レート ( target —audio 一 rate [bit/s]) が、 3 8 4 K [ bit/s]である場合には、 1ビデオフレーム期間にオーディオェンコ一ダ 3 2の符号器から出力される符号化オーディオストリームのデータ直 (size一 frame 一 audio [byte] ) は、

size一 rrame ― audio [byte」

= target一 audio ― rate [bit/s] X frame一 frequency [Hz] Z8 [ bit]

- 3 8 4 0 0 0 / 2 9. 9 7 / 8

= 1 6 0 1 . 6 0 1 6 [byte]

である。

つまり、 1ビデオフレームあたり、オーディオエンコーダ 3 2から 1 6 0 1 . 6 0 1 6バイトの符号化オーディオストリームが出力され、符号器 F I F Oバッファ 3 4にバッファリングされる。しかし、符号器 F I F Oバッファ 3 3と同じように、符号器 F I F Oバッファ 3 からは、 1バイト単位でしか符号化オーディオストリームを読み出すことができないので、 1ビデオフレームあたり、 0. 6 0 1 6バイトデータが符号器 F I F Oバッファ 3 4に残ってしまう。つまり、この符号器 F I F Oバッファ 3 4に 1 ビデオフレーム毎に 0. 6 0 1 6 バイ卜の残存データが蓄積され、結果的に、この符号器 F I F Oバッファ 3 4がオーバーフローしてしまう。

本発明のトランスポ一トストリーム生成装置では、符号化オーディォストリームをバッファリングするための符号器 F I F Oバッファ 3 4がオーバーフローしないように、符号器 F I F〇バッファ 3 4に残つた残存データに応じて、各ビデオフレーム毎に、 1 6 0 1バイトのオーディオ符号化データを出力するか 1 6 0 2バイトのデータを出力するかを決定している。

次に、 1 6 0 1バイトの符号化オーディォストリームを伝送するためには、何個のトランスポートパケットが必要であるかを求める。 1 トランスポートバケツトとして伝送されるデータのサイズは、 1 8 4 バイトであるので、 1 6 0 1バイトの符号化オーディオストリームは size. _ frame ― audio [byte]

= 1 6 0 1 [byte]

= 1 8 4 [byte] X 8 [packet] + 1 2 9 [byte] と表わすことができる。従って、この 1 6 0 1バイトの符号化オーディォストリームは、 8個のトランスポートバケツトを使用して伝送することができる。

同じように、 1 6 0 2バイトの符号化オーディオストリームを伝送するためには、何個のトランスポートパケットが必要であるかを求める。 1 トランスポートパケットとして伝送されるデータのサイズは、 1 8 4バイトであるので、 1 6 0 1バイトの符号化オーディオストリームは、

size― frame 一 audio [byte]

= 1 6 0 2 [byte]

= 1 8 4 [byte] X 8 [packet] + 1 3 0 [byte] と表わすことができる。従って、この 1 6 0 2バイトの符号化オーディォストリームは、 1 6 0 1パイトの符号化オーディオストリームの時と同じように、 8個のトランスポートパケットを使用して伝送することができる。つまり、 1ビデオフレーム期間中にオーディオエンコーダ 3 2から出力された符号化オーディオストリームが、 1 6 0 1バイト又は 1 6 0 2バイトのいずれの場合であっても、符号化オーディオストリームは、 8個のトランスポートパケットを使用して伝送される。なお、上式に基いて、 1 ビデオフレーム期間中に出力された 1 6 0 1又は 1 6 0 2パイトの符号化オーディオストリームを 8個のトランスポートバケツトを使用して伝送した場合には、 1 2 9パイト又は 1 3 0バイ卜のオーディオデータが伝送ざれずに符号器 F I F Oバッファ 3 4に残ることになる。本発明のトランスポートストリーム生成装置では、この残った 1 2 9バイト又は 1 3 0バイトのオーディオデータは、次のビデオフレーム期間に伝送されるようにしている。

以上の説明から、コンピュータ 2 5から供給された目標ビデオ符号化レートおよび目標オーディオ符号化レートが、 4 M [bit/s]および 3 8 4 K [bit/s] である場合には、符号化ビデオストリームを伝送るために必要なトランスポートパケットのサイズは、 9 0パケットであつて、符号化オーディオストリームを伝送するために必要なトランスポートパケットのサイズは、 8パケットである。

しかし、 D B V規格では、符号化されたビデオストリームおよび符号化オーディオストリ一ムをトランスポートストリームに変換する際に、 1 9バイトの P E Sヘッダや T Sパケットヘッダのァダプテーションブイールド等の付加的な情報が追加されるので、トランスポートストリームに変換されたビデオストリームおよびオーディオストリームのデータ量は、ビデオエンコーダ 3 1およびオーディオエンコーダ 3 2から出力されたときの符号化ビデオストリームおよび符号化ォーディォストリームのデータ量より増えることになる。

本発明のトランスポートストリーム生成装置は、これらの付加情報によってデータが増加ることを考慮して、コンピュータ 2 5から供給された目標ビデオ符号化レートおよび目標オーディオ符号化レートが、 4 M [bit/s]および 3 8 4 K [bit/s] である場合には、符号化ビデォストリームを伝送るために必要なトランスポートバケツトのサイズを、 9 1パケットとし、符号化オーディオストリームを伝送するために必要なトランスポートパケットのサイズを、 9パケットとしている以上の説明から理解できるように、コンピュータ 2 5から供給された目標ビデオ符号化レートおよび目標ビデオ符号化レートから、 1 ビデォフレーム期間中に、 P C Rデータを伝送するために必要なトランスポートパケットの数、 P A Tデータを伝送するために必要なトランスポートバケツトの数、 P M Tデータを伝送するために必要なトランスポートバケツトの数、符号化ビデオストリームを伝送するために必要なトランスポートバケツトの数、符号化オーディオストリームを伝送するために必要なトランスポートパケットの数、およびプライベートデータを伝送するために必要なトランスポートバケツトの数を決定することができる。

以上の説明から理解できるように、コンピュータ 2 5から供給された目標ビデオ符号化レートおよび目標オーディオ符号化レートが、 4 M [bit/s]および 3 8 4 K [bit/s] である場合には、符号化ビデオストリームを伝送するために必要なトランスポートバケツト数は「 9 1 」であって、符号化オーディオストリームを伝送するために必要なトランスポートパケット数は Γ 9」であって、 P C R、 P A Tおよび P M Tデータを伝送するためのトランスポ一トバケツト数は、それぞれ「 1」であって、プライベートデータおよび N U L Lデータを伝送するために必要なトランスポートパケット数はそれぞれ「 2」である。従って、 1 ビデオフレーム期間中に伝送される 1 トランスポートストリームに含まれる総トランスポートパケット数（tolal — size— frara e 一 transport)は、

tolal 一 size— frame 一 transport = 1 + 1 + 1 + 9 1 + 9 + 2 + 2

= 1 0 7

となる。

なお、上述した例は、コンピュータ 2 5から供給された目標ビデオ符号化レートおよび目標オーディオ符号化レートカ 4M [bit/s]および 3 8 4 K[bit/s] と指定された例であって、本発明のトランスポ一ト生成装置は、この指定された目標ビデオ符号化レートおよび目標ォ一ディォ符号化レートに限らず、どのような値を有する目標ビデオ符号化レートおよび目標オーディオ符号化レートが指定されても良い。その場合には、上述した例に対して、符号化ビデオストリームを伝送するために必要なトランスポートバケツト数と、符号化オーディオストリ一ムと伝送するために必要なトランスポートバケツト数とが異なつてくるだけである。

次に、それぞれ 1 トランスポートバケツトの P CRデータ、 PAT データおょぴ PMTデータ、 9 1 トランスポートバケツトの符号化ビデォストリーム、 9 トランスポートバケツトの符号化オーディオストリーム、それぞれ 2 トランスポートバケツトのプライべ一トデータおよび NU L Lデータを、どのように多重化するかを説明する。

本発明のトランスポートストリーム生成装置は、 PATデータ、 P MTデータ、 P CRデータ、符号化ビデオストリーム、符号化オーディォストリーム、プライべ一トデータおよび NU L Lデータの順で、それらのデータを多重化することによって、トランスポートストリームを生成している。具体的には、第 9図のように、 1 0 7個のトランスポートストリームのうち、第 1のトランスポートパケットは、 PATデータを伝送するためのトランスポートバケツトとして使用し、第 2のトランスポートバケツトは、 PMTデータを伝送するためのトランスポートバケツトとして使用し、第 3のトランスポートパケットは、 P CRデータを伝送するためのトランスポートパケットとして使用する。次の、第 4 から第 49 トランスポートバケツトは、符号化ビデオストリ一ムの約半分のデータを伝送するために使用し、第 50から第 54のトランスポートバケツトは、符号化オーディオストリームの約半分のデータを伝送するために使用している。また、第 5 5のトランスポートバケツトは、プライべ一トデータの半分のデータを伝送するために使用し、第 5 6のトランスポートパケットは、 NUL Lデータの半分のデ一タを伝送するために使用している。

同じように、第 5 7から第 1 0 1のトランスポートバケツトは、符号化ビデオストリームの残り半分のデータを伝送するために使用し、第 1 0 2から第 1 05のトランスポートバケツトは、符号化オーディォストリームの残り半分のデータを伝送するために使用している。また、第 1 06のトランスポートバケツトは、プライべ一トデータの残り半分のデータを伝送するために使用し、第 1 0 7のトランスポートパケットは、 NUL Lデータの残り半分のデータを伝送するために使用している。

C PU 3 9は、この第 9図のように、 PATデータ、 PMTデータ、 P CRデータ、符号化ビデオストリーム、符号化オーディオストリーム、プライベートデータおよび NU L Lデータが多重化されるように、本発明の特徴であるスケジュールデータを生成する。つまり、このスケージユールデータとは、 1 0 7個のトランスポートストリームのうち、第 1、第 2および第 3のトランスポートパケットとして、 P ATデータ、 PMTデータおよび P CRデータをそれぞれ伝送し、次の、第 4から第 49 トランスポートバケツトとして、符号化ビデオストリームの約半分のデータを伝送し、第 50から第 54のトランスポートパケットとして、符号化オーディオストリームの約半分のデータを伝送し、第 5 5のトランスポートパケットとして、プライべ一トデータの半分のデータを伝送し、第 5 6のトランスポートパケットとして、 NUL Lデータの半分のデータを伝送し、第 5 7から第 1 0 1のトランスポートパケットとして、符号化ビデオストリームの残り半分のデータを伝送すし、第 1 02から第 1 05のトランスポートバケツトとして、符号化オーディオストリ一ムの残り半分のデータを伝送し、第 1 06のトランスポートパケットとして、プライべ一トデータの残り半分のデータを伝送し、第 1 0 7のトランスポートパケットとして、 NUL Lデータの残り半分のデータを伝送するという多重化制御を行なうためのデータである。

なお、符号化ビデオストリームと符号化オーディオストリームを、 1 ビデオフレーム期間に対応するトランスポートストリームにおいて、 2回に分割して伝送している理由は、復号器ビデオバッファおよび復号器オーディオバッファを破綻しにくくするためである。

また、第 9図に示ししたように、 PATデータ、 PMTデータ、 P CRデータ、符号化ビデオストリーム、符号化オーディオストリーム、プライべ一トデータおよび NUL Lデータをこの順で伝送するようにしたが、本発明のトランスポートストリームは、この伝送順に限られるものではない。例えば、 P C Rデータと PATデータの伝送順が逆であっても良いし、符号化ビデオストリームと符号化オーディオストリ一ムの伝送順が逆であってもよい。また、符号化ビデオストリームと符号化オーディオストリームを 2回に分けて伝送するようにした力 ^s、より復号器ビデオバッファおよび復号器オーディオバッファがを破綻しにくくするために、分割回数を 3回および 4回に設定しても良レ、。

次に、第 1 0図のフローを参照して、トランスポートストリーム生成処理の C PU 3 9の動作に関して説明する。

ステップ S 1 0において、 C PU 3 9は、フレーム変数「 n」を「 1」にリセットする。このフレーム変数「n」は、フレームの番号を表わす変数である。

ステップ S 1 1おいて、 C PU 3 9は、コンピュータ 2 5から目標ビデオ符号化レート ( target —video —rate [bit/s]) と、オーディォ符号化レート（ target —audio —rate [bit/s]) を受け取る。この目標ビデオ符号化レートは、各プログラムに含まれるビデオデータを符号化するための各符号化装置に対してそれぞれ割当てられるデータである。この目標ビデオ符号化レートは、動きの多いビデオプログラムには比較的高い符号化レートが割当てられ、動きの少ないビデォプログラムには比較的低い符号化レー卜が割当てられるように、各プログラムのビデオデータの複雑度（Difficulty) に応じて統計的に算出されたデータである。オーディオ符号化レートは、予め規格化された複数の符号化レートから選択された固定のレートであるので、ュ一ザが任意のレ一トを勝手に設定することはできない。次に、ステップ S 1 2において、 C PU 3 9は、指定された目標ビデオ符号化レ一トおよび目標オーディオ符号化レートに基いて、符号化ビデオストリームと符号化ビデオストリームとを多重化するための多重化スケジユールデータを生成する。目標ビデオ符号化レートおよび目標オーディォ符号化レートが 4M [bit/s]および 3 84 K[bit/s] である場合を例にあげて説明したように、このスケージュ一ルデータとは、 1 0 7個のトランスポートストリームのうち、第 1、第 2および第 3のトランスポートパケットとして、 PATデータ、 PMTデータおよび P CRデータをそれぞれ伝送し、次の、第 4から第 49 トランスポートバケツトとして、符号化ビデオストリームの約半分のデータを伝送し、第 50から第 54のトランスポートパケットとして、符号化オーディォストリームの約半分のデータを伝送し、第 5 5のトランスポートパケットとして、プライベートデータの半分のデータを伝送し、第 5 6のトランスポートパケットとして、 NU L Lデータの半分のデータを伝送し、第 5 7から第 1 0 1のトランスポートパケットとして、符号化ビデオストリームの残り半分のデータを伝送すし、第 1 02から第 1 0 5のトランスポートバケツトとして、符号化オーディオストリームの残り半分のデータを伝送し、第 1 06のトランスポートバケツトとして、プライベートデータの残り半分のデータを伝送し、第 1 0 7のトランスポートパケットとして、 NU L Lデータの残り半分のデータを伝送するという多重化制御を行なうためのデータである。

C PU 3 9は、この生成されたスケジュールデータを、制御データ用の R AM4 1に記憶する。

ステップ S 1 3では、 C PU 3 9は、ステップ S 1 2において作成されたスケジュールデータに従って、符号化ビデオストリームおよび符号化オーディオストリームを多重化したトランスポートストリームを生成し、このトランスポートストリームを符号器側に伝送した場合に、復号器側のビデオ S T Dバッファおよぴオーディォ S T Dパッファに残ったデータがどのように推移するかをシュミレーションする。ステップ S 1 4では、 C PU 24 2は、ステップ S 1 3によって行われたシュミレション結果に基いて、復号器側のビデオ S TDバッファおよびオーデオ S TDバッファ共に破綻しないか否かを判断する。この多重化スケジュールに従って多重化したときに、ビデオ S TD ノくッファおよびオーディォ S T Dバッファ共に破綻しないと判断されると、ステップ S 1 5に進む。

一方、ステップ S 14のシユミレーシヨンの結果、復号器側のビデォ S TDバッファ又はオーディオ S TDバッファが破綻すると判断されると、ステップ S 1 2に戻り、先に作成された多重化スケジュールデータとは異なる別の多重化スケ一ジュールデータを作成する。例えば、先に計画した多重化スケジュールデータが、第 9図のように、 1 トランスポートストリーム内において符号化ビデオストリームと符号化オーディオストリームを 2分割するように多重化するためのデータであったとすると、新たに作成する別の多重化スケジュールデータは、符号化ビデオストリームと符号化オーディオストリームを 3分割するように多重化するためのデータであってもよい。ステップ S 1 4の結果が、「YE S」と判断されるまで、このステップ S 1 2、 S 1 3 および S 1 4の処理を繰り返す。

ステップ S 1 5では、 C PU 3 9は、ユーザからソースビデオデ一タおよびソースオーディオデータを符号化する符号化処理が指定されたか否かを判断する。

ステップ S 1 6では、 C PU 3 9は、 R AM 4 1に記憶されたスケジュールデータに従って、 P CRデータ、 PATデータ、 PMTデータ、符号化ビデオストリーム、符号化オーディォストリ一ム、プライベートデータおよび NU L Lデータを多重化するための多重化処理を行なう。

ステップ S 1 7では、 C PU 3 9は、 P CRデータ、 PATデータ、 PMTデータ、符号化ビデオストリーム、符号化オーディオストリ —ム、プライべ一トデータおよび N U L Lデータ等の様々なデータが多重化されたストリームからトランスポートストリームを生成する。ステップ S 1 8では、 C P U 3 9は、フレーム変数「n」をインクリメントして、ステップ S 1 6に戻り、次のビデオフレーム期間に関する処理を行なう。

つまり、 C P U 3 9は、実際に多重化処理（ステップ S 1 6 ) を行なう前に、多重化スケジュールデータを生成（ステップ S 1 2 ) し、その多重化スケジュールデータに基いて、各ビデオフレーム毎に多重化処理（ステップ S 1 6 ) およびトランスポート生成処理（ステップ S 1 7 ) を行なうように各回路を制御している。よって、本発明のトランスポートストリーム生成装置は、従来の装置のように各ビデオフレーム期間毎に多重化のためのスケジュールを生成する必要は無く、多重化スケジュールデータを一度だけ生成するようにしている。その結果、トランスポートストリームを生成するための処理時間を飛躍的に向上させることができ、ライブビデオプログラムを遅延無く伝送することが可能になった。

次に、第 1 0図のフローチャートの多重化処理（ステップ S 1 6 ) について、第 1 1図のフローチャートを参照してより詳しく説明する。第 1 1図は、作図スペースの関係で、第 1 1図 Aおよび第 1 1図 B に分割されている。この第 1 1図は、このステップ S 1 6をより詳しく説明するためのフローチヤ一トである。

ステップ S 1 6 0 0では、分割変数「 i」を「 1」にセットする。この分割変数とは、 1 ビデオフレーム期間に、符号化ビデオストリームおよび符号化オーディオストリームを何回分割するかを示すためのデータである。第 9図に示した例は、この分割変数「 i」は「 2」である。ステップ S I 6 0 1では、 C PU 3 9は、 RAM 4 1に記憶されたスケジュールデータに従って、 PATデータ、 PMTデータおよび P CRデータをそれぞれ出力するように、第 1のトランスポートバケツトから第 3のトランスポートバケツトに対応する期間、マルチプレクサ 3 6の端子を cに切り換える。つまり、このようにスイッチングすることによって、第 1のトランスポートバケツ卜に対応する期間には、 PATデータが多重化され、第 2のトランスポートパケットに対応する期間には、 PMTデータが多重化され、第 3のトランスポートパケットに対応する期間には、 P CRデータが多重化される。

ステップ S 1 60 2では、 C PU 3 9は、ビデオエンコーダ 3 1によって符号化された符号化ビデオストリームの、 1フィールドあたりのデータ量（field —bit 一 size [bit] ) を、ビデオエンコーダ 3 1 からインターフェース 4 2を介して受け取る。

ステップ S 1 60 3では、 C P U 3 9は、符号器 F I F Oバッファ 3 3にバッファリングされているトータルのデータ量を求める。具体的には、ビデオエンコーダ 3 1力 nフレーム期間（現在フレーム期間）において、符号器 F I FOバッファ 3 3が符号化ビデオストリームをバッファリングした結果、符号器 F I FOバッファ 3 3のトータルのデータ量がどれだけになつたかを求める。 n— 1フレーム期間（過去フレーム期間）において、符号器 F I FOバッファ 3 3に残っていた残存ビデオデータのデータ量を frame —bit —remain [bit]とすると、この符号器 F I FOバッファ 3 3のトータルのデータ量を fram e —bit 一 total [bit] は、

frame 一 bit ― total [bit]

= field― bit ― size [bit] X 2 + frame― bit 一 remain [bit] となる。ステップ S I 6 04では、 C PU 3 9は、 RAM 4 1に記憶されたスケジュールデータに従って、第 4から第 4 9 トランスポートバケツトとして出力する符号化ビデオストリームを出力するように、第 4のトランスポートバケツトから第 4 9のトランスポートバケツトに対応する期間、マルチプレクサ 3 6の端子を aに切り換える。つまり、このようにスィツチングすることによって、第 4のトランスポートパケットから第 4 9のトランスポートバケツトに対応する期間にわたって、符号器 F I F Oバッファ 3 3から符号化ビデオデータが出力される。なお、この第 4のトランスポートパケットから第 4 9のトランスポ一トバケツトに対応する期間に、符号器 F I FOバッファ 3 3から出力された符号化ビデオデータのサイズ out —video —size [bit]は、 out 一 video 一 size [bit] = 4 6ノヽ⁰ケット X 1 8 4ノィト X 8 ビッ h

= 6 77 1 2ビット

となる。

ステップ S 1 6 0 5では、 C PU 3 9は、符号器 F I F Oバッファ 3 3に残っている残存符号化ビデオデータのデータ量を算出する。ステツプ S 1 6 04の処理によって符号器 F I F Oバッファ 3 3にバッファリングされていた符号化ビデオデータを読み出したので、符号器 F I F Oバッファ 3 3に残っている残存符号化ビデオデータのデータ量 frame —bit —remain [bit]は減少している。従って、この残存符号化ビデオデータのデータ量 frame —bit —remain [bit]は、 frame ― bit 一 remain [bit」

= frame一 bit ― total [bit] ― out ― video 一 size [bit] となる。

ステップ S I 6 0 6では、 C P U 3 9は、オーディオエンコーダ 3 2によって符号化された符号化オーディオストリームの、 1フィールドあたりのデータ量（field —bit —size [bit]) を、オーディオェンコーダ 3 2からインターフェースを介して受け取る。

ステップ S 1 60 7では、 C PU 3 9は、オーディオエンコーダ 3 2が nフレーム期間において、符号器 F I FOバッファ 34が符号化オーディオストリームをバッファリングした結果、符号器 F I F Oバッファ 34のトータルのデータ量がどれだけになつたかを求める。 n _ 1フレーム期間（過去フレーム期間）において、符号器 F I FOパッファ 34に残っていた残存オーディオデータのデータ量を frame ― bit —remain [bit]とすると、この符号器 F I F Oバッファ 34のト一タルのオーディオデータ量 frame 一 bit —total [bit] は、 frame ― bit 一 total [bit]

= field 一 bit 一 size [bit] X 2 + frame一 bit ― remain [bit] となる。

ステップ S I 608では、 C PU 3 9は、 RAM 4 1に記憶されたスケジュールデータに従って、第 50から第 54 トランスポートパケットとして出力する符号化オーディォストリームを出力するように、第 50のトランスポートバケツトから第 54のトランスボートバケツトに対応する期間、マルチプレクサ 36の端子を bに切り換える。つまり、このようにスイッチングすることによって、第 50のトランスポートパケットから第 54のトランスポートバケツトに対応する期間にわたつて、符号器 F I FOバッファ 34から符号化オーディオストリームが出力される。なお、この第 50のトランスポートパケットから第 54のトランスポートバケツトに対応する期間に、符号器 F I F Oバッファ 34から出力された符号化オーディオデータのサイズ out audio size [Dit]は、 out 一 audio —size [bit] = 5ノケット X 1 84ノくィト X 8ビット

= 736 0ビット

となる。

ステップ S 1 609では、 C PU 3 9は、符号器 F I FOバッファ 34に残っている残存符号化オーディォデータのデータ量 frame — bi t —remain [bit]を求める。ステップ S 1 608の処理によって符号器 F I FOバッファ 34にバッファリングされていた符号化オーディォデータを読み出した結果、符号器 F I FOバッファに残存している残存オーディオデータのデータ量が減る。従って、この残存符号化ォ一ティオアータのデータ量 frame 一 bit —remain [bit]は、

frame ― bit 一 remain [bit]

= rrarae― it 一 total [bit] ― out ― audio ― size [bit] となる。

ステップ S I 6 1 0では、 CPU 3 9は、 RAM 4 1に記憶されたスケジュールデータに従って、プライべ一トデータをそれぞれ出力するように、第 55のトランスポートバケツトに対応する期間、マルチプレクサ 3 6の端子を cに切り換える。つまり、このようにスィッチングすることによって、第 5 5のトランスポートバケツトに対応する期間には、プライベートデータが多重化される。

ステップ S 1 6 1 1では、 C P U 39は、 RAM 4 1に記憶されたスケジュールデータに従って、 NU L Lデータをそれぞれ出力するように、第 5 6のトランスポートパケットに対応する期間、マルチプレクサ 36の端子を cに切り換える。つまり、このようにスイッチングすることによって、第 56のトランスポートパケットに対応する期間には、 NU L Lデータが多重化される。このように、 NUL Lデータを多重化することによって、トランスポートストリームのデータ量は、各ビデオフレームにおいて一定となる。

ステップ S 1 6 1 2では、 C PU 3 9は、 RAM 4 1に記憶されたスケジュールデータに従って、第 5 7から第 1 0 1 トランスポートパケットとして出力する符号化ビデオストリームを出力するように、第 5 7のトランスポートパケットから 1 0 1のトランスポートバケツトに対応する期間、マルチプレクサ 3 6の端子を aに切り換える。つまり、このようにスイッチングすることによって、第 5 7のトランスポートバケツトから第 1 0 1のトランスポートバケツトに対応する期間にわたつて、符号器 F I FOバッファ 3 3から符号化ビデオデータが出力される。なお、この第 5 7のトランスポートパケットから第 1 0 1のトランスポートバケツトに対応する期間に、符号器 F I FOパッファ 3 3から出力された符号化ビデオデータのサイズ out —video ― size [bit]は、

out —video —size [bit] = 45ノケット X 1 84バイト X 8ビッ卜

= 6 6 240ビット

となる。

ステップ S 1 6 1 3では、 C P U 3 9は、符号器 F I F Oバッファ 3 3に残っている残存符号化ビデオデータのデータ量を表わすデータ frame —bit —remain [bit]を新たに更新する。なぜなら、ステップ S 1 6 1 2の処理によって符号器 F I FOバッファ 3 3にバッファリングされていた符号化ビデオデータを読み出したので、符号器 F I F Oバッファ 3 3に残っている残存符号化ビデオデータのデータ量 fram e —bit —remain [bit]が減少するからである。ステップ S 1 6 1 2 の処理を行なう前に符号器 F I F〇バッファ 3 3に残っていた残存符号化ビデオデータのデータ量は、ステップ S 1 6 0 5において求めた符号器 F I FOバッファ 3 3に残っている残存符号化ビデオデータのデータ量 frame —bit —remain [bit]によって求められているので、この新しく更新される残存符号化ビデオデータのデータ量 frame — bi t 一 remain [bit]は、

irame ― bit —remain [bit]

= frame一 bit ― remain [bit]― out 一 video ― size [bit] となる。

ステップ S I 6 1 4では、 C PU 3 9は、 RAM 4 1に記憶されたスケジュールデータに従って、第 1 0 2から第 1 0 5のトランスポートパケットとして出力する符号化オーディオストリームを出力するように、第 1 0 2のトランスポートパケットから第 1 0 5のトランスポ一トバケツトに対応する期間、マルチプレクサ 3 6の端子を bに切り換える。つまり、このようにスイッチングすることによって、第 1 0 2のトランスポートバケツトから第 1 0 5のトランスポートバケツトに対応する期間にわたって、符号器 F I F Oバッファ 3 4から符号化オーディオデータが出力される。なお、この第 1 0 2のトランスポートバケツトから第 1 0 5のトランスポートバケツトに対応する期間に、符号器 F I FOバッファ 3 4から出力された符号化オーディオデータのサイズ out 一 audio 一 size [bit]は、

out 一 audio 一 size [bit] = 4パケット x l 84バイト X 8ビット

= 5 8 8 8 ビット

となる。

ステップ S 1 6 1 5では、 C P U 3 9は、符号器 F I F Oバッファ 3 4に残っている残存符号化オーディオデータのデータ量を表わす ame —bit —remain [bit]を新たに更新する。なぜなら、ステップ S 1 6 1 4の処理によって符号器 F I FOバッファ 34にバッファリングされていた符号化オーディオデータを読み出したので、符号器 F I F〇バッファ 34に残存している残存オーディオデータのデータ量 fr arae —bit —remain [bit]が減するからである。ステップ S I 6 1 4 の処理を行なう前に符号器 F I FOバッファ 34に残っていた残存符号化ビデオデータのデータ量は、ステップ S 1 6 0 9において求めた符号器 F I FOバッファ 3 4に残っている残存符号化オーディオデータのデータ量 frame —bit —remain [bit]によって求められているので、その結果、この新たに更新される残存符号化オーディオデータのデータ量 i'rarae 一 oit 一 remain [bit]は、

frame 一 bit 一 remain [bit]

= frame― bit ― total [bit] 一 out ― audio 一 size [bit] となる。

ステップ S I 6 1 6では、 C PU 3 9は、 RAM 4 1に記憶されたスケジュールデータに従って、残りのプライべ一トデータをそれぞれ出力するように、第 1 0 6のトランスポートバケツトに対応する期間において、マルチプレクサ 3 6の端子を cに切り換える。つまり、このようにスィツチングすることによって、第 1 0 6のトランスポートパケットに対応する期間には、残りのプライベートデータが多重化される。

ステップ S 1 6 1 7では、 C P U 3 9は、 RAM 4 1に記憶されたスケジュールデータに従って、残りの NU L Lデータをそれぞれ出力するように、第 1 0 7のトランスポートバケツトに対応する期間、マルチプレクサ 3 6の端子を cに切り換える。つまり、このようにスィツチングすることによって、第 1 0 7のトランスポートバケツトに対応する期間には、残りの N U L Lデータが多重化される。このように、 N U L Lデータを多重化することによって、トランスポートストリームのデータ量は、各ビデオフレームにおいて一定となる。

ステップ S 1 6 1 8では、分割変数 i をインクリメントして、ステップ S 1 6 1 9に進む。

ステップ S 1 6 1 9では、分割変数 iが指定された分割回数であるときには、ステップ S 1 7に戻り、分割変数 iがまだ指定された分割回数に至らないときには、ステップ S 1 6 1 2に戻る。第 1 2図に示された例を参照して、この多重化スケジュールに基いたトランスポートストリームの生成方法を概念的に説明する。

ビデオエンコーダ 3 1から出力された符号化ビデオストリ一ムのデータ量が多い場合には、その符号化ビデオストリームは、 1つのトランスポ一トストリームとして多重化されるのでは無い。例えば、第 1 のビデオフレーム期間に生成された第 1の符号化ビデオストリームは、 6 7 7 1 2 ビットの第 1のストリーム部分 V 1— 1 と、 6 6 2 4 0 ビットの第 2のストリーム部分と、その残りの第 3のストリーム部分に V 1 _ 3に分けられて多重化処理される。第 1のストリーム部分 V 1— 1のサイズが 6 7 7 1 2ビットとされた理由は、先に説明したスケジユーリングデータに基いて、この第 1のストリーム部分 V 1— 1 を、第 1 のトランスポートストリーム T 1の前半の 4 6個のトランスポートパケット（6 7 7 1 2ビット）を使用して伝送するためである。また、同じように、第 2のストリーム部分 V 1— 2のサイズが 6 6 2 4 0ビットとされた理由は、このスケジユーリングデータに基いて、この第 2のストリーム部分 V 1— 2を、第 1のトランスポートストリーム T 1の後半の 4 5個のトランスポートパケット（ 6 6 2 4 0 ビット）を使用して伝送するためである。

第 1のトランスポートストリリーム T 1のビデオストリームを伝送するための 9 1個のトランスポ一トストリームは、第 1のストリ一ム部分 V 1— 1および第 2のストリーム部分 V 1 一 2を伝送するために使用されるので、第 3のストリーム部分 V 1— 3を伝送するために第 1のトランスポートストリーム T 1 のトランスポートバケツトは使用することができない。本発明のトランスポートストリーム生成装置では、この第 3のストリーム部分 V 1— 3第 1のトランスポートストリ —ム T 1 として伝送するのでは無く、第 2のトランスポートストリーム T 2の前半の 4 6個のトランスポートバケツトの幾つかを使用して伝送するようにしている。

また、第 2のビデオフレーム期間の第 1 のストリーム部分 V 2— 1 は、第 1のビデオフレーム期間の第 3のストリーム部分 V 1 — 3と一緒に、第 2のトランスポ一トストリーム T 2の前半の 4 6個のトランスポートバケツトを使用して伝送される。つまり、第 2のビデオフレーム期間において、 1つ前のビデオフレーム期間（第 1のビデオフレーム期間）に伝送されずに符号器 F I F Oバッファ 3 3に残っていた、第 3のストリーム部分 V 1— 3のデータサイズと、第 2のビデオフレーム期間においてバッファに新しく記憶された第 1のストリーム部分 V 2 - 1のデータサイズを合わせると、丁度、 6 7 7 1 2ビットとなる。同じようにして、第 2のビデオフレーム期間の第 2のストリーム部分 V 2— 2と第 3のビデオフレーム期間の第 1のストリーム部分 V 3— 1 とを、第 2のトランスポートストリームの後半の 4 5個のトランスポートバケツトを使用して伝送する。

次に、オーディオストリームに関して説明する。

まず、第 1 のオーディオフレーム期間中にオーディオエンコーダから出力された第 1 の符号化オーディオストリームは、 7 3 6 0 ビットの第 1のストリーム部分 A 1 _ 1 と、残りの第 2のストリーム部分 A 1 _ 2とに分けられて伝送される。第 1 のストリーム部分 A 1— 1 のサイズが 7 3 6 0ビットとされた理由は、先に説明したスケジユーリングデータに基いて、この第 1 のストリーム部分 A 1— 1を、第 1 のトランスポートストリーム T 1 の前半の 5個のトランスポートバケツト（7 3 6 0ビット）を使用して伝送するためである。

第 1のトランスポートストリリーム T 1のオーディオストリームを伝送するための 9個のトランスポートバケツトのうちの前半の 5個のトランスポートパケットは、第 1 のストリーム部分 A 1— 1を伝送するために使用されるので、残りの第 2のストリーム部分 A 1— 2は、後半の 5個のトランスポートバケツトを使用して伝送される。

また、第 2のオーディオフレームの第 1のストリーム部分 A 2 - 1 は、第 1 のオーディオフレームの残りである第 2のストリーム部分 A 1— 2 と同じように、後半の 5個のトランスポートパケットを使用して伝送する。従って、第 1のオーディオフレームの残りである第 2のストリ一ム部分 A 1— 2のデータ量と、第 2のオーディオフレームの第 1のストリ一ム部分 A 2— 1のデータ量を合わせると、 4個のトランスポートパケットのデータ量（5 8 8ビットに）になる。

同じように、第 2のオーディオフレームの第 2のストリーム部分 A 2— 2、第 3のオーディオフレームの第 1およぴ第 2のストリーム部分 A 3— 1 、 A 3 _ 2、第 4のオーディオフレームの第 1および第 2 のストリーム部分 A 4— 1 、 A 4— 2についても、同じようにトランスポ一トストリームのいずれかのトランスポートバケツトを使用して伝送するようにしている。

以上のように、、本発明のトランスポートストリーム生成装置は、各ビデオフレームにおいて共通で使用するスケジュールデータを作成し、そのスケージユールデ一タを使用することによって、ビデオフレーム周期において多重化される符号化ビデオストリームのデータ量および符号化オーディオストリームのデータ量は一定となる。よって、従来のように各フレーム毎に S T Dバッファがオーバフローするか否かをチェックするシユミレーションを行なわなくて良いので、リアルタイムにプログラムを多重化することができる。

本発明のトランスポートストリーム生成装置は、 1 ビデオフレーム期間に多重化される符号化ビデオストリームのデータ量および所定期間に多重化される符号化オーディオストリームのデータ量のそれぞれカ、どのビデオフレーム期間でも略一定となるようにしている。また

、 1 ビデオフレーム期間に生成されたトランスポ一トストリ一ムのデータ量が、どのビデオフレーム期間でも略一定となるようにされている。

よって、このトランスポートストリーム生成装置から出力されるトランスポートストリームは、どのフレーム期間においても一定のデータ量となるので、本発明のトランスポートストリーム生成装置は、復号器 S T Dバッファが破綻するか否かを判断するためのシュミレーシヨンを各フレーム毎に行なう必要がない。その結果、本発明のトランスポートストリーム生成装置は、従来のシュミレ一ションを必要とする装置に比較して高速にトランスポートストリームを生成することができ、また、さらにリアルタイムでトランスポートストリームを生成することができる。

また、本発明のトランスポ一トストリーム生成装置は、目標ビデオ符号化レートおよび目標オーディオ符号化レートに基いて、符号化されたビデオストリームおよび符号化されたオーディオストリ一ムを多重化するためのスケージユールデータを生成するようにしている。また、このスケジュールデータは、この作成されたスケジュールデータに従って、符号化ビデオストリームおよび符号化オーディオストリームを多重化し、トランスポートストリームとして復号装置に伝送した場合、復号装置の S D Tバッファが破綻しないように、多重化処理をおこなうためのデータとなっている。よって、本発明のトランスポートストリーム生成装置は、このようなスケジュールデータを生成し、全てのビデオフレーム期間において、このスケジュールデータに従つた多重化処理を行なうことによって、容易に、復号装置の S D Tバッファが破綻することを防止している。つまり、本発明のトランスポートストリーム生成装置は、従来の装置のように、各ビデオフレーム毎に新たなスケジュールを計画し、さらに各ビデオフレーム毎にその計画したスケジュールに応じてシュミレーションをするといった複雑な処理を行なう必要が一切ない。

Claims

請求の範囲

1 . ソースビデオデータおよびソースオーディオデータを伝送するためのトランスポートストリームを生成するためのトランスポートストリ一ム生成装置において、

指定されたビデオ符号化レート基いて、上記ソースビデオデータを符号化して符号化ビデオトリームを生成すると共に、指定されたォーディォ符号化レートに基いて上記ソースオーディォデータを符号化して符号化オーディオストリームを生成する符号化手段と、

所定期間毎に、上記符号化ビデオストリームと上記符号化オーディオストリームを多重化する多重化手段と、

上記ビデオストリームおよび上記オーディオストリームが多重化された多重化ストリームから上記トランスポートストリームを生成するトランスポートストリーム生成手段と、

上記所定期間に多重化される上記符号化ビデオストリームのデータ量および上記所定期間に多重化される上記符号化オーディオストリームのデータ量のそれぞれが、どの所定期間でも略一定となるように上記符号化手段、上記多重化手段および上記トランスポートストリーム生成手段を制御する制御手段とを備えたトランスポートストリーム生成装置。

2 . 請求項 1記載のトランスポートストリーム生成装置において、上記制御手段は、

上記指定されたビデオ符号化レートおよび上記指定されたオーディォ符号化レートに基いて、上記符号化されたビデオストリームおよび上記符号化されたオーディオストリームを多重化するためのスケージユールを生成する手段を備え、どの所定期間においても、この多重化スケジュールに従った多重化処理を行なうように上記多重化手段および上記トランスポートストリーム生成手段を制御することを特徴とするトランスポートストリーム生成装置。

3 . 請求項 2記載のトランスポートストリーム生成装置において、上記スケジュールは、上記符号化ビデオストリームおよび上記符号化オーディオストリームをどの順で伝送するかを定義するためのデータであって、所定期間に伝送されるトランスポートとして、どの程度の上記符号化ビデオストリームおよび上記符号化オーディオストリームを伝送するかを定義するためのデータであることを特徴とするトランスポートストリーム生成装置。

4 . 請求項 2記載のトランスポートストリーム生成装置において、上記スケジュールは、上記所定期間に伝送されるトランスポートとして伝送される上記符号化ビデオストリームおよび上記符号化オーディォストリームのデータ量を定義するためのデータであることを特徴とするトランスポートストリーム生成装置。

5 . 請求項 2記載のトランスポートストリーム生成装置において、上記所定期間は、 1ビデオフレーム期間であって、

上記制御手段は、

上記指定されたビデオ符号化レートに基いて、上記 1ビデオフレーム期間に伝送されるべき符号化ビデオストリームのデータ量を演算し、上記指定されたオーディオ符号化レートに基いて、上記 1ビデオフレーム期間に伝送されるべき符号化オーディオストリームのデータ量を演算し、上記演算した符号化ビデオストリームのデータ量および上記演算した符号化オーディオストリームのデータ量に基いて、上記スケジュールを生成することを特徴とするトランスポートストリーム生成装置。

6 . 請求項 2記載のトランスポートストリーム生成装置において、上記所定期間は、 1 ビデオフレーム期間であって、上記制御手段は、

上記指定されたビデオ符号化レ一トに基いて、上記符号化ビデオストリームを伝送するために必要なトランスポートバケツト数を演算し、上記指定されたオーディオ符号化レートに基いて、上記符号化ォーディォストリームを伝送するために必要なトランスポートパケット数を演算し、上記符号化ビデオストリームに対するトランスポートパケット数および上記符号化オーディオストリームに対するトランスポートバケツト数に基いて、上記スケジュールを生成することを特徴とするトランスポートストリーム生成装置。

7 . 請求項 2記載のトランスポートストリーム生成装置において、上記制御手段は、

上記所定期間毎に、上記スケジュールによって定義されたデータ量となるように、上記符号化ビデオストリームおよび上記符号化オーディォストリ一ムを多重化することを特徴とするトランスポートストリーム生成装置。

8 . 請求項 2記載のトランスポートストリーム生成装置において、上記符号化手段から出力された符号化ビデオストリームをバッファするためのビデオ符号器バッファ手段と、

上記符号化手段から出力された符号化オーディオストリームをバッファするオーディオ符号器バッファ手段とをさらに備え、

上記制御手段は、

n - 1番めのビデオフレーム期間の符号化ビデオストリームのうち n— 1番めのトランスポートストリームとして伝送されずに符号器バッファに残った残存デ一タ量と、 n番めのビデオフレーム期間の符号化ビデオストリ一ムとして上記符号化手段から出力された符号化ビデォストリ一ムのデータ量とを累算した累算データ量が、上記スケジュールによって定義された 1 トランスポ一トストリームにおける符号化ビデオストリームのデータ量より多い場合には、

上記 n— 1番めのビデオフレーム期間の残存データと、 n番めのビデオフレーム期間の符号化ビデオストリームの前半部分のデータとを、 n番めのビデオフレーム期間に対応したトランスポートストリームとして多重化し、

n番めのビデオフレーム期間の符号化ビデオストリームの残りの部分のデータを、 n + 1番めのビデオフレーム期間に対応したトランスポートストリームとして多重化するように上記多重化手段およびトランスポートストリーム生成手段を制御することを特徴とするトランスポートストリーム生成装置。

9 . 請求項 2記載のトランスポートストリーム生成装置において、上記符号化手段から出力された符号化ビデオストリームをバッファするためのビデオ符号器バッファ手段と、

上記制御手段は、

過去ビデオフレーム期間におけるトランスポートストリーム生成処理の結果上記ビデオ符号器バッファから読み出されずに残ったビデオデータのデータ量と、現在ビデオフレーム期間において上記符号化手段から出力された符号化ビデオストリームのデータ量とに基いて、現在ビデオフレーム期間において上記ビデオ符号器バッファから読み出されるデータ量を制御し、

過去ビデオフレーム期間におけるトランスポートストリーム生成処理の結果上記オーディオ符号器バッファから読み出されずに残ったォ —ディォデータのデータ量と、現在ビデオフレーム期間において上記符号化手段から出力された符号化オーディオストリームのデータ量とに基いて、現在ビデオフレーム期間において上記オーディオ符号器バッファから読み出すデータ量を制御することを特徴とするトランスポ一トストリ一ム生成装置。

1 0 . 請求項 1記載のトランスポートストリーム生成装置において、上記所定期間は、 1 ビデオフレームであって、

上記制御手段は、どのビデオフレーム期間においても、生成されるトランスポーとストリームのデータレートが略一定となるように上記多重化手段およびトランスポートストリーム生成手段を制御することによって、各ビデオフレーム毎における復号器バッファにおけるバッファ残量のシュミレーション処理を行なわずに、復号器バッファの破綻を防止するようにしたことを特徴とするトランスポートストリーム生成装置。

1 1 . ソースビデオデータおよびソースオーディオデータを伝送するためのトランスポートストリームを生成するためのトランスポートストリーム生成装置において、

指定されたビデオ符号化レート基いて、上記ソースビデオデータを符号化して符号化ビデオトリームを生成すると共に、指定されたォーディォ符号化レートに基いて上記ソースオーディオデータを符号化して符号化オーディオストリームを生成する符号化手段と、

上記ビデオストリームおよび上記オーディオストリ一ムが多重化された多重化ストリームから上記トランスポートストリームを生成するトランスポートストリーム生成手段と上記所定期間にトランスポ一トストリームとして多重化される上記符号化ビデオストリームのデータレートおよび上記所定期間に多重化される上記符号化オーディオストリ一ムのデータレートが、どの所定期間でも略一定レートとなるように上記符号化手段、上記多重化手段および上記トランスポートストリーム生成手段を制御する制御手段とを備えたことを特徴とするトランスポートストリーム生成装置。

1 2 . 請求項 1 1記載のトランスポートストリーム生成装置において上記制御手段は、

上記指定されたビデオ符号化レートおよび上記指定されたオーディォ符号化レ一トに基いて、上記符号化されたビデオストリームおよび上記符号化されたオーディオストリームを多重化するためのスケージユールを生成する手段を備え、どの所定期間においても、この多重化スケジュールに従った多重化処理を行なうように上記多重化手段および上記トランスポートストリーム生成手段を制御することを特徴とするトランスポートストリーム生成装置。

1 3 . 請求項 1 2記載のトランスポートストリーム生成装置において上記スケジュールは、上記符号化ビデオストリームおよび上記符号化オーディオストリームをどの順で伝送するかを定義するためのデータであって、所定期間に伝送されるトランスポートとして、どの程度の上記符号化ビデオストリームおよび上記符号化オーディオストリームを伝送するかを定義するためのデータであることを特徴とするトランスポ一トストリ一ム生成装置。

1 4 . 請求項 1 2記載のトランスポートストリーム生成装置において上記スケジュールは、上記所定期間に伝送されるトランスポートとして伝送される上記符号化ビデオストリームおよび上記符号化オーディォストリームのデータ量を定義するためのデータであることを特徴とするトランスポートストリ一ム生成装置。

1 5 . 請求項 1 2記載のトランスポートストリーム生成装置において上記所定期間は、 1ビデオフレーム期間であって、

上記制御手段は、

上記指定されたビデオ符号化レートに基いて、上記 1 ビデオフレーム期間に伝送されるべき符号化ビデオストリームのデータ量を演算し、上記指定されたオーディオ符号化レートに基いて、上記 1ビデオフレーム期間に伝送されるべき符号化オーディオストリームのデータ量を演算し、上記演算した符号化ビデオストリームのデータ量および上記演算した符号化オーディオストリームのデータ量に基いて、上記スケジュールを生成することを特徴とするトランスポートストリーム生成装置。

1 6 . 請求項 1 2記載のトランスポートストリーム生成装置において上記所定期間は、 1 ビデオフレーム期間であって、

上記制御手段は、

上記指定されたビデオ符号化レートに基いて、上記符号化ビデオストリームを伝送するために必要なトランスポートバケツト数を演算し、上記指定されたオーディオ符号化レートに基いて、上記符号化ォーディォストリームを伝送するために必要なトランスポートバケツト数を演算し、上記符号化ビデオストリームに対するトランスポートパケット数および上記符号化オーディオストリームに対するトランスポートパケット数に基いて、上記スケジュールを生成することを特徴とするトランスポートストリーム生成装置。

1 7 . 請求項 1 2記載のトランスポートストリーム生成装置において上記制御手段は、

上記所定期間毎に、上記スケジュールによって定義されたデータ量となるように、上記符号化ビデオストリームおよび上記符号化オーディォストリームを多重化することを特徴とするトランスポートストリーム生成装置。

1 8 . 請求項 1 2記載のトランスポートストリーム生成装置において上記符号化手段から出力された符号化ビデオストリームをバッファするためのビデオ符号器バッファ手段と、

上記制御手段は、

n - 1番めのビデオフレーム期間の符号化ビデオストリームのうち n—1番めのトランスポートストリームとして伝送されずに符号器バッファに残った残存データ量と、 n番めのビデオフレーム期間の符号化ビデオストリームとして上記符号化手段から出力された符号化ビデォストリームのデータ量とを累算した累算データ量が、上記スケジュールによって定義された 1 トランスポートストリームにおける符号化ビデオストリームのデータ量より多い場合には、

n番めのビデオフレーム期間の符号化ビデオストリ一ムの残りの部分のデータを、 _n + 1番めのビデオフレーム期間に対応したトランスポートストリームとして多重化するように上記多重化手段およびトランスポートストリーム生成手段を制御することを特徴とするトランスポートストリーム生成装置。

1 9 . 請求項 1 2記載のトランスポートストリーム生成装置において上記符号化手段から出力された符号化ビデオストリームをバッファするためのビデオ符号器バッファ手段と、

上記制御手段は、

過去ビデオフレーム期間におけるトランスポートストリーム生成処理の結果上記オーディオ符号器バップアから読み出されずに残ったォ一ディォデータのデータ量と、現在ビデオフレーム期間において上記符号化手段から出力された符号化オーディオストリームのデータ量とに基いて、現在ビデオフレーム期間において上記オーディオ符号器バッファから読み出すデータ量を制御することを特徴とするトランスポ一トストリーム生成装置。

2 0 . 請求項 1 1記載のトランスポートストリーム生成装置において上記所定期間は、 1ビデオフレームであって、

上記制御手段は、どのビデオフレーム期間においても、生成されるトランスポーとストリームのデータレートが略一定となるように上記多重化手段およびトランスポートストリーム生成手段を制御することによって、各ビデオフレーム毎における復号器バッファにおけるパッファ残量のシュミレーション処理を行なわずに、復号器バッファの破綻を防止するようにしたことを特徴とするトランスポートストリーム生成装置。

2 1 . ソースビデオデータおよびソースオーディオデータを伝送するためのトランスポートストリームを生成するためのトランスポートストリーム生成装置において、

指定されたビデオ符号化レート基いて、上記ソースビデオデータを符号化して符号化ビデオトリ一ムを生成すると共に、指定されたォーディォ符号化レートに基いて上記ソースオーディオデータを符号化して符号化ォ一ディォストリームを生成する符号化手段と、

所定期間毎に、上記符号化ビデオストリームと上記符号化オーディォストリームを多重化する多重化手段と、

上記トランスポートストリームのデータレートがどの所定期間においても一定となるように、上記符号化手段、上記多重化手段および上記トランスポートストリーム生成手段を制御する制御手段とを備えたことを特徴とするトランスポートストリーム生成装置。

2 2 . ソースビデオデータおよびソースオーディオデータを伝送するためのトランスポートストリームを生成するためのトランスポートストリーム生成装置において、

指定されたビデオ符号化レート基いて上記ソースビデオデータを符号化しすると共に、指定されたオーディオ符号化レートに基いて上記ソースオーディオデータを符号化する符号化手段と、

所定期間毎に上記符号化ビデオストリームと上記符号化オーディオストリームとを多重化することによって、上記トランスポートストリームを生成するトランスポートストリーム生成手段と、

上記指定されたビデオ符号化レートおよび上記指定されたオーディォ符号化レートに基いて、符号化されたビデオストリームおよび符号化されたオーディオストリームを多重化するためのスケージユールを生成する手段を備え、どの所定期間においても、この多重化スケジュールに従った多重化処理を行なうように上記トランスポートストリーム生成手段を制御する制御手段と

を備えたことを特徴とするトランスポートストリーム生成装置。

2 3 . ソースビデオデ一タおよびソースオーディオデータからトランスポートストリ一ムを生成するためのトランスポートストリーム生成方法において、

指定されたビデオ符号化レート基いて、上記ソースビデオデータを符号化しすると共に、指定されたオーディオ符号化レー卜に基いて上記ソースオーディオデータを符号化し、

多重化される上記符号化ビデオストリームのデータ量がどの所定期間でも略一定量であって、且つ、多重化される符号化オーディオストリームのデータ量がどの所定期間でも略一定量となるように、上記所定期間毎に、上記上記符号化ビデオストリームと上記符号化オーディォストリームを多重化し、

上記符号化ビデオストリームおよび上記符号化オーディオストリームが多重化されたストリームから上記トランスポートストリームを生成することを特徴とするトランスポートストリ一ム生成方法。

2 4 . 請求項 2 3記載のトランスポートストリーム生成方法において上記指定されたビデオ符号化レートおよび上記指定されたオーディォ符号化レートに基いて、上記符号化されたビデオストリームおよび上記符号化されたオーディオストリームを多重化するためのスケージユールを生成し、

どの所定期間においても、この多重化スケジュールに従つた多重化処理を行なうことを特徴とするトランスポートストリーム生成方法。

2 5 . 請求項 2 4記載のトランスポートストリーム生成方法において上記スケジュールは、上記符号化ビデオストリームおよび上記符号化オーディオストリ一ムをどの順で伝送するかを定義するためのデータであって、所定期間に伝送されるトランスポートとして、どの程度の上記符号化ビデオストリームおよび上記符号化オーディオストリームを伝送するかを定義するためのデータであることを特徴とするトランスポートストリーム生成方法。

2 6 . 請求項 2 4記載のトランスポートストリーム生成方法において上記スケジュールは、上記所定期間に伝送されるトランスポートとして伝送される上記符号化ビデオストリームおよび上記符号化オーディォストリ一ムのデータ量を定義するためのデータであることを特徴とするトランスポートストリーム生成方法。

2 7 . 請求項 2 4記載のトランスポートストリーム生成方法において上記所定期間は、 1 ビデオフレーム期間であって、

上記指定されたビデオ符号化レートに基いて、上記 1 ビデオフレーム期間に伝送されるべき符号化ビデオストリームのデータ量を演算し、上記指定されたオーディオ符号化レートに基いて、上記 1 ビデオフレーム期間に伝送されるべき符号化オーディオストリームのデータ量を演算し、上記演算した符号化ビデオストリームのデータ量および上記演算した符号化オーディオストリームのデータ量に基いて、上記スケジュールを生成することを特徴とするトランスポートストリーム生成方法。

2 8 . 請求項 2 4記載のトランスポートストリーム生成方法において上記所定期間は、 1 ビデオフレーム期間であって、

上記指定されたビデオ符号化レートに基いて、上記符号化ビデオストリームを伝送するために必要なトランスポートバケツト数を演算し、上記指定されたオーディオ符号化レートに基いて、上記符号化ォーディォストリームを伝送するために必要なトランスポートバケツト数を演算し、上記符号化ビデオストリームに対するトランスポートパケット数および上記符号化オーディオストリームに対するトランスポートバケツト数に基いて、上記スケジュールを生成することを特徴とするトランスポートストリ一ム生成方法。

2 9 . 請求項 2 4記載のトランスポートストリーム生成方法において上記所定期間毎に、上記スケジュールによって定義されたデータ量となるように、上記符号化ビデオストリームおよび上記符号化オーディォストリ一ムを多重化することを特徴とするトランスポートストリーム生成方法。

3 0 . 請求項 2 4記載のトランスポ一トストリーム生成方法において、

上記所定期間は、 1 ビデオフレーム期間であって、

n— 1番めのビデオフレーム期間の符号化ビデオストリームのうち n— 1番めのトランスポートストリームとして伝送されずに符号器バッファに残った残存データ量と、 n番めのビデオフレーム期間の符号化ビデオストリームとして符号化された符号化ビデオストリ一ムのデータ量とを累算した累算データ量が、上記スケジュールによって定義された 1 トランスポートストリームにおける符号化ビデオストリームのデータ量より多い場合には、

上記 n— 1番めのビデオフレーム期間の残存データと、 n番めのビデオフレーム期間の符号化ビデオストリームの 1部分のデータとを、 n番めのビデオフレーム期間に対応したトランスポートストリームとして多重化し、

n番めのビデオフレーム期間の符号化ビデオストリ一ムの残りの部分のデータを、 n + 1番めのビデオフレーム期間に対応したトランスポートストリームとして多重化することを特徴とするトランスポートストリーム生成方法。

3 1 . 請求項 2 4記載のトランスポートストリーム生成方法において上記所定期間は、 1 ビデオフレーム期間であって、

過去ビデオフレーム期間におけるトランスポートストリーム生成処理の結果、ビデオ符号器バッファから読み出されずに残ったビデオデータのデータ量と、現在ビデオフレーム期間において符号化された符号化ビデオストリームのデータ量とに基いて、現在ビデオフレ一ム期間において上記ビデオ符号器バッファから読み出されるデータ量を制御し、

過去ビデオフレーム期間におけるトランスポートストリーム生成処理の結果、オーディオ符号器バッファから読み出されずに残ったオーディォデータのデータ量と、現在ビデオフレーム期間において上記符号化手段から出力された符号化オーディオストリームのデータ量とに基いて、現在ビデオフレーム期間において上記オーディオ符号器バッファから読み出すデータ量を制御することを特徴とするトランスポートストリ一ム生成方法。

3 2 . 請求項 2 3記載のトランスポートストリーム生成方法において上記所定期間は、 1ビデオフレームであって、

どのビデオフレーム期間においても、生成されるトランスポ一とストリームのデータレートが略一定となるように上記多重化手段およびトランスポートストリーム生成手段を制御することによって、各ビデオフレーム毎における復号器バッファにおけるバッファ残量のシュミレーション処理を行なわずに、復号器バッファの破綻を防止するようにしたことを特徴とするトランスポートストリーム生成方法。

3 3 . ソースビデオデータおょぴソースオーディオデータからトランスポートストリームを生成するためのトランスポートストリーム生成方法において、

指定されたビデオ符号化レート基いて、上記ソースビデオデータを符号化すると共に、指定されたオーディオ符号化レートに基いて上記ソースオーディオデータを符号化し、多重化される上記符号化ビデオストリームのデータレートがどの所定期間でも略一定レートであって、且つ、多重化される符号化オーディォストリームのデータレートが、どの所定期間でも略一定レートとなるように、上記所定期間毎に、上記上記符号化ビデオストリームと上記符号化オーディオストリームを多重化し、

上記符号化ビデオストリームおよび上記符号化オーディオストリームが多重化されたトリームから上記トランスポートストリームを生成することを特徴とするトランスポートストリーム生成方法。

3 4 . ソースビデオデータおよびソースオーディオデータを伝送するためのトランスポートストリームを生成するためのトランスポートストリーム生成方法において、

指定されたビデオ符号化レート基いて、上記ソースビデオデータを符号化すると共に、指定されたオーディオ符号化レートに基いて上記ソースオーディォデータを符号化し、

上記トランスポートストリームのデータレートがどの所定期間においても一定レートとなるように、上記所定期間毎に上記符号化ビデオストリームおよび上記符号化オーディオストリ一ムとを多重化することによって、略一定レートのトランスポートストリームを生成することを特徴とするトランスポートストリーム生成方法。

3 5 . ソースビデオデータおよびソースオーディオデータを伝送するためのトランスポートストリームを生成するためのトランスポートストリーム生成方法において、

指定されたビデオ符号化レートおよび指定されたオーディオ符号化レートに基いて、符号化されたビデオストリームおよび符号化されたオーディオストリームを多重化するためのスケージユールを生成し、上記指定されたビデオ符号化レ一ト基いて上記ソースビデオデータを符号化すると共に、上記指定されたオーディオ符号化レートに基いて上記ソースオーディオデータを符号化し、

どの所定期間においても、この多重化スケジュールに従った多重化処理を行なうように、上記符号化ビデオストリームと上記符号化ォーディォストリームとを多重化することによって、上記トランスポートストリームを生成することを特徴とするトランスポートストリーム生成方法。

3 6 . ソースビデオデータおよびソースオーディオデータを符号化し、符号化した符号化ビデオストリームおよび符号化した符号化オーディォストリームをトランスポートストリームとして出力するためのトランスポートストリーム生成方法において、

指定された目標ビデオ符号化レートおよび目標オーディオ符号化レ一トに基いて、 1ビデオフレーム期間中に多重化すべき符号化ビデオストリームのデータ量と多重化すべき符号化オーディオストリームのデータ量を決定し、

上記多重化すべき符号化ビデオストリームのデータ量と上記多重化すべき符号化オーディオストリームのデータ量に基いて、上記符号化ビデオストリームと上記符号化オーディオストリームを多重化するための多重化スケジュールを決定し、

上記所定の多重化処理期間の処理単位で上記符号化ビデオストリ一ムと上記オーディオストリームを多重化処理する際に、どのビデオフレーム期間においても、上記多重化スケージユールを使用して上記符号化ビデオストリームと上記符号化オーディオストリームを多重化することによって上記トランスポートストリームを出力することを特徴とするトランスポ一トストリーム生成方法。

3 7 . 複数のプログラムを伝送するプログラム伝送装置において、上記プログラム伝送装置は、

上記複数の符号化装置から出力された複数のトランスポートストリームを多重化する多重化装置と、

上記複数の符号化装置および上記多重化装置をコントロールするコントローラとから構成され、

上記符号化装置の各々は、

上記フレーム単位で上記符号化ビデオストリームと上記オーディオストリームを多重化する際に、各々のフレーム周期において、符号器バッファのシユミレーションを行なわずに、上記基本スケージユールに従った多重化処理を行なうことによって、上記トランスポートストリームを生成することを特徴とするプログラム伝送装置。

3 8 . 複数のプログラムを伝送するプログラム伝送装置において、上記プログラム伝送装置は、

上記符号化装置の各々は、

指定されたビデオ符号化レートおよびオーディオ符号化レートに基いて、所定の多重化処理間中に多重化すべき符号化ビデオストリームのデータ量と多重化すべき符号化オーディオストリームのデータ量を決定し、

上記多重化すべき符号化ビデオストリームのデータ量と上記多重化すべき符号化オーディオストリームのデータ量に基いて、上記符号化ビデオストリームと上記符号化オーディォストリームを多重化するための多重化スケジュールを決定し、

上記所定の多重化処理期間の処理単位で上記符号化ビデオストリームと上記オーディオストリームを多重化処理する際に、各々の所定の多重化処理期間において、上記多重化スケ一ジュールを使用して上記符号化ビデオストリームと上記符号化オーディオストリームを多重化する多重化処理を行なうことを特徴とするプログラム伝送装置。