CN1190081C

CN1190081C - 发送和接收动态图像数据的方法及其设备

Info

Publication number: CN1190081C
Application number: CNB98800657XA
Authority: CN
Inventors: 山口孝雄; 栄藤稔; 荒川博
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1997-03-17
Filing date: 1998-03-13
Publication date: 2005-02-16
Anticipated expiration: 2018-03-13
Also published as: US20070201563A1; KR20050052484A; US7436454B2; EP1439705A2; EP1439704A3; US7502070B2; CN1227031A; CN100525443C; US20040212729A1; CN100334880C; US20040120345A1; EP0905976A4; KR100557103B1; KR20050052483A; EP0905976A1; CN1533176A; EP1835745A2; EP1439704A2; WO1998042132A1; US20040237122A1

Abstract

本发明包括：接收控制部分11，从存储器或通信通道接收包括数据及其发送格式信息的信息；分析和分离接收到的信息的分离部分12；把信息发送给存储器或传输通道的发送部分13；扩展图像的图像扩展部分14；图像扩展控制部分15，控制所述视频扩展部分14的处理状态，以至少扩展一个或多个图像；由图像合成部分16构成的图像合成设备，根据扩展信息合成图像；输出合成结果的输出部分17；终端控制部分18，控制上述装置，使得可以对应于发送格式信息的动态范围同时合成多个图像。

Description

发送和接收动态图像数据的方法及其设备

技术领域

本发明涉及一种音频-视频发送机和音频-视频接收机、数据处理设备和方法、波形数据发送方法和设备和波形数据接收方法和设备以及视频发送方法和设备和视频接收方法和设备。

背景技术

已有一种设备，它满足了感觉到你面前出现的对方图像实际存在的要求，其目的在于进行现实图像通信，这是通过从例如有你本人的风景图像中提取出某人的图像，然后，将此人的图像(即对方发送来的某人的图像)和要与预先存储的对方图像一起显示的虚拟空间图像相互叠加，并加以显示来实现的(日本专利申请No.4-24914)。

具体地说，在已有技术的情况下，已有了涉及加速图像合成和减小存储器的方法的一些发明(例如日本专利公开No.5-46592的官方公报：图像合成器)。

虽然已有技术已提出了利用图像合成对两维静止图像或三维CG数据进行合成的通信系统，但从下面的观点来看，同时合成多幅图像和多路声音并进行显示的系统，其实现方法还没有进行具体讨论。

即，从下面列举的方法来看，存在没有具体讨论的问题。

(A1)一种方法，它利用在一条或多条实际传输线路上由软件构成的多条逻辑传输线路独立地传输数据和控制信息(由与控制终端侧处理数据不同的数据包传输的信息)的环境下传输(通信和广播)并控制图像和声音。

(A2)一种方法，它动态地改变要加到待发送的图像或声音数据中的首部信息(对应于本发明的控制信息)；

(A3)一种方法，它动态地改变要加入的首部信息(对应于本发明的传输控制信息)，以便进行传输；

(A4)一种方法，它通过动态动复接和分离多条逻辑传输线路来传输信息；

(A5)一种方法，它考虑了节目或数据的读取和增长周期，以传输图像和声音；

(A6)一种考虑了快速切换传输图像和声音的方法。

然而，就动态调整要传输到网络的数据量而言，已提出了改变编码系统的方法和根据图像帧的类型讨论帧数据的方法(H.Jinzenji和T.Tajiri撰写的分配自适应型VOD系统的研究，D-8，刊登于电子、信息和通信工程学会(IEICE)系统社的D-8(1995))。

能在受限制的处理时间下提供高质量图像的动态通过量换算算法已作为一种调整编码器侧的通过量提出(T.Osako、Yajima、H.Kodera、H.Watanabe、K.shimamura等撰写的利用动态通过量换算算法对软件视频进行编码，刊登于IEICE的论文期刊D-2，Vol.80-D-2，第二期，第444-458页，1997)。

而且，存在MPEG1/MPEG2系统作为实现同步再现图像和声音的例子。

(B1)对应于图像帧的类型讨论图像的传统方法有这样一个问题，即通过处理多个视频数据流或多个音频数据流，难以与声音同步地重点再现重要的场面，反映编辑的意图，这是由于可以处理的信息的等级位于单一信息流中。

(B2)而且，由于其必要条件是用硬件来实现MPEG1/MPEG2，所以解码器必须可以对每个提供的位流进行解码。因此，其问题就是如何适应超出解码器通过出量的情况。

此外，为了传输图像，已有一些系统，例如H.261(ITU-T建议H.261的px.64声像业务视频编码解码器)，并且它们是用硬件组装的。因此，由于在设计硬件时考虑了必要性能的上限，所以没有产生不能在指定时间内完成解码的情况。

上面的指定时间表示发送编码一张图像获得的位流所需要的时间。如果解码不能在该时间内完成，其额外的时间就成为延迟。如果把这种延迟累积，则发送侧到接收侧的的延迟就增加，系统就不能用作可视电话。这种状态必须避免。

而且，当由于通信对方产生了规定以外的位流而不能在指定时间内完成解码时，则就产生不能传输图像的问题。

上述问题不仅产生在视频数据中，而且也产生在音频数据中。

然而，近年来，由于个人计算机(PC)所形成网络环境的布局带来互联网和ISDN的扩展，所以传输速率已得到改善，已经可以利用PC和网络传输图像。而且，用户传输图像的要求也已高速增长。又由于CPU性能已得到改善，所以完全可以用软件来对视频信号的解码。

然而，由于结构上不同的个人计算机，例如CPU、总线宽度或加速器等方面不同的个人计算机可以执行相同的软件，所以预先考虑必要性能的上限是困难的，因此，产生了图像不能在指定时间内解码的问题。

而且，当发送长度超过接收机通过量的视频编码数据，就不能在指定时间内完成编码。

问题(C1)：减小在指定时间内解码图像的延迟。

当把视频信号输入成本发明的权利要求C1的波形数据，或者把视频信号输出成本发明的权利要求C7的波形数据作为解决问题1的手段时，剩下的问题是由于部分传输位流没有利用，传输线路的实际工作效率降低。而且，存在一些根据最后的编码图像(例如P图像)，产生当前解码视频的编码系统。然而，由于最后的解码图像通过解决问题1的手段没有完全恢复，所以存在着随时间变化而使图像质量劣化的严重的问题。

问题(C2)：在解决问题1的手段的情况下，传输线路的实际工作效率降低。而且，扩大了图像质量的劣化。

在用软件安装的情况下，图像的帧速率是由一次编码所需要的时间来指定的。因此，当用户指定的帧速率超过计算机的通过量时，不可能符合这种指定。

问题(C3)：当用户指定的帧速率超过计算机的通过量时，不可能符合这种指定。

考虑第一种已有技术的问题(A1)至(A6)，本发明的目的在于提供一种音频-视频发送机和音频-视频接收机以及数据处理设备和方法，以至少解决上述问题之一。

且，考虑第二种已有技术的问题(B1)至(B2)，本发明的另一目的在于提供一种数据处理设备和方法，以至少解决上述问题之一。

再，考虑第三种已有技术的问题(C1)至(C3)，本发明的再一目的在于提供一种波形数据接收方法和设备、波形数据发送方法和设备以及视频发送方法和设备和视频接收方法和设备，以至少解决上述问题之一。

发明内容

根据权利要求1的本发明是一种视频处理设备，包括：

接收装置，接收数据序列，该数据序列包括(1)音频或视频时间序列数据，(2)表示所述时间序列数据值之间处理的优先级的时间序列数据间优先级，(3)多个时间序列数据内优先级，后者用于划分所述时间序列数据值，以表示所划分数据值之间的处理优先级；

数据处理装置，当同时出现多个所述时间序列数据值时，同时利用所述时间序列数据间优先级与所述时间序列数据内优先级进行处理。

根据权利要求2的本发明是一种数据处理方法，其特征在于，包括下列步骤：

输入数据序列，该数据序列包括(1)音频或视频时间序列数据，(2)表示所述时间序列数据值之间处理的优先级的时间序列数据间优先级，(3)多个时间序列数据内优先级，后者用于划分所述时间序列数据值，以表示所划分数据值之间的处理优先级；

当同时出现多个所述时间序列数据值时，同时利用所述时间序列数据间优先级与所述时间序列数据内优先级进行处理。

根据权利要求3的本发明是一种数据处理方法，其特征在于，包括下列步骤：

把加到数据包的优先级用作数据包优先级，通过至少使所述时间序列数据内优先级和所述时间序列数据间优先级之一与所述数据包优先级相关联来进行所述优先级处理。

根据权利要求4的本发明是根据权利要求3的数据处理方法，其特征在于，以所述数据包优先级作为存取单元优先级。

根据权利要求5的本发明是根据权利要求4的数据处理方法，其特征在于，所述存取单元优先级根据所述时间序列数据值之间优先级与所述时间序列数据值内优先级的差算出。

根据权利要求6的本发明是根据权利要求4的数据处理方法，其特征在于，所述存取单元优先级决定与数据包的发送有关的优先级或终端引起的过载状态下处理的优先级。

根据权利要求7的本发明是根据权利要求3的数据处理方法，其特征在于，对包括所述高时间序列数据内优先级或时间序列数据间优先级的信息的数据包进行高度防错。

根据权利要求8的本发明是数据处理设备，其特征在于，包括：

数据处理装置，根据所述时间序列数据间优先级为每个所述时间序列数据值分配通过量，而且，根据所述时间序列数据内优先级自适应地降低所述时间序列数据内所划分数据的处理质量，以把每个所述时间序列数据保持在所述分配的通过量内。

根据权利要求9的本发明是一种数据处理方法，其特征在于，

根据所述时间序列数据间优先级为每个所述时间序列数据值分配通过量，而且，根据所述时间序列数据内优先级自适应地降低所述时间序列数据内所划分数据的处理质量，以把每个所述时间序列数据保持在所述分配的通过量内。

根据权利要求10的本发明是一种数据处理方法，其特征在于，

当以数据包中附加的优先级作为数据包优先级，且以所述数据包优先级作为存取单元优先级进行处理时，所述存取单元优先级根据所述时间序列数据间优先级与所述时间序列数据内优先级的差算出。

根据权利要求11的本发明是一种数据处理设备，其特征在于，包括：

接收装置，接收含有下列数据序列：(1)音频或含有帧内编码图像帧视频的时间序列数据值，(2)表示所述时间序列数据值间的处理优先级的时间序列数据值间优先级，(3)表示所述帧内编码图像帧间的处理优先级的时间序列数据值的优先级；

数据处理装置，当同时出现多个所述视频的时间序列数据值时，同时利用所述时间序列数据间优先级与所述时间序列数据内优先级进行所述的时间序列数据的处理。

根据权利要求12的本发明是一种数据处理方法，其特征在于，

输入数据序列，该数据系列包括(1)音频或含有帧内编码图像帧视频的时间序列数据值，(2)表示所述时间序列数据值间的处理优先级的时间序列数据值间优先级，(3)表示所述帧内编码图像帧间的处理优先级的时间序列数据值的优先级；

当同时出现多个所述视频的时间序列数据值时，同时利用所述时间序列数据间优先级与所述时间序列数据内优先级进行所述的时间序列数据的处理。

根据权利要求13的本发明是如权利要求12所述的数据处理方法，其特征在于，同时利用所述时间序列数据间优先级与所述时间序列数据内优先级进行由终端引起过载的解码处理。

根据权利要求14的本发明是一种数据处理方法，其特征在于，

以所述时间序列数据进行数据包通信时，用对应附加所述时间序列数据内优先级与所述时间序列间优先级的数据包优先级，进行所述时间序列数据的处理。

根据权利要求15的本发明是一种数据处理方法，其特征在于，

在以所述时间序列数据进行数据包通信时，在所述数据包的通信首部记述附加对于所述时间序列数据内优先级的相对处理优先级的信息，用所述通信首部进行所述时间序列数据的处理。

根据权利要求16的本发明是如权利要求15所述的数据处理方法，其特征在于，对包括所述高时间序列数据内优先级的信息的数据包进行高度防错。

附图概述

图1是本发明一个实施例的音频-视频收发机的示意性框图；

图2是接收控制部分和分离部分的示意图；

图3是利用多个逻辑传输线路发送和控制视频和音频的方法的示意图；

图4是动态地改变加到要的视频或音频数据中的首部信息的方法的示意图；

图5(a)和5(b)是增加AL信息的方法的示意图；

图6(a)至6(d)是增加AL信息的方法的例子的示意图；

图7是通过动态动多路复用和分离多个逻辑传输线路传输信息的方法的示意图；

图8是传输广播节目过程的示意图；

图9(a)示出了当在接收端出现节目或数据时，考虑了节目或数据的读取和增长时间的图像或声音发送方法；

图9(b)示出了当传输节目或数据时，考虑了节目或数据读取或增长时间传输视频或音频的方法；

图10(a)是对应于快速切换的方法的示意图；

图10(b)是对应于快速切换的方法的示意图；

图11(a)示出了在终端之间实际传输的协议的具体例子；

图11(b)示出了在终端之间实际传输的协议的具体例子；

图12示出了在终端之间实际传输的协议的具体例子；

图13(a)示出了在终端之间实际传输的协议的具体例子；

图13(b)示出了在终端之间实际传输的协议的具体例子；

图13(c)示出了在终端之间实际传输的协议的具体例子；

图14示出了在终端之间实际传输的协议的具体例子；

图15示出了在终端之间实际传输的协议的具体例子；

图16(a)示出了在终端之间实际传输的协议的具体例子；

图16(b)示出了在终端之间实际传输的协议的具体例子；

图17示出了在终端之间实际传输的协议的具体例子；

图18示出了在终端之间实际传输的协议的具体例子；

图19(a)示出了在终端之间实际传输的协议的具体例子；

图19(b)示出了在终端之间实际传输的协议的具体例子；

图20(a)至20(c)是本发明CGD的示范系统的框图；

图21示出了编码器过载时增加优先级的方法；

图22示出了过载时，在接收终端确定优先级的方法；

图23示出了临时改变优先级；

图24示出了数据流优先级和对象优先级；

图25是本发明一个实施例的视频编码器和视频解码器的示意性框图；

图26是本发明一个实施例的音频编码器和音频解码器的示意性框图；

图27(a)和27(b)示出了过载时控制优先级处理的优先级增加部分和优先级确定部分；

图28(a)和28(b)示出了增加优先等级；

图29示出了向多分辨率视频数据分配优先级的方法；

图30示出了构成通信有效负载的方法；

图31示出对应于通信有效负载产生数据的方法；

图32示出了对象优先级、数据流优先级和通信数据包优先级之间的关系；

图33是本发明第一实施例的发送机的框图；

图34是第一实施例的示意图；

图35是本发明第三实施例的接收机的框图；

图36是本发明第五实施例的接收机的框图；

图37是第五实施例的示意图；

图38是本发明第六实施例的发送机的框图；

图39是本发明第八实施例的发送机的框图；

图40是本发明第二实施例的发送方法的流程图；

图41是本发明第四实施例的接收方法的流程图；

图42是本发明第七实施例的发送方法的流程图；

图43是本发明第九实施例的发送方法的流程图；

图44是本发明音频-视频发送机的框图；

图45是本发明音频-视频接收机的框图；

图46示出了向本发明的音频-视频发送机的视频和音频数据增加优先级的优先级添加装置的解释图；

图47示出了通过解释加到本发明的音频-视频接收机的视频和音频数据中的优先级确定是否进行解码的优先级确定装置的解释图。

符号说明

11接收控制部分

12分离部分

13发送部分

14视频扩展部分(图像扩展部分)

15视频扩展控制部分(图像扩展控制部分)

16视频合成部分(图像合成部分)

17输出部分

18终端控制部分

4011发送控制部分

4012视频编码部分(图像编码部分)

4013接收控制部分

4014视频解码部分(图像解码部分)

4015视频合成部分(图像合成部分)

4016输出部分

4101视频编码器(图像编码器)

4102视频解码器(图像解码器)

301接收装置

302估计装置

303视频解码器(即动态图像或活动图像解码器)

304次数削减装置

306输出端

307输入端

3031可变解码装置

3032反正交变换装置

3033转换单元

3034移动补偿装置

3035执行时间测量装置

本发明的实施方式

下面参照附图描述本发明的实施例。

下面描述的实施例主要解决上述问题(A1)至(A6)中的任一项。

本发明所用的“图像”包括静止图像和活动图像。而且，提出的图像可以是象计算机制图(CG)的两维图像或由线框模型构成的三维图像数据。

图1是本发明一个实施例的音频-视频收发机的示意性框图。

在图1中，接收信息的接收控制部分11和发送信息的发送部分13是诸如同轴电缆、CATV、LAN和调制解调器等的信息传输装置。通信环境可以是能用多条逻辑传输线路而不用考虑多路复用装置的环境，例如互联网，或者可以是必须考虑多路复用装置的环境，例如模拟电话或卫星广播。

而且，作为终端连接系统，可列举在诸如可视电话或电话会议系统等终端之间进行双向传送视频或音频数据的系统，或通过卫星广播、CATV或互联网播发广播型视频或音频数据的系统。本发明考虑了这些终端连接系统。

图1所示的分离部分12是用于分析接收到的信息并把数据与控制信息分离的装置。具体地说，部分12是分解出加到数据中的发送首部信息和数据，或者分解出加到数据中的数据控制首部和数据内容。图像扩展部分14是扩展接收到的图像的装置。例如，要扩展的图像可以是标准化的活动(动态)或静止图像的压缩图像，例如H.261，H.263，MPEG 1/2或JPEG等。

图1所示的图像扩展控制部分15是用于监视图像扩展状态的装置。例如，通过监视图像的扩展状态，当接收缓存器几乎引起溢出时，可以读空接收缓存器，而不扩展图像，并在已准备好图像以便扩展之后重新开始扩展图像。

在图1中，图像合成部分16是用于合成扩展图像的装置。图像合成方法可以通过用诸如JAVA、VRML或MHEG等脚本语言，描述图像及其结构信息来(显示位置和显示时间(而且，可以包括显示周期))、对图像分组的方法、图像显示层(深度)、对象ID(以后描述的SSRC)以及它们的属性之间的关系来定义。描述合成方法的脚本通过网络或本地存储器输入或输出。

输出部分17是显示器或打印机，用于输出图像合成结果。终端控制部分18是用于控制每个部分的装置。此外，可以采用扩展声音而不是图像的结构(可以通过把图像扩展部分改成声音扩展部分，把图像扩展控制部分改成声音扩展控制部分，把图像合成部分改成声音合成部分来构成这种结构)，或者采用扩展图像和声音，使二者同步并加以显示的结构，然而保持暂时同步。

也可以利用压缩图像的图像压缩部分。控制图像压缩部分的图像压缩控制部分、压缩声音的声音压缩部分和控制声音压缩部分的声音压缩控制部分来发送图像和声音。

图2示出了接收控制部分和分离部分。

图1的接收控制部分11由接收数据的数据接收部分101和接收控制数据的控制信息的控制信息接收部分102构成，分离部分12由存储解释发送内容的发送结构(后面详述)的发送格式存储部分103和根据存储在格式存储部分103内的发送结构解释发送内容的发送信息解释部分104构成，这种结构可以独立地接收数据和控制信息。因此，例如，不难在接收视频或音频数据的同时删除或移动该数据。

如上所述，可以接收控制部分11要求的通信环境可以利用能使用多条逻辑传输线路而不用考虑多路复用装置的环境(互联网类环境)，如互联网，也可以利用多路复用装置的环境(原类环境)，如必须考虑模拟电话或卫星广播等。然而，用户住处的通信环境备有多条逻辑传输线路(逻辑通道)(例如，在可以使用TCP/IP的通信环境的情况下，通常使用称为“通信端口”的表述)。

如图2所示，假设接收控制部分11接收一种或多种类型的数据传输线路和一种或多种类型的控制逻辑传输线路，以控制要传输的数据。也可以准备多条传输线路传输数据，仅准备一条传输线路控制数据。还可以准备一条传输线路在每次数据传输时控制数据，如也用于H.323的RTP/RTCP。当考虑利用UDP的广播时，可以使用利用单个通信端口(多播地址)的通信系统。

图3的示意图用于解释利用多条逻辑传输线路传输和控制视频和音频数据的方法。要发送的数据称为ES(基本数据流)，它可以是一帧的图像信息或GOB中的图像信息，或者在图像的情况下小于一帧的宏块。

在音频数据的情况下，可以使用用户决定的固定长度。而且，把要加到要发送的数据中的数据控制首部信息称为AL(自适应层信息)。把表示是否为能处理数据的开始位置的信息、表示数据再现时间的信息和表示数据处理的优先级的信息列为AL信息。本发明的数据控制信息对应于AL信息。而且，本发明所用的ES和AL并不总是必须与MPEG 1/2所定义的内容一致。

表示是否为可以处理数据的开始位置的信息具体包括两种类型的信息。第一种是随机访问标记，即，表示可以个别读取和独立再现前后数据的信息，例如在图像的情况下的帧内(I图像)。第二种是能把访问标记定义成表示可以个别读取的标记的信息，即，表示开始位置为GOB图像首部或在图像的情况下为宏块首部的信息。因此，没有访问标记表示数据的中部。这两种随机访问标记和随机标记作为表示能处理数据的开始位置的信息，并非总是需要的。

有这样一种情况，如果在诸如电话会议等的实时通信的情况下，没有加入这两种标记，则不会产生问题。然而，为了简化编辑工作，随机访问标记是必需的。也可以在传送数据之前，通过通信通道决定标记是否必需，或者需要何种标记。

指示数据再现时间的信息表示再现图像和声音时的时间同步的信息，在MPEG1/2的情况下，它称为PTS(展现时间标志)。由于在诸如电话会议等实时通信的情况下，一般不考虑时间同步，所以表示再现时间的信息并不总是必需的。编码帧之间的时间间隔可以是必需的信息。

在接收侧调整时间间隔，可以防止帧间隔有较大波动。然而，接收侧调整再现间隔可能发生延迟。因此，可以判定表示编码帧之间帧间隔的时间信息是不必要的。

为了确定表示数据再现时间的信息是否表示PTS或帧间隔，也可以决定在传输数据之前，不把数据再现时间加到数据中，并把该决定通过通信通道传送给接收终端，并与决定的数据控制信息一起发送数据。

当由于接收终端的负载或网络的负载的原因而不能处理或发送表示处理数据的优先级的信息时，可以停止处理或发送数据，减小接收终端或网络的负载。

接收终端可以用图像扩展控制部分15处理数据，网络可以用中继终端或路由器处理数据。可以用数值或标记表示优先级。而且，在接收终端或网络的负载有突然的波动时，把表示数据处理优先级的信息的偏移值作为控制信息或数据控制信息(AL信息)与数据一起发送，并将该偏移值与预先分配组视频或音频数据的优先级值相加，由此，可以对应于系统的操作状态设置动态优先级。

而且，把鉴别是否有加密编码、是否有版权、以及是原件还是复制件等的信息作为控制信息与和数据分开的数据标识符(SSRC)一起发送，简化在中继节点去除加密编码。

表示数据处理优先级的信息可以加到用许多图像或声音的帧集合或每帧视频或音频数据构成的每个数据流中。

为发送终端单元提供优先级添加装置，该装置在过载情况下，利用诸如H.263或G.723等编码方法，根据预定规则确定编码信息的处理优先级，并使编码信息对应于确定的优先级(见图46)。

图46是用于解释优先级添加装置5201把优先级加到图像或声音中的示意图。

即，如图46所示，根据预定的规则，把优先级加到编码视频数据(由视频编码装置5202处理)和编码音频数据(由音频编码装置5203处理)中。添加优先级的规则存储在优先级添加规则5204中。这些规则包括把比P帧(帧间编码图像帧)的优先级高的优先级加给I帧(帧内编码图像帧)的规则和把比音频数据的优先级低的优先级加给图像的规则。而且，根据用户的指定可以改变这些规则。

在图像的情况下，优先级添加对象为场成变化，在编辑者或用户指定的图像帧数据或声音的情况下，则为有声区和无声区。

为了在图像帧或音频帧中加入优先级，以在过载的情况下规定处理优先级，考虑使用下列方法：把优先级增加到通信首部的方法和进行编码时把优先级嵌入到已对视频或音频数据编码的位流的首部中的方法，前一方法可以在不进行解码的情况下获得优先级信息，而后一方法可以与系统无关的地独立地处理单一位流。

当把一图像帧(例如帧内编码的I帧或帧间编码的P或B帧)分成多个传输数据包时，在图像的情况下，仅把优先级加到通信首部，以把可访问的图像帧的首部作为独立的信息发送(当优先级在相同图像帧中一样时，可以认为在下一个可访问图像帧出现之前优先级没有改变)。

而且，使值的范围能表示优先级变量(例如，根据用途，用16位或32位表示时间信息)，可实现与控制信息一致的结构。

在解码器的情况下，根据所接收各种编码信息片段过载时的优先级，为接收终端单元提供优先级确定装置，以确定处理方法(见图47)。

图47是用于解释加到图像或声音中的优先级和解释确定是否进行解码的优先级确定装置5301示意图。

即，如图47所示，这些优先级包括加到每一图像或声音的每一数据流的优先级和加到每帧图像或声音数据中的优先级。可以独立地利用这些优先级，或者使帧优先级对应于数据流优先级。优先级确定装置5301根据这些优先级确定要解码的数据流或帧。

解码是利用两种类型的优先级进行的，以确定终端过载时的处理优先级。

即，定义了：用于规定诸如图像和声音的位流之间的相对优先级的数据流优先级(时间序列间优先级)；用于规定诸如相同数据流中的图像帧等解码单元之间的相对优先级(时间序列内优先级)(图24)。

前一种数据流优先级可以处理多个视频或音频数据。后一种帧优先级使可根据编辑者的意图改变场面或对同一帧内编码图像帧(I帧)增加不同的优先级。

使数据流优先级对应于分配给操作系统(OS)的时间，对图像或声音进行编码或解码，或进行优先级处理，从而控制数据流优先级，由此，可以在OS层上控制处理时间。例如，在微软公司的Windows 95/NT的情况下，可以在五个OS层上定义优先级。用软件以线索段实现编码或解码装置，可以在分配给每个线索段的OS层上根据目的数据流的数据流优先级确定优先级。

上述的帧优先级和数据流优先级可以加到传输媒体或数据记录媒体上。例如，把要发送的数据包优先级定义为访问单元优先级，可以根据帧优先级与数据流优先级之间的关系，例如根据访问单元优先级＝数据流优先级-帧优先级，确定与数据包发送有关的优先级和在过载时终端的处理优先级。

而且，可以把软盘或光盘用作数据记录媒体，确定优先级。再者，不仅可以利用记录媒体而且还可以利用能记录程序的诸如IC卡或ROM盒等物体确定优先级。而且，可以使用诸如路由器或网关等图像或声音的转发器中继数据。

作为利用优先级的具体方法，当接收终端过载时，把确定要处理的编码信息的优先级阈值的优先级确定装置设置成图像扩展控制部分或声音扩展控制部分，把要显示的时间(PTS)与开始处理后经过的时间进行比较，或者把要解码的时间(DTS)与开始处理后经过的时间比较，根据比较结果改变要处理的编码信息的优先级阈值(也可以参照帧的插入间隔或优先级等作为改变阈值的信息)。

图20(a)所示的例子中，在编码时，用编码器(H.263)对具有捕获的QCIF或CIF尺寸的图像进行编码，与编码信息一起输出表示解码时间(DTS)或显示图像的时间的时间标志(PTS)和表示过载时的处理顺序(CGD，计算适度弱化)、帧类型和序列号(SN)的优先级信息。

而且，在图20(b)所示的例子中，还通过话筒进行记录，通过编码器(G.721)进行编码，与编码信息一起输出表示解码时间(DTS)或再现声音的时间、优先级信息(CGD)和序列号(SN)的时间标志(PTS)。

如图20(c)所示，在解码时，把图像和声音提供给分离缓存器，把它们各自的DTS(解码时间)与开始处理后经过的时间进行比较。如果DTS不滞后，则把该图像和声音提供给它们相应的解码器(H.263和G.721)。

图21的例子描述了一种在过载时利用编码器增加优先级的方法。对于一幅图像，把高优先级的“0”和“1”分配给I帧(帧内编码图像帧)(数字越小，优先级越低)。P帧的优先级“2”低于I帧。由于把两种级别的优先级分配给I帧，所以当解码终端的负载较大时，可以仅再现优先级为“0”的I帧。而且，必须根据优先级增加方法调整I帧的插入间隔。

图22的例子示出了一种在过载时，在接收终端确定优先级的方法。把不用的帧的优先级设置成比截止优先级大的值。即，把每个图像帧假设成待处理的对象。把加到图像帧的优先级最大值从发送侧传送给接收侧(步骤101)可以事先得知该值。

当把DTS与开始处理之后经过的时间相比较，并且其结果是经过的时间长于DTS(当解码没有及时进行时)，则要处理的图像或声音的优先级阈值减小，以减少处理(步骤102)。然而，若开始处理之后经过的时间短于DTS(及时进行了解码)，则优先级的阈值增加，以增加可以处理的图像或声音的数量(步骤103)。

如果该帧之前的图象跳过了P帧，则不进行处理。如果没有，则把优先级偏移值加到图像帧(或音频数据帧)的优先级上，以把该优先级偏移值与优先级阈值比较。当该偏移值不超过该阈值时，把要解码的数据提供给解码器(步骤104)。

优先级偏移可用于事先检查机器的性能，并把该偏移值传送给接收终端(用户也可以在接收终端发出指定)，还可用于改变数据流中的视频和音频数据流的优先级(例如，通过增加最后面背景的偏移值来减少处理)。

当提出了多数据流时，也可以对每个数据流加优先级，并确定跳过对图像或声音的解码。而且，在实时通信的情况下，通过处理H263与DTS相似的TR(临时基准)可以确定解码是超前还是滞后，并且实现与上文所述相同的跳过。

图23示出了利用上述算法进行的优先级的临时改变。

图23示出了要加到图像帧中的优先级的变化。该优先级是在终端过载时决定是否进行解码的优先级，它加到每一帧中。优先级值越小，优先级越高。在图23的例子中，0的优先级最高。当优先级的阈值为3时，添加了值大于3的优先级的帧不使用，不进行解码，对添加了值为3或小于3的优先级的帧进行解码。根据优先级有选择地讨论这些帧，可以控制终端的负载。也可以根据当前处理时间和要加到每帧上的解码时间(DTS)之间关系，动态地决定优先级阈值。根据同样的过程，这种技术不仅可以应用于图像帧，也可以应用于声音。

在传输线路为互联网等的情况下，设置重发请求优先级确定部分，根据优先级信息、重发次数、信息丢失率、帧内编码帧的插入间隔、受优先级确定部分控制的优先级的级别(例如五级优先)，对接收控制部分确定要重发的编码信息的优先级阈值，并确定加给会受到请求重发的编码信息的优先级阈值，这样，当必须重发传输时丢失的编码信息时，可以仅重发接收侧要求的图像或音频数据。如果重发次数很多或信息丢失率很高，则必须提高要重发信息的优先级，减少重发次数或降低丢失率。而且，了解优先级确定部分使用的优先级，可以防止发送要处理的信息。

在发送终端，当实际传送速率超过发送端的信息的目标传送速率时，或者当开始传送处理后经过的时间与加到要解码或显示的编码信息的时间比较，把编码信息写入到发送缓存器的过程滞后时，可用加到编码信息中的优先级，与目标速率一致地发送图像或声音数据，且接收终端过载时，其优先级确定部分使用该成先级，从而减少信息的发送。在接收终端过载时，还把处理跳过功能引入到发送终端，由此，可以控制发送终端过载引起的故障。

通过根据需要仅发送上述AL信息中必要的信息，可以调整要发送到诸如模拟电话线等窄带通信通道上的信息量。在发送数据之前确定在发送终端上要增加到数据中的数据控制信息，把要使用的数据控制信息作为控制信息(例如仅使用随机访问标记)传送给接收终端，并根据获得的控制信息，在接收终端上重写与存储在发送格式存储部分103内的发送结构(见图16)有关的信息。

图4是一幅示意图，用于解释动态改变要加到待发送的图像或音频数据中的首部信息的方法。在图4的例子中，把要发送的数据(ES)分解成数据片并以通信首部的形式在这些数据片增添表示数据顺序的识别信息(序列号)、表示是否为能处理数据片的开始位置的信息(标记位)和与数据片的传送有关的时间信息(时间标记)，其中假设上述各信息对应于本发明的传输控制信息。

具体地说，RTP(实时传送协议，RFC1889)利用上述序列号的信息、标记位、时间标志、对象ID(称为SSRC)和版本号作为通信首部。虽然可以扩充首部信息项，但上述各项总是作为固定项添加。然而，当诸如可视电话等实时通信和诸如影视点播等累积媒体的传输一起出现在要同时传输多个不同的编码图像或声音的环境下时，由于通信首部的含义彼此不同，所以必需有鉴别装置。

例如，在MPEG 1/2情况下，如上所述，时间标记信息表示PTS为再现时间。然而，在H.261或H.263中，时间标记信息表示对信息编码时的间隔时间。为了与音频数据同步处理H.263，必须表示时间标记为PTS信息。这是因为在H.263的情况下，时间标记信息表示编码帧之间的时间间隔，RTP定义第一帧的时间标记是随机的。

因此，必须增加一种表示时间标志是否为PTS的标记作为(a)通信首部信息(必须扩充通信首部)或(b)H.263或H.261的首部信息(即，AL信息)(在这种情况下，必须扩充有效负荷信息)。

用作表示是否为能处理数据片的开始位置的信息的标记位作为RTP首部信息添加。而且，如上所述，往往必须提供表示是能访问数据的开始位置的访问标记和表示可以随机访问数据以获得AL信息的随机访问标记。由于双重提供了通信首部的标记降低了效率，所以也考虑了一种由通信首部准备的标记替代AL标记的方法。

(c)新提供一种标记，表示AL标记被加到通信首部的首部替代，而不向通信首部的AL增加一个标记，或定义通信首部的标记位与AL的相同，(与提供AL标记的情况相比，预期解释可以更快地进行)，由此，解决上述问题。即，采用一种标记，表示标记位是否具有与AL标记相同的含义。在这种情况下，认为改善了通信首部或在扩充的范围内描述首部。

然而，(d)也可以解释通信首部的标记位的含义，以表示至少随机访问标记和访问标记之一出现在AL中。在这种情况下，由通信首部的版本号可以得知解释的含义与传统的情况不同。而且，仅通过为通信首部或AL首部提供访问标记或随机访问标记就简化了处理(对于前者，考虑两个首部都提供该标记的情况，但必须重新扩充通信首部)。

已经描述了添加表示数据处理优先级的信息，作为AL信息。通过把数据处理优先级加到通信首部，可以确定数据处理优先级的处理，而不用解释仍在网络上的数据内容。而且，在IPv6的情况下，可以在比RTP级更低的层上加该优先级。

通过向RTP通信首部增加表示数据处理的有效周期的计时器或计数器，可以决定如何改变所发数据包的状态。例如，当必需的解码软件存储在低访问速率的存储器时，可以由计数器或定时器确定解码器所需要的信息以及什么时候需要信息。在这种情况下，根据用途，对于AL信息来说，计时器或计数器的优先级信息或数据处理的优先级信息不是必需的。

图5(a)和5(b)以及图6(a)至6(d)是解释增加AL信息的方法的示意图。

如图5(b)所示，向接收终端发送控制信息，传送是否如图5(a)所示把AL仅加到要发送的数据的首部，或者传达是否把AL增加到在把要发送的数据(ES)分解成一个或多个数据片之后的每个数据片中，这样可以选择处理发送信息的等级。当访问滞后成问题时，把AL加到分割数据中是有效的。

如上所述，为了事先把在接收侧数据控制信息的重组合或把数据控制信息配置到数据中的方法的变化传送给接收终端，接收终端可以利用标记、计数器或定时器的表述平滑地进行响应，从而把该表述准备成AL信息或通信首部，以把它传送给接收终端。

在上述例子中，描述了避免用AL信息复制RTP首部(或通信首部)的方法和扩充RTP或AL信息通信首部的方法。然而，对于本发明来说，并不总是必须使用RTP。例如，也可以利用UDP或TCP重新定义原通信首部或AL信息。虽然互联网类环境有时利用了RTP，但在原类环境中并没有定义诸如RTP等多功能首部。考虑了下面四种类型的概念用于AL信息和通信首部(参见图6(a)至6(d))。

(1)对RTP或AL信息的首部信息进行校正和扩充，以使已分配给RTP的首部信息和已分配给AL的首部信息不重叠(具体是，时间标记的信息重叠，计时器、计数器或数据处理的优先级信息变成扩充信息)。或者，可以利用不扩充RTP首部和不考虑用RTP信息复制AL信息的方法。它们对应于至此已说明的内容。由于H.323实际已使用了一部分RTP，所以扩充具有兼容性的RTP是有效的。(参见图6(a)。)

(2)与RTP无关，简化通信首部(例如，仅使用序列号)，把余下的内容提供给AL信息，作为多功能控制信息。而且，使得可以在通信前可变地设置AL信息使用的项目，这样可以指定灵活的发送格式。(参见图6(b)。)

(3)与RTP无关，简化AL信息(极端的例子是AL不添加信息)，并把每个控制信息提供给通信首部。保持经常用作通信首部的序列号、时间标记、标记位、有效负荷类型和对象ID作为固定信息，并向数据处理优先级信息和定时器信息分别提供以表示扩展信息是否存在的标识符，作为与扩充信息，以便定义该信息时参考(参见图6(c)。)

(4)与RTP无关，简化通信首部和AL信息，把格式定义成与通信首部或AL信息分开的数据包，以发送该格式。例如，也考虑这样一种方法，对AL信息仅定义标记位、时间标记和对象ID，对通信首部仅定义序列号，把有效负载信息、数据处理优先级信息和计时器信息定义成与上述信息分开的信息数据包(第二数据包)，并发送(参见图6(d)。)

如上所述，当考虑用途和已加到图像或声音数据中的首部信息时，根据该用途，能自由地定义(定制)要与通信首部、AL信息分开发送的数据包(第二数据包)，这是较佳的方式。

图7的示意图用于解释通过动态多路复用和分离多条逻辑传输线路来传输信息的方法。为逻辑传输线路提供能开始和结束多路复用信息的信息多路复用部分可以减少逻辑传输线路的数量，以根据用户的指定或者发送部分和信息分离部分所用逻辑传输线路的数量，发送多个数据或控制信息，该分离部为接收控制部分分离多路复用信息。

在图7中，信息多路复用部分称为“组MUX”，具体地说，它可以使用诸如H.223的多路复用系统。可以为传输/接收终端提供组MUX。通过向中继路由器或终端提供组MUX，可以对应于窄带通信通道。而且，用H.223实现组MUX，可以使H.223和H.324互连。

为了快速地取得信息多路复用部分的控制信息(多路复用控制信息)，通过另一逻辑传输线路发送信息多路复用部分内的控制信息，而信息多路复用部分不将控制信息与数据复接，可以减少多路复用引起的延迟。因而，通过传达和发送，将与信息多路复用部分有关的控制信息与数据复接后发送，或者控制信息不与数据复接，通过另一逻辑传输线路发送，用户可以选择是保持与传统多路复用一致，还是减少由于多路复用引起的延迟。在这种情况下，与信息多路复用部分相关的多路复用控制信息是表示与信息多路复用部分如何对每片数据进行多路复用有关的多路复用的内容的信息。

同样，如上所述，根据表述方法，例如根据标记、计数器或计时器，可以传送发送方法的通知，该方法至少发送传达多路复用开始和结束的信息、传达多路复用逻辑传输线路的组合的信息和与多路复用有关的控制信息(多路复用控制信息)之一，作为控制信息，或者可以与数据一起将数据控制信息发送给接收终端，从而减少接收侧的设置时间。而且，如上所述，可以提供表示传输RTP首部的标记、计数器或计时器的项目。

当存在多个信息多路复用部分或多个信息分离部分时，与标识符一起传送控制信息(多路复用控制信息)，以鉴别信息多路复用部分或信息分离部分，可以鉴别控制信息属于哪个信息多路复用部分。控制信息(多路复用控制信息)包括多路复用模式。而且，利用随机数表，从而确定终端之间的信息多路复用部分或信息分离部分，可以产生信息多路复用部分的标识符。例如，可以在发送和接收终端之间确定的范围内产生随机数，并使信息多路复用部分的标识符(鉴别号)采用其最大值。

由于信息多路复用部分多路复用的数据在传统上与RTP中定义的多媒体类型不同，所以必须定义信息，以表示它是RTP有效负载类型的多路复用部分(定义新媒体类型H.223)多路复用的信息。

在控制信息和数据信息的序列中配置要在信息多路复用部分发送或记录的信息，以提高对多路复用数据的访问速度，谋求快速地分析出多路复用信息。而且，固定根据加到控制信息中的数据控制信息描述的项，并增加和多路复用与数据不同的标识符(唯一的模式)，可以快速分析出首部信息。

图8的示意图用于解释广播节目的传输过程。把逻辑传输线路的标识符与广播节目的标识符之间的关系用作广播节目的信息，从而发送控制信息或者使数据增加广播节目的标识符，作为数据控制信息(AL信息)，可以鉴别出为哪个节目广播通过多条传输线路传输的数据。而且，向接收终端发送数据标识符(在RTP的情况下为SSRC)和逻辑传输线路的标识符(例如LAN端口号)之间的关系，作为控制信息，并在确认了接收终端可以接收控制信息之后(Ack/Reject)，发送相应数据，即使控制信息和数据都分别通过独立的传输线路传输，也可以形成数据片之间的对应关系。

组合表示广播节目的传输序列的标识符和具有表示广播节目或数据可以用作信息的有效期限的计数器或计时器信息的数据。把组合标识符和信息增加到广播节目或数据中加以发送，可以实现广播，而不无需返回信道(当有效期限几乎失效时，即使信息不够，也开始再现广播节目的信息或数据)。而且，可以考虑这样一种方法，其中，利用单个通信端口(多播地址)，广播控制信息和数据而不使它们彼此分离。

在返回信道的通信中，必须在发送数据之前充分地发送控制信息，以使接收终端能得知数据结构。而且，控制信息应当通过不会产生数据包丢失的、可靠性高的传输信道发送。然而，当利用可靠性低的传输信道时，必须循环发送相同传输序列号的控制信息。这不限于发送与设置时间有关的控制信息的情况。

而且，通过选择可以作为数据信息增加的项(例如访问标记、随机访问标记、数据再现时间(PTS)，或数据处理优先级信息)，确定是否与数据的标识符(SSRC)一起通过与数据的传输线路不同逻辑传输线路发送数据控制信息，或者确定是否在发送数据之前，把数据控制信息作为数据控制信息与发送侧的数据一起发送，并且把该数据作为控制信息传达并发送给接收侧，可以灵活地控制和发送数据。

因而，可以不向AL增加信息而发送数据信息。因此，为了利用RTP发送图像或声音数据，不必扩大对至此已定义的有效负载的定义。

图9(a)和9(b)为考虑节目或数据的读取和增长时间的图像或声音发送方法的示意图。具体地说，当如没有返回信道的单向的卫星广播或便携终端那样，终端资源受到限制时，或节目或数据出现在接收侧终端上加以使用，以及必要的程序(例如H.263，MPEG 1/2，或音频解码器软件)或数据(例如视频数据或音频数据)存储在需要较长读取时间的存储器(例如VD、硬盘或网络上的文件服务器)时，可以根据诸如鉴别节目或数据的标识符等表述方法、要的数据流的标识符(例如SSRC或逻辑信道号)或估计接收端所必需的特定时间点标记、计数器(升/降计数)或计时器，通过事先把节目作为控制信息接收，或与数据一起作为数据控制信息接收来减少前期需要的节目或数据的设置时间(图18)。

当发送节目或数据时，从发送侧将表示节目或数据在接收终端的存储器目标(例如硬盘或存储器)的信息、开始或读取所需的时间、终端的类型或存储目标与开始或读取所需的时间之间的关系(例如CPU功率、存储设备和平均响应时间之间的关系)和使用的序列与节目或数据一起发送，这样如果实际要求接收终端所必需的节目或数据，则可以计划安排节目或数据的存储目标和读取时间。

图10(a)和10(b)的示意图用于解释对应于快速切换(切换电视频道)的方法。

与传统的卫星广播仅接收图像的情况不同，当必须在接收终端执行程序时，读取程序并开始执行前的设置时间是一个大问题。对于可用的资源受到限制的便携终端的情况也存在同样问题。

希望接收侧终端的设置时间可以通过以下方式减少：(a)利用用户进行观看和收听的主视听部分和接收终端循环监视用户未观看和收听的节目的辅视听部分，并接收鉴别事先要求的节目或数据的标识符之间的相对关系、用于估计接收终端所需的特定时间的标记、计数器或定时器的信息以及程序作为控制信息(由与数据的数据包不同的数据包发送给控制终端处理的信息)或作为数据控制信息(AL信息)，并准备与数据一起读取节目或数据，作为在需要较长读取时间的存储器内出现用户没有观看或收听的所需节目或数据的一种解决措施。

作为第二种解决措施，设置广播频道，仅广播通过多频信道广播的图像的标题图像，并由用户切换节目，可以防止屏幕在设置时停止，因而，当在需要较长读取时间的存储器中出现需要的节目或数据时，临时选择用户要求的节目的标题图像，并把它向用户显示，或者显示当前读取节目或数据，而且在由存储器读取需要的节目或数据后，重新启动用户要求的节目。

上面的标题图像包括对通过多频道广播的节目循环取样获得的广播图像。

而且，定时器体现一种时间，表示必需要有解码发输侧发送的数据流所需的程序需要的特定时间。计数器是发送和接收终端之间确定的基本时间单位，它可以是表示第几次的信息。标记与在设置所必需的时间之前发送的数据或控制信息(通过与控制终端处理的数据的数据包不同的数据包发送的信息)一起发送和传达。可把它们嵌入到数据中发送，或者把它们作为控制信息发送。

而且，为了确定设置时间，可以在利用诸如工作在时基上的ISDN等传输线路时，把鉴别传输序列的传输序列号用作控制信息，以从发送终端向接收终端传达要节目或数据的特定，从而把序列号与数据一起作为数据控制信息或控制信息传送给接收终端，由此，估计进行设置的时间。而且，当传输时间由于如互联网的跳动或延迟而波动，则考虑到传输的传播时延，必须根据实现RTCP(互联网使用的媒体传输协议)的装置的跳动或时延，把传输时间加到设置时间中。

图11(a)至19(b)示出了终端之间实际传送的协议的具体例子。

在ASN.1中描述了发送格式和传输过程。而且，发送格式根据ITU的H.245扩展。如图11(a)所示，图像和声音的对象可以具有分层结构。在该例子的情况下，每个目标ID具有广播节目标识符(节目ID)和对象ID(S SRC)的属性和结构信息，图像之间的合成方法用诸如Java或VRML等脚本语言描述。

图11(a)示出了对象之间关系的例子。

在图11(a)中，对象是诸如声音-图像、CG和文本等媒体。在图11(a)的例子中，对象构成分层结构。每个对象的节目号“节目ID”对应于TV频道，对象标识符“对象ID”用于鉴别对象。当根据RTP(互联网使用的传输媒体的媒体传输协议，实时传输协议)传输每个对象时，使对象标识符对应于SSRC(同步源标识符)可以容易地鉴别出对象。而且，可以利用诸如JAVA或VRML等描述语言描述对象之间的结构。

考虑用两种类型的传输对象的方法。一种是广播类型，把对象单方面从发送侧终端发送。另一种是在发送和接收终端(终端A和B)之间传送对象的类型(通信类型)。

例如，在互联网的情况下，可以把RTP用作传输方法。在可视电话标准的情况下，利用称作LCNO的传输通道，传输控制信息。在图11(a)的例子中，用多个传输通道来传输。把相同的节目通道(节目ID)分配给这些通道。

图11(b)的示意图用于解释如何实现这种实现了本发明描述的功能的协议。下面描述可视电话标准(H.324和H.323)所用的传输协议(H.245)。本发明描述的功能通过扩展H.245来实现。

图11(b)中的例子示出的描述方法是称为ASN.1的协议描述方法。“终端性能集(“Terminal Capabilitycet”)表述终端的性能。在图11(b)的例子中，描述成“mpeg 4性能”的功能是对传统H.245的扩展。

在图12中，“mpeg 4性能”(“MPEG4 Capability”)描述了可以同时被终端处理的最大图像数据(“Max Namber of Video”)和最大声音信号数(“Max Numbeof Sounds”)，还描述终端可以实现的最大多路复用功能数(“Max Number ofMux”)。

在图12中，表示成可以处理的最大对象量(“Number of ProcessObject”)。而且，描述了表示是否可以改变通信首部(在图12中表示成AL)的标记。当标记的值为真时，可以改变通信首部。为了利用“MPEG 4性能确认(“MEG 4Capbility ACK”)彼此传达在终端之间可以处理的对象数，如果被传达侧可以接受(处理)这些对象，被传达侧把“MPEG 4 Capbility ACK”送回给发送“MPEG 4Capbility”的终端，如果不能，则向该终端回送“MEPG 4性能拒绝”(“MPEG4Capbility Reject”)。

图13(a)示出了如何描述利用上述组MUX把多个逻辑信通道多路复用成一个传输通道(在本例中为LAN传输通道)的协议，以便逻辑通道共用传输通道。在图13(a)的例子中，使多路复用装置(组MUX)对应于LAN(局域网)传输通道(LAN端口号，“LAN Poxt Number”)。“组Mux ID”(“Group Max ID”)是用于鉴别多路复用装置的标识符。为了“创建组Max”(“Create group Mux”)，使终端共用多路复用装置，并在终端之间相互传送，如果被传送侧可以接受(使用)该多路复用装置，就向发送“Greate Group Mux”的终端回送“Greate Group Mux Ack”，如果不能接受，就向该终端回送“Greate Group Mux Reject”。可以用相同的方法实现分离装置，用作进行与多路复用装置的操作相反的装置。

在图13(b)，描述了删除了已产生的多路复用装置的情况(“Destory GroupMux”：“破坏组Mux”)。

在图13(c)中，描述了LAN传输通道与多个逻辑通道之间的关系。

根据“LAN Port Numbef”描述LAN的传输通道，根据“逻辑端口号”(“Logical Port Number”)描述了逻辑通道。

在图13(c)的情况下，可以使一个LAN的传输通道对应多达15个逻辑通道。

在图13中，当可以使用的MUX的数量仅为一个时，组Mux ID就不是必需的了。而且，为了使用多个Mux，对于H.223的每个命令都必须有组Mux ID。可以使用标记，以传达多路复用装置与分离装置之间使用的端口之间关系。还可以使用命令使得能选择是对控制信息进行多路复用，还是通过另一逻辑传输线传输信息。

图13(a)至图13(c)所示的解释例中，传输通道利用LAN。然而，也可使用利用例如H.223或MPEG 2等的互联网协议的系统。

在图14中，“开逻辑通道”(“Open Logical Channel”)显示定义传输通道属性的协议描述。在图14的例子中，“MPEG 4逻辑通道参数”(“MPEG4 LogicalParameters”)根据H.245协议扩展和定义。

图15示出了节目号(对应于TV频道)，使节目号被制成对应于LAN的传输通道(“MPEG 4逻辑通道参数”)。

而且，在图15中“广播通道节目”(“Broadcesting Channel Program”)表示根据广播类型发送LAN传输通道与节目号之间对应关系的描述方法。图15的例子使得可以发送多达1023个传输通道与节目号之间对应关系。由于在广播的情况下，发送侧单方面向接收侧发送，所以考虑到在传输期间的丢失现象，必须循环发送这些信息片。

在图16(a)中，描述了要作为节目传输的对象(例如图像或声音)的属性(“MPEG4对象类别定义”)(“MPEG4 Object Calssdefinition”)。把对象信息(“对象结构单元”)(“Object Structure Element”)对应于节目标识符(“ProgramID”)。可以使多达1023个对象对应于节目标识符。对于对象信息，描述了LAN传输通道(“LAN端口号”)、表示是否使用加密编码的标记(“加密编码标记”)(Scramble Flag)、终端过载时定义改变处理优先级的偏移值的字段(“CGD偏移”)(“CGD Offset”)以及鉴别要传输的媒体类型(图像或声音)的标识符(“媒体类型”)(“Media type”)。

在图16(b)所示的例子中，增加了AL(在本例中，定义成一帧解码图像所需的附加信息)以控制对ES(在本例中，定义成对应于一帧的图像的数据串)的解码。对于AL信息，定义如下。

(1)随机访问标记(表示是否可独立再现的标记，真表示帧内编码的图像帧)

(2)展现时间标志(帧显示的时间)

(3)CGD优先级(确定当终端过载时的处理优先级的优先级值)

该例子示出了利用RTP(通过互联网传送连续的媒体的协议，即实时传送协议)传送一帧的数据串的情况。“AL重构”是改变可以用上述的AL表示的最大值的传输表述。

图16(b)的例子使得可以把多达2位表示成“随机访问标记最大位数”(“Random Access Flag Max Flag”)。例如，当没有位时，不使用随机访问标记。当有两位时，最大值等于3。

而且，可以用实数部分和尾数部分表示(例如3∧6)。当不设置数据时，可以在缺省确定状态下工作。

在图17中，“设置请求”(“Setup Request”)表示传输设置时间的传输表述。“设置请求”在传输节目之前传输，使要传输的传输通道号(“逻辑通道号”)、要执行的程序ID(“执行程序号”)(“execative Program Number”)要使用的数据ID(“data Number”)和要执行的命令ID(“执行命令号”)(“excutiveCommand Number”)成彼此对应，并传输给接收终端。而且，作为另外的表述方法，可以采用执行授权标记(“flag”)、描述在接收设置请求多少次时开始执行的计数器(“counter”)和表示在经过多少时间后开始执行的定时器值(“timer”)，并使它们对应于传输通道号。

作为要提出的请求的例子，可列举重写AL信息和确保组Mux的增长时间。

图18的示意图用于解释传输表述，是否利用图16(b)描述的AL从发送终端向接收终端传送AL(“控制AL定义”)(“Control AL Definstion”)。

在图18中，如果“随机访问标记使用”(“Random Access Flag Use”)为真，则使用随机访问标记。如果不为真，就不使用。可以把AL变化通知作为控制信息通过与数据传输通道分开的通道进行传输，或通过与数据相同的传输通道，与数据一起传输。

作为要执行的程序，可列出解码程序。可以把设置请求用于广播和通信。根据上述请求，对接收终端指定用作控制信息的哪一项用作AL信息。而且，可以指定把哪一项用作通信首部，把哪一项用作AL信息，把哪一项用作对接收终端的控制信息。

图19(a)示出了一种传输表述，它利用发送和接收终端之间的信息帧标识符(“首部ID”)(“header ID”)，根据用途改变首部信息的结构(数据控制信息、传输控制信息和控制信息)。

在图19(a)中，“类别ES首部”(“Calss ES_header”)根据信息帧标识符，区分要通过与数据传输通道相同的通道传输的数据控制信息的结构与传输控制信息用以在发送和接收终端之间传输的信息的结构通道相同。

例如，当“header ID”值为0时，仅使用“缓存器规模的ES”(“bufferSize ES”)项，而当“header ID”值为1时，增加(“reserved”)项。

而且，利用缺省标识符(“使用首部扩展”)(“use Header Extension”)，确定是否使用缺省类型信息帧。当“使用首部扩展”是真时，使用如果语句中的项。假设事先在发送和接收终端之间确定了这些结构信息。而且，可以使用一种结构，以使用信息帧标识符和缺省标识符之一。

在图19(b)的例子中，“AL配置”(“AL Configuration”)表示这样一个例子，它根据用途通过与发送和接收终端之间传输的数据不同的传输通道改变要传输的控制信息结构。信息帧标识符的作用和缺省标识符的作用与图19(a)的情况相同。

在本发明的情况下，从下面的观点具体描述实现同时合成和显示多个图像和多个声音的方法。

(1)通过多条逻辑传输线路传输(传达和广播)图像和声音并控制它们的方法。尤其是，描述了通过独立的逻辑传输线路分别传输控制信息和数据的方法。

(2)动态改变加到要传输的图像或声音的数据中的首部信息(AL信息)的方法。

(3)动态改变增加的通信首部信息以便传输的方法。

具体地说，对于第(2)和(3)项，描述了一种控制重叠在AL信息和通信首部上的信息的方法和把AL信息作为控制信息传输的方法。

(4)动态地多路复用和分离多条逻辑传输线路和传输信息的方法。

描述了一种节省传输线路的通道数的方法和实现有效多路复用的方法。

(5)考虑到增长时间读取节目或数据，并传输图像和声音的方法。而且，描述了减少各种功能和用户的视在设置时间的方法。

(6)针对频道快速切换的图像或声音传输方法。

本发明并不仅限于合成两维图像。也可以使用把两维图像与三维图像组合的表述方法，或者可以包括合成多幅图像以使它们如宽视野图像(全景图像)一样彼此相邻接的图像合成方法。

而且，本发明不仅仅以诸如双向CATV和B-ISDN的通信系统为对象。例如，可以使用无线电波(例如VHF频段或UHF频段)，或者从中央终端向家用终端传输图像和声音的广播卫星以及从家用终端向中央终端传送信息的模拟电话线或N-ISND(并不总是必须多路复用图像、声音或数据)。

而且，可以使用无线电通信系统，诸如IrDA、PHS(个人手持电话)，或者无线电LAN。而且，对象终端可以是例如便携式信息终端的便携式终端或例如设置盒或个人计算机等桌面终端。而且，作为应用范围，还有可视电话、多点监视系统、多媒体系统、多媒体数据库检索系统和游戏机。本发明不仅包括接收终端，而且还包括连接到接收终端的服务器和转发器。

在上述例子中，描述了避免RTP(通信)首部与AL信息重叠的方法和扩充RTP通信首部或AL信息的方法。然而，本发明并不总是必须使用RTP。例如，也可以利用UDP或TCP重新定义原通信首部或AL信息。虽然互联网类环境有时使用RTP，但对于原类环境并不定义诸如RTP等多功能首部。如上所述，有四种关于AL信息和通信首部的概念。

因此，通过动态动确定数据控制信息的信息帧、传输控制信息或发送和接收终端使用的控制信息(例如包括要增加的信息序列和以序列号的形式首先把随机访问标记分配成1位标记信息和其后把随机访问标记分配成16位的位数的信息帧)，可以根据用途或传输线路仅改变对应于状况的信息帧。

每一信息的帧可以是如图6(a)至6(d)已示出了任一种，在RTP的情况下，数据控制信息(AL)可以是每种媒体的首部信息(例如，在H.263的情况下，可以是视频首部信息或H.263固有的有效负载的首部信息)，传输控制信息可以是RTP首部信息，控制信息可以是控制诸如RTCP等RTP的信息。

而且，在发送和接收终端之间预先设置了公知的信息帧的情况下，通过分别发送和接收数据控制信息、传输控制信息和控制信息(通过与控制终端处理的数据的数据包不同的数据包传输的信息)，提供缺省的标识符，表示是否处理信息，可以了解信息帧是否改变了。仅当进行改变时，根据图16所示的方法，设置缺省标识符并传输已改变的内容(例如时间标志信息从32位改变成16位)，这能防止信息的帧信息没有改变时传输不必要的配置信息。

例如，考虑下面的两种方法，改变数据控制信息的信息帧。首先，描述在数据本身改变数据控制信息的信息帧的方法时，设置数据控制信息的信息帧描述的数据中出现的信息的缺省标识符(要写入到固定区域或位置)，然后描述信息帧的变化内容。

为了改变数据控制信息的信息帧，描述另一种把仅改变控制信息(信息帧控制信息)内的数据的信息帧的方法时，设置控制信息提供的缺省标识，描述要改变的数据控制信息的信息帧的内容，并根据ACK/拒绝传送给接收终端，确认数据控制信息的信息帧改变后，传输信息帧已改变的数据。也可以根据上述两种方法改变传输控制信息和控制信息的信息帧(图19)。

更具体地说，虽然MPEG2的首部信息是固定的，通过为节目映射表提供缺省标识符(由PSI定义)，使MPEG2-Ts的视频数据流(传送数据流)与其音频数据流相关联，并定义配置数据流，描述改变视频数据流和音频数据流信息的帧的方法，可以首先解释配置数据流，然后根据设置缺省标识符时配置数据流的内容，解释视频和音频数据流的首部。可以使配置数据流具有图19所示的内容。

与传输方法和/或要传输的数据的结构有关的本发明的内容(发送格式信息)对应于例如上述实施例中的信息帧。

对于上述实施例，主要描述了与传输方法和/或要传输的数据的结构有关的要改变的内容。然而，也可以使用仅传输内容标识符的结构。在这种情况下，如图44所示，也可以使用音频-视频发送机，这种发送机设置：(1)发送装置5001，用于通过与数据相同的传输线路或与前一传输线路不同的传输线路，发送与传输方法和/或要发送的数据的结构有关的内容或表示内容的标识符，作为发送格式内容；(2)存储装置5002，用于存储与传输方法和/或要发送的数据的内容有关的多种类型的内容和这些内容的多种类型的标识符，其中标识符至少包括在数据控制信息、传输控制信息和控制终端侧处理的信息之一中。而且，如图45所示，可以使用一种音频-视频接收机，该接收机设置用于接收音频-视频发送机发送的接收装置5101和解释接收到的发送格式信息的发送格式信息解释装置5102。而且，音频-视频接收机可做成具有存储装置5103构成，用于存储与传输方法和/或要发送的数据的结构有关的多种类型的内容和这些内容的多种类型的标识符，当接收标识符作为发送格式信息时，用存储在存储装置中的内容解释标识符的内容。

更具体地说，准备发送和接收终端之间预先确定的多种类型的信息帧，并与数据一起传输上述信息帧的标识符和多种类型的数据控制信息、多种类型的传输控制信息和多种类型的控制信息(传输帧控制信息)的信息帧标识符，作为控制信息，这样，可以根据要传输的媒体类型或传输线路的容量鉴别多种类型的数据控制信息、多种类型的传输控制信息和多种类型的控制信息，随意选择每种类型信息的信息帧。本发明的标识符对应于上述信息帧标识符。

即使信息帧在接收侧终端改变了，也可以通过把标识符加到要传输的信息的预定的固定长度区域中或预定位置上，读取和解释这些信息标识符和缺省标识符。

而且，除了上述实施例描述的结构之外，也可以使用这样一种结构，在花很多时间来设置需要的节目或数据时，利用广播通道，仅广播通过多频道广播的图像的标题图像，从而临时选择用户要观看和收听的节目的捕获图像，并切换用户要观看和收听的节目。

如上所述，本发明可以根据用途或传输线路，动态地确定发送和接收终端使用的数据控制信息的帧、传输控制信息或控制信息，从而对应于状态改变信息的帧。

而且，可以通过提供缺省标识符，表示是否分别利用发送和接收终端之间预先设置的数据控制信息、传输控制信息和控制信息的公知信息发送或接收并处理信息，因而可以得知信息帧是否改变，并且即使信息的信息帧由于设置了缺省标识符没有改变也可以防止传输不必要的配置信息，仅当进行了改变时才传送改变的内容。

再者，通过准备在发送和接收终端之间预先确定的多种信息帧，并与数据一起传输鉴别多种类型的数据控制信息的信息帧标识符、多种类型的传输控制信息和多种类型的控制信息，可以鉴别多种类型的数据控制信息、多种类型的传输控制信息和多种类型的控制信息，并且根据要传输的媒体的类型或传输线路的容量，可以随意地选择各种类型的信息帧。

即使在接收侧终端上信息帧改变了，通过把标识符加到要传输的信息的预定的固定长度区域中或预定的位置，也可以读取和解释这些信息标识符和缺省标识符。

下面参照附图描述本发明的实施例。

在本例中，解释了上述问题(B1)至(B3)中的一个问题。

本发明所用的“图像”包括静止图像或活动图像。而且，提出的图像可以是二维图像，例如计算机制图(CG)图像，或者可以是用线框型构成的三维图像数据。

图25是本发明的实施例的图像编码器或图像解码器的示意性框图。

发送或记录各种编码信息发送控制部分4011是传送轴电缆、CATV、LAN或调制解调器等的信息的装置。图像编码器4101具有图像编码部分4012，用于对诸如H.263、MPEG1/2、JPEG图像信息进行编码或进行Huffman编码，还具有发送控制部分4011。而且，图像编码器4102的输出部分4016由下列部分构成：接收各种编码信息的接收控制部分4013、解码各种接收到的图像信息的图像解码部分4014、合成一幅或多幅解码图像的图像合成部分4015和由输出图像的显示器和打印机构成的输出部分的4016、

图26是本发明一个实施例的音频编码器和音频解码器的示意性框图。

音频编码器(声音编码器4021)由下列部分构成：发送或记录各种编码信息的发送控制部分4021和对诸如G.721或MPEG1音频信号的音频信息进行编码的音频编码部分4022。音频解码器(声音解码器)4202由下列部分构成：接收各种编码信息的接收控制部分4023、解码上述音频信息的音频解码部分4024、合成一个或多个解码音频信号的音频合成部分(声音合成部分)4025和输出音频信号的输出装置4026。

上述编码或解码器对声音或图像的时间序列数据进行具体的编码或解码。

图25和26的通信环境可以是能使用多条逻辑传输线路而不考虑多路复用装置的环境，如互联网的情况，或者是必需考虑多路复用装置的环境，如模拟电话或卫星广播的情况。作为终端连接系统，可列举诸如在可视电话或可视电话会议等终端之间双方传输图像或声音的系统，或在卫星广播、CATV或互联网上广播广播类型图像或声音的系统。

可以用诸如JAVA、VRML或MHEG等脚本语，描述图像和声音、图像和声音的结构信息(显示位置和显示时间)、音频-视频分组方法、图像显示层(深度)和对象ID(鉴别诸如图像或声音等各种对象的ID)和和它们的属性之间的关系，这样可以定义一种合成图像或声音的方法。描述合成方法的脚本从网络或本地存储器获得。

而且，可以任意组合任意数量的图像编码器、图像解码器、音频编码器和音频解码器，构成发送或接收终端。

图27(a)的示意图用于解释控制过载处理优先级的优先级添加部分和优先级确定部分。为图像编码器4101和音频编码器4201设置优先级添加部分31，根据预定的标准，利用诸如H.263或G.723的编码方法，确定过载时处理编码信息的优先级，并使编码信息与确定的优先级相关联。

添加优先级的基准是在图像的情况下为场面变化，在编辑者或用户指定的图像帧、数据流或声音的情况下为有声区和无声区。

向通信首部添加优先级的方法和在编码时把优先级嵌入到要编码的视频或音频的位流的首部内的方法都可以考虑作为定义过载时优先级的优先级添加方法。前一种方法可以不用解码信息而获得与优先级有关的信息，后一种方法可以独立地处理一个位流，而与系统无关。

如图27(b)所示，当把优先级信息加到通信首部，并把一图像帧(例如帧内编码的I帧或帧间编码的P或B帧)分割成多个传输数据包时，在图像的情况下，仅把优先级加到通信首部中，以把可访问的图像帧的首部作为单一信息传输(当在同一图像中优先级相同时，可以假设一直到下一次出现可访问图像帧时，优先级都没有变化)。

又，在解码器的情况下，根据在过载时接收到的各种编码信息的优先级，为图像解码器4102和音频解码器4202设置了确定处理方法的优先级处理部分32。

图28(a)至28(c)的示意图用于解释添加优先级的等级。解码是利用两种类型的优先级进行的，以确定终端过载时处理的优先级。

即，定义了：用于规定在位流(诸如图像和声音的位流)过载时处理的优先级的数据流优先级(数据流优先级；时间序列数据间优先级)；用于规定同一数据流中帧(例如图像帧)过载时处理的优先级的帧优先级(帧优先级；时间序列数据内优先级)(参见图28(a))。

前一种数据流优先级可以处理多个视频或音频数据。后一种帧优先级可以根据编辑者的意向，向图像场面变化或同一帧内编码的图像帧(I帧)增添不同的优先级。

数据流优先级表示的值表示把它处理成相对值和把它处理成绝对值的情况(参见图28(b)和28(c))。

在网络上，由诸如路由器或网关等转发终端处理数据流优先级和帧优先级；在终端，则由发送和接收终端进行处理。

考虑用两种方法表示绝对值或相对值。一种是图28(b)所示的方法，另一种是图28(c)所示的方法。

在图28(b)中，绝对值优先级是表示编辑者增加或机器增加的图像数据流(视频流)或音频流过载时处理(或要处理)的顺序的值(但不是考虑了实际网络或终端的负荷变化的值)。相对值优先级是根据终端或网络的负荷改变绝对优先级值的值。

根据网络的负荷波动等把优先级成分相对值和绝对值进行控制值，从而仅在发送侧或由转发器改变相对值，这样可以保留加到视频或音频数据流中的绝对优先级，同时将其值记录到硬盘上或VTR上。因此，当记录绝对优先级的值时，可以再现不受网络的负荷波动等影响的图像或声音。而且，可以独立于数据通过控制通道传输相对或绝对优先级。

在图28(b)中，可以与数据流优先级进行精细的等级比较，处理帧优先级，把过载时的帧处理优先级定义成相对优先级值，或者把它处理成绝对优先级值。例如，描述编码图像中的绝对帧优先级和描述对应于加到传输编码信息的通信数据包的首部中的图像帧中的绝对优先级的相对帧优先级，反映网络或终端的负荷波动，这样，即使在帧一级的情况下，也可以在保留原优先级的同时，添加对应于网络或终端的负荷的优先级。

还可以独立于数据，在控制通道中，而不是通信首部描述与帧的关系，来传送相对优先级。这样，可保留原来加到图像或声音数据流的绝对优先级，同时把数据记录到硬盘或VTR上。

而且，在图28(b)中，当在接收终端再现数据，并同时通过网络传输数据而不在接收终端上记录数据时，由于不必在接收终端分开绝对值和相对值进行控制，可以在发送侧对帧和数据流两级计算绝对优先级的值和相对优先级后，仅传送绝对值。

在图28(c)中，绝对值优先级是从数据流优先级和帧优先级之间的关系获得的帧之间唯一确定的值。相对值优先级是表示编辑者添加的或机器添加的图像数据流或音频数据流在过载时处理(或要处理)的顺序的值。在图28(c)的例子中，增添图像或声音数据流的帧优先级(相对；相对值)或每个数据流的数据流优先级。

从相对帧优先级和数据流优先级之和获得绝对帧优先级(绝对；绝对值)(即，绝对帧优先级＝相对帧优先级+数据流优先级)。为了获得绝对优先级，也可以使用相减方法或常数相乘方法。

绝对帧优先级主要用于网络。这是因为利用绝对值的表述不需要确定通过诸如路由器或网关等转发器考虑数据流优先级和帧优先级，来确定每帧的优先级。利用绝对帧优先级，使转发器废弃帧之类的处理简化。

而且，可以希望把相对帧优先级主要应用于累积系统，以进行记录或编辑。在编辑操作的情况下，可以同时处理多个图像和声音数据流。在这种情况下，可以根据终端或网络的负荷情况限制能再现图像数据流的数量和帧的数量。

在上述情况下，与仅通过把数据流优先级与帧优先级分离来表述绝对值的情况不同，不必重新计算每个帧优先级，即仅通过改变编辑者想优先显示或用户要看的数据流的数据流优先级即可。因此，必须根据用途利用绝对表述或相对表述。

通过描述是把数据流优先级用作相对值还是用作绝对值，可以有效地表示传输和累积的优先级

在图28(b)的情况下，其区别是利用表示数据流优先级表述的值是绝对值还是相对值的标记或标识符，跟踪数据流优先级表述的值是相对值还是绝对值的数据流优先级。在帧优先级的情况下，不需要标记或标识符，这是因为在通信首部描述了相对值，在编码帧内描述了绝对值。

在图28(c)的例子中，使用了鉴别帧优先级是绝对值还是相对值的标记或标识符。在绝对值的情况下，帧优先级是根据数据流优先级和相对帧优先级计算得到的优先级，因此，转发器或终端并不进行这种计算。而且，当终端已知计算公式时，可以根据绝对帧优先级和数据流优先级反向计算相对帧优先级。例如，还可以从下面的相对表述获得要传输的数据包的绝对优先级(访问单元优先级)：

“访问单元优先级＝数据流优先级-帧优先级”

在这种情况下，由于它是在从数据流优先级中减去了之后获得的，所以也可以把帧优先级表示也降低优先级。

使一个或多个数据流优先级与通过TCP/IP逻辑通道(LAN的端口号)的数据处理的优先级相关联，也可以控制数据处理。

再者，通过把比字符或控制信息低的数据流优先级或帧优先级分配给图像或声音，预期可以减少重发。这是因为即使部分图像或声音丢失，在大多数情况下也不会产生问题。

图29的示意图用于解释把优先级分配给多分辨率视频数据的方法。

当一个数据流由多个子数据流构成时，可以定义一种子数据流处理方法，把数据流优先级加到子数据流中，并描述累积或传输时的逻辑和或逻辑积。

在子波的情况下，可以把一图像帧分解成多个不同分辨率的图像帧。而且，即使在DCT基编码的方法中，通过把图像帧分割成高频分量和低频分量，并对它们进行编码，也可以把一图像帧分解成多个不同分辨率的图像帧。

除了加到由一系列分解的图像帧构成的多个图像数据流中的数据流优先级之外，图像数据流之间的关系用“与”(逻辑积)以及“或”(逻辑和)来定义，以描述这种关系。具体地说，当数据流A的数据流优先级为5，数据流B的数据流优先级为10时(数值越小，优先级越高)，图像数据流之间的关系被定义成根据优先级废弃数据流数据的情况下，废弃数据流B，但通过描述数据流之间的关系，在“与”的情况下，即使数据流B的优先级低于阈值优先级，也可以传输和处理数据流B，而不废弃。

因而，可以处理相关数据流而不废弃。在“或”的情况下，定义成可以废弃相关数据流。可以在发送或接收终端甚至在转发终端进行废弃处理。

而且，作为描述关系的运算符，当把同一视频剪辑分别编码成24Kbps和48Kbps时，存在再现24或48Kbps的情况(用异逻辑和“异或”描述关系)。

当前者的优先级被设置成10后者的优先级被设置成5时，用户可以根据优先级再现后者，或者不遵循优先级，选择后者。

图30的示意图用于解释通信有效负载的构成方法。

当由多个子数据流构成时，例如根据加到子数据流中的数据流优先级，从具有最高优先级的子数据流开始，依次构成传输数据包，则在传输数据包一级上废弃变得容易。而且，精细地对分别具有高帧优先级的对象的信息进行分等级并组成单元，从而构成通信数据包可以使在通信数据包一级上废弃变得容易。

通过使图像的切片结构与通信数据包相关联，回送遗漏的数据包变得容易。即，通过使图像的切片结构与数据包结构相关联，不需用于再同步的再同步标记。除了与通信数据包结构一致的切片结构之外，必须增加再同步标记(告知回送位置的标记)，以便由于遗漏数据包使信息受损时，也可以进行再同步。

根据上文所述述，可认为把高防错措施应用于具有高优先级的通信数据包。而且，图像的切片结构表示诸如GOB或MB等的集合图像信息单元。

图31的示意图用于解释使数据与通信有效负载相关联的方法。通过把数据流或对象与通信数据包相关联的方法与控制信息或数据一起传送，可以根据通信状态或用途产生任意的数据格式。例如在RTP(实时传送协议)的情况下，对要处理的每次编码定义RTP的有效负载。已有的RTP格式是固定。在H.263的情况下，如图31所示，定义了模式A至模式C的三种数据格式。在H.263的情况下，没有定义以多分辨率图像格式为对象的通信有效负载。

在图31的例子中，把层号和上述关系描述(“与”，“或”)加到模式A的数据格式中，并加以定义。

图32的示意图用于解释帧优先级、数据流优先级和通信数据包优先级之间的关系。

而且，图32示出了把在传输线路上加到通信数据包中的优先级用作通信数据包优先级，并使数据流优先级和帧优先级与通信数据包优先级相对应的例子。

通常，在利用IP进行通信的情况下，必须使加到图像或声音数据中的帧优先级或数据流优先级与低端IP数据包的优先级相对应来传输数据。由于图像或声音数据被分割成IP数据包来传输，所以必须使这些优先级彼此相对应。在图32的例子中，由于数据流优先级的值为0至3，帧优先级的值从0至5，所以高端数据的优先级可以从0至15。

在Ipv6的情况下，保留了0至7的优先级(4位)，用于阻塞控制业务。保留了优先级8至15用于实时通信业务或非阻塞控制业务。优先级15是最高优先级，优先级8是最低优先级。这表示在IP数据包一级的优先级。

在利用IP的数据传输的情况下，必须使0至15的高端优先级与8至15的低端IP优先级相对应。为了使这些优先级彼此相对应，可以削除一些高端优先级的方法，或者可以利用性能评价函数使这些优先级彼此相对应。建立高端数据与低端IP优先级的对应关系在中继节点(路由器或网关)或发送和接收终端上进行的。

传送手段并不仅限于IP。可以具有象ATM或MPEG2的TS(传送数据流)一样，使用具有表示是否可废弃的标记的数据包。

至此已描述的帧优先级和数据流优先级可以应用于传输媒体或数据记录媒体。可以使用软盘或光盘作为数据记录媒体。

不仅可以使用软盘或光盘，也可以使用诸如IC卡或ROM盒等媒体，只要在这种媒体上可以记录节目。再者，也可以使用音频-视频转发器(例如，路由器或网关)来中继数据。

而且，根据数据流优先级(时间序列数据间优先级)或帧优先级(时间序列数据内优先级)的信息，确定要重发的时间序列数据，从而实现优先重发。例如，当在接收端根据优先级信息进行解码时，可以防止非处理对象的数据流或帧被重发。

还可与目前要处理的优先极分开，根据重发次数和成功发送次数之间的关系确定具有应重要优先级的数据流或帧。

此外，在发送侧终端的情况下，根据数据流优先级(时间序列数据间优先级)或帧优先级(时间序列数据内优先级)的信息确定要发送的时间序列数据，从而实现优先发送。例如，根据平均传送速率或重发次数，确定要发送的帧或数据流的优先级，即使网络过载时也可以发送自适应图像或声音。

上述实施例并不限于二维图像合成。也可以用的把二维图像与三维图像组合而获得的表述方法，或者包括合成多幅图像的图像合成方法，从而如宽视场图像(全景图像)那样，各图像彼此邻接。而且，本发明提出的通信系统并不限于双向CATV或B-ISDN。例如，把图像和声音从中央侧终端传输给家庭终端可以使用无线电波(例如VHF或UHF波段)，或者使用卫星广播，把源于家庭侧终端的信息发送到中央侧终端可以使用模拟电话线路或N-ISDN(并不总是需要多路复用图像、声音或数据)。还可以使用利用无线电的通信系统，例如IrDA、PHS(个人手持电话)或无线电LAN。

而且，目的终端可以是便携终端(例如便携信息终端)或桌面终端(例如顶置盒或个人计算机)。

如上所述，本发明可以容易地处理多个视频数据流和多个音频数据流，并有重点地与声音同步再现主要场面片段，以反映编辑者的意图。

下面参照附图描述本发明的实施例。

下述的实施例解决了上述问题(C1)至(C3)之一。

图33示出了第一实施例的发送机的结构。符号2101表示图像输入端，一张图像的大小为144像素×176像素。符号2102表示视频编码器，由四个部分1021、1022、1023和1024构成(参见推荐H.261)。

符号1021表示转换单元，把输入图像分割成宏块(16像素×16像素的方形区域)，并确定对这些块是进行帧内编码还是进行帧间编码，1022表示移动补偿装置，根据可以根据上次编码结果计算得到的本机解码图像，产生移动补偿图像，计算移动补偿图像与输入图像之间的差异，并以宏块形式输出结果。移动补偿包括具有长处理时间的半像素预测和具有短处理时间的全像素预测。符号1023表示正交变换装置，对每个宏块进行DCT变换，1024表示长度可变编码装置，对DCT变换结果和其它编码信息进行加密编码。

符号2103表示计数装置，对视频编码器2102的四个部件的执行次数进行计数，并向变换装置输出每个输入图像的计数结果。在这种情况下，从移动补偿装置1022对半像素预测的执行次数和全像素预测的执行次数进行计数。

符号2104表示变换装置，输出如图34所示的数据串。符号2105表示发送装置，把视频编码器2102的可变长度码与变换装置2104的数据串多路复用成一个数据串，并向数据输出端2109输出该数据。

根据上述结构，可以向接收机发送必要处理(转换单元1021、正交变换装置1023和长度可变编码装置1024)和非必要处理(移动补偿装置1022)的执行次数。

第一实施例的发送机对应于权利要求68。

图40是第二实施例的发送方法的流程图。

由于本实施例的操作与第一实施例相似，所以附注了相应的单元。在步骤801(图像输入端2101)输入图像，并在步骤802把图像分割成宏块。此后，重复步骤803至步骤806的处理，直到根据步骤807内的条件分支完成了对应于每个宏块的处理。而且，当执行了每个处理，使能以具体的变量记录从步骤803至步骤806的处理的次数时，把相应变量增1。

首先，在步骤803(转换单元1021)确定对要处理的宏块进行块内编码还是块间编码。当对宏块进行块间编码时，在步骤804(移动补偿装置1022)进行移动补偿。此后，在步骤805和步骤806(正交变换装置1023和可变长度编码装置1024)进行DCT变换和可变长度编码。当完成了对每个宏块的处理时(在步骤807为“是”的情况下)，在步骤808读取表示对应于每次处理的执行次数的变量，产生如图2所示的数据串，并多路复用和输出该数据串和代码。只要继续有输入图像，就重复执行步骤801至步骤808的处理。上棕结构可以传送每次处理的执行次数。

第二实施例的发送方法对应于权利要求67。

图35示出了第三实施例的接收机结构。

在图35中，符号307表示输入端，输入第一实施例的发送机的输出，302表示接收装置，根据第一实施例的发送机的输出，通过去多路复用，取得可变长度码和数据串，并输出。在这种情况下，假设测量并输出了接收一页数据所需要的时间。

符号303表示把可变长度码用作输入的视频解码器，它由五个部分构成。符号3031表示可变长度解码装置，从可变长度码取得DCT系数和其它编码信息，3032表示反正交变换装置，对DCT系数进行反DCT变换，3033表示转换装置，根据表示宏块是帧内编码还是帧间编码的编码信息向上或向下对每个宏块的输出进行转换。符号3034表示移动补偿装置，利用上次解码图像和移动编码信息，产生移动补偿图像，并与反正交变换装置3032的输出相加后输出。符号3035表示执行时间测量装置，测量从把可变长度码输入到解码器303后到完成解码和输出图像的执行时间并加输出。

符号302表示估计装置，接收根据接收装置301传送的数据串，每个单元(编码装置3031、反正交变换装置3032、转换单元3033或移动补偿装置3034)的执行次数和执行时间测量装置305的执行时间，以估计每个单元的执行时间。

为了估计每个单元的执行时间，可以使用线性回归法，把估计的执行时间设为目的变量y，把每个部件的执行次数设为解释变量xui。在这种情况下，可以把回归参数aui看作是每个单元的执行时间。而且，在线性回归的情况下，必须累加足够多的以前的数据，结果浪费了许多存储器。然而，为了以免浪费许多存储器，也可以使用卡尔曼滤波器估计内状态变量。可以把上述情况看作这样一种情况：把观察值设为执行时间，把每个单元的执行时间设为内状态变量，而且每个单元执行次数的每一步都改变执行矩阵C。符号304表示次数削减装置，改变每个单元的执行次数，以削减全像素预测的执行次数，增加半像素预测的执行次数一相应值。下面示出了计算相应值的方法。

首先，从估计装置302接收每个单元的执行次数和估计的执行时间，以估计执行时间。当执行时间超过从接收装置301接收数据所需的时间时，增加全像素预测的执行次数，减少半像素预测的执行次数，直到前一时间不超过后一时间。符号306表示解码图像的输出端。

有这样一种情况，即指定移动补偿装置3034，以根据编码信息进行半像素预测。在这种情况下，当超过半像素预测的预定执行次数时，把半像素移动舍入全像素移动，以执行全像素预测。

根据上述第一和第三实施例，按照每个单元的估计执行时间来估计解码的执行时间，当解码执行时间可能超过接收一页数据所需要的时间(指定时间)时，用全像素预测代替执行时间长的半像素预测。从而，可以防止执行时间超过指定时间，解决问题(C1)(对应于权利要求68和74)。

而且，把必要和非必要处理部分看作两组的例子对应于权利要求66和72，把视频部分看作波形数据的例子对应于权利要求64和70。

接收机在IDCT计算中不利用高频分量，从而可以减少IDCT计算的处理时间。即，把低频分量的计算看出必要处理，把高频分量的计算看作是IDCT计算中的非必要处理，也可以减少IDCT计算中高频分量的计算次数。

图41是第四实施例的接收方法的流程图。

由于本实施例的操作与第三实施例类似，所以附注相应的单元。在步骤901中，初始化表示每个单元的执行时间的变量a_i(估计装置302)。在步骤902，输入多路复用数据，并测量多路复用该数据所需的时间(接收装置301)。在步骤903中，把多路复用数据分割成长度可变码和数据串，并输出(接收装置301)。在步骤904中，从数据串(图2)取得各执行次数，并设置成x_i。在步骤905中，根据每个单元的执行时间a_i和各执行次数x_i计算实际执行次数(次数削减装置304)。在步骤906中，开始测量解码执行时间。在步骤907，开始进行下述的解码子程序。此后，在步骤908，结束测量解码执行时间(视频解码器303和执行时间测量装置3035)。在步骤908，根据步骤908的解码执行时间和步骤906的每个单元的实际执行时间估计每个单元的执行时间，以更新a_i(估计装置302)。对每个输入的多路复用数据进行上述的处理。

而且，步骤907的解码子程序中，在步骤910进行可变长度解码(可变长度解码装置3031)，在步骤911进行反正交变换(反正交变换装置3032)后，处理在步骤912根据通过步骤910的处理取得的块内/块间编码处理的信息，进行分叉(转换单元3033)。在块帧间编码处理的情况下，步骤913中进行移动补偿(移动补偿装置3034)。在步骤913中，对半像素预测的执行时间进行计数。当计数的执行时间超过步骤905中获得的实际执行次数时，用全像素预测代替半像素预测，以便执行。在把上述处理应用于每个宏块(步骤914)后，结束该子程序。

根据上述第二和第四实施例，按照每个单元的估计执行时间来估计解码的执行时间，当执行时间可能超过接收一页数据所需要的时间(指定时间)时，用全像素预测代替执行时间长的半像素预测。由此，可以防止执行时间超过指定时间，解决问题(C1)(对应于权利要求67和73)。

而且，把部分非必要和必要处理部分看出两组的例子对应于权利要求65和71，把视频部分看出波形数据的例子对应于权利要求63和69。

图36示出了第五实施例的接收机的结构。

该实施例的大多数部件与第二实施例所述的部件相同。然而，下面描述两个增加部件和一个改动的部件。

符号402表示估计装置，它是改动实施例2描述的估计装置302而得到的，以输出根据次数削减装置304的输出独立估计的结果获得的每个单元的执行时间。符号408表示发送装置，根据每个单元的执行时间产生图37所示的数据串，并输出。当把微秒为单位用16位表示执行时间时，可以表示多达约65毫秒。因此，这约65毫秒将是足够的。符号409表示把数据串传送给发送装置的输出端。

而且，可以仅紧接在图40的符号808后增加产生图37所示的数据串的步骤就可以获得对应于第五实施例的接收方法。

图38示出了第六实施例的发送机的结构。

该实施例的大部分部件与第一实施例所述的相同。然而，下面描述两个增加的部件。符号606表示输入端，接收第三实施例607的接收机输出的数据串，607表示接收装置，接收数据串，并输出每个单元的执行时间。符号608表示确定装置，获得每个单元的执行时间，下面描述其获得过程。首先，转换单元1021处理图像的每个宏块，从而获得转换单元1021在此特定时间的执行次数。进而，可以根据处理结果，唯一地确定在此特定时间的移动补偿装置1022、正交变换装置1023和可变长度编码装置1024的执行次数。因此，利用接收装置607发送的这些执行次数和执行时间，估计在接收机侧解码所需的执行时间。获得的估计解码时间作为每个单元的执行时间和执行次数之间乘积的和求出。若估计的解码时间等于或大于传送通过速率控制器等指定的该图像产生的码数(例如16Kbit)所需的时间(例如在传输速率为64Kbits/s时，为250毫秒)，则增加全像素预测的执行次数，减少半像素预测的执行次数，以使估计的解码执行时间不超过传送所需的时间。(由于全像素预测的执行时间短，所以减少全像素预测的次数可以减少全预测的执行时间。)

此外，视频编码器2102根据确定装置608指定的执行次数进行各种处理。例如，在移动补偿装置1022以半像素预测的预定执行次数执行了半像素预测之后，仅进行全像素预测。

可以改善选择方法，使半像素预测在图像中分散均匀。例如，可以使用下列方法：首先获得需要进行半像素预测的每个宏块，计算上述宏块数的数(例如12)除以半像素预测的执行次数(例如4)得到的结果(3)，然后仅对从需要进行半像素预测的宏块开始的顺序号除以上述结果无余数的宏块(0，3，6或9)进行半像素预测。

根据上述第五和第六实施例，把每个估计的单元执行时间传送给发送侧，在发送侧估计解码的执行时间，并用全像素预测代替执行时间较长的半像素预测，从而使估计的解码执行时间不超过接收一页数据可能需要的时间(指定时间)。由此，发送的编码信息中，没有废弃半像素预测信息，而且可以防止执行时间超过指定时间，解决问题(C2)(对应于权利要求76和78)。

此外，在非必要处理的情况下，可以把宏块间编码分成三种移动补偿：正常移动补偿；8×8移动补偿和重叠移动补偿。

图42是第七实施例的发送方法的流程图。

因为本实施例的操作与第六实施例相似，所以附注相应的单元。在步骤1001，对每个处理的执行时间设置初始值。在步骤801输入图像(输入端2101)，并在步骤802把它分成宏块。在步骤1002，确定对每个宏块进行块内编码还是块间编码(转换单元1021)。结果是得到从步骤1005至步骤806的每个处理的执行次数。因此，在步骤1003，根据上述每个处理的执行次数和执行时间计算实际执行次数(确定装置608)。

此后，重复步骤1005至步骤806的处理，直到根据步骤807的条件分支完成了每个宏块的处理。

而且，当执行每个处理时，把相应的变量加1，使步骤1005至步骤806的处理次数可以记录在特定的变量中。首先在步骤1005，根据步骤1002的确定结果进行分叉(转换单元1021)。在块间编码的情况下，在步骤804进行移动补偿(移动补偿装置1022)。在这种情况下，对半像素预测的次数进行计数。当所计次数超过在步骤1003获得的实际次数时，执行全像素预测代替执行半像素预测。此后，在步骤805和806，进行DCT变换和可变长度编码(正交变换装置1023和可变长度编码装置1024)。当完成对每个宏块的处理时，(在步骤807为是的情况下)，在步骤808中读取表示对应于每个处理的执行次数的变量，产生图2所示的数据串，并多路复用和输出数据串和代码。在步骤1004中，接收数据串，并从该数据串是取出每个处理的执行时间并进行设置。

只要有图像输入就重复执行步骤801至1004的处理。

根据第五实施例和第七实施例描述部分的最后一个“而且”开始的段落，把每个单元的估计的执行时间传送给发送侧，在发送侧估计解码执行时间，用全像素预测代替执行时间长的半像素预测，使估计的解码执行时间不超过接收一页数据所需要的可能时间(指定时间)。由此，发送的编码信息中，没有废弃半像素预测的信息，而且可以防止执行时间超过指定时间，解决了问题(C2)(对应于权利要求75和77)。

图39示出了本发明第八实施例的发送设备的结构。

该实施例的大部分部件与第一实施例描述的相同。因此，下面描述增加的四个部件。

符号7010表示执行时间测量装置，用于测量图像向编码器2102输入图像之后到完成编码和输出图像的执行时间，并输出测得的执行时间。符号706表示估计装置，用于从计数装置2103的数据串接收各单元(转换单元1021、移动补偿装置1022、正交变换装置1023和可变长度解码装置1024)的执行次数，从执行时间测量装置7010接收执行时间，并估计每个单元的执行时间。可以利用与第二实施例的估计装置302描述的相同的估计方法。符号707表示输入用户发送的帧速率值的输入端，708表示确定装置，用于获得每个单元的执行时间。获得的过程描述如下。

首先，转换单元1021处理图像中的每个宏块，以获得转换单元1021在此特定时间的执行次数。此后，可以根据至该特定时间的处理结果，唯一地确定移动补偿装置1022、正交变换装置1023和可变长度编码装置1024的执行次数。然后，对每个单元获得估计装置706发送的每个单元的执行次数和估计时间之间的乘积的总和。当估计的编码时间等于或大于从符号707所传送帧速率的倒数获得的、可用于一页图像编码的时间时，增加全像素预测的执行次数，减少半像素的执行次数。

重复进行上述执行次数的增减变化，并计算估计的编码时间，直到估计的编码时间等于或短于可用的时间，从而确定各执行次数。

而且，视频编码器2102根据确定装置608指定的执行次数进行各种处理。例如，在移动补偿装置1022以半像素预测的预定执行次数进行了半像素预测后，仅执行全像素预测。

而且，也可以改进选择方法，以便半像素预测在图像内分散结构。例如，可以使用下列方法：获得需要进行半像素预测的每个宏块，计算需要进行半像素预测的宏块数(例如12)除以半像素预测的执行次数(例如4)得到的结果(3)，然后仅对从需要进行半像素预测的宏块开始的序号除以上述结果无余数的宏块(0，3，6或9)进行半像素预测。

上面的第八实施例可以解决问题(C3)，它估计每个处理的执行时间，根据估计的执行时间估计编码所需的执行时间，并确定执行次数，使估计的编码时间等于或短于对根据帧速率确定的图像进行编码可用的时间(对应于权利要求80)。

而且，由于移动补偿装置1022检测移动矢量，所以有一种全搜索移动矢量检测方法，在15个水平和垂直像素范围内的矢量中，检测使SAD(每个像素的绝对差值之和)最小的矢量。还有一种三步移动矢量检测方法(在H.261的附录内有描述)。三步移动矢量检测方法执行在上述检索范围内选择均匀分布的九个点的处理，以选择具有最小SAD的点，再在接近上述点的窄小范围内选择九个点，以再次选择一个具有最小SAD的点。

也可以适当地减少全搜索移动矢量检测方法的执行时间，适当地增加三步移动矢量检测方法的执行次数，把这两种方法作为非必要处理方法，并估计这两个方法中每个方法的执行时间，根据估计的执行时间估计编码所需要的执行时间，以使估计的执行时间等于或短于用户指定的时间。

而且，可以使用检索次数的固定移动矢量检测方法，进一步简化处理，或者与三频移动矢量检测方法，兼用仅返回移动矢量(0，0)作为结果的移动矢量检测方法。

图43是第九实施例的发送方法的流程图。

由于本实施例的操作与第八实施例相似，所以附注相应的单元。对每个流程的详细描述参照相应单元的描述。

而且，由于本实施例几乎与第二实施例相同，所以下面仅解释不同点。

在步骤1101，把每个处理的执行时间的初始值设置到变量a_i。在步骤1102，输入帧速率(输入端707)。在步骤1103，根据步骤1102的每个处理的帧速率和执行时间a_i以及从1002的块内/块音编码处理确定结果获得的各处理的执行次数确定实际执行次数(确定装置708)。在步骤1105和1106中，测量编码的执行时间。在步骤1104中，根据步骤1106中获得的执行时间和每个处理的实际执行次数估计每个处理的执行时间，更新变量a_i(估计装置706)。

根据上述第九实施例，先估计每个处理的执行时间，可按照所估计的执行时间预测编码所需的执行时间。因此，确定执行次数，使估计的编码时间等于或短于对根据帧速率确定的图像进行编码可用的时间(对应于权利要求79)，从而能解决问题(C3)。

在第二实施例的情况下，当在步骤808中产生数据串时，也可以在图2所示的开始码之后增加两字节的区域，向该区域增加码长度的二进制标号。

而且，在第四实施例中，当在步骤902输入多路复用数据时，也可以从两字节区域中取出码长度，并将从该码长度和码传输速率获得的码传输时间用于步骤905的执行次数计算(减少半像素预测的执行次数，以不超过码传输时间)。这对应于权利要求81和83。

而且，在第一实施例中，当在步骤2104产生数据串时，也可以在图2所示的开始码后增加两字节的区域，在该区域内增加码长度的二进制标示。

而且，在第三实施例中，当在步骤301输入多路复用数据时，也可以从该两字节区域中取出码长度，并将从该码长度和码传输速度获得的码传输时间用于步骤304的执行次数计算(减少半像素预测的执行次数，以不超过码传输时间)。这对应于权利要求82和84。

而且，在第四实施例中，紧接在步骤909后记录半像素预测的实际执行次数，以计算最大值。当最大值等于或小于足够小的值(例如2或3)时，也可以产生数据串(包含具体位模式的数据串)，表示不使用半像素预测，并发送产生的数据串。而且，在第二实施例中，确认是否紧接在步骤808后接收到该数据串，当接收到表示没有使用半像素预测的数据串时，也可以使移动补偿处理在步骤808总是作为全像素预测。这对应于权利要求93和91。

而且，上述原理也可以应用于不是移动补偿的情况。例如DCT计算可以不用高频分量，以减少DCT的计算时间。即，在接收方法的情况下，当IDCT计算执行时间对整个计算时间的比率超过某一值时，向发送侧传送表示该比率超过某一值的数据串。当发送侧接收到该数据串时，也可以通过DCT计算仅计算低频分量，并把所有高频分量减少到零。这对应于权利要求89。

而且，虽然利用图像描述了本实施例，但也可以把每种方法应用于音频而不是频视。这对应于权利要求85和87。

而且，在第三实施例中，在步骤3034中记录了半像素预测的实际执行次数，以计算最大执行次数最大值。然后，当该最大值是足够小值或更小时(例如2或3)，可以产生并发送表示不使用半像素预测的数据串(包含具体位模式的数据串)。而且，在第一实施例中，当接收到表示没有使用半像素预测的数据串时，可以使步骤1022的移动补偿处理总是作为全像素预测。这对应于权利要求94和92。

而且，上述原理可以应用于不是移动补偿的情况。例如DCT计算不利用高频分量可以减少DCT计算的处理时间。即，在接收方法中，当IDCT计算执行时间对整个执行时间的比率超过某一值时，向发送侧传送表示该比率超过某一值的数据串。

当发送侧接收到该数据串时，可以通过DCT计算仅计算低频分量，把所有高频分量减少为零。这对应于权利要求90。

而且，虽然上面利用图像描述了实施例，但也可以把上述方法应用于声音而不是图像。这对应于权利要求86和88。

如上所述，根据权利要求68和74(如第一和第三实施例)，按照每个单元的估计执行时间估计解码的执行时间，并且，当估计的解码执行时间可能超过接收一页数据所需的时间(指定时间)时，用全像素预测代替执行时间较长的半像素预测。由此，可以防止执行时间超过指定时间，解决问题(C1)。

而且，根据权利要求75和77(例如第五和第七实施例)，把每个单元的估计执行时间传送给发送侧，在发送侧估计解码执行时间，并用全像素预测代替执行时间较长的半像素预测，以使估计的解码时间不超过适于接收一页数据所需要的时间(指定时间)。由此，在发送的编码信息中没有废弃半像素预测的信息，并可以防止执行时间超过指定时间，解决问题(C2)。

而且，根据权利要求79(例如第九实施例)，可以解决问题(C3)，其方法是估计每个处理的执行时间，按照所估计的执行时间估计编码所需要的执行时间，并确定执行次数，使估计的编码时间等于或小于可用对根据帧速率确定的图像进行编码可作的时间。

因此，本发明可以实现即使计算负荷增加也减慢质量劣化的功能(CGD：计算适度弱化)，从而获得很大的利益。

而且，计算机利用诸如磁记录媒体或光记录媒体可以实现上述的操作，其中使计算机的程序实现上述实施例中任一实施例中描述的每个步骤(或每个装置)(或者每个装置的操作)的全部或部分。

工业应用性

如上所述，本发明可以对应于状态、用途或传输线路改变信息帧，动态地确定数据控制信息、传输控制信息和用于发送和接收终端的控制信息的帧。而且，易于处理多个视频数据流或多个音频数据流，并且有重点地与声音同步地再现主要的场面片段，反映编辑者的意图。此外，根据每一估计的元件的执行时间，当估计的解码执行时间可能超过接收一页数据所需的时间(指定时间)时，用全像素预测代替执行时间较长的半像素预测，可以防止执行时间超过指定的时间。

Claims

1、一种数据处理设备，其特征在于，包括：

接收装置，接收数据序列，该数据序列包括(1)音频或包含I帧的视频时间序列数据，(2)表示所述时间序列数据值之间处理的优先级的时间序列数据间优先级，(3)表示所述I帧之间处理的优先级的时间序列数据内优先级；

数据处理装置，当同时出现多个所述视频时间序列数据值时，同时利用所述时间序列数据间优先级与所述时间序列数据内优先级进行所述时间序列数据的解码处理、阻塞控制处理或重发处理中的至少一种处理。

2、一种数据处理方法，其特征在于，包括下列步骤：

输入数据序列，该数据序列包括(1)音频或包含I帧的视频时间序列数据，(2)表示所述时间序列数据值之间处理的优先级的时间序列数据间优先级，(3)表示所述I帧之间处理的优先级的时间序列数据内优先级；

当同时出现多个所述视频时间序列数据值时，同时利用所述时间序列数据间优先级与所述时间序列数据内优先级进行所述时间序列数据的解码处理、阻塞控制处理或重发处理中的至少一种处理。

3、如权利要求2所述的数据处理方法，其特征在于，同时利用所述时间序列数据间优先级与所述时间序列数据内优先级进行由终端引起过载的解码处理。

4、一种数据处理方法，其特征在于，包括下列步骤：

在对所述时间序列数据进行数据包通信时，通过使用与所述时间序列数据内优先级和所述时间序列数据间优先级相关联的数据包优先级来进行所述时间序列数据的解码处理、阻塞控制处理或重发处理中的至少一种处理。

5、一种数据处理方法，其特征在于，

输入数据序列，该数据序列包括(1)音频或含有I帧的视频时间序列数据，(2)表示所述时间序列数据值之间的处理优先级的时间序列数据间优先级，(3)表示所述I帧之间处理的优先级的时间序列数据内优先级；

在对所述时间序列数据进行数据包通信时，在所述数据包的通信首部记述附加对于所述时间序列数据内优先级的相对处理优先级的信息，用所述通信首部进行所述时间序列数据的解码处理、阻塞控制处理或重发处理中的至少一种处理。

6、如权利要求5所述的数据处理方法，其特征在于，对包括有较高的所述时间序列数据内优先级的信息的数据包进行高度防错。