CN1141844C - 移动图像合成系统 - Google Patents

Abstract

一种移动图像合成系统，用于在多图像屏面上的任意位置处显示经缩小和编码的图像。它包括移动图像缩小单元、移动图像编码单元、累积单元和移动图像合成单元。移动图像编码单元考虑到因在移动图像组合时放置缩小的移动图像而使位置信息发生变化的情况来进行编码处理，以便改变缩小的移动图像所具有的位置信息。当因组合处理而需要改变缩小的移动图像的位置信息时，移动图像合成单元把位置信息变到其组合处理所需的位置信息。

Description

移动图像合成系统

本发明涉及一种合成系统或设备，在对一个图像或画面的多个移动图像(画面)数据执行同步多图像再现的情况下，使用每个移动图像数据进行编码(编码)的方法以及产生相应于移动图像数据的任意组合的多图像合成移动图像的合成方法。

如7-298263号日本未审查公开专利中所示，众所周知这样一种方法，即把移动图像的一帧分割成多个区域获得的的合成代码串与通过对每个区域进行编码而产生的代码串相连，从而使其语法(syntax)与通过对图像进行编码而不分割成区域所产生的代码串的语法相同。

图51是示出实现此方法的配置的方框图，以下将参考该图来描述其操作。

首先，通过图像分割器61以帧为单位把输入的移动图像分割成多个区域。此时，图像分割器61根据来自分割控制单元75的图像分割控制信号来确定分割方法。在此情况下，把一帧垂直分割成三个区域，按照从原始图像的左手区域开始的顺序把所分割的图像信号分别取作77、78和79，把所分割的图像信号77、78和79分别引入编码器62、63和64。每个编码器62到64接收来自分割控制单元75的所分割的帧的尺寸和编码条件以对输入的被分割图像信号进行编码，然后把这些信号作为代码串80、81或82输出到代码串合成器74。接着，分割控制单元75输出代码串合成信号，该信号把依据图像分割器61指令的帧分割方法通知代码串合成器74，代码串合成器74依据此代码串合成信号按照特定序列来连接来自解码器62到64的代码串，以产生与不进行帧分割的情况相同的语法，最后输出合成或组合的代码串。

在上述7-298263号日本未审查公开专利中，依据来自分割控制单元的指令，把原来相应于一个图像的图像信号分割成依次相应于多个区域的分割图像信号，在多个编码器中依据MPEG(移动画面专家组)分别对这些信号进行编码，排列从多个编码器输出的代码串以产生原始语法。

此时，每个编码器接收所分割的帧的尺寸以及编码条件以在进行MPEG编码处理前了解图像信号即编码器本身所编码的原始图像的区域，换句话说，就是最后显示编码器本身所输出的代码串的图像区域。

然而，在多图像屏面(raster)(用于多个图像的整个帧)的任意图像区域中显示缩小的移动图像(以下将把每个图像叫做小片(thumbnail)移动图像)的情况下，在对某个小片移动图像进行MPEG编码处理时还不能知道显示位置。

为此，在组合或结合多个图像时，需要对每个经编码的小片移动图像(以下叫做经编码的小片移动图像)进行指定显示位置的操作。

同时，例如在MPEG标准(例如，在图52A到52D中示出MPEG形式的视频流语法一部分)中，由一片段(slice)中在领先宏块的可变长度代码位宏块_地址_增量(以下叫做MB_Addr_Inc)来表示解码和再现时显示该片段的水平位置。如果为了把经编码的小片移动图像置于任意位置而改变MB_Addr_Inc的值，则消除可变长度代码的MB_Addr_Inc部分的位数也发生变化。结果，(在只应用MPEG作为指定用于经编码的小片移动图像的显示位置的情况下，)在多图像屏面中组合或结合移动图像时，由于相对于遵循MB_Addr_Inc部分的所有代码串的位数变化而产生位移动操作，这需行大量计算。

图53A到53C是适用于描述该事件的示意图。在把经编码的小片移动图像置于多图像屏面的右下部分的情况下，其中所述屏面包括如图53A所示的沿垂直方向的两个分割(两列)并沿水平方向的两个分割(两行)，经编码的小片移动图像A的代码串如图53B所示变化。在观察整个移动图像时，以片段_起始_代码部分中的最后一个字节来指定片段的垂直位置的。

另一方面，以如上所述的MB_Addr_Inc来指定片段的水平位置。虽然片段的水平位置因为组合而从1到5，即如果以可变长度代码来表示，则MB_Addr_Inc＝1表示1位的“1”，如果以可变长度代码来表示，则MB_Addr_Inc＝5表示4位的“0010”，因此，在组合或合成后，位串又延长了3位。相应地，如图53B和53C所示，在组合后超出MB_Addr_Inc的代码串处于被额外地又移动3位的状态。通常，计算机中的通用计算机或存储单元以字节为单位进行访问。为此，如图53C所示，超出在领先宏块的MB_Addr_Inc的所有代码串需要进行位操作。

此外，在相同的MPEG标准中，不能保证以字节为单位来分隔(字节对准)相邻宏块的代码串，而作为一种独立的情况，由图52A到52D中位于构成一片段的一组宏块中最后一个宏块的代码串后的下一个_起始_代码()来实现字节对准。在为了使经编码的小片移动图像位于任意位置而宏块以所需的顺序排列时，发生跨越字节边界的宏块互连，从而难于把代码串解码成为正确的图像。

再者，就片段的最后一个宏块中的代码串而言，以如上所述的调整位来进行字节对准。在把另一个宏块代码串连到包含所加的调整位的宏块代码串后的情况下，解码器根据除形成最后一个片段的代码串以外在相邻宏块的代码串中不存在调整位的假设对代码串进行解码。这样，解码器不能通过代码串中的填充位把代码串解码成为正确的图像。

图54A到54C是适用于说明此情况的示意图。在此情况下，把图54A所示的经编码的小片移动图像A和B组合成一个多图像屏面，它包括沿垂直方向的一个分隔(一行)和沿水平方向的两个分隔(两列)。在以把组成每个经编码的小片移动图像A和B的宏块置于多图像屏面内的任意位置的方式来实现此组合处理的情况下，在多图像屏面内放置各个宏块如图54B所示，如图54C的最低部分所示，其代码串如此排列从而首先出现相应于片段M1的片段标题部分的代码串，然后，接着是按照宏块A1、A2、B1和B2顺序的后续宏块代码串。

此时，假设以填充位对片段A1的最后(最终)一个宏块A2进行字节对准，则片段M1的代码串处于填充位串插在宏块A2和B1之间的状态。结果碰到的困难是不能对图像进行准确地解码。

本发明的目的是为了消除在多图像屏面的任意位置处显示依据各种标准编码的小片移动图像的系统中所存在的上述问题，因此，本发明的目的是提供了一种移动图像合成系统，该系统能在例如MPEG标准中把代表一个片段显示位置的可变长度代码位部分高速地改写或变为任意值，只通过把宏块排列成屏面扫描序列来组合多个图像，在一多图像屏面上以不同的尺寸同步地显示小片移动图像，以及把多图像屏面分割成已编码小片移动图像，然后使多图像屏面重新构成任意序列。

相应地，在本发明中，考虑到在合成或组合图像的组合前还未确定的缩小的已编码图像的位置这一情况，进行编码以利于改变其上的位置信息，如果需要在组合时改变其位置信息，则此改变是有利的，从而可对图像实行各种组合。

此外，在MPEG标准的情况下，在为MB_Addr_Inc的位数因改变片段的水平坐标而方式变化作准备的第一方面，预先输出代码串(补充代码串)来弥补位的短缺，从而移动图像组合装置通过实行几次简单的计算而结束对MB_Addr_Inc(片段上的水平位置信息)(包括用于以片段为单位的多图像组合的可变长度代码位)的改写处理，这样能加速产生多图像合成移动图像。

再者，设有移动图像编码装置，该装置输出8组或8对额外_位_片段和额外_信息_片段作为上述补充代码串，这使移动图像合成装置能从补充代码串中提供任意数目的想要或缺乏的位并进一步产生宏块_换码代码串。这使得可把表示片段的显示位置的可变长度代码位部分改写为任意值。

在第二方面，移动图像合成装置防止宏块代码串的头尾通过字节边界并预先产生经过如此处理的宏块代码串从而把正确的代码串作为MPEG视频序列，移动图像合成装置可只通过按照屏面扫描顺序连接宏块代码串来从中产生所需的多图像合成移动图像的代码串，这有助于加速产生多图像合成移动图像。

在第三方面，移动图像合成装置能以片段为单位来组合具有不同长度的已编码小片移动图像，结果，移动图像合成系统可提供多图像合成移动图像的代码串，其中存在不同尺寸混合的已编码小片移动图像。

在第四方面，把移动构成多图像合成移动图像的MPEG代码串分成多个原始的编码小片移动图像，所分割的编码小片移动图像在任意位置处再次进行排列，从而从诸如卫星广播中所确定的多图像节目清单或类似的多图像合成代码串中重新构成观众所需节目的组合和顺序清单。

在第五方面，图像合成装置改写被编码图像上的信息值以输出多图像合成图像流，其中每个被编码图像的代码串都是作为图像编码格式的正确的信息值，代码串序列都是作为图像编码格式的正确的序列。从而，即使因改变由可变长度代码所限定的信息值而使信息的代码长度发生变化，也可改变此信息值而不需要诸如移位操作等极大量的处理，这有利于加速多图像合成图像流。

此外，此时，由于把图像合成装置所产生的多图像合成图像的代码串序列修正为MPEG格式，所以利用对MPEG代码串进行解码的图像解码装置或图像解码单元(一般叫做MPEG解码器)，可使解码、再现和显示变得容易。

在第六方面，移动图像合成系统具有在处理中不存在延迟装置的结构，并且图像合成装置接收所产生的至少一个已编码图像而没有通过延迟装置的单个通路。从而，可显示诸如随摄像机输入的图像而得到图像的实时活动画面与累积图像的组合等多图像合成图像，由于帧的淡化处理是容易的，所以在再现和显示经延迟时间调节的多图像合成图像时可通过延迟装置延迟活动画面部分的再现。

在第七方面，设有布局表改变装置在任意定时改变布局表中多图像布局信息的值，图像合成装置参考改变后的多图像布局信息的值，从而可动态地改变待输出的多图像合成图像的图像布局。这样，可动态地改变多图像合成图像区域的排列、每个区域的尺寸、在每个区域中待显示的编码图像以及其它项目。

在第八方面，设有在接收到通过基于图像编码格式所产生的至少一个已编码图像时产生多图像合成图像流的图像合成装置，在需要改变被定义为该图像编码格式的可变长度代码的信息值时，图像合成装置使用被定义为代码串的扩展代码串部分而不影响具有该图像编码格式的图像，以把扩展代码串输出到多图像合成图像流，从而把已编码图像的信息值变为不同的值。从而，无论因改变被定义为可变长度代码的信息值而引起的信息代码长度的变化，信息值的改变变得很容易，而不必进行诸如移位操作等极大量的处理，这有利于加速多图像合成图像的产生处理。

此外，由于不需要产生待输入此图像合成装置的已编码图像的图像编码装置来进行实现上述加速的特殊处理，所以可利用普通的图像编码装置来根据图像编码格式进行编码处理。此外，可实现依据图像编码格式对普通编码图像所进行的组合处理。

从以下对较佳实施例的详细描述并结合附图将使本发明的目的和特征变得更加明显起来，其中：

图1是依据本发明的移动图像合成系统配置的示意图；

图2是示出依据本发明第一实施例的移动图像合成系统的方框图；

图3是示出依据本发明第一实施例的移动图像编码装置的操作的操作流程图；

图4是本发明第一实施例中小片移动图像的块分割的一个例子的示意图；

图5是本发明第一实施例中将从移动图像编码装置输出的代码串的一个例子的示意图；

图6是本发明第一实施例中在累积装置中累积的已编码小片移动图像清单的一个例子的示意图；

图7是本发明第一实施例中答复移动图像列表装置向移动图像合成装置发出的请求而产生的多图像合成移动图像的一个例子的示意图；

图8是示出依据本发明第一实施例的移动图像合成装置的操作的操作流程图；

图9是依据本发明第一实施例的移动图像合成装置内部的循环处理一个例子的示意图；

图10A和10B是由依据本发明第一实施例的移动图像合成装置从累积装置中读出片段代码串的处理的示意图；

由图11A到11C构成的图11是本发明第一实施例中片段垂直位置信息改写处理的一个例子的示意图(垂直位置＝3)；

由图12A到12D构成的图12是本发明第一实施例中片段水平位置信息改写处理的一个例子的示意图(水平位置＝4)；

由图13A到13D构成的图13是本发明第一实施例中片段水平位置信息改写处理的一个例子的示意图(水平位置＝7)；

由图14A到14D构成的图14是本发明第一实施例中片段水平位置信息改写处理的一个例子的示意图(水平位置＝13)；

由图15A到图15D构成的图15是本发明第一实施例中片段水平位置信息改写处理的一个例子的示意图(水平位置＝37)；

图16是示出依据本发明第二实施例的移动图像合成系统的方框图；

图17是本发明第二实施例中移动图像编码装置的操作的操作流程图；

由图18A到18C构成的图18是本发明第二实施例中片段标题代码串的一个例子的示意图；

由图19A到19C构成的图19是本发明第二实施例中工作缓冲器操作的一个例子的示意图；

由图20A到20C构成的图20是本发明第二实施例中由移动图像编码装置进行MPEG编码处理时工作缓冲器的操作的一个例子的示意图；

图21是本发明第二实施例中插入宏块_塞入的数目与变量b的值之间关系的示意图；

图22是示出依据本发明第二实施例的移动图像合成装置的操作的流程图；

图23是在依据本发明第二实施例的移动图像合成装置内部的循环处理的一个例子的示意图；

图24是本发明第二实施例中相应于一个多图像屏面的图像合成处理序列的一个例子的示意图；

图25是示出依据本发明第三实施例的移动图像合成系统的方框图；

图26是示出本发明第三实施例中移动图像编码装置的操作的操作流程图；

图27是本发明第三实施例中多图像配置的一个例子的示意图；

图28是本发明第三实施例中两维阵列变量V的初始化的一个例子的示意图；

图29是在依据本发明第而实施例的移动图像合成装置内部的循环处理的一个例子的示意图；

图30是本发明第三实施例中跳跃片段代码串的示意图；

图31是示出依据本发明第四实施例的移动图像合成系统的方框图；

图32是示出本发明第四实施例的多图像合成移动图像分割装置的操作的操作流程图；

图33是本发明第四实施例中图像布局表格式的一个例子的示意图；

图34是本发明第四实施例中响应于移动图像列表装置向移动图像合成装置发出的请求而产生的多图像合成移动图像的一个例子的示意图；

图35是本发明第四实施例中多图像合成移动图像分割装置的操作的操作流程图；

由36A到36D构成的图36是本发明第四实施例中由移动图像重新编码装置所进行的片段代码串转换处理的一个例子的示意图；

图37是示出依据本发明第五实施例的移动图像合成系统的结构的方框图；

图38是本发明第五实施例中多图像合成图像的一个例子的示意图；

由图39A和39B-1到39B-3构成的图39是本发明第五实施例中多图像合成图像的代码串序列的示意图；

图40是示出依据本发明第六实施例的移动图像合成系统的结构的方框图；

图41是本发明第六实施例中对图像合成装置的编码图像输入路径的示意图；

图42是本发明第六实施例中所再现的多图像合成图像的示意图；

图43是示出依据本发明第七实施例的移动图像合成系统的结构的方框图；

图44是本发明第七实施例中在布局表的内容改变前后多图像合成图像的图像结构的示意图；

图45是本发明第七实施例中在图像合成装置内所进行的已编码图像的组合处理的示意图；

图46是示出依据本发明第八实施例的移动图像合成系统的结构的方框图；

图47是本发明第八实施例中将从图像编码装置中输出的代码串的一个例子的示意图；

图48是本发明第八实施例中在累积装置中累积的已编码图像清单的示意图；

图49A和49B是本发明第八实施例中由图像合成装置从累积装置中读出片段代码串处理的一个例子的示意图；

由图50A到50D构成的图50是本发明第八实施例中片段水平位置信息改写处理的一个例子的示意图；

图51是示出根据移动图像的分割获得代码串的配置的方框图，此代码串在语法上与已有技术中未经移动图像分割而产生的代码串相同；

图52A到52D是MPEG格式的视频流的一部分语法的示意图；

图53A到53C是在改写片段水平位置信息时发生的事件的示意图；以及

图54A到54C是在连接宏块而未经过字节对准时所发生的事件的示意图。

以下将参考附图来描述本发明的实施例。本发明不限于这些实施例，但本发明试图覆盖不背离本发明的精神和范围的各种实施例。

在描述本发明的实施例前，将把依据本发明的移动图像合成系统的配置作为一个整体进行描述。图1是本发明的移动图像合成系统的普通结构的示意图。在图1中，把移动图像数据输入到移动图像接收装置101，然后放入把移动图像缩小到给定尺寸的移动图像缩小装置102，并进一步放入把小片移动图像编码成为MPEG代码以产生经编码的小片移动图像的移动图像编码装置103，在累积装置105中存储和累积经编码的小片移动图像。移动图像合成装置106用于组合或结合多个经编码的小片移动图像以产生多图像合成移动图像代码串，该装置与组合工作存储器104和移动图像列表装置107相连。组合工作存储器104用于在改写位置信息时暂时存储片段代码串，而移动图像列表装置107用于绘制构成多图像屏面的移动图像的组合和顺序清单，即请求移动图像合成装置106来合成给定的多图像合成移动图像。在移动图像解码装置108中决定由移动图像合成装置106合成的多图像合成移动图像，继而显示在移动图像显示装置109上。

(第一实施例)

图2是示出依据本发明第一实施例的移动图像合成系统的结构特征的方框图。

如图2所示，依据第一实施例的移动图像合成系统由用于管理所累积的多个经编码的小片移动图像并进行多图像合成处理的移动图像合成服务器201以及用于再现和显示来自移动图像合成服务器201的多图像合成移动图像的再现终端208。移动图像合成服务器201包括：移动图像接收装置202，用于接收待组合成多图像合成移动图像的移动图像；移动图像缩小装置203，用于把接收的移动图像缩小到给定或预定的尺寸以产生小片移动图像；移动图像编码装置，用于对小片移动图像进行MPEG编码以产生经编码的小片移动图像；合成工作存储器205，用于在改写有关经编码的小片移动图像的位置信息时暂时存储片段代码串；累积装置206，用于存储和累积经编码的小片移动图像；以及移动图像合成装置207，用于组合多个经编码的小片移动图像以产生多图像合成移动图像代码串。再现终端208包括：移动图像列表装置209，用于绘制组成多图像合成移动图像的移动图像的组合和顺序的清单或表格；移动图像解码装置210，用于对合成的多图像合成移动图像进行解码；以及移动图像显示装置211，用于显示经解码的移动图像。

对于移动图像合成服务器201和再现终端208，诸如个人计算机和工作站等计算机式的普通操作系进行操作，同时移动图像接收装置202、移动图像缩小装置203、移动图像编码装置204、移动图像合成装置207、移动图像列表装置209、移动图像解码装置210和移动图像显示装置211中的每个装置构成可在该计算机内的多用途或专用操作系统的控制下操作的程序或专用硬件。

接着，以下将描述移动图像编码方法和组合多个移动图像的方法。

以移动图像数据编码处理开始描述。

通过移动图像接收装置202取得待组合成多图像合成移动图像的移动图像数据送入移动图像合成服务器201内，然后利用移动图像缩小装置203把移动图像数据缩小到预定尺寸以把它组合成小片移动图像。接着，在移动图像编码装置204中以允许多图像组合的形式对此小片移动图像进行MPEG编码，并在累积装置206中累积成待用于多图像组合的已编码小片移动图像。

图3示出根据用于多图像组合的MPEG把小片移动图像转换成经编码的小片移动图像的操作流程。

在图3中，操作流程进到步骤301(示意图中的S301)以读出对应于一个小片移动图像帧的图像数据，接着是沿水平方向把一帧的图像数据分割成N个片段的步骤302，接着是输出片段n的片段标题代码串作为经编码的小片移动图像代码串的一部分。接着，执行步骤304以把片段n分割成M宏块，接着是输出宏块m的MB_Addr_Inc作为经编码的小片移动图像代码串的一部分的步骤305，接着是对宏块m进行MPEG编码(DCT、量化、可变长度编码)以输出获得的代码串作为经编码的小片移动图像代码串的一部分的步骤306。

此后，操作流程进到步骤307以检查片段n中所有宏块的编码是否都已结束。如果已经结束，则实行步骤308以对图52D中的下一个_起始-代码()进行处理，接着实行步骤309以检查所有的N个片段的编码是否已结束。如果已经结束，则实行步骤310以检查是否要处理小片移动图像的所有帧。在此情况下，变量m用于识别经处理的宏块，而变量n用于识别片段。

图4是在移动图像编码装置204把小片移动图像编码成为经编码的小片移动图像(图3中的步骤302和304)的情况下把小片移动图像的每个帧图像分割成小块的一个例子的示意图。

图5是移动图像编码装置204在图3的步骤303、305、306和308对小片移动图像的每个片段进行MPEG编码时为了以片段为单位进行多图像组合而输出的代码串的示意图。此外，图5示出的情况以图4中构成片段和宏块的例子为基础。

如图5的(a)和(e)所示，在步骤303示出片段n的片段代码串的情况下，在把最后一个字节设定为值“n”的状态下输出片段_起始_代码。

此外，如图5的(b)所示，在以片段为单位进行多图像组合时，在为MB_Addr_Inc的位数因改变片段的水平坐标而变化的事件作准备时，预先输出用于提供想要的位的补充代码串作为额外_位_片段和额外_信息_片段。此补充代码串甚至利用图52A到52D中以MPEG标准所规定的部分，解码器能以此代码串作为MPEG视频序列对经编码的小片移动图像进行正常解码。

在图5的例子中，作为补充代码串，在所有的位都被设定为“1”的状态下输出8组额外_位_片段和额外_信息_片段即总共包括72位的代码串(将在以下描述使用8组额外_位_片段和额外_信息_片段的原因)。

此外，如图5的(c)所示，在步骤305，把片段的在领先宏块的MB_Addr_Inc指定为值“1”，并输出代表值“1”的1位长度的可变长度代码串“1”。图5的(d)中所示的每个代码串是通过进行步骤306和308的普通MPEG编码处理(DCT、量化、移动量估计、可变长度编码和字节对准处理)获得的的代码串。

此外，在以片段为单位进行多图像组合时，作为经编码的小片移动图像的所需部分是接在图5中片段层后的代码串部分。然而，除了上述片段部分的代码串以外，在输出作为MPEG视频序列的所需代码串(序列标题、GPO标题、画面标题及其它)的方式中，可把这些代码串构成的经编码的小片移动图像解码成为单个MPEG视频序列并再现而显示。

在以上参考图5的(a)、(c)和(e)的描述中，虽然把片段_起始_代码和MB_Addr_Inc设定为这样的值从而把经编码的小片移动图像解码成为单个MPEG视频序列并再现显示，但实际上可在编码操作时采用任何值。

此外，如参考图5的(b)所述，在为MB_Addr_Inc的位数因片段水平坐标的变化而变化作准备时，预先输出用于提供想要的位的代码串作为额外_位_片段和额外_信息_片段，还可预先输出诸如适用于结合MB_Addr_Inc中的位数变化来实现辅助处理的宏块_塞入等代码串。

通过以上所述的处理，移动编码装置204输出用于以片段为单位进行多图像组合的经编码的小片移动图像代码串。

以下将描述把单个经编码的小片移动图像组合成多图像合成移动图像的处理。

图6是在累积装置206中累积每个经编码的小片移动图像的一个例子的示意图。如图6所示，在累积装置206中累积了五个经编码的小片移动图像A、B、C、D和E。此时，假设五个经编码的小片移动图像A、B、C、D和E中的每一个被水平分割成两个片段，每个片段继而包括三个宏块。

移动图像列表装置209制订在累积装置206中累积的经编码的小片移动图像的组合和实现的清单。例如，移动图像列表装置209依据检索键的命中率等级来产生清单。这里将描述假设移动图像列表装置209向移动图像合成装置207发出合成包括图7所示垂直方向的两个分割(两列)和水平方向的两个分割(两行)的多图像合成移动图像。

图8示出移动图像合成装置207把多个经编码的小片移动图像组合成多图像合成移动图像并输出MPEG代码串的操作流程。

操作流程在步骤801处开始以为多图像组合进行初始化，然后进到步骤802以输出MPEG视频序列标题代码串，从而可把多图像合成的移动图像解码此外MPEG视频序列，接着进到步骤803以输出GOP标题和画面标题代码串从而可把它作为MPEG视频序列同样地解码。此外，接着进行步骤804以从每个经解码的小片移动图像中读出片段代码串，然后接着进行步骤805以改写用于在多图像屏面内的所需位置显示读取的片段的位置信息，接着进行步骤806以检查用于沿水平方向扫描经解码的小片移动图像的计数器值。接着，进行步骤807以检查将在步骤904和905的每一个步骤中使用的片段计数器值，执行步骤808以检查用于沿垂直方向扫描经编码的小片移动图像的计数器值，进一步执行步骤809以检查是否终止多图像组合。

响应于图7所示多图像组合的请求，移动图像合成装置207首先进行以下的初始化处理。即，由于多图像屏面包括沿垂直方向的两个分割和沿水平方向的两个分割，所以把代表水平方向的图像数目的变量X设定为2，而把表示垂直方向的图像数目的变量Y设定为2。此外，把代表将在多图像屏面的每个图像区域中显示的每个经编码的小片移动图像的片段数目的变量N初始化为2，而把表示构成每个片段的宏块数目的变量M初始化为3。此外，如下所述对表示哪一个经编码的小片移动图像位于多图像屏面内的某个位置的两维阵列变量V(第一下标表示上述图像区域的水平图像区域，第二下标表示其垂直图像区域)进行初始化。

V[1，1]＝B，V[2，1]＝D，V[1，2]＝E，V[2，2]＝A

图9描述的是以C语言在循环810、811和812(图中为L810、L811、L812)中的循环运行，其中，变量x是作为循环计数值而被处理的图象的水平位置，而变量y是作为循环计数值的图象的垂直位置，而变量n取处理时作为循环计数值的编码小片移动图象的片段数。在三个循环的最里面的循环中，步骤804和805的处理是实际上采用的。

图10A和10B是移动图象合成装置207在图8所示的步骤804中执行的片段码串读出处理。步骤804中，从由变量V[x，y][图12中的(a)]指定的编码小片移动图象中读出用变量f指定的用变量n表示的片段部分码串(slice portion codestring)。例如，当x＝2，y＝2并且n＝1时，在步骤804中读出片段1A的编码串。读出的片段串存储在合成工作存储器(composition work memory)中，该存储器中缓冲区的领先地址由变量Buf指出[图12中的(b)]。

在MPEG标准的情况下，规定片段层(slice layer)的编码串，从而编码串从字节边界开始，编码串的结尾终断在字节对齐的状态，并且移动图象编码装置204输出这样一个片段码串。为此，以字节为单位从开头到结束完整地读出片段码串，并将该片段码串存储在合成工作存储器内。

移动图象合成装置207在步骤805中进行的片段显示位置信息的重写处理如下。

按照下面的公式，移动图象合成装置207计算显示合成工作存储器中片段码串的多图象屏面上的坐标。

水平位置：(x-1)*M+1

垂直位置：(y-1)*N+n

在前述片段A1的情况下，因为x＝2，y＝2并且n＝1，所以结果是水平位置＝4，而垂直位置＝3。

图11是有关合成工作存储器中片段1A的垂直位置信息的重写处理过程。图11中，图11A表示的部分给出片段1A的编码串在步骤804中存储在合成工作存储器中时的状态，而图11B部分描绘的是包括有关以位为单位的片段的垂直位置信息编码串的片段_开头_编码部分的情况。因为片段垂直位置信息是用片段_开头_编码的第四个字节(即buf[3])表示的，所以，在步骤805中，如下所述进行替换处理，以便将垂直位置设置在3。

buf[3]＝3

图11中，图11C表示的部分表示在由替换处理进行了垂直位置信息的重写以后片段_开头_编码部分的编码串。

类似地，图12表示一例有关合成工作存储器中片段1A的水平位置信息的重写处理。图12中，图12A部分描述的是在步骤804中将片段1A的编码串读到合成工作存储器中的状态，而图12B部分描绘的是以位为单位的详细表示。尽管片段1A的新的水平位置(MB_Addr_Inc)取4，但如果以可变长度码来表示，水平位置是“0011”，形成4位长度。产生编码小片移动图象的移动图象编码装置204输出MB_Addr_Inc作为“1”，即，如图12B中所示的一位长度。所以，移动图象合成装置207从补充的编码串部分中构成(make up)想要的三个位。首先，如图12C所示，数量上与想要的位相同的字节经淡薄处理(thinning processed)(在片段1A的例子中，缺乏位(lacking bits)数是3，所以，在淡薄过程中取三个字节)。

其次，在输出与未经淡薄处理的buf[0]到buf[9]的10个字节对应的编码串以后，如图12C和12D部分中进行新的水平部分信息重写处理。

buf[13]＝buf[13]&0x01+0xc6

该等式中，buf[13]&0x01用于滤波器(filter)计算，不对buf[13]的更低的1位进行重写。

在重写水平位置以后，输出所有buf[13]以后的片段码串，从而不输出由淡薄处理取得字节部分的编码串。在输出所有的片段码串以后，合成工作存储器被设置到空闲状态。

通过上述处理，移动图象合成装置207就完成了通过仅作几次简单计算就得到的表示片段水平部分信息的可变长度编码位部分的重写处理，并输出通过以片段码串为单位组合多个图象所产生的多图象组合的移动图象编码串。对从移动图象合成装置207输出的多图象组合移动图象编码串进行译码作为移动图象译码装置210中的移动图象，并且将图象显示在移动图象显示装置211上。

下面说明采用8组extra(附加)_bit(位)_slice(片段)和extra(附加)_information(信息)_slice(片段)的原因。

extra_bit_slice是1位长度，而extra_information_slice是8位长度，而当它们成对时，编码长度达到9位。当借助于淡薄处理从9位长度的补充编码串部分取得1个字节(＝8位长度)时，还留1位。这1位可以分配在MB_Addr_inc部分的位数变化时用于丢失位补充。

借助于上述组，如果通过淡薄处理得到每一组一个字节，则有一个1位用于补充，因此当从8组中得到7字节时有8个位可用于补充。在需要9个或更多的补充位时，通过淡薄处理得到的字节数在所有的情况下都减小。例如，如果提供14位，则首先只取得5个字节，从而5位是可以补偿的，于是，接着分配与1组对应的9个位作为补充位，从而总共有14个位可以获得作为补充位。

因此，由于extra_bit_slice和extra_information_slice是由8组得到的，所以，可以提供任意个数的想要的位，并且由于8组形成最小值，所以补充编码串可以将移动图象的位速率的增加抑制到最小。

如上所述，按照本实施例，提供了一种移动图象合成系统，它包含：接收要合成成为多图象组合移动图象的图象接收装置、将接收的移动图象减小到预定尺寸以产生小片移动图象的移动图象减小装置、对小片移动图象进行MPEG编码以产生编码小片移动图象的移动图象编码装置、存储并累加按照MPEG编码的编码小片移动图象的累加装置、组合累加装置中累加的多个编码小片移动图象以产生多图象组合移动图象编码串的移动图象组合装置、用于移动图象合成装置暂时存储片段码串时的合成工作存储器、用于制订一合成表以及构成多图象组合的移动图象的移动图象顺序的移动图象列表装置、用来对由合成产生的多图象组合移动图象编码串进行译码的移动图象译码装置，以及用来显示经译码的移动图象的移动图象显示装置，其中，由于片段的水平坐标的变化而出现MB_Addr_Inc的位数的变化，移动图象编码装置预先输出一个要用来提供想要的位的补充编码串，并且移动图象合成装置从补充编码串提供想要的位，并重写MB_Addr_Inc的值，因此产生一个多图象组合的移动图象编码串。

由于在多图象组合的移动图象处位数的变化，使得可以省略所有后续编码串的位移操作(bit shift operation)，尤其是代表片段水平位置信息的可变长度位部分的重写处理可以仅仅通过进行几次简单的计算来完成，因此可以在高速下产生多图象组合移动图象，这提供了巨大的实际效果。

更具体地说，由于移动图象编码装置具有输出8组extra_bit_slice和extra_information_slice作为补充编码串的功能，所以，移动图象合成装置可以从上述补充编码串中提供任意个数想要的位，并且可以产生macroblock(宏块)_escape(换码)编码串，从而将代表片段显示位置的可变长度编码位部分重写成一任意值变得任意可行，这提供了巨大的实际效果。

偶尔，尽管本实施例是在片段配置的水平位置在数量上为4的情况下描述的，但即使是取得不同的片段配置时也可以进行重写处理。图13、14和15描绘的是水平位置在数量上分别是7、13和37时的MB_Addr_Inc重写处理过程。尽管称为macroblock_escape的11位编码串应当在分配位置(disposing postion)在数量上是34的情况下输出，但即使在这样的情况下，采用使取得的字节数的数字变化通过淡薄处理、滤波器(fiter)计算等来形成的方式，可以得到相同的效果。

另外，尽管在上述本发明的描述中，可变长度编码位MB_Addr_Inc用作代表片段编码串的水平位置的部分，并且一系列通过事先输出的补充编码串的简单字节淡薄而将从MB_Addr_Inc的重写得到的想要的位提供到片段标题部分的处理是在考虑到MPEG视频序列的情况下完成的，所以，本发明同样适用于除MPEG标准以外的标准。

即，在将编码串译码成图象时使表示该图象内显示的一个编码串的位置的位置信息具有可变长度码位的标准中，如果能够输出扩展编码串而不影响译码时的图象的区域规定为代表位置信息的编码串部分的前面或后面或二者，则该区域用作补充编码串，从而即使在除MPEG标准以外的标准中，也可以得到相同的效果。

(第二个实施例)

下面描述本发明的第二个实施例。在说明第二个实施例时，与第一个实施例中相同的部件或部分采用相同的标号，并且为简单起见这些部件或部分的说明从略。

图16是按照本发明第二个实施例的移动图象合成系统的结构方框图。图16中，标号1601代表MPEG编码小片移动图象产生编码小片移动图象的移动图象编码装置，标号1602表示暂时存储MPEG编码操作产生的编码串的编码工作存储器，而标号1603描绘的是将多个编码小片移动图象组合起来产生多图象组合的移动图象编码串的移动图象合成装置。

下面描述移动图象编码的方法和在该移动图象合成系统中得到的多个移动图象的组合的方法。

描述从移动图象编码处理开始。

图17是根据多图象组合的MPEG在移动图象编码装置1601将小片移动图象转换成编码小片移动图象所进行的操作流程。

图17中，在步骤1701，输出片段n的片段标题编码串，作为一部分编码小片移动图象编码串，而在步骤1702，使编码工作存储器中的内容空着，用于编码工作存储器初始化的处理。接着，在步骤1703，对宏块m进行MPEG编码(DCT、量化、可变长度编码)，并将编码产生的编码串输出到编码工作存储器，并且在步骤1704中，使编码工作存储器中的编码串字节对齐，并且在步骤1705中，输出编码工作存储器中的编码串，作为一部分编码的小片移动图象编码串。

图18描绘的是一例步骤1702中的片段标题编码串。图18中，图18a和18b表示的部分描绘了一例公共MPEG编码装置输出的编码串。从图18的(a)和(b)可以看到，宏块1跨越字节边界。所以，本实施例中，移动图象编码装置1601输出包含2组extra_bit_slice和extra_infomation_slice的补充编码串，即如图18C中总共18个位。通过输出这样的补充编码串，宏块编码串的开头准确地从字节边界开始。

有时，由于补充编码串是用甚至是用MPEG标准规定的部分输出的，所以，译码器可以正确地对带有这样的作为MPEG视频序列的编码串的编码小片移动图象进行译码。另外，尽管在图18C中“11111111”输出作为extra_information_slice，但也可以接受不同的值。

如上所述，步骤1701的处理确保构成一片段的宏块编码串从字节边界位置开始。

下面描述编码工作存储器1602的运行。

图19描绘的是编码工作存储器1602的运行。步骤1702的处理过程使得编码工作存储器1602的内容空闲[见图19a]。同时，编码工作存储器也是计算机的一部分，并且读出和写访问是以字节为单位进行的。所以，字节内有效的位长度是通过采用变量b来取得。如图19b所示的那样，有效编码串被构筑成35位，所以，当35被8除，余数3位是用编码工作存储器1602中的第五字节的一部分的位表述的。因此，第五字节的有效位长度是用变量b设置为3的方式表述。图19C描绘的是当7位长度编码串“1111111”加到编码工作存储器1602时出现的编码工作存储器1602的内容的变化。

如上所述，编码串可以是用编码工作存储器1602中的变量b以位为单位保持的。

图20描绘的是当移动图象编码装置1601在如图17中的步骤1703和1704中进行MPEG编码处理(DCT、量化、移动估算、可变长度编码)的时候编码工作存储器1602的内容。如图20A所示，当处在初始状态下的时候，编码工作存储器1602的内容由于步骤1702的处理而空闲。

当用于下一个步骤1703中的宏块的MPEG编码处理获得的编码串加到编码工作存储器1602上时，编码工作存储器1602的内容变成如图20B所示。在图20B中，由于变量b的值是5，所以，宏块的结尾跨越字节边界5个位。因此，macroblock(宏块)_stuffing(塞入)被插入到宏块编码串的开头部分，从而宏块的结尾碰到字节边界。如图20B所示，macroblock_stuffing是具有11位长度的编码串，并且无论何时一个macroblock_stuffing被插入到编码工作存储器1602的开头，已经存在于编码工作存储器1602中的编码串可以沿向后的方向平移11个位。在跨越字节边界5个位的情况下，当插入一个macroblock_stuffing时，变量b变成0，从而宏块的结尾进入字节对齐状态[见图20C]。

经过插入到宏块开头部分中的处理的macro block_stuffing的编码串取如图52B所示MPEG视频序列的正确排列。

图21描绘的是在插入macroblock_stuffing前变量b的值和这时插入的macroblock_stuffing数值之间的关系。

如上所述，使宏块编码串的开头和结尾碰到编码工作存储器1602中的字节边界。移动图象编码装置1601输出编码工作存储器1602中的宏块编码串作为编码小片移动图象编码串的一部分。

有时，在完成以宏块为单位的多图象组合时，作为编码小片移动图象所必须的部分是宏块编码串，其中，编码串的开头和结尾碰到字节边界。尽管片段标题编码串是在步骤1701中输出的，但不必总是将片段标题编码串输出到编码小片移动图象的编码串中。

另外，通过输出MPEG视频序列所需的编码串(序列标题、GOP标题、图象标题等)，可以对编码小片移动图象进行译码作为单个的MPEG视频序列，可以对编码小片移动图象进行译码，作为单个的MPEG视频序列，并接着重现并显示。

下面描述将多个编码小片移动图象组合成多图象组合移动图象的处理过程。这时以及在第一个实施例中，假设移动图象列表装置209向移动图象合成装置1603发出一个合成多图象组合移动图象的请求，如图7所示，该图象包含沿纵向的两个部分和沿水平方向的两个部分。

图22描绘的是在移动图象合成装置1603将多个编码小片移动图象组合成多图象组合移动图象并输出其MPEG编码串之前进行的运行流程。

图22中，在步骤2201中，输出每一GOP标题、图象标题和片段标题的标题编码串，使得多图象组合的移动图象被译码作为MPEG视频序列，并且在步骤2202中，从每一编码小片移动图象中读出宏块编码串。随后，在步骤2203中，输出从中读出的宏块编码串作为多图象组合的移动图象编码串，并且在步骤2204中，检查宏块计数器的值。

图23描绘的是图22的运行流程中以C语言表述的循环(L)810、811、812和2205的表述循环处理过程，其中，变量x是被处理作为循环计数值的图象水平位置，而变量y是作为循环计数值的垂直位置，同时，变量n取处理过程中作为循环计数值的编码小片移动图象的片段数，变量m取为被处理的作为循环计数值的编码小片移动图象的宏块数。

图24描绘的是该实施例中一个多图象帧的图象合成处理程序。步骤2202中每一编码小片移动图象的宏块编码串的读出和多图象组合移动图象编码串的输出是以屏面扫描顺序(图24中括号内的数字顺序)进行的。即，宏块编码串读出是以屏面扫描顺序依次连接的，从而产生一个多图象组合移动图象编码串。

如上所述，移动图象编码装置1601产生宏块编码串，该编码串的开头和结尾不会跨越字节边界，因此移动图象合成装置1603可以通过仅仅以屏面扫描顺序连接宏块编码串来产生要求的多图象组合移动图象编码串，它实现了多图象组合移动图象产生的加速。

在如图22所示该实施例的运行流程中，尽管多图象组合移动图象的MPEG视频序列中的一个图象是仅用一个片段构成的，但即使是用多个片段构成，也能仅通过以屏面扫描顺序连接宏块编码串的方式产生一个要求的多图象组合移动图象。这时，为了在字节边界处使每一片段开头编码串和每一宏块编码串正确地相连，需要由图18C中所示的补充编码串使片段标题编码串经过字节对齐。

如上所述，按照本实施例，提供了一种移动图象合成系统，它包含接收要组合成多图象组合移动图象的移动图象的移动图象接收装置、将接收的移动图象减小到预定的尺寸以产生小片移动图象的移动图象减小装置、对小片移动图象进行MPEG编码以产生编码小片移动图象的移动图象编码装置、用作移动图象编码装置暂时存储微块编码串时的编码工作存储器、存储并累加按照MPEG编码的编码小片移动图象的累加装置、组合累加装置中累加的多个编码小片移动图象以产生多图象组合的移动图象编码串的移动图象合成装置、产生构成多图象组合的移动图象的移动图象的组合和顺序表的移动图象列表装置、对由合成产生的多图象组合移动图象编码串进行译码的移动图象译码装置，以及显示译码移动图象的移动图象显示装置，其中，编码工作存储器具有以位为单位存储和保留编码串的装置，并且移动图象编码装置插入一补充编码串，从而宏块编码串取具有字节边界的接触状态，另外，移动图象合成装置以屏面扫描顺序排列宏块编码串以产生形成要求的多图象组合移动图象的多图象组合移动图象编码串。

由移动图象合成系统为移动图象合成而进行的多图象组合仅取决于顺序排列宏块，所以，可以加速实现多图象组合移动图象的产生，这提供了巨大的实际效果。

(第三个实施例)

下面描述本发明的第三个实施例。在说明第三个实施例中，与上述实施例中相同的部件或部分采用相同的标号，并且为简单起见，其描述从略。

图25是按照本发明第三个实施例的移动图象合成相同的结构方框图。

图25中，标号2501表示将宏块尺寸下的多图象屏面分成区域时用来将多图象布局信息保留在每一区域中的布局表，标号2502表示根据来自移动图象列表装置的请求绘制布局表的布局表制作装置，标号2503将多个具有不同图象尺寸的编码小片移动图象组合起来产生多图象组合移动图象编码串的移动图象合成装置，而标号2504表示绘制将具有不同大小的图象区域的多图象组合移动图象组织起来的移动图象组合和顺序表的移动图象列表装置。

图26表示在移动图象合成装置2503将具有不同尺寸的编码小片移动图象组合成多图象组合移动图象并输出其MPEG编码串之前的运行流程。

图26中，运行流程在步骤2601开始绘制布局表作为多图象组合的初始化处理过程，随后由步骤2602检查当计数值取x和y时是否进行了合成处理过程，接着再由步骤2603检查当计数值取x和y时是否输出了跳跃(skip)宏块编码串。随后，运行流程进入步骤2604输出一跳跃片编码串，并进入步骤2605，从用布局表T[x，y]表述的编码小片移动图象读取一个片段编码串，并进入步骤2606，使循球计数器值x递增1。

图27描述了一例本实施例中由具有不同图象尺寸的编码小片移动图象合成的多图象屏面。本例中，描述将针对这样的假设进行，即，移动图象列表装置209向移动图象合成装置2503发出一个请求，用来合成如图27所示的多图象组合移动图象。图27中，通过下述沿纵向和水平方向的编号排列宏块来确定每一编码小片移动图象的图象尺寸(公共宏块的尺寸是16个象素×16个象素)。

编码小片移动图象A：(5，4)

编码小片移动图象B：(2，3)

编码小片移动图象C：(2，2)

编码小片移动图象D：(2，2)

编码小片移动图象E：(3，2)

假设如第一个实施例中所描述的那样，每一编码小片移动图象是在移动图象编码装置204中制作，并在累加装置206中累加。

响应于图27中所示的多图象组合，在步骤2601中，移动图象合成装置2501采用布局表制作装置2502执行下述初始化处理。即，将代表沿水平方向多图象组合移动图象的宏块数的变量X设置为7，而将代表沿纵向的宏块数的变量Y设置为6。接着，按照表示为二维阵列T[x，y](第一个下标代表将多图象屏面以宏块尺寸划分成区域时的水平图象区域，而第二个下标表示在这种情况下的纵向图象区域)的布局表2501的每一阵列元素，如果与坐标(x，y)对应的区域是一个没有移动图象显示的区域，则对该区域赋予一个符号S，而如果与坐标(x，y)对应的区域不是构成多图象屏面的图象区域的最左面的区域，则赋予一个符号N，当与坐标(x，y)对应的区域是构成多图象屏面的图象区域的最左面的区域时，则将该区域取作一个符号，它包含相应编码小片移动图象的标识(ID)符号(标识符)和从最上面的图象区域起从1开始的纵向变化坐标，这样就完成了初始化。

图28描述的是在进行如图27所示的多图象组合时要取得的布局表2501的内容。图28中，用作上述编码小片移动图象的ID符号是在尺度(measure)内的编码小片移动图象，并且纵向变化的坐标值是在这些尺度内的标号。

图29是图26中用C语言表述的运行流程中循环2607和2608的循环处理过程。

在图26所示的步骤2602中，如果T[x，y]的值与符号N对应，则移动图象合成装置2501不进行处理过程。在步骤2603中，如果T[x，y]的值与符号S对应，则移动图象合成装置2501输出一跳跃片编码串。

图30描述了一例由宏块进行的片编码串跳跃。移动图象合成装置2501输出如图30所示的6个字节，作为编码串，从而跳跃一个宏块区，它产生没有显示移动图象的区域。

在步骤2605中，根据T[x，y]的值所代表的符号，获得编码小片的标识符和纵向变化坐标值。编码小片移动图象的ID符号用作标识累加装置206中的编码小片移动图象，而纵向变化坐标值用作提供给要读取的编码小片移动图象的片段编码串的数。步骤805中，进行第一个实施例中描述的显示位置信息的重写处理过程，从而将步骤2605中读取的片编码串显示在坐标(x，y)的位置上。

通过循环2607和2608的重复，移动图象合成装置2501相继重写从以T[x，y]表述的编码小片移动图象读取的片编码串的slice_start_code和MB_Addr_Inc，并输出合成的编码串作为多图象组合移动图象编码串。

如上所述，按照本实施例，移动图象合成系统包含移动图象列表装置用来绘制由具有不同图象尺寸的编码小片移动图象组成的多图象组合和顺序表，以及包括布局表用于当多图象屏面以宏块尺寸划分成保存有关各个区域的多图象布局信息的区域的时候的移动图象合成装置和制作该布局表的布局表制作装置。所以，移动图象合成装置参照该布局表确定相对于多图象屏面上的每一坐标进行处理的编码小片移动图象的片编码串。布局表包括与多图象屏面上的每一坐标对应的多图象屏面上每一图象区域的有关位置的信息和位于该图象区域上有关编码小片移动图象的信息。

通过这一过程，移动图象合成装置2501可以将具有不同图象尺寸的多个编码小片移动图象组合起来，提供其中具有不同图象尺寸的编码小片移动图象混合存在的多图象组合移动图象编码串。这提供很大的实际效果。

(第四个实施例)

下面描述本发明的第四个实施例。在说明第四个实施例时，与上述实施例中相同的部件或部分采用相同的标号，并且其说明从略。

图31是按照本发明第四个实施例的移动图象合成系统的结构方框图。

图31中，标号3101表示接收多图象组合移动图象编码串而将其传递到移动图象合成服务器201的移动图象接收装置，标号3102表示从接收的多图象组合移动图象编码串获得每一图象区域部分的移动图象编码串的多图象组合移动图象划分装置，标号3103表示制作保存上述多图象组合移动图象、多图象屏面每一区域部分的尺寸和位置信息的图象布局表的图象布局表制作装置，标号3104表示将获得的移动图象编码串转换成使得可以在另一多图象屏面中重新合成的编码串(编码小片移动图象)的移动图象编码串，标号3105表示将累加装置206中累加的重新编码的小片移动图象和编码小片移动图象与多图象组合移动图象编码串组合起来的移动图象合成装置，而标号3106表示绘制要重新构筑的多图象的组合和顺序的表的移动图象列表装置。

下面首先描述从输入的多图象组合移动图象编码串划分图象区域部分的编码串的处理过程。

图32是多图象组合移动图象划分装置3102从多图象组合移动图象编码串获得构成多图象屏面的每一图象区域部分的移动图象编码串并输出获得的移动图象编码串作为不同的移动图象编码串之前所进行的运行流程。

图32中，运行流程在步骤3201处开始，检查表示该多图象屏面中的图象结构(布局)的布局信息是否包括在多图象组合移动图象数据编码串中，并且随后进入步骤3202，如果其中包括有布局信息则绘制一图象布局表，并且随后进入到步骤3203，从多图象组合移动图象数据编码串读取与一个帧对应的编码串，并且接着进入步骤3204，为获取每一片段编码串搜寻slice_start_code(见图52A)。随后，执行步骤3205，获得有关进入获取过程的片段的位置信息，并由步骤3206，将获得的片段编码串与编码小片移动图象的标识符号ID、有关多图象屏面中片段的位置信息和每一图象区域中有关片段的位置信息一起输出到移动图象再编码装置3104。此后，执行步骤3207，检查是否处理了与一个帧对应的编码串中所有的片段，并且随后执行步骤3208，检查是否处理了输入的多图象组合移动图象数据的所有帧。

图33描述的是图象布局表的格式。

在图33所示的图象布局表中，将以宏块为单位输入的多图象组合移动图象数据的尺寸以“移动图象水平尺寸”和“移动图象纵向尺寸”存储起来，构成多图象格式的图象区域数以“图象数”存储起来，位于图象区域中的编码小片移动图象的标识符ID以“图象m的标识符ID”存储起来，图象区m的左上角的坐标位置放入“有关图象m的位置信息”，并将图象区m的尺寸放入“图象m的水平尺寸”和图象m的纵向尺寸“。

图34描述的是一例当输入的是具有如图27所示的图象结构的多图象组合移动图象数据时制作的图象布局表。下面描述输入的多图象组合移动图象数据具有如图27所示的图象结构时的情况。

图象布局表是由图象布局表制作装置产生的，并且在步骤3201中，检查经编码的图象布局表是否输出到多图象组合移动图象数据编码串或用户数据区的每一标题部分(序列标题、GOP标题、图象标题)的扩展编码区中了。如果输出了，则在步骤3202中，读取该编码串，从而绘制图象布局表。

此外，为了将图象布局表输出到多图象组合移动图象编码串中，产生并输出多图象组合移动图象编码串的移动图象合成系统执行将图象布局表输出到一编码串内的处理。例如，第三个实施例中的移动图象合成装置2503将图28中所示的布局表转换成如图34所示的图象布局表，并对图象布局表进行编码并输出该图象布局表。

每一片段编码串的获取是通过搜寻代表片段的开头的slice_start_code来完成的。有关获取的片段编码串的位置信息(有关多图象屏面的位置的信息)是如下所述在步骤3205中获得的。

水平位置＝开头宏块的MB_Addr_Inc的值

垂直位置＝slice_start_code的第四字节的值

根据图象布局表和有关多图象屏面中片段编码串的位置信息，多图象组合的移动图象划分装置3102获得编码小片移动图象的标识符ID和有关每一图象区中有关片段的位置信息，并将它们输出到移动图象再编码装置3103。

图35绘出的是从图象布局表的例子获得的编码小片移动图象的标识符ID和有关每一图象区中片段的位置信息以及图34中所示的位置信息。图35中，它们被排列成如图32中的运行流程中所处理的顺序。

下面描述将由多图象组合移动图象划分装置3102划分获得的片段编码串转换成在不同的多图象屏面中重新组合的编码串的处理过程。

图36描述了一例根据多图象组合移动图象划分装置3102传递的片段编码串、有关多图象屏面的位置信息和有关每一图象区的位置信息，移动图象再编码装置3104将片段编码串转换成在不同的多图象屏面中重新组合的编码串。本例中，移动图象再编码装置3104从多图象组合移动图象划分装置3102接收的值如下所述。

片段编码串：图36A和图20B中示出的编码串

有关多图象屏面的位置信息：(5，6)

有关图象区的位置信息：(1，2)

标识符ID：E

换言之，图36示出在图27所示的多图象组合移动图象中位于坐标(5，6)处编码小片移动图象E的第二片段编码串的转换。

图36中，图36a示出由多图象组合移动图象划分装置3102传递的片段编码串，而图36的部分(b)绘出的是以位为单位的详细结构。由于有关片段编码串的垂直位置信息存储在slice_start_code的第四个字节中，即，buf[3]，对buf[3]＝2进行替换处理，以便将buf[3]的值设置成用有关图象区的位置信息表示的垂直位置“2”。

另外，尽管片编码串的水平位置需要从5到1重写，但因为是可变长度编码位MB_Addr_Inc部分，所以如果表述成变量-长度编码，则水平位置5是“0010”，而水平位置1在变量-长度码中是“1”。因此，尽管当水平位置从5到1重写时在MB_Addr_Inc部分中留下3位，但这些位以如图36C中所示的那样插入3个填充字节的方式被吸收。另外，如图36C和图36D所示的那样，进行重写操作，将水平位置设置为1。

将以该方式重写的片段位置信息的片段编码串作为可以以片段为单位组合起来的编码小片移动图象E的编码串传送到累加装置206或直接传送到移动图象合成装置3104用作多图象组合移动图象的合成。

如上所述，按照本实施例，提供了一种移动图象合成系统，它包含接收多图象组合移动图象的移动图象接收装置、从接收的多图象组合移动图象编码串获得每一图象区部分的片段编码串的多图象组合移动图象划分装置、绘制保存每一多图象屏面的图象区的尺寸和相应关系中的位置信息的图象布局表的图象表制作装置、将片段编码串转换成可以在不同的多图象屏面中组合的片段编码串的移动图象再编码装置，以及重新组合再编码片段编码串以产生具有不同图象结构的多图象组合移动图象编码串的移动图象合成装置，其中，移动图象划分装置从获得的片段编码串的标题部分获取位置信息，并根据该位置信息参照图象布局表取出相应编码小片移动图象的标识符ID和有关每一图象区的位置信息，并接收取得的结果，移动图象再编码装置将有关片段编码串的位置信息从有关多图象屏面的信息转换成有关每一图象的信息，从而使片段编码串转换成可以在不同的多图象屏面中组合的编码串。

通过上述过程，可以重新将多图象组合移动图象构筑成具有不同图象结构的多图象组合移动图象。特别是，由于移动图象再编码装置3103输出格式与从第一个实施例中描述的移动图象编码装置204输出的编码小片移动图象相同的片编码串，所以，可以在移动图象合成装置中以片段为单位重新组合输出的片段编码串，这提供了很大的效果。

(第五个实施例)

下面描述本发明的第五个实施例。在说明第五个实施例时，与上述实施例中相同的部件或部分采用相同的标号，并且为简化起见其描述从略。

图37是按照本发明的第五个实施例的移动图象合成系统的方框图。

图37中，标号4101表示根据图象编码格式进行输入图象的编码处理的图象编码装置，标号4102表示存储并累加编码图象的累加装置，标号4103接收至少一个编码图象产生多图象组合图象流的图象合成装置，而标号4104表示对多图象组合图象流进行译码以产生并显示多图象组合图象的图象译码装置。

其次，描述按照本实施例的移动图象合成系统的运行。

该实施例中，由于一例MPEG格式用作输入图象编码格式，所以图象编码装置4101是与按照上述第一个实施例的移动图象编码装置204相同的，所以，其内部运行与第一个实施例中描述的是相同的。即，输入图象是小片图象，而编码移动图象是编码小片移动图象。

因此，图象编码装置4101将按照第一个实施例中描述的MPEG格式编码的图象压缩输出到累加装置4102。

累加装置4102与第一个实施例中的累加装置205的是相同的，并且描述其内部运行。另外，该累加装置4102存储并累加编码图象，并且同时分配用于每一编码图象的可单独辨别的图象ID，用于累加管理。图10A中，累加5个编码图象，并分别将图象A、B、C、D和E提供给编码图象，用于累加管理。给出的编码图象可以根据指定的图象ID从累加装置获得。每一编码图象具有与图6所示的编码小片图象相等的结构。

图象合成装置4103从累加装置4102取出至少一个编码图象，并进行图象组合处理，以产生并输出多图象组合图象流。顺便指出，在该实施例中，图象合成装置在结构上与第一个实施例中的移动图象合成装置207具有相同的结构，并且其内部运行如上所述。

下面描述图38中产生多图象组合图象的情况。即，图象合成装置4103采用将累加装置4102中存储的每一编码图象显示在通过将多图象屏面沿纵向和水平方向分成两个而获得的总共四个区域中的每一个的方式来压缩多图象组合图象。

为了显示如图38中所示的多图象组合图象，从图象合成装置4103输出的多图象组合图象流必须是如图39所示的编码串序列。因此，图象合成装置4103通过图3中所示的步骤进行图39中所示的编码串生成处理。通过该编码串生成处理产生的多图象组合图象流给出如MPEG格式的正确的编码串，从而可以在图象译码装置4104中可以进行MPEG再现。

上述移动图象合成系统的结构使得可以改变信息值，而无需进行极其大量的处理，例如与因定义为可变长度码的信息值的变化而出现的编码长度变化的位移操作，这样做有利于加速多图象组合图象流。

另外，这时，由于图象合成装置4103产生的多图象组合图象流的编码串序列作为MPEG格式而是正确的，所以在对MPEG编码串进行译码的图象译码装置4104或图象译码电源(一般称为MPEG译码器)中可以容易地进行重现和显示。

本实施例中，要输入到图象编码装置中的图象可以是静态画面，也可以是移动图象。在静态画面的情况下，本实施例的处理等效于输入图象仅为对帧电平(level)进行处理的部分中的一个帧的情况(见第一个实施例中的图象编码装置的操作。

另外，事先通过采用某些图象编码格式对输入图象进行编码也是可以接受。这时，图象编码装置4101进行相对于输入图象对图象编码格式进行转换处理。

另外，在本实施例中，尽管MPEG格式用作输入图象和多图象组合图象流的图象编码格式，但借助于图象编码格式标准，本发明还可以应用于所有的图象编码格式，而每一图象编码格式具有定义为可变长度码的信息。

再有，在本实施例的描述中，尽管用于重写定义为可变长度码的信息的图象合成装置中的基本运算单位长度是8位(目前一般称为一个字节)，但也可以采用不小于1的任意的基本单位长度。

再有，在本实施例的例子中，尽管水平位置信息用作要重写的信息，但借助于图象编码格式标准，还可以采用定义为可变长度码的所有信息。另外，一次改变多个信息也是可以接受的。

另外，在本实施例中，尽管extra_bit_slice和extra_informatio_slice的组合提供想要的位时的扩展编码串，定义为不影响图象编码格式的图象或几乎不对其有影响的编码串的部分事先输入到编码图象内也是合适的。

(第六个实施例)

下面描述本发明的第六个实施例。在说明第六个实施例时，与上述实施例相同的部件或部分采用相同的标号，并且其描述从略。

图40是按照该实施例的移动图象合成系统的结构的方框图。

图40中，标号4401和4402表示暂时或长久累加输入数据、保存数据或对其进行处理并随后输出的延迟装置，标号4103表示对编码图象进行累加和管理的合成服务器，而标号4104表示对多图象组合图象的合成进行处理并接着重现和显示结果的重现终端。

下面描述按照该实施例的移动图象合成系统的运行。

延迟装置4401和4402采用包括磁盘和存储器件的存储装置，在延迟条件下输出输入的数据，并调整从帧淡薄处理得到的延迟时间。

这时，延迟装置4401(下文中称为延迟装置1)使来自图象编码装置的编码图象编码串延迟一个固定时间，并且随后输出。该延迟时间可以从延迟装置1指定，并且，例如，重现终端4104可以给出5秒延迟的指令。另外，延迟时间是可变。例如，还可以以延迟时间为10秒的初始状态逐渐减小的方式进行跟进(catch-up)重现，从而在初始状态后的1分钟内，不会出现延迟时间(延迟时间达到零)，并且该处理过程还包括在延迟装置1的处理过程内。

另一方面，延迟装置4402(下文中称为延迟装置2)在与从累加装置4102获得的编码图象相关的每四个帧输出一个编码串(即输出编码串的帧号为1、5、9、13、…)。所以从延迟装置2输出的编码图象重现率增加到四次的图象。

本实施例中，图象合成装置4103通过如图41所示的路径接收编码图象。

图41中，从摄像机接收适时动态图象作为输入图象，进行MPEG编码处理，以输出图象ID为X的编码图象。

另外，延迟装置1除了进行上述延迟处理以外还进行图象ID的变换，本例中，将其改变为X’。从累加装置4102中取出图象ID为B的编码图象。除了进行上述延迟处理以外，延迟装置2将图象ID改变成B’。

因此，图象合成装置4103进行图象ID为X、X’、B和B‘的四个编码图象的组合处理。

作为移动图象合成系统的结构，如图40所示将图象合成装置4103放在重现终端4404侧是合适的。此时，图象合成装置4103的内部处理与第一个实施例中的是相同的，并且图象译码装置4104对由图象合成装置4103合成的多图象组合图象流进行译码和重现。

图42描绘了一例按照本实施例重现的多图象组合图象。图42描绘的是各种图象如现场图象的重现例子，现场图象的延迟图象、累加图象以及累加图象的变速图象在图象区中组合成多图象组合图象。

采用上述结构的移动图象合成系统，可以显示多图象组合图象，如实时现场图象如从摄像机输入的图象，和累加图象，并且可以由延迟装置延迟重现现场图象部分，而经过调整延迟时间的多图象组合图象的重现和延迟也因帧淡薄处理而是可行的。

(第七个实施例)

下面描述本发明的第七个实施例。在说明第七个实施例时，与上述实施例中相同的部件和部分采用相同的标号，并且为简单起见，其描述从略。

图43是按照该实施例的移动图象合成系统的结构方框图。

图43中，标号4701表示在将通过多图象组合图象的重现获得的图象划分成一个以上的区域时保存区域排列如图象布局信息的布局表，而标号4702表示布局表中的多图象布局信息值的布局表变更装置。

下面描述本实施例的移动图象合成系统的运行。

在说明本实施例时，与第三个实施例中相同的部件其描述将从略。即，小片图象用作输入图象，而编码小片移动图象将用作一编码图象。另外，布局表4701与第三个实施例中的布局表是相同的，并且其结构也如所描述的那样是相同的。再有，图象合成装置4103与第三个实施例中的移动图象合成装置2503是相同的，并且其内部运行也如所描述的那样是相同的。

图44描述的是在由布局表变换装置4702改变布局表4701内容之前和之后的多图象组合图象的图象结构。

采用该实施例，如图44所示，图象合成装置4103能够产生相互在图象结构上完全不同的多图象组合图象。图45描述的是由图象合成装置4103对编码图象的组合进行的处理。

图45中，在步骤4901中，向在第三个实施例中的步骤2601那样进行初始化处理，绘制具有如图44的上面部分所示初始化状态下的图象排列的布局表，并且随后在步骤4902中，图象合成装置4103参照布局表。

在多图象组合图象流产生处理中对帧电平的处理开始时，图象合成装置4103在该时刻参照布局表(步骤4902)，按照布局表中的多图象布局信息进行合成处理(图45中的步骤803和809)。随后，对帧电平由布局表变换装置4702进行多图象组合图象的图象结构改变。

所以，上述移动图象合成系统的结构使得可以对多图象组合图象的配置进行动态改变区域大小的动态改变，显示在这些区域中编码图象的动态改变，等等。

(第八个实施例)

下面描述本发明的第八个实施例。在上面第七个实施例时，与上述实施例中相同的局部或部分采用相同的标号，并且为简单起见，其描述从略。

图46是按照该实施例的移动图象合成系统的结构方框图。

图46中，标号5001表示根据图象编码格式对输入图象进行编码处理以输出编码图象的图象编码装置，而标号5002表示接收至少一个编码图象以产生多图象组合图象流的图象合成装置。

其次，描述按照该实施例的移动图象合成系统的运行。

本实施例的描述从由图象编码装置5001进行输入图象编码处理开始。

本实施例中，图象编码装置5001按照MPEG格式对输入的图象进行编码处理，并且在累加装置4102中将编码图象累加。图象编码装置5001中的MPEG编码运行流程与参照图3描述的第一个实施例中的是相同的。同时，本实施例中的输入图象可以与采用图3的描述中的小片移动图象那样来对待。

图47是图象编码装置5001在步骤303、305、306和308中对输入图象进行MPEG编码以输出编码图象的例子。

图47中，部分(a)、(b)、(c)和(d)分别与图5中的(a)、(c)、(d)和(e)对应。因此，该实施例中的编码图象的编码串与由公共MPEG编码装置或MPEG编码单元(一般称为MPEG编码器)所产生的是相同的。因此，公共MPEG编码装置可以用作本实施例中的图象编码装置5001。从图象编码装置5001输出的编码图象由累加装置4102累加并管理。图48是累加装置4102中累加的编码图象。图48中，分别用图象ID A、B、C、D和E标识的编码图象在累加装置4102中累加。另外，每一编码图象在水平方向被划分成两片段，每一片段由三个宏块组成。

其次，描述本实施例中对具有可变长度的编码图象的信息值进行的重写处理。描述将针对例如合成如图38所示的多图象组合图象的情况进行。

多图象组合图象合成处理由图象合成装置5002进行，并且其运行流程是与参照图8所示的第一个实施例相同的。同时，本实施例中的编码图象可以看作是与图8中的编码小片移动图象相同的。

图49A和49B描述的是图象合成装置5002在步骤804中进行的片段编码串的读出处理。读出的片段编码串存储在开头地址由变量Buf指出的缓冲器中。

图象合成装置5002进行如图步骤805中指出的片段显示位置信息的重写处理。参照图11对第一个实施例的描述适用于重写垂直位置。

下面描述当水平位置的值从1变到4时步骤805中定义为可变长度码的水平位置信息的重写处理。在存储在累加装置4102的条件下，如图47所示，编码图象的水平位置信息值是1，并且其编码串是一个位长度的“1”。为了将其重写到水平位置4上，当用可变长度码表述时，水平位置4变成四个位长度的“0011”。因此，出现缺少3个位的编码串。

参照图50，下面描述在高速下提供想要的编码串和重写水平位置信息值定义为可变长度码的方法。

图50中，图50a给出在步骤804将片段1A的编码串读到一缓冲器内时的情况，而图50b是该时刻片段标题附近的详细描述。

首先，图象合成装置5002重写buf[4]部分。本实施例中，重写是buf[4]＝buf[4]|0x07。

随后，输出从buf[0]到buf[4]的5个字节，作为多图象组合图象流的编码串。

随后，作为6字节插入处理，是0xff的6个字节被输出作为相同多图象组合图象流的编码串。

最后，在对水平位置详细进行了重写处理buf[10]＝0xc6+(buf[4]&0x01)以后，输出所有的继buf[10]之后的片段编码串，作为多图象复合图象流的编码串。

同时，严格地讲，由于在对水平位置信息的重写处理时采用buf[4]的值，所以需要暂时在buf[4]的第一次重写时将buf[4]的值存储在变量中。

通过上述处理，定义为可变长度编码的信息值的重写可以仅通过几次简单的计算来完成。因此，在处理因定义为可变长度码的信息值的变化而出现的信息的编码长度变化时，可以改变该信息值，而无需极大量的如位移(bit shift)计算，这就大大加速了多图象最后图象产生处理过程。

另外，由于无需产生将编码图象输入到图象合成装置以进行实现上述加速的特定处理过程的图象编码装置，可以采用通用的图象编码装置，根据上述图象编码格式进行编码处理，并根据上述图象编码格式使公共编码图象间的组合处理得以加速。

如上所述，按照本发明，在移动图象合成或组合中，因为缩小移动图象的顺序是，编码、(累加)、合成和译码，所以与现有技术中合成(显示排列)是在译码以后进行从而组合图象需要译码处理的情况相比，当在合成以后立即进行译码处理时，就完成了译码，所以，自然，可以将合成处理所需的时间减小到最小，并且，由于考虑到合成以后图象内经缩小和编码的图象的位置在组合前是不知道的，编码将便于合成时位置信息的变更，所以，可以进行各种图象合成(合成以后多图象组合图象的任意位置处在合成以前的缩小图象的配置和显示)。

应当指出，前文中仅涉及本发明的较佳实施例，并且，这些描述为了揭示本发明而试图覆盖本发明实施例的所有的变更和修改，这些变更和修改都不偏离本发明的精神和范围。

Claims (36)

1.一种移动图像合成系统，其特征在于包括：

移动图像接收装置，用于接收移动图像；

移动图像缩小装置，用于缩小所述移动图像以产生缩小的移动图像；

移动图像编码装置，用于对所述缩小的移动图像进行编码以产生经编码的移动图像；

累积装置，用于存储和累积所述经编码的移动图像；

移动图像合成装置，用于把在所述累积装置中累积的至少一个经编码的移动图像组合成一多图像合成移动图像；

移动图像解码装置，用于对所述多图像合成移动图像进行解码；以及

移动图像显示装置，用于显示经解码的移动图像，

其中所述移动图像编码装置考虑到因在移动图像组合时放置所述缩小的移动图像而使所述位置信息发生变化的情况，根据所述缩小的移动图像所具有的位置信息来执行编码以便改变所述位置信息，以及

当需要改变所述缩小的移动图像的位置信息时，所述移动图像合成装置把所述位置信息变到其组合处理所需的位置信息。

2.一种移动图像合成系统，其特征在于包括：

移动图像接收装置，用于接收移动图像；

移动图像缩小装置，用于缩小所述移动图像以产生小片移动图像；

移动图像编码装置，用于依据MPEG标准对所述小片移动图像进行编码以产生经编码的小片移动图像；

累积装置，用于存储和累积所述经编码的小片移动图像；

移动图像合成装置，用于把在所述累积装置中累积的一个或多个经编码的移动图像组合成一多图像合成移动图像；

移动图像解码装置，用于对所述多图像合成移动图像进行解码；以及

移动图像显示装置，用于显示经解码的移动图像，

其中考虑到因改变片段的水平坐标而使MB_Addr_Inc的位数发生变化，所述移动图像编码输出用于弥补想要的位的补充代码串，以及

所述移动图像合成装置通过从所述补充代码串提供想要的位来改写MB_Addr_Inc的值并产生多图像合成的移动图像代码串。

3.如权利要求2所述的移动图像合成系统，其特征在于所述移动图像编码装置和所述移动图像合成装置利用MPEG视频序列中片段标题部分的额外_位_片段和额外_信息_片段作为用于弥补想要的位的补充代码串。

4.如权利要求3所述的移动图像合成系统，其特征在于所述移动图像编码装置输出8组额外_位_片段和额外_信息_片段作为所述补充代码串，所述移动图像合成装置从所述补充代码串中提供任意数目的想要的位并产生宏块_换码代码串。

5.如权利要求2所述的移动图像合成系统，其特征在于所述移动图像合成装置包括用于在以宏块尺寸把多图像屏面分割成区域时保存有关每个所述区域的多图像布局信息的布局表以及用于绘制所述布局表的布局表制作装置，而所述移动图像合成装置参考所述布局表来确定将被作为所述多图像合成移动图像代码串输出的经编码的小片移动图像代码串。

6.一种移动图像合成系统，其特征在于包括：

移动图像接收装置，用于接收移动图像；

移动图像缩小装置，用于缩小所述移动图像以产生小片移动图像；

移动图像编码装置，用于依据MPEG标准对所述小片移动图像进行编码以产生经编码的小片移动图像；

累积装置，用于存储和累积所述经编码的小片移动图像；

移动图像合成装置，用于把在所述累积装置中累积的一个或多个经编码的移动图像组合成一多图像合成移动图像；

移动图像解码装置，用于对所述多图像合成移动图像进行解码；以及

移动图像显示装置，用于显示经解码的移动图像，

其中所述移动图像编码装置插入补充代码串，从而每个宏块代码串的头尾与字节边界相接触，以及

所述移动图像合成装置按照屏面扫描的顺序相继排列所述宏块代码串，以产生所需的多图像合成移动图像代码串。

7.如权利要求6所述的移动图像合成系统，其特征在于所述移动图像编码装置和所述移动图像合成装置利用MPEG视频序列中片段标题部分的额外_位_片段和额外_信息_片段作为用于使所述宏块代码串的所述头与所述字节边界相接触的所述补充代码串。

8.如权利要求6所述的移动图像合成系统，其特征在于所述移动图像编码装置和所述移动图像合成装置把MPEG视频序列中的宏块_塞入作为用于使所述宏块代码串的所述尾与所述字节边界相接触的所述补充代码串插入所述宏块代码串的头部分。

9.一种移动图像合成系统，其特征在于包括：

移动图像接收装置，用于接收多图像合成移动图像；

多图像合成移动图像分割装置，用于从所述多图像合成移动图像的代码串中提取每个图像区域部分的片段代码串；

图像布局表制作装置，用于绘制保存多图像屏面中每个图像区域的尺寸以及相应关系的位置信息的图像布局表；

移动图像重新编码装置，用于把所述片段代码串转换成允许在不同的多图像屏面中重新组合的重新编码的片段代码串；

累积装置，用于存储和累积经编码的小片图像；

移动图像合成装置，用于重新组合所述重新编码的片段代码串以产生提供不同图像结构的多图像合成移动图像代码串；

移动图像列表装置，用于绘制构成多图像合成移动图像的移动图像的组合和顺序的清单；

移动图像解码装置，用于对所述多图像合成移动图像进行解码；以及

移动图像显示装置，用于显示经解码的移动图像，

其中所述多图像合成移动图像分割装置从所述布局表中取得对所提取的片段代码串进行重新编码所需的经编码的小片移动图像的识别码、有关所述经编码的小片移动图像在多图像屏面中的位置信息以及有关所述经编码的小片移动图像在每个所述图像区域中的位置信息，以及

所述移动图像重新编码装置根据所取得的结果把所述片段代码串转换成将在所述不同的多图像屏面中重新组合的所述代码串，以产生图像结构与第一次所述的多图像合成移动图像的图像结构不同的所述多图像合成移动图像。

10.如权利要求9所述的移动图像合成系统，其特征在于所述移动图像列表装置选择性地绘制来自所述累积装置中累积的所述已编码小片移动图像的移动图像以及由重新编码的片段代码串构成的移动图像的清单，所述移动图像合成装置根据所述移动图像列表装置所绘制的所述移动图像清单而从所述累积装置中累积的所述已编码小片移动图像代码串和重新编码的片段代码串中获得一代码串。

11.一种移动图像合成系统，其特征在于包括：

图像编码装置，用于根据图像编码格式对输入的图像进行编码并输出经编码的图像；以及

图像合成装置，用于接收所述一个或多个经编码的图像以产生多图像合成图像流，

其中考虑到被定义为所述图像编码格式的可变长度代码的信息值发生改变的情况，所述图像编码装置把被定义为不影响具有所述图像编码格式的图像的代码串的扩展代码串预先输出到所述经编码的图像中，以及

所述图像合成装置利用用于产生所述多图像合成图像流的所述扩展代码串把把所述经编码的图像的所述信息值变为不同的值。

12.如权利要求11所述的移动图像合成系统，其特征在于所述图像合成装置改写所输入的每个所述经编码的图像的所述信息值，以输出所述多图像合成图像流，其中每个所述经编码的图像的代码串为作为所述图像编码格式的正确的信息值，每个所述经编码的图像的代码串序列是作为所述图像编码格式的正确的序列。

13.如权利要求11所述的移动图像合成系统，其特征在于在只接收到一个经编码的图像时，所述图像合成装置不产生多图像合成图像，而是改变被定义为所述经编码的图像中可变长度代码的所述信息值并在改变所述信息值后输出经编码的图像。

14.如权利要求11所述的移动图像合成系统，其特征在于所在改变被定义为可变长度代码的所述信息值时，所述图像合成装置在把所述图像合成装置的基本操作单位长度取作N位时从所述扩展代码串中取出相应于N的任意倍数的位代码串，以相应于信息代码长度因改变所述信息值而发生的变化来调节位串。

15.如权利要求14所述的移动图像合成系统，其特征在于所述操作单位长度是分别为通用计算机的中央处理单元的操作单位长度的4位、形成一个字节的8位、16位、32位和64位中的一个。

16.如权利要求11所述移动图像合成系统，其特征在于还包括延迟装置，所述延迟装置用于在输入的数据经过包括输入数据累积和输人数据保存的临时或长时间处理后输出所述输入数据，其中所述图像合成装置接收通过所述延迟装置产生的所述经编码的图像。

17.如权利要求16所述的移动图像合成系统，其特征在于在有关所述图像编码装置的一个输入侧的处理、所述图像编码装置和所述图像合成装置之间的处理以及这两个处理中存在不设置所述延迟装置的处理，所述图像合成装置接收所产生的一个或多个经编码的图像而不需要通过所述延迟装置的单个通路。

18.如权利要求11所述的移动图像合成系统，其特征在于还包括用于在把待输出的多图像合成图像的再现图像分割成一个或多个区域时保存所述区域的结构作为多图像布局信息的布局表，所述布局表保存有关把每个所述区域置于多图像合成图像中的至少一个位置信息和每个所述区域的尺寸信息作为所述多图像布局信息，所述图像合成装置在产生所述多图像合成图像流时把被定义为可变长度代码的信息值和被定义为固定长度代码的信息值变为所述布局表中所保存的值。

19.如权利要求18所述的移动图像合成系统，其特征在于用单个识别符来区分所述经编码的图像，利用所述识别符可获得具有任意识别符的所述经编码的图像，所述布局表还保存将在所述区域中显示的所述经编码的图像的所述识别符作为所述多布局信息中的区域图像信息，所述图像合成装置参考所述区域图像信息以从输入的图像中选择将在所述区域中显示的所述经编码的图像或绘制接收所述区域图像信息作为一个输入的经编码图像以改变所述经编码图像的所述信息值。

20.如权利要求18所述的移动图像合成系统，其特征在于还包括用于改变所述布局表中所述多图像布局信息的值的布局表改变装置，所述布局表改变装置在任意定时改变所述多图像布局信息的所述值，所述图像合成装置参考改变的所述多图像布局信息值，以动态地改变待输出的所述多图像合成图像的多图像布局。

21.如权利要求11所述的移动图像合成系统，其特征在于所述图像编码格式用于静态图像，所述经编码的图像是静态图像。

22.如权利要求11所述的移动图像合成系统，其特征在于所述图像编码格式相应于移动图像，所述经编码的图像是移动图像。

23.如权利要求11所述的移动图像合成系统，其特征在于在所述图像合成装置中，通过使用互不相同的图像编码格式所进行的编码来获得待输入的所述经编码的图像和待输出的所述多图像合成图像流。

24.一种移动图像合成系统，其特征在于包括用于接收从根据图像编码格式的编码处理所产生的至少一个经编码的图像的图像合成装置，其中在需要改变被定义为所述图像编码格式的可变长度代码的信息值时，所述图像合成装置为把所述经编码的图像中的所述信息值变为不同的值，利用被定义为不影响具有所述图像编码格式的图像的代码串的扩展代码串来把所述扩展代码串输出到所述多图像合成图像中。

25.如权利要求24所述的移动图像合成系统，其特征在于所述图像合成装置改写所输入的每个所述经编码的图像的所述信息值，以输出所述多图像合成图像流，其中每个所述经编码的图像的代码串是作为所述图像编码格式的正确的信息值，每个所述经编码的图像的代码串序列是作为所述图像编码格式的正确的序列。

26.如权利要求24所述的移动图像合成系统，其特征在于在只接收到一个经编码的图像时，所述图像合成装置不产生多图像合成图像，而是改变被定义为所述经编码的图像中可变长度代码的所述信息值并在改变所述信息值后输出经编码的图像。

27.如权利要求24所述的移动图像合成系统，其特征在于所在改变被定义为可变长度代码的所述信息值时，所述图像合成装置在把所述图像合成装置的基本操作单位长度取作N位时从所述扩展代码串中取出相应于N的任意倍数的位代码串，以相应于信息代码长度因改变所述信息值而发生的变化来调节位串。

28.如权利要求24所述的移动图像合成系统，其特征在于所述操作单位长度是分别为通用计算机的中央处理单元的操作单位长度的4位、形成一个字节的8位、16位、32位和64位中的一个。

29.如权利要求24所述移动图像合成系统，其特征在于还包括延迟装置，所述延迟装置用于在输入的数据经过包括输入数据累积和输入数据保存的临时或长时间处理后输出所述输入数据，其中所述图像合成装置接收通过所述延迟装置产生的所述经编码的图像。

30.如权利要求29所述的移动图像合成系统，其特征在于在有关所述图像编码装置的一个输入侧的处理、所述图像编码装置和所述图像合成装置之间的处理以及这两个处理中存在不设置所述延迟装置的处理，所述图像合成装置接收所产生的一个或多个经编码的图像而不需要通过所述延迟装置的单个通路。

31.如权利要求24所述的移动图像合成系统，其特征在于还包括用于在把待输出的多图像合成图像的再现图像分割成一个或多个区域时保存所述区域的结构作为多图像布局信息的布局表，所述布局表保存有关把每个所述区域置于多图像合成图像中的至少一个位置信息和每个所述区域的尺寸信息作为所述多图像布局信息，所述图像合成装置在产生所述多图像合成图像流时把被定义为可变长度代码的信息值和被定义为固定长度代码的信息值变为所述布局表中所保存的值。

32.如权利要求31所述的移动图像合成系统，其特征在于用单个识别符来区分所述经编码的图像，利用所述识别符可获得具有任意识别符的所述经编码的图像，所述布局表还保存将在所述区域中显示的所述经编码的图像的所述识别符作为所述多布局信息中的区域图像信息，所述图像合成装置参考所述区域图像信息以从输入的图像中选择将在所述区域中显示的所述经编码的图像或绘制接收所述区域图像信息作为一个输入的经编码图像以改变所述经编码图像的所述信息值。

33.如权利要求31所述的移动图像合成系统，其特征在于还包括用于改变所述布局表中所述多图像布局信息的值的布局表改变装置，所述布局表改变装置在任意定时改变所述多图像布局信息的所述值，所述图像合成装置参考改变的所述多图像布局信息值，以动态地改变待输出的所述多图像合成图像的多图像布局。

34.如权利要求24所述的移动图像合成系统，其特征在于所述图像编码格式用于静态图像，所述经编码的图像是静态图像。

35.如权利要求24所述的移动图像合成系统，其特征在于所述图像编码格式相应于移动图像，所述经编码的图像是移动图像。

36.一种移动图像合成系统，其特征在于包括：

第一和第二图像编码装置，每个装置用于根据图像编码格式对输入的图像进行编码以输出经编码的图像；以及

图像合成装置，用于接收从所述第一图像编码装置输出的至少一个经编码的图像以及从所述第二图像编码装置输出的至少一个经编码的图像，以产生多图像合成图像，

其中考虑到被定义为所述图像编码格式的可变长度代码的信息值发生改变的情况，第一图像编码装置把被定义为不影响具有所述图像编码格式的图像的代码串的扩展代码串预先输出到所述经编码的图像中，所述第二图像编码装置不把所述扩展代码串输出到所述经编码的图像中，以及

所述图像合成装置利用用于从所述第一图像编码装置输出的所述经编码的图像的所述扩展代码串把所述信息值变为不同的值，并通过把所述扩展代码串输出到用于从所述第二图像编码装置输出的所述经编码的图像的所述多图像组合图像中来把所述信息值变为不同的值。

Images