CN1075321C

CN1075321C - 图像编码装置及方法

Info

Publication number: CN1075321C
Application number: CN94190793A
Authority: CN
Inventors: 近藤哲二郎; 藤森泰弘; 川口邦雄
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-08-30
Filing date: 1994-08-30
Publication date: 2001-11-21
Anticipated expiration: 2014-08-30
Also published as: EP0671852B1; US6324304B1; DE69428979D1; US5930394A; EP0671852A4; EP0671852A1; US6108451A; US6539119B1; DE69428979T2; US6219456B1; US6195464B1; CN1116029A; WO1995007004A1

Abstract

对图像数据进行分层编码，能提高压缩效率同时减小图像质量的劣化。在这种图像编码装置和方法中，采用递归的分层表示的图像数据，进行分层编码。在对应于图像数据的特性，实现了自适应的块分割以后，再进行编码；同时，把从该分割结果中得到的分层编码数据传送出去。借此，能自适应地分割下一层中的块，结果是，能降低图像平坦部分的信息量。

Description

图像编码装置及方法

技术领域

本发明是关于图像编码装置及方法，例如能应用于将给定的图像数据分割成不同分辨率的多个图像数据进行编码的图像编码装置。

迄今，这种图像编码装置采用锥形编码等分层编码技术对输入图像数据进行分层编码(日本专利公报：平5-142836号)。在这种图像编码装置中，将高分辨率的输入图像数据作为第一层数据，依次递归地形成分辨率低于第一层数据的第二层数据、分辨率低于第二层数据的第三层数据、……，并经由信道和记录及再生路径组成的通路传输这种多个分层数据。

而在对此多个分层数据解码的图像解码装置中，可以对此多个分层数据全体进行解码，也可以按照与各自对应的电视监控器的分辨率等，选择所需的某一层数据加以解码。这样，依靠仅对经过分层处理的多层数据中所需的分层数据进行解码就能以必要的、最低限度的数据传输量获得所需的图像数据。

这里，如图1所示，作为这种分层编码例如实现4层编码的图像编码装置1中，各自具有三级的提取滤波器2、3、4和内插滤波器5、6、7，对输入图像数据D1由各级提取滤波器2、3、4形成分辨率依次降低的缩小图像数据D2、D3、D4，同时，由内插滤波器5、6、7将缩小图像数据D2、D3、D4返回到缩小前的分辨率。

各提取滤波器2～4的输出D2～D4及各内插滤波器5～7的输出D5～D7分别输入到差分电路8、9、10，由此产生差分数据D8、D9、D10。结果就使图像编码装置1中，既减少了分层数据的数据量，同时，也减小了信号功率。这里，该差分数据D8～D10及缩小图像数据D4，相对于输入图像数据D1，分别被选定为面积的例如1、1/4、1/16、1/64倍。

由各自差分电路8～10得到的差分数据D8～D10及由提取滤波器4得到的缩小图像数据D4，经各个编码器11、12、13、14进行压缩处理，结果由各编码器11、12、13、14得到分辨率不同的第一、第二、第三和第四层数据D11、D12、D13和D14，按规定的次序输出到传输通路。

这样传输的第一～第四层数据D11～D14由图2所示的图像解码装置20进行解码。即，第一～第四层数据D11～D14分别经解码器21、22、23、24解码，其结果是，首先由解码器24输出第四层数据D24。

解码器23的输出在加法电路29中与由内插滤波器26得到的第四层数据D24的内插数据相加，以此来恢复第三层数据D23。同样地，解码器22的输出在加法电路30中与由内插滤波器27得到的第三层数据D23的内插数据相加，以此来恢复第二层数据D22。解码器21的输出在加法电路31中与由内插滤波器28得到的第二层数据D22的内插数据相加，以此来恢复第一层数据D21。

然而，在实现这样的分层编码方法的图像编码装置中，因为要将输入图像数据分割成多个分层数据，而增加了分层分量的数据量，与不采用这种分层编码的高效率编码方法相比较，存在着压缩效率低的问题。还存在着为了提高压缩效率，因在各层数据之间应用量化装置而使图像质量劣化的问题。

发明的公开

本发明是考虑了上述各点，提出一种在对图像数据进行分层编码时，既能提高压缩效率同时又能减少图像质量劣化的图像编码方法及图像编码装置。

为解决有关课题，在本发明中，为递归地产生由不同的多个分辨率构成的多个分层数据而对输入图像信号进行编码的图像编码装置中，设有按照图像数据的特性判定自适应的块分割方法、并根据该判定结果进行图像数据分割的判定分割装置，和传输由判定分割装置得到的分层编码数据的传输装置，从而能将图像数据自适应地分割成块。

在本发明中，为依次递归地产生由不同的多个分辨率构成的多个分层数据而对输入图像信号进行编码的图像编码装置中，设有判定控制装置，用以检测除分辨率最低的最上层数据外的各层数据给定块的块活动性，根据相应块活动性产生用作判定块分割方法的分割判定标志，而在得到表示块活动性小于给定阈值的判定结果时，产生使对应于该块的多个下层块的分割中止的分割中止标志，同时，还产生使多个下层块的块活动性判定及多个下层块的分层数据的传输中止的控制信号；和将每个块的判定标志与经过编码的各层数据同时传输的传输装置，从而，将判定标志与分割成块的图像数据同时传输。

在本发明中，为依次递归地产生由不同的多个分辨率构成的多个分层数据而对输入图像信号进行编码的图像编码装置中，设有判定控制装置，用以检测除分辨率最低的最上层数据外的各层数据给定块的块活动性，根据相应块活动性产生用作判定块分割的分割判定标志，而在得到表示块活动性小于给定阈值的判定结果时，临时产生使对应于该块的多个下层块分割中止的分割中止标志，同时，在得到表示多个下层块中至少一个块的块活动性成为高于给定阈值的判定结果时，将分割中止标志变换成用作继续分割的分割继续标志；和将每个块的判定标志与经过编码的各层数据同时传输的传输装置，从而，能够对用作判定块分割方法的分割判定标志进行重新评定。

在本发明中，为依次递归地产生由不同的多个分辨率构成的多个分层数据而对输入图像信号进行编码的图像编码装置中，设有判定控制装置，用以检测除分辨率最低的最上层数据外的各层数据的全部块的块活动性，根据相应块活动性产生用作判定各块分割的分割判定标志，而在得到表示块活动性小于给定阈值的判定结果时，产生使块分割中止的分割中止标志，同时，在得到表示块活动性成为大于给定阈值的判定结果时，产生用作继续进行块分割的分割继续标志；和将每个块的判定标志与经过编码的各层数据同时传输的传输装置，从而，能够独立地判定块分割方法。

在本发明中，为依次递归地产生由不同的多个分辨率构成的多个分层数据而对由为了形成图像相互间具有相互关系的多个图像形成信号构成的输入图像信号进行编码的图像编码装置中，设有判定控制装置，用以对除分辨率最低的最上层数据外的各层数据的给定块检测对应于多个图像形成信号中的第一信号的块活动性，根据该块活动性产生用作判定块或对应于块的下层块的分割方法的分割判定标志，而在得到表示块活动性小于给定阈值的判定结果时，产生使块或对应于块的下层块的分割中止的分割中止标志，同时，在得到表示块活动性成为大于给定阈值的判定结果时，产生用作继续进行块或对应于块的下层块的分割的分割继续标志，并且根据多个图像形成信号中的第二信号来决定阈值，从而，在由第一信号例如亮度信号来设定阈值的同时，能够对第二信号例如彩色信号进行分割。

在本发明中，为依次递归地产生由不同的多个分辨率构成的多个分层数据而对输入图像信号进行编码的图像编码装置中，设有阈值检测装置，用以为将“已产生信息量”控制成目标值，根据各层数据的全部块的块活动性，检测作为块活动性判定基准的阈值；判定分割装置，用以检则除分辨率最低的最上层数据外的各层数据给定块的块活动性，根据该块活动性与阈值相比较的结果判定块或对应于块的下层块的分割方法，同时，进行分割；以及用于传输由判定分割装置得到的分层编码数据的传输装置，从而，在块活动性成为小于给定阈值时(亦即图像的变化减小时)，可以控制依靠下一层分割处理的“已产生信息量”。

另外，在本发明中，为递归地产生由不同的多个分辨率构成的多个分层数据而对输入图像信号进行编码的图像编码装置中，设有判定对应于图像数据特性的自适应的块分割的方法、并根据该判定结果分割图像数据的判定分割装置；以及，把从判定装置得到的分层编码数据，在传输固定长数据后再传输可变长数据的传输装置，从而，可以改善数据的传输效率。

对附图的简单说明：

图1为表示现有的采用锥形编码法的图像编码装置的方框图；

图2为表示与图1的图像编码装置相应的图像解码装置的方框图；

图3为对按照本发明的分层编码原理提供说明的简图；

图4为表示利用图3分层编码原理的HD标准图像的自适应分割结果的图表；

图5为表示利用图3分层编码原理的HD标准图像的各层信号电平标准偏差的图表；

图6为表示按照本发明的图像编码装置第一实施例的方框图；

图7为表示分层编码中分层数据构造的简图；

图8为表示第一实施例的图像解码装置的方框图；

图9为表示有关第一实施例的其它实施例的方框图；

图10为表示按照本发明的图像编码装置第二实施例的方框图；

图11为表示按照本发明的图像编码装置第三实施例的方框图；

图12为表示图11的分层编码用的编码器单元的方框图；

图13为表示图12的解码器的方框图；

图14为表示图12的编码器的方框图；

图15为供说明分层结构的简图；

图16为表示“已产生信息量”控制单元的方框图；

图17为表示各层的频数分布表的特性曲线；

图18为表示有关各层可以得到的阈值组合的表；

图19为表示累加型频数分布表的特性曲线；

图20为表示累加型频数分布表的特性曲线；

图21为表示频数分布表的特性曲线；

图22为表示累加型频数分布表的特性曲线；

图23为表示按照本发明的图像编码装置第四实施例的方框图；

图24为表示图23的分层编码用的编码器单元的方框图；

图25为表示图24的编码器的方框图；

图26为表示“已产生信信息量”控制单元的方框图；

图27为表示各层的频数分布表的特性曲线；

图28为说明频数分布表示例的特性曲线；

图29为说明频数分布表示例的特性曲线；

图30为说明频数分布表示例的特性曲线；

图31为表示频数分布表的特性曲线；

图32为表示累加型频数分布表的特性曲线；

图33为表示使用限幅值的频数分布表的特性曲线；

图34为表示使用限幅值的累加型频数分布表的特性曲线；

图35为表示分层编码处理程序的流程图；

图36为表示按照本发明的图像编码装置第五实施例的方框图；

图37为表示图36的分层编码用的编码器单元的方框图；

图38为表示图37的编码器的方框图；

图39为表示“已产生信息量”控制单元的方框图；

图40为表示各层频数分布表的特性曲线；

图41为说明频数分布表示例的特性曲线；

图42为说明频数分布表示例的特性曲线；

图43为说明频数分布表示例的特性曲线；

图44为表示频数分布表的特性曲线；

图45为表示累加型频数分布表的特性曲线；

图46为表示使用限幅值的频数分布表的特性曲线；

图47为表示使用限幅值的累加型频数分布表的特性曲线；

图48为表示分层编码处理的流程图；

图49为表示按照本发明的图像编码装置第六实施例的方框图；

图50为表示图49的分层编码用的编码器单元的方框图；

图51为表示图50的编码器的方框图；

图52为供说明分层结构的简图；

图53为表示彩色信号分割结果的信号波形图；

图54为表示分层编码处理的流程图；

图55为表示按照本发明的图像编码装置第七实施例的方框图；和

图56为表示传输块的数据结构概念的平面图。

用来实施本发明的最佳方式

下面对照附图对本发明的实施例作详细说明。

[1]分层编码的原理

图3从整体上，作为按照本发明分层编码的原理，表示例如把高清晰度电视信号等静止图像分层编码以后进行压缩的情况。在这种分层编码中，以下一层数据的简单算术平均来产生上一层数据，使应该传送的下一层数据减少，来实现不增加信息量的分层结构。而且在由上一层数据解码下一层数据时，根据每个块的活动性，自适应地控制分割，从而削减平坦部分的信息量。

这里所说的活动性(activity)，在将对应于上一层数据的下一层数据区域定义为“块”的情况下，是指以给定块内层间差分数据D41～D44的最大值、平均值、绝对值和、标准偏差或n次方和等表示的相关值。也就是说，在活动性低时，该块可以称为平坦块。

而在对下一层数据进行的层间差分数据编码中，根据上一层数据的活动性，将其量化特性在每个块中进行无附加码的切换，这样来实现高效率。

亦即，在这种分层编码的分层结构中，首先，将输入的高清晰度电视信号选作最下层数据，对此最下层数据中2行×2像素的小块中的4像素X1～X4按下式取算术平均值，

m=(X1+X2+X3+X4)/4 (1)将值m作为上一层数据的值。在其下一层数据中，如下式所示那样，

ΔXi=Xi-m (但是，i=1～3) (2)仅以3个像素来考虑与上一层数据的层间差分数据，从而构成与原本4个像素信息量相同的分层结构。

另一方面，在解码下一层数据时，如下所示那样，

E[Xi]=ΔXi+m (i=1～3) (3)3像素X1～X3均以在上一层数据的平均值m上加各自的层间差分数据ΔXi，求出解码值E[Xi]，剩下的一个像素则如下式所示那样，

E[X4]=mX4-E[X1]-E[X2]-E[X3] (4)以由上一层数据平均值m中减去下一层数据的3个解码值来确定解码值E[X4]。其中E[]表示解码值。

这里的这种分层编码中，虽然由上一层向下一层分辨率及数据量逐层呈4倍增长，但在平坦部分中，依靠禁止进行这种分割而削减其冗余度。指明是否进行分割的标志采取以块为单位的1个比特。下一层中分割必要性的判断，以作为局部活动性的。例如用层间差分数据的最大值来判断。

作为这种分层编码的举例，利用ITE的HD标准图像(Y信号)，把分割成5层以后再编码时的自适应分割结果示于图4。图中所示虽然是在改变最大层间差分数据的阈值时各层像素数与原本像素数之比，但可以看出，基于空间相关的冗余度降低的情况。制减效率虽然随图像改变，但在使最大层间差分数据的阈值改变1～6倍时，平均削减率达28～69[％]。

实际上，以上一层数据分辨率的4倍来生成下一层数据，这时，依靠将来自上一层数据的层间差分数据编码，下层数据中信号电平的范围能够有效地削减。将按照上述对图4进行的分层编码作成5层，示于图5，其中分层由下层数起，第1～5层。与原图像的8比特PCM数据相比，可看出信号电平范围削减的情况。特别是像素数多的第1～4层，因为是层间差分数据，所以，能够大幅度削减，提高以后量化时的效率。由图5可看出，削减率对画样的依赖关系很小，而且，这对所有图像都是有效的。

依靠利用下一层数据的平均值来产生上一层数据，使误差传播局限于块内，并将下一层数据变换成来自上一层数据平均值的差分，这样，就能兼备效率也高。实际上，在分层编码中，同一空间位置上的层间活动性有相关性，由上一层数据的量化结果决定下一层数据的量化特性，从而能实现无须将发送端(编码侧)所用的量化信息传送到接收端(解码侧)上的自适应量化器(但是，初始值除外)。

实际上，基于上述5层的分层结构对图像进行分层编码以多个分辨率来表达，进行利用分层结构的自适应分割和自适应量化，这样就能将各种HD标准图像(8比特的Y/P_B/P_R)压缩到1/8左右。被考虑用于自适应分割的各块附加码，为提高压缩效率，在各层均进行游程长度编码。这样在各层均可得到图像质量足够好的图像，从而最后在最下层也能得到无视觉劣化的良好的图像。

[2]第一实施例

(1)第一实施例的图像编码装置

在图6中，140从整体上表示按照本发明的图像编码装置，将例如高清晰度电视信号等静止图像作为输入图像数据D131采用上述分层编码方法分割成5层，同时对该结果所得到的最下层数据以及与第4层的层间差分数据进行编码。实际上，在图像编码装置140中，输入图像数据D131输入到第一差分电路141和第一平均电路142。

第一平均电路142，如图7中所示，由最下层，即第一层数据构成的输入图像数据D131的4像素X1(1)～X4(1)，生成第二层数据D132的像素X1(2)。与此第二层数据D132的像素X1(2)相邻的像素X2(2)～X4(2)也同样地由第一层数据D131的4像素平均来生成。第二层数据D132输入到第二差分电路143及第二平均电路144。第二平均电路144由例如第二层数据D132的像素X1(2)～X4(2)的4像素平均来生成第三层数据D133的像素X1(3)。与此第三层数据D133的像素X1(3)相邻的像素X2(3)～X4(3)也同样由第二层数据D132的4像素平均来生成。

而第三层数据D133输入到第三差分电路145及第三平均电路146。第三平均电路146也与上述同样利用第三层数据D133的像素X1(3)～X4(3)的4像素平均来生成第四级数据D134的像素X1(4)～X4(4)。此第四层数据D134输入到第四差分电路147和第四平均电路148。第四平均电路148也与上述同样利用第四层数据D134的像素X1(4)～X4(4)的4像素平均来生成成为最上层即第五层数据D135。

实际上，此第一～第五层数据D131～D135块的大小，假定最下层，即第一层数据D131的块大小是1×1，则第二层数据D132为1/2×1/2，第三层数据D133为1/4×1/4，第四层数据D134为1/8×1/8，而最上层数据即第五层数据D135为1/16×1/16。

为此，5层数据D131～D135中除最上层即第五层数据135外的第一～第四层数据，按上述(2)式那样，以第一、第二、第三及第四差分电路141、143、145及147相互进行差分运算，由此运算结果生成层间差分数据D140、D141、D142及D143。

实际上，首先，是在第四差分电路147中进行第五层数据D135与第四层数据134间的差分运算，生成第四层的层间差分数据D143，然后，在第三差分电路145中进行第四层数据D134与第三层数据133的差分运算，生成第三层的层间差分数据D142。再后，在第二差分电路143中进行第三层数据D133与第二层数据D132的差分运算，生成第二层的层间差分数据D141，最后，在第一差分电路141中进行第二层数据D132与第一层数据D131的差分运算，生成第一层的层间差分数据D140。

这样，在本实施例图像编码装置140中，顺序生成第五层数据D135、第四层～第一层的层间差分数据D143～D140。此时，在图像编码装置140中，按照上述(2)式那样，对上一层数据相关连地生成下一层数据，利用编码器154～157，由于减少了与上一层1像素相对应的下一层4像素中的1像素，所以，不增加作为编码对象的像素数，这样，在将图像数据分解成多层以后再进行编码的情况下，也能避免压缩效率的降低。

这些层间差分数据D140～D143分别输入到分割控制电路150、151、152和153。分割控制电路150～153由上一层的层间差分数据D143～D140中每次都来判定表示层间差分数据D140～D143中的给定块是否是平坦部分的块活动性与阈值Tha的关系，以确定是否传送下面的层间差分数据D142～D140。例如，假定第四层的层间差分数据D143的块内的活动性为A，如满足下式

A＜Tha (5)就判定图像数据为平坦部分并且是难以发生图像质量劣化的块，即设定表示不予传送的判定标志F。这样，分割控制电路150～153对各层的层间差分数据D140～D143的全部块，每次都来判定块活动性与阈值Tha的关系，并将表示是否传送对应块的判定标志F输出到控制码产生电路159。

与此同时，分割控制电路153将控制信号C3输出到第三层分割控制电路152。结果，第三层分割控制电路152无条件地中止层间差分数据D142的传送。第三、第二层分割控制电路152一接受表示无条件中止传送的控制信号C3、C2，就将其分别照原样地作为控制信号C2、C1向下层的分割控制电路151、150输出。由此，在分割控制电路153～150的控制下，无条件中止下面全部层的层间差分数据D142～D140的传送。

这样，由分割控制电路150～153输出的各层的层间差分数据D140～D143输出到编码器154～157。而最上层，即第五层数据D135照原样输出到编码器158。编码器154～157采用适宜于差分数据编码的非线性编码方法，对层间差分数据D140～D143进行压缩编码以后，由此生成第一～第四层压缩编码数据D145～D148。而编码器158采用适宜于由平均值数据构成的图像数据编码的线性编码方法，对第五层数据D138进行压缩编码以后，由此生成第五层压缩编码数据D149。

由各分割控制电路150～153输出的判定标志F输入到控制码产生电路159。借此，控制码产生电路159生成由各层和各块每个判定标志F构成的控制码D150。此控制码D150及第一～第五层压缩编码数据D145～D149在经过游程长度编码等编码以后，由给定的传送数据形成单元(图中未示出)成帧以后，输出到传输通道。

这样传送出去的第一～第五层压缩编码数据D145～D149以及控制码D150由图8所示的图像解码装置160解码。亦即，第一～第五层压缩编码数据D145～D149分别输入到具有与编码器154～158编码作用相反的解码功能的解码器161～165。结果，分别由解码器161～164解码的第一～第四层的层间差分数据D151～D154，分别通过第一～第四层的分割控制电路170～173，输入到第一～第四加法器175～178。

而第五层压缩编码数据D149由解码器165解码，结果得到的第五层数据D155照原样输出，同时，输入到第四加法电路178。第四加法电路178将第五层数据D155与第四层的层间差分数据D154相加，恢复第四层数据D159，将其输出，同时，送到第三加法电路177。

同样地，第三加法电路177将经过恢复的第四层数据D159与第三层的层间差分数据D153相加，以恢复第三层数据158，将其输出，同时，送到第二加法电路176。下面同样地，由第二、第一加法电路176、175恢复第二层数据D157、第一层数据D156，从而输出第一～第四、第五层数据D156～D159、D155。

控制码D150输入到控制码分析电路166。控制码分析电路166根据所输入的控制码D150分析是否发生了层间差分数据的中止传送，将此分析结果作为传送中止标志F送出到分割控制电路170～173。分割控制电路170～173根据所输入的传送中止标志F，一检出发生3层间差分数据的传送中止时，即产生例如作为空数据的、值为“0”的层间差分数据来代替层间差分数据，将其送出到加法电路175～178。

这样，在图像编码装置140中，按照层间差分数据的块活动性，不传送不需要的块的层间差分数据，依靠只传送表示传送中止的控制数据，就能够在图像解码装置160中根据控制数据准确地恢复分层数据。

如按照上述构成，对除最上层外的各层的层间差分数据的给定块判定块活动性，在块活动性不足给定的阈值时，作为与相邻下一层的层间差分数据中的块对应的多个下层块的判定标志设定分割中止标志，同时，中止此多个下层块的块活动性的判定及此多个下层块的传送，并将每个块的判定标志与编码代码同时传送，这样，就能按照层间差分数据的块活动性，不传送不需要的块的编码数据，从而能够实现减少编码量、提高编码数据压缩率的图像编码方法和图像编码装置。

(2)有关第一实施例的其它实施例

(2-1)上述实施例中所描述的虽然是判定层间差分数据中的块活动性，在块活动性不足给定的阈值时，送出指明中止下层分割的控制信号C1、C2、C3，同时，作为与下层的层间差分数据中的块对应的多个下层块的判定标志设定分割中止标志并中止传送的情况，但本发明并不局限于此，如图9所示那样，在块活动性不足给定的阈值时，在发出指明中止下层分割的控制信号C1、C2、C3的同时，作为与下层的层间差分数据中对应于块的多个下层块的判定标志一旦设定分割中止标志，而此多个下层块中的任一块的块活动性成为给定的阈值以上时，就向上一层的分割控制电路51、52或53送出重新进行分割的控制信号C4、C5、C6，同时，将分割中止标志变更为分割继续标志，也可以把每个块的判定标志与编码代码同时传送。

顺便说一下，为实现上述过程，在有关图6上述图像编码装置中，在分割控制电路中对全部层间差分数据进行块活动性判定，在即使是由上层分割控制电路输入中止传送控制数据的情况下，在检出块活动性成为大于阈值时，也可由下层分割控制电路对上层分割控制电路送出将中止传送变更为继续传送的指令。

(2-2)上述实施例中所描述的虽然是，将图像数据依次递归地分割成由不同的多个分辨率构成的多个分层数据，对分辨率最低的最上层数据以及由除此最上层数据外的各层数据与相邻上一层数据的差分值构成的多个分层的层间差分数据进行编码的情况，但本发明并不局限于此，它也能应用于将图像数据依次递归地分割为由不同的多个分辨率构成的多个分层数据以后，再进行编码的情况。这时，如果对分层数据块也进行块活动性的判定，来代替对层间差分数据进行的话，也能实现与上述实施例同样的效果。

(2-3)另外，在上述实施例中所描述的虽然是，判定块内最大值与阈值的关系作为块活动性的情况，但本发明并不局限于此，亦可以是判定块内的平均值、绝对值和、标准偏差、n次方和等与阈值的关系作为块活动性，而且，还可以采用在块内超过给定阈值的数据的频数，也能实现与上述实施例同样的效果。

(2-4)上述实施例中所描述的虽然是，在分割成多个分层数据时，由图像数据或相邻的下一层数据的每个给定块的算术平均值递归地形成依次相邻的上一层数据的情况，但本发明并不局限于此，也可以依靠附加了给定的权值以后取平均的加权平均值，递归地形成相邻的上一层数据，而且，还可以应用依靠提取等其他方法递归地形成上一层数据。

(2-5)上述实施例中所叙述的虽然是，判定块内的块活动性，中止下一层数据传送的情况，但是否中止传送并不限于块活动性，也可以利用图像数据的其它特性，如果这样地与图像数据的特性对应地进行自适应的块分割，也可以改善编码效率。

(3)如按上述那样根据本发明，利用递归的分层形式表示图像数据以后进行分层编码时，依靠进行与图像数据特性对应的自适应的块分割以后再进行编码，同时，将这种分割结果得到的分层编码数据加以传送以自适应地进行下一层的块分割，就可以实现能削减图像平坦部分等信息量的图像编码方法和图像编码装置。

对除分辨率最低的最上层数据外的分层数据的给定块判定块活动性，在块活动性不足给定的阈值时，作为与相邻下一层数据中的块对应的多个下层块的判定标志设定分割中止标志，同时，中止此多个下层块的块活动性的判定及此多个下层块的传送，并将每个块的判定标志与编码代码同时传送，这样，就能按照分层数据的块活动性，能不传送不需要的块的编码数据，从而能够实现减少编码量、提高编码数据压缩率的图像编码方法和图像编码装置。

对除最上层外的各层的层间差分数据的给定块判定块活动性，在块活动性不足给定的阈值时，作为与相邻下一层的层间差分数据中的块对应的多个下层块的判定标志设定分割中止标志，同时，中止此多个下层块的块活动性的判定及此多个下层块的传送，并将每个块的判定标志与编码代码同时传送，这样，就能按照层间差分数据的块活动性，能不传送不需要的块的编码数据，从而能够实现减小编码量、提高编码数据压缩率的图像编码方法和图像编码装置。

对除分辨率最低的最上层数据外的分层数据中的给定块判定块活动性，在块活动性不足给定的阈值时，作为与相邻下一层数据中的块对应的多个下层块的判定标志一旦设定分割中止标志，而此多个下层块中的任一块的块活动性成为给定的阈值以上时，即将分割中止标志变更为分割继续标志，并将每个块的判定标志与编码代码同时传送，这样，就能按照分层数据的块活动性提早防止图像质量的劣化，判断块的必要性，能不传送不需要的编码数据，从而能够实现减少编码量、提高编码数据压缩率的图像编码方法和图像编码装置。

对除最上层外的各层的层间差分数据的给定块判定块活动性，在块活动性不足给定的阈值时，作为与相邻下一层数据中的块对应的多个下层块的判定标志一旦设定分割中止标志，而此多个下层块中的任一块的块活动性成为给定的阈值以上时，即将分割中止标志变更为分割继续标志，并将每个块的判定标志与编码代码同时传送，这样，就能按照层间差分数据的块活动性提早防止图像质量的劣化，判断块的必要性，能不传送不需要的编码数据，从而能够实现减少编码量、提高编码数据压缩率的图像编码方法和图像编码装置。

[3]第二实施例

(1)第二实施例图像编码装置

图10表示第二实施例，其中与图6对应的部分标以相同的符号。图中图像编码装置90的分割控制电路150～153对各层的层间差分数据D140～D143的各块每次都来判定表示层间差分数据D140～D143中的给定块是否是平坦部分的块活动性与阈值Tha的关系，以确定是否传送该层间差分数据D140～D143的对应块的处理。

例如，假定第四层的层间差分数据D143的块内的活动性为A，如满足下式：

A＜Tha (6)就判定图像数据为平坦部分并且是难以发生图像质量劣化的块，即设定表示不传送该块的判定标志F。这样，分割控制电路150～153对各层的层间差分数据D140～D143的全部块，每次都来判定块活动性与阈值Tha的关系，并将表示是否传送对应的块的判定标志F输出到控制码产生电路159。

这样，由分割控制电路150～153输出的各层的层间差分数据D140～D143输出到编码器154、155、156和157，而最上层，即第五层数据D135照原样送出到编码器158。编码器154、155、156和157采用适宜于差分数据编码的非线性编码方法，对层间差分数据D140～D143进行压缩编码以后，由此生成第一～第四层压缩编码数据D145～D148。而编码器158采用适宜于由平均值数据构成的图像数据编码的线性编码方法，对第五层数据D135进行压缩编码以后，由此生成第五层压缩编码数据D149。此第一～第五层压缩编码数据D145～D149及控制码由给定的传送数据形成单元(图中未示出)成帧以后，输出到传输通道。

这样，在图像编码装置190中，判定层间差分数据的块活动性，不传送不需要的块，依靠只传送表示传送中止的控制数据，就能够在图像解码装置160(图8)中根据控制数据准确地恢复分层数据。

如按照上述构成，对除最上层外的各层的层间差分数据的全部块，每次都判定块活动性，按照此判定结果来选择对块内层间差分数据的处理，从而能以个别地控制来削减块内“已产生信息量”，因此就能提高在对图像数据进行分层编码时的压缩率。

(2)有关第二实施例的其它实施例

(2-1)上述实施例中所描述的虽然是，将图像数据依次递归地分割为由不同的多个分辨率构成的多个分层数据，对分辨率最低的最上层数据以及由除此最上层数据外的各层数据与相邻上一层数据的差分值构成的多个分层的层间差分数据进行编码的情况，但本发明并不局限于此，它也能应用于将图像数据依次递归地分割成由不同的多个分辨率构成的多个分层数据以后，再进行编码的情况。这时，如果对分层数据块也进行块活动性的判定，来代替对层间差分数据进行的话，也能实现与上述实施例同样的效果。

(2-2)上述实施例中所描述的虽然是判定块内最大值与阈值的关系作为块活动性的情况，但本发明并不局限于此，也可以是判定块内的平均值、绝对值和、标准偏差、n次方和等与阈值的关系作为块活动性，而且，还可以采用在块内超过给定阈值的数据的频数，也能实现与上述实施例同样的效果。

(2-3)上述实施例中所描述的虽然是在分割成多个分层数据时，由图像数据或相邻的下一层数据的每个给定块的算术平均值递归地形成依次相邻的上一层数据的情况，但本发明并不局限于此，亦可以依靠附加了给定的权值以后取平均的加权平均值，递归地形成相邻的上一层数据，而且，还可以应用依靠提取等其它方法递归地形成上一层数据。

如上述那样地按照本发明，对除分辨率最低的最上层数据外的全部块，每次都判定块活动性，按照此判定结果来选择对块内分层数据的处理，从而能以个别地控制来削减块内“已产生信息量”，从而能够实现对图像数据进行分层编码时能够提高压缩率的图像编码方法和图像编码装置。

而且，对除最上层外的各层的层间差分数据的全部块，每次都判定块活动性，按照此判定结果来选择对块内层间差分数据的处理，从而能以个别地控制来削减块内“已产生信息量”，从而能够实现能对图像数据进行分层编码时能够提高压缩率的图像编码方法和图像编码装置。

[4]第三实施例

(1)第三实施例图像编码装置

图11中所示的第三实施例的图像编码装置40，由对输入图像数据D31进行分层编码并输出的分层编码用的编码器单元40A，和对分层编码用的编码器单元40A中“已产生信息量”加以控制使其到达目标值的“已产生信息量”控制单元40B构成。

分层编码用的编码器单元40A由数据延迟用的存储器(图中未示出)和编码器构成。其中，存储器设置在输入级中，该输入级能将数据延迟，使得在“已产生信息量”控制单元40B中确定最佳控制值以前不进行编码处理。

另一方面，这样来构成“已产生信息量”控制单元40B，即在输入图像数据输入以后，决定适合于处理对象数据的阈值TH，将使分层编码用的编码器单元40A中输入图像数据能高效率编码那样决定的最佳控制值传送到编码器。即构成所谓的前馈型缓冲。利用这种结构就能够消除正确的“已产生信息量”控制和前馈型缓冲所引起的时间延迟。

(2)分层编码用的编码器单元40A

(2-1)块的构成

分层编码用的编码器单元40A如图12中所示构成，在此实施例中，分五层处理。

首先，输入图像数据D31输入到第一差分电路41和第一平均电路42。第一平均电路42由输入图像数据D31(亦即第一层数据一最下层数据)的4像素平均生成第二层数据D32。在此实施例的情况下，第一平均电路42如图15(D)及(E)中所示那样，由输入图像数据D31的4像素X1(1)～X4(1)生成第二层数据D2的像素X1(2)。

第二层数据D32的与像素X1(2)相邻的像素X2(2)～X4(2)也同样地由求第一层像素D31的4像素的平均来生成。

第二层数据D32输入到第二差分电路43和第二平均电路44，第二平均电路44由第二层数据D32的4像素平均生成第三层数据D33。例如，由图15(C)和(D)中所示的第二层数据D32的像素X1(2)～X4(2)生成第三层数据D33的像素X1(3)，同时，与像素X1(3)相邻的像素X2(3)～X4(3)也同样地由第二层数据D32的4像素平均生成。

第三层数据D33输入到第三差分电路45和第三平均电路46，第三平均电路46和上述情况一样地，如图15(B)及(C)所示，由第三层数据D33的4像素的平均生成由像素X1(4)～X4(4)构成的第四层数据D34。

第四层数据D44输入到第四差分电路47和第四平均电路48，第四平均电路48由第四层数据D34的4像素平均生成构成最上层即第五层数据D35。亦即，如图15(A)和(B)所示，依靠求第四层数据D34的4像素X1(4)～X4(4)的平均值生成第五层数据D35的像素X1(5)。

这里，第一～第五层数据D31～D35的块的大小，假定最下一层即第一层数据D31的数据块大小为1行×1像素，第二层数据D32、第三层数据D33、第四层数据D34、和最上层即第五层数据D35分别成为1/2行×1/2像素、1/2行×1/4像素、1/8行×1/8像素和1/16行×1/16像素。

分层编码用的编码器单元40A由第一～第五层数据D31～D35中最上层数据(即第五层数据D35)开始反复地依次进行递归处理以后，在差分电路41、43、45、47中求相邻两层数据间的差分，而后仅将差分数据由编码器51～55进行压缩编码。这样，分层编码用的编码器单元40A对传送到传送通路的信息量进行压缩。而分层编码用的编码器单元40A，按(2)式上述那样，利用编码器51～54减少与上一层1像素对应的下一层4像素中的一个像素，以此来减少传输数据量。

为了最佳地保持这样的压缩条件，分层编码用的编码器单元40A依靠解码器56～59将每一层得到的传送数据D51～D55解码。

其中对应于最上层的解码器59，由传送数据D55中把对应于在编码器55中已压缩编码的第五层数据D35的解码数据D48解码，并将其送到第四层差分电路47。

与此相反，其他解码器51～54则分别根据表示分割/不分割的标志切换解码操作。亦即，在进行分割处理的情况下，由作为传送数据D52～D54传送的差分数据中经解码处理来解码上层数据(即第四、第三、第二层数据)，并分别送到第三层差分电路45、第二层差分电路43、第一层数据41。

这样，由各差分电路41、43、45、47就能得到相邻层间的差分数据D41、D42、D43、D44。

实际上，解码器58、57、56如图13中所示那样地构成。这里，为简单起见只对解码器58予以说明。解码器58在解码电路58A中接受第四层压缩编码数据D54并将其解码。其结果就是由解码电路58A得到例如图15所示X1(4)-X1(5)、X2(4)-X1(5)、X3(4)-X1(5)的输出值。此输出值在接着的加法电路58B中与恢复数据D48相加，由此得到输出值X1(4)、X2(4)、X3(4)。差分值生成电路58C利用X1(4)、X2(4)、X3(4)及X1(5)，按(4)式进行运算，以此生成非传送像素X4(4)。由接着的合成电路58D生成差分前的第四层数据X1(4)、X2(4)、X3(4)、X4(4)，将其送到差分电路45。

各层对应的编码器51～54输入由差分电路41、43、45、47和平均电路48得到的差分数据D41、D42、D43、D44或第五层数据D35，对各块得到的活动性与阈值的关系进行判定和分割选择处理。

此时，编码器51～54，在处理对象为分割块的情况下，对层间得到的差分数据按原样进行压缩编码，同时，对各块附加分割判定标志并予传送。

与此相反，编码器51～54，在处理对象为不分割块的情况下，就将这种块在接收侧作为以上层数据替换的信号而排除于编码对象之外。顺便说一下，在这种情况下，也对各块附加分割判定标志并予传送。

由此5组编码器51～55输出的第一～第五层压缩编码数据D51～D55，由给定的传送数据形成单元(图中未示出)成帧并输出到传送通路。

这里，编码器51、52、53和54如图14中所示那样地构成。为简单起见图14中只表示编码器52和53的结构。

亦即，差分数据D42、D43分别输入到编码器52、53的编码电路52A、53A。差分数据D42、D43还分别输入到分割控制单元52B、53B的活动性检测电路52C、53C。活动性检测电路52C、53C检出差分数据D42、D43的每个给定块的活动性，将由此得到的检测结果送到接着的阈值判定电路52D、53D。阈值判定电路52D、53D将每个块的活动性检测结果与由“已产生信息量”控制单元40B送出的阈值数据D57相比较，并将由此得到的判定结果输出到编码电路52A、53A。编码电路52A、53A根据阈值判定结果，对活动性高的块进行压缩编码以后再予传送，与此相反，对活动性低的块则不予传送。

(2-2)处理

下面说明依靠分层编码用的编码器单元40A的具体的信号处理。

首先，考虑按照基于层间差分值的块活动性，选择对层间差分值的处理的情况。并假定各块由2行×2像素构成。

这里，假定各像素的数据值为X，并以后缀来表示数据值X的层次。亦即在假定上层数据为Xi+1(0)时，则相邻的下一层数据为Xi(j)(j=0～3)。层间的差分代码值为ΔXi(j)(j=0～3)分层编码用的编码器单元40A即对此差分代码值进行压缩编码。

依靠各层中编码器51～55的压缩编码处理，将有关各块得到的块活动性P与阈值数据D57相比较，按比较结果来选择处理操作。

亦即，在块活动性P高于阈值TH的情况下，有关下层依次进行分割处理，相反地，在块活动性P不足阈值TH的情况下，则中止有关下层的分割处理。

这样，对于块活动性P低的区域只传送上层数据即可，所以能减少传送信息量。

通过传送通路接收这些数据的图像数据解码装置，利用依次送来的传送数据中的上层数据，在块活动性低的区域内，用上层数据恢复下层数据。另一方面，在块活动性高的区域内，则利用将层间差分解码值与上层数据相加的方法来恢复数据。

对这种分割或不分割的判定结果引入1比特的判定标志。根据此标志就能指明有关各块的判定结果。

这种判定标志虽然各层的每个块都需要一比特，但考虑到图像质量，这还是值得的。

顺便说一下，在本实施例中的分层编码方式中，假定在此以下的各层中，不反映该判定标志。而且此判定标志也采用游程长度编码等加以编码，与编码代码同时传输。

(3)“已产生信息量”控制单元40B

(3-1)块的构成

另一方面，“已产生信息量”控制单元40B如图16中所示那样地构成。

此“已产生信息量”控制单元40B，为使分层编码用的编码器单元40A的图像质量不劣化并使它能够高效率地进行图像数据的编码处理，设定成为分割/不分割选择基准的有关各层阈值TH1～TH4的组合，并将其作为阈值数据D57输出到分层编码用的编码器单元40A。

“已产生信息量”控制单元40B使输入图像数据D31依次通过平均电路42、44、46、48，经过1/4平均处理，生成分辨率不同的5层图像数据。

接着，为求出作为差分数据传送的图像数据的每一层的“已产生信息量”在各差分电路61、62、63和64中求一层上的分层图像数据D32、D33、D34、D35与各层图像数据D31、D32、D33、D34之差。

由这些差分电路61、62、63和64输出的差分数据可看作是经由分层编码用的编码器单元40A中的分层处理得到的各层差分数据。

活动性检测电路65、66、67和68分别与第一层～第四层图像数据对应，求各层各块的块活动性，并将其登记到相应的频数分布表69～72中。

这里，在生成频数分布表的过程中，为准确地掌握编码器单元的传送数据量，对应于上层1像素的下层4像素中，实际上使用依靠编码器传送的对象，即3个像素。

有关第五层图像数据为最上层数据，不作为差分数据，为了直接传送，有关各块的动态范围按原样登记到频数分布表73中。

控制单元74与这5组频数分布表69～73以双向信道连接起来，将成为下一层分割/不分割判断基准的块活动阈值TH1～TH4的组合存储到ROM中。

控制单元74将这组送到频数分布表69～73，读出每层中可能对该阈值生成的“已产生信息量”，根据所有这些“已产生信息量”求出作为整体的总“已产生信息量”。进而求总“已产生信息量”一直到到达目标值为止的最佳阈值，将得到的阈值作为控制数据送到分层编码用的编码器单元40A。

控制单元74考虑到每层图像信号数据性质和人类视觉特性，调整送到分层编码用的编码器单元40A的控制数据，以便能提供最佳阈值。这样，可以预期，在接收侧再现后，主观上会感到图像质量得到提高。

(3-2)频数分布表

现在对信息量控制用的频数分布表69～73加以说明。

图17(A)～(E)分别表示有关最上层数据(第五层数据)～最下层数据(第一层数据)得到的块活动性的频数分布表。其中，与图17(A)所示有关第五层频数分布表有关，因为对象数据不是差分数据，所以，生成依靠动态范围的频数分布表。例如，对于第五层数据D35，在进行依靠PCM编码的压缩处理的情况下，把有关块所给予的动态范围作为数据予以登记；而在应用ADRC(自适应动态范围编码，见美国专利USP-4703352)作为压缩处理方法的情况下，则登记ADRC块的DR。

另一方面，其他频数分布表69～72的对象数据为差分数据，具有大于对有关各频数分布表所给予阈值TH1、TH2、TH3、TH4的块活动性的块，这种块均成为分割对象块。

因此，如计算出各层中具有大于阈值的块活动性的块数，就可算出“已产生信息量”。

下面说明计算“已产生信息量”的示例。

这里，假定第一层中的块数为N1，块活动性大于阈值TH1的分割对象块数为N1′，假定此时的量化比特数为Q1，则第一层中的“已产生信息量”I1即可按下式给出：

I1=4·Q1·N1′·(3/4)+N1 (7)

该(7)式中的第一项将各比特数乘以4，是因在此例中是将各块分割成2行×2像素。而第一项中的3/4倍则是由于，反映出在上一层值是由下一层值的平均值生成的结构中，利用上一层值和传送的下一层值的3个像素、按算术式能够恢复下一层的第4个未传送像素值的性质。

顺便说一下，在第二项中，加上了第一层中的块数N1，这表示作为分割判定标志每个块附加1比特并予以传送。

同样地，有关第二、第三、第四层也假定各层中的块数为N2、N3、N4，块活动性大于阈值TH2、TH3、TH4的分割对象块数为N2′、N3′、N4′，假定此时的量化比特数为Q2、Q3、Q4，则各层中的“已产生信息量”Ik(k=2、3、4)即可按下式给出：

Ik=4·Qk·Nk′·(3/4)+Nk (8)

利用这些有关第一～第四层的“已产生信息量”I1～I4和有关第五层的“已产生信息量”I5，由分层编码用的编码器单元40A进行编码处理所产生的总“已产生信息量”I就可如下式那样地作为每层的“已产生信息量”之和求得：

I=I1+I2+I3+I4+I5 (9)

(3-3)处理

“已产生信息量”控制单元40B与分层编码用的编码器单元40A同样，输入输入图像数据D31，由平均电路42将其在每个2行×2像素中求平均值，使像素数减少到1/4以降低分辨率。接着，对该层数据D32也同样地依次通过平均电路43、46、48分别使像素数减少到1/4以降低分辨率。

“已产生信息量”控制单元40B，就这样将多个分辨率的图像数据中的最上层(亦即分辨率最低的)数据D35送到频数分布表73，登记第五层数据D35中各块的块活动性P的频数。这就是与前述的分层编码用的编码器单元40A中所执行压缩处理对应的数据频数的计测。例如，对于第五层数据D35，在进行PCM编码的压缩处理的情况下，把有关各块所给予的动态范围作为数据予以登记，而在应用ADRC(自适应动态范围编码，见美国专利USP-4703352)作为压缩处理方法的情况下，则登记ADRC块的DR。

随后，由第四层数据D34与第五层数据D35的差分得到差分数据D64。活动性检测电路68检测有关此差分数据D64的活动性，将检测值作为活动性数据D68登记到频数分布表72中。

同样地，将有关下层数据D33、D32、D31分别求得的各块的块活动性P作为活动性数据D67、D66、D65依次登记到频数分布表71、70、69中。

控制单元74由图18中所示的ROM表中由号码小的组(QN01)开始顺序读出为各层设定的分割/不分割设定用阈值TH1、TH2、…TH4的组合。接着，由有关各层的频数分布表69～73中将具有大于各阈值TH1、TH2、…TH4的块活动性P的块频数读出，检测各层中相对于各阈值的“已产生信息量”。

控制单元74将有关各层的频数分布表69～73求得的“已产生信息量”合并起来，算出分层编码用的编码器单元40A中可能生成编码结果的总“已产生信息量”。控制单元74将此“已产生信息量”与目标值相比较，在与目标值之差大的情况下，为求得满足目标值的阈值组合，向下一号码(QN02)的阈值组TH1、TH2…TH4转移。

而后，重复上述处理一直到总“已产生信息量”到达目标值，在取得能够得到最接近于目标值的总“已产生信息量”的阈值组TH1、TH2、…TH4时，即将其作为阈值数据D57输出到分层编码用的编码器单元40A。

如果根据上述构成，能够容易地实现具有多个分辨率的分层编码。能使分层编码用的编码器单元40A编码后输出的传送图像数据的总“已产生信息量”与目标值基本上一致，从而能实现不降低压缩率的编码。还能实现图像质量劣化小的分层编码。而且能比历来更容易地管理分层编码时的“已产生信息量”。

(4)有关第三实施例的其它实施例

(4-1)上述实施例中所描述的虽然是，以各有关块的上层数据得到的解码数据与下层数据的差分值的最大值来判断块活动性P的情况，但本发明并不局限于此，也可以依靠块内的平均误差和绝对值和、标准偏差和n次方和、甚至是大于阈值的数据频数来进行判定。

(4-2)上述实施例中所描述的虽然是按原样利用每层中得到的频数分布表的情况，但本发明并不局限于此，也可以由频数分布表作成累加型频数分布表，将其用于“已产生信息量”的计算上。

亦即，在登记块活动性的结果得到如图19中所示的频数分布表时，从与块活动性的最大值对应的频数向下层的值进行累加运算，将各自的结果登记到图20中所示那样的累加型频数分布表中。

如以数学形式表示这种处理，假定K为块活动值(activityvalue,K=0～最大值)、N(·)为各块活动值时的块频数，即成为下式：

N(K-1)=N(K-1)+N(K) (10)

此式表明，将块活动值地址的频数读出，加到一直到上一层块活动值的累加值上，并将所得结果写入该块活动值的地址中。

在由此得到的累加型频数分布表(图20)中，图19的斜线部分的块频数和对应于阈值TH的座标数据I。借助这一累加型频数分布表，当偏移阈值TH时，不需要每次都计算斜线部分(图19)的块频数和。

亦即，在生成每一层频数分布表之后，求从块活动的上一层值到各块活动值的块频数的累加值，将各累加值写入与各块活动值对应的地址中，作成累加型频数分布，由此就使得对应于各块活动性的频数成为具有大于该块活动值的块频数的累加值。

这样，如果预先生成累加型频数分布表，就不需要算出与各阈值对应的块频数累加值，仅仅依靠存储器阈值地址的读出就可以算出块频数累加值，能大大削减计算所需的时间。

这里，在实际阈值处理中，为避免图像质量劣化，使用大判定阈值很困难。因而也可以将块活动值作成限幅了的频数分布表。

亦即，如图21中所示那样地，如以LMT对块活动值进行限幅，该LMT以上的块频数在频数分布表中全部登记为LMT。结果，如图21中那样地，在LMT处的块频数增大了。这里，应该算出的块频数和为斜线部分。

与该频数分布表对应的累加型频数分布表示于图22。在这种情况下，上述(10)式的累加运算并不是在块活动值的最大值上，而是在从块活动值为LMT一直到0的区间内进行。在该算出的块频数和为阈值TH座标的累加块频数I。这样，就得到与图20中所示情况相同的结果。

因此，能够缩短作成累加型频数分布表的时间，同时，能使频数分布表存储器进一步小型化。

顺便说一下，在设定限幅值LMT时，可以考虑的第一个方法，即每一层的限幅值LMT可变的方法，和第二个方法，即在全部各层中均为固定限幅值LMT的方法，第一方法用于各层的层间差分值分布有明显不同的情况，第二方法则用于各层的层间差分分布无显著差别的情况中。

上述实施例中所描述的虽然是，在编码器中对图像数据进行PCM编码的情况，但本发明并不局限于此，同样也应用于其他的、例如，正交编码等编码方式。

上述实施例中所描述的虽然是，将各层得到的频数分布表阈值的有关多个组合存储在ROM中、求“已产生信息量”最接近目标值的阈值组合的情况，但本发明并不局限于此，也可以对每一层单独地设定。

上述实施例中所描述的虽然是以对最下层数据求2行×2像素的平均值来求上层图像数据的情况，但本发明并不局限于此，亦可以按其他组合来求平均值。

(5)如上述那样地根据本发明，在将图像数据依次递归地分割成由不同的多个分辨率构成的多个分层数据以后，进行编码时，对除分辨率最低的最上层数据外的分层数据的给定块判定块活动性，由与块活动性对应的块的频数分布来设定对下一层数据作分割处理的判定基准，即阈值，由此就能容易地实现不降低压缩率的图像数据分层编码方法。

[5]第四实施例

(1)第四实施例图像编码装置

如图23中所示，第四实施例图像编码装置80具有与第三实施例(图11)情况下相同的原理结构，由对输入图像数据D31进行分层编码并输出的分层编码用的编码器单元80A，和对分层编码用的编码器单元80A中“已产生信息量”加以控制使其到达目标值的“已产生信息量”控制单元80B构成。

分层编码用的编码器单元80A由数据延迟用的存储器(图中未示出)和编码器构成。其中，存储器设置在输入级中，该输入级能将数据延迟，使得在“已产生信息量”控制单元80B中确定最佳控制值以前不进行编码处理。

另一方面，这样来构成“已产生信息量”控制单元80B，即在输入图像数据D31输入以后，决定适合于处理对象数据的阈值TH，将使分层编码用的编码器单元80A中输入图像数据D31能高效率编码那样决定的最佳控制值传送到编码器。即，构成所谓的前馈型缓冲。利用这种结构就能够消除正确的“已产生信息量”控制和前馈型缓冲所引起的时间延迟。

这里，按照基于层间差分值定义的块活动性进行对下一层中分割处理的选择。亦即，由下一层的2×2=4像素构成上一层数据来定义块。

这里所说的活动性(activity)，在将对应于上一层数据的下一层数据区域定义为“块”的情况下，是指以给定块内层间差分数据D41～D44的最大值、平均值、绝对值和、标准偏差或n次方和等所表示的相关值。也就是说，在活动性低时，该块可以称为平坦块。

也就是说，假定上一层数据为X0(i+1)，下一层数据为Xj(i)，则层间差分代码值为ΔXj(i)=X0(i+1)-Xj(i)，但是，j=0～3。假定块活动性的判定函数为G(·)，则块活动性为ACT=G(ΔXj(i))。

假定分层判定标志为FLG(0：分割中止、1：分割继续)，当FLG=0时，中止下一层的分割，当ACT≥阈值TH且FLG=1时，执行下一层的分割，而在ACT＜阈值TH且FLG=1时，也中止下一层的分割。

在该层中的分割判定结束后，即将分割判定结果作为判定标志FLG定义以后，向随后的下一层传送。这样，当FLG=0时，即不进行下一层中的分割。

(2)分层编码用的编码器单元

分层编码用的编码器单元80A如图24中所示构成，除编码器51～54为如图25中所示那样的构成这一点外，其余均具有与图12和图13中的上述同样的构成。

此时的编码器54、53、52分别将用于块的分割或不分割的阈值判定结果信息J1、J2、J3送到相邻的下一层编码器53、52、51。这样，分层编码用的编码器单元80A，一旦停止了块分割的块，即停止以下的各层中全部的分割。

实际上，编码器51～54如图25中所示那样地构成。图25中，为简单起见，只表示了编码器52和53的构成。

编码器53将差分数据D43输入到编码电路53A和分割控制单元53B的活动性检测电路53C。活动性检测电路53C检测差分数据D43每个给定块的活动性，将由此得到的检测结果送到接着的阈值判定电路53D。阈值判定电路53D将每个块的活动性检测结果与阈值数据D57相比较，并将由此得到的判定结果作为阈值判定结果信息J2输出到编码电路53A和相邻的下一层编码器52。编码电路53A根据阈值判定结果信息J2，对活动性高的块进行压缩编码以后，再予传送，与此相反，对活动性低的块则不予传送。

这里，活动性检测电路53C和阈值判定电路53D接受从相邻的上一层编码器54输出的阈值判定结果信息J1，在该阈值判定结果信息J1为表示进行块分割的情况下，执行活动性检测和阈值判定结果。与此相反，在阈值判定结果信息J1为表示不进行块分割的情况下，对与此对应的块不进行活动性检测和阈值判定，同时，由阈值判定电路53D输出表示不进行块分割的阈值判定结果信息J2。

编码器52也同样地，在活动性检测电路52C和阈值判定电路52D从相邻的上一层编码器53接受表示进行块分割的阈值判定结果信息J2的情况下，对相应的块执行活动性检测和阈值判定，相反地，在接受表示不进行块分割的阈值判定结果信息J2的情况下，不进行活动性检测和阈值判定，同时，由阈值判定电路52D输出表示不进行块分割的阈值判定结果信息J3。

这样，在分层编码用的编码器单元80A中一旦得到不进行块分割的判定结果时，即对与其对应的块以下的各层中不进行块分割(亦即不进行编码)。

(3)“已产生信息量”控制单元

“已产生信息量”控制单元80B，如图26中所示那样地构成。

“已产生信息量”控制单元80B使输入图像数据D31依次通过平均电路42、44、46、48，经过1/4平均处理，生成分辨率不同的5层图像数据。

接着，为求出作为差分数据传送的图像数据的每一层的“已产生信息量”，在各差分电路61、62、63和64中求一层上的分层图像数据D32、D33、D34、D35与各层图像数据D31、D32、D33、D34之差值。

由这些差分电路61、62、63和64输出的差分数据可看作是由分层编码用的编码器单元80A中的分层处理得到的各层差分数据。

活动性检测电路65、66、67和68分别与第一层～第四层图像数据对应，求各层各块的活动值，并将其登记到相应的频数分布表69～72中。

这里，在生成频数分布表的过程中，为准确地掌握编码器单元的数据传送量，对应于上一层1像素的下一层4像素中，实际上使用依靠编码器传送的对象，即3个像素。

为此计测与上述编码器单元80A中所执行的压缩处理对应数据的频数。例如，对于第五层数据D35，在进行PCM编码的压缩处理的情况下，把有关各块所给予的动态范围作为数据予以登记，而在应用ADRC(自适应动态范围编码，见美国专利USP-4703352)作为压缩处理方法的情况下，则登记ADRC块的DR。

随后，由第四层数据D34与第五层数据D35的差分得到差分数据D64。活动性检测电路68检测有关此差分数据D64的块活动性，将此处检出的块活动性D68登记到频数分布表72中。

由第三层数据D33与第四层数据D34生成差分数据D63。对差分数据D63，在活动性检测电路67中检测其块活动性。将这里检出的块活动性D67登记到频数分布表71中。此时仅与接受了第四层中阈值判定结果内继续进行块分割判定的那种块有关，在第三层中进行块分割判定。

因此，频数分布表71就成为表示由第四层中的块活动D68和第三层中的块活动D67二个变量决定了座标的块数的频数分布表。

由第二层数据D32和第三层数据D33生成差分数据D62，活动性检测电路66输出块活动性D66。把检出的块活动性D66登记到频数分布表70中。在第二层中，仅与接受了第四、第三层中的继续进行块分割判定的那种块有关，进行块分割判定。

因此，频数分布表70就成为由第四层中块活动性D68和第三层中块活动性D67和第二层中块活动性D66三个变量决定了座标的块频数分布表。

最后，由第一层数据D31和第二层数据D32生成差分数据D61，活动性检测电路65输出块活动性D65。把检出的块活动性D65登记到频数分布表69中。在第一层中，仅与接受了第四、第三和第二层中继续进行块分割判定的那种块有关，进行块分割判定。

从而，频数分布表69就由第四层中块活动性D68和第三层中块活动性D67和第二层中块活动性D66和第一层中块活动性D65四个变量构成。

这样利用生成的频数分布表69～73来执行“已产生信息量”的控制。各频数分布表与后级的控制单元74由双向信道D69～D73连接。

在控制单元74中，首先将对各频数分布表的阈值传送到各频数分布表。在各频数分布表中，检测与阈值对应的“已产生信息量”。将此各频数分布表中的“已产生信息量”通过信道D69～D73传送到控制单元74。

在控制单元74中，将所接收的各频数分布表中的“已产生信息量”合并起来，算出成为控制对象的总“已产生信息量”。将此总“已产生信息量”与目标值相比较，按照比较结果变更阈值，使之满足目标值。

控制单元74将再次更新的阈值通过信道D69～D72传送到各频数分布表。并将与其对应的“已产生信息量”再传送到控制单元74。

重复以上的处理，最后决定到达目标值的控制结果D57。把确定了的“已产生信息量”控制值D57传送到分层编码用的编码器单元80A。

在此信息量控制处理期间，成为控制对象的数据利用编码器单元80A中所包含的存储器M1处于待机状态。依靠采用这样的前馈型缓冲结构，能决定适合于对象数据的阈值，从而能实现高效率编码。

这里，对信息量控制用的频数分布表69～73加以说明。

图27(A)～(E)分别表示对最上层数据(第五层数据)～最下层数据(第一层数据)得到的块活动性的频数分布表。这里，图27(A)中所示第五层的频数分布表，因为对象数据不是差分数据，所以，生成依靠动态范围的频数分布表。例如，在应用PCM编码的情况下，登记的是有关已编码块的动态范围。

另一方面，其他的频数分布表69～72，对象数据为差分数据，具有大于加给各频数分布表的阈值TH1、TH2、TH3、TH4的块活动性的块成为分割对象块。

因此，如果算出各层中具有阈值以上的块活动性的块数，就能算出“已产生信息量”。

下面说明“已产生信息量”的计算示例。为了算出“已产生信息量”，虽然有必要计测各层中分割判定阈值以上的块数，但在本实施例中，采用成为对象的判定标志传送法进行分层编码时，在信息量控制中，必须由下一层的判定对象里除去上一层中接收了分割中止判定的块。

为了在各层中进行分割判定，引入对块活动性的阈值。

这里，假定第一层中分割对象块内的像素和为M1、第一层数据的量化比特数为Q1、第一层的判定标志比特数为N1，则第一层中的“已产生信息量”I1即可按下式给出：

I1=4·Q1·M1·(3/4)+N1 (11)

该(11)式中的第一项中将各比特数乘以4，是因为在此例中是将各块分割成2行×2像素。而第一项中的3/4倍则是由于，反映出在上一层值是由下一层值的平均值生成的结构中，利用上一层值和传送的下一层值的3个像素、按算术式能够恢复下一层的第四个未传送像素值的性质。

同样地，有关第二、第三、第四层也假定各层中分割对象块内像素和为M2、M3、M4，各层中的量化比特数为Q2、Q3、Q4，各层中判定标志比特数为N2、N3、N4，则各层中“已产生信息量”Ik(k=2、3、4)即可按下式给出：

I=I1+I2+I3+I4+I5 (12)

利用这些有关第一～第四层的“已产生信息量”I1～I4和有关第五层的“已产生信息量”I5，由分层编码用的编码器单元80A进行编码处理所产生的总“已产生信息量”I即可如下式那样地作为每层“已产生信息量”之和求得：

Ik=4·Qk·Mk·(3/4)+Nk (13)

这里，虽然在各层“已产生信息量”上加上了判定标志的比特数，但是，此标志的信息量等于上一层中执行分割处理的块数。亦即这意味着，把上一层中中止分割处理的块，从下一层中分割判定对象中除去。各块的空间位置可以按来自上一层判定标志的历史在各层中予以指定。

这里，对各个频数分布表加以说明。

如上述那样，最上层数据的频数分布表因为取决于压缩方式，所以不能单值地规定。但采用频数分布表等手段可以控制“已产生信息量”。

而关于第四层数据，登记了对块活动性ACT4的块频数。由于把图28(B)的第四层频数表用于图28(A)所示的第五层频数分布表上，故能容易地算出对阈值TH4的“已产生信息量”。

由于大于阈值TH4的块成为分割对象，所以，通过求阈值以上的块数和，算出第四层中“已产生信息”量。

接着，把第三层频数分布表的示例示于图29。在判定标志的传送方法中，把接受了上一层中分割中止判定的块，从判定对象中除去。

这里，引入由第三层块活动性ACT3和第四层块活动性ACT4这两个变量定义的频数分布表。

亦即，求大于第四层阈值TH4、且大于第三层阈值TH3的块的频数。

这一操作，通过算出在图29的频数分布表中ACT4轴上大于阈值TH4、ACT3轴上大于阈值TH3的块的频数，就能够算出满足上述条件的第三层中“已产生信息量”。

下面，第二层、第一层的的频数分布表的举例示于图30。

按照与第三层频数分布表相同的思路，生成由多变量定义的频数分布表。

在第二层中，将由第二层、第三层、第四层各自的块活动性ACT2、ACT3、ACT4定义的块登记到频数分布表中。这一状态示于图30(A)。

在第二层中，通过算出ACT4轴上阈值TH4以上、ACT3轴上阈值TH3以上、ACT2轴上阈值TH2以上的块的频数，算出第二层中“已产生信息量”。

在第一层中，将由第一层、第二层、第三层和第四层各自的块活动性ACT1、ACT2、ACT3、ACT4定义的块登记到频数分布表中。这一状态示于图30(B)中。

在第一层的情况下，通过算出ACT4轴上阈值TH4以上、ACT3轴上阈值TH3以上、ACT2轴上阈值TH2以上的块频数，算出第一层中“已产生信息量”。

利用上述5种频数分布表，算出对阈值的“已产生信息量”，就能进行符合目标信息量的控制。

这里，用于“已产生信息量”控制的各层的阈值，有每层各自独立变更的方法。

例如，在每层中预先设定目标信息量，每层中各自独立地变更阈值，进行符合目标信息量控制的方法。

作为另一种方法，可以考虑预先准备各层的阈值的组合，按照控制顺序应用这一阈值组合，谋求控制简化的方法。

这里，在利用上述各层中频数分布表的“已产生信息量”控制方法中，通过在各层中考虑上一层的分割判定结果，并算出各层的块活动性在阈值以上的块频数，检出最佳的控制值。

为使这种阈值以上的块频数计算时间加快，可以将登记块频数的频数分布表重新构成累加型频数分布表。

图32中表示这种累加型频数分布表举例。也就是说，登记块活动性的结果，就能得到图31中所示的频数分布表示例。为简化对这一情况的说明，示出了一个变量的块活动性的例子。上述频数分布表，与第四层相同。

累加型频数分布表具有由对应于图31频数分布表的块活动性最大值的块频数开始，对与较小的块活动值对应的块频数进行累加运算，将各自的累加结果重新登记到频数分布表中的结构。

这一处理如以数学形式表示，可表为下式：

SUM (act) = Σ_{ACT = act}^{m} N (ACT) - - - (14)

式中：SUM(·)表示累加块频数，N(·)表示频数分布表中的块频数，act表示累加频数分布表中的块活动性变量，ACT表示频数分布表中的块活动性变量，n表示频数分布表中的变量最大值。

(14)式意味着，进行读出块活动值地址中的块频数，将加到一直到上层块活动值的累加值结果写入该块活动值地址中的处理。

结果就得到图32中所示的累加型频数分布表。在此累加型频数分布表中，图31的斜线部分的块频数和对应于阈值TH座标数据I。按照此累加型频数分布表，当改变阈值TH时，不需要每次都计算图31斜线部分的块频数和。亦即，通过输出与累加型频数分布表的阈值对应的累加块频数来实现块频数和的计算。

而图29的第三层频数分布表，表示二个变量的情况，通过扩展(14)式，生成累加型频数分布表，得出下式：

SUM (act 3, act 4) = Σ_{ACT = act 3}^{n} \cdot Σ_{ACT = act 4}^{n} N (ACT 3, ACT 4) - - - (15)

式中，SUM(·)表示累加块频数，N(·)表示频数分布表中的块频数，act3表示累加型频数分布表中第三层的对应变量，act4表示累加型频数分布表中第四层的对应变量，ACT3表示频数分布表中第三层的变量，ACT4表示频数分布表中第四层的变量，n表示频数分布表中的变量最大值。

在按照(15)式生成的累加型频数分布表中，对应于第三层判定阈值TH3、第四层判定阈值TH4的地址的累加块频数，表示阈值TH以上且判定阈值TH4以上的块频数和。这样就能算出第三层中的“已产生信量”。

至于图30的第二层、第一层频数分布表，通过利用累加型频数分布表，也能缩短块频数和的计算时间。

在这些情况下，图块活动性变量的数目增加，累加次数也就增多了。

首先，在第二层情况下的运算公式如下式所示：

SUM(act2,act3,act4)=

Σ_{ACT 2 = act 2}^{n} \cdot Σ_{ACT 3 = act 3}^{n} \cdot Σ_{ACT 4 = act 4}^{n} N (ACT 2, ACT 3, ACT 4) - - - (16)

式中，SUM(·)表示累加块频数，N(·)表示频数分布表中块频数，act2、act3、act4分别表示累加频数分布表中第二层、第三层、第四层的对应变量，ACT2、ACT3、ACT4分别表示频数分布表中第二层、第三层、第四层变量。

在按照16)式生成的累加型频数分布表中，对应于第二层判定阈值TH2、第三层判定阈值TH3、第四层判定阈值TH4的地址的累加块频数，表示阈值TH2以上且阈值TH3以上且判定阈值TH4以上的块频数和。

最后，描述有关图30(B)中所示第一层频数分布表的处理。

这时，因为块活动性变量为4种，累加运算的次数也就最多。这里，第一层时的运算公式表示为下式：

SUM (act 1, act 2, act 3, act 4) = Σ_{ACT 1 = act 1}^{n} \cdot Σ_{ACT 2 = act 2}^{n} \cdot Σ_{ACT 3 = act 3}^{n} \cdot Σ_{ACT 4 = act 4}^{n}

N(ACT1,ACT2,ACT3,ACT4) (17)式中，SUM(·)表示累加块频数，N(·)表示频数分布表中的块频数，act1、act2、act3、act4分别表示累加频数分布表中第一层、第二层、第三层、第四层的对应变量，ACT1、ACT2、ACT3、ACT4分别表示频数分布表中第一层、第二层、第三层、第四层的变量。

在由(17)式生成的累加型频数分布表中，对应于第一层判定阈值TH1、第二层判定阈值TH2、第三层判定阈值TH3、第四层判定阈值TH4的地址的累加块频数，表示阈值TH1以上、阈值TH2以上、阈值TH3以上且阈值TH4以上的块频数和。这样也能算出第一层中的“已产生信息量”。

这种处理结果也就实现了基于(12)式得到的各层中分割对象块数的“已产生信息量”的计算。

依靠引入上述累加型频数分布表，就能大幅度地缩短“已产生信息量”的控制时间。对这种累加型频数分布表，示出了进一步缩短“已产生信息量”控制时间的方法。

这一方案中所使用的累加型频数分布表，用于算出对分割判定阈值的“已产生信息量”。这里，在实际的阈值处理中，根据图像质量劣化的观点，实用上不能采用很大的判定阈值。因此提出作成对块活动值限幅的频数分布表。图33和图34中给出了这种情况。

如图33中所示那样地，如以LMT对块活动值进行限幅，该LMT以的块频数在频数分布表中全部登记为LMT。结果，如图中那样地，在LMT处的块频数增大了。应该算出的块频数和为斜线部分。

与该频数分布表对应的累加型频数分布表示于图34。(14)～(17)式中所示的累加运算，并不是在块活动值的最大值n上，而是在从块活动值为LMT一直到0的区间内进行。

应该算出的块频数和，为阈值TH座标的累加块频数I。如这一例子中所示那样地，得到与图32相同的结果。依靠在频数分布表的块活动值中引入限幅，能缩短作成累加型频数分布表的时间，并能实现频数分布表存储空间的小型化。

作为应用这种方法的范围，可以考虑两种情况，即每一层的限幅LMT可变的情况和全部各层中的限幅值LMT均固定不变的情况。

前者用于各层的层间差分值分布有明显不同时，后者则用于各层的层间差分值分布无显著差别时。

顺便说一下，图35示出了分层编码处理的流程图，步骤SP2在存储层号的分层计数器I中登记“4”，以确定这一分层化的范围。

在步骤SP3，由“已产生信息量”的运算，生成分层数据；在步骤SP4，检测各块活动性。对于该活动性在步骤SP5中作成图29中上述多元频数分布表并加以登记，借此进行“已产生信息量”的控制，以确定最佳控制值。

在步骤SP6，在编码器侧，根据该控制值执行分层编码。亦即，在开始时，对最上层即第五层数据进行编码和复合。这一结果成为下一层处理的初始值，在步骤SP7，生成与下一层的层间差分值。在步骤SP8，根据上一层决定的“已产生信息量”控制值执行下一层中的分割选择和编码。

各层处理后，在步骤SP9，使分层计数器I减1。然后，在步骤SP10，对分层计数器I的内容进行结束判定。在未结束的情况下，继续进行下一层处理。在所有分层处理结束的情况下，退出循环，在步骤SP11，结束处理。

由上述“已产生信息量”的控制，能进行图像质量劣化不大、压缩率高的分层编码。

(4)有关第四实施例的其它实施例

(4-1)上述实施例中所描述的虽然是，以各有关块的上层数据得到的解码据与下层数据的差分值的最大值来判断块活动性P的情况，但本发明并不局限于此，也可以依靠块内的平均误差和绝对值和、标准偏差和n次方和、甚至是大于阈值的数据频数来进行判定。

(4-2)上述实施例中所描述的虽然是，在编码器中对图像数据进行PCM编码的情况，但本发明并不局限于此，同样也应用其他的、例如，正交编码等编码方式。

(4-3)上述实施例中所描述的虽然是，将各层得到的频数分布表阈值的有关多个组合存储在ROM中，求“已产生信息量”最接近目标值的阈值合的情况，但本发明并不局限于此，也可以对每一层单独地设定。

(4-4)上述实施例中所描述的虽然是，以对最下层数据求2行×2像素的平均值来求上层图像数据的情况，但本发明并不局限于此，也可以按其他组合来求平均值。

(5)如上述那样地根据本发明，在将图像数据依次递归地分割成由不同的多个分辨率构成的多个分层数据以后，进行编码时，对分层数据的给定块判定块活动性，由与块活动性对应的块的频数分布来设定对下一层数据作分割处理的判定基准，即阈值，由此就能容易地实现不降低压缩率的图像数据分层编码方法。

[6]第五实施例

(1)第五实施例图像编码装置

如图36中所示那样地，第五实施例图像编码装置90具有与第三实施例(图11)情况下相同的原理结构，由对输入图像数据D31进行分层编码并输出的分层编码用的编码器单元90A，和对分层编码用的编码器单元90A中“已产生信息量”加以控制使其到达目标值的“已产生信息量”控制单元90B构成。

分层编码用的编码器单元90A由数据延迟用的存储器(图中未示出)和编码器构成。其中，存储器设置在输入级中，该输入级能将数据延迟，使得在“已产生信息量”控制单元90B中确定最佳控制值以前不进行编码处理。

另一方面，这样来构成“已产生信息量”控制单元90B，在输入图像数据输入以后，决定适合于处理对象数据的阈值TH，将使分层编码用的编码器单元90A中输入图像数据D31能高效率编码那样决定的最佳控制值传送到编码器。即，构成所谓的前馈型缓冲。利用这种结构就能够消除正确的“已产生信息量”控制和前馈型缓冲所引起的时间延迟。

这里，按照基于层间差分值定义的块活动性进行对下一层中分割处理的择。亦即，由下一层的2×2=4像素构成上一层数据来定义块。

分层判定标志FLG为0时，作为中止分割；分层判定标志FLG为1时，作为继续分割，对分割判定标志的重新评价方法予以说明。首先，在“已产生信息量”的控制过程中，开始时生成每个块中所有层的活动性ACT，接着，按照与所有层的活动性ACT对应的阈值生成判定标志FLG。再从每个块的下一层开始搜索判定标志FLG最初成为1的层。

假定从判定标志FLG最初成为1的层开始以上的全部上层块的分层判定标志FLG均为1。按照这一规则对判定标志FLG进行更新。根据“已产生信息量”的控制改变上述判定阈值，选择能到达目标值的最佳阈值。顺便说一下，在本实施例的情况下，这里用的判定标志与编码过程中所用的判定标志不同。

下面对块分割的选择处理(亦即实际的编码过程)加以说明：在判定标志FLG=0时，中止下一层的分割；与此相反，在判定标志FLG=1时，执行下一层的分割。上述处理由两个阶段构成：借助“已产生信息量”的控制，预先确定各层中每个块的分层判定FLG，在此基础上，执行实际的块分割处理。

(2)分层编码用的编码器单元

分层编码用的编码器单元90A如图37中所示构成，除编码器51～55为如图38中所示那样的构成这一点外，其余均具有与图12和图13中的上述同样的构成。

此时的编码器54、53、52分别将用于表示块的分割或不分割的阈值判定结果信息J1、J2、J3送到相邻的下一层编码器53、52、51，同时，编码器51、52、53又分别将阈值判定结果信息J4、J3、J2送到相邻的上一层编码器52、53、54。

亦即，在分层编码用的编码器单元90A中，对于分层数据，即便是因上一层的阈值判定而中断了分割处理的块，在其以下的下一层中检测到有效的活动性时，该中断了的层也返回到分割处理并将判定标志复位，重新执行指向下一层的阈值判定。

这是因为在分层数据结构上，对应于上一层块的下一层数据的个数增加了，因而可以认为，进行再判定是有意义的。

实际上，编码器52和53如图38中所示那样地构成。

编码器53将差分数据D43输入到编码电路53A和分割控制单元53B的活动性检测电路53C。活动性检测电路53C检测差分数据D43每个给定块的活动性，将由此得到的检测结果送到接着的阈值判定电路53D。阈值判定电路53D将每个块的活动性检测结果与阈值数据D57相比较，将由此得到的判定结果作为阈值判定结果信息J2输出到编码电路53A和相邻的下一层编码器52。编码电路53A根据阈值判定结果信息J2，对活动性高的块进行压缩编码以后，再予传送；与此相反，对活动性低的块则不予传送。

编码器52也同样地，在活动性检测电路52C和阈值判定电路52D从相邻的上一层编码器53接受表示进行块分割的阈值判定结果信息J2的情况下，对相应的块执行活动性检测和阈值判定；相反地，在接受表示不进行块分割的阈值判定结果信息J2的情况下，不进行活动性检测和阈值判定，同时，由阈值判定电路52D输出表示不进行块分割的阈值判定结果信息J3。

这样，在分层编码用的编码器90A中，一旦得到不进行块分割的判定结果时，即对与其对应的块以下的各层中不进行块分割(亦即不进行编码)。

除此之外，在分层编码用的编码器单元90A中，例如，即使在由编码器53的分割控制单元53B得到表示块不分割的阈值判定结果信息J2的情况下，如果例如，由编码器51得到表示块分割的阈值判定结果信息J4时，编码器52也在分割控制单元52B接受该阈值判定结果信息J4，进行块活动性的阈值判定，以确定是否进行块分割。

(3)“已产生信息量”控制单元

图39中示出“已产生信息量”控制单元的构成方框图示例。

首先，对与图37的编码器单元相同的输入图像数据D31，在平均电路42中进行1/4平均处理，生成第二层数据D32。

然后，再对第二层数据D32在平均电路44中进行1/4平均处理，生成第三层数据D33。

同样地，对第三层数据D33由平均电路46的1/4平均处理，生成第四层数据D34。

最后，通过平均电路48进行1/4平均处理，生成第五层数据D35。

将第五层数据D35中数据的频数登记到频数分布表73中。计测与前述编码器单元中所执行的压缩处理对应数据的频数。例如，对于第五层数据D35在进行PCM编码的压缩处理的情况下，把有关各块所给予的动态范围作为数据予以登记，而在应用ADRC(自适应动态范围编码法，见美国专利USP-4703352)作为压缩处理方法的情况下，则登记ADRC块的DR。

随后，由第四层数据D34与第五层数据D35生成差分数据D64。块活动性检测电路68检测有关此差分数据D64前述的块活动性。将此处检出的块活动性D68登记到频数分布表72中。

上层中的块分割判定参考全部下层的块活动性判定结果来决定。

此时，频数分布表72由第一层块活动性D65、第二层块活动性D66、第三层块活动性D67和第四层块活动性D68四个变量来定义。

由第三层数据D32与第四层数据D34生成差分数据D63。对差分数据D63，在活动性检测电路67中检测其块活动性。将检出的块活动性D67登记到频数分布表71中。

此时，块分割也参考第三层以下的全部下层块活动性的判定结果来决定。

因而，第三层的频数分布表71由第一层块活动性D65、第二层块活动性D66和第三层块活动性D67三个变量来定义。

由第二层数据D32和第三层数据D32生成差分数据D62，活动性检测电路66输出块活动性D66。把检出的块活动性D66登记到频数分布表70中。

此时，参考第一层块活动性的判定结果来决定。

第二层的频数分布表70由第一层块活动性D65和第二层块活动性D66二变量来定义。

最后，由第一层数据D31和第二层数据D32生成差分数据D61，活动性检测电路65输出块活动性D65。把检出的块活动性D65登记到频数分布表69中。

对于第一层，因为是独立地进行块活动性的阈值判定才得到结果的，所以，没有必要监视上一层的块活动性。也就是说，第一层的频数分布表1成为由第一层块活动性D65构成的一元频数分布表。在这里的频数分布表生成过程中，为正确地掌握编码器单元的传送数据量，在与上一层1像素对应的下一层4像素中，实际上，采用依靠编码器的传送对象，即3个像素。

这样利用生成的频数分布表69～73来执行“已产生信息量”的控制。各频数分布表与后级的控制单元由双向信道D69～D73连接。

在控制单元中，首先将对各频数分布表的阈值传送到各频数分布表。

在各频数分布表中，检测与阈值对应的“已产生信息量”。

将此各频数分布表中的“已产生信息量”，通过信道D69～D73传送到控制单元74。

在控制单元74中，将所接收的各频数分布表中的“已产生信息量”合并起来，算出成为控制对象的总“已产生信息量”。

将此总“已产生信息量”与目标值相比较，按照此比较结果变更阈值使之满足目标值。

控制单元74将再次更新的阈值通过信道D69～D73传送到各频数分布表。

并将与其对应的“已产生信息量”再传送到控制单元。

重复以上的处理，最后决定到达目标值的控制结果D57。

把确定了的“已产生信息量”控制值D57，如图36的方框图中所示那样地，传送到分层编码用的编码器单元。

在此信息量控制单元的处理期间，成为控制对象的数据利用编码器单元中所包含的存储器M1处于待机状态。

在上述的信息量控制中，因为确定了适合于对象数据的阈值，就可能实现高效率的编码。

这里，图40(A)～40(E)分别表示对最上层数据～最下层数据得到的块活动性的频数分布表。这里，图40(A)中所示第五层的频数分布表，因为对象数据不是差分数据，所以，生成依靠动态范围的频数分布表。例如，对于第五层数据D35在进行依靠PCM编码的压缩处理的情况下，把有关各块所给予的动态范围作为数据予以登记；而在应用ADRC(自适应动态范围编码，见美国专利USP-4703352)作为压缩处理方法的情况下，则登记ADRC块的DR。

图41～图47示出第五层时的“已产生信息量”控制用的频数分布表示例。

首先，推导定义总“已产生信息量”的计算公式。

为了算出“已产生信息量”，虽然有必要计测各层中分割判定阈值以上的有效块数，但在采用重新估价判定标志法的分层编码“已产生信息量”控制中，在每个块的上一层中考虑全部下层的分割判定结果时，必须进行对象块的分割判定。

这时，假定各层中用于分割判定的块活动性判定阈值，第一层、第二层、第三层和第四层分割判定阈值分别为TH1、TH2、TH3、TH4。

所有层中在上述阈值以上的块均进行下一层分割。在上一层中，在全部下层均不存在阈值以上的块活动性的情况下，该层的块活动不足阈值时即停止块分割。

首先，在图41(A)中，示出最上层，即第五层的频数分布表。

对于第五层的频数分布表，由于对象数据不是差分数据，所以，进行对应于编码处理的信息量控制。

在应用线性量化等的固定长编码的情况下，不需要作成频数分布表。在“已产生信息量”的控制中，可采用下面的“已产生信息量”计算公式。

亦即，假定第一层中分割对象块内的像素和为M1、第一层数据的量化比特数为Q1、第一层的判定标志比特数为N1，则第一层中的“已产生信息量”I1即可按下式给出：I1=4·Q1·M1·(3/4)+N1 (18)

该(18)式中的第一项中将各比特数乘以4，是因为在此例中是将各块分割成2行×2像素。而第一项中的3/4倍，则是由于，反映出在上一层值是由下一层值的平均值生成的结构中，利用上一层值和传送的下一层值的3个像素、按算求式能够恢复下一层的第四个未传送像素值的性质。

顺便说一下，在第二项中，加上了第一层的块数N1，这表示作为分割判定标志在每个块附加1比特并予以传送。

同样地，有关第二、第三、第四层也假定各层中的分割对象块内的像素和为M2、M3、M4，各层中的量化比特数为Q2、Q3、Q4，各层中判定标志比特数为N2、N3、N4，则各层中“已产生信息量”Ik(k=2,3,4)即可按下式给出：

I=I1+I2+I3+I4+I5 (19)

利用这些有关第一～第四层的“已产生信息量”I1～I4和有关第五层的“已产生信息量”I5，由分层编码用的编码器单元40A进行编码处理所产生的总“已产生信息量”I即可如下式那样地作为每层中“已产生信息量”之和求得：

Ik=4·Qk·Mk·(3/4)+Nk (20)

这里，虽然在各层“已产生信息量”上加上了判定标志的比特数，但是，此标志的信息量等于上一层中执行分割处理的块数。各块的空间位置可以按来自上层判定标志的历史，在各层中予以特定。

这里，对各个频数分布表予以说明。

如上述那样，最上层数据的频数分布表因为取决于压缩方式，所以，不能单值地规定。但采用频数分布表等手段可以控制“已产生信息量”。

而关于第一层数据，登记了对块活动性ACT1的块频数，依靠利用图41的第一层频数分布表，能够容易地算出对阈值TH1的“已产生信息量”。

由于大于阈值TH1的块成为分割对象，所以，通过求阈值以上的块数和，算出第一层中的“已产生信息量”。

接着，把第二层频数分布表的示例示于图42。

在对判定标志重新评价的方法中，对在第一层中接受了块中止执行分割判定的块，计测第二层中阈值TH2以上的块数。

这里，引入由第一层块活动性ACT1和第二层块活动性ACT2这两个变量定义的频数分布表。

亦即，求大于第一层阈值TH1、且大于第二层阈值TH2的块的频数。

这一操作，通过算出在图42的频数分布表中在ACT1轴上大于阈值TH1、ACT2轴上大于阈值TH2的块的频数，就能够算出满足上述条件的第二层中的“已产生信息量”。

图42为离散地计测ACT1的情况，表示在每个ACT1值上、第二层块活动性ACT2的分布状态。

下面，第三层、第四层的频数分布表的举例示于图43。

按照与第二层频数分布表相同的思路，生成由多变量定义的频数分布表。

在第三层中，将第一层、第二层、第三层各自的块活动性ACT1、ACT2、ACT3定义的块登记到频数分布表中。这一状态示于图43(A)。

在第三层中，通过算出ACT1轴上阈值TH1以上、ACT2轴上阈值TH2以上、ACT3轴上阈值TH3以上的块的频数，算出第三层中的“已产生信息量”。

在第四层中，将由第一层、第二层、第三层、第四层各自的块活动性ACT1、ACT2、ACT3、ACT4定义的块登记到频数分布表中。这一状态示于图43(B)中。

在第四层的情况下，通过算出ACT1轴上阈值TH1以上、ACT2轴上阈值TH2以上、ACT3轴上阈值TH3以上、ACT4轴上阈值TH4以上的块频数，算出第四层中的“已产生信息量”。

利用上述五种频数分布表，计算对阈值的“已产生信息量”，即能进行符合目标信息量的控制。

这里，用于“已产生信息量”控制的各层的阈值有每层各自独立变更的方法。

例如，在每层中预先设定目标信息量，每层中独立地变更阈值进行符合目标信息量控制的方法。

作为另一种方法还有，预先准备各层的阈值的组合，按照控制顺序应用这一阈值组合，谋求控制简化的方法。

下面对频数分布表加以说明。

在利用前述各层中频数分布表的“已产生信息量”控制方法中，通过在各层中考虑全部下层的分割判定结果，并算出各层的块活动性在阈值以上的块频数，检出最佳的控制值。

为使这种阈值以上的块频数计算时间加快，提出将登记块频数的频数分布表重新构成累加型频数分布表。

图45中表示这种累加型频数分布表举例。

登记块活动性的结果，就能得到图44的频数分布表示例。为说明简单起见，示出了块活动性为一个变量的例子。

累加型频数分布表(图45)具有由对应于图44频数分布表的块活动性最大值的块频数开始，对与较小的块活动值对应的块频数进行累加运算，将各自的累加结果重新登记到频数分布表中的结构。

这一处理如以数学形式表示，可表为下式：

SUM (act) = Σ_{ACT = act}^{n} N (ACT) - - - (21)

式中，SUM(·)表示累加块频数，N(·)表示频数分布表中的块频数，act表示累加频数分布表中的块活动性变量，ACT表示频数分布表中的块活动性变量，n表示频数分布表中的变量最大值。

(21)式意味着，进行读出块活动值地址中的块频数，将加到一直到上一层块活动值的累加值结果写入该块活动值地址中的处理。

这一结果如图45所示。在累加型频数分布表中，图44的斜线部分的块频数和，对应于阈值TH座标数据I。

按照此累加型频数分布表，当改变阈值TH时，不需要每次都计算上图斜线部分的块频数和。

亦即，通过输出与累加型频数分布表的阈值对应的累加块频数来实现块频数和的计算。

图45因为是一个变量的例子，所以，可应用于图41的第一层频数分布表。

图42的第二层频数分布表，表示二个变量的情况，通过扩展(21)式，生成累加型频数分布表，并由下式来表达：

SUM (act 1, act 2) = Σ_{ACT 1 = act 1}^{n} \cdot Σ_{ACT 2 = act 2}^{n} N (ACT 1, ACT 2) - - - (22)

式中，SUM(·)表示累加块频数，N(·)表示频数分布表中的块频数；act1、act2分别表示累加频数分布表中第一层、第二层的对应变量，ACT1、ACT2分别表示频数分布表中第一层、第二层的变量，n表示频数分布表中的变量最大值。

在按照(22)式生成的累加型频数分布表中，对应于第一层、第二层判定阈值TH1、TH2的地址的累加块频数，表示第一层阈值TH1以上且第二层判定阈值TH2以上的块频数和。

这样就能算出第二层中的“已产生信息量”。

至于图43的第三层、第四层频数分布表，通过利用累加型频数分布表，也能缩短块频数和的计算时间。

在这些情况下，因块活动性变量的数目增加，累加的次数也增多了。

首先，在第三层情况下的运算公式如下式所示：

SUM(act1,act2,act3)=

Σ_{ACT 1 = act 1}^{n} \cdot Σ_{ACT 2 = act 2}^{n} \cdot Σ_{ACT 3 = act 3}^{n} N (ACT 1, ACT 2, ACT 3) - - - (23)

式中，SUM(·)表示累加块频数，N(·)表示频数分布表中块频数，act1、act2、act3分别表示累加频数分布表中第一层、第二层、第三层的对应变量，ACT1、ACT2、ACT3分别表示频数分布表中第一层、第二层、第三层变量，n表示频数分布表中的变量最大值。

在按照(23)式生成的累加型频数分布表中，对应于第一层、第二层、第三层判定阈值TH1、TH2、TH3的地址的累加块频数，表示第一层阈值TH1以上且第二层阈值TH2以上且第三层阈值TH3以上的块频数和。

这样就能算出第三层中的“已产生信息量”。

进而描述关于图43的第四层频数分布表的处理。

这时，因为块活动性变量为四种，累加运算的次数也就最多。

第四层时的运算公式表示为下式：

SUM (act 1, act 2, act 3, act 4) = Σ_{ACT 1 = act 1}^{n} \cdot Σ_{ACT 2 = act 2}^{n} \cdot Σ_{ACT 3 = act 3}^{n} \cdot Σ_{ACT 4 = act 4}^{n}

N(ACT1·ACT2,ACT3,ACT4) (24)式中，SUM(·)表示累加块频数，N(·)表示频数分布表中的块频数，act1、act2、act3、act4分别表示累加频数分布表中的第一层、第二层、第三层、第四层的对应变量，ACT1、ACT2、ACT3、ACT4分别表示频数分布表中的第一层、第二层、第三层、第四层的变量，n表示频数分布表中的变量最大值。

在由(24)式生成的累加型频数分布表中，对应于第一层、第二层、第三层、第四层判定阈值TH1、TH2、TH3、TH4的累加块频数，表示第一层阈值TH1以上、第二层阈值TH2以上、第三层阈值TH3以上且第四层阈值TH4以上的块频数和。

这样就能算出第四层中的“已产生信息量”。

这种处理结果也就实现了基于(19)式得到的各层中分割对象块数的“已产生信息量”的计算。

依靠引入上述累加型频数分布表，就能大幅度地缩短“已产生信息量”的控制时间。

还对这种累加型频数分布表提出了进一步缩短“已产生信息量”控制时间的建议。

在这一建议中所使用的累加型频数分布表，用于算出对分割判定阈值“已产生信息量”

在实际的阈值处理中，根据图像质量劣化的观点，实用上不能采用很大的判定阈值。因此提出作成对块活动值限幅的频数分布表。图46和图47中给出了这种情况。

如图46中那样地，如以LMT对块活动值进行限幅，该LMT以上的块频数在频数分布表中全部登记为LMT。

结果，在LMT处的块频数增大了。应该算出的块频数和为倾斜部分。

与该频数分布表对应的累加型频数分布表示于图47。(21)～(24)式中所示的累加运算，并不是在块活动值的最大值n上，而是在从块活动值为LMT一直到0的区间内进行。

应该算出的块频数和，为阈值TH座标的累加块频数I。如这一例子中所示那样地，得到与图45相同的结果。依靠在频数分布表的块活动值中引入限幅，能缩短作成累加型频数分布表的时间，并能实现频数分布表存储空间的小型化。

作为应用这种方法的范围，可以考虑两种情况，即每一层的限幅值LMT可变的情况和全部各层中的限幅值LMT均固定不变的情况。

图48示出了分层编码处理的流程图，步骤SP2在存储层号的分层计数器I中登记“4”，以确定这一分层编码的范围。

在步骤SP3，由“已产生信息量”的运算生成分层数据；在步骤SP4，检测各块活动性。对于该活动性，在步骤SP5中作成图42中上述多元频数分布表并加以登记，借此进行“已产生信息量”的控制，以确定最佳控制值。

在步骤SP6，在编码器侧，根据该控制值进行分层编码。亦即，在开始时，对最上层即第五层数据进行编码和复合。这一结果成为下一层处理的初始值；在步骤SP7，生成与下一层的层间差分值。在步骤SP8，根据前面决定的“已产生信息量”控制值执行下一层中的分割选择和编码。

各层处理后，在步骤SP9将分层计数器I减一。然后，在步骤SP10，对分层计数器I的内容进行结束判定。在未结束的情况下，继续进行下一层处理。在所有分层处理结束的情况下退出循环，在步骤SP11，结束处理。

由以上“已产生信息量”的控制，能进行图像质量劣化不大、压缩率高的分层编码。

(4)其他实施例

(4-3)上述实施例中所描述的虽然是，将各层得到的频数分布表阈值的有关多个组合存储在ROM中，求“已产生信息量”最接近目标值的阈值组合的情况，但本发明并不局限于此，也可以对每一层单独地设定。

(4-4)上述实施例中所描述的虽然是，以对最下一层数据求2行×2像素的平均值来求上一层图像数据的情况，但本发明并不局限于此，也可以按其它组合来求平均值。

[7]第六实施例

(1)第六实施例图像编码装置

如图49中所示那样地，第六实施例图像编码装置100具有与第三实施例(图11)情况下相同的原理结构，由对输入图像数据D31进行分层编码并输出的分层编码用的编码器单元100A和对分层编码用的编码器单元100A中“已产生信息量”加以控制使其到达目标值的“已产生信息量”控制单元100B构成。

分层编码用的编码器单元100A由数据延迟用的存储器M1(图50)和编码器构成。其中，存储器M1设置在输入级中，该输入级能将数据延迟，使得在“已产生信息量”控制单元100B中确定最佳控制值以前，不进行编码处理。

另一方面，这样来构成“已产生信息量”控制单元100B，输入图像数据输入以后，设定适合于处理对象数据的最佳控制值S1，将其输出到分层编码用的编码器单元40A，由此使得该分层编码用的编码器单元40A能高效率地进行编码。构成所谓前馈型缓中结构。

(2)分层编码用的编码器单元

分层编码用的编码器单元100A如图50中所示那样地，使得能生成五层分辨率不同的压缩图像数据，除使得输入图像数据D31是通过存储器M1输入和编码器51～55为如图51中所示那样的构成这两点外，具有与图12和图13中的上述同样的构成。

此时的编码器51～55，利用存在于同一空间内信号之间的关系来进行块分割判定。亦即，在图51中编码器54将差分数据D44输入到编码电路54A，同时，输入到彩色信号检测电路54B和亮度信号检测电路54E。亮度检测电路54E提取差分数据D44中所包含的亮度分量，接着，由活动性检测电路54F检测提取的亮度分量的每个块的活动性。阈值判定电路54G将检出的亮度信号活动性与给定的阈值相比较，再将由此得到的阈值判定结果送到接着的阈值设定电路54H。在阈值设定电路54H中，在阈值判定电路54G中的判定结果表示是亮度信号活动性大于给定阈值的情况下，设定较小的阈值；而在表示是亮度信号活动性小于给定阈值的情况下则设定较大的阈值。这时，阈值设定电路54H决定按照最佳控制值设定的阈值的大小。把这样设定的阈值送到阈值判定电路54D。

在编码器54中，由活动性检测电路54C检测由彩色信号检测电路54B提取的彩色信号分量的每个块的活动性，并将由此得到的彩色信号活动性送到阈值判定电路54D。

阈值判定电路54D，按阈值设定电路54H中所设定的阈值对彩色信号活动性进行阈值判定，根据该判定结果来控制编码电路54A中的块分割。亦即，彩色信号活动性在所设定的阈值以上的情况下进行块分割，与此相反，在不足阈值时，不进行块分割。

这样，在编码器54(编码器51～53也相同)中，一旦根据亮度信号的活动性设定了阈值时，就利用这一设定的阈值来判定彩色信号的活动性，按照该判定结果来控制块的分割。

这里所说的活动性(activity)在将对应于上一层数据的下一层数据区域定义为“块”的情况下，是指以给定块内层间差分数据D41～D44的最大值、平均值、绝对值和、标准偏差或n次方和等表示的相关值。也就是说，在活动性低时，该块可以称为平坦块。

这时，编码器51～54在块活动性大于给定阈值的情况下，就将该块作为分割块，对该块的数据进行编码并传送，同时，还把表示该块为分割块的分割判定标志附加上去，并传送。

与此相反，在块活动性不足给定阈值的情况下，编码器51～54即将该块作为不分割块，不传送该块的数据，同时把表示该块的不分割块的不分割判定标志附加上去，并传送。此不分割块在解码装置侧被上一层数据替换。

(3)分割处理

在本实施例的分层编码方式中，采用判定标志在其以下的下一层中的判定中不反映的方法(后面，称之为独立判定法)。亦即，在独立判定法中，各层独立地进行根据每次阈值判定的分割选择处理。例如，即使是在一旦作了不分割判定的块中，在接着的下一层中也要重新进行活动性的判定，以此重新选择分割还是不分割。结果，在利用独立判定法的分层编码方式中，由于在上一层中不受下一层判定标志的影响，就能实现图像质量劣化很少的分层编码。

加到有关结构上，在分层编码用的编码器单元100A中，不独立地执行彩色信号的分割判定，而是考虑与彩色信号间具有相互关系的同一空间的亮度信号，这样进行彩色信号的分割判定。

在分层编码用的编码器单元100A中，按照亮度信号的块活动性来改变用于彩色信号的块分割判定中的阈值。

亦即，在分层编码用的编码器单元100A中，假定彩色信号上一层数据的数据值为Xi+1(0)、彩色信号下一层数据的数据值为Xi(j)=[j=0～3]、彩色信号层间差分编码值为ΔXi(j)=Xi+1(0)-Xi(j)[j=0～3]、彩色信号块活动性判定函数为G(·)、彩色信号块活动性ACTc=G(ΔXi(j))[j=0～3]、同一空间的亮度信号块活动性为ACT_Y时，在亮度信号块活动性ACT_Y大于给定阈值TH0的情况下，将彩色信号分割判定的阈值TH设定为TH0c，而在亮度信号块活动性ACT_Y不足阈值TH0的情况下，则将彩色信号分割判定的阈值TH设定为TH1c(＞TH0c)。

在分层编码用的编码器单元100A中，在彩色信号块活动性ACTc大于阈值TH的情况下，实行下一层中的分割；与此相反，在彩色信号块活动性ACTc不足阈值TH时，则中止下一层中的分割。

这里，例如，在亮度信号块活动性ACT_Y大于阈值TH0的情况下，这表示像物体轮廓部分那样亮度信号变化很大的情况，在这种情况下，分层编码用的编码器100A采用较小的分割判定阈值TH0c作为彩色信号的判定阈值TH，以此来控制使得执行与亮度信号相同的分割。

与此相反，在亮度信号块活动性ACT_Y不足阈值TH0的情况下，这表示亮度信号的变化不大，在这种情况下，分层编码用的编码器100A采用比分割判定阈值TH0c大的分割判定阈值TH1c作为彩色信号的分割判定阈值TH，以此提高压缩率。

这里，正如实施例那样地，按照亮度信号块活动性ACT_Y改变阈值TH来控制彩色信号分割的情况，与在一定的阈值下判定块活动性来控制彩色信号分割的情况两者的信号波形加以比较，如图53中所示。

在图53中，为说明起见，示出了一元信号的波形，同时，假定以彩色图像作为编码对象。在此例中，如图53(A)和(B)中所示那样，为对像物体边缘那样亮度信号急剧变化、且彩色信号的变化相对于亮度信号的变化较小的信号进行编码的情况。

对这样的彩色图像信号，在以一定的阈值进行块活动性判定以后来控制其分割的情况下，彩色信号的分割结果如图53(C)中所示。这里，图53(C)表示彩色信号表示的全部块均选择为不进行分割处理的情况。

由图53(C)可清楚地看出，在以一定的阈值进行块活动性的判定来控制彩色信号的分割的情况下，在彩色信号变化较小的情况下由于亮度信号与彩色信号分割判定的结果不同，即使是物体的边缘，也有选择不分割处理的。结果，由于采用上一层数据作为不分割块的恢复值，故使信号波形呈阶梯形。虽然一般为不明显的阶梯波形，但在亮度信号急剧变化点附近的平坦部分上，这种阶梯波形被认为是彩色信号图像质量的劣化。

特别是在亮度信号与彩色信号的块的大小不同等情况下，由于存在于同一空间内亮度信号与彩色信号的处理不同，使图像质量明显变差。这样，产生了基于彩色信号的图像质量劣化。

与此相反，在按照亮度信号块活动性ACT_Y改变阈值TH来控制分割的情况下，如图53(D)中所示那样地，在图中央的物体轮廓部分那样的亮度信号变化大的块中，要进行彩色信号的分割。

因此，亮度信号与彩色信号的分割判定结果相一致，所以，能够免除物体轮廓部分上因彩色信号的阶梯波形引起的图像质量劣化。

也就是说，在对彩色图像那样由多个信号构成的图像应用分层编码的情况下，各个信号不是独立地对每个块进行分割判定，而是由考虑到存在于同一空间内的信号间的关系来进行分割判定，因而能提高图像质量。

这样，在分层编码装置100中，既能提高压缩效率，同时，又能减少图像质量的劣化。

顺便说一下，图54示出了由分层编码装置100进行分层编码处理的流程图，步骤SP2在存储层号的分层计数器I中登记“4”，以确定这一分层编码的范围。

在步骤SP3，由“已产生信息量”控制单元100B进行“已产生信息量”的运算，生成分层数据，在接着的步骤SP4检测各块活动性。“已产生信息量”控制单元单元100B根据此活动性在步骤SP5决定最佳控制值S1。

在步骤SP6分层编码用的编码器单元100A根据最佳控制值S1执行分层编码。亦即，在开始时，对最上层即第五层数据进行编码和复合。这一结果成为下一层处理的初始值；在步骤SP7，生成与下一层的层间差分值。在步骤SP8，根据步骤SP5中决定的最佳控制值S1进行下一层中的分割选择和编码。

各层处理后，在步骤SP9将分层计数器I减1。然后，在步骤SP10，对分层计数器I的内容进行结束判定。在未结束的情况下，继续进行下一层的处理。在所有分层处理结束的情况下，退出循环，在步骤SP11，结束该分层编码处理。

(4)实施例的效果

如根据上述构成，在进行由上一层向下一层的块分割时，考虑到存在于同一空间内信号之间的关系进行分割判定，借此，就能够实现压缩效率高且图像质量劣化减小的图像编码方法。

(5)其他实施例

(5-1)上述实施例中所描述的虽然是，把亮度信号和彩色信号作为形成图像的、互相间具有相互关系的信号，根据亮度信号的块活动性来改变彩色信号的分割阈值的情况，但本发明并不局限于此，例如，把RGB三基色信号作为相互间具有相互关系的、形成彩色图像的信号，根据RGB中一个信号的特点来改变其他信号的分割阈值也可以，要点在于根据互相间具有相互关系的信号关系，来选定分割阈值即可。

(5-2)上述实施例中所描述的虽然是，将按照本发明的图像编码方法应用于各层独立地每次判定阈值、进行分割处理的独立判定法的情况，但本发明并不局限于此，在应用于按照上一层的分割判定一旦中止了下一层的分割时，就中止其下的下一层分割的判定方法的情况下；进而，在应用于在得到表示块活动性小于给定阈值的判定结果时，即临时产生为使与此块对应的多个下层块的分割方法中止的分割中止标志，同时，在得到表示多个下层块中至少一个块的块活动性成为给定阈值以上的判定结果时，就将分割中止标志变更为分割继续标志的判定方法情况下，都能得到与上述实施例相同的效果。

而且，本发明还不局限于此，还能广泛应用于分层编码方式中分层数据内存在着分辨率不同的多个块的情况中。

(6)如上述那样地根据本发明，将图像数据依次递归地分割成由不同的多个分辨率构成的多个分层数据进行编码，同时，对除分辨率最低的最上层数据外的分层数据的给定块进行块活动性判定，在该块活动性不足给定阈值时，中止与进行了活动性判定的块对应的下一层数据的块分割并将分割中止标志作为判定标志传送，在这种图像编码方法中，在相互间具有相互关系的多个形成图像的信号中，根据第一个信号选定上述阈值，将该阈值与具有上述相互关系的信号中的第二个信号的块活动性相比较，以此来判定该第二信号的活动性，根据该判定结果来控制块分割，由此就能在对图像数据进行分层编码时提高压缩效率，同时，还能降低图像质量的劣化。

[8]第七实施例

(1)第七实施例的图像编码装置

第七实施例的图像编码装置110，在关于图11～图18的上述第四实施例的结构上增加以后，如图55中所示，将由分层编码用的编码器单元110A得到的分层编码数据D51～D55，在传送块形成单元111中重新形成传送块，并作为传送数据Dout送出。

(2)传送块的数据构成

这里，接上述那样的“已产生信息量”控制方式，在分层编码用的编码器单元110A中生成的数据，可分类成为编码器55(图55)输出的最上层解码数据D55等的固定长数据，和编码器51～54输出的第一～第四层差分值编码数据D51～D54的可变长数据。

为此，在该分层编码用的编码器单元110A中，如图56中所示那样地，将构成图像的每一帧中各固定长数据加以汇总，形成固定长数据块120，同时，将该帧的各可变长数据汇总，形成可变长数据块121，依靠将该可变长数据块121排列在固定长数据块120之后，形成传送用的单位数据块122(下面，称之为传送块122)依次送出到传送通路。

实际上，在传送块122中，配置有由表示用于识别固定长数据块120的起始部分(亦即，传送块122的起始部分)中的数据块122的起始位置的SYNC码和图像数据内容的信息码(下面，称为识别信息码)等构成的传送块识别码C1。在传送块122中，紧接在传送块识别码C1之后排列最上层编码数据D55，这样，在利用识别码搜索所需图像时，依靠利用信息量少的最上层编码数据D55，就能使图像高速地依次恢复。这样，就能实现再现中的高速数据检索(一览表)功能。

在上述那样的分层编码方式中，因为由分层编码用的编码器单元110A中编码器51～55分别输出的上述分割判定标志所构成的、用于在解码侧形成图像的判别码(下面，将其汇总称为层间数据分割判定码)的数据长分别等于各层中的全部块数，所以该数据长分别为固定长数据。

为此，在传送块122中，正如由图56可清楚地看出的那样，把由在解码侧用于形成每层图像的这些判别码构成的层间数据分割判定码C2，配置到紧接在最上层编码数据D55之后，这样，即使在执行了上述“已产生信息量”控制之后，也能将存在于最上层分层编码的数据D55和层间数据分割判定码C2合到一起的区域内的数据，在整体上作成固定长。

在可变长数据块121中，依次排列形成第四～第一层差分值编码数据D54、D53、D52、D51，在该可变长数据121之后，紧接着附加用来识别传送块122结束的传送块结束码C3。

在上述结构式中，把在该图像编码装置里分层编码用的编码器单元110A中生成的数据，在每帧中，各固定长数据之后排列各可变长数据，由此形成传送块122，并将其送到传送信道。

从而在解码侧，即使某一可变长数据中产生了差错的情况下，仍能将固定长数据块120中的数据定义无误地解码。这样，就能使这种图像编码装置对传送数据中的差错带有坚固性(robustness)。

在此图像编码装置110中，在传送由上述那样的“已产生信息量”控制方式所生成的数据时，紧接在传送块识别码C1之后排列最上层编码数据D55并输出，由此，在解码侧附加了一览表功能的情况下，在检出传送块识别码C1之后，就能在短时间内访问到最上层编码数据D55。

如果根据上述构成，则能够容易地实现具有多个分辨率的分层编码。能使分层编码用的编码器单元110A编码后输出的传送图像数据的总“已产生信息量”与目标值基本上一致，从而能实现不降低压缩率的编码。还能实现图像质量劣化小的分层编码。而且能比历来更容易地管理分层编码时的“已产生信息量”。

另外，由于能考虑到每一层的图像信号数据的性质和人类的视觉特性来设定最佳的阈值，与一律相同地设定阈值的情况相比，能使接收侧主观上会感到图像质量得到进一步提高。

(3)有关第七实施例的其他实施例

(3-1)上述实施例中所描述的虽然是，以各有关块的上层数据得到的解码数据与下层数据的差分值的最大值来判断块活动性的情况，但本发明并不局限于此，也可以依靠块内的平均误差和绝对值和、标准偏差和n次方和、甚至是大于阈值的数据频数来进行判定。

(3-2)上述实施例中所描述的虽然是，按原样利用每层得到的频数分布表的情况，但本发明并不局限于此，也可以由频数分布表作成累加型频数分布表，将其用于计算“已产生信息量”。

亦即，可以在每层的频数分布表生成以后，求由块活动性的上层值一直到各块活动值的块频数累加值，将各累加值写入与各块活动值对应的地址上，作成累加型频数分布，这也是可以的。这样一来，与各块活动性对应的频数就成为具有该块活动性以上的值的块频数的累加值。

如果这样地预先生成累加型频数分布表，就不需要算出与各阈值对应的块频数累加值了，仅由读出存储器的阈值地址，就能算出块频数累加值，从而能大幅度地减少计算所需的时间。

(3-3)上述实施例中所描述的虽然是，将每层设定不同值的阈值与块活动值相比较来判定块的分割/不分割的情况，但本发明并不局限于此，也可以将每层设定不同值的阈值与层间数据的差分值相比较，根据比较的结果来判定块的分割/不分割。

(3-4)上述实施例中所描述的虽然是，在编码器中对图像数据进行PCM编码的情况，但本发明并不局限于此，同样也应用其他的、例如，正交编码等编码方式。

(3-5)上述实施例中所描述的虽然是，将各层得到的频数分布表阈值的有关多个组合存储在ROM中，求“已产生信息量”最接近目标值的阈值组合的情况，但本发明并不局限于此，对每一层单独地设定。

(3-6)上述实施例中所描述的虽然是，以对最下层数据求2行×2像素的平均值来求上层图像数据的情况，但本发明并不局限于此，也可以按其他组合来求平均值。

(4)如上述那样地根据本发明，在将图像数据依次递归地分割成分辨率相互不同的多个分层数据进行编码的图像编码装置中，在将含有经过编码的各层数据的传送数据输出到给定的传送信道时，将该传送数据分为形成图像的每个给定单位的固定长数据和可变长数据，在将固定长数据输出到该传送信道之后，再将可变长数据输出到该传送信道，这样，在解码时，即使在可变长数据中出现差错的情况下，也能正确地检测固定长数据的内容，因而能够实现对传送数据中的差错带有坚固性的图像编码装置和数据传送方法。

产业上利用的可能性

本发明的图像编码装置和方法，可用作例如，电视会议系统和视频点播系统那样的在接收端具有不同分辨率的监视器的系统的信号发送装置。

Claims

1．一种图像编码装置，在这种装置中，为递归地产生由不同的多个分辨率构成的多个分层数据而对输入图像信号进行编码，其特征是具有：

判定与图像数据的特性对应的自适应的块分割方法、并按照所述判定结果对所述图像数据进行分割的判定分割装置，和

将由所述判定分割装置得到的分层编码数据加以传送的传送装置。

2．权利要求1中所述的图像编码装置，其特征是，所述判定分割装置检测各层数据的活动性，根据依靠该活动性的判定结果，进行自适应的块分割。

3．权利要求1中所述的图像编码装置，其特征是，所述判定分割装置检测各层数据的给定块的块活动性，根据依靠该块活动性的判定结果，判定所述块或与所述块对应的下层块的分割方法。

4．根据权利要求1的图像编码装置，特征是

所述判定分割装置是检测除分辨率最低的最上层数据外的所述各层数据给定块的块活动性、根据该块活动性产生用于判定与所述块对应的块的分割方法的分割判定标志、而在得到表示所述块活动性小于给定阈值的判定结果时，产生用于使对应于所述块的多个下层块的分割中止的分割中止标志，同时，产生用于使所述多个下层块的所述块活动性的判定和所述多个下层块的分层数据的传送中止的控制信号的判定控制装置，和

所述传送装置将所述每个块的判定标志与经过编码的各层数据同时传送。

5．根据权利要求4的图像编码装置，特征在于在这种装置中，为依次递归地产生由不同的多个分辨率构成的多个分层数据而对输入图像信号中分辨率最低的最上层数据和除该最上层数据外的各层数据与相邻上一层数据的差分值构成的多层的分层差分数据进行编码。

6．根据权利要求4的一种图像编码装置，其特征是：

所述判定控制装置检测除分辨率最低的最上层数据外的所述各层数据给定块的块活动性、根据该块活动性产生用于判定与所述块对应的块的分割的分割判定标志、而在得到表示所述块活动性小于给定阈值的判定结果时，临时地产生用于使对应于所述块的多个下层块的分割中止的分割中止标志、同时，在得到表示所述多个下层块中至少一个块的所述块活动性成为大于给定阈值的判定结果时，将所述分割中止标志变更成为用于使分割继续进行的分割继续标志。

7．根据权利要求5的一种图像编码装置，，其特征是：

所述判定控制装置检测除所述最上层外的所述各层的所述层间差分数据给定块的块活动性、根据该块活动性产生用于判定与所述块对应的块的分割的分割判定标志、而在得到表示所述块活动性小于给定阈值的判定结果时，临时地产生用于使对应于所述块的多个下层块的分割中止的分割中止标志，同时，在得到表示所述多个下层块中至少一个块的所述块活动性成为大于给定阈值的判定结果时，将所述分割中止标志变更成为分割继续标志。

8．根据权利要求4的一种图像编码装置，其特征是：

所述判定控制装置检测除分辨率最低的最上层数据外的所述各层数据全部块的块活动性、根据该块活动性产生用于判定所述各块的分割的分割判定标志、而在得到表示所述块活动性小于给定阈值的判定结果时，产生用于使所述块的分割中止的分割中止标志、同时，在得到表示所述块活动性成为大于给定阈值的判定结果时，产生用于使所述块的分割继续进行的分割继续标志。

9．根据权利要求5的一种图像编码装置，其特征是：

所述判定控制装置检测除所述最上层外的所述各层的所述层间差分数据全部块的块活动性、根据该块活动性产生用于测定所述各块的分割的分割判定标志、而在得到表示所述块活动性小于给定阈值的判定结果时，产生用于使所述块的分割中止的分割中止标志，同时，在得到表示所述块活动性成为大于给定阈值的判定结果时，产生用于使所述块的分割继续进行的分割继续标志的判定控制装置，和

所述传送装置将所述每个块的判定标志与经过编码的最上层数据和经过编码的各层数据同时传送。

10．权利要求4至9中任一项所述的图像编码装置，其特征是还具有以对下一层数据作加权平均处理来形成上一层数据的分层数据形成装置。

11．权利要求5、7或8中所述图像编码装置，其特征是所述分层差分数据为所述分层数据与n-1个下一层数据的差分数据。

12．权利要求2至9中任一项所述图像编码装置，其特征是用作所述活动性的是最大值、平均值、绝对值和、标准偏差、n次方和。

13．权利要求2至9中任一项所述图像编码装置，其特征是用作所述活动性的是具有超过给定阈值的值的数据。

14．权利要求4至9中任一项所述图像编码装置，其特征是将所述阈值设定为随所述各层而不相同的值。

15．根据权利要求1的一种图像编码装置，特征是在这种装置中，依次递归地产生由不同的多个分辨率构成的多个分层数据而对形成图像相互间具有相互关系的多个图像形成信号构成的输入图像信号进行编码，

所述判定分割装置是对除分辨率最低的最上层数据外的所述各层数据的给定块检测对应于所述多个图像形成信号中的第一信号的块活动性、根据该块活动性产生用于判定所述块或对应于所述块的下层块的分割的分割判定标志、而在得到表示所述块活动性小于给定阈值的判定结果时，产生用于使所述块或对应于所述块的下层块的分割中止的分割中止标志，同时，在得到表示所述块活动性成为大于给定阈值的判定结果时，产生用于继续进行所述块或对应于所述块的下层块的分割的分割继续标志、并且根据所述多个图像形成信号中的第二信号来决定所述阈值的判定控制装置。

16．权利要求15中所述图像编码装置，其特征是所述第一信号为彩色信号，而所述第二信号为亮度信号。

17．权利要求16中所述图像编码装置，其特征是所述第一信号为RGB信号。

18．根据权利要求1的一种图像编码装置，其特征是还具有：

为将“已产生信息量”控制成目标值、根据所述各层数据的全部块的块活动性，检测作为块活动性判定基准的阈值的阈值检测装置，

且所述判定分割装置检测除分辨率最低的最上层数据外的所述各层数据给定块的块活动性、根据该块活动性与所述阈值相比较的结果判定所述块或对应于所述块的块的分割方法，同时，进行分割。

19．根据权利要求4的一种图像编码装置，其特征是还具有：

根据与基于所述块活动性检出的每一层中的各块活动性对应的块频数的分布状态，检测除分辨率最低的最上层数据外的所述各层数据给定块的块活动性和作为所述块活动性的判定基准的阈值的阈值检测装置。

20．根据权利要求19的一种图像编码装置，特征在于在这种装置中，为依次递归地产生由不同的多个分辨率构成的多个分层数据而对输入图像信号中分辨率最低的最上层数据和除该最上层数据外的各层数据及相邻上一层数据的差分值构成的多层的分层差分数据进行编码。

21．根据权利要求6的一种图像编码装置，其特征是还具有：

22．根据权利要求7的一种图像编码装置，其特征是还具有：

根据与基于所述块活动性检出的每一层中的各块活动性对应的块频数的分布状态，检测除所述分辨率最低的最上层数据外的所述各层数据给定块的块活动性和作为所述块活动性的判定基准的阈值的阈值检测装置。

23．根据权利要求8的一种图像编码装置，其特征是还具有：

24．根据权利要求9的一种图像编码装置，其特征是还具有：

根据与基于所述块活动性检出的每一层中的各块活动性对应的块的频数的分布状态，检测除所述分辨率最低的最上层数据外的所述各层数据给定块的块活动性和作为所述块活动性的判定基准的阈值的检测装置。

25．权利要求19或20中所述图像编码装置，其特征是根据上一层中的所述块活动性的历史检测所述阈值。

26．权利要求21或22中所述图像编码装置，其特征是根据下一层中的所述块活动性的历史检测所述阈值。

27．权利要求19至24中任一项所述图像编码装置，其特征是控制输入数据呈待机状态，在确定了所述阈值的时刻进行对所述输入数据的分层编码处理。

28．权利要求19至24中任一项所述图像编码装置，其特征是所述每一层中独立地决定所述阈值。

29．权利要求19至24中任一项所述图像编码装置，其特征是预先准备所述每一层的所述阈值的组合。

30．权利要求19至24中任一项所述图像编码装置，其特征是为算出“已产生信息量”，作成累加型频数分布表。

31．权利要求19至24中任一项所述图像编码装置，其特征是在计算“已产生信息量”时，将块活动性的数限制为给定的极限值。

32．权利要求30中所述图像编码装置，其特征是在作成累加型频数分布表时，对所述有关各层的块活动性的数设定不同的极限值。

33．根据权利要求1的一种图像编码装置，其特征是

所述传送装置将由所述判定分割装置得到的分层编码数据、在传送固定长数据之后再传送可变长数据。

34．权利要求33中所述图像编码装置，其特征是所述固定长数据由所述最上层数据和用于形成所述各层数据的图像形成信息构成，所述可变长数据由除所述最上层外的所述各层数据构成。

35．权利要求34中所述图像编码装置，其特征是所述分层编码数据包含分割判定标志。

36．根据权利要求1的一种图像编码装置，其特征是具有

所述传送装置在将由所述判定装置得到的所述最上层数据作为固定长数据传送之后，再将除所述最上层数据外的所述各层数据作为可变长数据加以传送。

37．权利要求36中所述图像编码装置，其特征是所述固定长数据包含分割判定标志。

38．一种图像编码方法，在这种方法中，为递归地产生由不同的多个分辨率构成的多个分层数据而对输入图像信号进行编码，其特征是：

判定对应于图像数据特性的自适应的块分割的方法、按照该判定结果对所述图像数据进行分割；

将由所述判定分割装置得到的分层编码数据加以传送。

39．根据权利要求38的一种图像编码方法，其特征是：

检测除分辨率最低的最上层数据外的所述各层数据给定块的块活动性、根据该块活动性产生用于判定与所述块对应的块的分割方法的分割判定标志、而在得到表示所述块活动性小于给定阈值的判定结果时，产生用于使对应于所述块的多个下层块的分割中止的分割中止标志，同时，产生用于使所述多个下层块的所述块活动性的判定和所述多个下层块的分层数据的传送中止的控制信号；和

将所述每个块的判定标志与经过编码的各层数据同时传送。

40．根据权利要求39的一种图像编码方法，特征在于在这种方法中，为依次递归地产生由不同的多个分辨率构成的多个分层数据而对输入图像信号中分辨率最低的最上层数据和除该最上层数据外的各层数据与相邻上一层数据的差分值构成的多层的分层差分数据进行编码。

41．根据权利要求38的一种图像编码方法，其特征是：

检测除分辨率最低的最上层数据外的所述各层数据给定块的块活动性、根据该块活动性产生用于判定与所述块对应的块的分割的方法的分割判定标志、而在得到表示所述块活动性小于给定阈值的判定结果时，临时地产生用于使对应于所述块的多个下层块的分割中止的分割中止标志，同时，在得到表示所述多个下层块的至少一个块的所述块活动性成为大于给定阈值的判定结果时，将所述分割中止标志变更成为用于使分割继续进行的分割继续标志；和

将所述每个块的判定标志与经过编码的各层数据同时传送。

42．根据权利要求41的一种图像编码方法，特征是在这种方法中，为依次递归地产生由不同的多个分辨率构成的多个分层数据而对输入图像信号中分辨率最低的最上层数据和除该最上层数据外的各层数据与相邻上一层数据的差分值构成的多层的分层差分数据进行编码；和

将所述每个块的判定标志与经过编码的最上层数据和经过编码的各层数据同时传送。

43．根据权利要求38的一种图像编码方法，其特征是：

检测除分辨率最低的最上层数据外的所述各层数据全部块的块活动性，根据该块活动性产生用于判定所述各块的分割方法的分割判定标志、而在得到表示所述块活动性小于给定阈值的判定结果时，产生用于使所述块的分割中止的分割中止标志，同时，在得到表示所述块活动性成为大于给定阈值的判定结果时，产生用于使所述块的分割继续进行的分割继续标志；和

将所述每个块的判定标志与经过编码的各层数据同时传送。

44．根据权利要求43的一种图像编码方法，特征是在这种方法中，为依次递归地产生由不同的多个分辨率构成的多个分层数据而对输入图像信号中分辨率最低的最上层数据和除该最上层数据外的各层数据与相邻上一层数据的差分值构成的多层的分层差分数据进行编码；和

45．根据权利要求38的一种图像编码方法，特征在于在这种方法中，为依次递归地产生由不同的多个分辨率构成的多个分层数据而对为形成图像相互具有相互关系的多个图像形成信号所构成的输入图像信号进行编码，

对除分辨率最低的最上层数据外的所述各层数据给定块检测对应于所述多个图像形成信号中的第一信号的块活动性、根据该块活动性产生用于判定所述块或对应于所述块的块的分割方法的分割判定标志、而在得到表示所述块活动性小于给定阈值的判定结果时，产生用于使所述块或对应于所述块的下层块的分割中止的分割中止标志，同时，在得到表示所述块活动性成为大于给定阈值的判定结果时，产生用于继续进行所述块或对应于所述块的下层块的分割的分割继续标志、并且根据所述多个图像形成信号中的第二信号来决定所述阈值。

46．根据权利要求38的一种图像处理方法，其特征是：

为将“已产生信息量”控制成目标值、根据所述各层数据的全部块的块活动性，检测作为块活动性判定基准的阈值；

检测除分辨率最低的最上层数据外的所述各层数据给定块的块活动性、根据该块活动性与所述阈值相比较的结果判定所述块或对应于所述块的下层块的分割方法，同时，进行分割；

将由所述判定分割装置得到的分层编码数据传送。

47．根据权利要求39的一种图像编码方法，其特征是：

根据与基于所述块活动性检测出的每一层中的各块活动性对应的块频数的分布状态，检测除分辨率最低的最上层数据外的所述各层数据给定块的块活动性和作为所述块活动性的判定基准的阈值。

48．根据权利要求40的一种图像编码方法，其特征是：

根据与基于所述块活动性检出的每一层中的各块活动性对应的块频数的分布状态，检测除分辨率最低的最上层数据外的所述各层数据给定块的块活动性和作为所述块活动性的判定基准的阈值。

49．根据权利要求41的一种图像编码方法，其特征是：

50．根据权利要求42的一种图像编码方法，其特征是：

51．根据权利要求43的一种图像编码方法，特征在于：

52．根据权利要求44的一种图像编码方法，其特征是：

根据与基于所述块活动性检出的每一层中的各块活动值性对应的块的频数的分布状态，检测除分辨率最低的最上层数据外的各层数据给定块的块活动性和作为所述块活动性的判定基准的阈值

53．根据权利要求38的一种图像编码方法，其特征是：

将根据该判定结果得到的分层编码数据、在传送固定长数据之后再传送可变长数据。

54．根据权利要求38的一种图像编码方法，其特征是：

在将根据该判定结果得到的所述最上层数据作为固定长数据传送之后，再将除所述最上层数据外的所述各层数据作为可变长数据传送。