WO1995007004A1 - Device and method for encoding image data - Google Patents

Device and method for encoding image data Download PDF

Info

Publication number
WO1995007004A1
WO1995007004A1 PCT/JP1994/001425 JP9401425W WO9507004A1 WO 1995007004 A1 WO1995007004 A1 WO 1995007004A1 JP 9401425 W JP9401425 W JP 9401425W WO 9507004 A1 WO9507004 A1 WO 9507004A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
data
activity
division
layer
Prior art date
Application number
PCT/JP1994/001425
Other languages
English (en)
French (fr)
Inventor
Tetsujiro Kondo
Yasuhiro Fujimori
Kunio Kawaguchi
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP23882293A external-priority patent/JP3337158B2/ja
Priority claimed from JP23882493A external-priority patent/JP3337159B2/ja
Priority claimed from JP27311293A external-priority patent/JP3356337B2/ja
Priority claimed from JP27320793A external-priority patent/JP3337168B2/ja
Priority claimed from JP27320693A external-priority patent/JP3337167B2/ja
Priority claimed from JP27320593A external-priority patent/JP3356338B2/ja
Priority claimed from JP34955593A external-priority patent/JP3478411B2/ja
Priority to US08/428,067 priority Critical patent/US5930394A/en
Priority to EP94925022A priority patent/EP0671852B1/en
Priority to DE69428979T priority patent/DE69428979T2/de
Application filed by Sony Corporation filed Critical Sony Corporation
Publication of WO1995007004A1 publication Critical patent/WO1995007004A1/ja
Priority to US09/315,100 priority patent/US6219456B1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Definitions

  • the second hierarchical data, the third hierarchical data having a lower resolution than the second hierarchical data,... are sequentially and recursively formed, and the plurality of hierarchical data are transmitted via a communication path and a recording / reproducing path. To be transmitted.
  • Mouth A judgment control means for generating a control signal for judging activity and stopping transmission of hierarchical data of a plurality of lower blocks; and transmitting a decision flag for each block together with each encoded hierarchical data.
  • the determination flag is transmitted together with the image data divided into blocks.
  • an input composed of a plurality of image forming signals having a mutual relationship to form an appropriate image is formed.
  • a predetermined block of each hierarchical data except for the highest hierarchical data having the lowest resolution corresponds to a first signal among a plurality of image forming signals.
  • Block activity is detected, and based on the block activity, a block is detected.
  • a block determination flag is generated to determine how to divide the lower block corresponding to a block or block, and when a determination result indicating that the block activity is smaller than a predetermined threshold is obtained, the block or block is determined.
  • FIG. 12 is a block diagram showing the hierarchical encoding encoder unit of FIG.
  • FIG. 13 is a block diagram showing the decoder of FIG.
  • FIG. 15 is a schematic diagram used to explain the hierarchical structure.
  • FIG. 26 is a block diagram showing the generated information amount control unit.
  • FIG. 36 is a block diagram showing a fifth embodiment of the image encoding apparatus according to the present invention.
  • FIG. 45 is a characteristic curve diagram showing an integrated frequency distribution table.
  • FIG. 46 is a characteristic curve diagram showing a frequency distribution table using clip values.
  • FIG. 50 is a block diagram showing the hierarchical coder of FIG. 49.
  • FIG. 55 is a block diagram showing a seventh embodiment of the image encoding apparatus according to the present invention.
  • the decoded value E [4] is determined by subtracting the decoded value of.
  • E [] means the decoded value.
  • the resolution and the data amount are quadrupled for each layer from the upper layer to the lower layer, but the redundancy is reduced by prohibiting this division in the flat part. .
  • a flag to indicate the presence or absence of this division is prepared in 1-bit blocks.
  • the necessity of the division at the lower hierarchy is determined as a local activity, for example, by the maximum value of the difference data between the hierarchies.
  • images are hierarchically coded based on the above-described five-level hierarchical structure and are represented at a plurality of resolutions, and adaptive division and adaptive quantization using the hierarchical structure are performed.
  • YZPBZP R can be compressed to about 1-8.
  • the additional code for each block prepared for adaptive division is subjected to run-length encoding in each layer to improve compression efficiency. In this way, an image of sufficient image quality can be obtained in each layer, and a good image with no visual deterioration can be obtained in the final lowest layer.
  • the first averaging circuit 1 4 2 includes four pixels XI (1) to X 4 (1) of the input image data D 13 1 which is the first layer data which is the lowest layer. From this, the pixel X 1 (2) of the second hierarchy data D 1 32 is generated. Pixels X 2 (2) to X 4 (2) adjacent to the pixel X 1 (2) of the second layer data D 1 3 2 are also generated by averaging four pixels of the first layer data D 13 1. You.
  • the second hierarchical data D 13 2 is input to a second difference circuit 144 and a second averaging circuit 144.
  • the division control circuit determines the network activity for all the inter-layer difference data, and the upper division control circuit Even when the control data for transmission stop is input, if the block activity is detected to be equal to or higher than the threshold, the transmission control is stopped from the lower division control circuit to the upper division control circuit. What is necessary is just to send the instruction
  • the block activity is determined for a predetermined block of the inter-layer difference data of each layer other than the highest layer, and when the block activity is less than a predetermined threshold, the block activity is determined by the inter-layer difference data of the adjacent lower layer.
  • a division stop flag is set as a determination flag for a plurality of lower blocks corresponding to a block, the determination of the activity of the plurality of lower blocks and the transmission of the plurality of lower blocks are stopped, and a determination flag for each block is set. Is transmitted together with the encoding code, so that encoded data of unnecessary blocks can be prevented from being transmitted in accordance with the block activity of the inter-layer difference data, thereby reducing the code amount and encoding.
  • An image encoding method and an image encoding device capable of improving data compression efficiency can be realized.
  • the encoder 158 compresses and encodes the fifth hierarchical data D 135 by a linear encoding technique suitable for encoding image data that is average value data, thereby obtaining the fifth hierarchical compressed encoded data.
  • D 149 is generated.
  • the first to fifth hierarchical compression encoded data DI45 to D149 and the control code are framed by a predetermined transmission data forming unit (not shown) and transmitted to the transmission path.
  • the image encoding apparatus 190 determines the open activity of the difference data between layers, and transmits only the control data indicating transmission stop without transmitting unnecessary blocks.
  • the image decoding apparatus 160 (FIG. 8) can surely restore the hierarchical data based on the control data.
  • the block activity is determined each time, and the processing of the inter-layer difference data in the block is selected according to the determination result.
  • the third hierarchical data D 3 3 is input to a third difference circuit 45 and a third averaging circuit 46, and the third averaging circuit 46 receives the third hierarchical data D 33 similarly to the above case.
  • the fourth-order data D 34 composed of pixels Xl (4) to X4 (4) is generated by averaging the four pixels.
  • the hierarchical coding encoder section 40A decodes the transmission data D51 to D55 obtained for each layer by the decoders 56 to 59. I do.
  • the encoders 51 to 54 compress and encode the difference data obtained between the layers as they are, and simultaneously transmit the blocks with the division determination flag for each block.
  • Encoder 5 1-5 4 In contrast, if the processing target is undivided blanking 1 ⁇ click, the this blanking ⁇ click excluded from sign-object as being replaced by the upper layer data at the receiving side . In this case as well, the division judgment flag for each The tag is transmitted with it.
  • the threshold decision circuit 52D, 53D compares the activity detection result for each block with the threshold data D57 from the generated information amount control unit 40B, and makes a decision based on this.
  • the result is sent to coding circuits 52A and 53A.
  • the coding circuits 52A and 53A compress and encode blocks with high activity based on the result of the threshold decision, and do not transmit blocks with low activity. . (2-2) processing
  • the difference data output from each of the difference circuits 61, 62, 63, and 64 can be regarded as difference data of each layer obtained by the layer processing in the layer coding encoder unit 4OA.
  • control unit 7 adjusts the control data given to the hierarchical encoding encoder unit 40A in consideration of the characteristics of image signal data and human visual characteristics for each layer, so that an optimal threshold value can be given. It has been done. As a result, a subjective improvement in the image quality reproduced on the receiving side is realized.
  • Figures I7 (A) to (E) show frequency distribution tables of block activities obtained from the highest hierarchical data (fifth hierarchical data) to the lowest hierarchical data (first hierarchical data), respectively. ing.
  • a frequency distribution table based on the dynamic range is generated because the target data is not difference data.
  • the compression processing method is ADRC (adaptive dynamic range).
  • the number of bits in the first term of equation (7) is quadrupled because, in this example, each puck is divided into 2 lines ⁇ 2 pixels.
  • the factor of 3 times 4 is that the upper layer value is generated from the average value of the lower layer values. This is because it reflects the property that the fourth non-transmission pixel value in the lower layer can be restored.
  • the generated information amount control unit 40B receives the input image data D31 in the same manner as the hierarchical encoding encoder unit 40A, and averages it every two lines X 2 pixels by the averaging circuit 42. The value is determined and the resolution is reduced by reducing the number of pixels to 1 Z4. Subsequently, the resolution of the hierarchical data D32 is reduced by reducing the number of pixels to 1/4 by sequentially passing through averaging circuits 43, 46 and 48 in the same manner.
  • the control unit 74 integrates the amount of generated information obtained for the frequency distribution tables 69 to 73 of each layer, and calculates the total amount of generated information that would be generated as a result of encoding in the hierarchical encoding encoder 40A. I do.
  • the control unit 74 compares the amount of generated information with the target value, and if the difference from the target value is large, determines a combination of threshold values that satisfies the target value. Move to the value TH1, TH2 ... TH4 pair.
  • Figure 22 shows the integrated frequency distribution table for this frequency distribution table.
  • the above-described integration operation of the expression (10) is performed not in the maximum value of the block activity value but in a section from the block activity value LMT to 0.
  • the sum of the block frequencies to be calculated is the integrated block frequency I at the coordinates of the threshold value TH.
  • the encoder 53 inputs the difference data D43 to the encoding circuit 53A and the activity detection circuit 53C of the division control unit 53B.
  • the activity detection circuit 53C detects the activity of the difference data D43 for each predetermined block, and supplies the detection result obtained by the detection to the subsequent threshold determination circuit 53D.
  • the threshold decision circuit 5 3D compares the activity detection result of each block with the threshold data D 57, and uses the decision result obtained as threshold decision result information J 2 as an encoding circuit 5 3. 3A and the adjacent lower-layer encoder 52.
  • the coding circuit 53A compresses and encodes blocks with high activity based on the threshold determination result information J2, and does not transmit blocks with low activity.
  • difference data D64 from fourth-layer data D34 and fifth-layer data D35 is generated.
  • the activity detecting circuit 68 detects the activity.
  • the block activity D 68 detected here is registered in the frequency distribution table 72.
  • the difference data D 63 is generated from the third hierarchical data D 33 and the fourth hierarchical data D 34.
  • the block activity is detected by the activity detection circuit 67.
  • the detected block activity D 67 is registered in the frequency distribution table 71. At this time, only the blocks that have received the block division continuation determination in the threshold At the third level, block division is determined.
  • difference data D62 is generated from the second hierarchy data D32 and the third hierarchy data D33, and the activity detection circuit 66 outputs the block activity D66.
  • the detected block activity D66 is registered in the frequency distribution table 70.
  • the block division determination is performed only on the blocks that have received the block division continuation determination in the fourth and third layers. Therefore, the frequency distribution table 70 is based on the coordinates of the block activity D 68 at the fourth level, the block activity D 67 at the third level, and the block activity D 66 at the second level. Is a block frequency distribution table in which is determined.
  • difference data D61 is generated from the first hierarchy data D31 and the second hierarchy data D32, and the activity detection circuit 65 outputs the activity D65.
  • the detected block activity D65 is registered in the frequency distribution table 69.
  • a book split determination is made only for the books that have received the block division continuation determination in the fourth, third, and second layers.
  • Fig. 27 (A) to (E) are frequency distribution tables of block activity obtained from the highest hierarchical data (fifth hierarchical data) to the lowest hierarchical data (first hierarchical data), respectively. Is shown.
  • a frequency distribution table based on the dynamic range is generated because the target data is not difference data. For example, when PCM coding is applied, the dynamic range of the coded block is registered.
  • FIG. 30 shows an example of the frequency distribution table of the second hierarchy and the first hierarchy.
  • the block frequency is calculated with the threshold value of ⁇ ⁇ 4 or more for AC ⁇ 4 axis, the threshold value of TH 3 or more for ACT 3 axis, and the threshold value of TH 2 or more for ACT 2 axis.
  • the amount of generated information in the second layer is calculated.
  • the frequency distribution table in which the block frequencies are registered can be reconfigured into an integrated frequency distribution table.
  • Figure 3 shows an example of this integrated frequency distribution table. That is, it is assumed that the frequency distribution table shown in FIG. 31 is obtained as a result of registering the ⁇ activity. In this case, to simplify the explanation, an example in which the block activity is one variable is shown.
  • the frequency distribution table described above is the same as that of the fourth layer.
  • the third-layer frequency distribution table in Fig. 29 shows the case of two variables, and an integrated frequency distribution table is generated by expanding equation (14).
  • the integrated block frequency corresponding to the address of the judgment threshold 3 of the third hierarchy and the judgment threshold TH4 of the fourth hierarchy is a threshold. Shows the sum of the block frequency with value TH 3 or more and judgment threshold TH 4 or more. In this way, it is possible to calculate the amount of generated information in the third hierarchy.
  • the integrated frequency distribution table used in this proposal is used to calculate the amount of generated information for the division determination threshold.
  • a large determination threshold cannot be used practically from the viewpoint of image quality deterioration. Therefore, it is necessary to create a frequency distribution table with the block activity values clipped.o
  • the former is used when there is a clear difference in the inter-layer difference value distribution of each layer, and the latter is used when the inter-layer difference value distribution of each layer has no significant difference.
  • a predetermined block of the hierarchical data is used as a block diagram.
  • Hierarchical coding of image data that does not reduce compression efficiency by judging the activity and setting the threshold, which is the criterion for the division process for the lower hierarchical data, from the frequency distribution of the packs corresponding to the activity. The conversion method can be easily realized.
  • the image coding apparatus 90 of the fifth embodiment has the same general configuration as that of the third embodiment (FIG. 11), and converts input image data D 31 into a hierarchical code. And a generated information amount control unit 90B that controls the amount of generated information in the hierarchical coding encoder unit 90A to achieve a target value. .
  • the hierarchical coding encoder section 90 A has the configuration shown in FIG. 37, and has the configuration shown in FIGS. 12 and 13 except that the encoders 51 to 55 are configured as shown in FIG. 38. It has the same configuration as described above.
  • the encoders 54, 53, and 52 respectively use the threshold determination result information J1, J2, and J3 used to represent the division or non-division of the book into adjacent lower layers.
  • Encoders 53, 52, and 51, and encoders 51, 52, and 53 respectively transmit threshold decision result information J4, J3, and J2 to adjacent upper layer codes. It is adapted to be sent to devices 52, 53, 54.
  • the activity detection circuit 53 C and the threshold value judgment circuit 53 D receive the threshold value judgment result information J 1 output from the adjacent upper layer encoder 54, and receive the threshold value judgment result information. If J1 indicates that the block is to be divided, the activity detection and the threshold determination result are executed. On the other hand, if the threshold determination result information J 1 indicates that the book is not divided, activity detection and threshold value determination are not performed for the book corresponding to the threshold determination result information.
  • the threshold determination circuit 53 3D outputs threshold determination result information J 2 indicating non-division of the block.
  • fourth-layer data D34 is generated by the 14-averaging process of the averaging circuit 46 for the third-layer data D33.
  • the frequency distribution table 72 shows that the first-level block activity D 65, the second-level block activity D 66, the third-level block activity D 67, and the fourth-level block activity D 68 4 Defined by variables.
  • Difference data D63 is generated from the third hierarchy data D32 and the fourth hierarchy data D34. With respect to the difference data D63, the block activity is detected by the activity detecting circuit 67. The detected activity D 67 is registered in the frequency distribution table 71.
  • the frequency distribution table 71 of the third hierarchy is defined by three variables of the first hierarchy block activity D 65, the second hierarchy block activity D 66, and the third hierarchy block activity D 67. .
  • the difference data D62 is generated from the second hierarchy data D32 and the third hierarchy data D32, and the activity detection circuit 66 outputs the block activity D66.
  • the detected block activity D66 is registered in the frequency distribution table 70.
  • the frequency distribution table 70 of the second hierarchy is defined by two variables: the first hierarchy book activity D65 and the second hierarchy book activity D66.
  • the threshold of the block activity is determined independently, and the result is executed, so that the upper layer block activity is monitored. You don't need to look. That is, the frequency distribution table 1 of the first layer is a one-dimensional frequency distribution table composed of the book activity D65 of the second layer.
  • a threshold value for each frequency distribution table is transmitted to each frequency distribution table.
  • each frequency distribution table the amount of generated information corresponding to the threshold is detected.
  • the amount of generated information in each frequency distribution table is transmitted to the control unit 74 through signal paths D69 to D73.
  • the block activity determination thresholds used for the division determination in each layer are as follows: the first layer division determination threshold is ⁇ 1, the second layer division determination threshold is ⁇ 2, and the third layer division determination The threshold value is ⁇ 3, and the threshold value for determining the fourth layer division is ⁇ ⁇ 4.
  • the calculation of the block frequency sum is realized by outputting the integrated block frequency corresponding to the threshold value of the integrated frequency distribution table.
  • Fig. 45 is also an example of one variable, it is applied to the first hierarchical frequency distribution table in Fig. 41.
  • the second-layer frequency distribution table in Fig. 42 shows the case of two variables, and an integrated frequency distribution table is generated by expanding equation (21).
  • S UM ( ⁇ ) represents the cumulative block frequency
  • N ( ⁇ ) represents the block frequency in the frequency distribution table
  • act 1 represents the integrated frequency distribution table
  • Act 2 represents the variable corresponding to the second hierarchy in the cumulative frequency distribution table
  • ACT 1 represents the variable corresponding to the first hierarchy in the frequency distribution table
  • ACT 2 represents the variable corresponding to the first hierarchy in the frequency distribution table.
  • n represents the maximum value of the variable in the frequency distribution table.
  • the time for calculating the sum of the ⁇ frequencies can be reduced by using the integrated frequency distribution table.
  • Figure 47 shows the integrated frequency distribution table for this frequency distribution table.
  • the integration operation shown in the equations (21) to (24) is performed not in the maximum value ⁇ of the block activity value but in an interval from the block activity value L ⁇ 0 to 0.
  • the sum of the block frequencies to be calculated is the integrated block frequency I of the coordinates of the threshold ⁇ .
  • the same results as in Figure 45 are obtained.
  • Frequency distribution By introducing a query to the table activity values, it is possible to reduce the time required to create the integrated frequency distribution table and to reduce the memory space of the frequency distribution table. There are two types of cases; one is to change the clip value LMT for each layer and the other is to fix the clip value LMT for all layers.
  • FIG. 48 shows a flowchart of the hierarchical encoding process.
  • step SP 2 “4” is registered in the hierarchical counter I that stores the hierarchical number, and the frame of this hierarchical structure is determined.
  • step SP 3 hierarchical data is generated by the generated information amount calculation, and in step SP 4, each block activity is detected.
  • the generated information amount control is performed by creating and registering the multidimensional frequency distribution table described above with reference to FIG. 42 in step SP5, and the optimal control value is determined.
  • the image coding apparatus 100 of the sixth embodiment has a schematic configuration similar to that of the third embodiment (FIG. 11), and converts input image data D 31 into a hierarchical structure.
  • a generated information amount control unit 100B which controls so that the generated information amount in the layer coding encoder unit 100A and the layer coding encoder unit 100A to be encoded and output becomes a target value. It is composed of
  • the color signal component extracted by the color signal detection circuit 54B is detected by the activity detection circuit 54C for each block, and the obtained color signal activity is detected by the threshold value determination circuit 5. Give to 4D.
  • a threshold is once set based on the activity of the luminance signal, and the activating of the color signal is performed using the set threshold. It is configured to determine the degree of visibility and control division of the block according to the determination result.
  • FIG. 53 the waveform of a one-dimensional signal is shown for explanation, and a color image is assumed to be encoded.
  • FIG. 53 (C) shows the result of color signal division when the division is controlled by judging the block activity under a certain threshold value for such a color image signal.
  • FIG. 53 (C) shows that the non-division processing is selected for all the blocks in which the color signals are displayed.
  • the non-division processing may be selected.
  • the signal waveform becomes step-like.
  • the staircase waveform is inconspicuous, but in a flat portion near a place where the luminance signal changes drastically, this staircase waveform is recognized as image quality deterioration of the color signal.
  • the division determination results of the luminance signal and the chrominance signal match, and it is possible to avoid image quality degradation due to the staircase waveform of the chrominance signal at the object outline.
  • this hierarchical coding is applied to an image composed of a plurality of signals, such as a single color image, division determination for each block is not performed for each signal independently, but exists in the same space.
  • the image quality can be improved by performing the division determination in consideration of the relationship between the signals to be divided.
  • a luminance signal and a color signal are used as mutually interrelated signals for forming an image, and the division threshold value of the color signal is changed based on the book activity of the luminance signal.
  • the present invention is not limited to this.
  • three primary color signals of RG ⁇ ⁇ ⁇ are used as signals for forming a color image in correlation with each other, and another signal is determined based on one of the signal characteristics.
  • the division threshold value may be changed. In short, the division threshold value may be selected based on the relationship between signals having mutual relation.
  • a transmission block identification code C1 composed of an information code (hereinafter, referred to as an identification information code) indicating the contents of the transmission block is arranged.
  • the highest-layer coded data D55 is arranged immediately after the transmission block identification code C1, so that when searching for a desired image using the identification code, information is obtained. It is possible to sequentially restore images at high speed by using the uppermost layer encoded data D55 having a small amount. This makes it possible to realize a high-speed data search (quick look) function during playback.
  • a distribution table may be created and used for calculating the amount of generated information. That is, after generating a frequency distribution table for each layer, the cumulative addition value is calculated for the block frequencies from the higher value of the block activity to the value of each block activity, and the cumulative addition value is calculated for each block activity.
  • An integrated frequency distribution may be created by writing to the address corresponding to the value of the activity. Then, the frequency corresponding to each block activity becomes the integrated value of the block frequency having a value equal to or higher than the block activity.
  • the threshold set to a different value for each layer is compared with the block activity to determine block division / non-division.
  • the present invention is not limited to this, and it is also possible to compare a threshold value set to a different value for each layer with a data difference value between layers, and determine whether to divide a block based on the comparison result. .
  • the image data is converted into a PC code by the encoder.
  • the present invention is not limited to this, and another encoding method, for example, an orthogonal encoding method may be applied.
  • the block activity of a predetermined block of each layer data except the lowest layer data having the lowest resolution is detected, and the method of dividing the block corresponding to the block based on the block activity is determined.
  • Division for determination A division flag is generated, and when a determination result indicating that the book activity is smaller than a predetermined threshold is obtained, the plurality of lower blocks corresponding to the book are divided. And a control signal for stopping the determination of the book activity of the plurality of lower blocks and the transmission of the hierarchical data of the plurality of lower blocks.

Description

明 細 書 癸明の名称
画像符号化装置及び方法 技術分野 .
本発明は画像符号化装置及び方法に関し、 例えば所定の画像データを異な る解像度でなる複数の画像データに分割して符号化する画像符号化装置に適 用し得る。 背景技術
従来、 この種の画像符号化装置として、 入力画像データをビラ ミ ッ ド符号 化等の階層符号化の手法を用いて階層的に符号化するものがある （特願平 5 - 142836号公報） 。 この画像符号化装置においては、 高解像度の入力画像デー タを第 1 の階層データとして、 この第 1 の階層データよりも解像度が低い第
2の階層データ、 さらに第 2の階層データよりも解像度が低い第 3の階層デ ータ、 ……を順次再帰的に形成し、 これら複数の階層データを通信路ゃ記録 再生経路でなる伝送路で伝送する。
またこの複数の階層データを復号化する画像復号化装置では、 複数の階層 データについて全て復号化しても良く、 またそれぞれに対応するテレビジョ ンモニタの解像度等に応じて、 何れかの階層データのうち所望の 1 つを選択 して復号化しても良い。 これにより、 階層化された複数の階層データから所 望の階層データのみについて復号化することにより、 必要最小限の伝送デー タ量で所望の画像データを得ることもできる。
ここで、 図 1 に示すように、 この階層符号化として例えば 4階層の符号化 を実現する画像符号化装置 1 では、 それぞれ 3段分の間引きフィルタ 2、 3、 4 と補間フィルタ 5、 6、 7 とを有し、 入力画像データ D 1 について各段の 間引きフィルタ 2、 3、 4 によって順次解像度の低い縮小画像データ D 2、 D 3、 D 4を形成すると共に補間フィルタ 5、 6、 7 により縮小画像データ D 2、 D 3、 D 4を縮小前の解像度に戻す。
各間引きフィ ルタ 2〜 4の出力 D 2〜D 4及び各補間フィルタ 5〜 7の出 力 D 5〜D 7はそれぞれ差分回路 8、 9、 1 0に入力され、 これにより差分 データ D 8、 D 9、 D 1 0が生成される。 この結果画像符号化装置 1 におい ては、 階層データのデータ量を低減すると共に信号電力を低減する。 ここで この差分データ D 8〜D 1 0及び縮小画像データ D 4は、 入力画像データ D 1 に対して、 それぞれ面積が例えば 1、 1/4、 1/16、 1/64倍のサイ ズに選定 されている。
それぞれの差分回路 8〜 1 0より得られる差分データ D 8〜D 1 0及び間 引きフィルタ 4より得る縮小画像データ D 4は、 各符号器 1 1、 1 2、 1 3、 1 4 によって圧縮処理され、 この結果各符号器 1 1、 1 2、 1 3、 1 4から 解像度の異なる第〗 、 第 2、 第 3及び第 4の階層デ タ D 1 1、 D 1 2、 D 1 3及び D 1 4力 所定の順序で伝送路に送出される。
このようにして伝送される第 1〜第 4の階層データ D 1 1〜D 1 4は、 図 2に示す画像復号化装置 2 0 によって復号される。 すなわち第 1 〜第 4の階 層データ D 1 1〜D 1 4 は、 それぞれ復号器 2 1、 2 2、 2 3、 2 4 によつ て復号され、 この結果まず復号器 2 4からは第 4の階層データ D 2 4が出力 される。
また復号器 2 3の出力は加算回路 2 9 において補間フィルタ 2 6 より得ら れる第 4の階層データ D 2 4の補間データと加算され、 これにより第 3の階 層データ D 2 3が復元される。 同様にして復号器 2 2の出力は加算回路 3 0 において補間フィルタ 2 7 より得られる第 3の階層データ D 2 3の補間デー タ と加算され、 これにより第 2の階層データ D 2 2が復元される。 さらに復 号器 2 1 の出力は加算回路 3 1 において補間フィ ルタ 2 8 より得られる第 2 の階層データ D 2 2の補間データと加算され、 これにより第 1階層データ D 2 1 が復元される。
ところがかかる階層符号化方法を実現する画像符号化装置においては、 入 力画像データを複数の階層データに分割して符号化するため、 階層成分だけ データ量が増加し、 その分階層符号化を用いない高能率符号化方法と比較し て圧縮効率が低下するという問題がある。 また圧縮効率を向上しょう と した 場合、 各階層データ間に適用される量子化器によつて画質劣化が発生する問 題がある。
発明の開示
本発明は以上の点を考慮してなされたもので、 画像データを階層符号化す る際に圧縮効率を向上し得ると共に画質劣化を低減し得る画像符号化方法及 び画像符号化装置を提案しょうとするものである。
かかる課題を解決するため、 本発明においては、 再帰的に異なる複数の解 像度でなる複数の階層データを発生するために入力画像信号を符号化する画 像符号化装置において、 画像データの性質に対応した適応的なブロックの分 割の仕方を判定し、 当該判定結果に応じて画像データを分割する判定分割手 段と、 判定分割手段から得られる階層符号化データを伝送する伝送手段とを 設けることにより、 画像データを適応的にプロックに分割することができる ようにする。
また本発明においては、 順次再帰的に異なる複数の解像度でなる複数の階 層データを発生するために入力画像信号を符号化する画像符号化装置におい て、 解像度の最も低い最上位階層データを除く各階層データの所定ブ^1ック のブロックアクティ ビティを検出し、 当該ブロックァクティ ビティに基づい て、 ブ nックの分割の仕方を判定するための分割判定フラグを発生し、 かつ ブロックァクティ ビティが所定のしきい値より小さいことを示す判定結果が 得られたとき、 プロックに対応する複数の下位プロックの分割を中止させる ための分割中止フラグを発生すると共に、 複数の下位プロックのブ口ックァ クティ ビティの判定及び複数の下位ブロックの階層データの伝送を中止させ るために制御信号を発生する判定制御手段と、 ブ口ック毎の判定フラグを符 号化された各階層データと共に伝送する伝送手段とを設けるようにすること により、 ブロックに分割した画像データ と共に判定フラグを伝送するように する。
さらに本発明においては、 順次再帰的に異なる複数の解像度でなる複数の 階層データを発生するために入力画像信号を符号化する画像符号化装置にお いて、 解像度の最も低い最上位階層データを除く各階層データの所定ブ口ッ クのブロックアクティ ビティを検出し、 当該ブ口ックアクティ ビティに基づ いて、 ブロックの分割を判定するための分割判定フラグを発生し、 かつブ η ックァクティ ビティが所定のしきい値より小さいことを示す判定結果が得ら れたときプロックに対応する複数の下位プロックの分割を中止させるための 分割中止フラグを一時的に発生すると共に、 複数の下位ブ ηックの少なく と も 1 つのブロックのブロックァクティ ビティが所定のしきい値以上であるこ とを示す判定結果が得られたとき分割中止フラグを分割を継続するための分 割継続フラグに変更する判定制御手段と、 ブ Dック毎の判定フラグを符号化 された各階層データと共に伝送する伝送手段とを設けることにより、 プロッ クの分割の仕方を判定するための分割判定フラグを見直すことができるよう にする。
さらに本癸明においては、 順次再帰的に異なる複数の解像度でなる複数の 階層データを発生するために入力画像信号を符号化する画像符号化装置にお いて、 解像度の最も低い最上位階層データを除く各階層データの全ブ ηック のブロックアクティ ビティを検出し、 当該ブロックアクティ ビティ に基づい て、 各ブロックの分割を判定するための分割判定フラグを発生し、 かつブ ο ックアクティ ビティが所定のしきい値より小さいことを示す判定結果が得ら れたときプロックの分割を中止させるための分割中止フラグを発生すると共 に、 ブ ックァクティ ビティが所定のしきい値以上であることを示す判定結 果が得られたときブロックの分割を継続するための分割継続フラグを発生す る判定制御手段と、 ブ αック毎の判定フラグを符号化された各階層データと 共に伝送する伝送手段とを設けることにより、 ブ口ックの分割の仕方を独立 的に判定することができるようにする。
さらに本発明においては、 順次再帰的に異なる複数の解像度でなる複数の 階層データを発生するために、 適像を形成するための互いに相互関係を有す る複数の画像形成信号から構成された入力画像信号を符号化する画像符号化 装置において、 解像度の最も低い最上位階層データを除く各階層データの所 定のブ Dックについて、 複数の画像形成信号の中の第 1 の信号に対応するブ ロックアクティ ビティを検出し、 当該ブロックアクティ ビティ に基づいて、 フ'。ック又はプロックに対応する下位ブロックの分割の仕方を判定するため の分割判定フラグを発生し、 かつプロックァクティ ビティが所定のしきい値 より小さいことを示す判定結果が得られたときプロック又はプ ックに対応 する下位プロックの分割を中止させるための分割中止フラグを発生すると共 に、 ブロックアクティ ビティが所定のしきい値以上であることを示す判定結 果が得られたときブロック又はプ ックに対応する下位ブ口ックの分割を継 続するための分割継続フラグを発生し、 かっしきい値を複数の画像形成信号 の中の第 2の信号に基づいて決定する判定制御手段を設けることにより、'第 1 の信号例えば輝度信号によりしきい値を設定すると共に、 第 2の信号例え ば色信号の分割をすることができるようにする。
さらに本発明においては、 順次再帰的に異なる複数の解像度でなる複数の 階層データを発生するための入力画像信号を符号化する画像符号化装置にお いて、 発生情報量を目標値に制御するために、 各階層データの全ブ αックの ブロックァクティ ビティに基づいて、 ブロックァクティ ビティの判定基準で あるしきい値を検出するしきい値検出手段と、 解像度の最も低い最上位階層 データを除く各階層データの所定ブロックのブロックァクティ ビティを検出 し、 そのブロックアクティ ビティ としきい値との比較結果に基づいて、 ブロ ック又はブロックに対応する下位プロックの分割の仕方を判定すると共に分 割をする判定分割手段と、 判定分割手段から得られる階層符号化データを伝 送する伝送手段とを設けることにより、 ブロ ックアクティ ビティが所定のし きい値以下になったとき （すなわち画像の変化が小さ く なつたとき） 下位階 層の分割処理による発生情報量を制御するようにする。
さらに本発明においては、 再帰的に異なる複数の解像度でなる複数の階層 データを発生するために入力画像信号を符号化する画像符号化装置において、 画像データの性質に対応した適応的なブ α ックの分割の仕方を判定し、 当該 判定結果に応じて画像データを分割する判定分割手段と、 判定手段から得ら れる階層符号化データを、 固定長データを伝送した後、 可変長データを伝送 する伝送手段とを設けることにより、 データの伝送効率を改善できるように する。 図面の簡単な説明 - 図 I は従来のビラ ミ ッ ド符号化方法を用いた画像符号化装置を示すブ口ッ ク図である。
図 2は図 1 の画像符号化装置に応じた画像復号化装置を示すブ ηック図で ある。
図 3は本発明による階層符号化の原理の説明に供する略線図である。
図 4は図 3の階層符号化原理を用いた H D標準画像の適応分割結果を示す 図表である。
図 5は図 3の階層符号化原理を用いた H D標準画像め各階層の信号レベル の標準偏差を示す図表である。
図 6は本発明による画像符号化装置の第 1実施例を示すブ口ック図である。 図 7は階層符号化における階層データの構造を示す略線図である。
図 8は第 1実施例の画像復号化装置を示すブ ηック図である。
図 9 は第 1実施例についての他の実施例を示すブ口ック図である。 図 1 0は本発明による画像符号化装置の第 2実施例を示すブ nック図であ る。
図 1 I は本発明による画像符号化装置の第 3実施例を示すプロック図であ る。
図 1 2は図 1 1 の階層符号化エ ンコーダ部を示すブ σック図である。 図 1 3は図 1 2の復号器を示すブロック図である。
図 1 4は図 1 2の符号器を示すブロック図である。
図 1 5は階層構造の説明に供する略線図である。
図 1 6は発生情報量制御部を示すブロック図である。
図 1 7は各階層の度数分布表を示す特性曲線図である。
図 1 8は各階層について得られるしきい値の組み合わせを示す表である。 図 1 9は積算型度数分布表を示す特性曲線図である。
図 2 0は積算型度数分布表を示す特性曲線図である。
図 2 1 は度数分布表を示す特性曲線図である。 '
図 2 2は積算型度数分布表を示す特性曲線図である。
図 2 3は本発明による画像符号化装置の第 4実施例を示すブ πック図であ る。
図 2 4は図 2 3の階層符号化ェンコ一ダ部を示すブ ηック図である。 図 2 5は図 2 4の符号器を示すプロック図である。
図 2 6は発生情報量制御部を示すプロック図である。
図 2 7は各階層の度数分布表を示す特性曲線図である。
図 2 8は度数分布表例を示す特性曲線図である。
図 2 9は度数分布表例を示す特性曲線図である。
図 3 0は度数分布表例を示す特性曲線図である。
図 3 1 は度数分布表を示す特性曲線図である。
図 3 2は積算型度数分布表を示す特性曲線図である。
図 3 3はク リ ップ値を使用した度数分布表を示す特性曲線図である。 図 3 4はク リ ップ値を使用した積算型度数分布表を示す特性曲線図である, 図 3 5は階層符号化の処理手順を示すフ Ώ一チヤ一トである。
図 3 6は本発明による画像符号化装置の第 5実施例を示すブ πック図であ る。
図 3 7は図 3 6の階層符号化工ンコ一ダ部を示すブ σック図である。
図 3 8は図 3 7の符号器を示すブ σック図である。
図 3 9は発生情報量制御部を示すブ口ック図である。
図 4 0は各階層の度数分布表を示す特性曲線図である。
図 4 1 は度数分布表例を示す特性曲線図である。
図 4 2は度数分布表例を示す特性曲線図である。
図 4 3は度数分布表例を示す特性曲線図である。
図 4 4は度数分布表を示す特性曲線図である。
図 4 5は積算型度数分布表を示す特性曲線図である。
図 4 6はク リ ップ値を使用した度数分布表を示す特性曲線図である。
図 4 7はク リ ップ値を使用した積算型度数分布表を示す特性曲線図である c 図 4 8は階層符号化処理を示すフ σ—チャー トである。
図 4 9は本発明による画像符号化装置の第 6実施例を示すブ Dック図であ る。
図 5 0は図 4 9の階層符号化ェ ンコ一ダ部を示すブロック図である。
図 5 1 は図 5 0の符号器を示すブ Dック図である。
図 5 2は階層構造の説明に供する略線図である。
図 5 3は色信号の分割結果を示す信号波形図である。
図 5 4は階層符号化処理を示すフ D—チャー トである。
図 5 5は本発明による画像符号化装置の第 7実施例を示すブ ηック図であ る。
図 5 6は伝送ブ πックのデータ構成を示す概念的な平面図である。 発明の実施するための最良の形態
以下図面について、 本発明の一実施例を詳述する。
〔 1 〕 階層符号化の原理
図 3は全体として本発明による階層符号化の原理として、 例えば高品位テ レビジョン信号等の静止画像を階層符号化して圧縮する場合を示す。 この階 層符号化では下位階層データの単純な算術平均で上位階層データを作り、 伝 送すべき下位階層データを減少させて情報量の増加を伴わない階層構造を実 現する。 また上位階層デー から下位階層データの復号についてはブロック 毎のァクティ ビティ に基づいて適応的に分割を制御することにより、 平坦部 分の情報量を削減する。
ここでアクティ ビティ とは、 上位階層データに対応する下位階層データ領 域を 「ブロック」 と定義した場合の、 所定ブロック内の階層間差分データ D 4 1〜D 4 4の最大値、 平均値、 絶対値和、 標準偏差又は n乗和等で表され る相関値である。 すなわちアクティ ビティが低い場合'には、 このブロックは 平坦なブロックという ことができる。
さらに下位階層データのために行う階層間差分データの符号化では、 その 量子化特性を上位階層データのァクティ ビティ に基づいて、 付加コ一ドなし にブ口ック毎に切り替える事で高能率化を実現する。
すなわちこの階層符号化の階層構造では、 まず入力される高品位テレビジ ヨン信号が最下位階層データとして選択され、 この最下位階層データの 2 ラ イ ン X 2画素の小ブロック中の 4画素 X I〜X 4 について、 次式 m= (X 1 +X 2 +X 3 + X 4 ) / 4 …… ( 1 ) で表される算術平均を取り、 その値 mを上位階層データの値とする。 この下 位階層データでは、 次式 Δ X ! = X i -m (但し i = i〜 3 ) ·'-··· ( 2 ) で示すように、 上位階層データとの階層間差分データを 3画素分だけ用意す ることにより元々の 4画素データと同じ情報量で階層構造を構成する。
—方下位階層データの復号に際しては 3画素 X , 〜； X 3 は、 次式
E CX i ] = Δ X！ +m (但し i = l〜 3 ) …… （ 3 ) で表すように上位階層データの平均値 mにそれぞれの階層間差分データ Δ X i を加えて復号値 E [X i 〕 を求め、 残った 1画素は、 次式
E [X 4 ] =m X 4 - E CX i 〕 一 E 〔X 2 〕 —Ε 〔Χ 3 〕 …… （ 4 ) で表すように上位階層データの平均値 mから下位階層'データの 3個の復号値 を引く ことで復号値 E [ 4 ] を決定する。 なお E 〔〕 は復号値を意味する。 ここでこの階層符号化においては、 上位階層,から下位階層へは解像度及び データ量が階層毎に 4倍になるが、 平坦部ではこの分割を禁止することによ り冗長度を削減している。 この分割の有無を指示するためのフラグが 1 ビッ ト、 ブ πック単位で用意される。 下位階層での分割の必要性の判断は局所的 なアクティ ビティ として、 例えば階層間差分データの最大値で判断する。 この階層符号化の例として I T Eの H D標準画像 （Y信号） を用い、 5階 層に分割して符号化した場合の適応分割結果を、 図 4に示す。 図中では最大 階層間差分データに対するしきい値を変化させたときの各階層の画素数の本 来の画素数に対する割合を示すが、 空間相関に基づく冗長度削減のようすが わかる。 削減効率は画像によって変わるが最大階層間差分データに対するし きい値を 〗 〜 6と変化させると、 平均的な削減率は 28〜69 〔％〕 になる。 実際上上位階層データの解像度を 4倍にして下位階層データを作り、 その とき下位階層データでは上位階層データからの階層間差分データを符号化す ることにより、 信号レベル幅を有効に削減できる。 図 4 について上述した階 層符号化による 5階層の場合を、 図 5に示すが、 ここでは階層を下位から数 えて第 1 ~ 5階層としている。 原画像の 8 ビッ ト P C Mデータに比べて、 信 号レベル幅が削減されていることがわかる。 特に画素数の多い第 1 〜 4階層 は階層間差分データなので、 大幅な削減が達成でき、 以降の量子化で効率が 向上する。 図 5からわかるように削減効率の絵柄への依存性は少なく、 全て の絵に対して有効である。
また下位階層データの平均値を用いて上位階層データを作ることによりェ ラー伝播をブロック内に留めながら、 下位階層データを上位階層データの平 均値からの差分に変換し、 これにより効率の良さをも合わせ持たせることが できる。 実際上階層符号化では同一空間的位置での階層間のァクティ ビティ には相関があり、 上位階層データの量子化結果から下位階層データの量子化 特性を決定することにより、 受信側 （デコー ド側） に送信側 （エンコー ド側 ) で用いた量子化情報を伝送する必要のない （但し初期値を除く） 適応量子 化器を実行できる。
実際上、 上述した 5段階の階層構造に基づいて画像を階層符号化して複数 の解像度で表現し、 階層構造を利用した適応分割及び適応量子化を行い、 か く して各種 H D標準画像 （ 8 ビッ トの Y Z P B Z P R ) を約 1ノ 8に圧縮す ることができる。 また適応分割のために用意されるブロック毎の付加コー ド は、 圧縮効率の向上のために各階層でラ ンレングス符号化が行われる。 この ようにして各階層で充分な画質の画像が得られ、 最終的な最下位階層も視覚 的劣化のない良好な画像を得ることができる。 〔 2〕 第 1実施例
( 1 ) 第 1実施例の画像符号化装置
図 6において、 1 4 0は全体として本発明による画像符号化装置を示し、 例えば高品位テレビジョン信号等の静止画像でなる入力画像データ D 1 3 1 を上述した階層符号化手法により 5階層に分割すると共に、 この結果得られ る最下位階層データと 4階層分の階層間差分データ と符号化する。 実際上画 像符号化装置 1 4 0においては、 入力画像データ D 1 3 1が第 1の差分回路 1 4 1及び第 1の平均化回路 1 4 2に入力される。
第 1の平均化回路 1 4 2は、 図 7に示すように、 最下位階層である第 1階 層データでなる入力画像データ D 1 3 1の 4画素 X I ( 1 ) 〜X 4 ( 1 ) か ら、 第 2階層データ D 1 3 2の画素 X 1 ( 2 ) を生成する。 この第 2の階層 データ D 1 3 2の画素 X 1 ( 2 ) に隣接する画素 X 2 ( 2 ) 〜X 4 ( 2 ) も 同様に第 1階層データ D 1 3 1の 4画素平均により生成される。 また第 2階 層データ D 1 3 2は第 2の差分回路 1 4 3及び第 2の平均化回路 1 4 4に入 力される。 第 2の平均化回路 1 4 4は、 例えば第 2階層データ D 1 3 2の画 素 X I ( 2) 〜X 4 ( 2) の 4画素平均により、 第 3階層データ D 1 3 3の 画素 X 1 ( 3 ) を生成する。 この第 3階層データ D 1 3 3の画素 X 1 ( 3 ) に隣接する画素 X 2 ( 3 ) 〜X 4 ( 3 ) も同様に第 2階層データ D 1 3 2の 4画素平均により生成される。 ,
さらに第 3階層データ D 1 3 3は第 3の差分回路 1 4 5及び第 3の平均化 回路 1 4 6に入力される。 第 3の平均化回路 1 4 6も、 上述と同様に第 3階 層データ D 1 3 3の画素 X 1 ( 3 ) 〜X 4 ( 3 ) の 4画素平均により、 第 4 階層データ D 1 3 4の画素 X I ( 4) 〜X 4 ( 4) を生成する。 この第 4階 層データ D 1 3 4は第 4の差分回路 1 4 7及び第 4の平均化回路 1 4 8に入 力される。 第 4の平均化回路 1 4 8も、 上述と同様に第 4階層データ D 1 3 4の画素 X 1 ( ) -X 4 (4) の 4画素平均により、 最上位階層となる第 5階層データ D 1 3 5を生成する。
実際上この第 1〜第 5階層データ D 1 3 1〜D 1 3 5のブ πックサイズは、 最下位階層である第 1階層データ D 1 3 1のプロックサイズを 1 X 1 とする と、 第 2階層データ D 1 3 2は 1/2 X 1/2 、 第 3階層データ D 1 3 3は 1/4 x 1/4 、 第 4階層データ D 1 3 4は 1/8 X 1/8 、 最上位階層データである第 5階層データ D 1 3 5は l/16x 1/16となる。
このようにして 5つの階層データ D 1 3 1〜D 1 3 5のうち最上位階層の 第 5階層データ D 1 3 5以外の第 1〜第 4階層データは、 （ 2 ) 式について 上述したように、 第 1、 第 2、 第 3及び第 4の差分回路 1 4 1、 1 4 3、 1 4 5、 1 4 7で互いに差分演算され、 この演算結果が階層間差分データ D 1 4 0、 D 1 4 1、 D 1 4 2、 D 1 4 3として生成される。
実際上、 先ず第 4の差分回路 1 4 7において第 5階層データ D 1 3 5と第 4階層データ 1 3 4とが差分演算されて、 第 4階層の階層間差分データ D 1 4 3が生成され、 次に第 3の差分回路 1 4 5において第 4階層データ D 1 3 4と第 3階層データ D 1 3 3とが差分演算されて、 第 3階層の階層間差分デ ータ D 1 4 2が生成される。 さらに次に第 2の差分回路 1 4 3において第 3 階層データ D 1 3 3と第 2階層データ D 1 3 2とが差分演算されて、 第 2階 層の階層間差分データ D 1 4 1が生成され、 最後に第' 1の差分回路 1 4 1 に おいて第 2階層データ D 1 3 2と第 1階層データ D 1 3 1 とが差分演算され て、 第 1階層の階層間差分データ D 1 4 0が生成される。
このようにこの実施例の画像符号化装置 1 4 0においては、 第 5階層デ一 タ D 1 3 5、 第 4階層〜第 1階層の階層間差分データ D 1 4 3〜D 1 4 0を この順序で順次生成する。 このとき画像符号化装置 1 4 0においては、 （ 2 ) 式について上述したように、 上位階層データに対して下位階層データを関 連付けて生成し、 符号器 1 5 4〜 1 5 7により上位階層 1画素に対応する下 位階層 4画素のうち 1画素を減らすことにより、 符号化対象としての画素数 を増加させないようになされ、 これにより画像データを複数階層に分解して 符号化する場合でも圧縮効率の低下を回避し得るようになされている。
これらの階層間差分データ D 1 4 0〜D 1 4 3は、 それぞれ分割制御回路 1 5 0、 1 5 1、 1 5 2、 1 5 3に入力される。 この分割制御回路 1 5 0〜 1 5 3は、 階層間差分データ D 1 4 0〜D 1 4 3内の所定プロックが平坦な 部分か否かを表すプロックアクティ ビティのしきい値 T haとの判定を上位階 層の階層間差分データ D 1 4 3〜D 1 4 0から毎回行い、 以下の階層間差分 データ D 1 4 2〜D 1 4 0を伝送するか否かを決定する。 例えば第 4階層の 階層間差分データ D 1 4 3のブロック内のアクティ ビティを Aとしたとき、 次式
A < T ha …… （ 5 ) を満足するならば、 画像データが平坦な部分であり劣化が発生し難いプロッ クであると判定して、 伝送しない旨の判定フラグ Fを設定する。 このように して分割制御回路 1 5 0〜 1 5 3は、 各階層の階層間差分データ D 1 4 0〜 D 1 4 3の全ブロックについて、 ブロックアクティ ビティのしきい値 T haと の判定を毎回行い、 対応するブ口ックを伝送するか否かを示す判定フラグ F が、 制御コー ド発生回路 1 5 9に送出される。
これと共に分割制御回路 1 5 3は、 第 3階層の分割制御回路 1 5 2に制御 信号 C 3を送出する。 この結果第 3階層の分割制御回路 1 5 , 2は階層間差分 データ D 1 4 2の伝送を無条件に中止する。 第 3、 第 2階層の分割制御回路 1 5 2は伝送の無条件中止を表す制御信号 C 3、 C 2を受け取ると、 これを それぞれそのまま下位の分割制御回路 1 5 1、 1 5 0へ制御信号 C 2、 C 1 として送出する。 これにより分割制御回路 1 5 3〜 1 5 0の制御によって、 下位の全て階層の階層間差分データ D 1 4 2〜D 1 4 0の伝送が無条件に中 止される。
このようにして、 分割制御回路 1 5 0〜 1 5 3から送出される各階層の階 層間差分データ D 1 4 0〜D 1 4 3は、 符号器 1 5 4 ~ 1 5 7に送出される。 また最上位階層の第 5階層データ D 1 3 5はそのまま符号器 1 5 8に送出さ れる。 符号器 1 5 4〜 1 5 7は、 差分データの符号化に適した非線形符号化 の手法によって、 階層間差分データ D 1 4 0〜D 1 4 3を圧縮符号化し、 こ れにより第 1 〜第 4階層圧縮符号化データ D 1 4 5〜D 1 4 8が生成される, また符号器 1 5 8は平均値データでなる画像データの符号化に適した線形符 号化の手法によって、 第 5階層データ D 1 3 5を圧縮符号化し、 これにより 第 5階層圧縮符号化データ D 1 4 9が生成される。
また各分割制御回路 1 5 0〜 1 5 3 より送出される判定フラグ Fは制御コ 一ド発生回路 1 5 9に入力される。 これにより制御コ一ド発生回路 1 5 9は- 各階層及び各ブロック毎の判定フラグ Fで構成された制御コー ド D 1 δ 0を 発生する。 この制御コー ド D 1 5 0及び第 1 〜第 5階層圧縮符号化データ D 1 4 5〜D 1 4 9はラ ンレングス符号化等で符号化された後、 所定の伝送デ —タ形成部 （図示せず） によってフレーミ ングされ、 伝送路に送出される。 このようにして伝送される第 1〜第 5階層圧縮符号化データ D 1 4 5 ~ D
1 4 9及び制御コー ド D 1 5 0は図 8に示す画像復号化装置 1 6 0で復号化 される。 すなわち第 1 〜第 5階層圧縮符号化データ D 1 4 5〜D 1 4 9は、 それぞれ符号器 1 5 4〜 1 5 8の符号化と逆の復号化手法を有する復号器 1 6 1 〜 1 6 5に入力される。 この結果復号器 1 6 1 〜 1 6 4でそれぞれ復号 された第 1 〜第 4階層の階層間差分データ D 1 5 1 〜D 1 5 4力 <、 それぞれ 第 1 〜第 4階層の分割制御回路 1 7 0〜 1 7 3を通じて、 第 〜第 4の加算 器 1 7 5〜 I 7 8に入力される。
また第 5階層圧縮符号化データ D 1 4 9は復号器 1 6 5で復号され、 この 結果得られる第 5階層データ D 1 5 5力 <、 そのまま出力されると共に第 4の 加算回路 1 7 8に入力される。 第 4の加算回路 1 7 8は第 5階層データ D 1 5 5 と第 4階層の階層間差分データ D 1 5 4 とを加算して第 4階層データ D
1 5 9を復元し、 これを出力すると共に第 3の加算回路 1 7 7に送出する。 同様にして第 3の加算回路 1 7 7は復元された第 4階層データ D 1 5 9 と 第 3階層の階層間差分データ D 1 5 3 とを加算して第 3階層データ D 1 5 8 を復元し、 これを出力すると共に第 2の加算回路 1 7 6に送出する。 以下同 様にして第 2、 第 1 の加算回路 1 7 6、 1 7 5から、 第 2階層データ D 1 5 7、 第 1階層データ D 1 5 6が復元され、 このようにして第 1 〜第 4、 第 5 階層データ D 1 5 6〜D 1 5 9、 D 1 5 5が出力される。
制御コ一 ド D 1 5 0は制御コ一ド解析回路 1 6 6に入力される。 制御コ一 ド解析回路 1 6 6は、 入力される制御コー ド D 1 5 0に基づいて階層間差分 データの伝送中止が発生したか否かを解析し、 この解析結果を伝送中止フラ グ Fと して分割制御回路 1 7 0〜1 7 3に送出する。 分割制御回路 1 7 0〜 1 7 3は入力される伝送中止フラグ Fに基づいて、 階層間差分データの伝送 中止が発生したことを検出すると、 階層間差分データに代えて、 例えばダミ 一データとして値 「 0」 の階層間差分データを発生し、 これを加算回路 1 7 5〜 1 7 8に送出する。
このようにして、 画像符号化装置 1 4 0で階層間差分データのブロックァ クテイ ビティに従って、 不要なブ ックの階層間差分デ タを伝送せずに、 伝送中止を表す制御データのみを伝送するようにしたことにより、 画像復号 化装置 1 6 0で制御データに基づいて階層データを確実に復元することがで きる。
以上の構成によれば、 最上位階層を除く各階層の階層間差分データの所定. ブロックについてプ ックァクティ ビティを判定し、 プロックァクティ ビテ ィが所定のしきい値未満のとき、 隣接下位階層の階層間差分データでプロッ クに対応する複数の下位ブ αックの判定フラグとして分割中止フラグを設定 すると共に、 複数の下位プロックのプロックアクティ ビティの判定及び複数 の下位プロックの伝送を中止し、 ブ ック毎の判定フラグを符号化コ一ドと 共に伝送するようにしたことにより、 階層間差分データのプロックァクティ ビティ に従って不要なプロックの符号化データを伝送しないようにし得、 符 号量を減少させ符号化データの圧縮効率を向上し得る画像符号化方法及び画 像符号化装置を実現できる。
( 2 ) 第 1実施例についての他の実施例 ( 2— 1 ) 上述の実施例においては、 階層間差分データのブロックでブ Dッ クアクティ ビティを判定し、 ブロックァクティ ビティが所定のしきい値未満 のとき、 下位の階層に分割中止を指示する制御信号 C 1、 C 2、 C 3を送出 すると共に、 下位の階層間差分データでプロックに対応する複数の下位ブ D ックの判定フラグとして分割中止フラグを設定して伝送を中止した場合につ いて述べたが、 本発明はこれに限らず、 図 9に示すようにブロック Τクティ ビティが所定のしきい値未満のとき、 下位の階層に分割中止を指示する制御 信号 C l、 C 2、 C 3を送出すると共に、 下位の階層間差分データでブロッ クに対応する複数の下位プロックの判定フラグとして一旦分割中止フラグを 設定し、 この複数の下位ブロックのいずれかのブロックのブロックァクティ ビティが所定のしきい値以上のとき、 上位階層の分割制御回路 5 1、 5 2又 は 5 3に分割をし直す制御信号 C 4、 C 5、 C 6を送出すると共に、 分割中 止フラグを分割継続フラグに変更し、 ブロック毎の判定フラグを符号化コー ドと共に伝送するようにしても良い。
因に、 これを実現するためには、 図 6について上述した画像符号化装置に おいて、 分割制御回路で全て階層間差分データについてブ nックァクティ ビ ティの判定を行い、 上位の分割制御回路から伝送中止の制御データが入力さ れた場合でも、 ブロックァクティ ビティがしきい値以上であることを検出し た場合には、 下位の分割制御回路から上位の分割制御回路に対して伝送中止 を伝送継続に変える指示を送出するようにすれば良い。
( 2 - 2 ) 上述の実施例においては、 画像データを順次再帰的に異なる複数 の解像度でなる複数の階層データに分割し、 解像度の最も低い最上位階層デ ータと、 その最上位階層データを除く各階層データ及び隣接上位階層データ の差分値でなる複数階層分の階層間差分データとを符号化する場合について 述べたが、 本発明はこれに限らず、 画像データを順次再帰的に異なる複数の 解像度でなる複数の階層データに分割して符号化する場合にも適用し得る。 この場合、 ブロックアクティ ビティの判定も階層間差分データに代えて、 階 層データのブロックについて行うようにすれば、 上述の実施例と同様の効果 を実現できる。
( 2— 3 ) また ±述の実施例においては、 ブロックアクティ ビティ としてブ ロック内の最大値としきい値との判定を行う場合について述べたが、 本発明 はこれに限らず、 プロックァクティ ビティ として、 ブロック内の平均値、 絶 対値和、 標準偏差、 n乗和等とじきい値との判定を行うようにして良く、 さ らにブロック内で所定のしきい値を越えたデータの度数を用いるようにして も、 上述の実施例と同様の効果を実現できる。
( 2 - 4 ) また上述の実施例においては、 複数の階層データに分割する際、 画像データ又は隣接下位階層データの所定プロック毎の算術平均より順次隣 接上位階層データを再帰的に形成するようにした場合について述べたが、 本 発明はこれに限らず、 所定の重み付けして平均を取るような加重平均によつ て、 隣接上位階層データを再帰的に形成するようにして良く、 さらに間引き 等他の手法によって上位階層データを再帰的に形成す έような場合にも適用 し得る。
( 2— 5 ) また上述の実施例においては、 ブロック内のブロックァクテイ ビ ティを判定して、 下位階層のデータの伝送を中止するようにした場合につい て述べたが、 伝送を中止するか否かはブロックアクティ ビティに限らず、 他 の画像データの性質を用いるようにしても良く、 このように画像データの性 質に対応して適応的なブコックの分割を実行するようにすれば、 符号化効率 を改善し得る。
( 3 ) 上述のように本発明によれば、 画像データを再帰的な階層表現を用い て表して階層符号化する際に、 画像データの性質に対応した適応的なブ口ッ クの分割を実行して符号化すると共に、 その分割結果で得られる階層符号化 データを伝送するようにして、 適応的に下層のブ ックの分割を行う ことに より、 画像の平坦な部分等の情報量を削減することができる画像符号化方法 及び画像符号化装置を実現できる。
解像度の最も低い最上位階層データを除く階層データの所定ブ αックにつ いてプロックアクティ ビティ を判定し、 ブロックァクティ ビティが所定のし きい値未満のとき、 隣接下位階層データでプロックに対応する複数の下位ブ ロックの判定フラグとして分割中止フラグを設定すると共に、 複数の下位ブ 口ックのプロックァクティ ビテイの判定及び複数の下位ブロックの伝送を中 止し、 プロック毎の判定フラグを符号化コー ドと共に伝送するようにしたこ とにより、 階層データのブロックァクティ ビティ に従って不要なブロックの 符号化データを伝送しないようにし得、 符号量を減少させ符号化データの圧 縮効率を向上し得る画像符号化方法及び画像符号化装置を実現できる。 また最上位階層を除く各階層の階層間差分データの所定プロックについて ブロックアクティ ビティを判定し、 ブロックァクティ ビティが所定のしきい 値未満のとき、 隣接下位階層の階層間差分データでブ ηックに対応する複数 の下位ブロックの判定フラグとして分割中止フラグを設定すると共に、 複数 の下位ブ σックのブ ϋックァクティ ビティの判定及び複数の下位プロックの 伝送を中止し、 プロック毎の判定フラグを符号化コ一ドと共に伝送するよう にしたことにより、 階層間差分データのプロックアクティ ビティに従って不 要なブ Πックの符号化データを伝送しないようにし得、 符号量を減少させ符 号化データの圧縮効率を向上し得る画像符号化方法及び画像符号化装置を実 現できる。
また解像度の最も低い最上位階層データを除く階層データ中の所定プロッ クについてプロックァクティ ビティを判定し、 ブロックァクティ ビティが所 定のしきい値未満のとき、 隣接下位階層データでプロックに対応する複数の 下位ブ ックの判定フラグとして一旦分割中止フラグを設定し、 複数の下位 ブロックのいずれかのプロックのブロックァクティ ビティが所定のしきい値 以上のとき、 分割中止フラグを分割継続フラグに変更し、 ブロック毎の判定 フラグを符号化コ一ドと共に伝送するようにしたことにより、 階層データの ブロックァクティ ビティに従って画質の劣化を未然に防止してブ口ックを必 要性を判断して、 不要な符号化データを伝送しないようにし得、 符号量を減 少させ符号化データの圧縮効率を向上し得る画像符号化方法及び画像符号化 装置を実現できる。
また最上位階層を除く各階層の階層間差分データの所定ブ uックについて ブロックアクティ ビティを判定し、 ブロックアクティ ビティが所定のしきい 値未満のとき、 隣接下位階層データでブ πックに対応する複数の下位ブ π ッ クの判定フラグとして一旦分割中止フラグを設定し、 複数の下位プロックの いずれかのブ σックのプロックァクティ ビティが所定のしきい値以上のとき、 分割中止フラグを分割継続フラグに変更し、 ブ tiック毎の判定フラグを符号 化コー ドと共に伝送するようにしたことにより、 階層間差分データのブロッ クァクティ ビティに従って画質の劣化を未然に防止してプ ックを必要性を 判断して、 不要な符号化データを伝送しないようにし得、 符号量を減少させ 符号化データの圧縮効率を向上し得る画像符号化方法 ¾び画像符号化装置を 実現できる。
〔 3〕 第 2実施例
( 1 ) 第 2の実施例の画像符号化装置
図 6 との対応部分に同一符号を付して示す図 1 0は第 2実施例を示すもの で、 この場合画像符号化装置 9 0の分割制御回路 1 5 0〜 1 5 3は、 階層間 差分データ D 1 4 0〜D 1 4 3内の所定プロックが平坦な部分か否かを表す ブロックァクティ ビティのしきい値 T haとの判定を各階層の階層間差分デー タ D 1 4 0〜D 1 4 3の各プロックについて毎回行い、 当該階層間差分デー タ D 1 4 0〜： D 1 4 3の対応ブロックを伝送するか否かの処理を決定する。 例えば第 4階層の階層間差分データ D 1 4 3のブロック内のァクティ ビテ ィを Aとしたとき、 次式 A < T ha ( 6 ) を満足するならば、 画像データが平坦な部分であり劣化が発生し難いブロッ クであると判定して、 当該ブ αックを伝送しない旨の判定フラグ Fを設定す る。 このようにして分割制御回路 1 5 0 ~ 1 5 3は、 各階層の階層間差分デ —タ D l 4 0〜D 1 4 3の全ブ όックについて、 ブロックァクティ t"ティの しきい値 T haとの判定を毎回行い、 対応するブロックを伝送するか否かの判 定フラグ Fが、 制御コ一ド発生回路 1 5 9に送出される。
またこのようにして、 分割制御回路 1 5 0〜 1 5 3から送出される各階層 の階層間差分データ D 1 4 0〜D 1 4 3は、 符号器 1 5 4、 1 5 5、 1 5 6、 1 5 7に送出され、 最上位階層の第 5階層データ D 1 3 5は、 そのまま符号 器 1 5 8に送出される。 符号器 1 5 4、 1 5 5、 1 5 6、 1 5 7は、 差分デ ータの符号化に適した非線形符号化の手法によって、 階層間差分データ D 1 4 0〜D 1 4 3を圧縮符号化し、 これにより第 1 〜第' 4階層圧縮符号化デー タ D 1 4 5〜D 1 4 8が生成される。 また符号器 1 5 8は平均値データでな る画像データの符号化に適した線形符号化の手法によって、 第 5階層データ D 1 3 5を圧縮符号化し、 これにより第 5階層圧縮符号化データ D 1 4 9が 生成される。 この第 1〜第 5階層圧縮符号化データ D I 4 5〜D 1 4 9及び 制御コー ドは所定の伝送データ形成部 （図示せず） によってフレーミ ングさ れ、 伝送路に送出される。
このようにして、 画像符号化装置 1 9 0で階層間差分データのブ口ックァ クテイ ビティを判定し、 不要なブロックを伝送せずに、 伝送中止を表す制御 データのみを伝送するようにしたことにより、 画像復号化装置 1 6 0 (図 8 ) で制御データに基づいて階層データを確実に復元することができる。
以上の構成によれば、 最上位階層を除く各階層の階層間差分データの全ブ ロックについて、 毎回プロックァクティ ビティを判定し、 その判定結果に応 じてブロック内の階層間差分データの処理を選択するようにしたことにより、 ブ ック内の発生情報量を個別に制御して削減でき、 かく して画像データを 階層符号化する際の圧縮効率を向上し得る。
( 2 ) 第 2実施例についての他の実施例
( 2 - 1 ) 上述の実施例においては、 画像データを順次再帰的に異なる複数 の解像度でなる複数の階層データに分割し、 解像度の最も低い最上位階層デ 一夕と、 その最上位階層データを除く各階層データ及び隣接上位階層データ の差分値でなる複数階層分の階層間差分データとを符号化する場合について 述べたが、 本発明はこれに限らず、 画像データを順次再帰的に異なる複数の 解像度でなる複数の階層データに分割して符号化する場合にも適用し得る。 この場合、 ブロックアクティ ビティの判定も階層間差分データに代えて、 階 層データのプロックについて行うようにすれば、 上述の実施例と同様の効果 を実現できる。
( 2 - 2 ) 上述の実施例においては、 ブロックアクティ ビティ としてブ ッ ク内の最大値としきい値との判定を行う場合について述べたが、 本発明はこ れに限らず、 ブロックァクティ ビティ として、 ブ nック内の平均値、 絶対値 和、 標準偏差、 n乗和等としきい値との判定を行うようにして良く、 さらに ブ πック内で所定のしきい値を越えたデータの度数を用いるようにしても、 上述の実施例と同様の効果を実現できる。
( 2— 3 ) 上述の実施例においては、 複数の階層データに分割する際、 画像 データ又は隣接下位階層データの所定ブ nック毎の算術平均より順次隣接上 位階層データを再帰的に形成するようにした場合について述べたが、 本発明 はこれに限らず、 所定の重み付けして平均を取るような加重平均によって、 隣接上位階層データを再帰的に形成するようにして良く、 さらに間引き等他 の手法によって上位階層データを再帰的に形成するような場合にも適用し得 る。 ( 3 ) 上述のように本発明によれば、 解像度の最も低い最上位階層データを 除く階層データの全プロックについて毎回プロックァクティ ビティを判定し. その判定結果に応じてブロック内の階層データの処理を選択するようにした ことにより、 ブロック内の発生情報量を個別に制御して削減でき、 かく して 画像データを階層符号化する際の圧縮効率を向上し得る画像符号化方法及び 画像符号化装置を実現できる。 ·
また最上位階層を除く各階層の階層間差分データの全ブ σックについて、 毎回ブ ηックァクティ ビティを判定し、 その判定結果に応じてブロック内の 階層間差分データの処理を選択するようにしたことにより、 ブロック内の発 生情報量を個別に制御して削減でき、 かく して画像データを階層符号化する 際の圧縮効率を向上し得る画像符号化方法及び画像符号化装置を実現できる。
〔 4〕 第 3実施例
( 1 ) 第 3実施例の画像符号化装置 '
図 1 1 は第 3実施例の画像符号化装置 4 0を示し、 入力画像データ D 3 1 を階層符号化して出力する階層符号化工ンコ,一ダ部 4 0 Αと階層符号化ェン コーダ部 4 0 Aにおける発生情報量が目標値を達成するように制御する発生 情報量制御部 4 0 Bとによって構成されている。
階層符号化エンコーダ部 4 0 Aはデータ遅延用のメモリ （図示せず） とェ ンコーダとによって構成されている。 このうちメモリ は発生情報量制御部 4 0 Bにおいて最適制御値が決定されるまでの間、 ヱンコード処理が実行され ないようにデータを遅延できるよう入力段に設けられている。
一方、 発生情報量制御部 4 0 Bは入力画像データを入力して処理対象デー 夕に適合したしきい値 T Hを決定するようになされており、 階層符号化工ン コーダ部 4 0 Aにおいて入力画像データが効率良く符号化されるように決定 された最適制御値をエンコーダに伝送するようになされている。 いわゆるフ イー ドフォヮ一ド型のバッファリ ングの構成である。 この構成により正確な 発生情報量制御とフィー ドフォワー ド型バッファリ ングによって発生する時 間遅れを排除することができるようになされている。
( 2 ) 階層符号化エンコーダ部 4 O A
( 2— 1 ) ブロック構成
階層符号化エンコーダ部 4 0 Aは図 1 2に示す構成でなり、 この例の場合、 5階層に分けて処理する。
まず入力画像データ D 3 1 が第 1 の差分回路 4 1及び第 1 の平均化回路 4 2に入力される。 第 1 の平均化回路 4 2は、 入力画像データ D 3 1 (すなわ ち第 1階層データ （最下位階層データ） ） の 4画素平均により第 2階層デー タ D 3 2を生成する。 この実施例の場合、 第 1 の平均化回路 4 2は、 図 1 5 (D) 及び （E) に示すように、 入力画像データ D 3 1 の 4画素 Xl(l)~X 4(1)から第 2階層データ D 2の画素 Xl(2)を生成する。
また第 2階層データ D 3 2の画素 Xl(2)に隣接する画素 X2(2)〜X4(2)も 同様に第 1階層データ D 3 1 の 4画素平均を求めることにより生成される。 第 2階層データ D 3 2は第 2の差分回路 4 3及び第 2の平均化回路 4 4に 入力され、 第 2の平均化回路 4 4は、 第 2階層データ D 3 2の 4画素平均に より第 3階層データ D 3 3を生成する。 例えば、 図 1 5 (C) 及び （D) に 示す第 2階層データ D 3 2の画素 Xl(2)〜X4(2)から第 3階層データ D 3 3 の画素 Xl(3)が生成されると共に、 画素 Xl(3)に隣接する画素 X2(3)~X4( 3)も同様に第 2階層データ D 3 2の 4画素平均により生成される。
第 3階層データ D 3 3は第 3の差分回路 4 5及び第 3の平均化回路 4 6 に 入力され、 第 3の平均化回路 4 6は上述の場合と同様に第 3階層データ D 3 3の 4画素平均により図 1 5 (B) 及び （C) に示すように、 画素 X l(4)〜 X4(4)でなる第 4階廇データ D 3 4を生成する。
第 4階層データ D 4 4は第 4の差分回路 4 7及び第 4の平均化回路 4 8に 入力され、 第 4の平均化回路 4 8は、 第 4階層データ D 3 4の 4画素平均に より最上位階層となる第 5階層データ D 3 5を生成する。 すなわち図 1 5 ( A ) 及び （B ) に示すように、 第 4階層データ D 3 4の 4画素 X 1 (4)〜X 4 ( 4)を平均化することにより第 5階層データ D 3 5の画素 X I (5)が生成される。 ここで第 1 〜第 5階層データ D 3 1〜D 3 5のブロックサイズは、 最下位 階層である第 1階層データ D 3 1 のブロックサイズを 1 ライ ン X 1画素とす ると、 第 2階層データ D 3 2は 1 2 ライ ン X 1 2画素、 第 3階層データ D 3 3は 1 2ライ ン X I 4画素、 第 4階層データ D 3 4は 1 / 8 ライ ン X 1 / 8画素、 最上位階層データである第 5階層データ D 3 5は 1 1 6 ラ イ ン X 1ノ 1 6画素となる。
階層符号化エンコーダ部 4 O Aは、 これら第 1 〜第 5の階層データ D 3 1 〜D 3 5のうち最上位の階層データ （すなわち第 5の階層データ D 3 5 ) か ら順に再帰的処理を繰り返して隣接する 2つの階層データ間の差分を差分回 路 4 1、 4 3、 4 5、 4 7において求め、 差分データのみを符号器 5 1〜 5 5によって圧縮符号化する。 これにより階層符号化ェ ンコーダ部 4 O Aは伝 送路に伝送される情報量を圧縮するようになされている。 また階層符号化工 ンコーダ部 4 0 Aは、 （ 2 ) 式について上述したように、 符号器 5 1〜 5 4 により、 上位階層 1画素に対応する下位階層 4画素のうち 1画素を減らすこ とにより、 伝送データ量を低減する。
このような圧縮条件を最適に保っため階層符号化エ ンコーダ部 4 0 Aは、 各階層ごとに得られた伝送データ D 5 1〜D 5 5を復号器 5 6〜 5 9によつ て復号する。
このうち最上位の階層に対応する復号器 5 9は符号器 5 5において圧縮符 号化された第 5の階層データ D 3 5に対応する復号データ D 4 8を伝送デー タ D 5 5から復号し、 これを第 4階層の差分回路 4 7に与える。
これに対して他の復号器 5 1 ~ 5 4は、 それぞれ分割 非分割処理の有無 を示すフラグに基づいて復号動作を切換える。 すなわち分割処理がなされて いる場合には、 伝送データ D 5 2〜D 5 4 として伝送される差分データから 復号処理によって上位の階層データ （すなわち第 4、 第 3、 第 2の階層デー タ） を復号して第 3階層の差分回路 4 5、 第 2階層の差分回路 4 3、 第 1の 階層データ 4 1 にそれぞれ与えるようになされている。
これにより各差分回路 4 1、 4 3、 4 5、 4 7からは隣接する階層間につ いての差分データ D 4 1、 D 4 2 D 4 3、 D 4 4が得られることになる。 実際上、 復号器 5 8、 5 7、 5 6は、 図 1 3に示すように構成されている : ここでは簡単化のため復号器 5 8について説明する。 復号器 5 8は復号化回 路 5 8 Aに第 4階層圧縮符号化データ D 5 4を受けてこれを復号する。 この 結果復号化回路 5 8 Aからは、 例えば図 1 5に示す X 1 ( 4 ) - I ( 5 ) 、 X2 ( 4) 一 XI ( 5 ) s X3 ( 4 ) -XI ( 5) の出力値が得られる。 こ の出力値は続く加算回路 5 8 Bにおいて復元データ D 4 8と加算されること により XI ( 4) 、 X2 ( 4) 、 X3 ( 4 ) の出力値が得られる。 差分値生 成回路 5 8 Cは XI (4) 、 X2 (4) 、 X3 ( 4) 及び XI ( 5) を用い て、 （4) 式に基づく演算を施すことにより非伝送画 X4 (4) を生成す る。 従って続く合成回路 5 8 Dからは、 差分前の第 4階層データ XI (4) 、 X2 ( 4) 、 X3 (4) 、 X 4 (4) が生成され、 これが差分回路 4 5に与 られる。
各階層に対応する符号器 5 1〜 5 4は差分回路 4 1、 4 3、 4 5、 4 7や 平均化回路 4 8によって得られた差分データ D 4 1、 D 4 2、 D 4 3、 D 4 4又は第 5の階層データ D 3 5を入力し、 各ブロックについて得られるァク テイ ビティに対するしきい値の判定と分割選択処理を実行する。
このとき符号器 5 1〜 5 4は、 処理対象が分割ブ nックの場合、 階層間で 得られた差分データをそのまま圧縮符号化し、 同時に各プロックについての 分割判定フラグをつけて伝送する。
これに対して符号器 5 1〜5 4は、 処理対象が非分割ブ1□ックの場合、 こ のブ Ώックは受信側において上位階層データで置き換えられるものとして符 号対象から除外する。 因にこの場合にも各ブ nックについての分割判定フラ グは付けて伝送される。
これら 5組の符号器 5 1〜 5 5から出力される第 1 〜第 5の階層圧縮符号 化データ D 5 1〜D 5 5が所定の伝送データ形成部 （図示せず） によってフ レーミ ングされ、 伝送路に送出される。
ここで符号器 5 1、 5 2、 5 3及び 5 4は図 1 4に示すように構成されて いる。 図 1 4では簡単化するため符号器 5 2及び 5 3の構成について示す。 すなわち差分データ D 4 2、 D 4 3はそれぞれ符号器 5 2、 5 3の符号化 回路 5 2 A、 5 3 Aに入力される。 また差分データ D 4 2、 D 4 3はそれぞ れ、 分割制御部 5 2 B、 5 3 Bのアクティ ビティ検出回路 5 2 C、 5 3 Cに 入力される。 アクティ ビティ検出回路 5 2 C、 5 3 Cは差分データ D 4 2、 D 4 3の所定ブロック毎のアクティ ビティを検出し、 これにより得た検出結 果を続く しきい値判定回路 5 2 D、 5 3 Dに与える。 しきい値判定回路 5 2 D、 ·5 3 Dは各プロック毎のァクティ ビティ検出結果を発生情報量制御部 4 0 Bからのしきい値データ D 5 7 と比較し、 これによら得た判定結果を符号 化回路 5 2 A、 5 3 Aに送出する。 符号化回路 5 2 A、 5 3 Aはしきい値判 定結果に基づき、 アクティ ビティの高いブ αックについては圧縮符号化して 伝送し、 これに対してァクティ ビティの低いプロックについては伝送しない。 ( 2 - 2 ) 処理
次に階層符号化エンコーダ部 4 0 Αによる具体的な信号処理を説明する。 まず階層間差分値に基づく ブ σックアクティ ビティ により、 階層間差分値 に対する処理を選択する場合を考える。 また各ブ ηックは 2 ライ ン X 2画素 より構成されるものとする。
ここでは各画素のデータ値を Xとし、 データ値 Xの階層をサフィ ックスで 表す。 すなわち上位の階層データを X 1+1 (0)とするとき、 隣接する下位階層 データは X i (j ) 0〜3 ) である。 また階層間の差分符号値は Δ Χ i (j ) ( j = 0 ~ 3 ) であり、 階層符号化エンコーダ部 4 0 Aはこの差分符号値を 圧縮符号化するのである。 各階層における符号器 5 1〜 5 5による圧縮符号化処理は各ブ nックにつ いて得られたプロックァクティ ビティ Pとしきい値データ D 5 7とを比铰し. 比较結果によって処理を選択する。
すなわちブロックアクティ ビティ Pがしきい値 T H以上の場合には下位階 層について順次分割処理するのに対し、 ブロックアクティ ビティ Pがしきい 値 T H未満の場合には下位階層についての分割処理を中止する。
これによりプロックァクティ ビティ Pが低い領域については上位の階層デ ータ しか送らずに済み、 伝送情報量を削減できるのである。
また伝送路を挟んでこれらのデータを受信する画像データ復号装置は、 順 に送られてく る伝送データのうち上位階層データを用いてブ口ックァクティ ビティの低い領域では下位階層データを上位階層データで復元する。 一方、 ブ ηックァクティ ビティが高い領域では階層間差分復号値と上位階層データ を加算することでデータを復元する。
この分割又は非分割の判定結果に対しては 1 ビッ トの判定フラグが導入さ れている。 このフラグによって各ブロックについての判定結果を指示するこ とが可能となる,。
この判定フラグは各階層のブロック毎に 1 ビッ トづっ必要となるが、 画質 を考慮した場合、 有効である。
因にこの実施例における階層符号化方式では、 この判定フラグをそれ以降 の下位階層での判定には反映させないものとする。 またこの判定フラグはラ ンレングス符号化等によって符号化され、 符号化コ一ドと共に伝送される。
( 3 ) 発生情報量制御部 4 0 Β
( 3 - 1 ) ブロック構成
—方、 発生情報量制御部 4 0 Βは、 図 1 6に示すように構成されている。 この発生情報量制御部 4 0 Βは、 階層符号化エンコーダ部 4 0 Αが画質を 劣化させることなく効率的に画像データを符号化処理できるようにするため、 分割 非分割の選択基準となる各階層についてのしきい値 T H 1〜T H 4の 組み合わせを設定し、 これを階層符号化ェンコーダ部 4 0 Αにしきい値デー タ D 5 7 として出力するものである。
発生情報量制御部 4 0 Bは、 入力画像データ D 3 1 を平均値回路 4 2、 4 4、 4 6、 4 8を順次介して I 4平均化することにより解像度の異なる 5 階層の画像データを生成する。 ― 続いて差分データとして伝送される画像データの各階層毎の発生情報量を 求めるため、 1階層上の階層画像データ D 3 2、 D 3 3、 D 3 4及び D 3 5 と各階層の画像データ 0 3 1、 0 3 2、 0 3 3及び15 3 4 との差を各差分回 路 6 1、 6 2、 6 3及び 6 4において求める。
これら各差分回路 6 1、 6 2、 6 3及び 6 4から出力される差分データは 階層符号化工ンコーダ部 4 O Aにおける階層処理によって得られる各階層の 差分データとみなすことができる。
アクティ ビティ検出回路 6 5、 6 6、 6 7及び 6 8は第 1階層〜第 4階層 の画像データにそれぞれ対応し、 各階層の各ブロックについてブロックァク テイ ビティを求めてこれを対応する度数分布表 6 9〜 7 2に登録するように なされている。
ここで度数分布表の生成過程では、 ェンコーダ部の伝送データ量を正確に 把握するために、 上位階層 1画素に対応する下位階層 4画素のうち実際にェ ンコ一ダによる伝送対象である 3画素を用いるようになされている。
また第 5階層の画像データについては最上位の階層データであり、 差分デ ータとしてではなく直接伝送されるため各ブ nックについてのダイナミ ック レンジがそのまま度数分布表 7 3 ί.こ登録される。
制御部 7 4はこれら 5組の度数分布表 6 9〜7 3 と双方向の信号路で接続 されており、 下位階層を分割 //非分割をするか否かの判断基準となるブ αッ クアクティ ビティのしきい値 ΤΗ 1〜ΤΗ 4の組み合わせを R〇 Μに格納し ている。 制御部 7 4はこれらの組を度数分布表 6 9〜7 3に与えて、 当該しきい値 に対して生じるであろう発生情報量を各階層ごとに読み出し、 これら全ての 発生情報量を基に全体としての総発生情報量を求める。 そして総発生情報量 が目標値を達成するまで最適なしきい値を求め、 得られたしきい値を制御デ 一夕として階層符号化工ンコーダ部 4 0 Aに与えるようになされている。 また制御部 7 は階層毎に画像信号データの性質や人間の視覚特性を考慮 して階層符号化エ ンコーダ部 4 0 Aに与える制御データを調整し、 最適なし きい値を与えることができるようになされている。 これにより受信側におい て再生された画質について主観的な画質の向上がみこまれる。
( 3 - 2 ) 度数分布表
ここでは情報量制御用の度数分布表 6 9 ~ 7 3について説明する。
図 I 7 ( A ) ~ ( E ) はそれぞれ最上位の階層データ （第 5の階層データ ) 〜最下位の階層データ （第 1 の階層データ） について得られたブロックァ クテイ ビティの度数分布表を示している。 ここで図 I 7 ( A ) に示す第 5の 階層についての度数分布表に関しては、 対象データが差分データではないた めダイナミ ック レンジによる度数分布表が生成される。 例えば第 5階層デ一 タ D 3 5に対し、 P C M符号化による圧縮処理がなされる場合、 各プロック について与えられるダイナミ ック レンジがデータとして登録され、 圧縮処理 方法として A D R C (適応ダイナミ ック レンジ符号化 （U S P— 4 7 0 3 3 5 2 ) ) を適用する場合には A D R Cブロックの D Rが登録される。
—方、 他の度数分布表 6· 9〜 7 2は対象データが差分データであり、 各度 数分布表について与えられているしきい値 T H 1、 T H 2、 T H 3、 T H 4 以上のブ 0ックアクティ ビティを有するブロックが分割対象ブロックとなる。 従って各階層においてしきい値以上のブ ックアクティ ビティを有するブ ックの数を算出すれば発生情報量を算出することができる。
次に発生情報量の算出例を説明する。
ここで第 1階層におけるプロック数を N 1 、 またブロックアクティ ビティ がしきい値 T H 1 より大きい分割対象ブロック数を N Γとし、 その際におけ る量子化ビッ ト数を Q 1 とすると、 第 1階層における発生情報量 I 1 は、 次 式 I 1 = 4 · Q 1 · N Γ · ( 3 4 ) + N 1 …… ( 7 ) によって与えることができる。
この （ 7) 式における第 1項において各ビッ ト数が 4倍されているのは、 この例の場合、 各プ ックが 2ライ ン X 2画素に分割されているからである。 また第 1項において 3ノ 4倍しているのは上位階層値が下位階層値の平均値 より生成されるという構造において、 上位階層値と伝送される下位階層値 3 画素を用いて算術式により下位階層の 4番目の非伝送画素値が復元できると いう性質を反映しているからである。
因に第 2項において、 第 1階層におけるブロック数を N1 が加算されてい るのは分割判定フラグとして各ブロックごとに 1 ビッ ト付加して伝送するこ とを示している。
同様に、 第 2、 第 3、 第 4の階層についても、 各階層におけるブ Dック数 を N2、 N3、 N4 とし、 またブロックアクティ ビティがしきい値 TH 2、 TH 3、 TH 4より大きい分割対象ブロック数を N2'、 N3'、 N4'として、 その際における量子化ビッ ト数を Q 2、 Q 3、 Q 4とすると、 各階層におけ る発生情報量 I k (k= 2、 3、 4) は、 次式
I k = 4 - Qk - k' · ( 3/4) +Nk …… ( 8 ) によって与えることができる。
これら第 1〜第 4階層についての発生情報量 I 1 ~ 1 4及び第 5階層につ いての発生情報量 I 5を用いると、 階層符号化エンコーダ部 4 0 Aの符号化 処理によって生じる総発生情報量 I は、 次式
1 = 1 1 + 1 2 + 1 3 + 1 4 + 1 5 ( 9 ) のように 階層ごとの発生情報量の和として求めることができる。
( 3 — 3 ) 処理
発生情報量制御部 4 0 Bは、 階層符号化エ ンコーダ部 4 0 Aと同様、 入力 画像データ D 3 1 を入力し、 これを平均化回路 4 2によって 2ライ ン X 2画 素ごとに平均値が求められ、 画素数を 1 Z 4に減少させて解像度を落とす。 続いてこの階層データ D 3 2についても同様に平均化回路 4 3 、 4 6 、 4 8 を順に介することにより、 それぞれ画素数を 1 / 4に減少させて解像度を落 とす。
発生情報量制御部 4 0 Bは、 このよう に複数の解像度の画像データのうち 最上位 （すなわち解像度が最も低い） の階層データ D 3 5を度数分布表 7 3 に与え、 第 5の階層データ D 3 5における各ブ口ックのプロックァクティ ビ ティ Pの度数を登録する。 これは.前述の階層符号化エンコーダ部 4 0 Aで実 行される圧縮処理に対応するデータの度数の計測である。 例えば第 5階層デ ータ D 3 5に対し、 P C M符号化による圧縮処理がなされる場合、 各ブロッ クについて与えられるダイナミ ック レンジがデータとして登録され、 圧縮処 理方法として A D R C (適応ダイナミ ック レンジ符号化 （U S P— 4 7 0 3 3 5 2 ) ) を適用する場合には A D R Cブロックの D Rが登録される。 次に第 4の階層データ D 3 4 と第 5の階層データ D 3 5 との差分から差分 データ D 6 4が得られる。 ァクティ ビティ検出回路 6 8はこの差分データ D 6 4についてアクティ ビティを検出し、 アクティ ビティデータ D 6 8 として 度数分布表 7 2に登録する。
同様に下位の階層データ D 3 3 、 D 3 2 、 D 3 1 のそれぞれについて求め られた各ブロックのブロックァクティ ビティ Pをァクティ ビティデータ D 6 7 、 D 6 6 、 D 6 5 として度数分布表 7 1 、 7 0 、 6 9に順に登録する。 制御部 7 4は図 1 8に示す R O Mテーブルから各階層について設定されて いる分割ノ非分 «ij設定用のしきい値 T H 1 、 T H 2 ··· ··· T H 4についての組 み合わせを番号の若い組 （Q N01 ) から順に読み出す。 続いて各しきい値 T H 1 、 T H 2…… T H 4に対して大きな値のブロックアクティ ビティ Pを有 するブロック度数を各階層について度数分布表 6 9 - 7 3から読み出-し、 各 階層について各しきい値に対する発生情報量を検出する。
制御部 7 4は各階層の度数分布表 6 9〜 7 3について求められた発生情報 量を統合し、 階層符号化エ ンコーダ 4 0 Aにおける符号化の結果生じるであ ろう総発生情報量を算出する。 制御部 7 4はこの発生情報量と目標値とを比 較し、 目標値との差が大きい場合には目標値を満たすしきい値の組み合わせ を求めるため次の番号 （Q N02 ) のしきい値 T H 1、 T H 2…… T H 4の組 に移る。
以後、 総発生情報量が目標値に達成するまで上述の 理を繰り返し、 目標 値に最も近い総発生量が得られるしきい値 T H 1、 T H 2…… T H 4の組を 得、 これをしきい値データ D 5 7 として階層符号化ェ ンコーダ 4 0 Aに出力 する。
以上の構成によれば、 複数の解像度を有する階層符号化を容易に実現する ことができる。 また階層符号化エ ンコーダ 4 0 Aから符号化されて出力され る伝送画像データの総発生情報量はほぼ目標値に一致させることができ、 圧 縮効率の低下しない符号化を実現することができる。 さらに画質劣化の少な い階層符号化を実現することができる。 さらに階層符号化の際における発生 情報量の管理を従来に比して一段と容易にすることができる。 ( 4 ) 第 3実施例についての他の実施例
( - 1 ) 上述の実施例においては、 ブロックァクティ ビティ Pを各プロッ クについて上位の階層データについて得られた復号データと下位の階層デ一 タとの差分値の最大値で判断する場合について述べたが、 本発明はこれに限 らず、 ブ^ック内における平均誤差や絶対値和、 また標準偏差や n乗和、 さ らにはしきい値以上のデータ度数によって判断しても良い。
( 4一 2 ) 上述の実施例においては、 各階層毎に得られた度数分布表をその まま利用する場合について述べたが、 本発明はこれに限らず、 度数分布表か ら積算型の度数分布表を作成してこれを発生情報量の計算に用いても良い。 すなわちブ口ックァクティ ビティを登録を登録した結果、 図 1 9に示すよ うな度数分布表が得られたとすると、 ブ Dックァクティ ビティの最大値に対 応する度数より下位の値へ積算演算を行い、 それぞれの結果を図 2 0に示す ような積算型度数分布表に登録する。
この処理を数式で表現すると、 kをブロックアクティ ビティ値 （k = 0〜 最大値） 、 N ( · ) を各ブ σックアクティ ビティ値でのブロック度数とする と、 次式
Ν ( k - 1 ) = N ( k - 1 ) + N ( k ) ( 10) となる。
この式は、 ブロックァクティ ビティ値ァドレスのブ口ック度数を読み出し 上位プロックァタティ ビティ値までの積算値に加算した結果を、 そのプ ッ クァクティ ビティ値ァ ドレスに書き込むことを意味している。
この結果により得られる積算型度数分布表 （図 2 0 ) においては、 図 1 9 の斜線部のブ nック度数和がしきい値 T H座標データ I に対応する。 この積 算型度数分布表により、 しきい値 T Hを偏向するたびに、 毎回斜線部 （図 1 9 ) のブロック度数和を計算する必要がなく なる。
すなわち各階層ごとに度数分布表を生成した後、 ブロックアクティ ビティ の上位の値から各プロックァクティ ビティの値までのプ ック度数について 累積加算値を求め、 各累積加算値を各ブ oックァクティ ビティの値に対応す るァ ドレスに書き込んで積算型の度数分布を作成することにより、 各ブロッ クァクティ ビティ に対応する度数はそのプロックァクティ ビティ以上の値を もつブロック度数の積算値となる。
このように予め積算型度数分布表を生成すれば、 各しきい値に対応するブ nック度数積算値を算出することは不要となり、 単なるメモリのしきぃ値ァ ドレスの読み出しによってブ1 πック度数積算値の算出を可能とすることがで き、 算出に要する時間を大幅に削減することができる。
ここで実際のしきい値処理においては、 画質が劣化することを回避するた めに大きな判定しきい値を使用することが困難である。 従ってブロックァク ティ ビティ値をク リ ップした度数分布表を作成するようにしても良い。 すなわち図 2 1 に示すようにブロックァクティ ビティ値を L M Tでク リ ッ プすると、 当該 L M T以上のブ口ック度数は度数分布表においては全て L M Tに登録される。 この結果、 図 2 1 のように L M Tでのブ nック度数が大き く なる。 ここで算出すべきブ Dック度数和は斜線部であ'る。
この度数分布表に対する積算型度数分布表を図 2 2 に示す。 この場合、 上 述の （ 1 0 ) 式の積算演算はブロックアクティビティ値の最大値ではなく、 ブロックァクティ ビティ値 L M Tより 0までの区間で行われる。 算出すべき ブロック度数和は、 しきい値 T Hの座標の積算ブロック度数 I である。 この ように図 2 0に示した場合と同様の結果が得られる。
かく して積算型度数分布表作成時間の短縮化を実現し得ると共に度数分布 表メモリ を一段と小型化することができる。
因に、 ク リ ッブ値 L M Tを設定する場合、 第 1 の方法として各階層ごとに ク リ ップ値 L M Tを変える方法及び、 第 2の方法として各階層全てにおいて ク リ ックプ値 L M Tを固定値にする方法が考えられ、 第 1 の方法は各階層の 階層間差分値分布に明らかな違いがある場合に用いられ、 第 2の方法は各階 層の階層間差分分布が大差無い場合に用いられる。
さらに上述の実施例においては、 符号器において画像データを P C M符号 化する場合について述べたが、 本発明はこれに限らず、 他の符号化方式、 例 えば直交符号化方式を適用しても良い。
さらに上述の実施例においては、 各階層について得られた度数分布表のし きい値について複数の組み合わせを R O Mに格納しておき、 発生情報量が最 も目標値に近くなるしきい値の組み合わせを求める場合について述べたが、 本発明はこれに限らず、 各階層毎独立に設定できるようにしても良い。
さらに上述の実施例においては、 最下位の階層データを 2 ライ ン X 2画素 づっ平均値を求めて上位の階層の画像データを求める場合について述べたが、 本発明はこれに限らず、 他の組み合わせによって平均値を求めるようにして も良い。
( 5 ) 上述のように本発明によれば、 画像データを順次再帰的に異なる複数 の解像度でなる複数の階層データに分割して符号化する際に、 解像度の最も 低い最上位階層データを除く階層データの所定のプロッ'クについてプロック アクティ ビティを判定し、 下位階層データに対する分割処理の判定基準であ るしきい値をブロックアクティ ビティに対応するブ Dックの度数分布から設 定することにより、 圧縮効率の低下しない画像データの階層符号化方法を容 易に実現することができる。 〔 5〕 第 4実施例
( 1 ) 第 4実施例の画像符号化装置
第 4実施例の画像符号化装置 8 0は図 2 3に示すように、 第 3実施例 （図 1 1 ) の場合と同様の概略構成を有し、 入力画像データ D 3 1 を階層符号化 して出力する階層符号化エンコーダ部 8 0 Aと階層符号化エンコーダ部 8 0 Aにおける発生情報量が目標値を達成するように制御する発生情報量制御部 8 0 Bとによって構成されている。
階層符号化エンコーダ部 8 0 Aはデータ遅延用のメモ リ （図示せず） とェ ンコーダとによって構成されている。 このうちメモリ は発生情報量制御部 8 0 Bにおいて最適制御値が決定されるまでの間、 ヱンコー ド処理が実行され ないようにデータを遅延できるよう入力段に設けられている。
—方、 発生情報量制御部 8 0 Bは入力画像データ D 3 1を入力して処理対 象データに適合したしきい値 THを決定するようになされており、 階層符号 化工ンコーダ部 8 0 Aにおいて入力画像データ D 3 1が効率良く符号化され るように決定された最適制御値をェンコーダに伝送するようになされている c いわゆるフィー ドフォヮ一ド型のバッファリ ングの構成である。 この構成に より正確な発生情報量制御とフィー ドフォワー ド型バッファリ ングによって 発生する時間遅れを排除することができるようになされている。
ここで階層間差分値に基づき定義されるプロックアクティビティにより、 下位階層での分割処理の選択が行われる。 すなわち下位階層の 2 X 2の 4画 素より上位階層データが構成され、 ブ口ックが定義される。
ここでァクティ ビティ とは、 上位階層データに対応する下位階層データ領 域を 「ブロック」 と定義した場合の、 所定ブロック内の階層間差分データ D 4 1〜D 4 4の最大値、 平均値、 絶対値和、 標準偏差又は n乗和等で表され る相関値である。 すなわちアクティ ビティが低い場合には、 このブロックは 平坦なブロックという ことができる。
すなわち上位階層データを X 0 ( i + 1 ) とし、 下位階層データを X J ( i ) とすると、 階層間差分符号値 Δ X j ( i ) -X 0 ( i + 1 ) -X j ( i ) となる。 但し j = 0~ 3である。 またブロックァクティ ビティ決定関数を G ( · ) とするとブロックアクティ ビティ A CT = G (Δ X j ( i ) ) とな る。
また階層判定フラグ F L G ( 0 ： 分割中止、 1 ： 分割継続） とすると、 F L G= 0の場合、 下位階層の分割を中止し、 A C T≥しきい値 THかつ F L G= 1の場合、 下位階層の分割を実行し、 A CT<しきい値 THかつ F L G = 1の場合、 下位階層の分割を中止する。 この階層での分割判定終了後、 分割判定結果を判定フラグ F L Gと して定 義後、 次の下位階層へ伝搬させる。 このよう に F L G - 0の場合は、 下位階 層での分割は行われない。 ( 2 ) 階層符号化エンコーダ部
階層符号化エンコーダ部 8 0 Aは図 2 4に示す構成でなり、 符号器 5 1〜 5 4が図 2 5に示すように構成されている点を除いて、 図 1 2及び図 1 3に ついて上述したと同様の構成を有する。
この場合の符号器 5 4、 5 3、 5 2は、 それぞれブロックの分割又は非分 割に用いたしきい値判定結果情報 J 1、 J 2、 J 3を隣接する下位階層の符 号器 5 3、 5 2、 5 1 に送出する。 これにより階層符号化ェンコーダ部 8 0 Aは、 一旦ブ口ック分割を中止したプロックについてはそれ以降の下位階層 では全て分割を中止するようになされている。
実際上、 符号器 5 1〜 5 4は図 2 5に示すように構成されている。 図 2 5 では簡単化するため符号器 5 2及び 5 3の構成について示す。
符号器 5 3は差分データ D 4 3を符号化回路 5 3 A及び分割制御部 5 3 B のアクティ ビティ検出回路 5 3 Cに入力する。 ァクティ ビティ検出回路 5 3 Cは、 差分データ D 4 3の所定ブロック毎のアクティ ビティを検出し、 これ により得た検出結果を続く しきい値判定回路 5 3 Dに与える。 しきい値判定 回路 5 3 Dは各ブロック毎のァクティ ビティ検出結果をしきい値データ D 5 7 と比較し、 これにより得た判定結果をしきい値判定結果情報 J 2 として符 号化回路 5 3 A及び隣接する下位階層の符号器 5 2に送出する。 符号化回路 5 3 Aはしきい値判定結果情報 J 2に基づき、 アクティ ビティの高いブロッ クについては圧縮符号化して伝送し、 これに対してァクティ ビティの低いブ ロックについては伝送しない。
ここでアクティ ビティ検出回路 5 3 C及びしきい値判定回路 5 3 Dは隣接 する上位階層の符号器 5 4から出力されたしきい値判定結果情報 J 1 を受け、 当該しきい値判定結果情報 J 1 がブロックの分割を行う ことを表すものであ つた場合には、 アクティ ビティ検出及びしきい値判定結果を実行する。 これ に対してしきい値判定結果情報 J 1 がブ ックの非分割を表すものであった 場合には、 それに対応するブロックについてはァクティ ビティ検出及びしき い値判定を行わないと共に、 しきい値判定回路 5 3 Dからブ οックの非分割 を表すしきい値判定結果情報 J 2を出力する。
符号器 5 2 も同様に、 ァクティ ビティ検出回路 5 2 C及びしきい値判定回 路 5 2 Dが隣接する上位階層の符号器 5 3からブロックの分割を表すしきい 値判定結果情報 J 2を受けた場合には、 対応するブロックについてのァクテ イ ビティ検出及びしきい値判定を実行するのに対し、 ブ πックの非分割を表 すしきい値判定結果情報 J 2を受けた場合には、 アクティ ビティ検出及びし きい値判定を行わないと共に、 しきい値判定回路 5 2 Dからブロックの非分 割を表すしきい値判定結果情報 J 3を出力する。
このように階層符号化エンコーダ部 8 0 Aにおいては、 一旦ブ nックの非 分割判定結果を得ると、 それに対応するブ πックについてはそれ以降の下位 階層ではブロック分割しない （すなわち符号化しない） ようになされている。
( 3 ) 発生情報量制御部
発生情報量制御部 8 0 Bは、 図 2 6に示すように構成されている。
発生情報量制御部 8 0 Bは、 入力画像データ D 3 1 を平均値回路 4 2、 4 4、 4 6、 4 8を順次介して 1 4平均化することにより解像度の異なる 5 階層の画像データを生成する。
続いて差分データとして伝送される画像データの各階層毎の発生情報量を 求めるため、 1階層上の階層画像データ D 3 2、 D 3 3、 D 3 4及び D 3 5 と各階層の画像データ D 3 1、 D 3 2、 D 3 3及び D 3 4 との差を各差分回 路 6 1、 6 2、 6 3及び 6 4において求める。
これら各差分回路 6 1 、 6 2、 6 3及び 6 4から出力される差分データは 階層符号化工ンコーダ部 8 0 Aにおける階層処理によって得られる各階層の 差分データ とみなすことができる。
アクティ ビティ.検出回路 6 5、 6 6、 6 7及び 6 8は第 1階層〜第 4階層 の画像データにそれぞれ対応し、 各階層の各プロックについてァクティ ビテ ィを求めてこれを対応する度数分布表 6 9〜 7 2に登録するようになされて いる。
ここで度数分布表の生成過程では、 エンコーダ部の伝送データ量を正確に 把握するために、 上位階層 1画素に対応する下位階層 4画素のうち実際にェ ンコーダによる伝送対象である 3画素を用いるようになされている。
また第 5階層の画像データについては最上位の階層データであり、 差分デ ータとしてではなく直接伝送されるため各ブロックについてのダイナミ ック レンジがそのまま度数分布表 7 3 に登録される。
これは上述のエンコーダ部 8 0 Aにおいて実行される圧縮処理に対応する データの度数を計測する。 例えば第 5階層データ D 3 5に対し、 P C M符号 化による圧縮処理がなされる場合、 各ブロックについて与えられるダイナミ ック レンジがデータとして登録され、 圧縮処理方法として A D R C , (適応ダ イナミ ック レンジ符号化 （U S P— 4 7 0 3 3 5 2 ) ) を適用する場合には A D R Cブ ックの D Rが登録される。
次に、 第 4階層データ D 3 4及び第 5階層データ D 3 5からの差分データ D 6 4が生成される。 当該差分データ D 6 4に関し、 プロックァクティ ビテ ィがアクティ ビティ検出回路 6 8 において検出される。 ここで検出されたブ ロックアクティ ビティ D 6 8は度数分布表 7 2に登録される。
第 3階層データ D 3 3及び第 4階層データ D 3 4から差分データ D 6 3力 < 生成される。 差分データ D 6 3に関し、 プロックァクティ ビティがァクティ ビティ検出回路 6 7において検出される。 ここで検出されたブロックァクテ イ ビティ D 6 7は度数分布表 7 1 に登録される。 このとき第 4階層でのしき い値判定結果においてプロック分割続行判定を受けたプロックのみに関し、 第 3階層ではプロック分割判定を行う。
従って度数分布表 7 1 は第 4階層でのブロックアクティ ビティ D 6 8 と第 3階層でのプロ、 クアクティ ビティ D 6 7の 2変数により座標が決定される ブ πック数を示す度数分布表となる。
また第 2階層データ D 3 2 と第 3階層データ D 3 3から差分データ D 6 2 が生成され、 ァクティ ビティ検出回路 6 6においてブロックァクテイ-ビティ D 6 6が出力される。 検出されたブロックアクティ ビティ D 6 6は度数分布 表 7 0に登録される。 第 2階層においては、 第 4階層、 第 3階層でブロック 分割続行判定を受けたブ nックのみに関し、 ブ nック分割判定を行う。 従って度数分布表 7 0は第 4階層でのブ Ώックアクティ ビティ D 6 8 と第 3階層でのブロックァクティ ビティ D 6 7 と第 2階層でのブロックァクティ ビティ D 6 6の 3変数から座標が決定されるプロック度数分布表となる。 最後に第 1階層データ D 3 1 と第 2階層データ D 3 2から差分データ D 6 1 が生成され、 ァクティ ビティ検出回路 6 5においてプ ックァクティ ビテ ィ D 6 5が出力される。 検出されたブロックアクティ ビティ D 6 5は度数分 布表 6 9 に登録される。 第 1階層においては、 第 4階層、 第 3階層及び第 2 階層でブ πック分割続行判定を受けたブ ϋックのみに関し、 ブ nック分割判 定を行う。
従って度数分布表 6 9は第 4階層でのブロックアクティ ビティ D 6 8 と第 3階層でのブロックアクティ ビティ D 6 7 と第 2階層でのブロックァクティ ビティ D 6 6 と第 1階層でのプロックアクティ ビティ D 6 5の 4変数から構 成される。
こう して生成された度数分布表 6 9〜 7 3を用いて発生情報量制御が実行 される。 各度数分布表と後段の制御部 7 4は双方向の信号路 D 6 9〜D 7 3 によって接続されている。
制御部 7 4においては、 まず各度数分布表に対するしきい値が各度数分布 表に伝送される。 各度数分布表においては、 しきい値に対応する発生情報量 が検出される。 この各度数分布表における発生情報量は、 信号路 D 6 9 ~ D 7 3を通して制御部 7 4に伝送される。
制御部 7 4においては、 受信した各度数分布表における発生情報量を統合 し、 制御対象となる総発生情報量を算出する。 この総発生情報量と目標値を 比較し、 比較結果により目標値を満たすようにしきい値が変更される。
再び更新されたしきい値は制御部 7 4 より、 信号路 D 6 9〜D 7 3を介し て各度数分布表に伝送される。 またこれに対応する発生情報量が再び制御部 7 4に伝送される。
以上の処理を繰り返し、 最終的に目標値を達成する制御結果 D 5 7が決定 される。 決定された発生情報量制御値 D 5 7は階層符号化エンコーダ部 8 0 Aに伝送される。
この情報量制御処理期間中は、 制御対象となるデータはエンコーダ部 8 0 Aに含まれるメモリ M l により待機させられる。 このようなフィー ドフォヮ 一ド型バッファリ ングの構成を用いることにより、 対象データに適合したし きい値を決定することができ、 効率の良い符号化を実現し得る。
ここでは情報量制御用の度数分布表 6 9〜 7 3について説明する。
図 2 7 ( A ) 〜 （E ) はそれぞれ最上位の階層データ （第 5の階層データ ) 〜最下位の階層データ （第 1 の階層データ） について得られたブ Dックァ クテイ ビティの度数分布表を示している。 ここで図 2 7 ( A ) に示す第 5の 階層についての度数分布表に関しては、 対象データが差分データではないた めダイナミ ック レンジによる度数分布表が生成される。 例えば P C M符号化 を適用する場合には符号化されたブロックについてのダイナミ ック レンジが 登録されることになる。
一方、 他の度数分布表 6 9〜 7 2は対象データが差分データであり、 各度 数分布表について与えられているしきい値 T H 1、 T H 2、 T H 3、 T Η 4 以上のブロックアクティ ビティを有するブロックが分割対象ブロックとなる。 従って各階層においてしきい値以上のブ ηックァクティ ビティを有するブ ロックの数を算出すれば発生情報量を算出することができる。
次に発生情報量の算出例を説明する。 発生情報量の算出のためには各階層 における分割判定しきい値以上のブロック数を計測する必要があるが、 この 実施例において対象となる判定フラグ伝搬法による階層符号化における発生 情報量制御では、 上位階層において分割中止判定を受けたブ αックを下位階 層での判定対象から除去する必要がある。
また各階層においては分割判定を行うために、 ブ πックアクティ ビティ に 対するしきい値を導入する。
ここで第 1階層における分割対象ブ口ック内画素数和を Μ 1 、 また第 1 階 層データの量子化ビッ ト数を Q 】 、 第 1階層の判定フラグビッ ト数を Ν 1 と すると、 第 1階層における発生情報量 I 1 は、 次式
I 1 = 4 · Q 1 - M l - ( 3 / 4 ) + N 1 …… ( 11) によって与えることができる。
この （ 1 1 ) 式における第 1項において各ビッ ト数が 4倍されているのは、 この例の場合、 各ブ ックが 2 ライ ン X 2画素に分割されているからである c また第 1項において 3 4倍しているのは上位階層値が下位階層値の平均値 より生成されるという構造において、 上位階層値と伝送される下位階層値 3 画素を用いて算術式により下位階層の 4番目の非伝送画素値が復元できると いう性質を反映しているからである。
因に第 2項において、 第 1階層におけるブロック数を N 1 が加算されてい るのは分割判定フラグとして各ブ口ックごとに 1 ビッ ト付加して伝送するこ とを示している。
同様に、 第 2、 第 3、 第 4の階層についても、 各階層における分割対象ブ ロック内画素数和を Μ 2、 Μ 3、 Μ 4 とし、 各階層での量子化ビッ ト数を Q 2、 Q 3、 Q 4、 各階層での判定フラグビッ ト数を Ν 2、 Ν 3、 Ν 4 とする と、 各階層における発生情報量 I k ( k = 2、 3、 4 ) は、 次式
1 = 1 1 + 1 2 + 1 3 + 1 4 + 1 5 (12) によって与えることができる。
これら第 1 〜第 4階層についての発生情報量 I 1〜 1 4及び第 5階層につ いての発生情報量 I 5を用いると、 階層符号化エンコーダ部 8 O Aの符号化 処理によって生じる総発生情報量 I は、 次式
I k = 4 - Q k · M k 3 / 4 ) + N k (13) のように各階層ごとの発生情報量の和として求めることができる。
ここで各階層の発生情報量に判定フラグのビッ ト数が加算されるが、 この フラグの情報量は上位階層で分割処理が実行されたプロ'ック数に等しい。 す なわち上位階層において分割処理が中止されたブロックは、 下位階層におい ては分割判定対象から除外することを意味している。 各ブ Dックの空間的位 置は、 上位階層からの判定フラグの履歴により各階層において特定すること が可能である。
ここで個々の度数分布表について説明する。
上述のように、 最上位階層データの度数分布表は圧縮方式に依存するので、
—意には決まらない。 しかし、 度数分布表などの手段を用いて、 発生情報量 を制御できる。
次に、 第 4階層データに関しては、 ブロックァクティ ビティ A C T 4に対 するブロック度数が登録されている。 図 2 8 (A) に示す第 5階層度数分布 表に対して、 図 2 8 (B) の第 4階層度数分布表を用いることで、 容易にし きい値 TH 4に対する発生情報量を算出することができる。
しきい値 T H 4以上のブロックが分割対象となるので、 しきい値以上のブ ロ ック数和を求めることによ り、 第 4階層における発生情報量を算出する。 次に、 第 3階層の度数分布表の例を図 2 9に示す。 判定フラグ伝播法にお いては、 上位階層で分割中止判定を受けたプロックを判定対象から除外する : そこで、 第 3階層ブ口ックアクティ ビティ A C T 3 と、 第 4階層プロック アクティ ビティ A C T 4の 2変数で定義される度数分布表を導入する。
すなわち、 第 4階層のしきい値 T H 4以上で、 第 3階層のしきい値 T H 3 以上のブ口ック度数を求める。
この操作は、 図 2 9の度数分布表において、 A C T 4軸ではしきい値 T H 4以上、 A C T 3軸ではしきい値 TH 3以上のブ ック度数を算出すること で、 上記の条件を満たす第 3階層における発生情報量の算出を行うことがで きる。
次に、 第 2階層、 第 1階層の度数分布表の例を図 3 0に示す。
第 3階層の度数分布表と同じ考え方に従い、 多変数により定義される度数 分布表を生成する。
第 2階層においては、 第 2階層、 第 3階層、 第 4階層のそれぞれのブ口ッ クアクティ ビティ A C T 2、 A C T 3、 A C T 4で定義されるブ ックを度 数分布表に登録する。 この状態を図 3 0 (Α) に示す。
第 2階層では、 A C Τ 4軸ではしきい値 Τ Η 4以上、 A C T 3軸ではしき い値 TH 3以上、 A C T 2軸ではしきい値 TH 2以上のブ πック度数を算出 することで、 第 2階層における発生情報量を算出する。
第 1階層においては、 第 1 階層、 第 2階層、 第 3階層及び第 4階層のそれ ぞれのブロックアクティ ビティ A C T 1、 A C T 2、 A C T 3及び A C T 4 で定義されるブロックを度数分布表に登録する。 この状態を図 3 0 (B) に 示す。
第 1階層の場合は、 A C T 4軸ではしきい値 T H 4以上、 A C T 3軸では しきい値 TH 3以上、 A C T 2軸ではしきい値 T H 2以上のブ口ック度数を 算出することで、 第 1階層における発生情報量を算出する。 以上の 5種類の度数分布表を用いて、 しきい値に対する発生情報量を算出 し、 目標情報量に合致する制御を行なう ことができる。
ここで発生情報量制御に用いられる各階層のしきい値については、 各階層 毎に独立に変更する手法がある。
例えば、 各階層毎に予め目標情報量を設定しておき、 各階層毎に独立にし きい値を変更して目標情報量に合致する制御を行なう手法である。
また、 別の手法としては、 各階層のしきい値の組み合わせを予め用意して おき、 制御順序に従い、 そのしきい値組み合わせを適用することで、 制御の 簡素化を図る手法も考えられる。
ここで上述の各階層における度数分布表を用いた発生情報量制御手法にお いて、 各階層では、 上位階層の分割判定結果を考慮しつつ、 各階層のブ nッ クァクティ ビティがしきい値以上のプ ック度数を算出することで最適制御 値を検出した。
このしきい値以上のプロック度数算出時間の髙速化を図るため、 プロック 度数が登録された度数分布表を積算型度数分布表に再構成することができる。 この積算型度数分布表の例を図 3 に示す。 すなわちブ σックァクテイ ビ ティを登録した結果、 図 3 1 に示す度数分布表例が得られたとする。 この場 合説明の簡素化のため、 ブロックアクティ ビティが 1変数の例を示す。 上述 の度数分布表では、 第 4階層のものと同じである。
積算型度数分布表は、 図 3 1 の度数分布表のブ πックァクティ ビティの最 大値に対応するプロック度数から開始し、 より小さいブロックァクティ ビテ ィ値に対応するブ口ック度数に積算演算を施し、 それぞれの積算結果を度数 分布表に登録し直す構造をもつ。
この処理を数式で表現すると次式
S U M ( act) = ∑ N ( A C T ) …… ( 14)
A C T= a c t によって表される。 但し S UM ( · ) は積算ブ nック度数を表し、 N ( - ) は度数分布表におけるブ口ック度数を表し、 a c t は積算度数分布表におけ るブロックァクティ ビティ変数を表し、 A C Tは度数分布表におけるプロッ クアクティ ビティ変数を表し、 nは度数分布表における変数最大値を表す。
( 1 4 ) 式の意味することは、 プ ックァクティ ビティ値ァ ドレスのプロ ック度数を読み出し、 上位ブロックァクティ ビティ値までの積算値に加算し た結果を、 そのブ Dックアクティ ビティ値ア ドレスに書き込む、 という処理 である。
この結果図 3 2に示す積算型度数分布表を得る。 この積算型度数分布表に おいては、 図 3 1 の斜線部のブロック度数和が、 しきい値 TH座標データ I に対応する。 この積算型度数分布表により、 しきい値 THを変更するたび に、 毎回、 図 3 1 の斜線部のブロック度数和を計算する必要はなく なる。 す なわち、 積算型度数分布表のしきい値に対応する積算ブ '口ック度数を出力す ることでブロック度数和の算出が実現される。
また図 2 9の第 3階層度数分布表は、 2変数の場合を示しており、 （ 1 4 ) 式を拡張することで積算型度数分布表が生成され、 次式
S UM (act3, act4) = ∑ · ∑ N (A C T 3, A C T 4)
ACT3=act3 ACT4=act4
(15) を得る。 但し、 S UM ( · ) は積算ブ口ック度数を表し、 Ν ） は度数分 布表におけるプロック度数を表し、 a c t 3は積算度数分布表における第 3 階層対応変数を表し、 a c t 4は積算度数分布表における第 4階層対応変数 を表し、 A C T 3は度数分布表における第 3階層変数を表し、 A C T 4は度 数分布表における第 4階層変数を表し、 nは度数分布表における変数最大値 を表す。
( 1 5 ) 式に従って生成される積算型度数分布表においては、 第 3階層の 判定しきい値 3、 第 4階層の判定しきい値 T H 4のァ ドレスに対応する 積算ブロック度数が、 しきい値 T H 3以上かつ判定しきい値 TH 4以上のブ Dック度数和を示す。 こう して第 3階層における発生情報量を算出すること が可能となる。
図 3 0の第 2階層、 第 I 階層の度数分布表に関しても、 積算型度数分布表 を用いることでブ口ック度数和算出時間を短縮することができる。
これらの場合は、 プロックァクティ ビティ変数の数が増えるので、 積算回 数は多く なる。
まず、 第 2階層の場合の演算式を次式
S UM (act2, act3, act4)
∑ - ∑ - ∑ N (A C T 2, A C T 3, A C T 4)
ACT2¾act2 ACT3=act3 ACT 4 = a c t 4
(16) によって表す。 但し、 S UM ( - ) は積算プロック度数を表し、 N ( · ) は 度数分布表におけるブ nック度数を表し、 a c t 2は積算度数分布表におけ る第 2階層対応変数を表し、 a c t 3は積算度数分布表における第 3階層対 応変数を表し、 a c t 4は積算度数分布表における第 4階層対応変数を表し. A C T 2は度数分布表における第 2階層変数を表し、 A C T 3は度数分布表 における第 3階層変数を表し、 A C T 4は度数分布表における第 4階層変数 を表す。
( 1 6 ) 式に従い生成される積算型度数分布表においては、 第 2階層の判 定しきい値 TH 2、 第 3階層の判定しきい値 TH 3、 第 4階層の判定しきい 値 T H 4のァ ドレスに対応する積算ブ口ック度数が、 しきい値 ΤΗ 2以上か つしきい値 T H 3以上かつ判定しきい値 T H 4以上のブ πック度数和を示す ( こう して第 2階層における発生情報量を算出することが可能となる。
最後に、 図 3 0 (B) に示す第 1階層の度数分布表に関する処理を述べる c この場合、 ブロックァクティ ビティ変数が 4種類になるので、 最も積算演 算回数は多く なる。 ここで第 1階層の場合の演算式を次式
S UM (actl, act2, act3, act4)
∑ ∑ ∑
ACT 1 =ac t 1 ACT2=ac ACT3 =
∑ N (A C T 1, A C T 2, A C T 3, A C T 4) (17)
A CT4 = a ί
によって表す。 但し、 S UM ( · ) は積算プ ック度数を表し、 N ( · ) は 度数分布表におけるブ ック度数を表し、 a c t 1 は積算度数分布表におけ る第 1階層対応変数を表し、 a c t 2は積算度数分布表における第 2階層対 応変数を表し、 a c t 3は積算度数分布表における第 3階層対応変数を表し- a c t 4は積算度数分布表における第 4階層対応変数を表し、 A C T 1 は度 数分布表における第 1階層変数を表し、 A C T 2は度数分布表における第 2 階層変数を表し、 A C T 3は度数分布表における第 3階層変数を表し、 A C T 4は度数分布表における第 4階層変数を表す。
( 1 7 ) 式で生成される積算型度数分布表においては、 第 1階層の判定し きい値 T H 1 、 第 2階層の判定しきい値 TH 2、 第 3階層の判定しきい値 T H 3、 第 4階層の判定しきい値 T H 4のァ ドレスに対応する積算プロック度 数が、 しきい値 T H I以上、 しきい値 T H 2以上、 しきい値 TH 3以上かつ しきい値 TH 4以上のブ nック度数和を示す。 こう して第 1階層における発 生情報量も算出される。
この処理の結果、 （ 1 2 ) 式による各階層における分割対象ブ nック数に 基づく発生情報量の算出が実現される。
以上の積算型度数分布表の導入により、 発生情報量制御時間を大幅に短縮 することが可能となる。 この積算型度数分布表に対し、 さらに発生情報量制 御時間を短縮する方法を示す。
この提案で使用される積算型度数分布表は、 分割判定しきい値に対する発 生情報量の算出に用いられる。 ここで実際のしきい値処理においては、 画質 劣化の観点から実用上、 大きな判定しきい値を使用することができない。 そ こで、 ブロックァクティ ビティ値をク 5 リ ップした度数分布表を作成すること o
を提案する。 その様子を図 3 3及び図 3 4 に示す。
図 3 3に示すように、 ブロックァクティ ビティ値を L M Tでク リ ップする と、 L M T以上のブロック度数は度数分布表においては全て L M Tに登録さ れる。 その結果、 図のように L M Tでのプロック度数が大き くなる。 算出す べきブ πック度数和は斜線部である。
この度数分布表に対する積算型度数分布表を、 図 3 3に示す。 （ 1 4 ) 式 〜 （ 1 7 ) 式に示される積算演算は、 ブロックアクティ ビティ値の最大値 n ではなく、 ブ πックァクティ ビティ値 L M Tより 0 までの区間で行なわれる。 算出すべきブ αック度数和は、 しきい値 Τ Ηの座標の積算ブ ック度数 I である。 この例に示されるように、 図 3 2と同じ結果が得られる。 度数分布 表のブロックアクティ ビティ値にク リ ップを導入することにより、 積算型度 数分布表作成時間の短縮化及び度数分布表メモリ空間の小型化を実現し得る。 この手法を適用する枠としては、 各階層毎にク リ ップ値 L M Tを変える場 合と、 各階層全てク リ ッブ値 L M Tを固定にする場合の、 2種類が考えられ る。
前者は各階層の階層間差分値分布に明らかな違いがある時に用いられ、 後 者は各階層の階層間差分値分布が大差無い時に用いられる。
因に、 図 3 5は階層符号化処理のフロ一チャー トを示し、 ステップ S P 2 において階層番号を記憶する階層力ゥンタ I に 「 4」 が登録され、 この階層 化の枠が決定される。
さらにステップ S P 3において発生情報量演算によって階層データが生成 され、 ステップ S P 4において各ブロックァクティ ビティが検出される。 こ のァクティ ビティに対してステップ S P 5 において図 2 9において上述した 多次元度数分布表を作成及び登録することにより発生情報量制御が行われ、 最適制御値が決定される。
さらにステップ S P 6においてェンコーダ側でこの制御値に基づいて階層 符号化が実行される。 すなわち始めに最上位階層である 5階層データに対し、 符号化及び復合化が行われる。 この結果が下位階層における処理の初期値と なり、 ステップ S P 7において下位階層との階層間差分値が生成される。 さ らにステップ S P 8において冗談において決定された発生情報量制御値に基 づいて下位階層での分割選択及び符号化が実行される。
各階層処理の後、 ステップ S P 9において階層力ゥンタ I をデク リメ ン ト する。 そしてステップ S P 1 0において階層力ゥンタ I の内容に対し、 終了 判定が施される。 未終了の場合は、 さらに下位階層処理を続行する。 全階層 の処理を終了した場合、 ループを抜けてステップ S P 1 1 において処理を終 了する。
以上の発生情報量制御により、 画質劣化の少ない圧縮効率の高い階層符号 化を行なう ことができる。
( 4 ) 第 4実施例についての他の実施例
( 4 - 1 ) 上述の実施例においては、 ブロックアクティ ビティ Pを各ブロッ クについて上位の階層データについて得られた復号データと下位の階層デー タとの差分値の最大値で判断する場合について述べたが、 本発明はこれに限 らず、 ブ σック内における平均誤差や絶対値和、 また標準偏差や η乗和、 さ らにはしきい値以上のデータ度数によって判断しても良い。
( 4— 2 ) 上述の実施例においては、 符号器において画像データを P C Μ符 号化する場合について述べたが、 本発明はこれに限らず、 他の符号化方式、 例えば直交符号化方式を適用しても良い。
( 4 - 3 ) 上述の実施例においては、 各階層について得られた度数分布表の しきい値について複数の組み合わせを R O Mに格納しておき、 発生情報量が 最も目標値に近く なるしきい値の組み合わせを求める場合について述べたが、 本発明はこれに限らず、 各階層毎独立に設定できるようにしても良い。
( 4 - 4 ) 上述の実施例においては、 最下位の階層データを 2 ライ ン X 2画 素づっ平均値を求めて上位の階層の画像データを求める場合について述べた 力く、 本発明はこれに限らず、 他の組み合わせによって平均値を求めるように しても良い。
( 5 ) 上述のように本発明によれば、 画像データを順次再帰的に異なる複数 の解像度でなる複数の階層データに分割して符号化する際に、 階層データの 所定のブロックについてブ口ックァクティ ビティを判定し、 下位階層データ に対する分割処理の判定基準であるしきい値をプロックァクティ ビティに対 応するプ ックの度数分布から設定することにより、 圧縮効率の低下しない 画像データの階層符号化方法を容易に実現することができる。
〔 6〕 第 5実施例
( 1 ) 第 5実施例の画像符号化装置
第 5実施例の画像符号化装置 9 0は、 図 3 6に示すように、 第 3実施例 （ 図 1 1 ) の場合と同様の概略構成を有し、 入力画像データ D 3 1 を階層符号 化して出力する階層符号化エンコーダ部 9 0 Αと階層符号化エ ンコーダ部 9 0 Aにおける発生情報量が目標値を達成するように制御する発生情報量制御 部 9 0 Bとによって構成されている。
階層符号化エンコーダ部 9 0 Aはデータ遅延用のメモリ （図示せず） とェ ンコーダとによって構成されている。 このうちメモリ は発生情報量制御部 9 0 Bにおいて最適制御値が決定されるまでの間、 ヱンコ ー ド処理が実行され ないようにデータを遅延できるよう入力段に設けられている。 —方、 発生情報量制御部 9 0 Bは入力画像データを入力して処理対象デー タに適合したしきい値 T Hを決定するようになされており、 階層符号化工ン コーダ部 9 0 Aにおいて入力画像データ D 3 1が効率良く符号化されるよう に決定された最適制御値をエンコーダに伝送するようになされている。 いわ ゆるフィードフォワー ド型のバッファリ ングの構成である。 この構成により 正確な発生情報量制御とフィードフォヮ一ド型バッファリ ングによって発生 する時間遅れを排除することができるようになされている。
ここで階層間差分値に基づき定義されるブロックアクティ ビティにより、 下位階層での分割処理の選択が行われる。 すなわち下位階層の 2 X 2の 4画 素より上位階層データが構成され、 ブロックが定義される。
すなわち上位階層データを X 0 ( i + 1 ) とし、 下位階層データを X j ( i ) とすると、 階層間差分符号値 Δ Χ j ( i ) = X 0 ( i + 1 ) - X j ( i ) となる。 但し j = 0〜3である。 またブロックアクティ ビティ決定関数を G ( · ) とするとブロックアクティ ビティ A C T = G '( Δ X j ( i ) ) とな る。
また階層判定フラグ F L Gが 0の場合を分割中止とし、 階層判定フラグ F L Gが 1 の場合を分割継続として、 分割判定フラグの見直し法について説明 する。 先ず発'生情報量制御過程では、 始めに各ブロックごとに全階層のァク テイ ビティ A C Tを生成し、 続いて全階層のァクティ ビティ A C Tに対応す るしきい値により判定フラグ F L Gを生成する。 さらに各ブ nックごとに下 位階層より判定フラグ F L Gが初めて 1 になる階層を探す。
判定フラグ F L Gが初めて 1 になる階層より上位の全ての上位階層プ ッ クの階層判定フラグ F L Gを 1 とする。 この規則に従い判定フラグ F L Gの 更新が行われる。 また上記の判定しきい値は、 発生情報量制御に基づいて変 更され、 目標値に収まる最適しきい値が選択される。 因みに実施例の場合、 ここで用いた判定フラグは符号化過程で用いる判定フラグとは別である。 次にブ nック分割選択処理 （すなわち実際の符号化過程） について説明す ると、 判定フラグ F L G = 0の場合、 下位階層の分割中止とし、 これに対し て判定フラグ F L G = 1 の場合、 下位階層の分割を実行する。 以上の処理は 予め発生情報量制御により各階層の各ブ nックごとに階層判定フラグ F L G を決定し、 それに基づき実際のプ ック分割処理を実行するという 2段階か ら構成される。
( 2 ) 階層符号化エンコーダ部
階層符号化エンコーダ部 9 0 Aは図 3 7に示す構成でなり、 符号器 5 1 〜 5 5が図 3 8に示すように構成されている点を除いて、 図 1 2及び図 1 3に ついて上述したと同様の構成を有する。
この場合の符号器 5 4、 5 3、 5 2はそれぞれ、 ブ ックの分割又は非分 割を表すために用いたしきい値判定結果情報 J 1 、 J 2、 J 3を隣接する下 位階層の符号器 5 3、 5 2、 5 1 に送出すると共に、 符号器 5 1 、 5 2、 5 3はそれぞれ、 しきい値判定結果情報 J 4、 J 3、 J 2を隣接する上位階層 の符号器 5 2、 5 3、 5 4に送出するようになされている。
すなわち階層符号化工ンコーダ部 9 0 Aにおいては、 階層データに関し、 上位階層のしきい値判定により分割処理が中断されたブ口ックに関しても、 それ以降の下位階層において有意ァクティ ビティが検出された場合、 分割処 理が中断された階層に戻り、 判定フラグをリ セッ ト し、 再び下位階層に向か いしきい値判定を行うようになされている。
これは、 階層データ構造上、 上位階層ブロックに対応する下位階層データ 数は増加していく ため、 再判定の意義が認められるためである。
実際上、 符号器 5 2及び 5 3は、 図 3 8に示すように構成されている。 符号器 5 3は差分データ D 4 3を符号化回路 5 3 A及び分割制御部 5 3 B のアクティ ビティ検出回路 5 3 Cに入力する。 アクティ ビティ検出回路 5 3 Cは、 差分データ D 4 3の所定プロック毎のアクティ ビティを検出し、 これ により得た検出結果を続く しきい値判定回路 5 3 Dに与える。 しきい値判定 回路 5 3 Dは各ブロック毎のァクティ ビティ検出結果をしきい値データ D 5 7 と比較し、 これにより得た判定結果をしきい値判定結果情報 J 2 として符 号化回路 5 3 A及び隣接する下位階層の符号器 5 2に送出する。 符号化回路 5 3 Aはしきい値判定結果情報 J 2に基づき、 アクティ ビティの高いプロッ クについては圧縮符号化して伝送し、 これに対してアクティ ビティの低いブ ロックについては伝送しない。
ここでァクティ ビティ検出回路 5 3 C及びしきい値判定回路 5 3 Dは隣接 する上位階層の符号器 5 4から出力されたしきい値判定結果情報 J 1 を受け、 当該しきい値判定結果情報 J 1がブ nックの分割を行うことを表すものであ つた場合には、 アクティ ビティ検出及びしきい値判定結果を実行する。 これ に対してしきい値判定結果情報 J 1 がブ口ックの非分割を表すものであった 場合には、 それに対応するブ ックについてはアクティ ビティ検出及びしき い値判定を行わないと共に、 しきい値判定回路 5 3 Dからブロックの非分割 を表すしきい値判定結果情報 J 2を出力する。
符号器 5 2 も同様に、 ァクティ ビティ検出回路 5 2 C及びしきい値判定回 路 5 2 Dが隣接する上位階層の符号器 5 3からブロックの分割を表すしきい 値判定結果情報 J 2を受けた場合には、 対応するブロックについてのァクテ ィ ビティ検出及びしきい値判定を実行するのに対し、 ブ口ックの非分割を表 すしきい値判定結果情報 J 2を受けた場合には、 ァクティ ビティ検出及びし きい値判定を行わないと共に、 しきい値判定回路 5 2 Dからブロックの非分 割を表すしきい値判定結果情報 J 3を出力する。
このように階層符号化工ンコーダ部 9 0 Aにおいては、 一旦ブ ックの非 分割判定結果を得ると、 それに対応するブロックについてはそれ以降の下位 階層ではブロック分割しない （すなわち符号化しない） ようになされている。 これに加えて階層符号化エンコーダ部 9 O Aにおいては、 例えば符号器 5 3の分割制御部 5 3 Bによって、 ブ πックの非分割を表すしきい値判定結果 情報 J 2が得られた場合でも、 例えば符号器 5 1 によって、 ブロックの分割 を表すしきい値判定結果情報 J 4が得られた場合には、 符号器 5 2はこのし きい値判定結果情報 J 4を分割制御部 5 2 Bに受けて、 ブ nックァクテイ ビ ティのしきい値判定を行い、 'プロックを分割するかしないかを決定する。 ( 3 ) 発生情報量制御部
次に、 発生情報量制御部の構成ブ nック図の例を図 3 9に示す。
まず、 図 3 7のェンコーダ部と同じ入力画像データ D 3 1 に対し、 平均化 回路 4 2において 1 / 4平均処理が実行され第 2階層データ D 3 2が生成さ れる。
また第 2階層データ D 3 2に対し平均化回路 4 4において 1ノ 4平均処理 が実行され第 3階層データ D 3 3が生成される。
同じく第 3階層データ D 3 3に対し平均化回路 4 6の 1 4平均処理によ り第 4階層データ D 3 4が生成される。
最後に平均化回路 4 8での 1 4平均処理により第 5階層データ D 3 5が 生成される。
第 5階層データ D 3 5におけるデータの度数が、 度数分布表 7 3に登録さ れる。 これは、 前述のエンコーダ部で実行される圧縮処理に対応するデータ の度数を計測する。 例えば第 5階層データ D 3 5に対し、 P C M符号化によ る圧縮処理がなされる場合、 各ブロックについて与えられるダイナミ ック レ ンジがデータとして登録され、 圧縮処理方法として A D R C (適応ダイナミ ック レンジ符号化 （U S P— 4 7 0 3 3 5 2 ) ) を適用する場合には A D R Cブロックの D Rが登録される。
次に、 第 4階層データ D 3 4 と第 5階層データ D 3 5から差分データ D 6 4が生成される。 差分データ D 6 4に関し、 前述のブ ックァクティ ビティ 検出がブロックアクティ ビティ検出回路 6 8で行なわれる。 そこで検出され たブロックアクティ ビティ D 6 8は度数分布表 Ί 2に登録される。
上位階層でのブ σック分割判定は全ての下位階層のブ口ックァクティ ビテ ィの判定結果を参考に決定される。
そこで、 度数分布表 7 2は、 第 1階層プ ックアクティ ビティ D 6 5 と第 2階層ブロックアクティ ビティ D 6 6 と第 3階層ブロックアクティ ビティ D 6 7 と第 4階層ブロックアクティ ビティ D 6 8の 4変数により定義される。 第 3階層データ D 3 2 と第 4階層データ D 3 4から差分データ D 6 3が生 成される。 差分データ D 6 3に関し、 ブロックアクティ ビティがァグテイ ビ ティ検出回路 6 7で検出される。 検出されたアクティ ビティ D 6 7は度数分 布表 7 1 に登録される。
この場合も、 ブ πック分割は、 第 3階層以下の全ての下位階層のブ oック アクティ ビティの判定結果を参考に決定される。
よって、 第 3階層の度数分布表 7 1 は、 第 1階層ブロックアクティ ビティ D 6 5 と第 2階層ブロックアクティ ビティ D 6 6と第 3階層ブ ックァクテ イ ビティ D 6 7の 3変数により定義される。
第 2階層データ D 3 2と第 3階層データ D 3 2から差分デーダ D 6 2が生 成され、 ァクティ ビティ検出回路 6 6においてブロックアクティ ビティ D 6 6が出力される。 検出されたプロックアクティ ビティ D 6 6は度数分布表 7 0に登録される。
この場合は、 第 1階層のブロックアクティ ビティの判定結果を参考に決定 される。
第 2階層の度数分布表 7 0は、 第 1階層ブ πックアクティ ビティ D 6 5 と 第 2階層ブ ックアクティ ビティ D 6 6の 2変数により定義される。
最後に、 第 1階層データ D 3 1 と第 2階層データ D 3 2から差分データ D 6 1 が生成され、 ァクティ ビティ検出回路 6 5においてブロックァクテイ ビ ティ D 6 5が出力される。 検出されたブ ックアクティ ビティ D 6 5は度数 分布表 6 9に登録される。
第 1階層に関しては、 独立にブロックアクティ ビティのしきい値判定を行 ない、 その結果が実行されるので、 上位階層のブ ックァクティ ビティを監 視する必要はない。 すなわち、 第 1 階層の度数分布表 1 は、 第〗 階層ブ口ッ クアクティ ビティ D 6 5から構成される 1 次元度数分布表となる。
ここで度数分布表の生成過程では、 エンコーダ部の伝送データ量を正確に 把握するために、 上位階層 1画素に対応する下位階層 4画素のうち実際にェ ンコーダによる伝送対象である 3画素を用いるようになされている。
こう して生成された度数分布表 6 9〜 7 3を用いて癸生情報量制御が実行 される。 各度数分布表と後段の制御部は双方向の信号路 D 6 9〜D 7 3で接 続されている。
制御部においては、 まず、 各度数分布表に対するしきい値が各度数分布表 に伝送される。
各度数分布表においては、 しきい値に対応する発生情報量が検出される。 この各度数分布表における発生情報量は、 信号路 D 6 9〜D 7 3を通して 制御部 7 4に伝送される。
制御部 7 4においては、 受信した各度数分布表における発生情報量を統合 し、 制御対象となる総発生情報量を算出する。
この総発生情報量と目標値を比較し、 その比較結果により、 目標値を満た すようにしきい値が変更される。
再び、 更新されたしきい値は制御部 7 4より、 信号路 D 6 9 ~ D 7 3を介 して各度数分布表に伝送される。
それに対応する発生情報量が再び制御部に伝送される。
以上の処理を繰り返し、 最終的に目標値を達成する制御結果 D 5 7が決定 される。
決定された発生情報量制御値 D 5 7は、 図 3 6のブ σック図に示すように、 階層符号化工ンコーダ部へ伝送される。
この情報量制御部処理期間中は、 制御対象となるデータはエンコーダ部に 含まれるメモリ M l により待機させられる。
以上の情報量制御においては、 対象データに適合したしきい値が決定され るので、 効率の良い符号化の実現が可能となる。
ここで図 4 0 ( A) 〜 4 0 (E) はそれぞれ最上位階層データ〜最下位階 層データについて得られたブロックアクティ ビティの度数分布表を示してい る。 ここで図 4 0 (A) に示す第 5階層についての度数分布表に関しては、 対象データが差分データではないためダイナミ ック レンジによる度数分布表 が生成される。 例えば第 5階層データ D 3 5に対し、 P CM符号化による圧 縮処理がなされる場合、 各ブロックについて与えられるダイナミ ック レンジ がデータとして登録され、 圧縮処理方法として A D R C (適応ダイナミ ック レンジ符号化 （U S P— 4 7 0 3 3 5 2 ) ) を適用する場合には A D R Cブ ロックの DRが登録される。
次に、 発生情報量制御用の度数分布表の例を 5階層の場合について、 図 4 1〜図 4 7に示す。
まず、 総発生情報量を算出する定義式を導出する。
発生情報量の算出のためには、 各階層における分割判定しきい値以上の有 効ブ nック数を計測する必要があるが、.判定フラグ見直し法による階層符号 化の発生情報量制御では、 ブ nック毎に上位階層において全ての下位階層の 分割判定結果を考慮した上で、 対象ブ ックの分割判定を行なわなくてはな らない。
このとき、 各階層において分割判定に用いられるブ ηックアクティ ビティ 判定しきい値は、 第 1階層分割判定しきい値を ΤΗ 1 、 第 2階層分割判定し きい値を ΤΗ 2、 第 3階層分割判定しきい値を ΤΗ 3、 第 4階層分割判定し きい値を Τ Η 4 とする。
全階層で上記のしきい値以上のブ ックの下位階層分割が実行される。 上 位階層では、 全ての下位階層にしきい値以上のプロックアクティ ビティが存 在しない場合で、 その階層のブロックアクティ ビティがしきい値未満のとき、 プロック分割は停止される。
まず、 図 4 1 (Α) において、 最上位階層である第 5階層の度数分布表を 示す。
第 5階層の度数分布表に関しては、 対象データが差分データではないので 符号化処理に対応した情報量制御を行なう。
線形量子化などの固定長符号化を適用する場合は度数分布表を作成する必 要はない。 発生情報量制御には、 次の発生情報量算出式を用いることができ る。
すなわち第 1階層における分割対象ブ πック内画素数和を M 1、 また第 1 階層データの量子化ビッ ト数を Q 1 、 第 I 階層の判定フラグビッ ト数を N I とすると、 第 1階層における発生情報量 I 1 は、 次式
I 1 = 4 · Q 1 · M 1 · ( 3 / 4 ) + N 1 ( 18) によって与えることができる。
この （ 1 8 ) 式における第 1項において各ビッ ト数が 4倍されているのは. この例の場合、 各ブロックが 2 ライ ン X 2画素に分割されているからである, また第 1項において 3 / 4倍しているのは上位階層値が下位階層値の平均値 より生成されるという構造において、 上位階層値と伝送される下位階層値 3 画素を用いて算術式により下位階層の 4番目の非伝送画素値が復元できると いう性質を反映しているからである。
因に第 2項において、 第 1階層におけるプロック数に N 1 が加算されてい るのは分割判定フラグとして各ブ ックごとに 1 ビッ ト付加して伝送するこ とを示している。
同様に、 第 2、 第 3、 第 4の階層についても、 各階層における分割対象ブ ■οック内画素数和を Μ 2、 Μ 3、 Μ 4 とし、 各階層での量子化ビッ ト数を Q 2、 Q 3、 Q 4、 各階層での判定フラグビッ ト数を Ν 2、 Ν 3、 Ν 4 とする と、 各階層における発生情報量 I k ( k = 2、 3、 4 ) は、 次式 1 = 1 1 + 1 2 + 1 3 + 1 4 + 1 5 …… (19) によって与えることができる。
これら第 1〜第 4階層についての発生情報量 I 1 ~ 1 4及び第 5階層につ いての発生情報量 I 5を用いると、 階層符号化工ンコーダ部 4 0 Aの符号化 処理によって生じる総発生情報量 I は、 次式
I k = 4 · Q k · M k · ( 3/4) +N k …… （20) のように各階層ごとの発生情報量の和として求めることができる。
ここで各階層の発生情報量に判定フラグのビッ ト数が加算されるが、 この フラグの情報量は上位階層で分割処理が実行されたブ Dック数に等しい。 各 ブ πックの空間的位置は、 上位階層からの判定フラグの履歴により、 各階層 において特定することができる。
ここで個々の度数分布表について説明する。
上述のように、 最上位階層データの度数分布表は圧縮方式に依存するので、 —意には決まらない。 しかし、 度数分布表等の手段を用いて発生情報量を制 御することができる。
次に、 第 1階層データに関しては、 ブロックアクティ ビティ A C T 1 に対 するプロック度数が登録されている、 図 4 1 の第 1 階層度数分布表を用いる ことにより、 容易にしきい値 TH 1 に対する発生情報量を算出することがで きる。
しきい値 TH 1以上のブロックが分割対象となるので、 しきい値以上のブ Dック数和を求めることにより、 第 1 階層における発生情報量を算出する。 次に、 第 2階層の度数分布表の例を図 4 2に示す。
判定フラグ見直し法においては、 第 1階層においてブ Dック分割実行中止 判定を受けたプ ックに対し、 第 2階層におけるしきい値 T H 2以上のブ1 p ック数を計測する。
そこで、 第 1階層ブロックアクティ ビティ A C T 1 と、 第 2階層ブロック アクティ ビティ A C T 2の 2変数で定義される度数分布表を導入する。
すなわち、 第 1階層のしきい値 TH 1以上で、 第 2階層のしきい値 TH 2 以上のブロック度数を求める。
この操作は、 図 4 2の度数分布表において、 A C T 1軸ではしきい値 TH 1以上、 A C T 2軸ではしきい値 TH 2以上のプロック度数を算出すること で、 上記の条件を満たす第 2階層における発生情報量の算出が実現される。 図 4 2は、 A C T 1が離散的に計測される場合であり、 各 A C T 1 の値毎 に第 2階層のブロックアクティ ビティ A C T 2が分布している様子を示して いる。
次に、 第 3階層、 第 4階層の度数分布表の例を図 4 3に示す。
第 2階層の度数分布表と同じ考え方に従い、 多変数により定義される度数 分布表を生成する。
第 3階層においては、 第 1階層、 第 2階層、 第 3階層のそれぞれのブ oッ クアクティ ビティ A C T 1、 A C T 2、 A C T 3で定義されるブロックを度 数分布表に登録する。 この状態を図 4 3 (Α) に示す。
第 3階層では、 A C Τ 1軸ではしきい値 T H 1以上、 A C T 2軸ではしき い値 TH 2以上、 A C T 3軸ではしきい値 TH 3以上のブ πック度数を算出 することで、 第 3階層における発生情報量を算出する。
第 4階層においては、 第 1階層、 第 2階層、 第 3階層、 第 4階層のそれぞ れのブロックアクティ ビティ A C Τ 1、 A C T 2、 A C T 3、 A C T 4で定 義されるブロックを度数分布表に登録する。 この状態を図 4 3 (Β) に示す c 第 4階層の場合は、 A C T 1軸ではしきい値 T H 1以上、 A C T 2軸では しきい値 TH 2以上、 A C T 3軸ではしきい値 T H 3以上、 A C T 4軸では しきい値 TH 4以上のブロック度数を算出することで、 第 4階層における発 生情報量を算出する。 以上の 5種類の度数分布表を用いて、 しきい値に対する発生情報量を算出 し、 目標情報量に合致する制御を行なう ことができる。
ここで発生情報量制御に用いられる各階層のしきい値については、 各階層 毎に独立に変更する手法がある。
例えば、 各階層毎に予め目標情報量を設定しておき、 各階層毎に独立にし きい値を変更して目標情報量に合致する制御を行なう手法である。
また、 別の手法としては、 各階層のしきい値の組み合わせを予め用意して おき、 制御順序に従い、 そのしきい値組み合わせを適用することで、 制御の 簡素化を図る手法もある。
次に、 度数分布表について説明する。
前述の各階層における度数分布表を用いた発生情報量制御手法において、 各階層では、 全ての下位階層の分割判定結果を考慮しつつ、 各階層のブロッ クァクティ ビティがしきい値以上のブ σック度数を算出することで最適制御 値を検出した。
このしきい値以上のブ ック度数算出時間の高速化を図るため、 ブロック 度数が登録された度数分布表を積算型度数分布表に最構成することを提案す る。
この積算型度数分布表の例を図 4 5に示す。
ブロックアクティ ビティを登録した結果、 図 4 4の度数分布表例が得られ たとする。 説明の簡素化のため、 ブ Dックアクティ ビティが 1 変数の例であ る。
積算型度数分布表 （図 4 5 ) は、 図 4 4の度数分布表のブ πックァクティ ビティの最大値に対応するプ ック度数から開始し、 より小さいブロックァ クティ ビティ値に対応するブロック度数に積算演算を施し、 それぞれの積算 結果を度数分布表に登録し直す構造をもつ。
この処理を数式で表現すると次式 S UM act) - ∑ N (A C T) (21)
ACT =
によって表される.。 但し、 S UM ( · ) は積算プロック度数を表し、 N ( - ) は度数分布表におけるブロック度数を表し、 a c t は積算度数分布表にお けるブロックアクティ ビティ変数を表し、 A C Tは度数分布表におけるブロ ックァクティ ビティ変数を表し、 nは度数分布表における変数最大値を表す < ( 2 1 ) 式の意味することは、 ブロックァクティ ビティ値ァ ドレスのプロ ック度数を読み出し、 上位ブロックァクティ ビティ値までの積算値に加算し た結果を、 そのブロックアクティ ビティ値ア ドレスに書き込む、 という処理 である。
この結果を図 4 5に示す。 積算型度数分布表においては、 図 4 4の斜線部 のブロック度数和が、 しきい値 TH座標データ I に対応する。
この積算型度数分布表により、 しきい値 THを変更するたびに、 毎回、 上 図の斜線部のブ Dック度数和を計算する必要はなく なる。
すなわち、 積算型度数分布表のしきい値に対応する積算ブ Dック度数を出 力することでブロック度数和の算出が実現される。
図 4 5は、 1変数の例でもあるので、 図 4 1 の第 1 階層度数分布表に適用 される。
図 4 2の第 2階層度数分布表は、 2変数の場合を示しており、 （ 2 1 ) 式 を拡張することにより積算型度数分布表が生成され、 次式
S UM (actl, act2) = ∑ · ∑ N (A C T 1, A C T 2)
ACT I = a c t 1 ACT2 = ac t2
(22) によって表される。 但し、 S UM ( · ) は積算ブロック度数を表し、 N ( · ) は度数分布表におけるブ口ック度数を表し、 a c t 1 は積算度数分布表に おける第 1階層対応変数を表し、 a c t 2 は積算度数分布表における第 2階 層対応変数を表し、 A C T 1 は度数分布表における第 1 階層変数を表し、 A C T 2は度数分布.表における第 2階層変数を表し、 nは度数分布表における 変数最大値を表す。
( 2 2 ) 式に従い生成される積算型度数分布表においては、 第 1 階層の判 定しきい値 T H 1 、 第 2階層の判定しきい値 T H 2のァ ド レスに対応する積 算ブ ック度数が、 第 1階層しきい値 ΤΗ 1以上かつ第 2階層判定しきい値 Τ Η 2以上のブ ηック度数和を示す。
こう して第 2階層における発生情報量を算出することが可能となる。
図 4 3の第 3階層、 第 4階層の度数分布表に関しても、 積算型度数分布表 を用いることでブ σック度数和算出時間を短縮することができる。
これらの場合は、 プロックァクティ ビティ変数の数が増えるので、 積算回 数は多く なる。
まず、 第 3階層の場合の演算式を次式
S UM (actl, act2, act3)
∑ - ∑ - ∑ N ( A C T 1, A C T 2, A C T 3)
AC T 1 =a c t 1 AC T 2 = a c t 2 ACT3 = ac t3
(23) によって表す。 但し、 S UM ( · ) は積算プロック度数を表し、 N ( · ) は 度数分布表におけるブロック度数を表し、 a c t 1 は積算度数分布表におけ る第 1階層対応変数を表し、 a c t 2は積算度数分布表における第 2階層対 応変数を表し、 a c t 3は積算度数分布表における第 3階層対応変数を表し. A C T 1 は度数分布表における第 1階層変数を表し、 A C T 2は度数分布表 における第 2階層変数を表し、 A C T 3は度数分布表における第 3階層変数 を表し、 nは度数分布表における変数最大値を表す。 ( 2 3 ) 式に従い生成される積算型度数分布表においては、 第 1 階層の判 定しきい値 T H 1 、 第 2階層の判定しきい値 T H 2、 第 3階層の判定しきい 値 TH 3のァ ドレ.スに対応する積算ブ Dック度数が、 第 1階層しきい値 T H 1 以上かつ第 2階層しきい値 TH 2以上かつ第 3階層しきい値 TH 3以上の ブロック度数和を示す。
こう して第 3階層における発生情報量を算出することが可能である。
さらに図 4 3の第 4階層の度数分布表に関する処理を述べる。
この場合、 ブロックァクティ ビティ変数が 4種類になるので、 最も積算演 算回数は多く なる。
第 4階層の場合の演算式を次式
S UM (actl, act2, act3, act4)
∑ · ∑ · ∑
A CT 1 =a c t 1 ACT 2= act2 ACT3 = act3
∑ N (A C T 1, A C T 2, A C T 3, A C T 4) ······ (24)
ACT4=act4
によって表す。 但し、 S UM ( · ) は積算プロック度数'を表し、 N ( · ) は 度数分布表におけるブ nック度数を表し、 a c t l は積算度数分布表におけ る第 1階層対応変数を表し、 a c t 2は積算度数分布表における第 2階層対 応変数を表し、 a c t 3は積算度数分布表における第 3階層対応変数を表し. a c t 4は積算度数分布表における第 4階層対応変数を表し、 A C T 1 は度 数分布表における第 1階層変数を表し、 A C T 2は度数分布表における第 2 階層変数を表し、 A C T 3は度数分布表における第 3階層変数を表し、 A C T 4は度数分布表における第 4階層変数を表し、 nは度数分布表における変 数最大値を表す。
( 2 4 ) 式で生成される積算型度数分布表においては、 第 1 階層の判定し きい値 T H 1 、 第 2階層の判定しきい値 T H 2、 第 3階層の判定しきい値 T H 3、 第 4階層の判定しきい値 T H 4のァ ドレスに対応する積算ブロック度 数が、 第 1階層し.きい値 T H 1以上、 第 2階層しきい値 T H 2以上、 第 3階 層しきい値 T H 3以上かつ第 4階層しきい値 T H 4以上のブロック度数和を 示す。
こう して第 4階層における発生情報量も算出される。
この処理の結果、 （ 1 9 ) 式による各階層における分割対象ブ αック数に 基づく発生情報量の算出が実現される。
以上の積算型度数分布表の導入により、 発生情報量制御時間を大幅に短縮 することが可能となる。
さらにこの積算型度数分布表に対し、 さらに発生情報量制御時間を短縮す る提案を行なう。
この提案で使用される積算型度数分布表は、 分割判定しきい値に対する発 生情報量の算出に用いられる。
実際のしきい値処理においては、 画質劣化の観点から実用上、 大きな判定 しきい値を使用することができない。 従ってブロックァクティ ビティ値をク リ ップした度数分布表を作成することを提案する。 その様子を図 4 6及び図 4 7 に示す。
図 4 6のように、 ブロックァクティ ビティ値を L Μ Τでク リ ッブすると、 L M T以上のプロック度数は度数分布表においては全て L M Tに登録される。 その結果、 L M Tでのブt3ック度数が大き く なる。 算出すべきブロック度 数和は傾斜部である。
この度数分布表に対する積算型度数分布表を、 図 4 7に示す。 （ 2 1 ) 式 ~ ( 2 4 ) 式に示される積算演算は、 プロックァクティ ビティ値の最大値 η ではなく、 ブロックアクティ ビティ値 L Μ Τより 0までの区間で行なわれる。 算出すべきプ ック度数和は、 しきい値 Τ Ηの座標の積算プロック度数 I である。 この例に示されるように、 図 4 5 と同じ結果が得られる。 度数分布 表のプロックァクティ ビティ値にク リ ッブを導入することにより、 積算型度 数分布表作成時間の短縮化及び度数分布表メモリ空間の小型化を実現し得る: この手法を適用する枠としては、 各階層毎にク リ ップ値 L M Tを変える場 合と、 各階層全てク リ ップ値 L M Tを固定にする場合の、 2種類が考えられ る。
前者は各階層の階層間差分値分布に明らかな違いがある時に用いられ、 後 者は各階層の階層間差分値分布が大差無い時に用いられる。
図 4 8は階層符号化処理のフ n —チヤ一 トを示し、 ステップ S P 2におい て階層番号を記憶する階層カウンタ I に 「 4」 が登録され、 この階層化の枠 が決定される。
さらにステップ S P 3において発生情報量演算によって階層データが生成 され、 ステップ S P 4において各ブロックアクティ ビティが検出される。 こ のアクティ ビティに対してステップ S P 5において図 4 2において上述した 多次元度数分布表を作成及び登録することにより発生情報量制御が行われ、 最適制御値が決定される。
さらにステップ S P 6においてェンコ一ダ側でこの制御値に基づいて階層 符号化が実行される。 すなわち始めに最上位階層である 5階層データに対し、 符号化及び復合化が行われる。 この結果が下位階層における処理の初期値と なり、 ステップ S P 7において下位階層との階層間差分値が生成される。 さ らにステップ S P 8において上段において決定された発生情報量制御値に基 づいて下位階層での分割選択及び符号化が実行される。
各階層処理の後、 ステップ S P 9において階層力ゥンタ I をデク リメ ン ト する。 そしてステップ S P 1 0において階層力ゥンタ I の内容に対し、 終了 判定が施される。 未終了の場合は、 さらに下位階層処理を続行する。 全階層 の処理を終了した場合、 ループを抜けてステップ S P 1 1 において処理を終 了する。
以上の発生情報量制御により、 画質劣化の少ない圧縮効率の高い階層符号 化を行なう ことが可能となる。 ( ) 他の実施例-
( 4 — 1 ) 上述の実施例においては、 ブロックァクティ ビティ Pを各プロッ クについて上位の階層データについて得られた復号データと下位の階層デー タとの差分値の最大値で判断する場合について述べたが、 本発明はこれに限 らず、 ブロック内における平均誤差や絶対値和、 また標準偏差や n乗和、 さ らにはしきい値以上のデータ度数によって判断しても良い。
( 4 - 2 ) 上述の実施例においては、 符号器において画像データを P C M符 号化する場合について述べたが、 本発明はこれに限らず、 他の符号化方式、 例えば直交符号化方式を適用しても良い。
( 4 一 3 ) 上述の実施例においては、 各階層について得られた度数分布表の しきい値について複数の組み合わせを R O Mに格納しておき、 発生情報量が 最も目標値に近くなるしきい値の組み合わせを求める場合について述べたが、 本発明はこれに限らず、 各階層毎独立に設定できるようにしても良い。
( 4 一 4 ) 上述の実施例においては、 最下位の階層データを 2 ライ ン X 2画 素づっ平均値を求めて上位の階層の画像データを求める場合について述べた 力く、 本発明はこれに限らず、 他の組み合わせによって平均値を求めるように しても良い。
( 5 ) 上述のように本発明によれば、 画像データを順次再帰的に異なる複数 の解像度でなる複数の階層データに分割して符号化する際に、 階層データの 所定のブロックについてプロックアクティ ビティを判定し、 下位階層データ に対する分割処理の判定基準であるしきい値をブ口ックァクティ ビティ に対 応するブ πックの度数分布から設定することにより、 圧縮効率の低下しない 画像データの階層符号化方法を容易に実現することができる。 〔 7〕 第 6実施例
( 1 ) 第 6実施例の画像符号化装置
第 6実施例の画像符号化装置 1 0 0は、 図 4 9 に示すように、 第 3実施例 (図 1 1 ) の場合と同様の概略構成を有し、 入力画像データ D 3 1 を階層符 号化して出力する階層符号化工ンコーダ部 1 0 0 Aと当該階層符号化工ンコ —ダ部 1 0 0 Aにおける発生情報量が目標値となるように制御する発生情報 量制御部 1 0 0 Bとにより構成されている。
階層符号化ェ ンコーダ部 1 0 0 Aはデータ遅延用のメモ リ M 1 (図 5 0 ) とェ ンコーダによって構成されている。 このうちメモ リ M 1 は発生情報量制 御部 1 0 0 Bにおいて最適制御値が決定されるまでの間、 エ ンコー ド処理が 実行されないようにデータを遅延できるよう入力段に設けられている。
—方、 発生情報量制御部 1 0 0 Bは入力画像データ D 3 1 を入力して処理 対象データに適合した最適制御値 S 1 を設定し、 これを階層符号化工ンコ ー ダ部 4 0 Aに送出することにより、 当該階層符号化エ ンコーダ部 4 0 Aで効 率の良い符号化ができるようになされている。 所謂フィ一ドフォヮー ド型の バッファリ ング構成である。 '
( 2 ) 階層符号化 ンコーダ部
階層符号化エンコーダ部 1 0 0 Aは図 5 0に示すように、 5階層の解像度 の異なる圧縮画像データを生成するようになされ、 入力画像データ D 3 1 が メモリ M 1 を介して入力されるようになされている点及び符号器 5 1〜 5 5 が図 5 1 に示すように構成されている点を除いて、 図 1 2及び図 1 3につい て上述したと同様の構成を有する。
この場合の符号器 5 1〜5 5は、 同一空間内に存在する信号間の関係を利 用してブロック分割判定を実行するようになされている。 すなわち図 5 1 に おいて、 符号器 5 は差分データ D 4 4を符号化回路 5 4 Aに入力すると共 に、 色信号検出回路 5 4 B及び輝度信号検出回路 5 4 Eに入力する。 輝度信 号検出回路 5 4 Eは差分データ D 4 4に含まれる輝度成分を抽出し、 続く ァ クティ ビティ検出回路 5 4 Fによって、 抽出した輝度成分のブ口ック毎のァ クテイ ビティを検.出する。 しきい値判定回路 5 4 Gは検出された輝度信号ァ クテイ ビティを所定のしきい値と比較し、 これにより得られたしきい値判定 結果を続く しきい値設定回路 5 4 Hに与える。 しきい値設定回路 5 4 Hでは- しきい値判定回路 5 4 Gにおける判定結果が、 所定のしきい値よりも輝度信 号ァクティ ビティの方が大きいことを表すものであった場合には比較的小さ なしきい値を設定し、 所定のしきい値よりも輝度信号ァクティ ビティの方が 小さいことを表すものであった場合には比較的大きなしきい値を設定する。 この際、 しきい値設定回路 5 4 Hは、 最適制御値 S 1 に応じて設定するしき い値の大きさを決定する。 このようにして設定されたしきい値はしきい値判 定回路 5 4 Dに与えられる。
また符号器 5 4では、 色信号検出回路 5 4 Bによって抽出した色信号成分 のブロック毎のアクティ ビティ検出回路 5 4 Cによって検出し、 これにより 得た色信号アクティ ビティをしきい値判定回路 5 4 Dに与える。
しきい値判定回路 5 4 Dは、 しきい値設定回路 5 4 Hで設定されたしきい 値によって色信号ァクティ ビティをしきい値判定し、 当該判定結果に応じて 符号化回路 5 4 Aでのプロック分割を制御する。 すなわち色信号ァクティ ビ ティが設定されたしきい値以上の場合には、 ブ πック分割するのに対し、 し きい値未満の場合にはブ πック分割しない。
このように符号器 5 4 (符号器 5 1〜 5 3 も同様） においては、 一旦輝度 信号のァクティ ビティに基づいてしきい値を設定し、 この設定したしきい値 を用いて色信号のァクティ ビティを判定し、 当該判定結果に応じてプロック の分割を制御するようになされている。
ここでアクティ ビティ とは、 上位階層データに対応する下位階層データ領 域を 「ブロック」 と定義した場合の、 所定ブロック内の階層間差分データ D 4 1 〜D 4 4の最大値、 平均値、 絶対値和、 標準偏差又は π乗和等で表わさ れる相関値である。 すなわちアクティ ビティが低い場合には、 このブロック は平坦なブロックという ことができる。
このとき符号器 5 1 ~ 5 4は、 ブロックアクティ ビティが所定のしきい値 よりも髙ぃ場合には、 このブロックを分割ブロック として、 そのブロックの データを符号化して伝送すると共にこのプロックが分割プロックであること を表わす分割判定フラグをつけて伝送する。
これに対して符号器 5 1〜 5 4は、 ブロックァクティ ビティが所定のしき い値未満の場合には、 このブロックを非分割ブロックとし、 このブロックの データを伝送しないと共にこのブ ックが非分割ブ ηックであるとを表わす 非分割判定フラグを付けて伝送する。 この非分割ブ πックは復号装置側にお いて上位階層データに置き換えられる。
( 3 ) 分割処理
この実施例における階層符号化方式では、 判定フラグをそれ以降の下位階 層での判定には反映させない方式が用いられている （以下これを独立判定法 と呼ぶ） 。 すなわち独立判定法では、 各階層独立に、 毎回しきい値判定に基 づく分割選択処理を行う。 例えば一旦非分割判定がなされたブロックにおい ても、 続く下位階層において再びァクティ ビティの判定を行い、 ここで再び 分割するか分割しないかを選択する。 この結果独立判定法を用いた階層符号 化方式においては、 上位階層での下位階層の判定フラグの影響を受けないこ とにより、 画質劣化の少ない階層符号化が実現できるようになされている。 かかる構成に加えて、 階層符号化エンコーダ部 1 0 O Aにおいては、 色信 号の分割判定を独立に実行するのではなく、 色信号と互いに相互関係にある 同一空間の輝度信号を考慮しながら、 色信号の分割判定を行う ようになされ ている。
階層符号化ヱンコーダ 1 0 0 Aにおいては、 輝度信号のブ σックァクティ ビティ に応じて色信号のプロック分割判定に用いられるしきい値を変化させ る。
すなわち、 階層符号化工ンコーダ部 1 0 0 Aにおいては、 色信号上位階層 データのデータ値-を X i +1 (0)、 色信号下位階層データのデータ値を X i (j) = 〔 j = 0 ~ 3〕 、 色信号階層間差分符号値を Δ X i (j) =X 1 + ,(0)-X i (j) 〔 j = 0〜 3〕 、 色信号ブロックアクティ ビティ決定関数を G ( · ) 、 色信号プロックアクティ ビティ A C Tc =G (Δ X i (j)) 〔 j = 0〜 3〕 、 同一空間の輝度信号ブ αックァクティ ビティを A C Τ Υ としたとき、 輝度信 号ブ ックアクティ ビティ A C Τ Υ が所定のしきい値 Τ Η 0以上の場合、 色 信号の分割判定しきい値 ΤΗを ΤΗ 0 c に設定し、 輝度信号プロックァクテ イ ビティ A C Τ Υ がしきい値 Τ Η 0未満の場合、 色信号の分割判定しきい値 ΤΗを TH l c OTH 0 c ) に設定するようになされいている。
階層符号化ェンコーダ 1 0 0 Aにおいては、 色信号ブ πックァクティ ビテ ィ A C Tc がしきい値 T H以上の場合、 下位階層での分割を実行するのに対 して、 色信号ブロックァクティ ビティ A CTc がしきい値 T H未満の場合、 下位階層での分割を中止するようになされている。
ここで例えば輝度信号プロックアクティ ビティ A C T Y がしきい値 T H 0 以上である場合、 このことは物体輪郭部のように輝度信号の変化が大きい場 合を表し、 このような場合、 階層符号化エンコーダ 1 0 0 Aは色信号の分割 判定しきい値 THとして、 比較的小さい分割判定しきい値 TH 0 c を採用す ることで、 輝度信号と同じく分割を実行する方向に制御する。
これに対して、 輝度信号ブロックアクティ ビティ A C T Y がしきい値 T H 0未満の場合、 このことは輝度信号の変化が大き く ないことを表し、 このよ うな場合階層符号化工ンコーダ 1 0 0 Aは色信号の分割判定しきい値 THと して、 分割判定しきい値 TH 0 c よりも大きな分割判定しきい値 TH 1 c を 採用することにより、 圧縮効率を向上させる。
ここで実施例のように輝度信号プロックアクティ ビティ A C T Y に応じて しきい値 T Hを変化させて色信号の分割を制御した場合と、 一定のしきい値 の下でブロックアクティ ビティを判定し色信号の分割を制御した場合との信 号波形の比較を図 5 3に示す。
図 5 3においては、 説明のために 1次元信号の波形を示すと共に、 符号化 対象としてカラー画像を想定した。 この例では、 図 5 3 ( A ) '及び （B ) に 示すように、 物体エッジのように輝度信号が激しく変化し、 かつ色信号の変 化が輝度信号の変化に対して比較的小さい信号を符号化する場合を示した。 このようなカラ一画像信号に対し、 一定のしきい値の下でプロックァクテ イ ビティを判定して分割を制御した場合の色信号の分割結果は、 図 5 3 ( C ) に示すようになる。 ここで図 5 3 ( C ) は色信号の表示されている全ブ n ックに非分割処理が選択されたことを表している。
図 5 3 ( C ) からも明らかなように、 一定のしきい値の下でブロックァク ティ ビティを判定して色信号の分割を制御した場合には、 輝度信号と色信号 の分割判定結果の違いにより、 物体のエッジであっても、 色信号の変化が比 較的小さい場合は非分割処理が選択されることがある。 この結果、 非分割ブ 口ックデータの復元値として上位階層データを用いることにより、 信号波形 が階段状になる。 一般には目立たない階段波形であるが、'輝度信号が激し く 変化する場所の近傍の平坦部では、 この階段波形が色信号の画質劣化として 認識される。
特に輝度信号と色信号のブ ックサイズが異なる場合など、 同一空間に存 在する輝度信号と色信号の処理の違いにより、 画質差が際だつ。 このように して色信号に基づいた画質劣化が生じる。
これに対して、 輝度信号プロックアクティ ビティ A C Τ Υ に応じてしきい 値 Τ Ηを変化させて分割を制御した場合には、 図 5 3 ( D ) に示すように、 図の中央の物体輪郭部のような輝度信号変化が大きいブ ックでの、 色信号 の分割が行なわれるようになる。
従って、 輝度信号と色信号の分割判定結果が一致し、 物体輪郭部での色信 号の階段波形による画質劣化を回避することができる。 すなわち、 カラ一画像のように複数の信号より構成される画像に対しこの 階層符号化を適用する場合、 ブ πック毎の分割判定を各信号独立に行なうの ではなく、 同一空間内に存在する信号間の関係を考慮し、 分割判定を行なう ことにより、 画質を向上させることができる。
かく して、 階層符号化装置 1 0 0においては、 圧縮効率を向上し得ると共 に画質劣化を低減することができる。
因に、 図 5 4は階層符号化装置 1 0 0による階層符号化処理のフ D —チヤ ー トを示し、 ステップ S P 2において階層番号を記憶する階層力ゥンタ I に 「 4」 が登録され、 この階層符号化の枠が決定される。
さらにステップ S P 3において発生情報量制御部 1 0 0 Bが発生情報量演 算をすることにより階層データが生成され、 続くステップ S P 4において各 ブロックァクティ ビティが検出される。 発生情報量制御部 1 0 0 Bはこのァ クティ ビティに基づいてステップ S P 5において最適制御値 S 1 を決定する。 さらにステップ S P 6において階層符号化工ンコーダ部 1 0 0 Aで最適制 御値 S 1 に基づいて階層符号化が実行される。 すなわち始めに最上位階層で ある 5階層データに対し、 符号化及び復合化が行われる。 この結果が下位階 層における処理の初期値となり、 ステップ S P 7 において下位階層との階層 間差分値が生成される。 さらにステップ S P 8においてステップ S P 5にお いて決定された最適制御値 S 1 に基づいて下位階層での分割選択及び符号化 が実行される。
各階層処理の後、 ステップ S P 9において階層力ゥンタ I をデク リメ ン ト する。 そしてステップ S P 1 0において階層力ゥンタ I の内容に対し、 終了 判定が施される。 未終了の場合は、 さらに下位階層処理を続行する。 全階層 の処理を終了した場合、 ループを抜けてステップ S P 1 1 において当該階層 符号化処理を終了する。
( 4 ) 実施例の効果 以上の構成によれば、 上位階層から下位階層へのブ αック分割を行う際に. 同一空間内に存在する信号間の関係を考慮して、 分割判定を行うようにした ことにより、 圧縮効率が良くかつ画質劣化を低減することができる画像符号 化方法を実現することができる。
( 5 ) 他の実施例
( 5 - 1 ) 上述の実施例においては、 画像を形成する互いに相互関係にある 信号として輝度信号及び色信号を用い、 輝度信号のブ ックアクティ ビティ に基づいて色信号の分割しきい値を変化させる場合について述べたが、 本発 明はこれに限らず、 例えば互いに相互関係をもってカラー画像を形成する信 号として R G Βの三原色信号を用い、 この中の 1 の信号特性に基づいて別の 信号の分割しきい値を変化させるようにしてもよく、 要は互いに相互関係を 有する信号の関係に基づいて分割しきい値を選定するようにすればよい。 ( 5— 2 ) 上述の実施例においては、 本発明による画像符号化方法を、 各階 層独立に毎回しきい値判定して分割処理を行う独立判定法に適用した場合に ついて述べたが、 本発明はこれに限らず、 上位階層での分割判定により一旦 下位階層の分割を中止した際これ以降の下位階層の分割を中止する判定方法 に適用した場合、 さらにはブロックアクティ ビティが所定のしきい値より小 さいことを示す判定結果が得られたときこのブ ηックに対応する複数の下位 ブ口ックの分割の仕方を中止させるための分割中止フラグを一時的に発生す ると共に、 複数の下位プロックの少なく とも 1 つのプロックのブロックァク テイ ビティが所定のしきい値以上であることを示す判定結果が得られたとき 分割中止フラグを分割继続フラグに変更する判定方法に適用した場合にも、 上述の実施例と同様の効果を得ることができる。
また本発明はこれに限らず、 階層符号化方式において、 階層データ内に解 像度の異なる複数のブ^1ックが存在するような場合に広く適用することがで きる。 ( 6 ) 上述のように本発明によれば、 画像データを順次再帰的に異なる複数 の解像度でなる複数の階層データに分割して符号化すると共に、 解像度の最 も低い最上位階層データを除く階層データの所定プロックについてブロック アクティ ビティを判定し、 当該プロックァクティ ビティが所定のしきい値未 満のとき、 ァクティ ビティ判定したプ ックに対応する下位階層データのブ °ック分割を中止しかつ判定フラグとして分割中止フラグを伝送する画像符 号化方法において、 互いに相互関係を 7 もって画像を形成する複数の信号のう ち、 第 1 の信号に基づいて上記しきい値を選定し、 当該しきい値と上記相互 関係にある信号のうち第 2の信号のブロックアクティ ビティ とを比較するこ とより当該第 2の信号のァクティ ビティを判定し、 当該判定結果に基づいて プロック分割を制御することにより、 画像データを階層符号化する際に圧縮 効率を向上し得ると共に画質劣化を低減し得る。 〔 8〕 第 7実施例
( 1 ) 第 7実施例の画像符号化装置
第 7実施例の画像符号化装置 1 1 0 0は、 図 1 1 〜図 1 8について上述し た第 4実施例の構成に加えて、 図 5 5に示すように、 階層符号化エンコーダ 部 1 1 0 Aから得られる階層符号化データ D 5 1 〜D 5 5を伝送ブロック形 成部 1 1 1 において伝送ブロックに形成し直して伝送データ D O U T として送 出する。
( 2 ) 伝送ブ1□ックのデータ構成
ここで上述のような発生情報量制御方式により階層符号化エンコーダ部 1 1 0 Aにおいて生成されるデータは、 符号器 5 5 (図 5 5 ) から出力される 最上位階層符号化データ D 5 5等の固定長データ と、 符号器 5 1〜 5 4から 出力される第 1 〜第 4階層差分値符号化データ D 5 1〜D 5 4の可変長デー タとに分類できる。
このため当該階層符号化工ンコーダ部 1 1 0 Aにおいては、 図 5 6 に示す ように、 画像を構成する各フレームごとに各固定長データをひとまとめにし て固定長データブ ック 1 2 0を形成すると共に、 当該フ レームの各可変長 データをひとまとめにして可変長データブ口ック 1 2 1 を形成し、 この可変 長データブロック 1 2 1 を固定長データブロック 1 2 0の後に配列すること により伝送用の単位プロック 1 2 2 (以下、 これを伝送プロック 1 2 2 と呼 ぶ） を形成して伝送路に順次送出するようになされている。
実際上伝送プロック 1 2 2においては、 固定長データブロック 1 2 0の先 頭部 （すなわち伝送ブロック 1 2 2の先頭部） にブロック 1 2 2の先頭位置 を認識させるための S Y N Cコードゃ画像データの内容を示す情報コ一ド （ 以下これを識別情報コー ドと呼ぶ） 等でなる伝送ブロック識別コー ド C 1が 配列されている。 また伝送ブロック 1 2 2においては、 伝送ブロック識別 コー ド C 1 のすぐ後に最上位階層符号化データ D 5 5が配列されており、 こ れにより識別コードを用いて所望の画像を探す際、 情報量の少ない最上位階 層符号化データ D 5 5を用いることによって画像を高速で順次復元するこ'と ができるようになされている。 これにより再生時における髙速データサーチ (早見） 機能を実現し得るようになされている。
さらに上述のような階層符号化方式では、 階層符号化エンコーダ部 1 1 0 Αの符号器 5 1〜 5 5からそれぞれ出力された上述の分割判定フラグでなる、 復号側において画像を形成するための判別コー ド （以下、 これらをまとめて 階層間データ分割判定コー ドと呼ぶ） のデータ長が、 それぞれ各階層におけ る全プロック数に等しいためにそれぞれ固定長データとなる。
このため伝送プロック 1 2 2では、 図 5 6からも明らかなように、 これら 復号側において各階層ごとの画像を形成するための判別コー ドでなる階層間 データ分割判定コード C 2が最上位階層符号化データ D 5 5のすぐ後に配列 され、 これにより上述の発生情報量制御を施された後でも、 最上位階層符号 化データ D 5 5 と階層間データ分割判定コード C 2を合わせた区間に存在す るデータが全体として固定長となり得るようになされている。
可変長データブ nック 1 2 1 においては、 第 4〜第 1 階層差分値符号化デ ータ 0 5 4、 0 5 3、 5 2、 0 5 1 が順次配列されて形成されており、 当 該可変長データ 1 2 1 のすぐ後には伝送ブロック 】 2 2の終わりを認識させ るための伝送プロック終了コード C 3が付加されている。
以上の構成において、 この画像符号化装置では階層符号化工ンコーダ部 1 1 0 Aにおいて生成したデータを、 各フレームごとに各固定長データの後に 各可変長データを配列することにより伝送ブロック 1 2 2を形成し、 これを 伝送路に送出する。
従って複号側では、 いずれかの可変長データにヱラーが発生した場合にお いても固定長データブ uック 1 2 0内のデータの定義を誤ることなく復号す ることができる。 これによりこの画像符号化装置では伝送データにエラーに 対する口バス ト性をもたせ得るようになされている。
さらにこの画像符号化装置 1 1 0では、 上述のような発生情報量制御方式 により生成したデータ'を伝送する際、 伝送ブロック識別コー ド C 1 のすぐ後 に最上位階層符号化データ D 5 5を配列して出力するようにしたことによ り、 復号側に早見機能を付加した場合に伝送ブ nック識別コー ド C 1 を検出後、 最上位階層符号化データ D 5 5まで短い時間でアクセスさせることができる 以上の構成によれば、 複数の解像度を有する階層符号化を容易に実現する ことができる。 また階層符号化エンコーダ 1 1 0 Aから符号化されて出力さ れる伝送画像データの総発生情報量はほぼ目標値に—致させることができ、 圧縮効率の低下しない符号化を実現することができる。 さらに画質劣化の少 ない階層符号化を実現することができる。 さらに階層符号化の際における発 生情報量の管理を従来に比して一段と容易にすることができる。
また各階層ごとの画像信号データの性質や人間の視覚特性を考慮して最適 なしきい値を設定できることにより、 一律にしきい値を設定する場合に比し て受け手側における主観的な画質を一段と向上させることができる。 ( 3 ) 第 7実施例についての他の実施例
( 3 - 1 ) 上述の実施例においては、 ブロックァクティ ビティを各プロック について上位の階層データについて得られた復号データと下位の階層データ との差分値の最大値で判断する場合について述べたが、 本発明はこれに限ら ず、 ブ ック内における平均誤差や絶対値和、 また標準偏差や π乗和、 さら にはしきい値以上のデータ度数によって判断しても良い。
( 3 — 2 ) 上述の実施例においては、 各階層毎に得られた度数分布表をその まま利用する場合について述べたが、 本発明はこれに限らず、 度数分布表か ら積算型の度数分布表を作成してこれを発生情報量の計算に用いても良い。 すなわち各階層ごとに度数分布表を生成した後、 ブロックァクティ ビティ の上位の値から各ブロックァクティ ビティの値までのブ ック度数について 累積加算値を求め、 各累積加算値を各ブ ックァクティ ビティの値に対応す るア ドレスに書き込んで積算型の度数分布を作成するようにしても良い。 す ると各ブロックァクティ ビティに対応する度数はそのブロックァクティ ビテ ィ以上の値をもつブロック度数の積算値となる。
このように予め積算型度数分布表を生成すれば、 各しきい値に対応するブ πック度数積算値を算出することは不要となり、 単なるメモ リ のしきぃ値ァ ドレスの読み出しによってブ口ック度数積算値の算出を可能とすることがで き、 算出に要する時間を大幅に削減することができる。
( 3— 3 ) 上述の実施例においては、 各階層ごと異なる値に設定されたしき い値とブ πックァクティ ビティ とを比較し、 プロックの分割/非分割を判定 する場合について述べたが、 本発明はこれに限らず、 各階層ごと異なる値に 設定されたしきい値と階層間におけるデータの差分値とを比較し、 比較結果 に基づいてプロックの分割 非分割を判定するようにしても良い。
( 3 — 4 ) 上述の実施例においては、 符号器において画像データを P C Μ符 号化する場合について述べたが、 本発明はこれに限らず、 他の符号化方式、 例えば直交符号化方式を適用しても良い。
( 3— 5 ) 上述 < 実施例においては、 各階層について得られた度数分布表の しきい値について複数の組み合わせを R 0 Mに格納しておき、 発生情報量が 最も目標値に近く なるしきい値の組み合わせを求める場合について述べたが、 本発明はこれに限らず、 各階層毎独立に設定できるようにしても良い。
( 3— 6 ) 上述の実施例においては、 最下位の階層データを 2 ライ ン X 2画 素づっ平均値を求めて上位の階層の画像データを求める場合について述べた 力く、 本発明はこれに限らず、 他の組み合わせによって平均値を求めるように しても良い。
( 4 ) 上述のように本発明によれば、 画像データを順次再帰的に互いに解像 度の異なる複数の階層データに分割して符号化する画像符号化装置において、 符号化された各階層データを含む伝送データを所定の伝送路に送出する際、 当該伝送データを画像を形成する所定単位ごとに固定長データ及び可変長デ ータに分け、 固定長データを当該伝送路に送出した後に可変長データを当該 伝送路に送出す「るようにしたことにより、 複号する際、 可変長データにエラ —が癸生した場合でも、 固定波長データの内容を正確に検出することができ、 かく して伝送データにエラーに対する口バス ト性をもたせ得る画像符号化装 置及びデータ伝送方法を実現できる。 産業上の利用可能性
本発明の画像符号化装置及び方法は、 例えばテレビ会議システムやビデオ ォンディマンドシステムのように受信側に解像度の異なるモニタを有するシ ステムの送信器として利用できる。 請 求 の 範 囲 l . 再帰的に異なる複数の解像度でなる複数の階層データを発生するために 入力画像信号を符号化する画像符号化装置において、
画像データの性質に対応した適応的なブ Ώ ックの分割の仕方を判定し、 当 該判定結果に応じて上記画像データを分割する判定分割手段と、
上記判定分割手段から得られる階層符号化データを伝送する伝送手段と を具えることを特徴とする画像符号化装置。
2 . 上記判定分割手段は、 各階層データのアクティ ビティを検出し、 当該ァ クテイ ビティによる判定結果に基づいて、 適応的なブ ックの分割を実行す る
ことを特徴とする請求の範囲第 1項に記載の画像符号化装置。
3 . 上記判定分割手段は、 各階層データの所定のブロックのブ nックァクテ ィ ビティを検出し、 当該ブロックアクティ ビティによる判定結果に基づいて、 上記ブロック又は上記プロックに対応する下位プロックの分割の仕方を判定 する
ことを特徵とする請求の範囲第 1項に記載の画像符号化装置。
4 . 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに入力画像信号を符号化する画像符号化装置において、
解像度の最も低い最上位階層データを除く上記各階層データの所定ブ口ッ クのブロックアクティ ビティを検出し、 当該ブロックアクティ ビティ に基づ いて、 上記ブロックに対応するプ ックの分割の仕方を判定するための分割 判定フラグを発生し、 かつ上記ブ口ックァクティ ビティが所定のしきい値よ り小さいことを示す判定結果が得られたとき、 上記ブ ックに対応する複数 の下位プロックの分割を中止させるための分割中止フラグを発生すると共に、 上記複数の下位ブロックの上記ブ ックアクティ ビティの判定及び上記複数 の下位プロックの階層データの伝送を中止させるために制御信号を発生する

Claims

判定制御手段と、
上記プ ック毎の判定フラグを符号化された各階層データと共に、 伝送す る伝送手段と - を具えることを特徴とする画像符号化装置。
5 . 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに、 入力画像信号を解像度の最も低い最上位階層データと、 その最上位階 層データを除く各階層データ及び隣接上位階層データの差分値でなる複数階 層の階層差分データとを符号化する画像符号化装置において、
上記最上位階層を除く上記各階層の上記階層間差分データの所定プロック のブロックアクティ ビティを検出し、 当該ブロックアクティ ビティに基づい て、 上記プロックに対応するブ αックの分割の仕方を判定するための分割判 定フラグを発生し、 かつ上記プロックアクティ ビティが所定のしきい値より • 小さいことを示す判定結果が得られたとき上記ブロックに対応する複数の下 位ブロックの分割を中止させるための分割中止フラグを発生すると共に、 上 記複数の下位プロックの上記プロックアクティ ビティの判定及び上記複数の 下位ブ πックの階層データの伝送を中止させるために制御信号を発生する判 定制御手段と、
上記ブ ηック毎の判定フラグを符号化された最上位階層データ及び符号化 された各階層データと共に伝送する伝送手段と
を具えることを特徵とする画像符号化装置。
6 . 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに入力画像信号を符号化する画像符号化装置において、
解像度の最も低い最上位階層データを除く上記各階層データの所定ブ口ッ クのブ ηックアクティ ビティを検出し、 当該ブロックアクティ ビティに基づ いて、 上記ブロックに対応するブロックの分割を判定するための分割判定フ ラグを発生し、 かつ上記ブ ックァクティ ビティが所定のしきい値より小さ いことを示す判定結果が得られたとき上記ブ口ックに対応する複数の下位ブ nックの分割を中止させるための分割中止フラグを一時的に発生すると共に 上記複数の下位ブ口ックの少なく とも 1 つのブロックの上記プロックァクテ ィ ビティが所定のしきい値以上であることを示す判定結果が得られたとき上 記分割中止フラグを分割を继続するための分割継続フラグに変更する判定制 御手段と、
上記ブ ηック毎の判定フラグを符号化された各階層データと共に伝送する 伝送手段と
を具えること特徴とする画像符号化装置。
7 . 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに、 入力画像信号を解像度の最も低い最上位階層データと、 その最上位階 層データを除く各階層データ及び隣接上位階層データの差分値でなる複数階 層の階層差分データとを符号化する画像符号化装置において、
上記最上位階層を除く上記各階層の上記階層間差分データの所定ブ πック のブロックアクティ ビティを検出し、 当該ブロックアクティ ビティ に基づい て、 上記ブ ηックに対応するブ πックの分割を判定するための分割判定フラ グを発生し、 かつ上記プロックァクティ ビティが所定のしきい値より小さい ことを示す判定結果が得られたとき上記ブロックに対応する複数の下位ブ π ックの分割を中止させるための分割中止フラグを一時的に発生すると共に、 上記複数の下位プロックの少なく とも 1 つのブロックの上記ブロックァクテ ィ ビティが所定のしきい値以上であることを示す判定結果が得られたとき上 記分割中止フラグを分割継続フラグに変更する判定制御手段と、
上記プロック毎の判定フラグを符号化された最上位階層データ及び符号化 された各階層データと共に伝送する伝送手段と
を具えることを特徵とする画像符号化装置。
8 . 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに入力画像信号を符号化する画像符号化装置において、
解像度の最も低い最上位階層データを除く上記各階層データの全ブ口ック のプロックァクティ ビティを検出し、 当該ブ Dックァクティ ビティに基づい て、 上記各ブロックの分割を判定するための分割判定フラグを発生し、 かつ 上記プロックアクティ ビティが所定のしきい値より小さいことを示す判定結 果が得られたとき上記ブロックの分割を中止させるための分割中止フラグを 発生すると共に、 上記ブ nックァクティ ビティが所定のしきい値以上である ことを示す判定結果が得られたとき上記ブ πックの分割を継続するための分 割継続フラグを発生する判定制御手段と、
上記ブ Dック毎の判定フラグを符号化された各階層データ と共に伝送する 伝送手段と
を具えることを特徵とする画像符号化装置。
9 . 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに、 入力画像信号を解像度の最も低い最上位階層データと、 その最上位階 層データを除く各階層データ及び隣接上位階層データの差分値でなる複数階 層の階層差分データとを符号化する画像符号化装置において、
上記最上位階層を除く上記各階層の上記階層間差分データの全プ ックの プロックァクティ ビティを検出し、 当該プロックァクティ ビティに基づいて、 上記各ブ口ックの分割を判定するための分割判定フラグを発生し、 かつ上記 ブロックァクティ ビティが所定のしきい値より小さいことを示す判定結果が 得られたとき上記ブロックの分割を中止させるための分割中止フラグを発生 すると共に、 上記ブロックァクティ ビティが所定のしきい値以上であること を示す判定結果が得られたとき上記ブロックの分割を継続するための分割継 続フラグを発生する判定制御手段と、
上記ブ πック毎の判定フラグを符号化された最上位階層データ及び符号化 された各階層データと共に伝送する伝送手段と
を具えることを特徵とする画像符号化装置。
10. 上位階層データを下位階層データを加重平均することにより形成する階 層データ形成手段 を具えることを特激とする請求の範囲第 4項、 第 5項、 第 6項、 第 7項、 第 8項又は第 9項に記載の画像符号化装置。
11. 上記階層差分データは上記階層データと n— 1個の下位階層データとの 差分データであることを特徴とする請求の範囲第 5項、 第 7項又は第 8項に 記載の画像符号化装置。
12. 上記アクティ ビティ として、 最大値、 平均値、 絶対値和、 標準偏差、 n 乗和を用いることを特徴とする請求の範囲第 2項、 第 3項、 第 4項、 第 5項、 第 6項、 第 7項、 第 8項又は第 9項に記載の画像符号化装置。
13. 上記アクティ ビティ として、 所定のしきい値を超えた値をもつデータを 用いることを特徴とする請求の範囲第 2項、 第 3項、 第 4項、 第 5項、 第 6 項、 第 7項、 第 8項又は第 9項に記載の画像符号化装置。
14. 上記しきい値を上記各階層に応じて異なる値に設定することを特徵とす る請求の範囲第 4項、 第 5項、 第 6項、 第 7項、 第 8項又は第 9項に記載の 画像符号化装置。
15. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに、 画像を形成するための互いに相互関係を有する複数の画像形成信号か ら構成された入力画像信号を符号化する画像符号化装置において、
解像度の最も低い最上位階層データを除く上記各階層データの所定のプロ ックについて、 上記複数の画像形成信号の中の第 1 の信号に対応するブ σッ クアクティ ビティを検出し、 当該ブロックァクティ ビティに基づいて、 上記 プロック又は上記ブ Dックに対応する下位プロックの分割を判定するための 分割判定フラグを発生し、 かつ上記プロックァクティ ビティが所定のしきい 値より小さいことを示す判定結果が得られたとき上記プロック又は上記ブロ ックに対応する下位ブ αックの分割を中止させるための分割中止フラグを発 生すると共に、 上記ブロックァクティ ビティが所定のしきい値以上であるこ とを示す判定結果が得られたとき上記ブ ηック又は上記プロックに対応する 下位ブ口ックの分割を継続するための分割继続フラグを発生し、 かつ上記し きい値を上記複数の画像形成信号の中の第 2の信号に基づいて決定する判定 制御手段
を具えることを特徵とする画像符号化装置。
16. 上記第 1 の信号は色信号であり、 かつ上記第 2の信号は輝度信号である ことを特徴とする請求の範囲第 1 5項に記載の画像符号化装置。
17. 上記第 1 の信号は R G B信号であることを特徴とする請求の範囲第 1 6 項に記載の画像符号化装置。
18. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めの入力画像信号を符号化する画像符号化装 Bにおいて、
発生情報量を目標値に制御するために、 上記各階層データの全ブ πックの ブロックァクティ ビティに基づいて、 ブロックァクティ ビティの判定基準で あるしきい値を検出するしきい値検出手段と、
解像度の最も低い最上位階層データを除く上記各階層データの所定プロッ クのブロックアクティ ビティを検出し、 そのブロックアクティ ビティ と上記 しきい値との比較結果に基づいて、 上記ブロック又は上記ブ nックに対応す るプロックの分割の仕方を判定すると共に分割をする判定分割手段と、 上記判定分割手段から得られる階層符号化データを伝送する伝送手段と を具えることを特徵する画像符号化装置。
19. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに入力画像信号を符号化する画像符号化装置において'、
解像度の最も低い最上位階層データを除く上記各階層データの所定ブ□ッ クのプロックァクティ ビティ及び上記プロックァクティ ビティの判定基準で あるしきい値を、 上記ブ口ックアクティ ビティに基づいて検出された各階層 毎に各プロックァクティ ビティに対応するプロック度数の分布状態に基づい て検出するしきい値検出手段と、
解像度の最も低い最上位階層データを除く上記各階層データの所定ブ口ッ クのブロックアクティ ビティを検出し、 当該ブロックァクティ ビティ に基づ いて、 上記ブ口ックに対応するプロックの分割の仕方を判定するための分割 判定フラグを発生し、 かつ上記ブロックァクティ ビティが所定のしきい値よ り小さいことを示す判定結果が得られたとき上記プロックに対応する複数の 下位ブ πックの分割を中止させるための分割中止フラグを発生すると共に、 上記複数の下位ブロックの上記プロックアクティ ビティの判定及び上記複数 の下位ブ ηックの階層データの伝送を中止させるために制御信号を発生する 判定制御手段と、
上記プロック毎の判定フラグを符号化された各階層データと共に伝送する 手段と
を具えることを特徴とする画像符号化装置。
20. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに、 入力画像信号を解像度の最も低い最上位階層データと、 当該最上位階 層データを除く各階層データ及び隣接上位階層データの差分値でなる複数階 層の階層差分データとを符号化する画像符号化装置において、
上記解像度の最も低い最上位階層データを除く上記各階層データの所定ブ ロックのブロックアクティ ビティ及び上記ブロックアクティ ビティの判定基 準であるしきい値を、 上記ブロックァクティ ビティに基づいて検出された各 階層毎に各ブ口ックァクティ ビティに対応するブ σック度数の分布状態に基 づいて検出するしきい値検出手段と、
上記最上位階層を除く上記各階層の上記階層層間差分データの所定ブ α ッ クのブロックアクティ ビティを検出し、 当該ブ ックアクティ ビティに基づ いて、 上記ブロックに対応するブ ηックの分割の仕方を判定するための分割 判定フラグを発生し、 かつ上記ブロックァクティ ビティが所定のしきい値よ り小さいことを示す判定結果が得られたとき上記プロックに対応する複数の 下位ブ ηックの分割を中止させるための分割中止フラグを発生すると共に、 上記複数の下位ブ ックの上記ブロックアクティ ビティの判定及び上記複数 の下位ブ口ックの階層データの伝送を中止させるために制御信号を発生する 89 判定制御手段と、
上記ブロック毎の判定フラグを符号化された最上位階層データ及び符号化 された各階層データと共に伝送する伝送手段と
を具えることを特徵とする画像符号化装置。
21. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに入力画像信号を符号化する画像符号化装置において、
解像度の最も低い最上位階層データを除く上記各階層データの所定ブ ッ クのブ口ックァタティ ビティ及び上記プロックアクティ ビティの判定基準で あるしきい値を、 上記ブ口ックァクティ ビティ に基づいて検出された各階層 毎に各プロックアクティ ビティ に対応するブ ηック度数の分布状態に基づい て検出するしきい値検出手段と、
解像度の最も低い最上位階層データを除く上記各階層データの所定ブ ッ クのブ口ックァクティ ビ'ティを検出し、 当該ブロックアクティ ビティに基づ いて、 上記ブ ックに対応するプロックの分割を判定するための分割判定フ ラグを発生し、 かつ上記ブ口ックアクティ ビティが所定のしきい値より小さ いことを示す判定結果が得られたとき上記ブ αックに対応する複数の下位ブ ロックの分割を中止させるための分割中止フラグを一時的に発生すると共に、 上記複数の下位プロックの少なく とも 1 つのブ口ックの上記プロックァクテ ィ ビティが所定のしきい値以上であることを示す判定結果が得られたとき上 記分割中止フラグを分割を継続するための分割継続フラグに変更する判定制 御手段と、
上記プロック毎の判定フラグを符号化された各階層データと共に伝送する 伝送手段と
を具えること特徴とする画像符号化装置。
22. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに、 入力画像信号を解像度の最も低い最上位階層データと、 当該最上位階 層データを除く各階層データ及び隣接上位階層データの差分値でなる複数階 90 層の階層差分データ とを符号化する画像符号化装置において、
上記解像度の最も低い最上位階層データを除く上記各階層データの所定ブ ロックのブロックァクティ ビティ及び上記ブ ックァクティ ビティの判定基 準であるしきい値を、 上記ブロックァクティ ビティに基づいて検出された各 階層毎に各ブロックアクティ ビティ に対応するブ αック度数の分布状態に基 づいて検出するしきい値検出手段と、
上記最上位階層を除く上記各階層の上記階層間差分データの所定ブ ηック のブロックアクティ ビティを検出し、 当該ブロックァクティ ビティ に基づい て、 上記プロックに対応するブ口ックの分割の仕方を判定するための分割判 定フラグを発生し、 かつ上記ブ Dックァクティ ビティが所定のしきい値より 小さいことを示す判定結果が得られたとき上記ブ口ックに対応する複数の下 位ブ ηックの分割を中止させるための分割中止フラグを一時的に発生すると 共に、 上記複数の下位プロックの少なく とも 1 つのプロックの上記プロック ァクティ ビティが所定のしきい値以上であることを示す.判定結果が得られた とき上記分割中止フラグを分割継続フラグに変更する判定制御手段と、 上記ブ σック毎の判定フラグを符号化された最上位階層データ及び符号化 された各階層データと共に伝送する伝送手段と
を具えることを特徴とする画像符号化装置。
23. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに入力画像信号を符号化する画像符号化装置において、
解像度の最も低い最上位階層データを除く上記各階層データの所定プロッ クのブロックァクティ ビティ及び上記ブロックアクティ ビティの判定基準で あるしきい値を、 上記ブロックアクティ ビティに基づいて検出された各階層 毎に各ブ口ックアクティ ビティに対応するブ πック度数の分布状態に基づい て検出するしきい値検出手段と、
上記解像度の最も低い最上位階層データを除く上記各階層データの全ブ D ックのブロックアクティ ビティを検出し、 当該ブ口ックアクティ ビティに基 91 づいて、 上記各プロックの分割の仕方を判定するための分割判定フラグを発 生し、 かつ上記プロックァクティ ビティが所定のしきい値より小さいことを 示す判定結果が得られたとき上記ブロックの分割を中止させるための分割中 止フラグを発生すると共に、 上記ブ口ックァクティ ビティが所定のしきい値 以上であることを示す判定結果が得られたとき上記ブ1 αックの分割を継続す るための分割継続フラグを発生する判定制御手段と、
上記ブロック毎の判定フラグを符号化された各階層データ と共に伝送する 伝送手段と
を具えることを特徴とする画像符号化装置。
24. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに、 入力画像信号を解像度の最も低い最上位階層データと、 当該最上位階 層データを除く各階層データ及び隣接上位階層データの差分値でなる複数階 層の階層差分データとを符号化する画像符号化装置において、
上記解像度の最も低い最上位階層データを除く上記各階層データの所定ブ ックのブロックァクティ ビティ及び上記ブロックアクティ ビティの判定基 準であるしきい値を、 上記プロックアクティ ビティに基づいて検出された各 階層毎に各プロックァクティ ビティに対応するブ口ック度数の分布状態に基 づいて検出するしきい値検出手段と、
上記最上位階層を除く上記各階層の上記階層間差分データの全ブ oックの ブロックアクティ ビティを検出し、 当該ブロックアクティ ビティに基づいて、 上記各ブ 0ックの分割の仕方を判定するための分割判定フラグを発生し、 か つ上記プロックァクティ ビティが所定のしきい値より小さいことを示す判定 結果が得られたとき上記ブロックの分割を中止させるための分割中止フラグ を発生すると共に、 上記ブロックアクティ ビティが所定のしきい値以上であ ることを示す判定結果が得られたとき上記プロックの分割を継続するための 分割継続フラグを発生する判定制御手段と、
上記ブ口ック毎の判定フラグを符号化された最上位階層データ及び符号化 92
された各階層データ と共に伝送する伝送手段と
を具えることを特徵とする画像符号化装置。
25. 上記しきい値を、 上位階層における上記ブ ックアクティ ビティの履歴 に基づいて検出することを特徴とする請求の範囲第 1 9項又は第 2 0項に記 載の画像符号化装置。
26. 上記しきい値を、 下位階層における上記ブロックアクティ ビティの履歴 に基づいて検出することを特徵とする請求の範囲第 2 1項又は第 2 2項に記 載の画像符号化装置。
27. 入力データを待機状態に制御し、 上記しきい値が決定された時間、 上記 入力データを階層符号化処理することを特激とする請求の範囲第 1 9項、 第
2 0項、 第 2 1項、 第 2 2項、 第 2 3項又は第 2 4項に記載の画像符号化装 置。
28. 上記各階層毎に独立に上記しきい値を決定することを特徴とする請求の 範囲第 1 9項、 第 2 0項、 第 2 1項、 第 2 2項、 第 2 "3項又は第 2 4項に記 載の画像符号化装置。
29. 上記各階層毎の上記しきい値の組合せを予め用意しておく ことを特徵と する請求の範囲第 1 9項、 第 2 0項、 第 2 1項、 第 2 2項、 第 2 3項又は第 2 4項に記載の画像符号化装置。
30. 発生情報量の算出のために、 積算型度数分布表を作成することを特徴と する請求の範囲第 1 9項、 第 2 0項、 第 2 1項、 第 2 2項、 第 2 3項又は第
2 4項に記載の画像符号化装置。
31. 発生情報量の算出の際にブ1 αックアクティ ビティの数を所定の制限値に 制限することを特徴とする請求の範囲第 1 9項、 第 2 0項、 第 2 1項、 第 2 2項、 第 2 3項又は第 2 4項に記載の画像符号化装置。
32. 積算型度数分布表を作成する際に、 上記各階層について、 ブ nックァク ティ ビティの数に対して異なる制限値を設定することを特徵とする請求の範 囲第 3 0項に記載の画像符号化装置。 93
33. 再帰的に異なる複数の解像度でなる複数の階層データを発生するために 入力画像信号を符号化する画像符号化装置において、
画像データの性質に対応した適応的なブ1 αックの分割の仕方を判定し、 当 該判定結果に応じて上記画像データを分割する判定分割手段と、
' 上記判定手段から得られる階層符号化データを、 固定長データを伝送した 後、 可変長データを伝送する伝送手段と
を具えることを特徵とする画像符号化装置。
34. 上記固定長データは、 上記最上位階層データ と上記各階層データを形成 するための画像形成情報で構成され、 上記可変長データは上記最上位階層を 除く上記各階層データで構成されていることを特徴とする請求の範囲第 3 3 項に記載の画像符号化装置。
35. 上記階層符号化データは分割判定フラグを含んでいることを特徵とする 請求の範囲第 3 4項に記載の画像符号化装置。
36. 再帰的に異なる複数の解像度でなる複数の階層データを発生するために 入力画像信号を符号化する画像符号化装置において、
画像データの性質に対応した適応的なブ nックの分割の仕方を判定し、 当 該判定結果に応じて上記画像データを分割する判定分割手段と、
上記判定手段から得られる上記最上位階層データを固定長データとして伝 送した後、 上記最上位階層データを除く上記各階層データを可変長データと して伝送する伝送手段と
を具えることを特徴とする画像符号化装置。
37. 上記固定長データは分割判定フラグを含んでいることを特徴とする請求 の範囲第 3 6項に記載の画像符号化装置。
38. 再帰的に異なる複数の解像度でなる複数の階層データを発生するために 入力画像信号を符号化する画像符号化方法において、
画像データの性質に対応した適応的なブ ックの分割の仕方を判定し、 当 該判定結果に応じて上記画像データを分割し、 94
上記判定分割手段から得られる階層符号化データを伝送する
ことを特徵とする画像符号化方法。
39. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに入力画像信号を符号化する画像符号化方法において、
解像度の最も低い最上位階層データを除く上記各階層データの所定プロッ クのブ口ックアクティ ビティを検出し、 当該ブロックアクティ ビティ（；基づ いて、 上記ブロックに対応するブロックの分割の仕方を判定するための分割 判定フラグを発生し、 かつ上記ブ^1ックアクティ ビティが所定のしきい値よ り小さいことを示す判定結果が得られたとき、 上記プロックに対応する複数 の下位プロックの分割を中止させるための分割中止フラグを発生すると共に、 上記複数の下位ブ口ックの上記プロックアクティ ビティの判定及び上記複数 の下位ブ口ックの階層データの伝送を中止させるために制御信号を発生し、 上記ブ ック毎の判定フラグを符号化された各階層データと共に伝送する ことを特徴とする画像符号化方法。 - 40. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに、 入力画像信号を解像度の最も低い最上位階層データ と、 当該最上位階 層データを除く各階層データ及び隣接上位階層データの差分値でなる複数階 層の階層差分データとを符号化する画像符号化方法において、
上記最上位階層を除く上記各階層の上記階層間差分データの所定ブ ϋック のブロックアクティ ビティを検出し、 当該ブロックァクティ ビティに基づい て、 上記ブ πックに対応するブ αックの分割の仕方を判定するための分割判 定フラグを発生し、 かつ上記ブ ックアクティ ビティが所定のしきい値より 小さいことを示す判定結果が得られたとき上記ブ口ックに対応する複数の下 位ブ ηックの分割を中止させるための分割中止フラグを発生すると共に、 上 記複数の下位ブ ックの上記ブ口ックアクティ ビティの判定及び上記複数の 下位ブ ックの階層データの伝送を中止させるために制御信号を発生し、 上記ブ口ック毎の判定フラグを符号化された最上位階層データ及び符号化 95 された各階層データと共に伝送する
ことを特徴とする画像符号化方法。
41. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに入力画像信号を符号化する画像符号化方法において、
解像度の最も低い最上位階層データを除く上記各階層データの所定ブロッ クのブロックアクティ ビティを検出し、 当該ブロックアクティ ビティに基づ いて、 上記プロックに対応するブ ックの分割の仕方を判定するための分割 判定フラグを癸生し、 かつ上記プロックアクティ ビティが所定のしきい値よ り小さいことを示す判定結果が得られたとき上記プロックに対応する複数の 下位ブロックの分割を中止させるための分割中止フラグを一時的に発生する と共に、 上記複数の下位ブ Ώックの少なく とも 1 つのブ σックの上記プロッ クァクティ ビティが所定のしきい値以上であることを示す判定結果が得られ たとき上記分割中止フラグを分割を继続するための分割継続フラグに変更し、 上記プロック毎の判定フラグを符号化きれた各階層データと共に伝送する ことを特徴とする画像符号化方法。
42. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに、 入力画像信号を解像度の最も低い最上位階層データと、 当該最上位階 層データを除く各階層データ及び隣接上位階層データの差分値でなる複数階 層の階層差分データとを符号化する画像符号化方法において、
上記最上位階層を除く上記各階層の上記階層間差分データの所定ブ ηック のブロックアクティ ビティを検出し、 当該ブ ックアクティ ビティ に基づい て、 上記ブ口ックに対応するブ口ックの分割の仕方を判定するための分割判 定フラグを発生し、 かつ上記プ ックアクティ ビティが所定のしきい値より 小さいことを示す判定結果が得られたとき上記ブ口ックに対応する複数の下 位ブ口ックの分割の仕方を中止させるための分割中止フラグを一時的に発生 すると共に、 上記複数の下位プロックの少なく とも 1 つのプロックの上記ブ αックァタティ ビティが所定のしきい値以上であることを示す判定結果が得 96 られたとき上記分割中止フラグを分割継続フラグに変更し、
上記ブ πック毎の判定フラグを符号化された最上位階層データ及び符号化 された各階層データと共に伝送する
ことを特徵とする画像符号化方法。
43. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに入力画像信号を符号化する画像符号化方法において、
解像度の最も低い最上位階層データを除く上記各階層データの全ブ αック のブロックァクティ ビティを検出し、 当該ブロックァクティ ビティ に基づい て、 上記各ブ口ックの分割の仕方を判定するための分割判定フラグを発生し、 かつ上記プロックァクティ ビティが所定のしきい値より小さいことを示す判 定結果が得られたとき上記ブ Πックの分割を中止させるための分割中止フラ グを発生すると共に、 上記ブ αックァクティ ビティが所定のしきい値以上で あることを示す判定結果が得られたとき上記ブロックの分割を継続するため の分割継続フラグを発生し、 '
上記ブ Dック毎の判定フラグを符号化された各階層データと共に伝送する ことを特徴とする画像符号化方法。
44. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに、 入力画像信号を解像度の最も低い最上位階層データと、 当該最上位階 層データを除く各階層データ及び隣接上位階層データの差分値でなる複数階 層の階層差分データとを符号化する画像符号化方法において、
上記最上位階層を除く上記各階層の上記階層間差分データの全ブ ηックの ブロックアクティ ビティを検出し、 当該ブ口ックアクティ ビティに基づいて、 上記各ブ ックの分割の仕方を判定するための分割判定フラグを発生し、 か つ上記プロックァクティ ビティが所定のしきい値より小さいことを示す判定 結果が得られたとき上記プロックの分割を中止させるための分割中止フラグ を発生すると共に、 上記ブ口ックアクティ ビティが所定のしきい値以上であ ることを示す判定結果が得られたとき上記ブ αックの分割を継続するための 97 分割継続フラグを発生し、
上記プロック毎の判定フラグを符号化された最上位階層データ及び符号化 された各階層データと共に伝送する
ことを特徴とする画像符号化方法。
45. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに、 画像を形成するための互いに相互関係を有する複数の画像形成信号か ら構成された入力画像信号を符号化する画像符号化方法において、
解像度の最も低い最上位階層データを除く上記各階層データの所定のブ口 ックについて、 上記複数の画像形成信号の中の第 1 の信号に対応するブ σッ クアクティ ビティを検出し、 当該プロックアクティ ビティ に基づいて、 上記 プロック又は上記プロックに対応するブ πックの分割の仕方を判定するため の分割判定フラグを発生し、 かつ上記ブロックァクティ ビティが所定のしき い値より小さいことを示す判定結果が得られたとき上記プロック又は上記ブ πックに対応する下位ブロックの分割を中止させるための分割中止フラグを 発生すると共に、 上記ブロックァクティ ビティが所定のしきい値以上である ことを示す判定結果が得られたとき上記プロック又は上記プロックに対応す る下位ブ Dックの分割を継続するための分割继続フラグを発生し、 かつ上記 しきい値を上記複数の画像形成信号の中の第 2の信号に基づいて決定する ことを特徵とする画像符号化方法。
46. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めの入力画像信号を符号化する画像符号化方法において、
発生情報量を目標値に制御するために、 上記各階層データの全ブ ηックの ブロックァクティ ビティに基づいて、 ブロックァクティ ビティの判定基準で あるしきい値を検出し、
解像度の最も低い最上位階層データを除く上記各階層データの所定プロッ クのブロックアクティ ビティを検出し、 当該ブロックアクティ ビティ と上記 し ¾い値との比較結果に基づいて、 上記ブ ηック又は上記プロックに対応す 98 る下位ブロックの分割の仕方を判定すると共に分割し、
上記判定分割手段から得られる階層符号化データを伝送する
ことを特徵とする画像符号化方法。
47. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに入力画像信号を符号化する画像符号化方法において、
解像度の最も低い最上位階層データを除く上記各階層データの所定ブ-ロッ クのブロックァクティ ビティ及び上記プロックアクティ ビティの判定基準で あるしきい値を、 上記ブロックアクティ ビティに基づいて検出された各階層 毎に各ブ ·□ックアクティ ビティに対応するプロック度数の分布状態に基づい て検出し、
上記解像度の最も低い最上位階層データを除く上記各階層データの所定ブ ロックのブロックアクティ ビティ を検出し、 当該ブロックアクティ ビティ に 基づいて、 上記ブ口ックに対応するブロックの分割の仕方を判定するための 分割判定フラグを発生し、 かつ上記ブロックァクティ ビティが所定のしきい 値より小さいことを示す判定結果が得られたとき上記ブ ックに対応する複 数の下位ブ ηックの分割を中止させるための分割中止フラグを発生すると共 に、 上記複数の下位ブ ックの上記ブロックアクティ ビティの判定及び上記 複数の下位ブ口ックの階層データの伝送を中止させるために制御信号を発生 し、
上記プロック毎の判定フラグを符号化された各階層データと共に伝送する ことを特徴とする画像符号化方法。
48. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに、 入力画像信号を解像度の最も低い最上位階層データ と、 当該最上位階 層データを除く各階層データ及び隣接上位階層データの差分値でなる複数階 層の階層差分データとを符号化する画像符号化方法において、
解像度の最も低い最上位階層データを除く上記各階層データの所定ブ ηッ クのブ ックァクティ ビティ及び上記プロックアクティ ビティの判定基準で 99 あるしきい値を、 上記ブ αックアクティ ビティ に基づいて検出された各階層 毎に各ブ ϋックアクティ ビティ に対応するブ uック度数の分布状態に基づい て検出し、
上記ブロックアクティ ビティが所定のしきい値より小さいことを示す判定 結果が得られたとき上記ブ αックに対応する複数の下位ブロックの分割を中 止させるための分割中止フラグを発生すると共に、 上記複数の下位ブロック の上記プロックアクティ ビティの判定及び上記複数の下位プロックの階層デ —タの伝送を中止させるために制御信号を発生し、
上記ブ ック毎の判定フラグを符号化された最上位階層データ及び符号化 された各階層データと共に伝送する
ことを特徴とする画像符号化方法。
49. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに入力画像信号を符号化する画像符号化方法において、
解像度の最も低い最上位階層データを除く上記各階層データの所定ブ ηッ クのブ口ックァクティ ビティ及び上記ブロックァクティ ビティの判定基準で あるしきい値を、 上記プ ックァクティ ビティ に基づいて検出された各階層 毎に各ブロ ックアクティ ビティに対応するブロック度数の分布状態に基づい て検出し、
分割中止フラグを一時的に発生すると共に、 上記複数の下位ブ口ックの少 なく とも 1 つのプロックの上記プロックァクティ ビティが所定のしきぃ値以 上であることを示す判定結果が得られたとき上記分割中止フラグを分割を継 続するための分割継続フラグに変更し、
上記ブ πック毎の判定フラグを符号化された各階層データ と共に伝送する ことを特徴とする画像符号化方法。
50. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに、 入力画像信号を解像度の最も低い最上位階層データと、 当該最上位階 層データを除く各階層データ及び隣接上位階層データの差分値でなる複数階 層の階層差分データとを符号化する画像符号化方法において、
解像度の最も低い最上位階層データを除く上記各階層データの所定ブ αッ クのブ口ックァクティ ビティ及び上記プロックァクティ ビティの判定基準で あるしきい値を、 上記ブロックァクティ ビティに基づいて検出された各階層 毎に各ブロックァクティ ビティに対応するブロック度数の分布状態に基づい て検出し、
上記最上位階層を除く上記各階層の上記階層間差分データの所定ブ ック のブロックアクティ ビティを検出し、 当該ブロックアクティ ビティ に基づい て、 上記プロックに対応するブ ηックの分割を判定するための分割判定フラ グを発生し、 かつ上記ブ口ックァクティ ビティが所定のしきい値より小さい ことを示す判定結果が得られたとき上記ブ ックに対応する複数の下位ブ口 ックの分割を中止させるための分割中止フラグを一時的に発生すると共に、 上記複数の下位ブロックの少なく とも 1 つのブロックの上記ブロックァクテ ィ ビティが所定のしきい値以上であることを示す判定結果が得られたとき上 記分割中止フラグを分割継続フラグに変更し、
上記ブ ηック毎の判定フラグを符号化された最上位階層データ及び符号化 された各階層データと共に伝送する
ことを特徵とする画像符号化方法。
51. 順次再帰的に異なる複数の解像度でなる複数の階層データを発生するた めに入力画像信号を符号化する画像符号化方法において、
解像度の最も低い最上位階層データを除く上記各階層データの所定ブ ッ クのブロックァクティ ビティ及び上記プロックアクティ ビティの判定基準で あるしきい値を、 上記プロックアクティ ビティに基づいて検出された各階層 毎に各ブ ϋックアクティ ビティに対応するブ πック度数の分布状態に基づい て検出し、
上記解像度の最も低い最上位階層データを除く上記各階層データの全プロ ックのブロックアクティ ビティを検出し、 当該ブロックアクティ ビティに基 づいて、 上記各ブ nックの分割の仕方を判定するための分割判定フラグを発 生し、 かつ上記プロックァクティ ビティが所定のしきい値より小さいことを 示す判定結果が得られたとき上記プロックの分割を中止させるための分割中 止フラグを発生すると共に、 上記ブロックアクティ ビティが所定のしきい値 以上であることを示す判定結果が得られたとき上記プロックの分割を継続す るための分割継続フラグを発生し、
上記プロック毎の判定フラグを符号化された各階層データと共に伝送する ことを特徵とする画像符号化方法。
52. 順次再帰的に異なる複数の解像度でなる複数の階層データを癸生するた めに、 入力画像信号を解像度の最も低い最上位階層データと、 当該最上位階 層データを除く各階層データ及び隣接上位階層データの差分値でなる複数階 層の階層差分データとを符号化する画像符号化方法において、
解像度の最も低い最上位階層データを除く上記各階層データの所定ブ口ッ 'クのブロックァクティ ビティ及び上記ブ αックアクティ ビティの判定基準で あるしきい値を、 上記プロックァクティ ビティに基づいて検出された各階層 毎に各ブ口ックァクティ ビティに対応するブ口ック度数の分布状態に基づい て検出し、
上記最上位階層を除く上記各階層の上記階層間差分データの全ブ Dックの ブロックァクティ ビティを検出し、 当該プロックァクティ ビティに基づいて、 上記各ブ πックの分割の仕方を判定するための分割判定フラグを発生し、 か つ上記プロックァタティ ビティが所定のしきい値より小さいことを示す判定 結果が得られたとき上記プロックの分割を中止させるための分割中止フラグ を発生すると共に、 上記ブロックアクティ ビティが所定のしきい値以上であ ることを示す判定結果が得られたとき上記プロフクの分割を継続するための 分割継続フラグを発生し、
上記ブロック毎の判定フラグを符号化された最上位階層データ及び符号化 された各階層データと共に伝送する ことを特徴とする画像符号化方法。
53. 再帰的に異なる複数の解像度でなる複数の階層データを発生するために 入力画像信号を符号化する画像符号化方法において、
画像データの性'質に対応した適応的なブ D ックの分割の仕方を判定し、 当 該判定結果に応じて上記画像データを分割し、
当該判定結果に基づいて得られる階層符号化データを、 固定長データを伝 送した後、 可変長データを伝送する
ことを特徴とする画像符号化方法。
54. 再帰的に異なる複数の解像度でなる複数の階層データを発生するために 入力画像信号を符号化する画像符号化方法において、
画像データの性質に対応した適応的なブ nックの分割の仕方を判定し、 当 該判定結果に応じて上記画像データを分割し、
当該判定結果に基づいて得られる上記最上位階層データを、 固定長データ として伝送した後、 上記最上位階層データを除く上記各階層データを可変長 データとして伝送する
ことを特徴とする画像符号化方法。
PCT/JP1994/001425 1993-08-30 1994-08-30 Device and method for encoding image data WO1995007004A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE69428979T DE69428979T2 (de) 1993-08-30 1994-08-30 Einrichtung und verfahren zur kodierung von bilddaten
EP94925022A EP0671852B1 (en) 1993-08-30 1994-08-30 Device and method for encoding image data
US08/428,067 US5930394A (en) 1993-08-30 1994-08-30 Picture coding apparatus and method thereof
US09/315,100 US6219456B1 (en) 1993-08-30 1999-05-19 Picture coding apparatus and method thereof

Applications Claiming Priority (16)

Application Number Priority Date Filing Date Title
JP5/238822 1993-08-30
JP23882293A JP3337158B2 (ja) 1993-08-30 1993-08-30 画像処理方法及び画像処理装置
JP5/238823 1993-08-30
JP23882493A JP3337159B2 (ja) 1993-08-30 1993-08-30 画像処理方法及び画像処理装置
JP23882393 1993-08-30
JP5/238824 1993-08-30
JP27320793A JP3337168B2 (ja) 1993-10-04 1993-10-04 画像処理装置及び画像処理方法
JP5/273205 1993-10-04
JP5/273206 1993-10-04
JP27311293A JP3356337B2 (ja) 1993-10-04 1993-10-04 画像処理装置及び画像処理方法
JP27320693A JP3337167B2 (ja) 1993-10-04 1993-10-04 画像処理装置及び画像処理方法
JP5/273112 1993-10-04
JP5/273207 1993-10-04
JP27320593A JP3356338B2 (ja) 1993-08-30 1993-10-04 画像処理装置及び画像処理方法
JP34955593A JP3478411B2 (ja) 1993-12-28 1993-12-28 画像処理装置及び画像処理方法
JP5/349555 1993-12-28

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US08/428,067 Continuation US5930394A (en) 1993-08-30 1994-08-30 Picture coding apparatus and method thereof
US09/313,392 Continuation US6195464B1 (en) 1993-08-30 1999-05-18 Picture coding apparatus and method thereof

Publications (1)

Publication Number Publication Date
WO1995007004A1 true WO1995007004A1 (en) 1995-03-09

Family

ID=27573516

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1994/001425 WO1995007004A1 (en) 1993-08-30 1994-08-30 Device and method for encoding image data

Country Status (5)

Country Link
US (6) US5930394A (ja)
EP (1) EP0671852B1 (ja)
CN (1) CN1075321C (ja)
DE (1) DE69428979T2 (ja)
WO (1) WO1995007004A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109212018A (zh) * 2018-09-19 2019-01-15 东北大学 一种基于压缩感知的管道漏磁数据分级压缩方法

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0799646A (ja) * 1993-05-31 1995-04-11 Sony Corp ディジタル画像信号の階層符号化および復号装置
US6408097B1 (en) * 1993-08-30 2002-06-18 Sony Corporation Picture coding apparatus and method thereof
WO1995007004A1 (en) * 1993-08-30 1995-03-09 Sony Corporation Device and method for encoding image data
US5751377A (en) 1994-11-04 1998-05-12 Matsushita Electric Industrial Co., Ltd. Picture coding apparatus and decoding apparatus
US6873738B2 (en) 1995-10-02 2005-03-29 Sony Corporation Hierarchical image processor for encoding or decoding, and memory on the same chip
US5959676A (en) * 1995-12-27 1999-09-28 Sony Corporation Video signal encoding method, video signal encoding apparatus, video signal transmitting method, and recording medium
DE69718090T2 (de) * 1996-03-15 2003-11-06 Matsushita Electric Ind Co Ltd Verfahren und Vorrichtung zum Kodieren und Dekodieren von Bildern
US6381369B1 (en) 1996-07-17 2002-04-30 Sony Corporation Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium
TW359919B (en) 1996-07-17 1999-06-01 Sony Corp Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium
AU718453B2 (en) * 1996-07-17 2000-04-13 Sony Corporation Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks
US6292591B1 (en) 1996-07-17 2001-09-18 Sony Coporation Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks
AU714554B2 (en) 1996-07-17 2000-01-06 Sony Corporation Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks
US6295380B1 (en) * 1997-02-27 2001-09-25 Matsushita Electric Industrial Co., Ltd. Object data processing apparatus, object data recording apparatus, data storage media, data structure for transmission
GB9706920D0 (en) * 1997-04-04 1997-05-21 Snell & Wilcox Ltd Improvements in digital video signal processing
US6195463B1 (en) 1997-07-03 2001-02-27 Sony Corporation Multiresolution image processing and storage on a single chip
JP4105257B2 (ja) 1997-07-30 2008-06-25 ソニー株式会社 記憶装置および記憶方法
JP4236713B2 (ja) 1997-07-30 2009-03-11 ソニー株式会社 記憶装置およびアクセス方法
JP3787823B2 (ja) 1997-07-31 2006-06-21 ソニー株式会社 画像処理装置および画像処理方法
JP3915855B2 (ja) 1997-12-19 2007-05-16 ソニー株式会社 画像符号化装置および画像符号化方法、並びに学習装置および学習方法
JP3861957B2 (ja) 1998-02-03 2006-12-27 ソニー株式会社 記憶装置、並びに書き込み方法および読み出し方法
FR2776437B1 (fr) * 1998-03-20 2003-03-21 Canon Kk Codage de signal numerique
US6298002B1 (en) * 1999-12-14 2001-10-02 Intel Corporation Memory structures having selectively disabled portions for power conservation
US7649947B2 (en) * 2001-06-05 2010-01-19 Qualcomm Incorporated Selective chrominance decimation for digital images
KR100510137B1 (ko) * 2003-04-30 2005-08-26 삼성전자주식회사 고속 움직임 추정을 위한 참조 픽쳐 및 블록 모드 결정방법, 그 장치, 블록 모드 결정 방법 및 그 장치
KR100518849B1 (ko) * 2004-03-02 2005-09-30 엘지전자 주식회사 영상 압축 및 복원 방법
JP2006033507A (ja) * 2004-07-16 2006-02-02 Sony Corp 遠隔編集システム、主編集装置、遠隔編集装置、編集方法、編集プログラム、及び記憶媒体
KR20070083677A (ko) * 2004-09-14 2007-08-24 개리 데모스 고품질 광역 다중-레이어 이미지 압축 코딩 시스템
JP4737711B2 (ja) * 2005-03-23 2011-08-03 富士ゼロックス株式会社 復号化装置、逆量子化方法、分布決定方法及びこのプログラム
JP2007312126A (ja) * 2006-05-18 2007-11-29 Toshiba Corp 画像処理回路
JP4689545B2 (ja) * 2006-07-05 2011-05-25 富士フイルム株式会社 データ圧縮装置およびデータ圧縮プログラム
US7978921B1 (en) * 2007-08-06 2011-07-12 Nvidia Corporation Low dynamic range 3-channel color decompression
EP2425628A4 (en) * 2009-04-28 2016-03-02 Ericsson Telefon Ab L M DISTORTION EXPOSURE
KR101457418B1 (ko) 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
AU2013201912B2 (en) * 2009-10-30 2014-07-10 Samsung Electronics Co., Ltd Method and apparatus for encoding and decoding coding unit of picture boundary
KR101452713B1 (ko) 2009-10-30 2014-10-21 삼성전자주식회사 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
JP5927900B2 (ja) * 2011-12-22 2016-06-01 株式会社リコー 電子機器
JP6174966B2 (ja) * 2013-10-17 2017-08-02 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム
US10405005B1 (en) * 2018-11-28 2019-09-03 Sherman McDermott Methods and systems for video compression based on dynamic vector wave compression
CN115733987A (zh) * 2021-08-30 2023-03-03 华为技术有限公司 编解码方法、编码器、解码器及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62501670A (ja) * 1985-02-05 1987-07-02 ブリティシュ・テレコミュニケ−ションズ・パブリック・リミテッド・カンパニ 画像伝送方法および装置
JPS62188575A (ja) * 1986-02-14 1987-08-18 Mitsubishi Electric Corp 順次再生ベクトル量子化符号化・復号化装置
JPH02262786A (ja) * 1988-12-14 1990-10-25 Fuji Photo Film Co Ltd 画像信号圧縮符号化装置
JPH02299379A (ja) * 1989-05-12 1990-12-11 Mitsubishi Electric Corp ベクトル量子化装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4447886A (en) * 1981-07-31 1984-05-08 Meeker G William Triangle and pyramid signal transforms and apparatus
US4742558A (en) * 1984-02-14 1988-05-03 Nippon Telegraph & Telephone Public Corporation Image information retrieval/display apparatus
US4751742A (en) * 1985-05-07 1988-06-14 Avelex Priority coding of transform coefficients
JPH0824341B2 (ja) * 1985-10-28 1996-03-06 株式会社日立製作所 画像データ符号化方法
US5086439A (en) * 1989-04-18 1992-02-04 Mitsubishi Denki Kabushiki Kaisha Encoding/decoding system utilizing local properties
US5060285A (en) * 1989-05-19 1991-10-22 Gte Laboratories Incorporated Hierarchical variable block size address-vector quantization using inter-block correlation
US5121216A (en) * 1989-07-19 1992-06-09 Bell Communications Research Adaptive transform coding of still images
US5241395A (en) * 1989-08-07 1993-08-31 Bell Communications Research, Inc. Adaptive transform coding using variable block size
US5020120A (en) * 1989-12-22 1991-05-28 Eastman Kodak Company Methods for reducing quantization error in hierarchical decomposition and reconstruction schemes
US5107345A (en) * 1990-02-27 1992-04-21 Qualcomm Incorporated Adaptive block size image compression method and system
US5144688A (en) * 1990-03-23 1992-09-01 Board Of Regents, The University Of Texas System Method and apparatus for visual pattern image coding
US5157488A (en) * 1991-05-17 1992-10-20 International Business Machines Corporation Adaptive quantization within the jpeg sequential mode
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
US5228098A (en) * 1991-06-14 1993-07-13 Tektronix, Inc. Adaptive spatio-temporal compression/decompression of video image signals
US5214507A (en) * 1991-11-08 1993-05-25 At&T Bell Laboratories Video signal quantization for an mpeg like coding environment
JPH05167998A (ja) * 1991-12-16 1993-07-02 Nippon Telegr & Teleph Corp <Ntt> 画像の符号化制御処理方法
US5331414A (en) * 1991-12-23 1994-07-19 Intel Corporation Method and apparatus for encoding a digital motion video signal using pyramid specific filtering
US5521717A (en) * 1992-02-03 1996-05-28 Canon Kabushiki Kaisha Image processing apparatus and method therefor
EP0576763A1 (en) * 1992-06-30 1994-01-05 International Business Machines Corporation Improved method for sub-band coding video signals and device for implementing said method
US5631977A (en) * 1992-12-08 1997-05-20 Fuji Xerox Co., Ltd. Encoding device for encoding an image along an order determined by resolution tone level
JP2856300B2 (ja) * 1993-02-19 1999-02-10 富士ゼロックス株式会社 画像符号化装置および復号装置
WO1995007004A1 (en) * 1993-08-30 1995-03-09 Sony Corporation Device and method for encoding image data
JP2914549B2 (ja) * 1993-09-17 1999-07-05 富士ゼロックス株式会社 画像符号化方法
US5663764A (en) * 1993-09-30 1997-09-02 Sony Corporation Hierarchical encoding and decoding apparatus for a digital image signal
JP3590996B2 (ja) * 1993-09-30 2004-11-17 ソニー株式会社 ディジタル画像信号の階層符号化および復号装置
JP3846642B2 (ja) * 1994-01-31 2006-11-15 ソニー株式会社 動き量検出方法及び動き量検出装置
US5650860A (en) * 1995-12-26 1997-07-22 C-Cube Microsystems, Inc. Adaptive quantization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62501670A (ja) * 1985-02-05 1987-07-02 ブリティシュ・テレコミュニケ−ションズ・パブリック・リミテッド・カンパニ 画像伝送方法および装置
JPS62188575A (ja) * 1986-02-14 1987-08-18 Mitsubishi Electric Corp 順次再生ベクトル量子化符号化・復号化装置
JPH02262786A (ja) * 1988-12-14 1990-10-25 Fuji Photo Film Co Ltd 画像信号圧縮符号化装置
JPH02299379A (ja) * 1989-05-12 1990-12-11 Mitsubishi Electric Corp ベクトル量子化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP0671852A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109212018A (zh) * 2018-09-19 2019-01-15 东北大学 一种基于压缩感知的管道漏磁数据分级压缩方法

Also Published As

Publication number Publication date
DE69428979D1 (de) 2001-12-13
EP0671852B1 (en) 2001-11-07
CN1116029A (zh) 1996-01-31
EP0671852A4 (en) 1998-02-25
CN1075321C (zh) 2001-11-21
DE69428979T2 (de) 2002-08-08
EP0671852A1 (en) 1995-09-13
US6195464B1 (en) 2001-02-27
US6108451A (en) 2000-08-22
US5930394A (en) 1999-07-27
US6324304B1 (en) 2001-11-27
US6539119B1 (en) 2003-03-25
US6219456B1 (en) 2001-04-17

Similar Documents

Publication Publication Date Title
WO1995007004A1 (en) Device and method for encoding image data
JP5606591B2 (ja) ビデオ圧縮方法
JP3590996B2 (ja) ディジタル画像信号の階層符号化および復号装置
JP4365957B2 (ja) 画像処理方法及びその装置及び記憶媒体
JPS63167526A (ja) データ圧縮装置
US6950471B2 (en) Coding device, coding method and storage medium
JPS62231569A (ja) 予測誤差の量子化方法
CN1290381A (zh) 使用可变块尺寸的分层运动估算装置和方法
JPH10257488A (ja) 画像符号化装置および画像復号化装置
JPH06292173A (ja) 映像信号符号化復号化方法
JPH1084548A (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、伝送方法、並びに記録媒体
US6845130B1 (en) Motion estimation and compensation for video compression
JPH09200777A (ja) 映像信号符号化方法及び映像信号符号化装置
US20040096198A1 (en) Adaptive digital video recorder and method of controlling the same
JP3337160B2 (ja) 画像処理方法及び画像処理装置
JP4145292B2 (ja) 画像伝送装置及び方法
JP3337167B2 (ja) 画像処理装置及び画像処理方法
JP3356337B2 (ja) 画像処理装置及び画像処理方法
JPS63305672A (ja) 多値画像のブロック符号化装置
JP3337168B2 (ja) 画像処理装置及び画像処理方法
JP3726333B2 (ja) 量子化ビット数変換装置および方法
JP2802629B2 (ja) 画像データの圧縮装置、及び画像処理装置
JP3075049B2 (ja) 画像符号化装置
JP2001285648A (ja) 画像処理装置および画像処理方法、並びに記録媒体
JP2598410B2 (ja) 符号化装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 94190793.7

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): DE FR GB

WWE Wipo information: entry into national phase

Ref document number: 1994925022

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 08428067

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1994925022

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1994925022

Country of ref document: EP