WO2015056941A1 - Multilayer-based image encoding/decoding method and apparatus - Google Patents

Multilayer-based image encoding/decoding method and apparatus Download PDF

Info

Publication number
WO2015056941A1
WO2015056941A1 PCT/KR2014/009580 KR2014009580W WO2015056941A1 WO 2015056941 A1 WO2015056941 A1 WO 2015056941A1 KR 2014009580 W KR2014009580 W KR 2014009580W WO 2015056941 A1 WO2015056941 A1 WO 2015056941A1
Authority
WO
WIPO (PCT)
Prior art keywords
tile
related information
layer
flag
picture
Prior art date
Application number
PCT/KR2014/009580
Other languages
French (fr)
Korean (ko)
Inventor
강정원
이진호
이하현
최진수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to CN201480062557.6A priority Critical patent/CN105723712B/en
Priority to CN201910476959.5A priority patent/CN110225349B/en
Priority to US15/028,570 priority patent/US10091519B2/en
Priority claimed from KR1020140137482A external-priority patent/KR102290091B1/en
Publication of WO2015056941A1 publication Critical patent/WO2015056941A1/en
Priority to US16/040,222 priority patent/US10701382B2/en
Priority to US16/039,766 priority patent/US10701379B2/en
Priority to US16/039,996 priority patent/US10701380B2/en
Priority to US16/040,119 priority patent/US10701381B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Definitions

  • the present invention relates to image encoding and decoding, and more particularly, to a method of representing tiles and pictures when one or more layers exist in a video bitstream.
  • the supporting performance is also diversified by device.
  • the network in which information is transmitted is also diversified not only in the external structure such as wired and wireless networks, but also in functions such as the type of information to be transmitted, the amount and speed of information.
  • the user selects a terminal and a network to be used according to a desired function, and the spectrum of terminals and networks provided to the user by the enterprise is also diversified.
  • Ultra High Definition which has more than four times the resolution of HDTV
  • the demand for technology for compressing and processing higher resolution and higher quality images is increasing.
  • an inter prediction technique for predicting a pixel value included in a current picture from a previous and / or subsequent picture in time, another pixel included in the current picture using pixel information in the current picture
  • An intra prediction technique for predicting a value an entropy encoding technique for allocating a short sign to a high frequency symbol and a long code to a low frequency symbol may be used.
  • the quality, size, frame, etc. of the supported images need to be diversified accordingly.
  • the present invention provides an image encoding / decoding method and apparatus capable of improving image encoding / decoding efficiency.
  • the present invention provides a method and apparatus for signaling tile related information in scalable video coding that can improve encoding / decoding efficiency.
  • the present invention provides a method and apparatus for signaling information related to representation format in scalable video coding that can improve encoding / decoding efficiency.
  • an image decoding method supporting a plurality of layers includes acquiring information indicating whether tile related information exists and acquiring the tile related information based on information indicating whether the tile related information exists.
  • the tile related information may be information indicating whether a position of a tile existing in a picture of a current layer corresponds to a position of a tile existing in a picture of a reference layer referenced by the current layer.
  • an image decoding method supporting a plurality of layers may further include obtaining information indicating whether chroma format related information and bit-depth related information exist, and whether the chrominance format related information and bit depth related information exist. And obtaining the color difference format related information and the bit depth related information based on the information indicating the.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a conceptual diagram schematically illustrating an embodiment of a scalable video coding structure using multiple layers to which the present invention can be applied.
  • FIG. 4 is a diagram illustrating a tile area that is removed and emptied in one picture.
  • FIG. 5 is a flowchart schematically illustrating a method of acquiring tile related information in a scalable video coding structure supporting a plurality of layers according to an embodiment of the present invention.
  • FIG. 6 is a flowchart schematically illustrating a method of acquiring representation format related information in a scalable video coding structure supporting a plurality of layers according to an embodiment of the present invention.
  • first and second may be used to describe various configurations, but the configurations are not limited by the terms. The terms are used to distinguish one configuration from another.
  • first configuration may be referred to as the second configuration, and similarly, the second configuration may also be referred to as the first configuration.
  • each component shown in the embodiments of the present invention are independently shown to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit.
  • each component is listed as a component for convenience of description, and at least two of the components may form one component, or one component may be divided into a plurality of components to perform a function.
  • the integrated and separated embodiments of each component are also included in the scope of the present invention without departing from the spirit of the present invention.
  • the components may not be essential components for performing essential functions in the present invention, but may be optional components for improving performance.
  • the present invention can be implemented including only the components essential for implementing the essentials of the present invention except for the components used for improving performance, and the structure including only the essential components except for the optional components used for improving performance. Also included in the scope of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
  • a scalable video encoding apparatus supporting a multi-layer structure may be implemented by extending a general image encoding apparatus having a single layer structure.
  • the block diagram of FIG. 1 shows an embodiment of an image encoding apparatus that can be the basis of a scalable video encoding apparatus applicable to a multilayer structure.
  • the image encoding apparatus 100 may include an inter predictor 110, an intra predictor 120, a switch 115, a subtractor 125, a transformer 130, a quantizer 140, and entropy.
  • An encoder 150, an inverse quantizer 160, an inverse transformer 170, an adder 175, a filter 180, and a reference picture buffer 190 are included.
  • the image encoding apparatus 100 may encode an input image in an intra mode or an inter mode and output a bitstream.
  • the switch 115 may be switched to intra, and in the inter mode, the switch 115 may be switched to inter.
  • Intra prediction means intra prediction and inter prediction means inter prediction.
  • the image encoding apparatus 100 may generate a prediction block for an input block of an input image and then encode a residual between the input block and the prediction block.
  • the input image may mean an original picture.
  • the intra predictor 120 may use a sample value of an already encoded / decoded block around the current block as a reference sample.
  • the intra prediction unit 120 may perform spatial prediction using the reference sample and generate prediction samples for the current block.
  • the inter prediction unit 110 may identify a motion vector specifying a reference block having a smallest difference from an input block (current block) in a reference picture stored in the reference picture buffer 190 during a motion prediction process. You can get it.
  • the inter prediction unit 110 may generate a prediction block for the current block by performing motion compensation using the motion vector and the reference picture stored in the reference picture buffer 190.
  • inter prediction applied in inter mode may include inter layer prediction.
  • the inter prediction unit 110 may construct an inter-layer reference picture by sampling a picture of the reference layer, and perform inter-layer prediction by including an inter-layer reference picture in the reference picture list.
  • the reference relationship between layers may be signaled through information specifying dependencies between layers.
  • sampling applied to the reference layer picture may mean generation of a reference sample by copying a sample from the reference layer picture.
  • sampling applied to the reference layer picture may mean upsampling.
  • an interlayer reference picture may be configured by upsampling a reconstructed picture of a reference layer between layers that support scalability with respect to resolution.
  • the encoding apparatus may transmit information specifying the layer to which the picture to be used as the inter-layer reference picture belongs, to the decoding apparatus.
  • a layer referred to in inter-layer prediction that is, a picture used for prediction of the current block in the reference layer, may be a picture of the same access unit (AU) as the current picture (picture to be predicted in the current layer).
  • AU access unit
  • the subtractor 125 may generate a residual block by the difference between the input block and the generated prediction block.
  • the transform unit 130 may output a transform coefficient by performing a transform on the residual block.
  • the transform coefficient may mean a coefficient value generated by performing transform on the residual block and / or the residual signal.
  • a quantized transform coefficient level generated by applying quantization to a transform coefficient may also be referred to as a transform coefficient.
  • the transform unit 130 may omit the transform on the residual block.
  • the quantization unit 140 may quantize the input transform coefficient according to a quantization parameter or a quantization parameter, and output a quantized coefficient. Quantized coefficients may be referred to as quantized transform coefficient levels. In this case, the quantization unit 140 may quantize the input transform coefficients using the quantization matrix.
  • the entropy encoder 150 may output a bitstream by entropy encoding the values calculated by the quantizer 140 or the encoding parameter values calculated in the encoding process according to a probability distribution.
  • the entropy encoder 150 may entropy encode information (eg, syntax elements) for video decoding in addition to the pixel information of the video.
  • the encoding parameter is information necessary for encoding and decoding, and may include information that may be inferred in the encoding or decoding process as well as information encoded in the encoding apparatus and delivered to the decoding apparatus, such as a syntax element.
  • encoding parameters may include intra / inter prediction modes, moving / motion vectors, reference image indexes, coding block patterns, presence or absence of residual signals, transform coefficients, quantized transform coefficients, quantization parameters, block sizes, block division information, and the like. Or statistics.
  • the residual signal may mean a difference between the original signal and the prediction signal, and a signal in which the difference between the original signal and the prediction signal is transformed or a signal in which the difference between the original signal and the prediction signal is transformed and quantized It may mean.
  • the residual signal may be referred to as a residual block in block units.
  • the entropy encoder 150 may use an encoding method such as exponential golomb, context-adaptive variable length coding (CAVLC), or context-adaptive binary arithmetic coding (CABAC). For example, the entropy encoder 150 may perform entropy encoding by using a variable length coding (VLC) table. In addition, the entropy encoder 150 derives a binarization method of a target symbol and a probability model of a target symbol / bin, and then performs entropy encoding using the derived binarization method or a probability model. You may.
  • VLC variable length coding
  • the quantized coefficients may be inversely quantized by the inverse quantizer 160 and inversely transformed by the inverse transformer 170.
  • the inverse quantized and inverse transformed coefficients are added to the prediction block through the adder 175 and a reconstructed block is generated.
  • the reconstruction block passes through the filter unit 180, and the filter unit 180 applies at least one or more of a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) to the reconstructed block or reconstructed picture. can do.
  • the filter unit 180 may be referred to as an adaptive in-loop filter.
  • the deblocking filter can remove block distortion generated at the boundary between blocks.
  • SAO can add an appropriate offset to the pixel value to compensate for coding errors.
  • the ALF may perform filtering based on a value obtained by comparing the reconstructed image with the original image.
  • the reconstructed block that has passed through the filter unit 180 may be stored in the reference picture buffer 190.
  • FIG. 2 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • a scalable video decoding apparatus supporting a multi-layer structure may be implemented by extending a general image decoding apparatus having a single layer structure.
  • the block diagram of FIG. 2 illustrates an embodiment of an image decoding apparatus that may be the basis of a scalable video decoding apparatus applicable to a multilayer structure.
  • the image decoding apparatus 200 may include an entropy decoder 210, an inverse quantizer 220, an inverse transformer 230, an intra predictor 240, an inter predictor 250, and an adder 255. ), A filter unit 260 and a reference picture buffer 270.
  • the image decoding apparatus 200 may receive a bitstream output from the encoder and perform decoding in an intra mode or an inter mode, and output a reconstructed image, that is, a reconstructed image.
  • the switch In the intra mode, the switch may be switched to intra, and in the inter mode, the switch may be switched to inter.
  • the image decoding apparatus 200 may obtain a reconstructed residual block from the received bitstream, generate a prediction block, and then add the reconstructed residual block and the prediction block to generate a reconstructed block, that is, a reconstruction block. .
  • the entropy decoder 210 may entropy decode the input bitstream according to a probability distribution, and output information such as quantized coefficients and syntax elements.
  • the quantized coefficients are inversely quantized by the inverse quantizer 220 and inversely transformed by the inverse transformer 230.
  • a reconstructed residual block may be generated.
  • the inverse quantization unit 220 may apply a quantization matrix to the quantized coefficients.
  • the intra predictor 240 may perform spatial prediction using sample values of blocks already decoded around the current block, and generate prediction samples for the current block.
  • the inter prediction unit 250 may generate a prediction block for the current block by performing motion compensation using the reference picture stored in the motion vector and the reference picture buffer 270.
  • inter prediction applied in inter mode may include inter layer prediction.
  • the inter prediction unit 250 may construct an interlayer reference picture by sampling a picture of the reference layer, and perform interlayer prediction by including an interlayer reference picture in a reference picture list.
  • the reference relationship between layers may be signaled through information specifying dependencies between layers.
  • sampling applied to the reference layer picture may mean generation of a reference sample by copying a sample from the reference layer picture.
  • sampling applied to the reference layer picture may mean upsampling.
  • the inter-layer reference picture may be configured by upsampling the reconstructed picture of the reference layer.
  • information specifying a layer to which a picture to be used as an inter-layer reference picture belongs may be transmitted from the encoding apparatus to the decoding apparatus.
  • a layer referred to in inter-layer prediction that is, a picture used for prediction of the current block in the reference layer, may be a picture of the same access unit (AU) as the current picture (picture to be predicted in the current layer).
  • AU access unit
  • the reconstructed residual block and the predictive block are added at the adder 255 to generate a reconstructed block.
  • the residual sample and the predictive sample are added to generate a reconstructed sample or a reconstructed picture.
  • the reconstructed picture is filtered by the filter unit 260.
  • the filter unit 260 may apply at least one or more of the deblocking filter, SAO, and ALF to the reconstructed block or the reconstructed picture.
  • the filter unit 260 outputs a modified or filtered reconstructed picture.
  • the reconstructed picture may be stored in the reference picture buffer 270 and used for inter prediction.
  • the image decoding apparatus 200 may further include a parser (not shown) that parses information related to an encoded image included in the bitstream.
  • the parser may include the entropy decoder 210 or may be included in the entropy decoder 210. Such a parser may also be implemented as one component of the decoder.
  • one encoding device / decoding device processes both encoding / decoding for multiple layers. However, this is for convenience of description.
  • the encoding device / decoding device may be configured for each layer.
  • the encoding device / decoding device of the upper layer may perform encoding / decoding of the corresponding upper layer by using the information of the upper layer and the information of the lower layer.
  • the prediction unit (inter prediction unit) of the upper layer may perform intra prediction or inter prediction on the current block by using pixel information or picture information of the upper layer, and receives picture information reconstructed from the lower layer and Inter prediction (inter layer prediction) may be performed on the current block of the upper layer by using the interlayer prediction.
  • Inter prediction inter layer prediction
  • the encoding device / decoding device performs encoding / decoding on the current layer by using information of another layer regardless of whether the device is configured for each layer or one device processes multiple layers. can do.
  • the layer may include a view.
  • information of another layer between layers specified as having dependence by information specifying dependency between layers is not merely performed by using information of a lower layer.
  • Inter layer prediction may be performed using.
  • FIG. 3 is a conceptual diagram schematically illustrating an embodiment of a scalable video coding structure using multiple layers to which the present invention can be applied.
  • a GOP Group of Picture
  • FIG. 3 a GOP (Group of Picture) represents a picture group, that is, a group of pictures.
  • a transmission medium In order to transmit image data, a transmission medium is required, and its performance varies depending on the transmission medium according to various network environments.
  • a scalable video coding method may be provided for application to such various transmission media or network environments.
  • a video coding method that supports scalability removes redundancy between layers by using texture information, motion information, and residual signals between layers.
  • a coding method that improves encoding and decoding performance has various scales in terms of spatial, temporal, image quality (or quality), and view according to ambient conditions such as transmission bit rate, transmission error rate, and system resources. It can provide the ability.
  • Scalable video coding may be performed using multiple layers structure to provide a bitstream applicable to various network situations.
  • the scalable video coding structure may include a base layer that compresses and processes image data using a general image decoding method, and compresses the image data using both the decoding information of the base layer and a general image decoding method. May include an enhancement layer for processing.
  • the base layer may be referred to as a base layer or may be referred to as a lower layer.
  • the enhancement layer may be referred to as an enhancement layer or a higher layer.
  • the lower layer may mean a layer that supports a lower level of scalability (spatial, temporal, image quality, or viewpoint scalability) than a specific layer, and the upper layer may have a higher level of scalability than a specific layer. It may mean a layer that supports (spatial, temporal, image quality, or view scalability).
  • a layer referred to for encoding / decoding of another layer may be referred to as a reference layer (reference layer), and a layer encoded / decoded using another layer may be referred to as a current layer (current layer).
  • the reference layer may be lower than the current layer, and the current layer may be higher than the reference layer.
  • the layer may be based on spatial (eg, image size), temporal (eg, decoding order, image output order, frame rate), image quality, complexity, view, etc. Means a set of image and bitstream to be distinguished.
  • the base layer may be defined as a standard definition (SD), a frame rate of 15 Hz, and a 1 Mbps bit rate
  • the first enhancement layer may be a high definition (HD), a frame rate of 30 Hz, and a 3.9 Mbps bit rate
  • the second enhancement layer may be defined as 4K-UHD (ultra high definition), a frame rate of 60 Hz, and a bit rate of 27.2 Mbps.
  • the format, frame rate, bit rate, etc. are exemplary and may be determined differently as necessary.
  • the number of hierarchies used is not limited to this embodiment and may be determined differently according to a situation. For example, if the transmission bandwidth is 4 Mbps, the frame rate of the first enhancement layer HD may be reduced and transmitted at 15 Hz or less.
  • the scalable video coding method may provide temporal, spatial, image quality, and view scalability by the method described above in the embodiment of FIG. 3.
  • scalable video coding has the same meaning as scalable video encoding in terms of encoding and scalable video decoding in terms of decoding.
  • HEVC High Efficiency Video Coding
  • HEVC High Efficiency Video Coding
  • parallel processing is possible by dividing one picture into a plurality of tiles and independently encoding / decoding each divided tile in one picture. Therefore, information indicating how a picture in a bitstream is configured in a tile form is required.
  • tile related information is described in a picture parameter set (PPS).
  • PPS picture parameter set
  • SPS Sequence Parameter Set
  • the present invention provides a method for efficiently encoding / decoding tile related information through signaling of correlation between layers when a picture is composed of one or more tiles for each layer in the hierarchical bitstream.
  • the present invention also provides a method for efficiently signaling picture representation related information in scalable video coding.
  • a tile refers to a rectangular area composed of coding tree blocks or coding tree units in a picture and may be a sequence of coding tree blocks or coding tree units.
  • a tile always consists of integer coding tree units.
  • the coding tree block or the coding tree unit may be a processing unit of samples in the picture.
  • one picture may be divided into two tiles by a vertical tile boundary in the picture.
  • Each divided tile includes integer coding tree units and may be a rectangular area.
  • scalable HEVC (SHVC) standard for supporting scalable video coding
  • MV-HEVC multiview HEVC
  • information related to tiles can be signaled in a video parameter set (VPS) and a PPS.
  • VPS video parameter set
  • PPS video parameter set
  • the spatial resolution of the reference layer when the spatial resolution of the reference layer does not match the spatial resolution of the corresponding layer, the spatial resolution of the reference layer is scaled to be the same as the spatial resolution of the corresponding layer, and the positions of the tiles included in the scaled reference layer It may be determined whether to correspond / match with the position of the tiles of the layer based on the.
  • tile_boundaries_aligned_flag [i] [j] is used as a flag indicating whether the positions of the tiles included in the layer are encoded / decoded to correspond / match the positions of the tiles included in the reference layers of the layer.
  • tile_boundaries_aligned_flag [i] [j] indicates whether the i-th layer is aligned with the j-th reference layer and the position of the tile (the boundary of the tiles). However, when only one tile is included for each layer in the entire bitstream, it is not necessary to signal tile_boundaries_aligned_flag [i] [j].
  • tile_boundaries_aligned_flag [i] [j] only when there is a picture including at least two tiles.
  • Table 1 is an example of a syntax illustrating a method of signaling tile_boundaries_aligned_flag [i] [j] according to an embodiment of the present invention.
  • vps_tiles_enabled_flag when the vps_tiles_enabled_flag has a value of 1, it means that a picture including two or more tiles among pictures referring to the corresponding VPS may exist.
  • vps_tiles_enabled_flag has a value of 0, it means that all pictures of the CVS (Coded Video Stream) contain only one tile.
  • tile_boundaries_aligned_flag [i] [j] may be signaled.
  • Table 2 is another example of a syntax illustrating a method of signaling tile_boundaries_aligned_flag [i] [j] according to an embodiment of the present invention.
  • tiles_not_in_use_flag when tiles_not_in_use_flag has a value of 1, it means that all pictures of the CVS include only one tile. When tiles_not_in_use_flag has a value of 0, it means that a picture including two or more tiles among pictures referring to the corresponding VPS may exist.
  • tile_boundaries_aligned_flag [i] [j] may be signaled.
  • Table 3 is another example of a syntax illustrating a method of signaling tile_boundaries_aligned_flag [i] [j] according to an embodiment of the present invention.
  • vps_tiles_enabled_flag [i] when vps_tiles_enabled_flag [i] has a value of 1, it means that each picture of the i-th layer includes at least two tiles. When vps_tiles_enabled_flag [i] has a value of 0, it means that all pictures of the i-th layer include only one tile.
  • tile_boundaries_aligned_flag [i] [j] may be signaled.
  • Table 4 is an example of a syntax that describes a method for signaling in a PPS using vps_tiles_enabled_flag signaled in the VPS of Table 1 according to an embodiment of the present invention.
  • tiles_enabled_flag when tiles_enabled_flag has a value of 1, it means that all pictures referring to the corresponding PPS include two or more tiles. When tiles_enabled_flag has a value of 0, it means that all pictures referring to the PPS include only one tile. If the tiles_enabled_flag value is not signaled, the tiles_enabled_flag value is assumed to be zero.
  • vps_tiles_enabled_flag As shown in Table 4, whether tiles_enabled_flag is signaled or not may be determined by vps_tiles_enabled_flag. However, regardless of vps_tiles_enabled_flag, when tiles_enabled_flag is signaled as shown in Table 5, the value of tiles_enabled_flag should be 1 only when the value of vps_tiles_enabled_flag is 1. In other words, when the value of vps_tiles_enabled_flag is 0, the value of tiles_enabled_flag should always be 0.
  • Table 6 is an example of a syntax that describes a method for signaling sps_tiles_enabled_flag without signaling vps_tiles_enabled_flag in an SPS according to an embodiment of the present invention.
  • sps_tiles_enabled_flag when sps_tiles_enabled_flag has a value of 1, it means that all pictures referring to the corresponding SPS include two or more tiles. When sps_tiles_enabled_flag has a value of 0, it means that all pictures referring to the corresponding SPS include one tile.
  • PPS may signal tiles_enabled_flag as shown in Table 7 below.
  • tiles_enabled_flag has the following restrictions.
  • the present invention proposes a method of signaling tiles_enabled_flag in the SPS without signaling in the PPS when the layer identifier (nuh_layer_id) value is greater than 0 in order to make the PPSs included in the CVS consistent and simple.
  • Table 8 is an example of a syntax that describes a method for signaling tiles_enabled_flag in an SPS based on layer identifier (nuh_layer_id) information according to an embodiment of the present invention.
  • Table 9 is another example of a syntax illustrating a method of signaling tiles_enabled_flag based on layer identifier (nuh_layer_id) information according to an embodiment of the present invention.
  • tiles_enabled_flag when tiles_enabled_flag has a value of 1, it means that all pictures referring to the corresponding PPS include two or more tiles. When tiles_enabled_flag has a value of 0, it means that all pictures referring to the corresponding PPS include only one tile. If the tiles_enabled_flag value is not signaled, the tiles_enabled_flag value is inferred as the sps_tiles_enabled_flag value.
  • the tiles_enabled_flag value should have the same value for all PPSs activated in a specific layer of the CVS.
  • Some CVSs may be complicated to decode in real time in some decoders. If the tile related information is delivered to the decoder, the decoder can know in advance whether it can decode the CVS. That is, tile related information signaled in the VPS may be useful for session negotiation. In addition, if pictures in a particular layer have the same tile setting, that is, in the form of the same default tile, it may not be necessary to signal tile related information in every PPS.
  • Table 10 is an example of a syntax that describes a method for signaling tile related information in a VPS according to an embodiment of the present invention.
  • tiles_not_in_use_flag has a value of 1
  • all the pictures of the CVS include only one tile.
  • tiles_not_in_use_flag has a value of 0
  • default_tile_info_flag [i] When default_tile_info_flag [i] has a value of 1, it may mean that the picture of the i-th layer has a default tile setting. When default_tile_info_flag [i] has a value of 0, it indicates that a picture of the i-th layer may or may not have a default tile setting.
  • a value of num_tile_columns_minus1 [i] plus 1 represents the number of tile columns of a partitioning picture of the i-th layer. If num_tile_columns_minus1 [i] is not signaled, num_tile_columns_minus1 [i] is assumed to be 0.
  • a value of num_tile_rows_minus1 [i] plus 1 represents the number of tile rows dividing a picture of the i-th layer. If num_tile_rows_minus1 [i] is not signaled, num_tile_rows_minus1 [i] is assumed to be zero.
  • uniform_spacing_flag [i] When uniform_spacing_flag [i] has a value of 1, it means that a tile column and a tile row are positioned at regular intervals in a picture of the i-th layer. If Uniform_spacing_flag [i] has a value of 0, it means that the tile column and the tile row are not located at regular intervals in the picture of the i-th layer, where column_width_minus1 of each tile [i] [j] and row_height_minus1 [i] [j] may be used to signal the width of the column and the height of the row. If the uniform_spacing_flag value does not exist, the uniform_spacing_flag value may be assumed to be 1.
  • row_height_minus1 [i] [j] plus 1 indicates the height of the row of the j-th tile of the i-th layer in units of coding tree blocks.
  • loop_filter_across_tiles_enabled_flag [i] When loop_filter_across_tiles_enabled_flag [i] has a value of 1, it indicates that in-loop filtering is performed on the tile boundary portion in the picture of the i-th layer. When loop_filter_across_tiles_enabled_flag [i] has a value of 0, it indicates that in-loop filtering is not performed on the tile boundary portion of the picture of the i-th layer.
  • In-loop filtering operations include a deblocking filter and an adaptive offset filter operation. If the loop_filter_across_tiles_enabled_flag value is not signaled, the loop_filter_across_tiles_enabled_flag value is assumed to be 1.
  • supplemental enhancement information SEI
  • the PPS may be modified to update only tile-related information signaled by the PPS when necessary.
  • Table 11 is an example of a syntax that describes a method of updating tile related information signaled by a PPS according to an embodiment of the present invention only when necessary.
  • tiles_enabled_flag when tiles_enabled_flag has a value of 1, it means that all pictures referring to the corresponding PPS include two or more tiles. When tiles_enabled_flag has a value of 0, it means that all pictures referring to the PPS include only one tile. If the tiles_enabled_flag value is not signaled, the tiles_enabled_flag value is inferred to a value of zero.
  • update_tiles_info_flag When update_tiles_info_flag has a value of 1, it indicates that tile related information of pictures referring to the corresponding PPS is updated. When update_tiles_info_flag has a value of 0, it indicates that tile related information of pictures referring to the corresponding PPS is not updated.
  • Table 12 is another example of a syntax that describes a method of signaling tile related information in a VPS according to an embodiment of the present invention.
  • the update mechanism of the PPS can be applied only to the number of tiles and the loop filter signaling, as shown in Table 13 below.
  • Table 14 is another example of a syntax illustrating a method of signaling tile related information in a VPS according to an embodiment of the present invention.
  • Table 15 is another example of a syntax illustrating a method of signaling tile related information in a VPS according to an embodiment of the present invention.
  • min_max_tile_info_flag [i] when min_max_tile_info_flag [i] has a value of 1, it means that the maximum tile number and the minimum tile number of the picture of the i-th layer included in the bitstream are signaled. If min_max_tile_info_flag [i] has a value of 0, it means that the maximum tile number and the minimum tile number of the picture of the i-th layer included in the bitstream are not signaled.
  • max_num_tile_columns_minus1 [i] plus 1 represents the maximum number of tile columns of a partitioning picture of the i-th layer. If max_num_tile_columns_minus1 [i] is not signaled, max_num_tile_columns_minus1 [i] is assumed to be zero.
  • min_num_tile_columns_minus1 [i] plus 1 represents the minimum number of tile columns of a partitioning picture of the i-th layer. If min_num_tile_columns_minus1 [i] is not signaled, min_num_tile_columns_minus1 [i] is assumed to be zero.
  • max_num_tile_rows_minus1 [i] plus 1 represents the maximum number of tile rows dividing a picture of the i-th layer. If max_num_tile_rows_minus1 [i] is not signaled, max_num_tile_rows_minus1 [i] is assumed to be zero.
  • min_num_tile_rows_minus1 [i] plus 1 represents the minimum number of tile rows of partitioning pictures of the i-th layer. If min_num_tile_rows_minus1 [i] is not signaled, min_num_tile_rows_minus1 [i] is assumed to be zero.
  • Table 16 is another example of a syntax illustrating a method of signaling tile related information in a VPS according to an embodiment of the present invention.
  • max_tile_info_flag [i] when max_tile_info_flag [i] has a value of 1, it means that the maximum number of tiles of the picture of the i-th layer included in the bitstream is signaled.
  • max_tile_info_flag [i] has a value of 0, it means that the maximum number of tiles of the picture of the i-th layer included in the bitstream is not signaled.
  • min_tile_info_flag [i] When min_tile_info_flag [i] has a value of 1, it means that the minimum number of tiles of the picture of the i-th layer included in the bitstream is signaled. If min_tile_info_flag [i] has a value of 0, it means that the minimum number of tiles of the picture of the i-th layer included in the bitstream is not signaled.
  • the fourth embodiment and the fifth embodiment may be signaled in vps_vui ().
  • the tile settings of pictures in a particular layer will be the same, so other ways of describing tile related information can be described in the SPS. If the tile related information is not modified in the VPS, the SPS may be modified as shown in Table 17 below.
  • Table 17 is an example of a syntax that describes a method for signaling tile related information in an SPS according to an embodiment of the present invention.
  • tile set later intentionally removed and empty.
  • This tile area may later be filled by a device present in the content delivery path (used for advertising boxes, etc.). To this end, it would be helpful if the decoder could know which tile regions (ie, independently decodable regions) were removed.
  • the current "inter-layer constrained tile sets SEI messages" describe only the independently decodable region, and does not describe which region is removed from the transmission path.
  • the present invention provides a method for describing information about a tile region so that a decodable region and a removed region within a picture can be identified.
  • a flag may be added to each defined tile area to indicate whether a tile area in a picture exists.
  • Table 18 is an example of syntax illustrating a method of using a flag indicating whether a tile area exists according to an embodiment of the present invention.
  • present_flag [i] when present_flag [i] is a value of 1, it means that a recognized tile set exists in the CVS. If present_flag [i] is a value of 0, it means that there is no tile region recognized in the CVS.
  • the present invention proposes a method for improving the expression of the "representation format" described in the VPS and SPS.
  • Table 19 is an example of a syntax that describes a method for signaling a representation format according to an embodiment of the present invention.
  • vps_rep_format_idx [i] represents an index of a list of rep_format () syntax applied to the i-th layer.
  • Table 19 may be modified as shown in Table 20 below.
  • Table 20 is another example of a syntax illustrating a method of signaling a representation format according to an embodiment of the present invention.
  • information about a representation format may be signaled as shown in Table 21 below to prevent signaling of redundant information.
  • Table 21 shows an example of a representation format syntax for improving signaling of duplicate information according to an embodiment of the present invention.
  • chroma_size_vps_present_flag when chroma_size_vps_present_flag has a value of 1, it indicates that information related to chroma format and picture size is included in the syntax.
  • chroma_size_vps_present_flag has a value of 0, it means that the chroma format and the picture size related information refer to the previously signaled rep_format ().
  • the value of chroma_size_vps_present_flag of the first rep_format () must be 1.
  • bit_depth_vps_present_flag When bit_depth_vps_present_flag has a value of 1, it indicates that bit-depth related information is included in the syntax. When bit_depth_vps_present_flag has a value of 0, it means that bit-depth related information refers to previously signaled rep_format (). The value of bit_depth_vps_present_flag of the first rep_format () must be 1.
  • information about a representation format may be signaled as shown in Table 22 below to prevent signaling of redundant information.
  • Table 22 is another example showing a representation format syntax for improving signaling of redundant information according to an embodiment of the present invention.
  • depth_chroma_vps_present_flag when depth_chroma_vps_present_flag has a value of 1, it indicates that information related to chroma format and bit-depth is included in the syntax.
  • the depth_chroma_vps_present_flag has a value of 0, it means that the chroma format and the bit-depth related information refer to the previously signaled rep_format ().
  • previously signaled rep_format () may mean rep_format () applied to a layer immediately below the layer to which the current rep_format () is applied.
  • the value of depth_chroma_vps_present_flag of the first rep_format () must be 1.
  • update_re_format_flag is replaced with update_bit_depth_flag indicating that update_chroma_size_flag and bit-depth related update information exist, indicating that update information related to the chroma format and picture size exists, as shown in Table 23 below. It can also be.
  • Table 23 is an example of a syntax that describes a method for signaling chrominance format, picture size, and bit depth related update information in an SPS according to an embodiment of the present invention.
  • update_chroma_size_flag has a value of 1
  • chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, and pic_height_in_luma_samples are signaled in the SPS, and all layers in which the nuh_layer_id value referring to the SPS is greater than 0 use the signaled values. .
  • a layer whose nuh_layer_id value is greater than 0 does not use chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, and pic_height_in_luma_samples related values signaled in the VPS.
  • update_chroma_size_flag has a value of 0, it indicates that chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, and pic_height_in_luma_samples values are not signaled in the SPS, and that all layers referring to that SPS are signaled in the VPS: chroma_format_idc, separate_colour_ight_flag, pic_colour_plane_flag_information, do. If update_chroma_size_flag is not signaled, the update_chroma_size_flag value is assumed to be 1.
  • nuh_layer_id layerIdCurr> 0
  • chroma_format_idc separate_colour_plane_flag
  • chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples values are vps_ref_format_idx [j] -th rep_format () of chroma_format_id_fla_pic_height_flag_picma_flag_pic_plane_flag
  • j is LayerIdxInVps [layerIdCurr]
  • chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, and pic_height_in_luma_samples values signaled by the activated SPS are ignored.
  • chroma_format_idc When an active non-base layer refers to an SPS that is also used in the base layer, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples values are inferred from the VPS, where the SPS has a nuh_layer_id value of zero.
  • chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, and pic_height_in_luma_samples values signaled in the activated SPS are applied.
  • nuh_layer_id value of the activated SPS is greater than 0, the following applies.
  • chroma_format_idc If the value of update_chroma_size_flag is 0, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples values are vsp_ref_format_idx [j] -th rep_format () of chroma_format_idc, separate_colour_fla_in_flag_information_flag. In this case, j is LayerIdxInVps [layerIdCurr].
  • update_chroma_size_flag chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples values should be chroma_format_idc, separate_color_flag, separate_colour_plane_flag, separate_color_height_in_lu__s_in_lus
  • j is LayerIdxInVps [layerIdCurr].
  • update_bit_depth_flag has a value of 1
  • bit_depth_luma_minus8 and bit_depth_chroma_minus8 are signaled in the SPS, and all layers whose nuh_layer_id value referring to the SPS is greater than 0 use the signaled values.
  • all layers whose nuh_layer_id value referring to the SPS is greater than 0 use the signaled values.
  • values related to bit_depth_luma_minus8 and bit_depth_chroma_minus8 signaled by the VPS are not used.
  • update_bit_depth_flag When update_bit_depth_flag has a value of 0, it indicates that bit_depth_luma_minus8 and bit_depth_chroma_minus8 values are not signaled to the SPS, and all layers referring to the SPS use bit_depth_luma_minus8 and bit_depth_chroma_minus8 values that are signaled by the VPS. If update_bit_depth_flag is not signaled, the update_bit_depth_flag value is assumed to be 1.
  • bit_depth_luma_minus8 and bit_depth_chroma_minus8 may be regarded or restricted as the following values.
  • bit_depth_luma_minus8 and bit_depth_chroma_minus8 values are regarded as bit_depth_luma_minus8 and bit_depth_chroma_minus8 of vps_ref_format_idx [j] -th rep_format () of the activated VPS.
  • j is LayerIdxInVps [layerIdCurr]
  • bit_depth_luma_minus8 and bit_depth_chroma_minus8 values signaled by the activated SPS are ignored.
  • bit_depth_luma_minus8 and bit_depth_chroma_minus8 values are inferred from the VPS, where the SPS has a nuh_layer_id value of zero.
  • bit_depth_luma_minus8 and bit_depth_chroma_minus8 values signaled in the activated SPS are applied.
  • nuh_layer_id value of the activated SPS is greater than 0, the following applies.
  • bit_depth_luma_minus8 and bit_depth_chroma_minus8 values are considered bit_depth_luma_minus8 and bit_depth_chroma_minus8 of vps_ref_format_idx [j] -th rep_format () of the activated VPS.
  • j is LayerIdxInVps [layerIdCurr].
  • bit_depth_luma_minus8 and bit_depth_chroma_minus8 should be less than or equal to bit_depth_luma_minus8 of vps_ref_format_idx [j] -th rep_format () of the activated VPS.
  • j is LayerIdxInVps [layerIdCurr].
  • the number of temporal sub-layers per layer included in the bitstream may be signaled in the VPS extension.
  • Table 24 is an example of a syntax that describes a method for signaling the number of maximum temporal sub-layers according to an embodiment of the present invention.
  • sub_layers_vps_max_minus1 [i] indicates the maximum number of temporal sub-layers present in the layer whose nuh_layer_id value is layer_id_in_nuh [i].
  • the value of sub_layers_vps_max_minus1 [i] has a range from 0 to vps_max_sub_layers_minus1, and if the value of sub_layer_vps_max_minus1 [i] is not signaled, the value of sub_layers_vps_max_minus1 [i] is inferred as the value of vps_max_sub_layers_minus1.
  • sps_max_sub_layers_minus1 for indicating the maximum number of temporal sub-layers that the layer can have is signaled.
  • the SPS does not separately signal sps_max_sub_layers_minus1 to indicate the maximum number of temporal sub-layers that the layer may have when the layer referring to the SPS has a nuh_layer_id value greater than zero.
  • the value of vps_max_sub_layers_minus1 + 1 which is the number of temporal sub-layers present in the entire bitstream, is determined, not the number of temporal sub-layers of the corresponding layer.
  • the sps_max_sub_layers_minus1 value when the nuh_layer_id value is greater than 0 is determined as the sub_layers_vps_max_minus1 [i] value as follows. can do.
  • sps_max_sub_layers_minus1 + 1 indicates the maximum number of temporal sub-layers that the layer can have when the layer referring to the SPS has nuh_layer_id greater than zero.
  • sps_max_sub_layers_minus1 has a value between 0 and 6. If sps_max_sub_layers_minus1 is not signaled, the sps_max_sub_layers_minus1 value is inferred to be equal to the sub_layers_vps_max_minus1 [i] value of the i-th layer whose nuh_layer_id value is layer_id_in_nuh_ [i].
  • the vps_temporal_id_nesting_flag signaled in the VPS is used to indicate that switching-up of the temporal sublayer is possible for all layers of the bitstream. That is, when the value of vps_max_sub_layers_minus1 is greater than 0, the value of vps_temporal_id_nesting_flag indicates whether additional inter prediction is restricted for the CVS (coded video bitstream) referring to the corresponding VPS. If the value of vps_max_sub_layers_minus1 is 0, vps_temporal_id_nesting_flag must have a value of 1.
  • Table 25 is an example of a syntax illustrating a method of signaling a flag indicating whether switching up is possible for each layer according to an embodiment of the present invention.
  • vps_layer_temporal_id_nesting_flag [i] indicates whether inter-screen prediction is additionally restricted to the picture of the i-th layer when sub_layers_vps_max_minus1 [i] is greater than zero.
  • sub_layers_vps_max_minus [i] is 0, vps_layer_temporal_id_nesting_flag [i] must have a value of 1. If vps_layer_temporal_id_nesting_flag [i] is not signaled, it is inferred that vps_layer_temporal_id_nesting_flag [i] is equal to the vps_temporal_id_nesting_flag value.
  • semantics of sps_temporal_id_nesting_flag signaled in the SPS may be modified as follows.
  • sps_temporal_id_nesting_flag indicates whether additional inter prediction is restricted to CVS (coded video stream) referring to the SPS when sps_max_sub_layers_minus1 is greater than zero.
  • the sps_temporal_id_nesting_flag value When the vps_temporal_id_nesting_flag value is 1, the sps_temporal_id_nesting_flag value must be 1. If sps_max_sub_layers_minus1 is 0, the sps_temporal_id_nesting_flag value must be 1. If the sps_temporal_id_nesting_flag value is not signaled, it is inferred that the sps_temporal_id_nesting_flag value is the same as the vps_layer_temporal_id_nesting_flag [i] value of the i-th layer whose nuh_layer_id value is layer_id_in_nuh [i].
  • FIG. 5 is a flowchart schematically illustrating a method of acquiring tile related information in a scalable video coding structure supporting a plurality of layers according to an embodiment of the present invention.
  • the method of FIG. 5 may be performed by the image decoding apparatus (more specifically, the entropy decoding unit) of FIG. 2 described above. In the present embodiment, it is described as being performed by the decoding apparatus for convenience of explanation, but the reverse process may be performed by the encoding apparatus.
  • the decoding apparatus obtains information indicating whether tile related information exists (S500).
  • the decoding apparatus may receive a scalable bitstream and entropy decode it to obtain information indicating whether tile related information is present.
  • the information indicating whether the tile related information exists may be information indicating whether a picture including two or more tiles among the pictures in the layer exists as described above.
  • information indicating whether tile related information exists may be set as tile related information.
  • the information indicating whether the tile related information exists is related to the tile The information may be set to no present.
  • the decoding apparatus obtains tile related information based on information indicating whether tile related information exists (S510).
  • the decoding apparatus may obtain the entropy decoding of the tile related information.
  • the tile related information may be information indicating whether the position of the tile existing in the picture of the current layer corresponds to the position of the tile existing in the picture of the reference layer referenced by the current layer.
  • the tile related information may be tile_boundaries_aligned_flag.
  • Information indicating whether the tile related information exists and the tile related information may be transmitted from the encoder through the VPS, PPS, SPS and the like.
  • the process of acquiring the tile related information based on the information indicating whether the tile related information exists may be performed as in the syntaxes described in Tables 1 to 7, or It is also applicable to several combinations of these.
  • FIG. 6 is a flowchart schematically illustrating a method of acquiring representation format related information in a scalable video coding structure supporting a plurality of layers according to an embodiment of the present invention.
  • the method of FIG. 6 may be performed by the image decoding apparatus (more specifically, the entropy decoding unit) of FIG. 2 described above. In the present embodiment, it is described as being performed by the decoding apparatus for convenience of explanation, but the reverse process may be performed by the encoding apparatus.
  • the decoding apparatus obtains information indicating whether color information related to chroma format and bit depth related information exist (S600).
  • the decoding apparatus may receive a scalable bitstream and entropy decode it to obtain information indicating whether color difference format related information and bit depth related information exist.
  • the decoding apparatus obtains the color difference format related information and the bit depth related information based on the information indicating whether the color difference format related information and the bit depth related information exist.
  • the decoding apparatus may obtain the entropy decoding by using the color difference format related information and the bit depth related information.
  • the color difference format related information is information about color difference and luma sampling, and there are monochrome sampling, 4: 2: 0 sampling, 4: 2: 2 sampling, and 4: 4: 4 sampling color difference formats.
  • Motochrome sampling refers to a sample array consisting only of luma arrays.
  • 4: 2: 0 sampling means that each of the two color difference arrays is half the height and half the width of the luma array.
  • 4: 2: 2 sampling means that each of the two chroma arrays has a height and a half width of the luma array.
  • 4: 4: 4 Sampling means that each of the two color difference arrays is equal to the height and width of the luma array, or treated as monochrome sampling.
  • the color difference format related information refers to previously signaled color difference format related information
  • the bit depth related information is related to the previously signaled bit depth related information. You can refer to the information.
  • the information indicating whether the color difference format related information and the bit depth related information exist, the color difference format related information, and the bit depth related information include a rep_format () which is a syntax for describing information related to VPS, PPS, SPS, and expression format. Can be transmitted from the encoder.
  • the method according to the present invention described above may be stored in a computer-readable recording medium that is produced as a program for execution on a computer, and examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape , Floppy disks, optical data storage devices, and the like, and also include those implemented in the form of carrier waves (eg, transmission over the Internet).
  • the computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the method can be easily inferred by programmers in the art to which the present invention belongs.
  • the methods are described based on a flowchart as a series of steps or blocks, but the present invention is not limited to the order of steps, and certain steps may occur in a different order or at the same time than other steps described above. Can be. Also, one of ordinary skill in the art appreciates that the steps shown in the flowcharts are not exclusive, that other steps may be included, or that one or more steps in the flowcharts may be deleted without affecting the scope of the present invention. I can understand.

Abstract

Disclosed are an image decoding method and an image decoding apparatus which support a plurality of layers. The image decoding method comprises the steps of: obtaining information indicating whether or not tile-related information exists; and obtaining the tile-related information on the basis of the information indicating whether or not the tile-related information exits.

Description

다계층 기반의 영상 부호화/복호화 방법 및 장치Multi-layer Based Image Coding / Decoding Method and Apparatus
본 발명은 영상 부호화 및 복호화에 관한 것으로, 보다 상세하게는 비디오 비트스트림 내 한 개 이상의 계층이 존재하는 경우의 타일 및 픽처의 표현 방법에 관한 것이다. The present invention relates to image encoding and decoding, and more particularly, to a method of representing tiles and pictures when one or more layers exist in a video bitstream.
최근 멀티미디어(multimedia) 환경이 구축되면서, 다양한 단말과 네트워크가 이용되고 있으며, 이에 따른 사용자 요구도 다변화하고 있다. Recently, as a multimedia environment is established, various terminals and networks are used, and user demands are diversifying accordingly.
예컨대, 단말의 성능과 컴퓨팅 능력(computing capability)가 다양해짐에 따라서 지원하는 성능도 기기별로 다양해지고 있다. 또한 정보가 전송되는 네트워크 역시 유무선 네트워크와 같은 외형적인 구조뿐만 아니라, 전송하는 정보의 형태, 정보량과 속도 등 기능별로도 다양해지고 있다. 사용자는 원하는 기능에 따라서 사용할 단말과 네트워크를 선택하며, 또한 기업이 사용자에게 제공하는 단말과 네트워크의 스펙트럼도 다양해지고 있다. For example, as the performance and computing capability of the terminal are diversified, the supporting performance is also diversified by device. In addition, the network in which information is transmitted is also diversified not only in the external structure such as wired and wireless networks, but also in functions such as the type of information to be transmitted, the amount and speed of information. The user selects a terminal and a network to be used according to a desired function, and the spectrum of terminals and networks provided to the user by the enterprise is also diversified.
이와 관련하여, 최근 HD(High Definition) 해상도를 가지는 방송이 국내뿐만 아니라 세계적으로 확대되어 서비스되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있다. 이에 따라서 많은 영상 서비스 관련 기관들이 차세대 영상 기기에 대한 개발에 많은 노력을 하고 있다. In this regard, as a broadcast having a high definition (HD) resolution has been expanded and serviced not only in Korea but also in the world, many users are getting used to high resolution and high quality images. Accordingly, many video service related organizations are making great efforts to develop next generation video devices.
또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 가지는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상을 압축하여 처리하는 기술에 대한 요구는 더 높아지고 있다. In addition, as interest in Ultra High Definition (UHD), which has more than four times the resolution of HDTV, is increasing, the demand for technology for compressing and processing higher resolution and higher quality images is increasing.
영상을 압축하여 처리하기 위해, 시간적으로 이전 및/또는 이후의 픽처로부터 현재 픽처에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽처 내의 화소 정보를 이용하여 현재 픽처에 포함된 다른 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 인코딩 기술 등이 사용될 수 있다.In order to compress and process an image, an inter prediction technique for predicting a pixel value included in a current picture from a previous and / or subsequent picture in time, another pixel included in the current picture using pixel information in the current picture An intra prediction technique for predicting a value, an entropy encoding technique for allocating a short sign to a high frequency symbol and a long code to a low frequency symbol may be used.
상술한 바와 같이, 지원하는 기능이 상이한 각 단말과 네트워크 그리고 다변화된 사용자의 요구를 고려할 때, 지원되는 영상의 품질, 크기, 프레임 등도 이에 따라 다변화될 필요가 있다. As described above, in consideration of the needs of terminals and networks having different supporting functions and diversified users, the quality, size, frame, etc. of the supported images need to be diversified accordingly.
이와 같이, 이종의 통신망과 다양한 기능 및 종류의 단말로 인해, 영상의 화질, 해상도, 크기, 프레임 율, 시점 등을 다양하게 지원하는 스케일러빌리티(scalability)는 비디오 포맷의 중요한 기능이 되고 있다. As such, due to heterogeneous communication networks and terminals of various functions and types, scalability that variously supports image quality, resolution, size, frame rate, viewpoint, etc., has become an important function of a video format.
따라서, 고효율의 비디오 부호화 방법을 기반으로 다양한 환경에서 사용자가 요구하는 서비스를 제공하기 위해 시간, 공간, 화질, 시점 등의 측면에서 효율적인 비디오 부호화와 복호화가 가능하도록 스케일러빌리티 기능을 제공하는 것이 필요하다.Therefore, in order to provide a service required by a user in various environments based on a highly efficient video encoding method, it is necessary to provide a scalability function to enable efficient video encoding and decoding in terms of time, space, image quality, and viewpoint. .
본 발명은 영상 부호화/복호화 효율을 향상시킬 수 있는 영상 부호화/복호화 방법 및 장치를 제공한다.The present invention provides an image encoding / decoding method and apparatus capable of improving image encoding / decoding efficiency.
본 발명은 부호화/복호화 효율을 향상시킬 수 있는 스케일러블 비디오 코딩에서 타일 관련 정보를 시그널링하는 방법 및 장치를 제공한다. The present invention provides a method and apparatus for signaling tile related information in scalable video coding that can improve encoding / decoding efficiency.
본 발명은 부호화/복호화 효율을 향상시킬 수 있는 스케일러블 비디오 코딩에서 표현 포맷(representation format) 관련 정보를 시그널링하는 방법 및 장치를 제공한다. The present invention provides a method and apparatus for signaling information related to representation format in scalable video coding that can improve encoding / decoding efficiency.
본 발명의 일 실시예에 따르면, 복수의 계층을 지원하는 영상 복호화 방법이 제공된다. 상기 영상 복호화 방법은 타일 관련 정보가 존재하는지 여부를 지시하는 정보를 획득하는 단계 및 상기 타일 관련 정보가 존재하는지 여부를 지시하는 정보를 기반으로 상기 타일 관련 정보를 획득하는 단계를 포함한다. According to an embodiment of the present invention, an image decoding method supporting a plurality of layers is provided. The image decoding method includes acquiring information indicating whether tile related information exists and acquiring the tile related information based on information indicating whether the tile related information exists.
상기 타일 관련 정보는, 현재 계층의 픽처에 존재하는 타일의 위치가 상기 현재 계층이 참조하는 참조 계층의 픽처에 존재하는 타일의 위치와 대응되는지(collocated) 여부를 나타내는 정보일 수 있다. The tile related information may be information indicating whether a position of a tile existing in a picture of a current layer corresponds to a position of a tile existing in a picture of a reference layer referenced by the current layer.
본 발명의 다른 실시예에 따르면, 복수의 계층을 지원하는 영상 복호화 방법이 제공된다. 상기 영상 복호화 방법은 색차 포맷(chroma format) 관련 정보와 비트 깊이(bit-depth) 관련 정보가 존재하는지 여부를 지시하는 정보를 획득하는 단계 및 상기 색차 포맷 관련 정보와 비트 깊이 관련 정보가 존재하는지 여부를 지시하는 정보를 기반으로, 상기 색차 포맷 관련 정보와 상기 비트 깊이 관련 정보를 획득하는 단계를 포함한다. According to another embodiment of the present invention, an image decoding method supporting a plurality of layers is provided. The image decoding method may further include obtaining information indicating whether chroma format related information and bit-depth related information exist, and whether the chrominance format related information and bit depth related information exist. And obtaining the color difference format related information and the bit depth related information based on the information indicating the.
본 발명에서는 계층적 비트스트림 내에서 계층마다 한 개 이상의 타일로 구성되는 있는 경우, 계층 간의 상관 관계에 대한 시그널링을 통해 계층적 비트스트림의 병렬 부호화/복호화가 가능하도록 하며, 타일로 구성된 관심 영역의 부호화/복호화를 용이하게 할 수 있다. 또한, 효율적인 픽처 표현 관련 정보를 시그널링함으로써 부호화/복호화 효율을 향상시킬 수 있다. In the present invention, when there is one or more tiles per layer in the hierarchical bitstream, parallel encoding / decoding of the hierarchical bitstream is possible through signaling of correlation between layers. Encoding / decoding can be facilitated. In addition, encoding / decoding efficiency may be improved by signaling efficient picture representation related information.
도 1은 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.2 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
도 3은 본 발명이 적용될 수 있는, 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다.3 is a conceptual diagram schematically illustrating an embodiment of a scalable video coding structure using multiple layers to which the present invention can be applied.
도 4는 하나의 픽처 내 제거되어 비게 되는 타일 영역을 도시한 도면이다. 4 is a diagram illustrating a tile area that is removed and emptied in one picture.
도 5는 본 발명의 실시예에 따른 복수의 계층을 지원하는 스케일러블 비디오 코딩 구조에서 타일 관련 정보를 획득하는 방법을 개략적으로 나타내는 순서도이다.5 is a flowchart schematically illustrating a method of acquiring tile related information in a scalable video coding structure supporting a plurality of layers according to an embodiment of the present invention.
도 6은 본 발명의 실시예에 따른 복수의 계층을 지원하는 스케일러블 비디오 코딩 구조에서 표현 포맷 관련 정보를 획득하는 방법을 개략적으로 나타내는 순서도이다.6 is a flowchart schematically illustrating a method of acquiring representation format related information in a scalable video coding structure supporting a plurality of layers according to an embodiment of the present invention.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 해당 설명을 생략할 수도 있다.EMBODIMENT OF THE INVENTION Hereinafter, embodiment of this invention is described concretely with reference to drawings. In describing the embodiments of the present specification, when it is determined that a detailed description of a related well-known configuration or function may obscure the gist of the present specification, the description may be omitted.
본 명세서에서 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.When a component is referred to herein as being “connected” or “connected” to another component, it may mean that it is directly connected to or connected to that other component, or another component in between. It may also mean that an element exists. In addition, the description "includes" a specific configuration in this specification does not exclude a configuration other than the configuration, it means that additional configuration may be included in the scope of the technical spirit of the present invention or the present invention.
제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.Terms such as first and second may be used to describe various configurations, but the configurations are not limited by the terms. The terms are used to distinguish one configuration from another. For example, without departing from the scope of the present invention, the first configuration may be referred to as the second configuration, and similarly, the second configuration may also be referred to as the first configuration.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.In addition, the components shown in the embodiments of the present invention are independently shown to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit. In other words, each component is listed as a component for convenience of description, and at least two of the components may form one component, or one component may be divided into a plurality of components to perform a function. The integrated and separated embodiments of each component are also included in the scope of the present invention without departing from the spirit of the present invention.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.In addition, some of the components may not be essential components for performing essential functions in the present invention, but may be optional components for improving performance. The present invention can be implemented including only the components essential for implementing the essentials of the present invention except for the components used for improving performance, and the structure including only the essential components except for the optional components used for improving performance. Also included in the scope of the present invention.
도 1은 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
멀티 레이어(multi-layer) 구조를 지원하는 스케일러블(scalable) 비디오 부호화 장치는, 단일 레이어 구조의 일반적인 영상 부호화 장치를 확장(extension)하여 구현될 수 있다. 도 1의 블록도는 멀티 레이어 구조에 적용 가능한 스케일러블 비디오 부호화 장치의 기초가 될 수 있는 영상 부호화 장치의 일 실시예를 나타낸다.A scalable video encoding apparatus supporting a multi-layer structure may be implemented by extending a general image encoding apparatus having a single layer structure. The block diagram of FIG. 1 shows an embodiment of an image encoding apparatus that can be the basis of a scalable video encoding apparatus applicable to a multilayer structure.
도 1을 참조하면, 영상 부호화 장치(100)는 인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)를 포함한다.Referring to FIG. 1, the image encoding apparatus 100 may include an inter predictor 110, an intra predictor 120, a switch 115, a subtractor 125, a transformer 130, a quantizer 140, and entropy. An encoder 150, an inverse quantizer 160, an inverse transformer 170, an adder 175, a filter 180, and a reference picture buffer 190 are included.
영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. The image encoding apparatus 100 may encode an input image in an intra mode or an inter mode and output a bitstream.
인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다. 이때, 입력 영상은 원 영상(original picture)를 의미할 수 있다.In the intra mode, the switch 115 may be switched to intra, and in the inter mode, the switch 115 may be switched to inter. Intra prediction means intra prediction and inter prediction means inter prediction. The image encoding apparatus 100 may generate a prediction block for an input block of an input image and then encode a residual between the input block and the prediction block. In this case, the input image may mean an original picture.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화/복호화된 블록의 샘플 값을 참조 샘플로 이용할 수 있다. 인트라 예측부(120)는 참조 샘플을 이용하여 공간적 예측을 수행하고 현재 블록에 대한 예측 샘플들을 생성할 수 있다.In the intra mode, the intra predictor 120 may use a sample value of an already encoded / decoded block around the current block as a reference sample. The intra prediction unit 120 may perform spatial prediction using the reference sample and generate prediction samples for the current block.
인터 모드인 경우, 인터 예측부(110)는, 움직임 예측 과정에서 참조 픽처 버퍼(190)에 저장되어 있는 참조 픽처에서 입력 블록(현재 블록)과의 차이가 가장 적은 참조 블록을 특정하는 움직임 벡터를 구할 수 있다. 인터 예측부(110)는 움직임 벡터와 참조 픽처 버퍼(190)에 저장되어 있는 참조 픽처를 이용하여 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다.In the inter mode, the inter prediction unit 110 may identify a motion vector specifying a reference block having a smallest difference from an input block (current block) in a reference picture stored in the reference picture buffer 190 during a motion prediction process. You can get it. The inter prediction unit 110 may generate a prediction block for the current block by performing motion compensation using the motion vector and the reference picture stored in the reference picture buffer 190.
멀티 레이어 구조의 경우, 인터 모드에서 적용되는 인터 예측은 인터 레이어 예측을 포함할 수 있다. 인터 예측부(110)는 참조 레이어의 픽처를 샘플링하여 인터 레이어 참조 픽처를 구성하고, 참조 픽처 리스트에 인터 레이어 참조 픽처를 포함하여 인터 레이어 예측을 수행할 수 있다. 레이어 간의 참조 관계는 레이어 간의 의존성을 특정하는 정보를 통해 시그널링될 수 있다. In the case of a multi-layer structure, inter prediction applied in inter mode may include inter layer prediction. The inter prediction unit 110 may construct an inter-layer reference picture by sampling a picture of the reference layer, and perform inter-layer prediction by including an inter-layer reference picture in the reference picture list. The reference relationship between layers may be signaled through information specifying dependencies between layers.
한편, 현재 레이어 픽처와 참조 레이어 픽처가 동일 사이즈인 경우에 참조 레이어 픽처에 적용되는 샘플링은 참조 레이어 픽처로부터의 샘플 복사에 의한 참조 샘플의 생성을 의미할 수 있다. 현재 레이어 픽처와 참조 레이어 픽처의 해상도가 상이한 경우에 참조 레이어 픽처에 적용되는 샘플링은 업샘플링을 의미할 수 있다.Meanwhile, when the current layer picture and the reference layer picture are the same size, sampling applied to the reference layer picture may mean generation of a reference sample by copying a sample from the reference layer picture. When the resolution of the current layer picture and the reference layer picture are different, sampling applied to the reference layer picture may mean upsampling.
예컨대, 레이어 간 해상도가 다른 경우로서 해상도에 관한 스케일러빌러티를 지원하는 레이어 간에는 참조 레이어의 복원된 픽처를 업샘플링하여 인터 레이어 참조 픽처가 구성될 수 있다.For example, when the resolution between layers is different, an interlayer reference picture may be configured by upsampling a reconstructed picture of a reference layer between layers that support scalability with respect to resolution.
어떤 레이어의 픽처를 이용하여 인터 레이어 참조 픽처를 구성할 것인지는 부호화 코스트 등을 고려하여 결정될 수 있다. 부호화 장치는 인터 레이어 참조 픽처로 사용될 픽처가 속하는 레이어를 특정하는 정보를 복호화 장치로 전송할 수 있다. Which layer picture is used to configure the inter-layer reference picture may be determined in consideration of an encoding cost. The encoding apparatus may transmit information specifying the layer to which the picture to be used as the inter-layer reference picture belongs, to the decoding apparatus.
또한, 인터 레이어 예측에 있어서 참조되는 레이어, 즉 참조 레이어 내에서 현재 블록의 예측에 이용되는 픽처는 현재 픽처(현재 레이어 내 예측 대상 픽처)와 동일 AU(Access Unit)의 픽처일 수 있다.In addition, a layer referred to in inter-layer prediction, that is, a picture used for prediction of the current block in the reference layer, may be a picture of the same access unit (AU) as the current picture (picture to be predicted in the current layer).
감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다. The subtractor 125 may generate a residual block by the difference between the input block and the generated prediction block.
변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔차 블록 및/또는 잔차 신호에 대한 변환을 수행함으로써 생성된 계수 값을 의미할 수 있다. 이하, 본 명세서에서는 변환 계수에 양자화가 적용되어 생성된, 양자화된 변환 계수 레벨(transform coefficient level)도 변환 계수로 불릴 수 있다. The transform unit 130 may output a transform coefficient by performing a transform on the residual block. Here, the transform coefficient may mean a coefficient value generated by performing transform on the residual block and / or the residual signal. Hereinafter, in the present specification, a quantized transform coefficient level generated by applying quantization to a transform coefficient may also be referred to as a transform coefficient.
변환 생략(transform skip) 모드가 적용되는 경우, 변환부(130)는 잔차 블록에 대한 변환을 생략할 수도 있다.When the transform skip mode is applied, the transform unit 130 may omit the transform on the residual block.
양자화부(140)는 입력된 변환 계수를 양자화 파라미터(quantization parameter, 또는 양자화 매개변수)에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다. 양자화된 계수는 양자화된 변환 계수 레벨(quantized transform coefficient level)로 불릴 수도 있다. 이때, 양자화부(140)에서는 양자화 행렬을 사용하여 입력된 변환 계수를 양자화할 수 있다.The quantization unit 140 may quantize the input transform coefficient according to a quantization parameter or a quantization parameter, and output a quantized coefficient. Quantized coefficients may be referred to as quantized transform coefficient levels. In this case, the quantization unit 140 may quantize the input transform coefficients using the quantization matrix.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bitstream)을 출력할 수 있다. 엔트로피 부호화부(150)는 비디오의 화소 정보 외에 비디오 디코딩을 위한 정보(예컨대, 신택스 엘리먼트(syntax element) 등)을 엔트로피 부호화 할 수도 있다.The entropy encoder 150 may output a bitstream by entropy encoding the values calculated by the quantizer 140 or the encoding parameter values calculated in the encoding process according to a probability distribution. The entropy encoder 150 may entropy encode information (eg, syntax elements) for video decoding in addition to the pixel information of the video.
부호화 파라미터는 부호화 및 복호화에 필요한 정보로서, 신택스 엘리먼트와 같이 부호화 장치에서 부호화되어 복호화 장치로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있다.The encoding parameter is information necessary for encoding and decoding, and may include information that may be inferred in the encoding or decoding process as well as information encoded in the encoding apparatus and delivered to the decoding apparatus, such as a syntax element.
예를 들어, 부호화 파라미터는 인트라/인터 예측 모드, 이동/움직임 벡터, 참조 영상 색인, 부호화 블록 패턴, 잔차 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다. For example, encoding parameters may include intra / inter prediction modes, moving / motion vectors, reference image indexes, coding block patterns, presence or absence of residual signals, transform coefficients, quantized transform coefficients, quantization parameters, block sizes, block division information, and the like. Or statistics.
잔차 신호는 원신호와 예측 신호 간의 차이를 의미할 수 있고, 또한 원신호와 예측 신호 간의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호 간의 차이가 변환되고 양자화된 형태의 신호를 의미할 수도 있다. 잔차 신호는 블록 단위에서는 잔차 블록이라 할 수 있다.The residual signal may mean a difference between the original signal and the prediction signal, and a signal in which the difference between the original signal and the prediction signal is transformed or a signal in which the difference between the original signal and the prediction signal is transformed and quantized It may mean. The residual signal may be referred to as a residual block in block units.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.When entropy encoding is applied, a small number of bits are allocated to a symbol having a high probability of occurrence and a large number of bits are allocated to a symbol having a low probability of occurrence, whereby the size of the bit string for the symbols to be encoded is increased. Can be reduced. Therefore, compression performance of image encoding may be increased through entropy encoding.
엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(150)는 가변 길이 부호화(VLC: Variable Lenghth Coding/Code) 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 부호화를 수행할 수도 있다.The entropy encoder 150 may use an encoding method such as exponential golomb, context-adaptive variable length coding (CAVLC), or context-adaptive binary arithmetic coding (CABAC). For example, the entropy encoder 150 may perform entropy encoding by using a variable length coding (VLC) table. In addition, the entropy encoder 150 derives a binarization method of a target symbol and a probability model of a target symbol / bin, and then performs entropy encoding using the derived binarization method or a probability model. You may.
도 1의 실시예에 따른 영상 부호화 장치(100)는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록(Reconstructed Block)이 생성된다.Since the image encoding apparatus 100 according to the embodiment of FIG. 1 performs inter prediction encoding, that is, inter prediction encoding, the currently encoded image needs to be decoded and stored to be used as a reference image. Accordingly, the quantized coefficients may be inversely quantized by the inverse quantizer 160 and inversely transformed by the inverse transformer 170. The inverse quantized and inverse transformed coefficients are added to the prediction block through the adder 175 and a reconstructed block is generated.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽처 버퍼(190)에 저장될 수 있다.The reconstruction block passes through the filter unit 180, and the filter unit 180 applies at least one or more of a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) to the reconstructed block or reconstructed picture. can do. The filter unit 180 may be referred to as an adaptive in-loop filter. The deblocking filter can remove block distortion generated at the boundary between blocks. SAO can add an appropriate offset to the pixel value to compensate for coding errors. The ALF may perform filtering based on a value obtained by comparing the reconstructed image with the original image. The reconstructed block that has passed through the filter unit 180 may be stored in the reference picture buffer 190.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.2 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
멀티 레이어(multi-layer) 구조를 지원하는 스케일러블(scalable) 비디오 복호화 장치는, 단일 레이어 구조의 일반적인 영상 복호화 장치를 확장(extension)하여 구현될 수 있다. 도 2의 블록도는 멀티 레이어 구조에 적용 가능한 스케일러블 비디오 복호화 장치의 기초가 될 수 있는 영상 복호화 장치의 일 실시예를 나타낸다.A scalable video decoding apparatus supporting a multi-layer structure may be implemented by extending a general image decoding apparatus having a single layer structure. The block diagram of FIG. 2 illustrates an embodiment of an image decoding apparatus that may be the basis of a scalable video decoding apparatus applicable to a multilayer structure.
도 2를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)를 포함한다.2, the image decoding apparatus 200 may include an entropy decoder 210, an inverse quantizer 220, an inverse transformer 230, an intra predictor 240, an inter predictor 250, and an adder 255. ), A filter unit 260 and a reference picture buffer 270.
영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. The image decoding apparatus 200 may receive a bitstream output from the encoder and perform decoding in an intra mode or an inter mode, and output a reconstructed image, that is, a reconstructed image.
인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.In the intra mode, the switch may be switched to intra, and in the inter mode, the switch may be switched to inter.
영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(reconstructed residual block)을 얻고 예측 블록을 생성한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.The image decoding apparatus 200 may obtain a reconstructed residual block from the received bitstream, generate a prediction block, and then add the reconstructed residual block and the prediction block to generate a reconstructed block, that is, a reconstruction block. .
엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient)와 신택스 엘리먼트 등의 정보를 출력할 수 있다.The entropy decoder 210 may entropy decode the input bitstream according to a probability distribution, and output information such as quantized coefficients and syntax elements.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환된다. 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔차 블록이 생성될 수 있다. 이때, 역양자화부(220)에서는 양자화된 계수에 양자화 행렬을 적용할 수 있다.The quantized coefficients are inversely quantized by the inverse quantizer 220 and inversely transformed by the inverse transformer 230. As a result of inverse quantization / inverse transformation of the quantized coefficients, a reconstructed residual block may be generated. In this case, the inverse quantization unit 220 may apply a quantization matrix to the quantized coefficients.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 복호화된 블록의 샘플 값을 이용하여 공간적 예측을 수행하고, 현재 블록에 대한 예측 샘플들을 생성할 수 있다. In the intra mode, the intra predictor 240 may perform spatial prediction using sample values of blocks already decoded around the current block, and generate prediction samples for the current block.
인터 모드인 경우, 인터 예측부(250)는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장되어 있는 참조 픽처를 이용하여 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다.In the inter mode, the inter prediction unit 250 may generate a prediction block for the current block by performing motion compensation using the reference picture stored in the motion vector and the reference picture buffer 270.
멀티 레이어 구조의 경우, 인터 모드에서 적용되는 인터 예측은 인터 레이어 예측을 포함할 수 있다. 인터 예측부(250)는 참조 레이어의 픽처를 샘플링하여 인터 레이어 참조 픽처를 구성하고, 참조 픽처 리스트에 인터 레이어 참조 픽처를 포함하여 인터 레이어 예측을 수행할 수 있다. 레이어 간의 참조 관계는 레이어 간의 의존성을 특정하는 정보를 통해 시그널링될 수 있다.In the case of a multi-layer structure, inter prediction applied in inter mode may include inter layer prediction. The inter prediction unit 250 may construct an interlayer reference picture by sampling a picture of the reference layer, and perform interlayer prediction by including an interlayer reference picture in a reference picture list. The reference relationship between layers may be signaled through information specifying dependencies between layers.
한편, 현재 레이어 픽처와 참조 레이어 픽처가 동일 사이즈인 경우에 참조 레이어 픽처에 적용되는 샘플링은 참조 레이어 픽처로부터의 샘플 복사에 의한 참조 샘플의 생성을 의미할 수 있다. 현재 레이어 픽처와 참조 레이어 픽처의 해상도가 상이한 경우에 참조 레이어 픽처에 적용되는 샘플링은 업샘플링을 의미할 수 있다.Meanwhile, when the current layer picture and the reference layer picture are the same size, sampling applied to the reference layer picture may mean generation of a reference sample by copying a sample from the reference layer picture. When the resolution of the current layer picture and the reference layer picture are different, sampling applied to the reference layer picture may mean upsampling.
예컨대, 레이어 간 해상도가 다른 경우로서 해상도에 관한 스케일러빌러티를 지원하는 레이어 간에 인터 레이어 예측이 적용된다면, 참조 레이어의 복원된 픽처를 업샘플링하여 인터 레이어 참조 픽처가 구성될 수 있다. For example, if inter-layer prediction is applied between layers that support scalability with respect to resolution when inter-layer resolution is different, the inter-layer reference picture may be configured by upsampling the reconstructed picture of the reference layer.
이때, 인터 레이어 참조 픽처로 사용될 픽처가 속하는 레이어를 특정하는 정보는 부호화 장치로부터 복호화 장치로 전송될 수 있다.In this case, information specifying a layer to which a picture to be used as an inter-layer reference picture belongs may be transmitted from the encoding apparatus to the decoding apparatus.
또한, 인터 레이어 예측에 있어서 참조되는 레이어, 즉 참조 레이어 내에서 현재 블록의 예측에 이용되는 픽처는 현재 픽처(현재 레이어 내 예측 대상 픽처)와 동일 AU(Access Unit)의 픽처일 수 있다.In addition, a layer referred to in inter-layer prediction, that is, a picture used for prediction of the current block in the reference layer, may be a picture of the same access unit (AU) as the current picture (picture to be predicted in the current layer).
복원된 레지듀얼 블록과 예측 블록은 가산기(255)에서 더해져서, 복원 블록이 생성된다. 다시 말하면, 레지듀얼 샘플과 예측 샘플이 더해져서 복원된 샘플 또는 복원된 픽처가 생성된다.The reconstructed residual block and the predictive block are added at the adder 255 to generate a reconstructed block. In other words, the residual sample and the predictive sample are added to generate a reconstructed sample or a reconstructed picture.
복원된 픽처는 필터부(260)에서 필터링 된다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(260)는 재구성된(modified) 혹은 필터링된(filtered) 복원 픽처(reconstructed picture)를 출력한다. 복원 영상은 참조 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.The reconstructed picture is filtered by the filter unit 260. The filter unit 260 may apply at least one or more of the deblocking filter, SAO, and ALF to the reconstructed block or the reconstructed picture. The filter unit 260 outputs a modified or filtered reconstructed picture. The reconstructed picture may be stored in the reference picture buffer 270 and used for inter prediction.
또한, 영상 복호화 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱하는 파싱부(미도시)를 더 포함할 수 있다. 파싱부는 엔트로피 복호화부(210)를 포함할 수도 있고, 엔트로피 복호화부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.In addition, the image decoding apparatus 200 may further include a parser (not shown) that parses information related to an encoded image included in the bitstream. The parser may include the entropy decoder 210 or may be included in the entropy decoder 210. Such a parser may also be implemented as one component of the decoder.
도 1과 도 2에서는 하나의 부호화 장치/복호화 장치가 멀티 레이어에 대한 부호화/복호화를 모두 처리하는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로서, 부호화 장치/복호화 장치는 레이어별로 구성될 수도 있다.In FIG. 1 and FIG. 2, one encoding device / decoding device processes both encoding / decoding for multiple layers. However, this is for convenience of description. The encoding device / decoding device may be configured for each layer.
이 경우, 상위 레이어의 부호화 장치/복호화 장치는 상위 레이어의 정보 및 하위 레이어의 정보를 이용하여 해당 상위 레이어의 부호화/복호화를 수행할 수 있다. 예컨대, 상위 레이어의 예측부(인터 예측부)는 상위 레이어의 픽셀 정보 또는 픽처 정보를 이용하여 현재 블록에 대한 인트라 예측 또는 인터 예측을 수행할 수도 있고, 하위 레이어로부터 복원된 픽처 정보를 수신하고 이를 이용하여 상위 레이어의 현재 블록에 대한 인터 예측(인터 레이어 예측)을 수행할 수도 있다. 여기서는, 레이어 간의 예측만을 예로서 설명하였으나, 부호화 장치/복호화 장치는 레이어별로 구성되든, 하나의 장치가 멀티 레이어를 처리하든 상관없이, 다른 레이어의 정보를 이용하여 현재 레이어에 대한 부호화/복호화를 수행할 수 있다. In this case, the encoding device / decoding device of the upper layer may perform encoding / decoding of the corresponding upper layer by using the information of the upper layer and the information of the lower layer. For example, the prediction unit (inter prediction unit) of the upper layer may perform intra prediction or inter prediction on the current block by using pixel information or picture information of the upper layer, and receives picture information reconstructed from the lower layer and Inter prediction (inter layer prediction) may be performed on the current block of the upper layer by using the interlayer prediction. Here, only the prediction between layers has been described as an example. However, the encoding device / decoding device performs encoding / decoding on the current layer by using information of another layer regardless of whether the device is configured for each layer or one device processes multiple layers. can do.
본 발명에서 레이어는 뷰(view, 시점)를 포함할 수 있다. 이 경우, 인터 레이어 예측의 경우는 단순히 하위 레이어의 정보를 이용하여 상위 레이어의 예측을 수행하는 것이 아니라, 레이어 간 의존성을 특정하는 정보에 의해 의존성이 있는 것으로 특정된 레이어들 사이에서 다른 레이어의 정보를 이용하여 인터 레이어 예측이 수행될 수도 있다.In the present invention, the layer may include a view. In this case, in the case of inter-layer prediction, information of another layer between layers specified as having dependence by information specifying dependency between layers is not merely performed by using information of a lower layer. Inter layer prediction may be performed using.
도 3은 본 발명이 적용될 수 있는, 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽처군 즉, 픽처의 그룹을 나타낸다.3 is a conceptual diagram schematically illustrating an embodiment of a scalable video coding structure using multiple layers to which the present invention can be applied. In FIG. 3, a GOP (Group of Picture) represents a picture group, that is, a group of pictures.
영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 다양한 네트워크 환경에 따라 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.In order to transmit image data, a transmission medium is required, and its performance varies depending on the transmission medium according to various network environments. A scalable video coding method may be provided for application to such various transmission media or network environments.
스케일러빌러티를 지원하는 비디오 코딩 방법(이하, ‘스케일러블 코딩’혹은 ‘스케일러블 비디오 코딩’이라 함)은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층 간 중복성을 제거하여 인코딩 및 디코딩 성능을 높이는 코딩 방법이다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적(spatial), 시간적(temporal), 화질적(혹은 품질적, quality), 시점(view) 관점에서 다양한 스케일러빌리티를 제공할 수 있다.A video coding method that supports scalability (hereinafter, referred to as 'scalable coding' or 'scalable video coding') removes redundancy between layers by using texture information, motion information, and residual signals between layers. A coding method that improves encoding and decoding performance. The scalable video coding method has various scales in terms of spatial, temporal, image quality (or quality), and view according to ambient conditions such as transmission bit rate, transmission error rate, and system resources. It can provide the ability.
스케일러블 비디오 코딩은, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 비디오 코딩 구조는, 일반적인 영상 디코딩 방법을 이용하여 영상 데이터를 압축하여 처리하는 기본 계층을 포함할 수 있고, 기본 계층의 디코딩 정보 및 일반적인 영상 디코딩 방법을 함께 사용하여 영상 데이터를 압축 처리하는 향상 계층을 포함할 수 있다.Scalable video coding may be performed using multiple layers structure to provide a bitstream applicable to various network situations. For example, the scalable video coding structure may include a base layer that compresses and processes image data using a general image decoding method, and compresses the image data using both the decoding information of the base layer and a general image decoding method. May include an enhancement layer for processing.
기본 계층(Base layer)은 베이스 레이어라고 지칭할 수도 있고, 하위 계층(lower layer)이라 지칭할 수도 있다. 향상 계층(Enhancement layer)은 인핸스먼트 레이어 혹은 상위 계층(higher layer)이라 지칭할 수도 있다. 이때, 하위 계층은 특정 계층 보다 낮은 레벨의 스케일러빌러티(공간적, 시간적, 화질적, 혹은 시점 스케일러빌러티)를 지원하는 계층을 의미할 수 있으며, 상위 계층은 특정 계층 보다 높은 레벨의 스케일러빌러티(공간적, 시간적, 화질적, 혹은 시점 스케일러빌러티)를 지원하는 계층을 의미할 수 있다. 또한, 다른 계층의 부호화/복호화에 참조되는 계층을 참조 계층(참조 레이어)라고 하고, 다른 계층을 이용하여 부호화/복호화되는 계층을 현재 계층(현재 레이어)라고 할 수 있다. 참조 계층은 현재 계층보다 하위 계층일 수 있으며, 현재 계층은 참조 계층보다 상위 계층일 수 있다. The base layer may be referred to as a base layer or may be referred to as a lower layer. The enhancement layer may be referred to as an enhancement layer or a higher layer. In this case, the lower layer may mean a layer that supports a lower level of scalability (spatial, temporal, image quality, or viewpoint scalability) than a specific layer, and the upper layer may have a higher level of scalability than a specific layer. It may mean a layer that supports (spatial, temporal, image quality, or view scalability). A layer referred to for encoding / decoding of another layer may be referred to as a reference layer (reference layer), and a layer encoded / decoded using another layer may be referred to as a current layer (current layer). The reference layer may be lower than the current layer, and the current layer may be higher than the reference layer.
여기서, 계층(layer)은 공간(spatial, 예를 들어, 영상 크기), 시간(temporal, 예를 들어, 디코딩 순서, 영상 출력 순서, 프레임 레이트), 화질, 복잡도, 시점(view) 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합을 의미한다.The layer may be based on spatial (eg, image size), temporal (eg, decoding order, image output order, frame rate), image quality, complexity, view, etc. Means a set of image and bitstream to be distinguished.
도 3을 참조하면, 예를 들어 기본 계층은 SD(standard definition), 15Hz의 프레임율, 1Mbps 비트율로 정의될 수 있고, 제1 향상 계층은 HD(high definition), 30Hz의 프레임율, 3.9Mbps 비트율로 정의될 수 있으며, 제2 향상 계층은 4K-UHD (ultra high definition), 60Hz의 프레임율, 27.2Mbps 비트율로 정의될 수 있다. Referring to FIG. 3, for example, the base layer may be defined as a standard definition (SD), a frame rate of 15 Hz, and a 1 Mbps bit rate, and the first enhancement layer may be a high definition (HD), a frame rate of 30 Hz, and a 3.9 Mbps bit rate. The second enhancement layer may be defined as 4K-UHD (ultra high definition), a frame rate of 60 Hz, and a bit rate of 27.2 Mbps.
상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다. 예를 들어, 전송 대역폭이 4Mbps라면 상기 제1 향상계층 HD의 프레임 레이트를 줄여서 15Hz 이하로 전송할 수 있다. The format, frame rate, bit rate, etc. are exemplary and may be determined differently as necessary. In addition, the number of hierarchies used is not limited to this embodiment and may be determined differently according to a situation. For example, if the transmission bandwidth is 4 Mbps, the frame rate of the first enhancement layer HD may be reduced and transmitted at 15 Hz or less.
스케일러블 비디오 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적, 시점 스케일러빌리티를 제공할 수 있다. 본 명세서에서 스케일러블 비디오 코딩은 인코딩 관점에서는 스케일러블 비디오 인코딩, 디코딩 관점에서는 스케일러블 비디오 디코딩과 동일한 의미를 가진다.The scalable video coding method may provide temporal, spatial, image quality, and view scalability by the method described above in the embodiment of FIG. 3. In the present specification, scalable video coding has the same meaning as scalable video encoding in terms of encoding and scalable video decoding in terms of decoding.
HEVC(High Efficiency Video Coding) 표준에서는 하나의 픽처를 타일(tile) 형태로 분할하여 독립적으로 부호화하는 방식이 존재한다. 다시 말해, 하나의 픽처를 다수의 타일로 분할하고, 하나의 픽처 내 분할된 각 타일을 독립적으로 부호화/복호화 함으로써 병렬 처리를 가능하게 한다. 따라서, 비트스트림 내 픽처가 어떻게 타일 형태로 구성되어 있는지를 알려주는 정보가 필요하며, HEVC에서는 이러한 타일 관련 정보를 PPS(Picture Parameter Set)에 기술하도록 되어 있다. 또한, HEVC에서는 픽처 표현(representation)과 관련된 정보, 예컨대 공간 해상도, 색차 포맷(chroma format), 비트 깊이(bit-depth) 관련 정보를 SPS(Sequence Parameter Set)에 기술하도록 되어 있다. In the HEVC (High Efficiency Video Coding) standard, there is a method of dividing one picture into a tile form and encoding the picture independently. In other words, parallel processing is possible by dividing one picture into a plurality of tiles and independently encoding / decoding each divided tile in one picture. Therefore, information indicating how a picture in a bitstream is configured in a tile form is required. In HEVC, such tile related information is described in a picture parameter set (PPS). In addition, in HEVC, information related to picture representation, such as spatial resolution, chroma format, and bit-depth related information, is described in a Sequence Parameter Set (SPS).
스케일러빌리티를 제공하기 위해 HEVC를 확장한 비디오 표준인 스케일러블 비디오 코딩의 경우, 비트스트림 내 복수의 계층이 존재할 수 있으며, 계층 간의 상관 관계가 존재할 수 있다. 따라서, 본 발명에서는 계층적 비트스트림에서 계층마다 픽처가 하나 이상의 타일로 구성되어 있는 경우, 계층 간의 상관 관계에 대한 시그널링을 통해 타일 관련 정보를 효율적으로 부호화/복호화할 수 있는 방법을 제공한다. 또한, 본 발명에서는 스케일러블 비디오 코딩에서 효율적으로 픽처 표현 관련 정보를 시그널링할 수 있는 방법을 제공한다. In the case of scalable video coding, which is a video standard that extends HEVC to provide scalability, there may be a plurality of layers in a bitstream and correlations between layers may exist. Accordingly, the present invention provides a method for efficiently encoding / decoding tile related information through signaling of correlation between layers when a picture is composed of one or more tiles for each layer in the hierarchical bitstream. The present invention also provides a method for efficiently signaling picture representation related information in scalable video coding.
타일 관련 정보Tile related information
타일은 하나의 픽처 내 코딩 트리 블록들(coding tree blocks) 혹은 코딩 트리 유닛들(coding tree units)로 이루어진 사각형의 영역을 말하며, 코딩 트리 블록들 혹은 코딩 트리 유닛들의 시퀀스일 수 있다. 타일은 항상 정수 개의 코딩 트리 유닛들로 구성된다. 여기서, 코딩 트리 블록 혹은 코딩 트리 유닛은 픽처 내 샘플들의 처리 단위일 수 있다. A tile refers to a rectangular area composed of coding tree blocks or coding tree units in a picture and may be a sequence of coding tree blocks or coding tree units. A tile always consists of integer coding tree units. Here, the coding tree block or the coding tree unit may be a processing unit of samples in the picture.
예를 들어, 하나의 픽처는 픽처 내 수직의 타일 경계선(a vertical tile boundary)에 의해 두 개의 타일로 분할될 수 있다. 분할된 각 타일은 정수 개의 코딩 트리 유닛들을 포함하며, 직사각형의 영역일 수 있다. For example, one picture may be divided into two tiles by a vertical tile boundary in the picture. Each divided tile includes integer coding tree units and may be a rectangular area.
스케일러블 비디오 코딩을 지원하기 위한 표준인 SHVC(Scalable HEVC)와 멀티 뷰를 지원하기 위한 표준인 MV-HEVC(multiview HEVC)에서는 타일과 관련된 정보를 VPS(Video Parameter Set)과 PPS에서 시그널링할 수 있다. 특히, VPS에서는 해당 계층에 포함되어 있는 타일들의 위치가 해당 계층의 참조 계층들에 포함되어 있는 타일들의 위치와 대응/일치되도록 부호화/복호화 되어 있는지를 알려주는 플래그(flag) 정보가 존재한다. 이때, 참조 계층의 공간 해상도가 해당 계층의 공간 해상도와 일치하지 않는 경우, 참조 계층의 공간 해상도를 해당 계층의 공간 해상도와 동일하도록 스케일링(scaling)하고, 스케일링된 참조 계층에 포함되어 있는 타일들의 위치를 기반으로 해당 계층의 타일들의 위치와 대응/일치하는지 여부를 판단할 수 있다. In the scalable HEVC (SHVC) standard for supporting scalable video coding and the multiview HEVC (MV-HEVC) standard for supporting multi-view, information related to tiles can be signaled in a video parameter set (VPS) and a PPS. . Particularly, in the VPS, there is flag information indicating whether the positions of tiles included in the corresponding layer are encoded / decoded so as to correspond / match with the positions of the tiles included in the reference layers of the corresponding layer. In this case, when the spatial resolution of the reference layer does not match the spatial resolution of the corresponding layer, the spatial resolution of the reference layer is scaled to be the same as the spatial resolution of the corresponding layer, and the positions of the tiles included in the scaled reference layer It may be determined whether to correspond / match with the position of the tiles of the layer based on the.
타일들 간의 위치가 대응/일치한다는 것은 타일의 경계 부분이 대응/일치한다는 것을 의미한다. 따라서, 해당 계층에 포함되어 있는 타일들의 위치가 해당 계층의 참조 계층들에 포함되어 있는 타일들의 위치와 대응/일치되도록 부호화/복호화 되어 있는지를 알려주는 플래그로써, tile_boundaries_aligned_flag[i][j]를 사용할 수 있다. tile_boundaries_aligned_flag[i][j]는 i번째 계층이 j번째 참조 계층과 타일의 위치(타일의 경계)가 일치하는지 여부를 지시한다. 그런데, 전체 비트스트림에서 계층별로 타일이 한 개씩만 포함되어 있는 경우, tile_boundaries_aligned_flag[i][j]를 시그널링할 필요가 없다. Matching / matching positions between tiles means that the boundary portions of the tiles match / match. Accordingly, tile_boundaries_aligned_flag [i] [j] is used as a flag indicating whether the positions of the tiles included in the layer are encoded / decoded to correspond / match the positions of the tiles included in the reference layers of the layer. Can be. tile_boundaries_aligned_flag [i] [j] indicates whether the i-th layer is aligned with the j-th reference layer and the position of the tile (the boundary of the tiles). However, when only one tile is included for each layer in the entire bitstream, it is not necessary to signal tile_boundaries_aligned_flag [i] [j].
따라서, 적어도 두 개 이상의 타일을 포함하고 있는 픽처가 존재하는 경우에만 tile_boundaries_aligned_flag[i][j]를 시그널링하는 것이 효율적일 수 있다. Therefore, it may be efficient to signal tile_boundaries_aligned_flag [i] [j] only when there is a picture including at least two tiles.
이하, 본 발명에서는 tile_boundaries_aligned_flag[i][j]를 효율적으로 시그널링하는 방법에 대해 신택스(syntax)를 예로 들어 설명한다. Hereinafter, the present invention will be described using syntax as an example for a method of efficiently signaling tile_boundaries_aligned_flag [i] [j].
표 1은 본 발명의 실시예에 따른 tile_boundaries_aligned_flag[i][j]를 시그널링하는 방법을 나타내는 신택스의 일예이다. Table 1 is an example of a syntax illustrating a method of signaling tile_boundaries_aligned_flag [i] [j] according to an embodiment of the present invention.
표 1
Figure PCTKR2014009580-appb-T000001
Table 1
Figure PCTKR2014009580-appb-T000001
표 1을 참조하면, vps_tiles_enabled_flag가 1의 값을 가지는 경우, 해당 VPS를 참조하는 픽처들 중 두 개 이상의 타일을 포함하는 픽처가 존재할 수 있음을 의미한다. vps_tiles_enabled_flag가 0의 값을 가지는 경우, CVS(Coded Video Stream)의 모든 픽처들이 한 개의 타일만을 포함하고 있음을 의미한다. Referring to Table 1, when the vps_tiles_enabled_flag has a value of 1, it means that a picture including two or more tiles among pictures referring to the corresponding VPS may exist. When vps_tiles_enabled_flag has a value of 0, it means that all pictures of the CVS (Coded Video Stream) contain only one tile.
예를 들어, vps_tiles_enabled_flag가 1인 경우, tile_boundaries_aligned_flag[i][j]가 시그널링될 수 있다. For example, when vps_tiles_enabled_flag is 1, tile_boundaries_aligned_flag [i] [j] may be signaled.
표 2는 본 발명의 실시예에 따른 tile_boundaries_aligned_flag[i][j]를 시그널링하는 방법을 나타내는 신택스의 다른 예이다. Table 2 is another example of a syntax illustrating a method of signaling tile_boundaries_aligned_flag [i] [j] according to an embodiment of the present invention.
표 2
Figure PCTKR2014009580-appb-T000002
TABLE 2
Figure PCTKR2014009580-appb-T000002
표 2를 참조하면, tiles_not_in_use_flag가 1의 값을 가지는 경우, CVS의 모든 픽처들이 한 개의 타일만을 포함하고 있음을 의미한다. tiles_not_in_use_flag가 0의 값을 가지는 경우, 해당 VPS를 참조하는 픽처들 중 두 개 이상의 타일을 포함하는 픽처가 존재할 수 있음을 의미한다.Referring to Table 2, when tiles_not_in_use_flag has a value of 1, it means that all pictures of the CVS include only one tile. When tiles_not_in_use_flag has a value of 0, it means that a picture including two or more tiles among pictures referring to the corresponding VPS may exist.
예를 들어, tiles_not_in_use_flag가 0인 경우, tile_boundaries_aligned_flag[i][j]가 시그널링될 수 있다. For example, when tiles_not_in_use_flag is 0, tile_boundaries_aligned_flag [i] [j] may be signaled.
표 3은 본 발명의 실시예에 따른 tile_boundaries_aligned_flag[i][j]를 시그널링하는 방법을 나타내는 신택스의 또 다른 예이다. Table 3 is another example of a syntax illustrating a method of signaling tile_boundaries_aligned_flag [i] [j] according to an embodiment of the present invention.
표 3
Figure PCTKR2014009580-appb-T000003
TABLE 3
Figure PCTKR2014009580-appb-T000003
표 3을 참조하면, vps_tiles_enabled_flag[i]가 1의 값을 가지는 경우, i번째 계층의 각 픽처들이 적어도 두 개 이상의 타일을 포함하고 있음을 의미한다. vps_tiles_enabled_flag[i]가 0의 값을 가지는 경우, i번째 계층의 모든 픽처들이 한 개의 타일만을 포함하고 있음을 의미한다. Referring to Table 3, when vps_tiles_enabled_flag [i] has a value of 1, it means that each picture of the i-th layer includes at least two tiles. When vps_tiles_enabled_flag [i] has a value of 0, it means that all pictures of the i-th layer include only one tile.
예를 들어, vps_tiles_enabled_flag[i]가 1인 경우, tile_boundaries_aligned_flag[i][j]가 시그널링될 수 있다. For example, when vps_tiles_enabled_flag [i] is 1, tile_boundaries_aligned_flag [i] [j] may be signaled.
표 4는 본 발명의 실시예에 따라 상기 표 1의 VPS에서 시그널링되는 vps_tiles_enabled_flag를 이용하여 PPS에서 시그널링하는 방법을 나타내는 신택스의 일예이다. Table 4 is an example of a syntax that describes a method for signaling in a PPS using vps_tiles_enabled_flag signaled in the VPS of Table 1 according to an embodiment of the present invention.
표 4
Figure PCTKR2014009580-appb-T000004
Table 4
Figure PCTKR2014009580-appb-T000004
표 4를 참조하면, tiles_enabled_flag가 1의 값을 가지는 경우, 해당 PPS를 참조하는 모든 픽처들이 두 개 이상의 타일을 포함하고 있음을 의미한다. tiles_enabled_flag가 0의 값을 가지는 경우, PPS를 참조하는 모든 픽처들이 한 개의 타일만을 포함하고 있음을 의미한다. 만약, tiles_enabled_flag 값이 시그널링되지 않는다면, tiles_enabled_flag 값은 0으로 가정한다.Referring to Table 4, when tiles_enabled_flag has a value of 1, it means that all pictures referring to the corresponding PPS include two or more tiles. When tiles_enabled_flag has a value of 0, it means that all pictures referring to the PPS include only one tile. If the tiles_enabled_flag value is not signaled, the tiles_enabled_flag value is assumed to be zero.
상기 표 4와 같이, vps_tiles_enabled_flag에 의해 tiles_enabled_flag의 시그널링 여부가 결정될 수도 있다. 그러나, vps_tiles_enabled_flag와는 무관하게 표 5와 같이 tiles_enabled_flag가 시그널링 되는 경우, vps_tiles_enabled_flag의 값이 1인 경우에만 tiles_enabled_flag의 값이 1이 될 수 있어야 한다. 다시 말해, vps_tiles_enabled_flag의 값이 0인 경우에는 tiles_enabled_flag의 값은 항상 0이 되어야만 한다. As shown in Table 4, whether tiles_enabled_flag is signaled or not may be determined by vps_tiles_enabled_flag. However, regardless of vps_tiles_enabled_flag, when tiles_enabled_flag is signaled as shown in Table 5, the value of tiles_enabled_flag should be 1 only when the value of vps_tiles_enabled_flag is 1. In other words, when the value of vps_tiles_enabled_flag is 0, the value of tiles_enabled_flag should always be 0.
표 5
Figure PCTKR2014009580-appb-T000005
Table 5
Figure PCTKR2014009580-appb-T000005
표 6은 본 발명의 실시예에 따라 SPS에서 vps_tiles_enabled_flag의 시그널링 없이 sps_tiles_enabled_flag를 시그널링하는 방법을 나타내는 신택스의 일예이다.Table 6 is an example of a syntax that describes a method for signaling sps_tiles_enabled_flag without signaling vps_tiles_enabled_flag in an SPS according to an embodiment of the present invention.
표 6
Figure PCTKR2014009580-appb-T000006
Table 6
Figure PCTKR2014009580-appb-T000006
표 6을 참조하면, sps_tiles_enabled_flag가 1의 값을 가지는 경우, 해당 SPS를 참조하는 모든 픽처들이 두 개 이상의 타일을 포함함을 의미한다. sps_tiles_enabled_flag가 0의 값을 가지는 경우, 해당 SPS를 참조하는 모든 픽처들이 한 개의 타일을 포함함을 의미한다. Referring to Table 6, when sps_tiles_enabled_flag has a value of 1, it means that all pictures referring to the corresponding SPS include two or more tiles. When sps_tiles_enabled_flag has a value of 0, it means that all pictures referring to the corresponding SPS include one tile.
상기 표 6과 연관하여 PPS에서 상기 표 4 대신 다음 표 7과 같이 tiles_enabled_flag를 시그널링할 수도 있다. In association with Table 6, instead of Table 4, PPS may signal tiles_enabled_flag as shown in Table 7 below.
표 7
Figure PCTKR2014009580-appb-T000007
TABLE 7
Figure PCTKR2014009580-appb-T000007
PPS에서 tiles_enabled_flag의 수정(revision of tile-enabled flag in PPS)Revision of tile-enabled flag in PPS
HEVC 표준에 따르면, tiles_enabled_flag는 다음과 같은 제약을 가진다. According to the HEVC standard, tiles_enabled_flag has the following restrictions.
“CVS(coded video stream) 내에서 활성화된 모든 PPS들에 대해 tiles_enabled_flag는 같은 값을 가져야 한다.”"For all PPSs enabled in the CVS (coded video stream), tiles_enabled_flag must have the same value."
상기와 같은 제약에 따라, 본 발명에서는 CVS 내에 포함된 PPS들을 일관성 있고 단순하게 하기 위해서, 계층 식별자(nuh_layer_id) 값이 0보다 클 때 tiles_enabled_flag를 PPS에서 시그널링하지 않고 SPS에서 시그널링하는 방법을 제안한다. In accordance with the above constraints, the present invention proposes a method of signaling tiles_enabled_flag in the SPS without signaling in the PPS when the layer identifier (nuh_layer_id) value is greater than 0 in order to make the PPSs included in the CVS consistent and simple.
표 8은 본 발명의 실시예에 따라 계층 식별자(nuh_layer_id) 정보를 기반으로 SPS에서 tiles_enabled_flag를 시그널링하는 방법을 나타내는 신택스의 일예이다. Table 8 is an example of a syntax that describes a method for signaling tiles_enabled_flag in an SPS based on layer identifier (nuh_layer_id) information according to an embodiment of the present invention.
표 8
Figure PCTKR2014009580-appb-T000008
Table 8
Figure PCTKR2014009580-appb-T000008
표 8에 도시된 신택스들의 의미는 앞에서 설명한 것과 동일하므로, 여기서는 신택스의 설명을 생략한다. The meanings of the syntaxes shown in Table 8 are the same as described above, and thus description of the syntax is omitted here.
표 9는 본 발명의 실시예에 따라 계층 식별자(nuh_layer_id) 정보를 기반으로 tiles_enabled_flag를 시그널링하는 방법을 나타내는 신택스의 다른 예이다. Table 9 is another example of a syntax illustrating a method of signaling tiles_enabled_flag based on layer identifier (nuh_layer_id) information according to an embodiment of the present invention.
표 9
Figure PCTKR2014009580-appb-T000009
Table 9
Figure PCTKR2014009580-appb-T000009
표 9를 참조하면, tiles_enabled_flag가 1의 값을 가지는 경우, 해당 PPS를 참조하는 모든 픽처들이 두 개 이상의 타일을 포함함을 의미한다. tiles_enabled_flag가 0의 값을 가지는 경우, 해당 PPS를 참조하는 모든 픽처들이 한 개의 타일만을 포함함을 의미한다. 만약, tiles_enabled_flag 값이 시그널링되지 않는다면 tiles_enabled_flag 값은 sps_tiles_enabled_flag 값으로 추론된다.Referring to Table 9, when tiles_enabled_flag has a value of 1, it means that all pictures referring to the corresponding PPS include two or more tiles. When tiles_enabled_flag has a value of 0, it means that all pictures referring to the corresponding PPS include only one tile. If the tiles_enabled_flag value is not signaled, the tiles_enabled_flag value is inferred as the sps_tiles_enabled_flag value.
이때, tiles_enabled_flag 값은 CVS의 특정 계층 내에 활성화된 모든 PPS에 대해 동일한 값을 가져야만 한다. At this time, the tiles_enabled_flag value should have the same value for all PPSs activated in a specific layer of the CVS.
VPS에서 타일 정보(Tile information in VPS)Tile information in VPS
어떤 CVS들은 일부 디코더에서 실시간으로 디코딩하기에 복잡할 수도 있다. 만약 타일 관련 정보가 디코더에 전달된다면, 디코더는 해당 CVS를 디코딩할 수 있는지 여부를 미리 알 수 있다. 즉, VPS에서 시그널링되는 타일 관련 정보는 세션 협상(session negotiation)을 위해 유용할 수 있다. 더불어, 만약 특정 계층 내의 픽처들이 동일한 타일 세팅을 가진다면, 즉 동일한 기본(default) 타일의 형태를 가진다면, 모든 PPS에서 타일 관련 정보를 시그널링할 필요가 없을 수 있다. Some CVSs may be complicated to decode in real time in some decoders. If the tile related information is delivered to the decoder, the decoder can know in advance whether it can decode the CVS. That is, tile related information signaled in the VPS may be useful for session negotiation. In addition, if pictures in a particular layer have the same tile setting, that is, in the form of the same default tile, it may not be necessary to signal tile related information in every PPS.
따라서, 본 발명에서는 VPS에서 일반적으로 기본(default) 타일 관련 정보 혹은 최대 및 최소 타일의 수와 관련된 정보를 기술하는 것을 제안한다. Therefore, in the present invention, it is proposed to describe default tile related information or information related to the maximum and minimum number of tiles in VPS.
실시예 1Example 1
표 10은 본 발명의 실시예에 따른 VPS에서 타일 관련 정보를 시그널링하는 방법을 나타내는 신택스의 일예이다. Table 10 is an example of a syntax that describes a method for signaling tile related information in a VPS according to an embodiment of the present invention.
표 10
Figure PCTKR2014009580-appb-T000010
Table 10
Figure PCTKR2014009580-appb-T000010
표 10을 참조하면, tiles_not_in_use_flag가 1의 값을 가지는 경우, CVS의 모든 픽처들이 한 개의 타일만을 포함하고 있음을 의미한다. tiles_not_in_use_flag가 0의 값을 가지는 경우, 해당 VPS를 참조하는 픽처들 중 두 개 이상의 타일을 포함하는 픽처가 존재할 수 있음을 의미한다.Referring to Table 10, when tiles_not_in_use_flag has a value of 1, it means that all the pictures of the CVS include only one tile. When tiles_not_in_use_flag has a value of 0, it means that a picture including two or more tiles among pictures referring to the corresponding VPS may exist.
default_tile_info_flag[ i ]가 1의 값을 가지는 경우, i번째 계층의 픽처가 기본 타일 세팅(default tile setting)을 가짐을 의미할 수 있다. default_tile_info_flag[ i ]가 0의 값을 가지는 경우, i번째 계층의 픽처가 기본 타일 세팅(default tile setting)을 가질 수도 있고 가지지 않을 수도 있음을 나타낸다.When default_tile_info_flag [i] has a value of 1, it may mean that the picture of the i-th layer has a default tile setting. When default_tile_info_flag [i] has a value of 0, it indicates that a picture of the i-th layer may or may not have a default tile setting.
num_tile_columns_minus1[ i ] 더하기 1의 값은 i번째 계층의 픽처를 나누는(partitioning) 타일의 열(tile column)의 개수를 나타낸다. num_tile_columns_minus1[ i ]이 시그널링 되지 않는 경우에는 num_tile_columns_minus1[i]를 0으로 가정한다.A value of num_tile_columns_minus1 [i] plus 1 represents the number of tile columns of a partitioning picture of the i-th layer. If num_tile_columns_minus1 [i] is not signaled, num_tile_columns_minus1 [i] is assumed to be 0.
num_tile_rows_minus1[ i ] 더하기 1의 값은 i번째 계층의 픽처를 나누는(partitioning) 타일의 행(tile row)의 개수를 나타낸다. num_tile_rows_minus1[ i ]이 시그널링 되지 않는 경우에는 num_tile_rows_minus1[i]를 0으로 가정한다.A value of num_tile_rows_minus1 [i] plus 1 represents the number of tile rows dividing a picture of the i-th layer. If num_tile_rows_minus1 [i] is not signaled, num_tile_rows_minus1 [i] is assumed to be zero.
uniform_spacing_flag[ i ]가 1의 값은 가지는 경우, i번째 계층의 픽처에 타일의 열(tile column)과 타일의 행(tile row)이 일정 간격으로 위치해 있음을 의미한다. Uniform_spacing_flag[i]가 0의 값을 가지는 경우, i번째 계층의 픽처에 타일의 열(tile column)과 타일의 행(tile row)이 일정 간격으로 위치해 있지 않음을 의미하며, 이때, 각 타일들의 column_width_minus1[i][j]와 row_height_minus1[i][j]를 이용하여 열(column)의 너비(width)와 행(row)의 높이(height)를 시그널링할 수 있다. uniform_spacing_flag 값이 존재하지 않는 경우에는 uniform_spacing_flag 값을 1로 가정할 수 있다.When uniform_spacing_flag [i] has a value of 1, it means that a tile column and a tile row are positioned at regular intervals in a picture of the i-th layer. If Uniform_spacing_flag [i] has a value of 0, it means that the tile column and the tile row are not located at regular intervals in the picture of the i-th layer, where column_width_minus1 of each tile [i] [j] and row_height_minus1 [i] [j] may be used to signal the width of the column and the height of the row. If the uniform_spacing_flag value does not exist, the uniform_spacing_flag value may be assumed to be 1.
column_width_minus1[ i ][ j ] 더하기 1의 값은 i번째 계층의 j번째 타일의 열(column)의 넓이(width)를 코딩 트리 블록(coding tree block) 단위로 기술한 것이다.column_width_minus1 [i] [j] The value of plus 1 describes the width of the column of the j-th tile of the i-th layer in units of coding tree blocks.
row_height_minus1[ i ][ j ] 더하기 1의 값은 i번째 계층의 j번째 타일의 행(row)의 높이(height)를 코딩 트리 블록(coding tree block) 단위로 기술한 것이다.row_height_minus1 [i] [j] plus 1 indicates the height of the row of the j-th tile of the i-th layer in units of coding tree blocks.
loop_filter_across_tiles_enabled_flag[ i ]가 1의 값은 가지는 경우, i번째 계층의 픽처에서 타일 경계 부분에 대해 인-루프 필터링(in-loop filtering)을 한다는 것을 나타낸다. loop_filter_across_tiles_enabled_flag[ i ]가 0의 값을 가지는 경우, i번째 계층의 픽처의 타일 경계 부분에 대해 인-루프 필터링(in-loop filtering)을 하지 않는다는 것을 나타낸다. 인-루프 필터링(In-loop filtering) 동작은 디블록킹 필터(deblocking filter)와 적응적 오프셋 필터(adaptive offset filter) 동작을 포함한다. loop_filter_across_tiles_enabled_flag 값이 시그널링되지 않는 경우는 loop_filter_across_tiles_enabled_flag 값을 1로 가정한다.When loop_filter_across_tiles_enabled_flag [i] has a value of 1, it indicates that in-loop filtering is performed on the tile boundary portion in the picture of the i-th layer. When loop_filter_across_tiles_enabled_flag [i] has a value of 0, it indicates that in-loop filtering is not performed on the tile boundary portion of the picture of the i-th layer. In-loop filtering operations include a deblocking filter and an adaptive offset filter operation. If the loop_filter_across_tiles_enabled_flag value is not signaled, the loop_filter_across_tiles_enabled_flag value is assumed to be 1.
상기 표 10에서와 같이, VPS에서 타일 관련 정보를 보내는 대신에 SEI(Supplemental enhancement information) 메시지에서 위와 동일한 정보를 시그널링할 수도 있다. As shown in Table 10, instead of sending tile related information in the VPS, the same information as above may be signaled in a supplemental enhancement information (SEI) message.
또한, PPS에서 시그널링되는 타일 관련 정보를 필요 시에만 업데이트 할 수 있도록 PPS를 수정할 수도 있다. In addition, the PPS may be modified to update only tile-related information signaled by the PPS when necessary.
표 11은 본 발명의 실시예에 따른 PPS에서 시그널링되는 타일 관련 정보를 필요 시에만 업데이트 할 수 있도록 하는 방법을 나타내는 신택스의 일예이다. Table 11 is an example of a syntax that describes a method of updating tile related information signaled by a PPS according to an embodiment of the present invention only when necessary.
표 11
Figure PCTKR2014009580-appb-T000011
Table 11
Figure PCTKR2014009580-appb-T000011
표 11을 참조하면, tiles_enabled_flag가 1의 값을 가지는 경우, 해당 PPS를 참조하는 모든 픽처들이 두 개 이상의 타일을 포함함을 의미한다. tiles_enabled_flag가 0의 값을 가지는 경우, PPS를 참조하는 모든 픽처들이 한 개의 타일만을 포함함을 의미한다. 만약에 tiles_enabled_flag 값이 시그널링되지 않는다면, tiles_enabled_flag 값은 0 값으로 추론된다.Referring to Table 11, when tiles_enabled_flag has a value of 1, it means that all pictures referring to the corresponding PPS include two or more tiles. When tiles_enabled_flag has a value of 0, it means that all pictures referring to the PPS include only one tile. If the tiles_enabled_flag value is not signaled, the tiles_enabled_flag value is inferred to a value of zero.
update_tiles_info_flag가 1의 값을 가지는 경우, 해당 PPS를 참조하는 픽처들의 타일 관련 정보가 업데이트 되는 것을 나타낸다. update_tiles_info_flag가 0의 값을 가지는 경우, 해당 PPS를 참조하는 픽처들의 타일 관련 정보가 업데이트 되지 않았음을 나타낸다.When update_tiles_info_flag has a value of 1, it indicates that tile related information of pictures referring to the corresponding PPS is updated. When update_tiles_info_flag has a value of 0, it indicates that tile related information of pictures referring to the corresponding PPS is not updated.
실시예 2Example 2
표 12는 본 발명의 실시예에 따른 VPS에서 타일 관련 정보를 시그널링하는 방법을 나타내는 신택스의 다른 예이다. Table 12 is another example of a syntax that describes a method of signaling tile related information in a VPS according to an embodiment of the present invention.
표 12
Figure PCTKR2014009580-appb-T000012
Table 12
Figure PCTKR2014009580-appb-T000012
PPS의 업데이트 메커니즘은 다음 표 13과 같이 타일의 수와 루프 필터 시그널링 관련 내용에만 적용될 수 있다. The update mechanism of the PPS can be applied only to the number of tiles and the loop filter signaling, as shown in Table 13 below.
표 13
Figure PCTKR2014009580-appb-T000013
Table 13
Figure PCTKR2014009580-appb-T000013
상기 표 12 및 표 13에 도시된 신택스들의 시맨틱스(semantics)는 실시예 1의 표 10 및 표 11에서 설명한 신택스들과 의미가 동일하다. The semantics of the syntaxes shown in Tables 12 and 13 have the same meanings as the syntaxes described in Tables 10 and 11 of the first embodiment.
실시예 3Example 3
표 14는 본 발명의 실시예에 따른 VPS에서 타일 관련 정보를 시그널링하는 방법을 나타내는 신택스의 또 다른 예이다. Table 14 is another example of a syntax illustrating a method of signaling tile related information in a VPS according to an embodiment of the present invention.
표 14
Figure PCTKR2014009580-appb-T000014
Table 14
Figure PCTKR2014009580-appb-T000014
상기 표 14에 도시된 신택스들의 시맨틱스는 실시예 1의 표 10 및 표 11에서 설명한 신택스들과 의미가 동일하다. The semantics of the syntaxes shown in Table 14 are the same as the syntaxes described in Tables 10 and 11 of the first embodiment.
실시예 4Example 4
표 15는 본 발명의 실시예에 따른 VPS에서 타일 관련 정보를 시그널링하는 방법을 나타내는 신택스의 또 다른 예이다. Table 15 is another example of a syntax illustrating a method of signaling tile related information in a VPS according to an embodiment of the present invention.
표 15
Figure PCTKR2014009580-appb-T000015
Table 15
Figure PCTKR2014009580-appb-T000015
표 15를 참조하면, min_max_tile_info_flag[ i ]가 1의 값을 가지는 경우, 비트스트림에 포함된 i번째 계층의 픽처가 가지는 최대 타일 개수와 최소 타일 개수를 시그널링함을 의미한다. min_max_tile_info_flag[ i ]가 0의 값을 가지는 경우, 비트스트림에 포함된 i번째 계층의 픽처가 가지는 최대 타일 개수와 최소 타일 개수를 시그널링하지 않음을 의미한다.Referring to Table 15, when min_max_tile_info_flag [i] has a value of 1, it means that the maximum tile number and the minimum tile number of the picture of the i-th layer included in the bitstream are signaled. If min_max_tile_info_flag [i] has a value of 0, it means that the maximum tile number and the minimum tile number of the picture of the i-th layer included in the bitstream are not signaled.
max_num_tile_columns_minus1[ i ] 더하기 1의 값은 i번째 계층의 픽처를 나누는(partitioning) 타일의 열(tile column)의 최대 개수를 나타낸다. max_num_tile_columns_minus1[ i ]가 시그널링 되지 않는 경우에는 max_num_tile_columns_minus1[i]를 0으로 가정한다.The value of max_num_tile_columns_minus1 [i] plus 1 represents the maximum number of tile columns of a partitioning picture of the i-th layer. If max_num_tile_columns_minus1 [i] is not signaled, max_num_tile_columns_minus1 [i] is assumed to be zero.
min_num_tile_columns_minus1[ i ] 더하기 1의 값은 i번째 계층의 픽처를 나누는(partitioning) 타일의 열(tile column)의 최소 개수를 나타낸다. min_num_tile_columns_minus1[ i ]가 시그널링 되지 않는 경우에는 min_num_tile_columns_minus1[i]를 0으로 가정한다.The value of min_num_tile_columns_minus1 [i] plus 1 represents the minimum number of tile columns of a partitioning picture of the i-th layer. If min_num_tile_columns_minus1 [i] is not signaled, min_num_tile_columns_minus1 [i] is assumed to be zero.
max_num_tile_rows_minus1[ i ] 더하기 1의 값은 i번째 계층의 픽처를 나누는(partitioning) 타일의 행(tile row)의 최대 개수를 나타낸다. max_num_tile_rows_minus1[ i ]가 시그널링 되지 않는 경우에는 max_num_tile_rows_minus1[i]를 0으로 가정한다.The value of max_num_tile_rows_minus1 [i] plus 1 represents the maximum number of tile rows dividing a picture of the i-th layer. If max_num_tile_rows_minus1 [i] is not signaled, max_num_tile_rows_minus1 [i] is assumed to be zero.
min_num_tile_rows_minus1[ i ] 더하기 1의 값은 i번째 계층의 픽처를 나누는(partitioning) 타일의 행(tile row)의 최소 개수를 나타낸다. min_num_tile_rows_minus1[ i ]가 시그널링 되지 않는 경우에는 min_num_tile_rows_minus1[i]를 0으로 가정한다.The value of min_num_tile_rows_minus1 [i] plus 1 represents the minimum number of tile rows of partitioning pictures of the i-th layer. If min_num_tile_rows_minus1 [i] is not signaled, min_num_tile_rows_minus1 [i] is assumed to be zero.
실시예 5Example 5
표 16은 본 발명의 실시예에 따른 VPS에서 타일 관련 정보를 시그널링하는 방법을 나타내는 신택스의 또 다른 예이다. Table 16 is another example of a syntax illustrating a method of signaling tile related information in a VPS according to an embodiment of the present invention.
표 16
Figure PCTKR2014009580-appb-T000016
Table 16
Figure PCTKR2014009580-appb-T000016
표 16을 참조하면, max_tile_info_flag[ i ]가 1의 값을 가지는 경우, 비트스트림에 포함된 i번째 계층의 픽처가 가지는 최대 타일 개수를 시그널링함을 의미한다. max_tile_info_flag[ i ]가 0의 값을 가지는 경우, 비트스트림에 포함된 i번째 계층의 픽처가 가지는 최대 타일 개수를 시그널링하지 않음을 의미한다.Referring to Table 16, when max_tile_info_flag [i] has a value of 1, it means that the maximum number of tiles of the picture of the i-th layer included in the bitstream is signaled. When max_tile_info_flag [i] has a value of 0, it means that the maximum number of tiles of the picture of the i-th layer included in the bitstream is not signaled.
min_tile_info_flag[ i ]가 1의 값을 가지는 경우, 비트스트림에 포함된 i번째 계층의 픽처가 가지는 최소 타일 개수를 시그널링함을 의미한다. min_tile_info_flag[ i ]가 0의 값을 가지는 경우, 비트스트림에 포함된 i번째 계층의 픽처가 가지는 최소 타일 개수를 시그널링하지 않음을 의미한다.When min_tile_info_flag [i] has a value of 1, it means that the minimum number of tiles of the picture of the i-th layer included in the bitstream is signaled. If min_tile_info_flag [i] has a value of 0, it means that the minimum number of tiles of the picture of the i-th layer included in the bitstream is not signaled.
상기 실시예 4와 실시예 5는 vps_vui()에서 시그널링될 수도 있다. The fourth embodiment and the fifth embodiment may be signaled in vps_vui ().
SPS에서 타일 정보(Tile information in SPS)Tile information in SPS
일반적으로 특정 계층 내 픽처들의 타일 세팅은 동일할 것이므로, 타일 관련 정보를 기술하는 다른 방식은 SPS에 기술할 수 있다. 만약 VPS에 타일 관련 정보를 수정하지 않는다면, SPS는 다음 표 17과 같이 수정될 수 있다. In general, the tile settings of pictures in a particular layer will be the same, so other ways of describing tile related information can be described in the SPS. If the tile related information is not modified in the VPS, the SPS may be modified as shown in Table 17 below.
표 17은 본 발명의 실시예에 따른 SPS에서 타일 관련 정보를 시그널링하는 방법을 나타내는 신택스의 일예이다. Table 17 is an example of a syntax that describes a method for signaling tile related information in an SPS according to an embodiment of the present invention.
표 17
Figure PCTKR2014009580-appb-T000017
Table 17
Figure PCTKR2014009580-appb-T000017
표 17에 기술된 신택스들의 시맨틱스는 앞서 설명한 VPS에서 타일 정보를 시그널링하는 신택스들과 동일하므로, 여기서는 설명을 생략한다. The semantics of the syntaxes described in Table 17 are the same as the syntaxes for signaling tile information in the VPS described above, and thus description thereof is omitted here.
존재하지 않는 타일 영역에 대한 기술(Description of not-present tile sets)Description of not-present tile sets
현재 한 개의 CVS 내 독립적으로 복호 가능한 영역들(즉, 타일 영역 혹은 타일 세트, tile sets)은 “inter-layer constrained tile sets SEI messages"와 “motion-constrained SEI message”에 기술될 수 있다. 이때, 기술된 영역 밖의 부분(CVS 내 독립적으로 복호 가능한 영역을 제외한 영역)은 해당 부분에 대한 부호화된 데이터를 보내지 않고 생략(skip)될 수 있다. Currently independently decodable regions (ie tile regions or tile sets) in a CVS can be described in “inter-layer constrained tile sets SEI messages” and “motion-constrained SEI messages”. Portions outside the described region (regions other than independently decodable regions in the CVS) may be skipped without sending encoded data for that portion.
그러나, 도 4에 도시된 바와 같이, 나중에 의도적으로 제거되어 비게(empty)되는 타일 영역(tile set)이 있을 수 있다. 이러한 타일 영역은 추후에 콘텐츠 전달 경로(광고 박스 등을 위해 사용)에 존재하는 디바이스에 의해 채워질 수 있다. 이를 위해, 어느 타일 영역들(즉, 독립적으로 복호 가능한 영역들)이 제거 되었는지를 디코더가 알 수 있다면 도움이 될 것이다. However, as shown in FIG. 4, there may be a tile set later intentionally removed and empty. This tile area may later be filled by a device present in the content delivery path (used for advertising boxes, etc.). To this end, it would be helpful if the decoder could know which tile regions (ie, independently decodable regions) were removed.
현재의 “inter-layer constrained tile sets SEI messages"는 독립적으로 복호화 가능한 영역만을 기술하며, 전달 경로에서 제거된 영역이 어느 영역인지에 대해서는 기술하지 않는다. The current "inter-layer constrained tile sets SEI messages" describe only the independently decodable region, and does not describe which region is removed from the transmission path.
따라서, 본 발명에서는 픽처 내 복호화 가능한 영역과 제거된 영역을 식별할 수 있도록 타일 영역에 대한 정보를 기술할 수 있는 방법을 제공한다. Accordingly, the present invention provides a method for describing information about a tile region so that a decodable region and a removed region within a picture can be identified.
일예로, 픽처 내 타일 영역이 존재하는지 여부를 나타내기 위해 각각의 정의된 타일 영역에 플래그를 추가할 수 있다. For example, a flag may be added to each defined tile area to indicate whether a tile area in a picture exists.
표 18은 본 발명의 실시예에 따른 타일 영역이 존재하는지 여부를 나타내는 플래그를 이용하는 방법을 나타낸 신택스의 일예이다. Table 18 is an example of syntax illustrating a method of using a flag indicating whether a tile area exists according to an embodiment of the present invention.
표 18
Figure PCTKR2014009580-appb-T000018
Table 18
Figure PCTKR2014009580-appb-T000018
표 18을 참조하면, present_flag[i]가 1의 값인 경우, CVS 내에 인식된 타일영역(tile set)이 존재함을 의미한다. present_flag[i]가 0의 값인 경우, CVS 내에 인식된 타일 영역이 존재하지 않음을 의미한다.Referring to Table 18, when present_flag [i] is a value of 1, it means that a recognized tile set exists in the CVS. If present_flag [i] is a value of 0, it means that there is no tile region recognized in the CVS.
다른 예로, CVS 내에 각각의 타일 영역이 존재하는지 여부를 알려주는 새로운 SEI 메시지를 만들 수 있다. 이 경우, “inter-layer constrained tile sets SEI message”는 수정하지 않아도 된다. As another example, you can create a new SEI message indicating whether each tile region exists in CVS. In this case, the “inter-layer constrained tile sets SEI message” does not need to be modified.
표현 포맷의 수정(Revision of representation formats)Revision of representation formats
이하, 본 발명에서는 VPS와 SPS에 기술된 “표현 포맷(representation format)”에 대한 표현을 개선하기 위한 방안을 제안한다. Hereinafter, the present invention proposes a method for improving the expression of the "representation format" described in the VPS and SPS.
표 19는 본 발명의 실시예에 따른 표현 포맷을 시그널링하는 방법을 나타내는 신택스의 일예이다. Table 19 is an example of a syntax that describes a method for signaling a representation format according to an embodiment of the present invention.
표 19
Figure PCTKR2014009580-appb-T000019
Table 19
Figure PCTKR2014009580-appb-T000019
표 19를 참조하면, vps_rep_format_idx[ i ]는 i번째 계층에 적용되는 rep_format() 신택스의 리스트에 대한 인덱스를 나타낸다. Referring to Table 19, vps_rep_format_idx [i] represents an index of a list of rep_format () syntax applied to the i-th layer.
상기 표 19의 신택스는 다음 표 20과 같이 수정될 수도 있다. 표 20과 같이 수정될 경우, 디코더 혹은 미들 박스에서 VPS 파싱 과정이 vps_num_rep_formats_minus1=0 일 때, “for” 루프에 대해 시그널링하지 않아도 된다는 장점이 있다. The syntax of Table 19 may be modified as shown in Table 20 below. When modified as shown in Table 20, when the VPS parsing process in the decoder or the middle box is vps_num_rep_formats_minus1 = 0, there is an advantage that it is not necessary to signal the “for” loop.
표 20은 본 발명의 실시예에 따른 표현 포맷을 시그널링하는 방법을 나타내는 신택스의 다른 예이다. Table 20 is another example of a syntax illustrating a method of signaling a representation format according to an embodiment of the present invention.
표 20
Figure PCTKR2014009580-appb-T000020
Table 20
Figure PCTKR2014009580-appb-T000020
한 개의 픽처 사이즈 또는 비트 깊이(bit-depth)가 몇 개의 계층들에 대해서만 변경될 때 중복적인 정보의 시그널링을 막기 위해서 표현 포맷에 대한 정보를 다음 표 21과 같이 시그널링할 수도 있다. When one picture size or bit-depth is changed for only a few layers, information about a representation format may be signaled as shown in Table 21 below to prevent signaling of redundant information.
표 21은 본 발명의 실시예에 따라서 중복적인 정보가 시그널링되는 것을 개선하기 위한 표현 포맷 신택스를 나타낸 일예이다. Table 21 shows an example of a representation format syntax for improving signaling of duplicate information according to an embodiment of the present invention.
표 21
Figure PCTKR2014009580-appb-T000021
Table 21
Figure PCTKR2014009580-appb-T000021
표 21을 참조하면, chroma_size_vps_present_flag가 1의 값을 가지는 경우, 색차 포맷(chroma format)과 픽처 사이즈 관련 정보가 신택스 내에 포함되어 있음을 나타낸다. chroma_size_vps_present_flag가 0의 값을 가지는 경우, 색차 포맷(chroma format)과 픽처 사이즈 관련 정보가 이전에 시그널링된 rep_format()을 참조함을 의미한다. 첫번째 rep_format()의 chroma_size_vps_present_flag의 값은 1이어야만 한다.Referring to Table 21, when chroma_size_vps_present_flag has a value of 1, it indicates that information related to chroma format and picture size is included in the syntax. When chroma_size_vps_present_flag has a value of 0, it means that the chroma format and the picture size related information refer to the previously signaled rep_format (). The value of chroma_size_vps_present_flag of the first rep_format () must be 1.
bit_depth_vps_present_flag가 1의 값을 가지는 경우, 비트 깊이(bit-depth)관련 정보가 신택스 내에 포함되어 있음을 나타낸다. bit_depth_vps_present_flag가 0의 값을 가지는 경우, 비트 깊이(bit-depth) 관련 정보가 이전에 시그널링된 rep_format()을 참조함을 의미한다. 첫번째 rep_format()의 bit_depth_vps_present_flag의 값은 1이어야만 한다.When bit_depth_vps_present_flag has a value of 1, it indicates that bit-depth related information is included in the syntax. When bit_depth_vps_present_flag has a value of 0, it means that bit-depth related information refers to previously signaled rep_format (). The value of bit_depth_vps_present_flag of the first rep_format () must be 1.
한 개의 픽처 사이즈는 계층별로 다르지만 색차 포맷과 비트 깊이는 계층별로 다르지 않는 경우가 많을 때 중복적인 정보의 시그널링을 막기 위하여 표현 포맷에 대한 정보를 다음 표 22와 같이 시그널링할 수도 있다. When one picture size is different for each layer but the color difference format and the bit depth are not different for each layer, information about a representation format may be signaled as shown in Table 22 below to prevent signaling of redundant information.
표 22는 본 발명의 실시예에 따라서 중복적인 정보가 시그널링되는 것을 개선하기 위한 표현 포맷 신택스를 나타낸 다른 예이다. Table 22 is another example showing a representation format syntax for improving signaling of redundant information according to an embodiment of the present invention.
표 22
Figure PCTKR2014009580-appb-T000022
Table 22
Figure PCTKR2014009580-appb-T000022
표 22를 참조하면, depth_chroma_vps_present_flag가 1의 값을 가지는 경우, 색차 포맷(chroma format)과 비트 깊이(bit-depth) 관련 정보가 신택스 내에 포함되어 있음을 나타낸다. depth_chroma_vps_present_flag가 0의 값을 가지는 경우, 색차 포맷(chroma format)과 비트 깊이(bit-depth) 관련 정보가 이전에 시그널링된 rep_format()을 참조함을 의미한다. 이때, 이전에 시그널링된 rep_format()은 현재 rep_format()이 적용되는 계층의 바로 아래 계층에 적용되는 rep_format()을 의미할 수도 있다. 첫번째 rep_format()의 depth_chroma_vps_present_flag의 값은 1이어야만 한다.Referring to Table 22, when depth_chroma_vps_present_flag has a value of 1, it indicates that information related to chroma format and bit-depth is included in the syntax. When the depth_chroma_vps_present_flag has a value of 0, it means that the chroma format and the bit-depth related information refer to the previously signaled rep_format (). In this case, previously signaled rep_format () may mean rep_format () applied to a layer immediately below the layer to which the current rep_format () is applied. The value of depth_chroma_vps_present_flag of the first rep_format () must be 1.
추가로, SPS에서 update_re_format_flag는 아래의 표 23과 같이 색차 포맷(chromate format)과 픽처 사이즈 관련 업데이트 정보가 존재함을 나타내는update_chroma_size_flag와 비트 깊이(bit-depth) 관련 업데이트 정보가 존재함을 나타내는 update_bit_depth_flag로 대체될 수 도 있다. In addition, in SPS, update_re_format_flag is replaced with update_bit_depth_flag indicating that update_chroma_size_flag and bit-depth related update information exist, indicating that update information related to the chroma format and picture size exists, as shown in Table 23 below. It can also be.
표 23은 본 발명의 실시예에 따라서 SPS에서 색차 포맷, 픽처 사이즈 및 비트 깊이 관련 업데이트 정보를 시그널링하는 방법을 나타내는 신택스의 일예이다. Table 23 is an example of a syntax that describes a method for signaling chrominance format, picture size, and bit depth related update information in an SPS according to an embodiment of the present invention.
표 23
Figure PCTKR2014009580-appb-T000023
Table 23
Figure PCTKR2014009580-appb-T000023
표 23을 참조하면, update_chroma_size_flag가 1의 값을 가지는 경우, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, 및 pic_height_in_luma_samples가 SPS에서 시그널링되고, 해당 SPS를 참조하는 nuh_layer_id 값이 0보다 큰 모든 계층들이 상기 시그널링되는 값들을 사용한다. 이때, nuh_layer_id 값이 0보다 큰 계층은 VPS에서 시그널링되는 chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, 및 pic_height_in_luma_samples 관련 값들을 사용하지 않는다. Referring to Table 23, when update_chroma_size_flag has a value of 1, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, and pic_height_in_luma_samples are signaled in the SPS, and all layers in which the nuh_layer_id value referring to the SPS is greater than 0 use the signaled values. . At this time, a layer whose nuh_layer_id value is greater than 0 does not use chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, and pic_height_in_luma_samples related values signaled in the VPS.
update_chroma_size_flag가 0의 값을 가지는 경우, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, 및 pic_height_in_luma_samples 값이 SPS에 시그널링되지 않는다는 것을 나타내며, 해당 SPS를 참조하는 모든 계층들이 VPS에서 시그널링되는 chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, 및 pic_height_in_luma_samples 값들을 사용한다. update_chroma_size_flag가 시그널링되지 않는 경우, update_chroma_size_flag 값은 1로 간주한다.If update_chroma_size_flag has a value of 0, it indicates that chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, and pic_height_in_luma_samples values are not signaled in the SPS, and that all layers referring to that SPS are signaled in the VPS: chroma_format_idc, separate_colour_ight_flag, pic_colour_plane_flag_information, do. If update_chroma_size_flag is not signaled, the update_chroma_size_flag value is assumed to be 1.
nuh_layer_id 값이 0보다 큰 값(nuh_layer_id = layerIdCurr > 0)을 가지는 현재 픽처가 특정 SPS를 참조하는 경우, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples는 다음의 값으로 간주되거나 제약될 수 있다.When a current picture having a value of nuh_layer_id greater than 0 (nuh_layer_id = layerIdCurr> 0) refers to a specific SPS, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, and pic_height_in_luma_samples may be considered or restricted to the following values.
- 활성화된 SPS의 nuh_layer_id 값이 0인 경우, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples 값은 활성화된 VPS의 vps_ref_format_idx[j]-th rep_format()의 chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples으로 간주된다. 이때, j는 LayerIdxInVps[ layerIdCurr ]이며, 활성화된 SPS에서 시그널링된 chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples 값은 무시된다.When the nuh_layer_id value of the activated SPS is 0, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples values are vps_ref_format_idx [j] -th rep_format () of chroma_format_id_fla_pic_height_flag_picma_flag_pic_plane_flag In this case, j is LayerIdxInVps [layerIdCurr], and chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, and pic_height_in_luma_samples values signaled by the activated SPS are ignored.
활성화된 비-기본 계층(an active non-base layer)이 기본 계층에서도 사용되는 SPS를 참조할 때, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples 값들은 VPS로부터 유추되며, 이때 SPS는 nuh_layer_id가 0 값을 가진다. 활성화된 기본 계층의 경우, 활성화된 SPS에서 시그널링된 chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples 값들이 적용된다. When an active non-base layer refers to an SPS that is also used in the base layer, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples values are inferred from the VPS, where the SPS has a nuh_layer_id value of zero. In the case of an activated base layer, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, and pic_height_in_luma_samples values signaled in the activated SPS are applied.
- 활성화된 SPS의 nuh_layer_id 값이 0보다 크다면, 다음을 적용한다.If the nuh_layer_id value of the activated SPS is greater than 0, the following applies.
만약 update_chroma_size_flag 값이 0인 경우, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples 값들은 활성화된 VPS의 vps_ref_format_idx[j]-th rep_format()의 chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples으로 간주된다. 이때, j는 LayerIdxInVps[ layerIdCurr ]이다.If the value of update_chroma_size_flag is 0, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples values are vsp_ref_format_idx [j] -th rep_format () of chroma_format_idc, separate_colour_fla_in_flag_information_flag. In this case, j is LayerIdxInVps [layerIdCurr].
만약 update_chroma_size_flag 값이 1인 경우, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples 값들은 활성화된 VPS의 vps_ref_format_idx[j]-th rep_format()의 chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples 값들보다 작거나 같아야 한다. 이때, j는 LayerIdxInVps[ layerIdCurr ]이다.If the value of update_chroma_size_flag is 1, chroma_format_idc, separate_colour_plane_flag, pic_width_in_luma_samples, pic_height_in_luma_samples values should be chroma_format_idc, separate_color_flag, separate_colour_plane_flag, separate_color_height_in_lu__s_in_lus In this case, j is LayerIdxInVps [layerIdCurr].
update_bit_depth_flag가 1의 값을 가지는 경우, bit_depth_luma_minus8과 bit_depth_chroma_minus8가 SPS에서 시그널링되고, 해당 SPS를 참조하는 nuh_layer_id 값이 0보다 큰 모든 계층들이 상기 시그널링되는 값들을 사용한다. 이때, nuh_layer_id 값이 0보다 큰 계층에서는 VPS에서 시그널링되는 bit_depth_luma_minus8과 bit_depth_chroma_minus8 관련 값들을 사용하지 않는다. When update_bit_depth_flag has a value of 1, bit_depth_luma_minus8 and bit_depth_chroma_minus8 are signaled in the SPS, and all layers whose nuh_layer_id value referring to the SPS is greater than 0 use the signaled values. At this time, in a layer having a nuh_layer_id value greater than 0, values related to bit_depth_luma_minus8 and bit_depth_chroma_minus8 signaled by the VPS are not used.
update_bit_depth_flag가 0의 값을 가지는 경우, bit_depth_luma_minus8과 bit_depth_chroma_minus8 값이 SPS에 시그널링되지 않는다는 것을 나타내며, 해당 SPS를 참조하는 모든 계층들이 VPS에서 시그널링되는 bit_depth_luma_minus8과 bit_depth_chroma_minus8 값들을 사용한다. update_bit_depth_flag가 시그널링되지 않는 경우, update_bit_depth_flag 값은 1로 간주한다.When update_bit_depth_flag has a value of 0, it indicates that bit_depth_luma_minus8 and bit_depth_chroma_minus8 values are not signaled to the SPS, and all layers referring to the SPS use bit_depth_luma_minus8 and bit_depth_chroma_minus8 values that are signaled by the VPS. If update_bit_depth_flag is not signaled, the update_bit_depth_flag value is assumed to be 1.
nuh_layer_id 값이 0보다 큰 값(nuh_layer_id = layerIdCurr > 0)을 가지는 현재 픽처가 특정 SPS 를 참조하는 경우, bit_depth_luma_minus8과 bit_depth_chroma_minus8는 다음의 값으로 간주되거나 제약될 수 있다.When the current picture having a value of nuh_layer_id greater than 0 (nuh_layer_id = layerIdCurr> 0) refers to a specific SPS, bit_depth_luma_minus8 and bit_depth_chroma_minus8 may be regarded or restricted as the following values.
- 활성화된 SPS의 nuh_layer_id 값이 0인 경우, bit_depth_luma_minus8과 bit_depth_chroma_minus8 값은 활성화된 VPS의 vps_ref_format_idx[j]-th rep_format()의 bit_depth_luma_minus8과 bit_depth_chroma_minus8으로 간주된다. 이때, j는 LayerIdxInVps[ layerIdCurr ]이며, 활성화된 SPS에서 시그널링된 bit_depth_luma_minus8과 bit_depth_chroma_minus8 값은 무시된다.If the nuh_layer_id value of the activated SPS is 0, the bit_depth_luma_minus8 and bit_depth_chroma_minus8 values are regarded as bit_depth_luma_minus8 and bit_depth_chroma_minus8 of vps_ref_format_idx [j] -th rep_format () of the activated VPS. At this time, j is LayerIdxInVps [layerIdCurr], and bit_depth_luma_minus8 and bit_depth_chroma_minus8 values signaled by the activated SPS are ignored.
활성화된 비-기본 계층(an active non-base layer)이 기본 계층에서도 사용되는 SPS를 참조할 때, bit_depth_luma_minus8과 bit_depth_chroma_minus8 값들은 VPS로부터 유추되며, 이때 SPS는 nuh_layer_id가 0 값을 가진다. 활성화된 기본 계층의 경우, 활성화된 SPS에서 시그널링된 bit_depth_luma_minus8과 bit_depth_chroma_minus8 값들이 적용된다. When an active non-base layer refers to an SPS that is also used in the base layer, the bit_depth_luma_minus8 and bit_depth_chroma_minus8 values are inferred from the VPS, where the SPS has a nuh_layer_id value of zero. In the case of the activated base layer, the bit_depth_luma_minus8 and bit_depth_chroma_minus8 values signaled in the activated SPS are applied.
- 활성화된 SPS의 nuh_layer_id 값이 0보다 크다면, 다음을 적용한다.If the nuh_layer_id value of the activated SPS is greater than 0, the following applies.
만약 update_bit_depth_flag 값이 0인 경우, bit_depth_luma_minus8과 bit_depth_chroma_minus8 값들은 활성화된 VPS의 vps_ref_format_idx[j]-th rep_format()의 bit_depth_luma_minus8과 bit_depth_chroma_minus8로 간주된다. 이때, j는 LayerIdxInVps[ layerIdCurr ]이다.If the update_bit_depth_flag value is 0, the bit_depth_luma_minus8 and bit_depth_chroma_minus8 values are considered bit_depth_luma_minus8 and bit_depth_chroma_minus8 of vps_ref_format_idx [j] -th rep_format () of the activated VPS. In this case, j is LayerIdxInVps [layerIdCurr].
만약 update_bit_depth_flag 값이 1인 경우, bit_depth_luma_minus8과 bit_depth_chroma_minus8 값은 활성화된 VPS의 vps_ref_format_idx[j]-th rep_format()의 bit_depth_luma_minus8과 bit_depth_chroma_minus8 보다 작거나 같아야 한다. 이때, j는 LayerIdxInVps[ layerIdCurr ]이다.If update_bit_depth_flag is 1, bit_depth_luma_minus8 and bit_depth_chroma_minus8 should be less than or equal to bit_depth_luma_minus8 of vps_ref_format_idx [j] -th rep_format () of the activated VPS. In this case, j is LayerIdxInVps [layerIdCurr].
VPS extension에서의 sps_max_sub_layers_minus1 시그널링 관련Sps_max_sub_layers_minus1 signaling related in VPS extension
비트스트림에 포함된 계층별 시간 서브 레이어(temporal sub-layer)의 개수는 VPS 확장(extension)에서 시그널링될 수 있다. The number of temporal sub-layers per layer included in the bitstream may be signaled in the VPS extension.
표 24는 본 발명의 실시예에 따른 최대 시간 서브 레이어(temporal sub-layer)의 개수를 시그널링하는 방법을 나타내는 신택스의 일예이다. Table 24 is an example of a syntax that describes a method for signaling the number of maximum temporal sub-layers according to an embodiment of the present invention.
표 24
Figure PCTKR2014009580-appb-T000024
Table 24
Figure PCTKR2014009580-appb-T000024
표 24를 참조하면, vps_sub_layers_max_minus_present_flag가 1인 경우, sub_layer_vps_max_minus1[i] 값이 시그널링됨을 나타내며, vps_sub_layers_max_minus_present_flag가 0인 경우, sub_layer_vps_max_minus1[i] 값이 시그널링되지 않음을 나타낸다.Referring to Table 24, when vps_sub_layers_max_minus_present_flag is 1, it indicates that the sub_layer_vps_max_minus1 [i] value is signaled, and when vps_sub_layers_max_minus_present_flag is 0, it indicates that the sub_layer_vps_max_minus1 [i] value is not signaled.
sub_layers_vps_max_minus1[i]+1은 nuh_layer_id 값이 layer_id_in_nuh[i]인 계층에 존재하는 최대 시간 서브 레이어(temporal sub-layer)의 수를 나타낸다. sub_layers_vps_max_minus1[i] 값은 0부터 vps_max_sub_layers_minus1의 범위를 가지며, sub_layer_vps_max_minus1[i] 값이 시그널링되지 않는다면, sub_layers_vps_max_minus1[i]값은 vps_max_sub_layers_minus1 값으로 추론된다.sub_layers_vps_max_minus1 [i] +1 indicates the maximum number of temporal sub-layers present in the layer whose nuh_layer_id value is layer_id_in_nuh [i]. The value of sub_layers_vps_max_minus1 [i] has a range from 0 to vps_max_sub_layers_minus1, and if the value of sub_layer_vps_max_minus1 [i] is not signaled, the value of sub_layers_vps_max_minus1 [i] is inferred as the value of vps_max_sub_layers_minus1.
한편, SPS에서는 해당 SPS를 참조하는 계층이 0의 nuh_layer_id 값을 가지는 경우, 해당 계층이 가질 수 있는 최대 시간 서브 레이어(temporal sub-layer)의 수를 나타내기 위한 sps_max_sub_layers_minus1을 시그널링한다. 그러나, SPS에서는 해당 SPS를 참조하는 계층이 0보다 큰 nuh_layer_id 값을 가지는 경우에, 해당 계층이 가질 수 있는 최대 시간 서브 레이어(temporal sub-layer)의 수를 나타내기 위한 sps_max_sub_layers_minus1을 따로 시그널링하지 않는다. 이러한 경우, 해당 계층의 최대 시간 서브 레이어(temporal sub-layer)의 수가 아닌 전체 비트스트림에 존재하는 최대 시간 서브 레이어(temporal sub-layer)의 수인 vps_max_sub_layers_minus1+1 값으로 정한다.On the other hand, in the SPS, when the layer referring to the SPS has a nuh_layer_id value of 0, sps_max_sub_layers_minus1 for indicating the maximum number of temporal sub-layers that the layer can have is signaled. However, the SPS does not separately signal sps_max_sub_layers_minus1 to indicate the maximum number of temporal sub-layers that the layer may have when the layer referring to the SPS has a nuh_layer_id value greater than zero. In this case, the value of vps_max_sub_layers_minus1 + 1, which is the number of temporal sub-layers present in the entire bitstream, is determined, not the number of temporal sub-layers of the corresponding layer.
그러나 앞에서 설명하였듯이, VPS extension에서 계층별 최대 시간 서브 레이어(temporal sub-layer)의 수를 시그널링하는 경우, nuh_layer_id 값이 0보다 큰 경우의 sps_max_sub_layers_minus1 값은 다음과 같이 sub_layers_vps_max_minus1[i] 값으로 정하는 것이 명확할 수 있다.However, as described above, when signaling the maximum number of temporal sub-layers per layer in the VPS extension, it is clear that the sps_max_sub_layers_minus1 value when the nuh_layer_id value is greater than 0 is determined as the sub_layers_vps_max_minus1 [i] value as follows. can do.
sps_max_sub_layers_minus1+1은 해당 SPS를 참조하는 계층이 0보다 큰 nuh_layer_id를 가지는 경우, 해당 계층이 가질 수 있는 최대 시간적 서브 레이어(temporal sub-layer)의 수를 나타낸다. sps_max_sub_layers_minus1은 0부터 6사이의 값을 가진다. sps_max_sub_layers_minus1이 시그널링되지 않는 경우, sps_max_sub_layers_minus1 값은 nuh_layer_id 값이 layer_id_in_nuh_[i]인 i번째 계층의 sub_layers_vps_max_minus1[i]값과 같다고 추론한다. sps_max_sub_layers_minus1 + 1 indicates the maximum number of temporal sub-layers that the layer can have when the layer referring to the SPS has nuh_layer_id greater than zero. sps_max_sub_layers_minus1 has a value between 0 and 6. If sps_max_sub_layers_minus1 is not signaled, the sps_max_sub_layers_minus1 value is inferred to be equal to the sub_layers_vps_max_minus1 [i] value of the i-th layer whose nuh_layer_id value is layer_id_in_nuh_ [i].
VPS에서의 temporal_id_nesting_flag 시그널링Temporal_id_nesting_flag signaling in VPS
VPS에서 시그널링되는 vps_temporal_id_nesting_flag는 비트스트림의 모든 계층에 대해 시간 서브 레이어의 스위칭 업(switching-up)이 가능함을 알려주기 위해 사용된다. 즉, vps_max_sub_layers_minus1 값이 0보다 큰 경우, vps_temporal_id_nesting_flag 값은 해당 VPS를 참조하는 CVS(부호화된 비디오 비트스트림)에 대해 화면간 예측을 추가적으로 제한할지 여부를 나타낸다. vps_max_sub_layers_minus1 값이 0인 경우, vps_temporal_id_nesting_flag는 1 값을 가져야만 한다.The vps_temporal_id_nesting_flag signaled in the VPS is used to indicate that switching-up of the temporal sublayer is possible for all layers of the bitstream. That is, when the value of vps_max_sub_layers_minus1 is greater than 0, the value of vps_temporal_id_nesting_flag indicates whether additional inter prediction is restricted for the CVS (coded video bitstream) referring to the corresponding VPS. If the value of vps_max_sub_layers_minus1 is 0, vps_temporal_id_nesting_flag must have a value of 1.
그러나, 복호화기나 비트스트림 추출기가 SPS를 분석하지 않고 계층별로 스위칭 업이 가능한지 여부를 아는 것도 유용할 수 있다. 따라서, VPS에서 계층별로 스위칭 업이 가능한지 여부를 나타내는 temporal_id_nesting_flag를 시그널링하는 방안을 다음 표 25와 같이 제안한다.However, it may also be useful to know whether a decoder or bitstream extractor can switch up layer by layer without analyzing the SPS. Accordingly, a method of signaling temporal_id_nesting_flag indicating whether switching up is possible for each layer in the VPS is proposed as shown in Table 25 below.
표 25는 본 발명의 실시예에 따른 계층별로 스위칭 업이 가능한지 여부를 나타내는 플래그를 시그널링하는 방법을 나타내는 신택스의 일예이다. Table 25 is an example of a syntax illustrating a method of signaling a flag indicating whether switching up is possible for each layer according to an embodiment of the present invention.
표 25
Figure PCTKR2014009580-appb-T000025
Table 25
Figure PCTKR2014009580-appb-T000025
표 25를 참조하면, vps_layer_temporal_id_nesting_present_flag 값이 1인 경우, vps_layer_temporal_id_nesting_flag[i]가 존재함을 나타낸다. vps_layer_temporal_id_nesting_present_flag 값이 0인 경우, vps_layer_temporal_id_nesting_flag[i]가 시그널링되지 않음을 나타낸다.Referring to Table 25, when the value of vps_layer_temporal_id_nesting_present_flag is 1, it indicates that vps_layer_temporal_id_nesting_flag [i] exists. If the value of vps_layer_temporal_id_nesting_present_flag is 0, this indicates that vps_layer_temporal_id_nesting_flag [i] is not signaled.
vps_layer_temporal_id_nesting_flag[ i ]는 sub_layers_vps_max_minus1[i]이 0보다 큰 경우에, i번째 계층의 픽처에 대해 화면간 예측이 추가적으로 제약되는지 여부를 나타낸다. sub_layers_vps_max_minus[i]가 0인 경우, vps_layer_temporal_id_nesting_flag[i]는 1값을 가져야만 한다. vps_layer_temporal_id_nesting_flag[i]가 시그널링되지 않는 경우, vps_layer_temporal_id_nesting_flag[i]는 vps_temporal_id_nesting_flag 값과 동일하다고 추론한다.vps_layer_temporal_id_nesting_flag [i] indicates whether inter-screen prediction is additionally restricted to the picture of the i-th layer when sub_layers_vps_max_minus1 [i] is greater than zero. When sub_layers_vps_max_minus [i] is 0, vps_layer_temporal_id_nesting_flag [i] must have a value of 1. If vps_layer_temporal_id_nesting_flag [i] is not signaled, it is inferred that vps_layer_temporal_id_nesting_flag [i] is equal to the vps_temporal_id_nesting_flag value.
추가로, SPS에서 시그널링되는 sps_temporal_id_nesting_flag의 시맨틱은 다음과 같이 수정될 수 있다.In addition, the semantics of sps_temporal_id_nesting_flag signaled in the SPS may be modified as follows.
sps_temporal_id_nesting_flag는 sps_max_sub_layers_minus1가 0보다 큰 경우에, 해당 SPS를 참조하는 CVS(부호화된 비디오 스트림)에 대해 추가적으로 화면간 예측을 제한할지 여부를 나타낸다.sps_temporal_id_nesting_flag indicates whether additional inter prediction is restricted to CVS (coded video stream) referring to the SPS when sps_max_sub_layers_minus1 is greater than zero.
vps_temporal_id_nesting_flag 값이 1인 경우, sps_temporal_id_nesting_flag 값은 1이어야만 한다. sps_max_sub_layers_minus1가 0인 경우, sps_temporal_id_nesting_flag 값은 1이여야만 한다. sps_temporal_id_nesting_flag 값이 시그널링되지 않는 경우, sps_temporal_id_nesting_flag 값은 nuh_layer_id 값이 layer_id_in_nuh[i]인 i번째 계층의 vps_layer_temporal_id_nesting_flag[i] 값과 동일하다고 추론한다.When the vps_temporal_id_nesting_flag value is 1, the sps_temporal_id_nesting_flag value must be 1. If sps_max_sub_layers_minus1 is 0, the sps_temporal_id_nesting_flag value must be 1. If the sps_temporal_id_nesting_flag value is not signaled, it is inferred that the sps_temporal_id_nesting_flag value is the same as the vps_layer_temporal_id_nesting_flag [i] value of the i-th layer whose nuh_layer_id value is layer_id_in_nuh [i].
도 5는 본 발명의 실시예에 따른 복수의 계층을 지원하는 스케일러블 비디오 코딩 구조에서 타일 관련 정보를 획득하는 방법을 개략적으로 나타내는 순서도이다. 5 is a flowchart schematically illustrating a method of acquiring tile related information in a scalable video coding structure supporting a plurality of layers according to an embodiment of the present invention.
도 5의 방법은 상술한 도 2의 영상 복호화 장치(보다 구체적으로, 엔트로피 복호화부)에 의해 수행될 수 있다. 본 실시예에서는 설명의 편의 상 복호화 장치에 의해 수행되는 것으로 기술하나, 그 역과정이 부호화 장치에 의해 수행될 수 있다. The method of FIG. 5 may be performed by the image decoding apparatus (more specifically, the entropy decoding unit) of FIG. 2 described above. In the present embodiment, it is described as being performed by the decoding apparatus for convenience of explanation, but the reverse process may be performed by the encoding apparatus.
도 5를 참조하면, 복호화 장치는 타일 관련 정보가 존재하는지 여부를 지시하는 정보를 획득한다(S500). Referring to FIG. 5, the decoding apparatus obtains information indicating whether tile related information exists (S500).
복호화 장치는 스케일러블 비트스트림을 수신하고, 이를 엔트로피 디코딩하여 타일 관련 정보가 존재하는지 여부를 지시하는 정보를 획득할 수 있다. The decoding apparatus may receive a scalable bitstream and entropy decode it to obtain information indicating whether tile related information is present.
타일 관련 정보가 존재하는지 여부를 지시하는 정보는, 상술한 바와 같이, 계층 내 픽처들 중 두 개 이상의 타일을 포함하는 픽처가 존재하는지 여부를 나타내는 정보일 수 있다. The information indicating whether the tile related information exists may be information indicating whether a picture including two or more tiles among the pictures in the layer exists as described above.
예컨대, 계층 내 픽처들 중 두 개 이상의 타일을 포함하는 픽처가 존재하는 경우, 타일 관련 정보가 존재하는지 여부를 지시하는 정보는 타일 관련 정보가 존재하는 것으로 설정될 수 있다. 반면, 계층 내 픽처들 중 두 개 이상의 타일을 포함하는 픽처가 존재하지 않는 경우, 즉 계층 내 모든 픽처들이 한 개의 타일만을 포함하는 있는 경우, 타일 관련 정보가 존재하는지 여부를 지시하는 정보는 타일 관련 정보가 존재하지 않는 것으로 설정될 수 있다. For example, when there is a picture including two or more tiles among the pictures in the layer, information indicating whether tile related information exists may be set as tile related information. On the other hand, when there is no picture including two or more tiles among the pictures in the layer, that is, when all the pictures in the layer include only one tile, the information indicating whether the tile related information exists is related to the tile The information may be set to no present.
복호화 장치는 타일 관련 정보가 존재하는지 여부를 지시하는 정보를 기반으로 타일 관련 정보를 획득한다(S510).The decoding apparatus obtains tile related information based on information indicating whether tile related information exists (S510).
비트스트림 내 타일 관련 정보가 존재하는 것으로 지시된 경우, 복호화 장치는 타일 관련 정보를 엔트로피 디코딩함으로써 획득할 수 있다. If it is indicated that the tile related information exists in the bitstream, the decoding apparatus may obtain the entropy decoding of the tile related information.
타일 관련 정보는, 현재 계층의 픽처에 존재하는 타일의 위치가 현재 계층이 참조하는 참조 계층의 픽처에 존재하는 타일의 위치와 대응되는지 여부를 나타내는 정보일 수 있다. 예컨대, 상술한 바와 같이, 타일 관련 정보는 tile_boundaries_aligned_flag일 수 있다. The tile related information may be information indicating whether the position of the tile existing in the picture of the current layer corresponds to the position of the tile existing in the picture of the reference layer referenced by the current layer. For example, as described above, the tile related information may be tile_boundaries_aligned_flag.
상기 타일 관련 정보가 존재하는지 여부를 지시하는 정보와 타일 관련 정보는 VPS, PPS, SPS 등을 통해 부호화기로부터 전송될 수 있다. Information indicating whether the tile related information exists and the tile related information may be transmitted from the encoder through the VPS, PPS, SPS and the like.
상술한 본 발명의 실시예에 따른 타일 관련 정보가 존재하는지 여부를 지시하는 정보를 기반으로 타일 관련 정보를 획득하는 과정은 표 1 내지 표 7에 기술된 신택스와 같이 수행될 수도 있고, 상기 실시 예들의 여러 조합으로도 적용 가능하다. The process of acquiring the tile related information based on the information indicating whether the tile related information exists according to the above-described embodiment of the present invention may be performed as in the syntaxes described in Tables 1 to 7, or It is also applicable to several combinations of these.
도 6은 본 발명의 실시예에 따른 복수의 계층을 지원하는 스케일러블 비디오 코딩 구조에서 표현 포맷 관련 정보를 획득하는 방법을 개략적으로 나타내는 순서도이다. 6 is a flowchart schematically illustrating a method of acquiring representation format related information in a scalable video coding structure supporting a plurality of layers according to an embodiment of the present invention.
도 6의 방법은 상술한 도 2의 영상 복호화 장치(보다 구체적으로, 엔트로피 복호화부)에 의해 수행될 수 있다. 본 실시예에서는 설명의 편의 상 복호화 장치에 의해 수행되는 것으로 기술하나, 그 역과정이 부호화 장치에 의해 수행될 수 있다.The method of FIG. 6 may be performed by the image decoding apparatus (more specifically, the entropy decoding unit) of FIG. 2 described above. In the present embodiment, it is described as being performed by the decoding apparatus for convenience of explanation, but the reverse process may be performed by the encoding apparatus.
도 6을 참조하면, 복호화 장치는 색차 포맷(chroma format) 관련 정보와 비트 깊이(bit-depth) 관련 정보가 존재하는지 여부를 지시하는 정보를 획득한다(S600).Referring to FIG. 6, the decoding apparatus obtains information indicating whether color information related to chroma format and bit depth related information exist (S600).
복호화 장치는 스케일러블 비트스트림을 수신하고, 이를 엔트로피 디코딩하여 색차 포맷 관련 정보와 비트 깊이 관련 정보가 존재하는지 여부를 지시하는 정보를 획득할 수 있다. The decoding apparatus may receive a scalable bitstream and entropy decode it to obtain information indicating whether color difference format related information and bit depth related information exist.
색차 포맷 관련 정보와 비트 깊이 관련 정보가 존재하는지 여부를 지시하는 정보는 표 19 내지 표 23을 통해 설명한 바 있으며, 예컨대 rep_format_idx_present_flag, depth_chroma_vps_present_flag, chroma_size_vps_present_flag, bit_depth_vps_present_flag 등일 수 있다. Information indicating whether the color difference format related information and the bit depth related information exist has been described with reference to Tables 19 to 23, and may be, for example, rep_format_idx_present_flag, depth_chroma_vps_present_flag, chroma_size_vps_present_flag, and bit_depth_vps_present_flag.
복호화 장치는 색차 포맷 관련 정보와 비트 깊이 관련 정보가 존재하는지 여부를 지시하는 정보를 기반으로 색차 포맷 관련 정보와 비트 깊이 관련 정보를 획득한다(S610). The decoding apparatus obtains the color difference format related information and the bit depth related information based on the information indicating whether the color difference format related information and the bit depth related information exist.
비트스트림 내 색차 포맷 관련 정보 및 비트 깊이 관련 정보가 존재하는 것으로 지시된 경우, 복호화 장치는 색차 포맷 관련 정보 및 비트 깊이 관련 정보를 엔트로피 디코딩함으로써 획득할 수 있다.If it is indicated that color difference format related information and bit depth related information exist in the bitstream, the decoding apparatus may obtain the entropy decoding by using the color difference format related information and the bit depth related information.
색차 포맷 관련 정보는 색차와 루마(luma) 샘플링에 관한 정보로서, 모노크롬 샘플링, 4:2:0 샘플링, 4:2:2 샘플링, 4:4:4 샘플링 색차 포맷이 존재한다. The color difference format related information is information about color difference and luma sampling, and there are monochrome sampling, 4: 2: 0 sampling, 4: 2: 2 sampling, and 4: 4: 4 sampling color difference formats.
모토크롬 샘플링은 루마 배열(array)로만 구성된 샘플 배열을 말한다. 4:2:0 샘플링은 두 개의 색차 배열 각각이 루마 배열의 1/2 높이와 1/2 너비를 가지는 것을 말한다. 4:2:2 샘플링은 두 개의 색차 배열 각각이 루마 배열의 높이와 1/2 너비를 가지는 것을 말한다. 4:4:4 샘플링은 두 개의 색차 배열 각각이 루마 배열의 높이와 너비와 같거나, 모노크롬 샘플링으로 처리되는 것을 말한다. Motochrome sampling refers to a sample array consisting only of luma arrays. 4: 2: 0 sampling means that each of the two color difference arrays is half the height and half the width of the luma array. 4: 2: 2 sampling means that each of the two chroma arrays has a height and a half width of the luma array. 4: 4: 4 Sampling means that each of the two color difference arrays is equal to the height and width of the luma array, or treated as monochrome sampling.
비트스트림 내 색차 포맷 관련 정보 및 비트 깊이 관련 정보가 존재하지 않는 것으로 지시된 경우, 색차 포맷 관련 정보는 이전에 시그널링된 색차 포맷 관련 정보를 참조하며, 비트 깊이 관련 정보는 이전에 시그널링된 비트 깊이 관련 정보를 참조할 수 있다. If it is indicated that color difference format related information and bit depth related information in the bitstream do not exist, the color difference format related information refers to previously signaled color difference format related information, and the bit depth related information is related to the previously signaled bit depth related information. You can refer to the information.
상기 색차 포맷 관련 정보와 비트 깊이 관련 정보가 존재하는지 여부를 지시하는 정보, 색차 포맷 관련 정보, 비트 깊이 관련 정보는 VPS, PPS, SPS, 표현 포맷과 관련된 정보들을 기술하는 신택스인 rep_format() 등을 통해 부호화기로부터 전송될 수 있다. The information indicating whether the color difference format related information and the bit depth related information exist, the color difference format related information, and the bit depth related information include a rep_format () which is a syntax for describing information related to VPS, PPS, SPS, and expression format. Can be transmitted from the encoder.
상술한 본 발명의 실시예에 따른 색차 포맷 관련 정보와 비트 깊이 관련 정보가 존재하는지 여부를 지시하는 정보를 기반으로 색차 포맷 관련 정보 및 비트 깊이 관련 정보를 획득하는 과정은 표 19 내지 표 23을 통해 기술한 바 있으므로, 여기서는 구체적인 설명을 생략한다. The process of acquiring the color difference format related information and the bit depth related information based on the information indicating whether the color difference format related information and the bit depth related information exist according to the above-described embodiments of the present invention is performed through Tables 19 to 23. Since it has been described, a detailed description thereof will be omitted here.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.The method according to the present invention described above may be stored in a computer-readable recording medium that is produced as a program for execution on a computer, and examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape , Floppy disks, optical data storage devices, and the like, and also include those implemented in the form of carrier waves (eg, transmission over the Internet).
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. In addition, functional programs, codes, and code segments for implementing the method can be easily inferred by programmers in the art to which the present invention belongs.
상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.In the above embodiments, the methods are described based on a flowchart as a series of steps or blocks, but the present invention is not limited to the order of steps, and certain steps may occur in a different order or at the same time than other steps described above. Can be. Also, one of ordinary skill in the art appreciates that the steps shown in the flowcharts are not exclusive, that other steps may be included, or that one or more steps in the flowcharts may be deleted without affecting the scope of the present invention. I can understand.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 특허청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and changes without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

Claims (9)

  1. 복수의 계층을 지원하는 영상 복호화 방법에 있어서,In the video decoding method that supports a plurality of layers,
    타일 관련 정보가 존재하는지 여부를 지시하는 정보를 획득하는 단계; 및Obtaining information indicating whether tile related information exists; And
    상기 타일 관련 정보가 존재하는지 여부를 지시하는 정보를 기반으로 상기 타일 관련 정보를 획득하는 단계를 포함하며,Acquiring the tile related information based on information indicating whether the tile related information exists;
    상기 타일 관련 정보는, 현재 계층의 픽처에 존재하는 타일의 위치가 상기 현재 계층이 참조하는 참조 계층의 픽처에 존재하는 타일의 위치와 대응되는지(collocated) 여부를 나타내는 정보인 것을 특징으로 하는 영상 복호화 방법.The tile related information is information indicating whether a position of a tile existing in a picture of a current layer corresponds to a position of a tile existing in a picture of a reference layer referenced by the current layer. Way.
  2. 제1항에 있어서,The method of claim 1,
    상기 타일 관련 정보가 존재하는지 여부를 지시하는 정보는,The information indicating whether the tile related information exists,
    계층 내 픽처들 중 두 개 이상의 타일을 포함하는 픽처가 존재하는지 여부에 따라 상기 타일 관련 정보가 존재하는지 여부가 결정되는 것을 특징으로 하는 영상 복호화 방법.And determining whether the tile related information exists according to whether a picture including two or more tiles among the pictures in the layer exists.
  3. 제2항에 있어서,The method of claim 2,
    계층 내 픽처들 중 두 개 이상의 타일을 포함하는 픽처가 존재하는 경우, 상기 타일 관련 정보가 존재하는지 여부를 지시하는 정보는 상기 타일 관련 정보가 존재하는 것으로 지시하는 것을 특징으로 하는 영상 복호화 방법.And when there is a picture including two or more tiles among the pictures in the layer, information indicating whether the tile related information exists indicates that the tile related information exists.
  4. 제2항에 있어서,The method of claim 2,
    계층 내 픽처들 중 두 개 이상의 타일을 포함하는 픽처가 존재하지 않는 경우, 상기 타일 관련 정보가 존재하는지 여부를 지시하는 정보는 상기 타일 관련 정보가 존재하지 않는 것으로 지시하는 것을 특징으로 하는 영상 복호화 방법.If there is no picture including two or more tiles among the pictures in the layer, the information indicating whether the tile related information exists indicates that the tile related information does not exist. .
  5. 복수의 계층을 지원하는 영상 복호화 방법에 있어서,In the video decoding method that supports a plurality of layers,
    색차 포맷(chroma format) 관련 정보와 비트 깊이(bit-depth) 관련 정보가 존재하는지 여부를 지시하는 정보를 획득하는 단계; 및Obtaining information indicating whether color information related to chroma format and bit depth related information exist; And
    상기 색차 포맷 관련 정보와 비트 깊이 관련 정보가 존재하는지 여부를 지시하는 정보를 기반으로, 상기 색차 포맷 관련 정보와 상기 비트 깊이 관련 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.And obtaining the color difference format related information and the bit depth related information based on the information indicating whether the color difference format related information and the bit depth related information exist.
  6. 제5항에 있어서,The method of claim 5,
    상기 색차 포맷 관련 정보가 존재하지 않는 경우, If the color difference format related information does not exist,
    상기 색차 포맷 관련 정보는 이전에 시그널링된 색차 포맷 관련 정보를 참조하는 것을 특징으로 하는 영상 복호화 방법.And the chrominance format related information refers to previously signaled chrominance format related information.
  7. 제5항에 있어서,The method of claim 5,
    상기 비트 깊이 관련 정보가 존재하지 않는 경우,If the bit depth related information does not exist,
    상기 비트 깊이 관련 정보는 이전에 시그널링된 비트 깊이 관련 정보를 참조하는 것을 특징으로 하는 영상 복호화 방법.The bit depth related information refers to previously signaled bit depth related information.
  8. 복수의 계층을 지원하는 영상 복호화 장치에 있어서,In the video decoding apparatus supporting a plurality of layers,
    타일 관련 정보가 존재하는지 여부를 지시하는 정보를 획득하고, Obtaining information indicating whether tile related information exists,
    상기 타일 관련 정보가 존재하는지 여부를 지시하는 정보를 기반으로 상기 타일 관련 정보를 획득하는 엔트로피 복호화부를 포함하며,An entropy decoder configured to obtain the tile related information based on information indicating whether the tile related information exists;
    상기 타일 관련 정보는, 현재 계층의 픽처에 존재하는 타일의 위치가 상기 현재 계층이 참조하는 참조 계층의 픽처에 존재하는 타일의 위치와 대응되는지(collocated) 여부를 나타내는 정보인 것을 특징으로 하는 영상 복호화 장치.The tile related information is information indicating whether a position of a tile existing in a picture of a current layer corresponds to a position of a tile existing in a picture of a reference layer referenced by the current layer. Device.
  9. 복수의 계층을 지원하는 영상 복호화 장치에 있어서,In the video decoding apparatus supporting a plurality of layers,
    색차 포맷(chroma format) 관련 정보와 비트 깊이(bit-depth) 관련 정보가 존재하는지 여부를 지시하는 정보를 획득하고,Acquires information indicating whether chroma-format information and bit-depth-related information exist;
    상기 색차 포맷 관련 정보와 비트 깊이 관련 정보가 존재하는지 여부를 지시하는 정보를 기반으로, 상기 색차 포맷 관련 정보와 상기 비트 깊이 관련 정보를 획득하는 엔트로피 복호화부를 포함하는 것을 특징으로 하는 영상 복호화 장치.And an entropy decoding unit configured to obtain the color difference format related information and the bit depth related information based on the information indicating whether the color difference format related information and the bit depth related information exist.
PCT/KR2014/009580 2013-10-14 2014-10-13 Multilayer-based image encoding/decoding method and apparatus WO2015056941A1 (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201480062557.6A CN105723712B (en) 2013-10-14 2014-10-13 Image coding/decoding method and equipment based on multilayer
CN201910476959.5A CN110225349B (en) 2013-10-14 2014-10-13 Video encoding/decoding method and computer readable recording medium for supporting multiple layers
US15/028,570 US10091519B2 (en) 2013-10-14 2014-10-13 Multilayer-based image encoding/decoding method and apparatus
US16/040,222 US10701382B2 (en) 2013-10-14 2018-07-19 Multilayer-based image encoding/decoding method and apparatus
US16/039,766 US10701379B2 (en) 2013-10-14 2018-07-19 Multilayer-based image encoding/decoding method and apparatus
US16/039,996 US10701380B2 (en) 2013-10-14 2018-07-19 Multilayer-based image encoding/decoding method and apparatus
US16/040,119 US10701381B2 (en) 2013-10-14 2018-07-19 Multilayer-based image encoding/decoding method and apparatus

Applications Claiming Priority (14)

Application Number Priority Date Filing Date Title
KR10-2013-0122252 2013-10-14
KR20130122252 2013-10-14
KR10-2013-0124205 2013-10-17
KR20130124205 2013-10-17
KR20130127469 2013-10-25
KR10-2013-0127469 2013-10-25
KR20130128202 2013-10-28
KR10-2013-0128202 2013-10-28
KR20140000426 2014-01-02
KR10-2014-0000426 2014-01-02
KR10-2014-0004131 2014-01-13
KR20140004131 2014-01-13
KR1020140137482A KR102290091B1 (en) 2013-10-14 2014-10-13 Method and apparatus for video encoding/decoding based on multi-layer
KR10-2014-0137482 2014-10-13

Related Child Applications (5)

Application Number Title Priority Date Filing Date
US15/028,570 A-371-Of-International US10091519B2 (en) 2013-10-14 2014-10-13 Multilayer-based image encoding/decoding method and apparatus
US16/039,996 Continuation US10701380B2 (en) 2013-10-14 2018-07-19 Multilayer-based image encoding/decoding method and apparatus
US16/039,766 Continuation US10701379B2 (en) 2013-10-14 2018-07-19 Multilayer-based image encoding/decoding method and apparatus
US16/040,119 Continuation US10701381B2 (en) 2013-10-14 2018-07-19 Multilayer-based image encoding/decoding method and apparatus
US16/040,222 Continuation US10701382B2 (en) 2013-10-14 2018-07-19 Multilayer-based image encoding/decoding method and apparatus

Publications (1)

Publication Number Publication Date
WO2015056941A1 true WO2015056941A1 (en) 2015-04-23

Family

ID=52828327

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/009580 WO2015056941A1 (en) 2013-10-14 2014-10-13 Multilayer-based image encoding/decoding method and apparatus

Country Status (1)

Country Link
WO (1) WO2015056941A1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017007208A1 (en) * 2015-07-03 2017-01-12 에스케이텔레콤 주식회사 Device and method for extracting image from high-resolution image
JP2017513352A (en) * 2014-03-18 2017-05-25 クゥアルコム・インコーポレイテッドQualcomm Incorporated Derivation of SPS time ID nesting information for multi-layer bitstreams
WO2018004317A1 (en) * 2016-07-01 2018-01-04 에스케이텔레콤 주식회사 Image bitstream generation method and device for high resolution image streaming
US10623816B2 (en) 2015-07-03 2020-04-14 Sk Telecom Co., Ltd. Method and apparatus for extracting video from high resolution video
US10743000B2 (en) 2016-07-01 2020-08-11 Sk Telecom Co., Ltd. Video bitstream generation method and device for high-resolution video streaming
CN114208165A (en) * 2019-08-10 2022-03-18 北京字节跳动网络技术有限公司 Buffer management in sub-picture decoding
US11956432B2 (en) 2019-10-18 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Interplay between subpictures and in-loop filtering
US11962771B2 (en) 2019-10-18 2024-04-16 Beijing Bytedance Network Technology Co., Ltd Syntax constraints in parameter set signaling of subpictures

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012088211A1 (en) * 2010-12-21 2012-06-28 Docomo Communications Laboratories Usa Inc. Enhanced intra-prediction coding using planar representations
WO2013042884A1 (en) * 2011-09-19 2013-03-28 엘지전자 주식회사 Method for encoding/decoding image and device thereof
US20130083850A1 (en) * 2008-07-02 2013-04-04 Samsung Electronics Co., Ltd. Image encoding method and device, and decoding method and device therefor
KR20130047650A (en) * 2011-10-28 2013-05-08 삼성전자주식회사 Method and apparatus for intra prediction for video
KR20130079261A (en) * 2011-12-30 2013-07-10 (주)휴맥스 3d image encoding method and apparatus, and decoding method and apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130083850A1 (en) * 2008-07-02 2013-04-04 Samsung Electronics Co., Ltd. Image encoding method and device, and decoding method and device therefor
WO2012088211A1 (en) * 2010-12-21 2012-06-28 Docomo Communications Laboratories Usa Inc. Enhanced intra-prediction coding using planar representations
WO2013042884A1 (en) * 2011-09-19 2013-03-28 엘지전자 주식회사 Method for encoding/decoding image and device thereof
KR20130047650A (en) * 2011-10-28 2013-05-08 삼성전자주식회사 Method and apparatus for intra prediction for video
KR20130079261A (en) * 2011-12-30 2013-07-10 (주)휴맥스 3d image encoding method and apparatus, and decoding method and apparatus

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017513352A (en) * 2014-03-18 2017-05-25 クゥアルコム・インコーポレイテッドQualcomm Incorporated Derivation of SPS time ID nesting information for multi-layer bitstreams
US11388441B2 (en) 2014-03-18 2022-07-12 Qualcomm Incorporated Derivation of SPS temporal ID nesting information for multi-layer bitstreams
WO2017007208A1 (en) * 2015-07-03 2017-01-12 에스케이텔레콤 주식회사 Device and method for extracting image from high-resolution image
US10623816B2 (en) 2015-07-03 2020-04-14 Sk Telecom Co., Ltd. Method and apparatus for extracting video from high resolution video
WO2018004317A1 (en) * 2016-07-01 2018-01-04 에스케이텔레콤 주식회사 Image bitstream generation method and device for high resolution image streaming
US10743000B2 (en) 2016-07-01 2020-08-11 Sk Telecom Co., Ltd. Video bitstream generation method and device for high-resolution video streaming
US10893278B2 (en) 2016-07-01 2021-01-12 Sk Telecom Co., Ltd. Video bitstream generation method and device for high-resolution video streaming
CN114208165A (en) * 2019-08-10 2022-03-18 北京字节跳动网络技术有限公司 Buffer management in sub-picture decoding
CN114208165B (en) * 2019-08-10 2023-12-15 北京字节跳动网络技术有限公司 Buffer management in sub-picture decoding
US11956432B2 (en) 2019-10-18 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Interplay between subpictures and in-loop filtering
US11962771B2 (en) 2019-10-18 2024-04-16 Beijing Bytedance Network Technology Co., Ltd Syntax constraints in parameter set signaling of subpictures

Similar Documents

Publication Publication Date Title
WO2013157828A1 (en) Decoding method and device for bit stream supporting plurality of layers
WO2014003379A1 (en) Image decoding method and apparatus using same
WO2017086746A1 (en) Method and apparatus for encoding/decoding in-screen prediction mode
WO2015056941A1 (en) Multilayer-based image encoding/decoding method and apparatus
WO2014092407A1 (en) Method for decoding image and apparatus using same
WO2014010943A1 (en) Method and device for encoding/decoding image
WO2014038906A1 (en) Image decoding method and apparatus using same
WO2014104725A1 (en) Method for encoding/decoding images, and apparatus using same
WO2015009036A1 (en) Method and apparatus for predicting inter-layer based on temporal sub-layer information
WO2020204413A1 (en) Video or image coding for correcting restoration picture
WO2021040492A1 (en) Method and apparatus for coding transform coefficient in video/image coding system
WO2020231139A1 (en) Luma mapping- and chroma scaling-based video or image coding
WO2014107069A1 (en) Image encoding/decoding method and device
WO2020017785A1 (en) Image decoding method using intra prediction related information in image coding system and apparatus therefor
WO2021040319A1 (en) Method and apparatus for deriving rice parameter in video/image coding system
WO2020180122A1 (en) Video or image coding on basis of conditionally parsed alf model and reshaping model
WO2021066618A1 (en) Image or video coding based on signaling of transform skip- and palette coding-related information
WO2021132963A1 (en) Nal unit type-based image or video coding for slice or picture
WO2021066609A1 (en) Image or video coding based on transform skip- and palette coding-related advanced syntax element
WO2021241963A1 (en) Image coding method based on poc information and non-reference picture flag in video or image coding system
WO2014007520A1 (en) Method and apparatus for coding/decoding image
WO2020185036A1 (en) Method and apparatus for processing video signal
WO2021025526A1 (en) Video coding method on basis of transformation, and device therefor
WO2020190085A1 (en) Video or image coding based on in-loop filtering
WO2013169049A1 (en) Inter-layer prediction method and apparatus using same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14853492

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15028570

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14853492

Country of ref document: EP

Kind code of ref document: A1