CN1157080A - 用于编码视频图像的装置和方法 - Google Patents

用于编码视频图像的装置和方法 Download PDF

Info

Publication number
CN1157080A
CN1157080A CN96190638.3A CN96190638A CN1157080A CN 1157080 A CN1157080 A CN 1157080A CN 96190638 A CN96190638 A CN 96190638A CN 1157080 A CN1157080 A CN 1157080A
Authority
CN
China
Prior art keywords
amplitude
coefficient
bit rate
value
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN96190638.3A
Other languages
English (en)
Inventor
G·J·基西曼
W·M·J·库尼
E·W·萨洛蒙斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of CN1157080A publication Critical patent/CN1157080A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

通过在传统的量化之后对所选的系数进行修正,例如将这些系数表示为零,可以在很大程度上改善MPEG编码的视频信号的图像质量。这种修正是使得对于拉格朗日系数λ的一个给定值来说,拉格朗日值D+λR(D是失真,R是比特速率)是最小值。相对简单的处理被公开,其中的λ值是利用将要被编码的图像的统计分析式(6)计算的。这种统计分析包括以系数的幅度分布为基础的对RD曲线的估计。所寻找到的λ值是该曲线在所希望的比特速率处的导数。

Description

用于编码视频图像的装置和方法
发明的技术领域
本发明涉及用于编码视频图像的装置,它包括:用于将像素数据块变换成系数的图像变换器;用于对所说的系数进行编码的装置,比特速率R和编码图像的失真D由一个编码参数所决定;用于从一系列编码参数值中选择之一的装置(3),以便对于一个所加的λ值有取和D+λR的最小值;以及一个计算λ值的计算装置。本发明还涉及一种编码视频信号的方法。
发明背景
上文中提到的装置在Ramchandran和Vetterli的文章″具有完全的JPEG/MPEG解码器兼容性的失真率最优快速阈值化″(″Rate-DistorionOptimal fast thresholding with complete JPEG/MPEG DecoderCompatiblity″)(出版于1994年9月的IEEE图像处理专刊的第三卷的第五期)中有所公开。该文章公开了一种用于改善MPEG的编码器的图像质量的方法。如同在图像编码领域中所公知的那样,MPEG确定了一个编码器包括为了获得系数的一个图像变换器和用于将该系数成像为一个相邻量化电平的一个量化器。量化的电平构成一个编码参数。根据这一现有技术的方法,通过对于量化的系数进行阈值化,即如果速率/失真值是良好的话,就通过选择量化电平零而不选择传统的量化电平的方法来改善图像质量。
参考图1对现有技术作简要的总结。图中的参考号码100表示一个速率-失真曲线(在下简称RD曲线)对应量化步长尺度Δ的一个范围。通过进行阈值化,由于不多的非零的系数被发送,所以,比特率将是较低的,而且失真将会加大。图1中,曲线101表示阈值化的操作是以按照步长尺度是Δ1量化的系数执行的RD曲线,而曲线102表示阈值化的操作是以按照步长尺度是Δ2量化的系数执行的RD曲线。曲线101和102在下将被参考为进行阈值化的曲线。它们是通过确定针对″拉格朗日系数″λ的不同的值的被称为″拉格朗日值″的最小值而获得的。拉格朗日值由下式确定:
L( b,λ)=D( b)+λ.R( b)
在该表达式中, b代表一套将要被编码的系数值。D( b)和R( b)分别是对这些系数进行编码时的失真和比特率。拉格朗日系数λ是大于或等于0的自然数。对于每一个λ,可以找到产生出使得L( b,λ)是最小值的一套 b系数的一个阈值化操作。加到这一设置的失真D( b)和比特速率R( b)构成了在阈值化曲线上的一个点。起始点(λ=0)总是在曲线100上。随着λ的增加,失真将会变大且比特速率将会变低。如图1中清楚可见,一个给定的比特速率R1可以通过两个方法实现:(i)利用步长尺度是Δ2对系数进行,并将全部的量化系数发送;和(ii)利用量化步长尺度较小的Δ1对系数进行量化,并且阈值化选择的系数。很明显,选择(ii)更为有利,因为它产生较小的失真。
曲线101和102只是示出的两种主要可能的阈值化曲线。图中由103示出的包络构成了对于给定图像的最佳RD曲线。它完全是在曲线100之下。换句话说,以任何所希望的比特速率,所施行的阈值化可以导致产生出比不进行阈值化时更小的失真的量化步长尺度Δ和拉格朗日系数λ。然而从计算的角度来看,这种编码器的最佳操作点的确定的方式是非常繁琐的。在这样的一个繁琐的计算过程中,一套最佳的系数针对大量的λ的值而被找到。
发明目的及概述
本发明的目的是提供一个编码器,它以不繁琐的方式确定最佳的操作点。
根据本发明,其装置的特征在于计算装置包括:用于测量系数幅度分布的装置;用于从所说的幅度分布对于多个编码参数值进行比特速率R和失真D的估计的装置,以便获得估计的RD曲线;和用于在所说的RD曲线的所选点计算λ=-dD/dR的装置。
本发明是基于这样的认识,即针对所希望的比特速率而要寻找的拉格朗日系数λ是等于RD曲线的导数;并利用了这样的事实,即RD曲线的最终的一个好的近似能够从针对每一个空间频率的系数幅度的分布得出。所说的幅度分布可方便地通过将被编码图像的统计预分析而被测量到。例如,当所说空间频率的一个系数指示呈现是相同的幅度时,该幅度分布能够通过针对每一个空间频率的倍数的计数而获得。
在根据本发明的一个装置的实施例中,采用用于估计比特速率R的装置当一个系数呈现所说的幅度由幅度分布所确定时,针对所有的空间频率,对于比特数的乘积作累积相加,以便利用出现的数目编码一个给定的幅度。另外,采用用于估计比特速率R的装置,以便从所说的幅度分布计算平均信息量,所说的平均信息量表示比特速率R。
本发明的这些和其它方面将从结合附图的描述中变得显见。
附图简述
图1是解释现有技术的装置的速率失真的曲线。
图2是根据本发明的用于编码一个视频信号的装置。
图3是图2中所示的λ计算器的框图。
图4是说明图3的计算电路的操作的流程图。
图5是说明图3的λ计算器的操作的一些平均信息量-失真关系的示意图。
图6和图7是λ计算器的另外的实施例的框图。
图8是解释图2的量化器的操作的量化图。
图9和10是说明图2的量化器的操作的流程图。
实施例的说明
图2示出了根据本发明的视频信号的编码装置。该装置包括一个延迟单元1、图像变换器2、量化器3、可变长度编码电路4、比特速率控制电路5和λ计算器6。本发明的一个重要的方面是,视频信号能够按照MPEG的标准编码。为此目的,本实施例中的图像变换器2、可变长度编码器4和比特速率控制电路5与通常公知的MPEG编码器的对应单元完全一样,因此不对这些部分详细描述。为了简化起见,图2只示出了对于帧内编码所需要的单元。本发明也可以用于帧间编码。所采用的图像首先从运动补偿的图像中减去,而后对由此获得的剩余部分编码。
在图像变换器2中,所加的图像按数据块顺序作图像变换。在本实施例中,采用的是离散余弦变换(DCT)。但是,任何适当的频率变换都可以采用,包括子带滤波。DCT变换将例如8*8像素的每一个变换成8*8系数ci的数据块,其中i=0...63,表示图像细节增加的等级。
DCT系数ci加到量化器3,它以离散的量化级成像每一个系数ci。不同的量化级相距一个量化步长尺度Δi。为了与MPEG标准兼容,按照存储在量化矩阵中的加权因数Wi,量化步长尺度Δi是系数相关的。该量化步长尺度是由比特速率控制电路5逐个数据块地控制的,该电路5将量化步长尺度Δ加到量化器。量化步长尺度Δi是由下式表示:
Δi=c.Wi
其中i表示空间频率,Wi是针对所说的空间频率的加权因数,而c是常数。对于帧内(I)和帧间(P,B)的图像,量化矩阵一般是不同的。
在传统的MPEG编码器中,量化器在两个最接近的量化等级之一上成像每一个系数ci。根据本发明,量化器3也接收拉格朗日系数λ。根据λ,量化器以不同于最接近的量化级别的等级成像系数ci。更具体地说,如果一个不同的级别在一个速率失真的情形中更为有效,则量化器就将强制一个系数以呈现一个不同的级别。量化器3和λ计算器6的实施例将作更详细的讨论。
已量化的qi系数被顺序地加到一个可变长度编码电路4。对于每一个非零的系数和可能的与MPEG标准相一致的在先的非零系数序列,编码电路4形成一个可变长度的码字。在缓存(未示出)之后,这些形成的码字经过一个发送信道发送。这些码字也被加到比特速率控制电路5。该控制电路以一种已知的方式控制量化步长尺度Δ,其方式是使每一个数据块的比特数总是尽可能与预定的目标Rt保持一致。
拉格朗日系数λ由λ计算器加到量化器。通过分析所要编码的图像,计算器计算λ。最终,视频信号被直接加到λ计算器,而信号的实际的编码(变换,量化,可变长度编码)是发生在其经延迟单元1延迟了一个图像周期之后。
图3示出了λ计算器6的框图。该计算器包括一个图像变换器600、一个直方图形成电路601、一个估计电路602和一个计算电路603。图像变换器600与图2中的图像变换器2完全一样,并提供针对每一个数据块的64个系数ci(i=0...63)。i表示空间频率。这些系数具有在范围[-2047,2048]之间的一个幅度n。针对每一个空间频率i,直方图形成电路601形成一个系数的幅度分布的直方图。例如,当系数ci呈现值n并记录在一个二维阵列hi.n中时,电路601计数其次数。直方图形成电路601的更复杂的实施例将在后面描述。利用直方图hi.n,RD估计电路602产生对于RD曲线的一个估计。最终,计算电路603从估计的RD曲线计算拉格朗日系数λ。事实上,寻找的拉格朗日系数λ是由在给定的目标比特速率或一个给定的失真的RD曲线的导数-dD/dR所构成。
参考图4所示的操作流程图解释RD估计电路602的操作。在步骤40,设量化步长尺度Δ为一个值。随后在步骤41计算针对这一量化步长尺度的比特速率R和失真D。下面将详细地讨论步骤41的具体过程。如果步骤41是针对大数目的量化步长尺度Δ执行的,则将产生图5中由500表示的RD曲线。可是,没有必要获得全部的RD曲线。由于拉格朗日系数λ是在对应于目标比特速率Rt的点P处的导数-dD/dR(见图5),所以只发现在点P处附近的RD曲线部分。已知的数值算法,例如″平分算法″可被用于P点的确定。这在图4中利用步骤42表示,其中核查在当前的量化步长尺度的比特速率R是否足以等于比特Rt的目标数目。只要是否定的情况,就要在步骤40选择不同的量化步长尺度Δ并在步骤41以不同的量化步长尺度执行计算。应该记住,RD曲线的相关部分能够从可得到的直方图hi.n计算。没有必要为了R和D的每一个计算再次变换图像。
现在来描述计算失真D和计算比特速率R的两个例子(图4中的步骤41)。前面已经提到过,量化步长尺度Δ是指示离散的量化等级之间的距离Δi。RD估计电路602从hi,n确定系数ci的幅度n对应于应该量化等级rk的频繁程度,即幅度n在间隔[tk,tk+1]中的频繁程度。系数ci以在tk<=n<tk+1的幅度出现的数目是 Σ n = C k t k + 1 h i , n
经常设tk=rk-1/2Δi和tk+1=rk+1/2Δi,但这并不必要。还应该注意到,Δi对于I图像和P图像或B图像可以是不同的。
每一个具体值引入一种失真。用于所说的失真的一种度量是(rk-n)2。所以,对应于应该特定的空间频率的全部N个系数ci的失真是: d i = 1 N Σ k Σ n = t k t k + 1 h i , n · ( I k - n ) 2
对于当前的图像的失真则是: D = Σ i = 0 63 d i
在计算比特速率R的第一实施例中,所说的比特速率被假设是与图像的平均信息量H相均衡的。该平均信息量是以下面的方式来计算。呈现量化等级rk的系数ci的几率pk是从如下的直方图hi,n计算的: P k = 1 N Σ n = t k t k + 1 h i , n
系数ci的平均信息量Hi和图像的平均信息量H分别计算如下: H i = Σ k P k · log ( P k ) H = Σ i = 0 63 H i ,
平均信息量H和失真D都是当前量化步长尺度Δ的函数。应记住,图5中的RD曲线500是针对各种步长尺度的对于H和D的计算而得到的。在编码了相关的图像之后,对于实际的RD曲线,该RD曲线500看上去是对应于十分满意的情况。
在计算比特速率R的第二个实施例中,考虑了由图2中的可变长度编码电路4所使用的可变长度表。DC系数(即对于i=0的系数ci)被利用DC编码表单独编码。该编码表说明用于每一个DC幅度n的应该码字尺度In。记住,具有幅度n的DC系数c0的出现的次数被存储在直方图h0,n中,将被编码的全部的DC系数的比特数目是: R dc = Σ n l n · h 0 , n
AC系数(对于i≠0的系数ci)以不同的方式编码。MPEG标准包括说明″事件″的码字长度的一个AC编码表,每一个事件具有一个值(非零系数的量化等级rk)和一个在所说的非零系数之前的零系数的运行长度。事件的数目和它们的值可以从直方图hi.n获得。从直方图不能得到的是事件的运行长度。所以,采用针对每一个值rk的平均运行长度。该平均运行长度是利用呈现所说的表应用于典型的图像的方法从AC编码表得到的。对应于所说的平均运行长度的一个平均码字长度Lk也是从编码表得到的。因此,将要被编码的AC系数的比特数可以通过将事件的出现的次数与数值rk相乘,即系数ci与在范围tk<n<tk+1中的幅度相乘而近似地得到,即: Σ n = c k t k + 1 h i , n
用平均码字长度Lk加上全部的可能的值和空间频率。因此: R ac = Σ i = 1 63 Σ k L k Σ n = t k t k + 1 h i , n
最终,将一个数据块的结束码EOB加在每一个数据块。由于EOB是一个固定长度的编码,所以为了发送EOB码需要固定数目的比特Reob。因此,对于比特R的比特速率的一个充分的估计是
         R=Rdc+Rac+Reob
由于已经估计了多个量化步长尺度Δ的失真D和比特速率R,计算电路603计算拉格朗日系数λ作为操作点P的导数-dD/dR。如果点(R2,D2)是操作点P且两点(R1,D1)和(R2,D2)是接近的,则λ的形式如下: - λ R 1 2 ( D 2 - D 3 ) + 2 R 1 R 2 ( D 2 - D 1 ) + R 2 2 ( D 1 - D 2 ) + 2 R 2 R 3 ( D 1 - D 2 ) + R 3 2 ( D 1 - D 2 ) ( R 1 - R 2 ) ( R 3 - R 1 ) ( R 3 - R 2 )
对于靠近操作点的两点(R1,D1)和(R3,D3),较为简单和欠精确的λ的估计是: - λ D 1 - D 3 R 1 - R 3
如此获得的λ的值加到量化器3(图2)。当图像被编码时,对于所有的图像数据块λ有相同的值。图5示出了编码器对所加的λ值的利用的情况。图中的参考号500表示由RD估计电路602计算的RD曲线。对于λ=0来说(即没有系数的修正),编码器将操作在点P,因为比特速率控制电路5(见图2)产生的一个量化步长尺度(Δ2)将实际地实现比特的目标数目。但是,如将要描述的那样,在不同的λ的影响下,系数被成像在不同的量化等级。这使得比特数目将被降低。比特速率控制电路以降低量化步长尺度对此作反应。更具体地说,比特速率控制电路自动地控制量化步长尺度到值(Δ1),在该值,速率失真曲线501在点Q的偏移保持在与RD曲线在点P的偏移相等。
在上述的λ计算器的实施例中,用于图像的RD曲线是利用针对构成所说图像的全部的数据块的相同的量化步长尺度Δ而被估计出的。已经发现,对于针对当前的图像的实际的RD曲线来说,估计的RD曲线对应于一个满意的程度。无疑,如果实现了实际的MPEG编码器自适应地随着逐个(宏)数据块地变化其量化步长尺度,就能估计出更精确的RD曲线。通常,量化步长尺度取决于所说数据块的活动性。相比于高的活动性的数据块,具有低的活动性的数据块是以较小的量化步长尺度量化的,因为高的活动性(例如很多的图像细节)会引起粗糙的量化效果。根据ISO-IEC/JTC1/SC29/WG11/N0400(最好见MPEG2的测试模式5)(1993年4月,第57页),对于第m个(宏)数据块的充足的量化步长尺度Δm是:
               Δm=Δ.f(Am)
其中的Δ是一个基准的量化步长尺度,Am是第m个数据块的活动性,而f(Am)是根据所说的活动性确定Δm的一个适当的函数。
图6示出了λ计算器的一个实施例,它将数据块的活动性用于估计RD曲线。该λ计算器包括一个活动性确定电路604,从每一个数据块的像素值计算每一个数据块m的活动性Am,例如根据MPEG测试模式5的第57页进行计算。根据下式,校正电路605将每一个DCT系数ci修正成活动性校正的系数c′i C i , = C i f ( A m )
电路单元600-603与图3一样。如前所说,形成电路601的直方图考虑了具有同一幅度的系数的出现的次数。然而,原先具有幅度n的系数现在具有的幅度是n/f(Am)。RD估计电路602计算用于不同的量化步长尺度的多个(R,D)点。将量化步长尺度代而他应用到幅度n/f(Am)与将该量化步长尺度Δm=Δ.f(Am)应用到幅度n具有相同的效果。因此将自适应量化结合到λ的计算。
如果实现实际的MPEG编码器能够按照帧内编码的模式编码所选择的帧间编码的图像(P,B)的(宏)数据块,就能够估计更精确的RD曲线。这意味着具有加权因子We.i的帧内量化矩阵被用于量化帧间编码图像的多数的数据块,而具有加权因子Wa.i的不同的帧间量化矩阵被用于量化帧内数据块。
图7示出了又一个λ计算器6的实施例,它将P或B图像的数据块的帧内编码模式用于对RD曲线进行估计的目的。λ计算器包括开关606,当接收到将被帧内编码的数据块的时候,该开关由开关信号S启动。开关信号S是由预分析电路607产生,它确定数据块的帧内编码的帧间方式是否更为有效。响应信号S,乘法器根据下式将帧内数据块的每一个DCT系数ci修正成编码模式校正的系数c′i C i 1 = C i × W θ , i W a , i
电路单元600-603与图3一样。如前所说,形成电路601的直方图计数具有同一幅度的系数。然而,原来具有n的帧内编码的数据块现在具有的幅度是n*(We.i/Wa.i)。RD估计电路602针对不同的量化步长尺度计算多个(R,D)点。将量化步长尺度代而他加到幅度n*(We.i/Wa.i)和将量化步长尺度Δi=Δ*(Wa.j/We.i)加到幅度n具有相同的效果。将全部的加权因数We,i用于P或B图像的所有的数据块的效果是因此消除帧内数据块并通过应用帧内加权因子Wa.i所取代。
现参考图8和9解释量化器3的操作。图8示出了DCT系数ci的可能值的尺度。rk-1,rk,rk+1…表示量化的系数qi可能呈现的离散的量化级。如上所述,所说的量化级响应由比特速率控制电路5(图2)所加的量化步长尺度Δ由一个量化步长尺度Δi所间隔。图9示出了由量化器对于系数ci所执行的操作的流程图在开始的步骤70,ci的值被成象在最接近的量化等级rk。在步骤71,根据下式针对该量化级顺序地计算″拉格朗日值L″:
      L=(ci-rk)2+λ.Rk
在公式中,(ci-rk)2是对于失真的度量,它是ci与rk相近似的结果,而且Rk是为了发送ci所要求的比特数。在步骤72,计算的拉格朗日值L被用作Lmin
随后,系数ci被成像在较低的量化级rk-l。这表示在图中的步骤73将指数降低1。在步骤74,针对新的量化等级计算拉格朗日值L。在步骤75,检查拉格朗日值L是否小于Lmin。如果是,则在速率失真的角度,该较低的量化等级rk-1显然是优于rk。换句话说,失真增加,但在比特数方面的增益是更重要的。量化器随后再次执行步骤72-75以便检测是否有更为适用的更低的量化等级。只要是在步骤75发现有L值的增加,就停止这种方式的对于最小的拉格朗日值的寻找。随后在步骤76选择对应于Lmin的量化等级以便用于系数ci的量化。图9中所示的算法针对一个图像数据块的全部系数ci执行。
注意到,当在步骤73选择了较低的量化等级时,可能会达到量化等级0。零系数本身不进行编码但是将被包括在下一个非零系数中。结果是比特数被包括在用于计算L的公式的项Rk中(步骤74)。
实践已经证明,这样发现的量化等级几乎不比″传统″的等级低一个或两个级别。所以,有可能只针对某些量化等级(″传统″的量化等级rk和低于该等级的两个等级)简化计算拉格朗日值L。并简单地选择得出最小的L值的量化等级。
上述的量化处理涉及比特速率受限的DCT系数的量化。与传统的其中用于每一个系数的多数相近的量化等级被编码和发送的MPEG编码相比,它提供了图像质量的明显的改善。
图像质量的进一步的改善是通过随后将如此获得的系数qi经受阈值化而得到的。如上所述,阈值化的理解意味着所选择的系数被表示为零。图10表示了用于此目的的对非零系数qi执行此操作的流程图。在步骤80中,给定当前的λ值,针对系数qi≠0的情况计算拉格朗日值L1:
            L1=(ci-qi)2+λ.Ri
其中Ri是qi的发送的比特数,并有可能在零系数之前。在步骤81中,针对其中零值将被强制为qi的情况的拉格朗日值L2的计算由下式确定:
            L2-(ci-0)2+λ.ΔRi
其中ΔRi是通过qi表示为零的比特数(qi=0)的编码被包括在随后的非零的系数的编码中)随后,制步骤82中检测是否L1>L2。如果否,qi将保持不变。如果是,qi将在步骤83接受为零值。针对随后的非零系数重复这一过程。
图10所示的阈值化的算法确定每一个系数是否保持该系数或将其表示为零更为有利。与上述的文章、″具有完全的JPEG/MPEG解码器兼容性的失真率最优快速阈值化″(″Rate-Distortion Optimal Fast Thresholding withcomplete JPEG/MPEG Decoder Compatiblity″)中的算法相比,本发明的算法是相当简单且在计算上是不繁琐的。上述文章中的算法要计算全部的可能的阈值化选择并选择最佳的一个。毫无疑问,所描述的进行阈值化的方式使得图像质量有了相当大的改进。尤其是发现比特速率受限的量化和进行阈值化的结合大大地改进了图像质量。
更进一步的改进是通过将一个图像数据块的拉格朗日值与具有全零值系数的数据块的拉格朗日值相比较而得到的。事实上,具有全部为零的系数的数据块是不需要发送的。在一个参数中指出这样的空的数据块就足够了,在MPEG中,称之为编码的数据块方案。很明显,在对编码的数据块方案进行编码中所包括的比特数被考虑到拉格朗日值L=D+λR的λR的一项当中。
应该注意,除去量化等级之外的参数其它编码参数也可以被控制。λ的计算值可被用于选择最佳的运动矢量、选择场或帧之间的编码模式、从多个预测模式(正向,反向)选择之一等。
总之,通过在传统的量化之后对所选的系数进行修正,例如将这些系数表示为零,可以在很大程度上改善MPEG编码的视频信号的图像质量。这种修正是使得对于拉格朗日系数λ的一个给定值来说,拉格朗日值D+λR(D是失真,R是比特速率)是最小值。相对简单的处理被公开,其中的λ值是利用将要被编码的图像的统计分析式(6)计算的。这种统计分析包括以系数的幅度分布为基础的对RD曲线的估计。所寻找到的λ值是该曲线在所希望的比特速率处的导数。

Claims (15)

1.用于编码图像信号的一种装置,它包括:
图像变换器(2),用于将像素的数据块变换成系数;
编码装置(3,4),用于编码所说的系数,编码图像的比特速率R和失真D是由一个编码参数(rk)所决定;
用于从一系列的编码参数值选择其一的装置,对于一个所加的λ值来说,该参数的D+λR之和是最小值;和
计算装置(6),用于计算λ值;其特征在于该计算装置包括:
用于测量系数幅度分布的装置(601);
用于从所说的幅度分布对于多个编码参数值进行比特速率R和失真D的估计的装置(602),以便获得估计的RD曲线;
和用于在所说的RD曲线的所选点计算λ=-dD/dR的装置(603)。
2.如权利要求1的装置,其特征在于还包括装置(603),用于确定每一个象素数据块的活动性程度;和装置(604),用于在测量幅度分布之前根据所说的活动性修正系数的幅度。
3.如权利要求1或2的装置,其特征在于还包括装置(606)用于在测量幅度分布之前根据数据块进行编码的模式修正系数的幅度。
4.如权利要求1,2或3的装置,其特征在于对于每一个空间频率来说,其幅度分布是通过计数出现指示所说空间频率的一个系数呈现相同的幅度(n)时的次数(hi.n)获得的。
5.如权利要求1的装置,其特征在于所说的装置(602)用于从所说的幅度分布估计用于计算平均信息量(H)的比特速率R,所说的平均信息量指示比特速率R。
6.如权利要求1的装置,其特征在于的用于估计比特速率R的装置(602)被用于针对所有的空间频率累积地相加比特数的乘积,以便编码一个给定的幅度,该幅度具有当一个系数呈现所说的幅度是由幅度分布所定义的幅度时出现的次数。
7.如权利要求6的装置,其特征在于的系数被可变长度地编码,且编码一个给定幅度的比特数是一个预定的平均码字长度。
8.用于编码图像信号的一种方法,它包括步骤:
将像素的数据块变换成系数;
对系数进行量化并修正量化的系数以便使取和D+λR对于所加的λ值被减小,其中D是失真而R是比特速率;和
编码已修正的系数;
其特征在于该方法包括用下列的步骤计算λ值:
测量系数幅度分布;
从所说的幅度分布对于多个量化步长尺度进行比特速率R和失真D的估计,以便获得估计的RD曲线;和
在所说的RD曲线的所选点计算λ=-dD/dR。
9.用于编码图像信号的一种方法,它包括步骤:
 将像素的数据块变换成系数;
编码所说的系数,编码图像的比特速率R和失真D是由一个编码参数所决定;
从一系列的编码参数值选择其一,对于一个所采用的λ值来说,该参数的D+λR之和是最小值;和
计算λ值;
其特征在于该进行计算的步骤包括;
测量系数的幅度分布;
从所说的幅度分布对于多个编码参数值进行比特速率R和失真D的估计以便获得估计的RD曲线;和
在所说的RD曲线的所选点计算λ=-dD/dR。
10.如权利要求9的方法,其特征在于还包括用于确定每一个像素数据块的活动性程度的步骤;和用于在测量幅度分布之前根据所说的活动性修正系数的幅度的步骤。
11.如权利要求8或9的方法,其特征在于还包用于在测量幅度分布之前根据数据块进行帧内或帧间编码的模式修正系数的幅度的步骤。
12.如权利要求9,10或11的方法,其特征在于对于每一个空间频率来说,其幅度分布是通过计数出现指示所说空间频率的一个系数呈现相同的幅度(n)时的次数(hi.n)获得的。
13.如权利要求9的方法,其特征在于所说的估计比特速率R的步骤用于从所说的幅度分布计算平均信息量(H),所说的平均信息量指示比特速率R。
14.如权利要求9的方法,其特征在于的用于估计比特速率R的步骤被用于针对所有的空间频率累积地相加比特数的乘积,以便编码一个给定的幅度,该幅度具有当一个系数呈现所说的幅度是由幅度分布所定义的幅度时出现的次数。
15.如权利要求14的方法,其特征在于的系数被可变长度地编码,且编码一个给定幅度的比特数是一个预定的平均码字长度。
CN96190638.3A 1995-04-25 1996-04-18 用于编码视频图像的装置和方法 Pending CN1157080A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP95201055 1995-04-25
EP95201055.1 1995-04-25

Publications (1)

Publication Number Publication Date
CN1157080A true CN1157080A (zh) 1997-08-13

Family

ID=8220221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN96190638.3A Pending CN1157080A (zh) 1995-04-25 1996-04-18 用于编码视频图像的装置和方法

Country Status (7)

Country Link
US (1) US5691770A (zh)
EP (1) EP0768007B1 (zh)
JP (1) JPH10502791A (zh)
CN (1) CN1157080A (zh)
AU (1) AU705914B2 (zh)
DE (1) DE69605523T2 (zh)
WO (1) WO1996034495A2 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100536571C (zh) * 2003-01-08 2009-09-02 苹果公司 用于改进的编码模式选择的方法和装置
CN101513072B (zh) * 2006-08-30 2011-07-27 汤姆森特许公司 用于分析和经验混合编码失真建模的方法和装置
CN101911702B (zh) * 2008-01-08 2012-07-25 高通股份有限公司 针对支持cabac的视频编码过程而量化视频块的系数的方法和装置
US8355436B2 (en) 2002-11-08 2013-01-15 Apple Inc. Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders
CN101595736B (zh) * 2006-12-15 2013-04-24 汤姆森特许公司 失真度估算
US8781002B2 (en) 2003-01-08 2014-07-15 Apple Inc. Method and apparatus for improved coding mode selection
CN101409835B (zh) * 2002-11-08 2014-09-17 苹果公司 利用拉格朗日乘子和视觉掩蔽来控制速率-失真折中的方法和装置

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084908A (en) * 1995-10-25 2000-07-04 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
US5778192A (en) * 1995-10-26 1998-07-07 Motorola, Inc. Method and device for optimal bit allocation between different sources of information in digital video compression
US5909513A (en) * 1995-11-09 1999-06-01 Utah State University Bit allocation for sequence image compression
JPH10174103A (ja) * 1996-12-13 1998-06-26 Matsushita Electric Ind Co Ltd 画像符号化装置、符号化画像記録媒体、画像復号化装置、画像符号化方法、および符号化画像伝送方法
US6633609B1 (en) * 1996-12-24 2003-10-14 Intel Corporation Method and apparatus for bit rate control in a digital video environment for arbitrary bandwidth
US6263020B1 (en) * 1996-12-24 2001-07-17 Intel Corporation Method and apparatus for bit rate control in a digital video system
DE69832469T2 (de) * 1997-02-03 2006-07-13 Sharp K.K. Mit embedded coding arbeitender bildcodierer mit ratenstörungsoptimierung
US6272175B1 (en) * 1997-02-13 2001-08-07 Conexant Systems, Inc. Video signal coding systems and processes using adaptive quantization
KR100249223B1 (ko) * 1997-09-12 2000-03-15 구자홍 엠팩(mpeg)-4의움직임벡터코딩방법
US6118822A (en) * 1997-12-01 2000-09-12 Conexant Systems, Inc. Adaptive entropy coding in adaptive quantization framework for video signal coding systems and processes
US6037987A (en) * 1997-12-31 2000-03-14 Sarnoff Corporation Apparatus and method for selecting a rate and distortion based coding mode for a coding system
US6122321A (en) * 1998-05-12 2000-09-19 Hitachi America, Ltd. Methods and apparatus for reducing the complexity of inverse quantization operations
US6263021B1 (en) * 1998-09-18 2001-07-17 Sarnoff Corporation Treating non-zero quantized transform coefficients as zeros during video compression processing
EP1005233A1 (en) * 1998-10-12 2000-05-31 STMicroelectronics S.r.l. Constant bit-rate coding control in a video coder by way of pre-analysis of the slices of the pictures
US6167162A (en) * 1998-10-23 2000-12-26 Lucent Technologies Inc. Rate-distortion optimized coding mode selection for video coders
EP1063851B1 (en) * 1999-06-22 2007-08-01 Victor Company Of Japan, Ltd. Apparatus and method of encoding moving picture signal
US7096481B1 (en) 2000-01-04 2006-08-22 Emc Corporation Preparation of metadata for splicing of encoded MPEG video and audio
US6600836B1 (en) * 2000-01-28 2003-07-29 Qualcomm, Incorporated Quality based image compression
US6871006B1 (en) 2000-06-30 2005-03-22 Emc Corporation Processing of MPEG encoded video for trick mode operation
US6771703B1 (en) * 2000-06-30 2004-08-03 Emc Corporation Efficient scaling of nonscalable MPEG-2 Video
US6937770B1 (en) 2000-12-28 2005-08-30 Emc Corporation Adaptive bit rate control for rate reduction of MPEG coded video
US7023924B1 (en) 2000-12-28 2006-04-04 Emc Corporation Method of pausing an MPEG coded video stream
US6980594B2 (en) 2001-09-11 2005-12-27 Emc Corporation Generation of MPEG slow motion playout
US6968091B2 (en) * 2001-09-18 2005-11-22 Emc Corporation Insertion of noise for reduction in the number of bits for variable-length coding of (run, level) pairs
US6959116B2 (en) * 2001-09-18 2005-10-25 Emc Corporation Largest magnitude indices selection for (run, level) encoding of a block coded picture
US8406301B2 (en) 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
WO2004006188A2 (en) * 2002-07-09 2004-01-15 Aware, Inc. Iterative compression parameters control for a sequence of images
US7106907B2 (en) * 2002-10-18 2006-09-12 Mitsubishi Electric Research Laboratories, Inc Adaptive error-resilient video encoding using multiple description motion compensation
EP1933569A3 (en) 2002-11-08 2010-07-07 Apple Inc. Method and apparatus for control of rate-distortion tradeoff by using lagrange multiplier and/or quantizer value
US7672523B2 (en) * 2003-03-03 2010-03-02 The Hong Kong University Of Science And Technology Efficient rate allocation for multi-resolution coding of data
US7327786B2 (en) * 2003-06-02 2008-02-05 Lsi Logic Corporation Method for improving rate-distortion performance of a video compression system through parallel coefficient cancellation in the transform
WO2004109586A1 (en) 2003-06-05 2004-12-16 Aware, Inc. Image quality control techniques
JP2005004866A (ja) * 2003-06-11 2005-01-06 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US7280597B2 (en) * 2003-06-24 2007-10-09 Mitsubishi Electric Research Laboratories, Inc. System and method for determining coding modes, DCT types and quantizers for video coding
KR20050053297A (ko) * 2003-12-02 2005-06-08 학교법인 성균관대학 동영상 부호화 방법 및 장치
US7746927B1 (en) * 2004-03-26 2010-06-29 Apple Inc. Robust single-pass variable bit rate encoding
US8005139B2 (en) * 2004-06-27 2011-08-23 Apple Inc. Encoding with visual masking
KR100631714B1 (ko) 2004-06-30 2006-10-09 엘지전자 주식회사 휴대단말기의 개선된 영상신호 레이트 콘트롤 장치 및 방법
JP4034317B2 (ja) * 2005-03-29 2008-01-16 富士通株式会社 画像符号化装置
US8208536B2 (en) 2005-04-28 2012-06-26 Apple Inc. Method and apparatus for encoding using single pass rate controller
US7885979B2 (en) * 2005-05-31 2011-02-08 Sorenson Media, Inc. Method, graphical interface and computer-readable medium for forming a batch job
US7975219B2 (en) * 2005-05-31 2011-07-05 Sorenson Media, Inc. Method, graphical interface and computer-readable medium for reformatting data
US8296649B2 (en) * 2005-05-31 2012-10-23 Sorenson Media, Inc. Method, graphical interface and computer-readable medium for generating a preview of a reformatted preview segment
US7423642B2 (en) * 2005-12-14 2008-09-09 Winbond Electronics Corporation Efficient video frame capturing
US7944965B2 (en) * 2005-12-19 2011-05-17 Seiko Epson Corporation Transform domain based distortion cost estimation
WO2008080881A1 (en) * 2006-12-28 2008-07-10 Siemens Aktiengesellschaft Method and device for coding a sequence of digitized images
EP1940176A3 (en) * 2006-12-28 2008-07-09 Siemens Aktiengesellschaft Method and device for coding a sequence of digitized images
US8019167B2 (en) 2007-01-03 2011-09-13 Human Monitoring Ltd. Compressing high resolution images in a low resolution video
US8634462B2 (en) 2007-03-13 2014-01-21 Matthias Narroschke Quantization for hybrid video coding
US20080225947A1 (en) * 2007-03-13 2008-09-18 Matthias Narroschke Quantization for hybrid video coding
US20080273113A1 (en) * 2007-05-02 2008-11-06 Windbond Electronics Corporation Integrated graphics and KVM system
US9008171B2 (en) 2008-01-08 2015-04-14 Qualcomm Incorporated Two pass quantization for CABAC coders
US8654835B2 (en) 2008-09-16 2014-02-18 Dolby Laboratories Licensing Corporation Adaptive video encoder control
US9781449B2 (en) * 2011-10-06 2017-10-03 Synopsys, Inc. Rate distortion optimization in image and video encoding
US9338463B2 (en) 2011-10-06 2016-05-10 Synopsys, Inc. Visual quality measure for real-time video processing
EP3562156A1 (en) 2018-04-27 2019-10-30 InterDigital VC Holdings, Inc. Method and apparatus for adaptive context modeling in video encoding and decoding

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0176474B1 (ko) * 1992-12-01 1999-04-15 김광호 고속화상 재생에 적합한 디지탈 비디오 테이프레코더용 데이타 코딩기술
US5550590A (en) * 1994-03-04 1996-08-27 Kokusai Denshin Denwa Kabushiki Kaisha Bit rate controller for multiplexer of encoded video

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355436B2 (en) 2002-11-08 2013-01-15 Apple Inc. Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders
CN101409835B (zh) * 2002-11-08 2014-09-17 苹果公司 利用拉格朗日乘子和视觉掩蔽来控制速率-失真折中的方法和装置
CN100536571C (zh) * 2003-01-08 2009-09-02 苹果公司 用于改进的编码模式选择的方法和装置
CN101651831B (zh) * 2003-01-08 2013-07-17 苹果公司 用于改进的编码模式选择的方法和装置
US8781002B2 (en) 2003-01-08 2014-07-15 Apple Inc. Method and apparatus for improved coding mode selection
CN101513072B (zh) * 2006-08-30 2011-07-27 汤姆森特许公司 用于分析和经验混合编码失真建模的方法和装置
US8265172B2 (en) 2006-08-30 2012-09-11 Thomson Licensing Method and apparatus for analytical and empirical hybrid encoding distortion modeling
CN101595736B (zh) * 2006-12-15 2013-04-24 汤姆森特许公司 失真度估算
CN101911702B (zh) * 2008-01-08 2012-07-25 高通股份有限公司 针对支持cabac的视频编码过程而量化视频块的系数的方法和装置

Also Published As

Publication number Publication date
AU5160896A (en) 1996-11-18
JPH10502791A (ja) 1998-03-10
DE69605523D1 (de) 2000-01-13
EP0768007A2 (en) 1997-04-16
US5691770A (en) 1997-11-25
EP0768007B1 (en) 1999-12-08
DE69605523T2 (de) 2000-07-06
WO1996034495A3 (en) 1997-01-16
AU705914B2 (en) 1999-06-03
WO1996034495A2 (en) 1996-10-31

Similar Documents

Publication Publication Date Title
CN1157080A (zh) 用于编码视频图像的装置和方法
CN1157079A (zh) 用于编码视频图像的装置和方法
JP3659353B2 (ja) ビデオ画像符号化方法
CN1145363C (zh) 静画和动画编码的量化矩阵
JP3739094B2 (ja) 符号化システムにおけるレート制御を最適にするための装置
CN1130921C (zh) 对视频信息预测编码的方法和装置
CN1223959C (zh) 编码系统中基于宏块的速率控制装置和方法
CN1110962C (zh) 用于视频信号编码系统的自适应量化器
CN1596422A (zh) 用于估算压缩视频数据客观质量的方法和系统
CN1949877A (zh) 自适应量化控制器及其方法
CN1463560A (zh) 确定视频失真的方法以及确定视频失真的系统
JPH10243396A (ja) 適応型量子化方法、ビデオ信号データを符号化する方法、およびサンプリングされたビデオ信号データを符号化するためのシステム
US20110194784A1 (en) Encoding and decoding with elimination of one or more predetermined predictors
CN109286812B (zh) 一种hevc视频质量估计方法
US20060078210A1 (en) Tarp filter
CN108900838A (zh) 一种基于hdr-vdp-2失真准则的率失真优化方法
CN111050174A (zh) 图像压缩方法、装置及系统
US20230232004A1 (en) Point cloud encoding and decoding method and system, and point cloud encoder and point cloud decoder
CN112465846A (zh) 基于填充策略的含云遥感图像压缩方法
CN108111852B (zh) 面向量化分块压缩感知编码的双测量参数率失真控制方法
CN101472182B (zh) 视觉无损视频数据压缩
CN1725858A (zh) 用于控制比特率的设备和方法
CN109672891B (zh) Jpeg图像的无损二次压缩方法
Zhang et al. Visual distortion sensitivity modeling for spatially adaptive quantization in remote sensing image compression
Kirmemis et al. A Practical Approach for Rate-Distortion-Perception Analysis in Learned Image Compression

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication