CN1138401A - 用于抑制人工形成物的方法，后处理滤波器与视频压缩系统 - Google Patents

Abstract

通过计算后处理象素强度有效抑制视频压缩系统(200)中的蚊形和分块人工形成物的可见性。应用预定的噪声方差、预定的自相关系数、和包含多个先前后处理象素强度和多个原有的象素强度的象素的一个局部邻域确定(100)后处理象素强度。这消除了对于局部信号和噪声功率的估计值的依赖性。

Description

用于抑制人工形成物的方法， 后处理滤波器与视频压缩系统

本发明一般涉及视频压缩系统，并特别涉及抑制视频压缩系统中蚊形和分块人工形成物。

在视频压缩系统中，一个视频序列中表示一个信号帧所需要的位数可利用信号帧所具有的与前面的帧的相似性而被降低。已经使用了诸如混合块运动补偿离散余弦变换(DCT)编码方案等方法而达到了很高的压缩比，但是这些方法也引入了严重降低解码序列视频质量的人工形成物。

所引起的两种人工形成物是蚊形人工形成物与分块人工形成物。蚊形人工形成物定义为围绕在解压缩视频内运动的对象出现的瞬时不稳定脉冲。这些人工形成物是由于预测误差信号的不精确量化的结果。预测误差信号中所包含的大部分能量是由于运动估计者不能区分不同地运动着的对象的结果。例如，在电视会议应用中，主题一般是与固定的背景相对的。由于运动估计者试图在暂时邻接的帧之间匹配象素块，落在这些块内的运动着的对象与固定的背景之间的边界就不能被检测到。这导致或者部分的边界被认为是在运动着、或者运动着的对象的部分被认为是固定的这样的情形。这些预测误差不精确量化的结果造成随时间变化并象要群集在运动对象周围类似于蚊子样的脉冲型人工形成物。

分块人工形成物定义为向解码的视频序列引入人工块边界。这些人工形成物是由于划分预测误差信号为块，以及量化组合的结果。即，由于在空间扩展和频率扩展之间存在一种相反的关系，这类似于傅立叶分析中时间和频率扩展之间存在的相反的关系，故出现在DCT域中的量化误差分布到相应的空间块。而且，由于每一块是被分开量化的，故误差大部分在块边界看到。

由于这些人工形成物是在特定的位置出现的，并且不均匀地出现在视频序列各处，设计用来减少这两种人工形成物的后处理滤波器必须在空间上适配。空间适配的滤波器已经用于抑制这些人工形成物，但是它们依赖于局部信号及噪声功率估计而改变其响应。这种设计存在若干问题。例如，基于量化步长大小的噪声功率估计对于在解压缩视频内的蚊形和分块人工形成物就不是一个可靠的指标。出现解压缩视频的过光滑或者模糊是由于对解压缩视频信号对噪声的比率(SNR)不精确的估计。分块人工形成物会因在解压缩视频中不正确地将块边界划分为对象边界而加重。解压缩视频上可觉察的视觉质量的这些问题中的任何一个，其效果都是灾难性的。

进一步的考虑是压缩视频用户要求解码器要能够重新设定视频显示窗口为任意指定大小。为了向用户提供这种能力，要求解码器进行关于去除编码的人工形成物、涉及数据内插或者细分的额外的后处理操作。一个重要的要求是，这种重新设定尺寸的操作是计算上有效的并且提供视觉上有感染力的尺寸再设定序列。这就是说，不应当由于尺寸再设定操作的结果而向视频序列引入人工形成物。此外，编码的人工形成物不应当由于尺寸再设定操作而在解码序列中变得更明显。

于是，需要一种与局部信号对噪声功率比率估计无关的能够抑制蚊形和分块人工形成物的方法，后处理滤波器，以及视频压缩系统，同时还提供再设定解压缩视频尺寸的能力。

图1是由根据本发明的抑制蚊形和分块人工形成物的后处理滤波器所执行的步骤的流程图。

图2是使用根据本发明的抑制蚊形和分块人工形成物的后处理滤波器的视频压缩系统的框图。

图3是根据本发明的抑制蚊形和分块人工形成物的后处理滤波器的框图。

图4是根据本发明使用预测器和更新器的抑制蚊形和分块人工形成物的后处理滤波器的框图。

图5是根据本发明抑制蚊形和分块人工形成物并进行尺寸再设定的后处理滤波器的框图。

本发明使得视频压缩系统中的后处理滤波器能够抑制蚊形和分块人工形成物并且是与局部信号对噪声功率比率估计无关的。基于象素的局部邻域对信号的方差进行估计。象素的局部邻域包括多个前面后处理过的的象素强度及多个原有象素强度。基于信号方差，预定的噪声方差，以及预定的自相关系数计算优化的滤波器增益。应用预定的自相关系数，象素的局部邻域，以及优化的滤波器增益确定后处理的象素强度。而且，如果需要，可应用预定的自相关系数，象素的局部邻域，优化的滤波器增益以及多个内插系数确定后处理的尺寸再设定的象素强度。这消除了对于局部信号对噪声功率比率估计的依赖性，同时向用户提供了对于解压缩视频尺寸再设定和后处理的能力。

参照图1-5对本发明进行更为充分的描述。标号100的图1是由根据本发明的抑制蚊形和分块人工形成物的后处理滤波器所执行的步骤的流程图。首先，基于解压缩视频序列在存储器单元中生成象素的局部邻域(101)。然后基于象素的局部邻域估计一个信号方差(102)。然后，应用该信号方差，预定的噪声方差，以及预定的自相关系数计算优化的滤波器增益(104)。最后，基于预定的自相关系数，象素的局部邻域，以及优化的滤波器增益确定后处理的象素强度(106)。

当需要再设定解压缩的视频窗口尺寸时，后处理的象素强度是基于多个预定的内插系数的再设定尺寸的后处理的象素强度。这是通过结合尺寸再设定操作与上述的后处理滤波器而实现的。后处理的象素从局部邻域除去而以解压缩象素替代。以上所述的参数，基于象素局部邻域的信号方差和基于信号方差的优化滤波器增益，预定的噪声方差，以及预定的自相关系数与多个内插系数结合而形成这一结合的尺寸再设定后处理滤波器的系数。最后，尺寸再设定后处理象素强度基于预定的自相关系数，象素的局部邻域，优化的滤波器增益，以及多个内插系数而确定。

该信号方差可使用形式为 ${\widehat{\mathrm{\σ}}}_s^2\left(n\right)=\frac{1}{2M+1}[\underset{i=-M}{\overset{0}{\mathrm{\Σ}}}{\left(x(n-i)\right)}^2+\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\left(\hat{y}(n-i)\right)}^2]-{\hat{m}}_s^2\left(n\right),$ 的方程式估计，其中 ${\hat{m}}_s\left(n\right)=\frac{1}{2M+1}[\underset{i=-M}{\overset{0}{\mathrm{\Σ}}}x(n-i)+\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\hat{y}(n-i)]$

是象素的(2M+1)局部邻域中的平均强度值，

是象素的局部邻域中先前后处理的的象素强度，而x(n)是象素的局部邻域中解压缩象素强度。优化的滤波器增益可应用形式为： $G\left(n\right)=\frac{\mathrm{\α}\•{\mathrm{\σ}}_s^2\left(n\right)}{{\mathrm{\σ}}_n^2+\mathrm{\α}\•{\mathrm{\σ}}_s^2\left(n\right)}$ 的方程式计算，其中 $\mathrm{\α}=1-\frac{2\•{\mathrm{\ζ}}^2}{1+{\mathrm{\ζ}}^2}$ 以及σ_n ²是噪声方差，σ_n ²(n)是在象素位置n的信号方差，而ζ是预定的自相关系数。噪声方差的典型区域是0＜σ_n ²＜10。自相关系数的典型区域是0.9＜ζ＜1.0。后处理象素强度可基于象素强度的估计。象素强度的估计是预定的自相关系数、相对于预定的扫描方向下一个象素的解压缩象素的强度、以及紧靠前面的一个后处理象素强度的函数。象素强度的估计可应用形式为： ${\hat{y}}_a\left(n\right)=\frac{\mathrm{\ζ}}{1+{\mathrm{\ζ}}^2}\•[{\hat{y}}_b(n-1)+x(n+1)]$ 的方程式确定，其中

为一个象素强度的估计，ζ是预定的自相关系数，x(n+1)是相对于预定的扫描方向下一个象素的解压缩象素的强度，

是紧靠前面的一个后处理象素强度。后处理象素

强度可应用形式为： ${\hat{y}}_b\left(n\right)={\hat{y}}_a\left(n\right)+G\left(n\right)\•[x\left(n\right)-{\hat{y}}_a\left(n\right)]$ 的方程式确定，其中G(n)为优化滤波器增益，

是象素局部邻域中象素强度的估计，x(n)是该象素局部邻域中解压缩的象素强度。

对于形式为：y(m)＝C₀·x(n)+C₁·x(n+1)+C_-1·x(n-1)+C₂·x(n+2)+C_-2·x(n-2)+.....，所产生的尺寸再设定滤波器，其中y(m)是位于x(n)与x(n+1)之间尺寸再设定解压缩象素，而C_i是预定的内插系数，该系数取决于内插或者细分方法，以下方程式用于确定尺寸再设定后处理象素： ${\hat{y}}_b\left(m\right)=[C_{-1}\·g\left(n\right)+C_0\·(1-g\left(n\right))\·B]x(n-1)+[C_0\·g\left(n\right)+(1-g\left(n\right))\·(C_{-1}\·\mathrm{\ζ}+C_1\·B]x\left(n\right)$ +[C₁·g(n)+(1-g(n))·(C₂·ζ+C₀·B]x(n+1)+[C₂·g(n)+C₁·(1-g(n))·B]x(n+2)+C_-2·x(n-2)+C₃·x(n+3)+C_-3·x(n-3)+....其中 $B=\frac{\mathrm{\ζ}}{1+{\mathrm{\ζ}}^2},$ 而

是位于x(n)与x(n+1)之间的尺寸再设定后处理象素。

标号为200的图2是使用根据本发明的抑制蚊形和分块人工形成物的后处理滤波器的视频压缩系统的框图。该视频压缩系统(200)包括一个视频编码单元(204)，一个信道编码单元(208)，一个信道(210)，一个信道解码单元(212)，一个视频解码单元(214)，和一个包含后处理滤波器(222)的后处理单元(218)。

包含在输入视频序列(202)中的冗余信息由产生压缩视频流(206)的视频编码单元(204)消除。然后被压缩的视频流(206)被信道编码单元(208)编码用于通过信道(210)有效传输到对应的信道解码单元(212)。信道解码单元(212)对所接收的信息进行解码并提供向视频解码单元(214)提供压缩视频流(213)。基于压缩视频流(213)，视频解码单元(214)产生解压缩视频序列(216)。这一解压缩视频序列(216)是向后处理单元(218)的输入，其中使用后处理滤波器(222)从产生后处理视频序列(220)的解压缩视频中消除蚊形和分块人工形成物。

标号为300的图3是根据本发明的抑制蚊形和分块人工形成物的后处理滤波器的框图。后处理滤波器(222)包括一个存储器单元(302)，一个信号方差确定器(310)，一个优化的滤波器增益确定器(314)，以及组合电路(318)。存储器单元(302)接收和存储一个预定的噪声方差(304)，一个预定的自相关系数(306)，和一个解压缩视频序列(216)。该解压缩视频序列(216)被存储为象素的一个局部邻域(308)。

存储在存储器单元(302)中的预定的噪声方差一般是1到10之间的一个数值。信号方差确定器(310)基于象素的局部邻域(308)估算信号方差(312)。优化滤波器增益确定器(314)基于信号方差(312)，预定的噪声方差(304)，和预定的自相关系数(306)确定优化滤波器增益(316)。组合电路(318)基于预定的自相关系数(306)，象素的局部邻域(308)，以及优化滤波器增益(316)确定后处理的象素强度(320)。组合电路(318)可作为一个无限脉冲响应(IIR)滤波器或者一个有限脉冲响应(FIR)滤波器而实现。

标号400的图4是根据本发明使用预测器(402)和更新器(404)的抑制蚊形和分块人工形成物的后处理滤波器的框图。该后处理滤波器包括一个存储器单元(302)，一个信号方差确定器(310)，一个优化滤波器增益确定器(314)，和一个组合电路(318)。存储器单元(302)接收和存储预定的噪声方差(304)，预定的自相关系数(306)，及解压缩的视频序列(216)。解压缩的视频序列(216)是作为象素的一个局部邻域(308)而存储的。应当注意，图4反映了当M＝2时对应于由X′s与O′s所指示的五个象素元素所组成的象素局部邻域的情形。M的选择在执行时进行并且取决于所需要的光滑程度：M越大施加到解压缩视频的滤除越多。假定左到右通过图象帧的每一行，X′s和O′s指示那个象素是先前后处理的强度的象素，X′s，以及那个是解压缩强度的象素，O′s。其它方法也可用于通过存储在存储器中的解压缩图象帧的运动，诸如从右到左通过每一行，从上到下或者从下到上通过每一列。

图4中所示的框图的一般操作与图3中所示的框图的操作相同，并对于组合电路(318)的实现更为详细示出。组合电路(318)包括一个预测器(402)和一个更新器(404)。预测器(402)预测当前象素的强度。更新器(404)确定后处理象素强度。

预测器(402)使用象素的局部邻域(308)的一维非表因(non-causal)自回归模型。一个加法器(408)使得第一个先前的后处理象素(y^_b(n-1))与第一个解压缩象素(x(n+1))越过在考虑之下的象素(x(n))相加。这一运算所得的结果是在这两个象素位置的当前的强度水平之和(409)。然后由一阶预测系数确定器(406)所提供的系数(407)用于乘上(410)强度的和(409)。结果这得到在象素位置n处的原始强度的估计值(412)。然后估计值(412)与解压缩象素强度(x(n))比较(414)。然后这一比较的输出(415)乘以(416)优化滤波器增益确定器(314)的输出(316)。这一数值的输出(417)使用加法器(418)与强度估计值(412)求和，其结果为后处理的象素强度(320)。

标号为500的图5是根据本发明抑制蚊形和分块人工形成物并进行尺寸再设定的后处理滤波器的框图。该后处理滤波器包括一个存储器单元(302)，一个信号方差确定器(310)，一个优化滤波器增益确定器(314)，以及一个组合电路(318)。存储器单元(302)接收和存储预定的噪声方差(304)，预定的自相关系数(306)，和解压缩视频序列(216)。解压缩的视频序列(216)是作为象素的局部邻域(308)存储的。如图4中那样，图5反映了当M＝2时对应于由O′s所表示的五个象素成分所组成的象素局部邻域的情形。M的选择是在执行时作出的，并取决于所希望的光滑程度和所选的尺寸再设定滤波器的类型：M越大施加到解压缩视频的滤除越多。O′s指示哪些解压缩强度象素要用于局部邻域中。

存储器单元(302)还存储预定的多个内插系数(501)。组合电路(318)一般包括一个尺寸再设定滤波器。该组合电路存取存储器(302)一次。该组合电路(318)包括一个滤波器加权确定器(502)，多个多路复用器(504)，和一个加法器(506)。该滤波器加权确定器(502)确定多个滤波器系数(508)。多个多路复用器(504)产生多个加权的解压缩象素强度(510)。加法器提供了后处理象素强度(320)。

该后处理滤波器(400到500)可以使用诸如MOTOROLADSP56002的一个数字信号处理器(DSP)或者一个专用集成电路(ASIC)和一个随机存取存储器(RAM)单元实现。存储器单元(302)，可以是RAM单元。信号方差确定器(310)，优化滤波器增益确定器(314)，以及预测器单元(402)可使用该ASIC实现。更新器可使用该ASIC之中的两个加法器(414及418)和一个多路复用器(416)实现。

本发明提供了用于从解压缩的视频序列去除蚊形及分块人工形成物的方法和装置。利用这种方法和装置，可以对解压缩的视频进行尺寸再设定，同时去除这些人工形成物。这一方法和装置具有胜过当前的后处理滤波器的以下优点：它与信号对噪声的计算结果这一人工形成物位置的不良的指标无关；它能够通过信号对存储器的访问进行尺寸再设定及后处理；并获得较高的可觉察的收视质量。

虽然以上对示例性的实施方式进行了说明，显然对于业内人士来说在不背离本发明的情形下可作出各种变化和改形。于是，意思是说所有那些变化和改形均包括在所附权利要求中定义的本发明的精神和范围之内。

Claims (10)

1.一种使用滤波器来获取后处理的象素强度的方法，用于驻留在存储器中的解压缩的视频序列中的帧，该滤波器基于预定的噪声方差和预定的自相关系数而抑制蚊形及分块人工形成物的可见性，该方法包括步骤：

1A)在一个存储器单元中，基于解压缩的视频序列而生成象素的一个局部邻域，其中该象素的局部邻域包括多个先前的后处理的象素强度以及多个解压缩的象素强度；

1B)基于象素的局部邻域估算信号方差；

1C)基于信号方差、预定的噪声方差、及预定的自相关系数计算一个优化的滤波器增益；以及

1D)应用一个加法器，基于预定的自相关系数、象素的局部邻域、以及优化的滤波器增益确定后处理象素强度。

2.权利要求1的方法，其中至少2A-2C之一成立：

2A)预定的噪声方差为1到10之间的一个数值；

2B)应用形式为： ${\widehat{\mathrm{\σ}}}_s^2\left(n\right)=\frac{1}{2M+1}[\underset{i=-M}{\overset{0}{\mathrm{\Σ}}}{\left(x(n-i)\right)}^2+\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\left(\hat{y}(n-i)\right)}^2]-{\hat{m}}_s^2\left(n\right)$ 的方程式估算信号方差，其中 ${\hat{m}}_s\left(n\right)=\frac{1}{2M+1}[\underset{i=-M}{\overset{0}{\mathrm{\Σ}}}x(n-i)+\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\hat{y}(n-i)],$ 为象素的局部邻域中的平均强度值，(2M+1)是邻域尺寸，

是象素的局部邻域中先前后处理的象素强度；以及

2C)应用形式为： $G\left(n\right)=\frac{\mathrm{\α}\•{\mathrm{\σ}}_s^2\left(n\right)}{{\mathrm{\σ}}_n^2+\mathrm{\α}\•{\mathrm{\σ}}_s^2\left(n\right)}$ 的方程式计算优化的滤波器增益，其中 $\mathrm{\α}=1-\frac{2\•{\mathrm{\ζ}}^2}{1+{\mathrm{\ζ}}^2}$ 以及σ_n ²是预定的噪声方差，σ_n ²(n)是信号方差，而ζ是预定的自相关系数。

3.权利要求1的方法，其中后处理象素强度进一步基于所选的象素的强度的估算值，并且其中选择3A-3B至少一项：

3A)其中所选象素的强度的估计值是预定的自相关系数、相对于预定的扫描方向下一个象素的解压缩象素的强度、以及紧靠前面的一个后处理象素强度的函数，并且此处进一步选择，其中所选象素的强度估计值应用形式为： ${\hat{y}}_a\left(n\right)=\frac{\mathrm{\ζ}}{1+{\mathrm{\ζ}}^2}\•[{\hat{y}}_b(n-1)+x(n+1)]$ 的方程式确定，其中

为所选象素的强度的估计值，ζ是预定的自相关系数，x(n+1)是相对于预定的扫描方向下一个象素的解压缩象素的强度，以及

是紧靠前面的一个后处理象素强度；以及

3B)后处理象素强度应用形式为： ${\hat{y}}_b\left(n\right)={\hat{y}}_a\left(n\right)+G\left(n\right)\•[x\left(n\right)-{\hat{y}}_a\left(n\right)]$ 的方程式确定，其中G(n)为优化滤波器增益，

是一象素的强度的估计值，而x(n)是解压缩象素的强度。

4.权利要求1的方法，其中后处理象素强度是基于多个预定的内插系数而被尺寸再设定的后处理象素强度，并且此处进一步选择，其中存储器为了确定尺寸再设定的后处理象素强度而被访问一次。

5.用于抑制蚊形和分块人工形成物的可见性的后处理滤波器，包括：

5A)用于存储预定的自相关系数、预定的噪声方差、以及象素的局部邻域的一个存储器单元；

5B)能够与存储器单元耦合操作的一个信号方差确定器，用于基于象素的局部邻域估算信号方差；

5C)能够与存储器和信号方差确定器耦合操作的一个优化滤波器增益确定器，用于基于信号方差、预定的噪声方差、以及预定的自相关系数确定优化的滤波器增益；以及

5D)能够与存储器单元和优化滤波器增益确定器耦合操作的一个组合电路，用于基于预定的自相关系数、象素的局部邻域、以及优化的滤波器增益来确定后处理象素的强度。

6.权利要求5的后处理滤波器，其中6A-6B至少一项成立：

6A)存储在存储器中的预定的噪声方差为1到10之间的一个数值；以及

6B)组合电路为有限脉冲响应滤波器。

7.权利要求5的后处理滤波器，其中该组合电路还包括：

7A)能够与存储器单元耦合操作的一个预测器，用于预测当前象素的一个强度；以及

7B)能够与存储器单元预测器及优化的滤波器增益确定器耦合操作的一个更新器，用于确定后处理象素强度；

并且此处还选择，

7C)该预测器应用象素的局部邻域的一维非表因的自回归模型。

8.权利要求5的后处理滤波器，其中组合电路是一个无限的脉冲响应滤波器。

9.权利要求5的后处理滤波器，其中存储器单元还存储预定的多个内插系数，并且此处被选择，其中组合电路为一个尺寸再设定滤波器，并且此处还被选择，至少9A-9B之一：

9A)该组合电路访问该存储器单元一次；以及

9B)该组合电路还包括：

9B1)能够与存储器单元及优化增益确定器耦合操作的一个滤波器加权确定器，用于确定滤波器的多个系数；

9B2)能够与存储器单元及滤波器加权确定器耦合操作的多个多路复用器，用于产生多个加权的解压缩的象素强度；以及

9B3)能够与该多个多路复用器耦合操作的一个加法器，用于产生后处理象素强度。

10.抑制视频压缩系统，其中包括一个用于抑制蚊形及分块人工形成物的后处理滤波器，该系统包括：

A)能够与接收视频序列耦合操作的一个视频编码单元，用于去除包含在视频序列中的冗余信息以产生压缩的视频流；

B)能够与视频编码单元耦合操作的一个信道编码单元，用于对压缩的视频流进行编码以产生设置在一个信道上的编码的压缩的视频流；

C)能够通过该信道到信道编码单元耦合操作的一个信道解码单元，用于对编码的压缩的视频流进行解码以产生压缩的视频流；

D)能够与信道解码单元耦合操作的一个视频解码单元，用于产生一个解压缩的视频序列；以及

E)能够与该视频解码单元耦合操作的一个后处理单元，用于使用后处理滤波器，其中该后处理滤波器从解压缩的视频序列去除蚊形人工形成物和分块人工形成物以提供一个后处理的视频序列。

Images