CN1168052A - 图象数据内插设备 - Google Patents

图象数据内插设备 Download PDF

Info

Publication number
CN1168052A
CN1168052A CN97102026A CN97102026A CN1168052A CN 1168052 A CN1168052 A CN 1168052A CN 97102026 A CN97102026 A CN 97102026A CN 97102026 A CN97102026 A CN 97102026A CN 1168052 A CN1168052 A CN 1168052A
Authority
CN
China
Prior art keywords
data
pixel
interpolation
motion
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN97102026A
Other languages
English (en)
Inventor
菅和幸
草尾宽
西村崇
贺好宣捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP8005822A external-priority patent/JPH09200575A/ja
Priority claimed from JP08556796A external-priority patent/JP3411950B2/ja
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN1168052A publication Critical patent/CN1168052A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/4448Receiver circuitry for the reception of television signals according to analogue transmission standards for frame-grabbing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/12Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H04N7/122Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal involving expansion and subsequent compression of a signal segment, e.g. a frame, a line

Abstract

当内插一扫描行时,基于一种相关性来形成评价函数,参考从目标象素到每一块的距离(或方向)校正该评价函数;基于这样的评价函数,选择一个最佳的内插方向。此外,校验在该内插象素、与该内插象素周围的每一个象素之间象素数据之差,以便找出内插错误。当把一个内插象素数据确定为有错误的时,利用在该象素之上和之下象素的数据内插该象素。

Description

图象数据内插设备
本发明涉及用于用来显示高质量静止图象的录像机的图象数据内插设备,特别涉及用于通过内插一场数据产生静止图象一帧数据的隔行扫描系统中的图象数据内插设备。
本发明还涉及这样一种图象数据内插设备,该设备能够实现在无闪烁逐行显示的高质量电视之类的系统中通过选择一些静止区并通过仅对这样的区执行场内内插从而在录像机中产生高质量静止图象,而且在隔行扫描的帧数据中把静止区与活动区分开。
传统上,在采用隔行扫描系统的录象机、视频打印机等等中产生静止图象时,为了消除第一场视频图象与第二场视频图象之间的时延,使第一场数据受到内插处理,形成一帧数据,从而产生高质量的静止图象。
参考图1~图9,将说明通过对第一场数据进行内插产生一帧数据,以用于图象数据内插的传统技术。
这里,图1是为了说明图象数据内插的传统技术,给出了表示原始数据场之一例的参考图解。图2为用来详细说明图1中国起来的原始数据场的放大图。图3图示说明了一种对场数据进行内插的方法,其中要内插的象素是通过利用上相邻象素或下相邻象素来产一。图4为说明一种内插方法的图,在这种方法中、通过计算上相邻象素和下相邻象素的平均值来形成要内插的象素。图5为说明一种内插方法的图,在这种方法中、估算从要内插的象素沿倾斜方向安排的象素之间的相关性。图6为用来说明一种内插方法的图解,这种方法估算沿5个方向安排的象素的相关性。图7为用来说明一种内插方法的图解,这种方法估算沿7个方向安排的象素的相关性。图8和9为参考图,它们涉及用来基于各自的相关性而选择内插方向的判定。
隔行扫描是一种扫描方法,在这种方法中,把每一帧数据分成在不同时间激活的两场数据,为了产生视频图象,每一帧扫描两次,称为第一次扫描和第二次扫描,以使各第二次扫描行填充到各第一次扫描轨迹之间的间隙内。
由于人眼有视觉暂留效应,将把这两场各自顺序地投影的图象看成一帧图象。然而,当以某一时间间隔这样分开发送的两场数据变换成一帧数据而产生静止图象时,出现了下列问题:即,如果摄像机和目标都是绝对静止的,尽管不会出现问题,但是如果其中任何一个或两者运动时,则由于两场数据之间有时间间隔、在合成图象中各奇数扫描行与各偶数扫描行之间的连续性将会劣化。即,在第一场数据与第二场数据之间将出现偏差。结果是,显示图象的质量将受到劣化。
为了处理这一问题,已提出一种想法,即可以只用第一场数据或第二场数据来形成一帧数据。然而,这时,如图2所示,用作基础的场数据具有交替排列的数据行和空行,所以,对图象数据需要进行内插。为了执行图象数据的内插,传统上还提出了很多其它方法。下面,将说明其中某些方法。
在下文的描述中,B(0)表示要内插的象素数据,A(n)和C(n)分别表示在内插时被估算的在上和下水平扫描行上参考象素的数据。这里,‘n’指出以象素数据B(0)为基础分配给水平行上每一个象素的编号。
第一种方法是简单地重复相邻象素的数据。即,如图3所示,场数据的内插这样来执行,利用场图象中各奇数编号的行(例如,它们是扫描行1、扫描行3、……)上的每一个象素的数据,来产生扫描行2、扫描行4、……的象素数据。
具体地说,在这种方法中,将以B(0)=A(0)来执行内插。不用说,利用各偶数编号的行可以内插各奇数编号的行。根据这种方法,垂直方向上的分辨率将减少到一半,因此,沿着斜线将有非常明显的锯齿。
接着的一种方法如图4所示,在这种方法中,通过估算位于要内插的象素之上和之下参考象素的两个数据片之平均值来执行内插。
具体地说,在这种方法中,将以B(0)={A(0)+C(0)}/2来执行内插。根据这种方法,将使锯齿减轻到某种程度,但使边缘劣化,以致所形成的图象给出模糊的印象。
另一种已知的方法如图5所示。在这种方法中,通过计算与位于中心的要内插的数据彼此相对设置的每一对参考象素的数据之差来考虑边缘的梯度。这一计算是对三个方向作为整体来执行,即,不仅对内插目标象素之上和下象素、而且对从右上到左下倾斜方向的象素以及对从左上到右下倾斜方向的象素执行。在这些对象素中,拾取产生最小差值的那一对象素,并且,为了内插该目标象素,取这一对象素数据的平均值。
更准确地说,根据这种方法,选择|A(-1)-C(1)|、|A(0)-C(0)|和|A(1)-C(-1)|中数值最小者,并基于这一选择从下列各式中选择一个平均值:
B(0)={A(-1)+C(1)}/2
B(0)={A(0)+C(0)}/2
B(0)={A(1)+C(-1)}/2,
把所选定的平均值用作内插目标象素的内插图象数据。
然而,某些图象可能具有比较接近于水平线伸展的、梯度相当和缓的边缘。所以,这使以上述三个方向的内插来处理所有的情况变得困难了。为了进一步改进这种内插,需要沿更多的方向估算在目标象素周围的象素。例如,如图6和7所示,沿5个或6个方向。然而,这时当参考象素变得离要内插的象素B(0)更远时,像图7中的A(-3)和C(3)、或A(3)和C(-3)那样,这些象素变得与该内插目标象素基本无关,但是,那些象素具有彼此很相似亮度的可能性变大。当出现这种情况时,可能用与相邻象素数据无关的数据来表示内插目标象素B(0),因此,该内插象素可能作为不规则性在图象上显著地突出出来。
日本专利申请特开平5 No.153562公开了对传统图象数据内插技术的改进。在这种图象数据内插技术中,对内插假定了7个方向,如图7所示。在这7个方向中,把中心的3对象素规定为第一区,即,图7中的A(-1)和C(1)、A(0)和C(0)、A(1)和C(-1)。首先,对第一区中这三个方向的每一个方向校验方向相关性。如果在任一倾斜方向上有相关性,具体地说,即A(-1)和C(1)、或A(1)和C(-1),则校验其它更和缓倾斜方向上的相关性。即,如果在判断的起始阶段中确定在A(1)和C(-1)之间有相关性,则校验规定为第二区的A(1)和C(-1)、A(2)和C(-2)、A(3)和C(-3)之间的相关性。当确定在A(-1)和C(1)之间有相关性时,则校验规定为第三区的A(-1)和C(1)、A(-2)和C(2)、A(-3)和C(3)之间的相关性。用这一方法可以确定存在着最大相关性的那一对,并基于这一确定来判定内插象素数据。
然而,根据这些图象数据内插的传统技术,仍有可能出现不能适当执行内插的情况。所以,在所形成已内插的图象中,沿着那些本来应该是光滑的轮廓线会出现锯齿,而且,在相当多的情况下,由于有错误的内插(下文中,把进行了不适当内插的事实或不适当地内插进去的象素称为“有错误的内插”),使不规则性突出出来。
出现有错误内插的第一个原因在于,图象中的边缘并不总是沿着实际象素伸展开来。例如,考虑在图8所示图象中应该内插B(0)的情况。这时,假定直线L与A(0)和A(1)之间的边界部分以及C(-1)和C(0)之间的边界部分相交,同时,象素A(3)和C(-3)具有相同的象素数据。当处理分辨率不像印刷资料等那样高的NTSC系统等数字化视频图象时,可以出现上述情况的图象。
这里,假定A(0)、A(1)、C(-1)和C(0)的象素数据值分别为5、5、6和3,同时,象素A(3)和C(-3)具有相同的图象数据“X”。进而,还假定其它参考象素具有微弱的相关性。这时,A(0)和C(0)之间的差为2,而A(1)和C(-1)之间的差为1。因此,评价出这些差值大于A(3)和C(-3)之间的差。更明确地说,这时,确定A(0)和C(0)之间的相关性、A(1)和C(-1)之间的相关性均小于A(3)和C(-3)之间的相关性。所以,以图象数据A(3)和C(-3)的平均值来内插B(0)。这一情况也出现在日本专利申请特开平5 No.153562中提出的上述方法中,因为在判断的第一阶段中,将把上述安排确定为一条倾斜的直线。
第二,根据日本专利申请特开平5 No.153562所公开的方法,与第一个例子相反,如果目标象素应该利用A(3)和C(-3)来内插,就可能出现该目标象素利用A(0)和C(0)有错误地内插了。即,在这一方法中,当校验在第一区中沿着三个方向在图9所示A(0)和C(0)、A(-1)和C(1)、A(1)和C(-1)之间的相关性时,如果在倾斜方向上没有检出相关性,则将不进一步执行对第二和第三区相关性的校验了。
根据上述原因,在边缘具有和缓梯度的情况下,即使A(-3)和C(3)之间的相关性最强,也有可能不利用这些参考象素来产生内插象素数据。
同时,当使用一般录像机或视频打印机等等来显示静止图象时,只使一场数据受到内插处理以产生其帧数据。然而,这时因为信息量减少到其原始值之半,所以,与利用包括着当摄像机和目标都完全静止时所得两场数据的帧数据所产生的图象相比,图象质量必定变差。为了避免这种劣化,已经提出了一种方法,在这种方法中,这样来制备帧数据,图象的静止部分按原样拾取,而运动部分基于第一场或第二场产生。在这种方法中,需要把图象的运动部分与静止部分分开。
为了捡出运动部分,以前已经提出了很多方法。下面,将描述其中某些方法。第一种方法利用两帧数据。即,如图10所示,为了捡出每一场中的运动点,产生两个“第一场数据”之间的差、和两个“第二场数据”之间的差,此后,运算此二者之间的逻辑和。这种方法是非常合理的,因为由于隔行扫描使得在第一场和第二场之间在垂直方向上有位置的移动,所以,简单地求第一场数据和第二场数据之差是不适当的。然而,使用两帧数据提高了设备硬件的成本。而且,静止部分是通过从4个连续场的数据中检出由两个连续场数据构成的图象而预备的,而运动部分是基于跳过中间场的两个场的数据检出的。因此,在某些情况下取决于图象的运动,可能会出现检出错误。
第二种方法只利用一组帧数据。如图11所示,这时,在求差值以前,首先执行第一场对第二场在垂直方向上位置的调整。具体地说,如图12所示,为了确定在第“i”行第“j”列上一个指定象素(为了指定象素,缩略为象素(i,j))的运动,把象素(i,j)的数据与象素(i+1,j)的数据及象素(i-1,j)的数据之平均值相比较,这样来执行运动的判断。在日本专利申请特开平6 No.141283中公开了这一方法。
为了减轻噪声的影响,可以参考一种方法。在这种方法中,把场中的象素分割成若干块、每块具有一彼此相似的象素数,计算在不同块中每对相应象素之间的亮度差别,并把这些差的绝对值之和与门限值相比较。
在上述利用一帧数据的传统技术中,在相当多的情况下,不能严格地检出运动。现在假定,基于第一场数据、通过取第一场中上扫描行和下扫描行数据的平均值重新产生用于运动检出的另一个“第二场数据”。原始的第一场具有轮廓鲜明的图象,而所构成用于运动检出的第二场一般为轮廓不清晰的图象,其水平和倾斜边缘因平均处理而模糊。总之,这两个图象相对于垂直方向在其空间频段范围内彼此显著不同。
根据上述原因,当求这两个图象之间的差时,第一场象素数据与用于运动检出的第二场象素数据之间的差不会总是变小,特别是在有水平或倾斜边缘的区内。因此,当把所形成的值与用于运动检出以便判断该区是否正在运动的固定门限值相比较时,可能把具有水平或倾斜边缘的区错误地识别为正在运动的点。这样,任凭为了允许把帧数据用于静止部分设计了这一运动检出方案,但是,当图象受到静止图象制备处理时,只有图象中的平坦部分才能够以帧数据来表示,而更为重要的边缘部分却作为图象元素倾向于被错误地检出,并且将通过场内内插来进行制备。因此,所形成的图象并不能与仅由场数据构成且未执行运动检出的帧数据所形成的图象有很大差别。并且,基本不能预期它对图象质量有什么改善。
而且,当把一些位置彼此最接近的象素构成若干块以便执行运动检出时,尽管可以针对噪声进行某种测量,相当多的瞬间运动担心会被丢失。
在考虑到上述问题的情况下设计了本发明,因此本发明的目的是提供一种图象数据内插设备,该设备甚至对具有和缓梯度的边缘都能够执行适当的光滑内插,并能通过在内插过程以后把由于错误内插产生的不规则性去掉以便禁止内插错误的出现,从而,从单一场图象构成高质量的图象数据帧。
本发明的另一个目的是提供一种数据内插设备,该设备可利用简单的算法或小尺寸硬件对任一类型的帧数据产生对每一个象素严格的运动检测。
为了达到上述目的,本发明具有下列配置:
根据本发明的第一特点,一种图象数据内插设备,它利用两场数据之一产生一帧数据,此两场数据分别构成一帧数据的各奇数扫描行和各偶数扫描行上的象素数据,以便内插在另一场的各偶数扫描行上或各奇数扫描行上的象素数据,其中,一帧数据通过利用下列步骤内插一场数据而产生:根据要内插的象素确定内插方向;以及基于位于该内插方向上象素的象素数据,产生相应于该要内插象素的内插象素数据,该设备包括:
参考象素数据发生装置,用来产生相应于属于两场之一且位置相邻于并在该要内插象素之上的扫描行象素的第一排参考象素的数据,以及相应于属于两场之一且位置相邻于并在该要内插象素之下的扫描行象素的第二排参考象素的数据;
内插方向确定装置,用于根据第一块数据与第二块数据之间的相关性的计算结果来确定该要内插象素的内插方向,其中,第一块数据包括一组预定个数连续参考象素的象素数据、并属于第一排参考象素数据,而第二块数据包括一组同样个数的连续参考象素的象素数据、属于第二排参考象素数据、并且位于第一块数据对面,且该要内插的象素数据处在它与第一块数据之间;以及
内插象素数据产生装置,用来基于相应于位于由内插方向确定装置确定的内插方向上、属于两场之一的扫描行、且其位置相邻于并处在该要内插象素之上和之下的象素的象素数据而产生用于该要内插象素的数据。
根据本发明的第二方面,一种图象数据内插设备,它利用两场数据之一产生一帧数据,此两场数据分别构成一帧数据的各奇数扫描行和各偶数扫描行上的象素数据,以便内插在另一场的各偶数扫描行上或各奇数扫描行上的象素数据,其中,一帧数据通过利用下列步骤内插一场数据而产生:根据要内插的象素确定内插方向;以及基于位于该内插方向上象素的象素数据,产生相应于该要内插象素的内插象素数据,该设备
包括:
判断装置,基于对该内插象素数据与相邻或相近于该要内插象素的象素数据的比较而判断该要内插象素的内插数据是否适当;以及
内插数据校正装置,用来当判断装置的判断结果指示出需要校正时,通过以根据相邻或相近于该要内插象素的象素的象素数据制备的校正数据片替换该内插象素数据从而校正该内插象素数据。
本发明的第三方面存在于具有上述第一特点的图象数据内插设备中,其中内插方向确定装置通过根据内插方向加权来计算相关性。
本发明的第四方面存在于具有上述第二特点的图象数据内插设备中,其中判断装置通过估算二阶导数或8方向拉普拉斯算符,把该内插象素数据与相邻或相近于该要内插象素的象素的象素数据相比较。
根据本发明的第五方面,一种图象数据内插设备,具有运动检出装置,用来检出在包含有两场图象(即,隔行扫描中的奇数场和偶数场)的一帧图象中的运动,其中运动检出装置包括:数据构成装置,用来通过执行象素内插以便以a∶1-a(此处,0<a<1,且a≠0.5)之比来分割在垂直方向上扫描行之间的距离,从而,在两场数据之一中重新构成第一运动检出场数据,并且,通过执行象素内插以便以0.5+a∶0.5-a之比来分割在垂直方向上扫描行之间的距离,从而,在另一场数据中重新构成第二运动检出场数据;以及数据差检出装置,用来检出在该第一运动检出场数据与该第二运动检出场数据之间的差。
另外本发明的第六方面存在于具有上述第五特点的图象数据内插设备中,其中数据差检出装置包括:计算装置,用来计算在该第一运动检出场数据的象素数据、与该第二运动检出场数据的象素数据(此二者在每一场内的相应位置上)之间的差;运动判断门限值输出装置;以及用来把来自计算装置的输出值、与从运动判断门限值输出装置输出的运动判断门限值相比较的比较装置;并且,该运动判断门限值输出装置具有运动判断门限值发生装置,该运动判断门限值发生装置产生作为固定分量与受控于图象特征的可变分量之和的运动判断门限值。
而且,本发明的第七方面存在于具有上述第六特点的图象数据内插设备中,其中可变分量利用下列步骤来确定:从第一和第二绝对值中选择最小值作为第一参数,该第一和第二绝对值是对其运动已被检出的目标象素以及其位置相邻于且处在目标象素之上和之下的一对象素(全部这些象素存在于同一场内)而进行计算的,此处,把第一绝对值定义为在目标象素与上象素之间的象素数据之差的绝对值,把第二绝对值定义为在目标象素与下象素之间的象素数据之差的绝对值;计算第二参数,该第二参数是在其它场内的相邻于且处在目标象素之上与之下的象素之间的象素数据之差的绝对值;以及基于第一和第二参数的最大值来确定该可变分量。
根据这样配置的本发明之图象数据内插设备,参考象素数据发生装置通过执行排列在相邻于且在要内插的目标象素之上扫描行上的象素数据的内插来产生第一排参考象素数据,这种内插是把两个相邻象素的平均值插入到其中间。类似地,该装置通过执行排列在相邻于且在该目标象素之下的扫描行上的象素数据的内插来产生第二排参考象素数据,这种内插是把两个相邻象素的平均值插入到其中间。这样,在水平方向上参考象素数据的个数就增加了。内插方向确定装置通过计算在要内插的目标象素之上的上扫描行上的第一数据块、与位于下扫描行上且其位置对称于目标象素对侧上的第一块的第二块数据之间的相关值,评价对每一个方向的相关性;并且,根据内插方向把相关值的计算结果加权,以便基于该计算结果确定内插的最佳方向。内插象素数据产生装置利用位于内插确定方向上的象素的象素数据,对要内插象素产生内插象素数据片。进而,根据本发明的内插设备,判断装置基于把内插象素数据与在要内插的象素周围(相邻于或相近于)的象素的象素数据相比较,通过利用二阶导数或8方向拉普拉斯算符,判断要内插的象素的内插数据是否适当(或有错误)。作为这一判断的结果,当内插象素数据不适当时,内插数据校正装置根据与该要内插象素相邻或相近象素的象素数据产生校正数据,并以这一校正数据替换该内插象素数据、以实现适当的内插。
进而,根据本发明,因为从隔行扫描的两场(即,奇数行的场和偶数行的场)数据,构成相对于垂直方向其相位和频率范围彼此接近的一对用于运动检出的场数据。而且,这一对场数据彼此作比较,所以能够以很高精度执行运动检出。在传统方法中,只利用两场之一来执行内插,因为这样的两场的频率范围彼此不同,于是引起了有错误的检出。因此,上述特点是超出传统方法的显著优点。
而且,因为在这一发明中不用像在先有技术中所陈述那样、通过求同一类型的两场之差来执行运动检出的两帧方案,而用一帧方案,所以能够用一个帧存储器来管理操作的执行。因此预期能够降低成本。根据本发明,因为以可变分量与固定分量之和的形式给出用于运动判断的门限值,而固定分量作为一个极限值而出现,当低于该极限值时,就不能把该图象数据识别为可观察到的运动点了,所以,为了检出运动部分,使固定值起支配作用。所以,能够达到没有由于瞬间模糊部分所引起运动检出错误的、有效的运动检出。
最后,因为当其运动已被检出的象素位于静止部分的水平边缘上时、用于运动判断的门限值将变大。所以,能够防止把静止部分的边缘有错误地判断为运动部分。这样,使执行有效的运动检出成为可能。
图1为,为了说明传统技术,表示原始数据场之一例的参考图解;
图2为,为了说明传统技术,用来详细说明原始图象场的图;
图3为说明一种内插的先有方法的图,在这种方法中,通过利用在垂直方向上的上相邻象素或下相邻象素来产生要内插的象素;
图4为说明一种内插的先有方法的图,在这种方法中,以在垂直方向上的上相邻象素和下相邻象素的平均值插入要内插的象素;
图5为说明一种内插的先有方法的图,在这种方法中,评价从要内插的象素沿倾斜方向安排的象素之间的相关性;
图6为用来说明一种沿5个方向内插方法的图解;
图7为用来说明一种沿7个方向内插方法的图解;
图8为涉及基于相关性、选择内插方向判断的参考图;
图9为涉及基于相关性、选择内插方向判断的参考图;
图10为,为了说明传统技术,用来说明一种利用两帧数据检出运动的方法图解;
图11为,为了说明传统技术,用来说明一种利用单一帧数据检出运动的方法图解;
图12为,为了说明传统技术,用来说明在利用单一帧数据检出运动的方法中怎样构成用于运动检出的象素数据的图解;
图13为表示根据本发明实施例的一种图象数据内插设备配置的方框图;
图14为表示根据本发明实施例的图象数据内插设备,被内插象素周围的象素数据布局的图象数据排列图;
图15为用来说明一种根据本发明实施例的图象数据内插设备获得参考图象数据的过程图;
图16为用来说明一种根据本发明实施例的图象数据内插设备执行的计算相关值的方法图;
图17为用来说明根据本发明实施例的图象数据内插设备所引起的错误内插的图解;
图18为用来说明根据本发明实施例的图象数据内插设备执行的内插过程和校正处理流程的流程图;
图19为表示根据本发明实施例的图象数据内插设备的静止图象形成设备的配置的方框图;
图20为用来说明怎样构成用来检出一个象素周围的、运动的各象素数据的图解,该象素用根据本发明实施例的图象数据内插设备检出;
图21为用来说明怎样构成用来检出在其运动已由根据本发明实施例的图象数据内插设备检出的一个象素周围的各象素的运动门限值的图解;
图22为表示通过简单地把具有运动部分的两场数据组合起来而获得一帧数据的图解的图;
图23为用来说明一帧数据构成方法的图解,其中运动部分的数据只利用两场之一来产生;以及
图24为用来图解用于判断运动检出的、处在要内插的象素之上和之下的各对象素构成方法的图。
下面,将参考图13~16,描述根据本发明实施例的一种图象数据内插设备和一种内插方法。图13为表示根据本发明实施例的一种图象数据内插设备的配置的方框图。图14为表示在要内插的象素周围的象素数据布局的图象数据排列图。图15为用来说明一种根据图14所示图象数据获得参考图象数据的水平内插过程的图。图16为用来说明一种根据图15所示参考图象数据计算相关值的方法的图。图17为用来说明在图象数据中有错误的内插的图解。图18为用来说明本发明内插过程流程的流程图。
首先,如图13所示,这一实施例的图象数据内插设备包括:接受输入视频信号Pi并将其数字化、产生图象数据D的A/D变换器101;存储通过A/D变换器101数字化的一帧图象数据D的帧存储器102;在后述控制器的指令下,对从帧存储器102传送的图象数据D执行D/A变换、产生输出视频信号Po的D/A变换器103;在后述CPU的控制下控制A/D变换器101、D/A变换器103、和帧存储器102的操作的控制器104;以及执行已通过A/D变换器101数字化并已存储在帧存储器102内图象数据D中的相关性评价、并控制帧存储器102和控制器104的操作的CPU105。
这里,将在下列假定下进行描述,即,通过把输入视频信号Pi数字化而获得的图象数据D是亮度数据。
CPU105包括用来存储相关性评价数据的RAM,和其中存储着控制程序的ROM。
其次,将参考图13~18,描述内插的方法和根据这样配置的实施例图象数据内插设备的操作。
这一图象数据内插设备基于在一场图象中已经出现的行“……,i-1,i+1,……”的象素数据,产生行“……,i-2,i,i+2,……”的象素数据。为使描述简单起见,将遵循图18所示流程图,描述下列情况,即,为了执行内插,在位于图14中第“i”排第“j”列的一个象素(称为内插象素)上产生象素数据B(0)(称为内插象素数据)。
首先,图13中,借助于A/D变换器101把输入视频信号Pi变换成数字数据的图象数据D。在控制器104的指令下,把一帧图象数据D从已变换的图象数据D输入到帧存储器102中。
帧存储器102把输入的一帧图象数据中第一场图象数据存储到相应于奇数行地址的存储单元内,并把第二场图象数据存储到相应于偶数行地址的存储单元内。
其次,图13所示CPU105从帧存储器102读出图14所示行“i-1”上的象素数据A(-4)~A(4)。然后,把彼此相邻象素的图象数据平均而获得的象素数据,插入到所讨论的两个象素数据之间,如图15所示,可以重新产生参考象素数据P(-8)~P(8)。以类似的方式,从象素数据C(-4)~C(4)可以获得参考象素数据Q(-8)~Q(8)(步骤S1)。
具体地说,进行下列计算,将其结果存储到CPU105中RAM内:
P(K)=A(K/2)    (K=-8,-6,-4,-2,0,2,4,6,8)
P(K)={A((K-1)/2)+A((K+1)/2)}/2
                (K=-7,-5,-3,-1,1,3,5,7)
Q(K)=C(K/2)    (K=-8,-6,-4,-2,0,2,4,6,8)
Q(K)={C((K-1)/2)+C((K+1)/2)}/2
                (K=-7,-5,-3,-1,1,3,5,7)
从象素数据A(-4)~A(4)和C(-4)~C(4)制备参考象素数据P(-8)~P(8)和Q(-8)~Q(8)的过程,称为水平内插过程。
其次,把通过水平内插过程这样获得的参考象素数据P(·)和Q(·)分割成若干块,每块具有三片连续的图象数据,如图16所示。基于分割成块的参考象素数据之间的差之和,对每一个K,计算块间相关值S(K)(步骤S2)。
具体地说,通过下列计算确定相关值S(K):
S(K)=|P(K-1)-Q(-K-1)|+|P(K)-Q(-K)|+|P(K+1)-Q(-K+1)|
           (K=-7,-6,-5,-4,-3,-2,-1,0,1,2,3,4,5,6,7)
从每一个块间相关值,基于下式进行另一计算,获得已修正的块间相关值T(K)(步骤S3):
T(K)=α(K)S(K)+β(K)
    (K=-7,-6,-5,-4,-3,-2,-1,0,1,2,3,4,5,6,7)
然后,为了指出最佳内插方向,确定使这一已修正块间相关值T(K)为最小的“K”值(步骤S4)。
这里,为了从块间相关值S(K)获得已修正的块间相关值T(K)而引入的校正系数α(K)和β(K)为校正值,α(K)和β(K)随着“K”的绝对值的增大而增大。这一特点是为了保证:如果对不同的K值、两个或两个以上的块间相关值S(K)彼此相等或差别极小,则为了确定内插方向,可以优选接近于零的“K”。
进而,甚至当相关性很小时,通过把参考象素数据分割成若干个三段的块所获得的块间相关值S(K),也将提供比通过逐个象素比较而获得的相关值大得多的值。因此,也能够适当地选择倾斜的内插方向,甚至当确定校正系数α(K)和β(K)时也能够选择具有和缓梯度的方向,以便能够更优选地把更接近于垂直方向的方向选择为内插方向。当计算块间相关值S(K)时,不应把分割到一个块中参考象素的个数限定为3个,该个数可以根据需要适当设定。
利用这样获得的、将给出最佳内插方向的“K”。按照下式可获得内插象素数据B(0)(步骤S5):
B(0)=(P(K)+Q(-K))/2把这一内插象素数据值B(0)存储到帧存储器102中相应于图14所示在第“i”行第“j”列上指定的该内插象素的预定地址的存储单元内。
以类似于上述的方式,一个一个地连续改变要处理的目标象素,以便确定图14中行“i”上各象素的全部内插象素数据。把这样获得的数据存储到预定地址的相应存储单元内,借此可以获得一行的内插象素数据(步骤S7→步骤S8→步骤S1→步骤S7)。这里,每当目标从一个象素改变到另一个象素时,都应该根据需要、执行从帧存储器102读出象素数据A(·)和C(·)以及水平内插过程,这二者都是内插所需要的。
甚至当一帧图象已由上述内插过程(步骤S1~步骤S8)产生、也不能说内插的结果就完全正确,仍有出现有错误内插的最起码的可能性。其次,将描述针对可能以最轻微程度出现的有错误内插的、有关校正方法(称为校正处理)。这一校正处理由两个步骤构成:用来检查内插象素的图象数据和识别已以有错误数据内插了的象素的步骤(步骤S9),以及用来以适当的内插数据替换已被确定为内插错误的图象数据的步骤(步骤S10)。
开始时,将说明用于检出由于有错误的内插所产生的内插象素数据的步骤。通常,利用视频传感器(例如,摄像机等)拾取目标的图象,如果该图象具有像圆点花纹那样的细致图案,则由于该视频传感器中所用光学系统和摄像元件的特性,使这种图象倾向于在位于该图案元素边界上的象素周围在某一程度上变得模糊。然而,如果这里出现了有错误的内插,该边界则将变成非常鲜明,因为它是通过内插过程人为构成的。下述校正处理利用这一特点,并将基于这一特点、进行是否已出现有错误内插的判断。
现在假定,在图17所示象素数据阵第“i”行第“j”列上指定的内插象素数据B(0)为由于有错误的内插产生的一个象素数据。下面将描述有关校正该内插象素数据B(0)的情况。图17中,行“i”的象素数据是从内插过程获得的,而且,下面将要说明的校正处理仅对已通过内插过程获得的各行象素数据执行。
图13所示CPU105从帧存储器102读出象素数据A(-1)~A(1)、B(-1)~B(1)、和C(-1)~C(1),并利用下列计算评价值“d”:
d=|-A(0)+2×B(0)-C(0)|×|-B(-1)+2×B(0)-B(1)|×
   |-A(-1)+2×B(0)+C(1)|×|-A(1)+2×B(0)+C(-1)|。此处,估算值“d”为沿着垂直、水平、左上到右下、和右上到左下方向上图象数据二阶导数的绝对值之积。这一数值表示内插象素数据B(0)与周围象素的象素数据的隔离程度。
一般,如图17所示,如果出现了有错误的内插,则该图象数据的量值(Ievel)将与周围象素的量值变得显著不同。当出现这一情况时,评价值“d”呈现为非常大的值。因此,可以把其评价值“d”超出预定门限值的象素数据确定为内插错误。这样,得以容易地判断通过内插过程所获得象素数据的适当性(步骤S9)。将这一判断称为内插适当性判断。
虽然检出内插错误的能力稍有降低,但是仍可把下列8方向拉普拉斯算符用作一种评价值“d”:
d=|8×B(0)-A(-1)-A(0)-A(1)-B(-1)-B(1)-C(-1)-C(0)-C(1)|
其次,如果在内插适当性判断阶段中检出了内插错误,并已确定该内插不适当,则以位于垂直方向上的象素数据替换该已被确定为有错误的内插象素数据(步骤S10)。
即,以利用下式获得的内插数据替换已被检出为有错误的内插象素的内插图象数据:
B(0)=(A(0)+C(0))/2
这时,内插数据为已被检出为有错误的内插象素之上和之下象素的象素数据之平均值。
对在内插过程期间产生的、图14所示行“i”的全部象素数据,类似地进行校正处理(步骤S9~步骤S10)。用这种方法,能够获得在一行内全部校正在内插过程(步骤S1~步骤S8)期间产生的有内插错误的图象数据。以同一方式,对要内插的其它每一行重复上述内插过程和校正处理,一直到从一场图象数据最后产生了一帧图象数据时,把所产生的图象数据送到帧存储器102上。用这种方法,把已校正了其中有错误的内插、因而不规则性并不明显的一帧图象数据存储到帧存储器102内。
当包括内插过程和校正处理的图象数据内插连续处理结束以后、获得了一帧图象数据时,CPU105就指令控制器104控制帧存储器102和D/A变换器103,以便借助于D/A变换器103把存储在帧存储器102中的一帧图象数据变换成输出视频信号Po。把这样变换的信号从本设备输出到外部去。
虽然在以上校正处理的描述中,通过使内插过程与校正处理交替地进行、一行一行地处理一场的已内插的图象数据,但是也可以在内插结束以后、一次校正一场的全部象素数据。进而,如果仅通过内插就获得了高质量的图象,那么,校正处理即可省略。
在其中从原始象素数据产生要用于内插过程的参考象素数据的水平内插的描述中,虽然通过把两个相邻数据的平均值插入到其中间来制备参考象素数据,但是在水平内插过程中内插象素数据的数据的个数可以根据需要而增加。进而,为了简化这一过程,也可以直接对象素数据A(·)和C(·)进行类似的处理、以确定内插的方向,而不制备参考象素数据P(·)和Q(·)。
而且,虽然组成这一实施例图象数据内插设备的CPU105自适应于根据存储在所包括的ROM内的程序、执行用于评价相关性的计算,但是,本发明的要点将不局限于这一计算执行装置。即,可以利用其它硬件,或者,也可以利用安装于个人计算机或工作站内的软件进行计算,以便执行全部内插过程。
在上面实施例的描述中,虽然把亮度数据假定为图象数据,但是当内插彩色图象的色度信号时,可以利用与为亮度数据所确定的同一内插方向上的数据进行内插。
根据上述实施例的图象数据内插设备,因为为了确定内插方向、对通过把两个相邻象素的象素数据的平均值插入到其中间而获得的P(·)和Q(·)作为参考象素数据进行了估算,所以,能够减少从内插参考象素数据中选择与实际边缘无关的有错误的象素数据的可能性。进而,为了评价周围象素的相关性,以每一块三个近似的象素数据为单元、对要内插的象素周围的各象素情况进行检查。所以,与为了确定相关性、简单地估算直接在要内插的象素之上和之下的两个象素数据之差的情况相比,能够减少有错误的内插。
根据这一实施例的图象数据内插设备,基于评价函数T(K)来确定内插方向,该评价函数以这样的方法来修正,即把较高的优先权给予位于垂直方向上的图象数据。因此,如果在任一方向上都找不到相关性,或者,甚至当位于不是相当好的内插方向上两个象素之间象素数据的差只是稍小于在合适的内插方向上两个象素之间象素数据的差的最小值时,则更可能把更接近于垂直方向上的图象数据用于内插。结果是,可以把更接近于目标的各象素的象素数据用于内插,这样,能够减少有错误的内插的出现。
进而,根据这一实施例的图象数据内插设备,虽然为了起到一个静止图象显示设备的作用而把D/A变换器103连接到帧存储器102的后面,但是,当把一台打印机代替D/A变换器103连接上去时,就能够实现打印高质量图象的视频打印机。
其次,将描述本发明的另一实施例,或者说一种具有用来把图象中的运动部分与静止部分分离开来的运动检出装置的图象数据内插设备。
下面,将参考图19~24,描述本发明这一实施例的图象数据内插设备。图19为表示根据本发明这一实施例图象数据内插设备的一种配置的方框图。图20为表示在其运动已被检出的一个象素周围的各象素的图解。图21为图示说明用来估算在其运动已被检出的一个象素周围的各象素的门限值中可变分量的图。图22为表示通过简单地把具有运动部分的两场数据组合起来而获得一帧数据的图解。图23为用来说明一帧数据构成方法的图解说明,其中运动部分的数据通过只内插两场之一来产生。图24为图解说明用于判断运动检出的、处在要内插的象素之上和之下的各对象素构成方法的图。
首先,如图19所示,这一实施例图象数据内插设备包括:接收输入视频信号Pi并将其数字化、产生图象数据D的A/D变换器101;存储已通过A/D变换器101数字化的一帧图象数据D的帧存储器102;在后述CPU的控制下控制A/D变换器101和帧存储器102的操作的控制器104;以及执行用来检查和确定已数字化并已存储在帧存储器102内图象数据D的运动的计算处理、并控制帧存储器102和控制器104的操作的CPU105。这里,CPU105包括用来存储相关性运算数据的RAM、和其中存储着控制程序的ROM。
其次,将参考图19~24,描述根据这样配置的实施例图象数据内插设备的操作。参考图20,这一图象数据内插设备基于第一场图象,或者更准确地说,是基于行“……,i-1,i+1,……”的象素数据,确定第二场图象、或行“……,i-2,i,i+2,……”的象素数据是否有某些运动点。这里,将说明判断位于第“i”排第“j”列(图20所示)的一个象素的象素数据是运动点还是静止点的情况。首先,图19中,借以于A/D变换器101把输入视频信号Pi变换成数字数据的图象数据D。在控制器104的指令下,把一帧图象数据D从已变换的图象数据D输入到帧存储器102中。
帧存储器102从输入的一帧图象数据中把第一场图象数据存储到相应于奇数行地址的存储单元内,并把第二场图象数据存储到相应于偶数行地址的存储单元内。其次,图19所示CPU105从帧存储器102读出图20所示在5个点X(-2)~X(+2)上的输入图象数据。这里,X(-2)~X(+2)相应于由〔j,i-2〕,……〔j,i+2〕指定的象素的帧数据。此后在CPU105中进行下列计算。首先,通过场内线性内插,在各自的场内产生如图20所示其位置沿垂直方向移动了1/4象素的图象数据Y1(0)和Y2(0)。例如,以加权比3∶1(这相应于第一发明中a=1/4的情况)基于X(1)和X(-1)、并从X(1)移动1/4象素,产生图象数据Y1(0)。类似地,基于X(0)和X(+2)、并从X(0)移动1/4象素,产生象素数据Y2(0)。
这可用下列公式表示:
Y1(0)=(1/4)×(-1)+(3/4)×(+1)
Y2(0)=(3/4)×(0)+(1/4)×(+2)Y1(0)和Y2(0)在每一帧中位于同一点上。即,从两场数据构成了相对于垂直方向具有相同相位和相同频率范围的两帧图象。接着,计算Y1(0)与Y2(0)之差的绝对值“d”。可将“d”值记为:
d=|Y1(0)-Y2(0)|
把这一“d”与预定的运动检出门限值“th”相比较。如果d>th,就把图20中的象素〔j,i〕确定为运动点;否则,就把该象素确定为静止点。
在传统方法中,为了确定运动,仅通过简单的内插计算两场之一来构成一帧数据。即,把Y1(0)和Y2(0)取为:
Y1(0)=(1/2)×(-1)+(1/2)×(+1)
Y2(0)=X(0)
因此,Y1(0)的频率范围与Y2(0)的频率范围不同,可认为这是从有错误检出而引起。
因为在这一发明中,把如上所述具有相同相位和相同频率范围而构成的两场用于Y1(0)和Y2(0),所以,始终能够严格地把“d”检出来,而不受图象统计特性的影响。
把上述运动检出门限值“th”规定为两个分量之和:
th=th0+th1
一般,在运动部分中,场之间的差将变大,即,“d”将变大,这样,将把该点确定为一个运动点。然而,即使某个点属于静止部分,当被观察的象素近于静止目标的边缘时,“d”也将变大,因此,将把那个点有错误地确定为一个运动点。为了处理这一情况,把“th”分割成两部分,即th0和th1。“th0”为设定为极限值的固定分量,不能把低于该极限值的图象数据识别为一个可观察到的运动点。
th1为非负值的可变分量,其特点为,只要被观察点〔j,i〕或X(0)位于水平边缘部分上,th1值就变大。这里,以下式给出th1:
th1=Krnd(max(α,β))    (rnd(·):舍入)
此处,
α=min(|X(-2)-X(0)|,|X(0)-X(+2)|
β=|X(-1)-X(+1)|
上式中,α和β为利用在各自场内象素数据之差的绝对值的两个参数,且在静止部分的水平边缘部分上这两个参数将变大。因此,“th”变大,使得X(0)变成不可能被判断为运动部分了。这意味着,当被观察的象素位于接近于静止目标的边缘时,能够防止有错误的检出。下面,将详细讨论上述公式。图21中,当X(0)为运动部分时(图21(a)中),可以认为,属于同一场的象素数据彼此近似相等。因此,将假定X(-2)与X(0)之差、或者X(0)与X(+2)之差很小。这里,当属于运动部分的象素位于边缘上时(图21(b)中),则在被观察的象素之上或之下必定有一个与运动部分无关的象素。因此,为了使α小,使用了“min”算符。
另一方面,当所讨论的数据位于静止的水平边缘部分内时(图21(C)中),在位于该边界边缘对面的数据的各象素即使属于同一场、在它们之间基本也不相关。结果是,α或β变大。图21(c)中以图解示出,利用“min”(·)的功能为α选择了一个小值|X(-2)-X(0)|,但β呈现为一个大值|X(-1)-X(1)|。这样,选定了该较大的值或β。总之,不论是α还是β,哪个较大,就用哪个。用这种方法,在运动部分上,max(α,β)将变小,而在水平的边缘部分上max(α,β)将变大。
这里,rnd(·)为将次要的低位比特略掉的舍入算符。当考虑图象中所包括噪声等所引起的不规则性时,max(α,β)并不总是变为零,它能够这样地影响th1,即,可能引起检出错误。这就是要加入舍入步骤的原因。系数“k”为表示在可变部分rnd(max(α,β))与固定分量th0之间平衡的加权系数,选择该系数“k”、以便防止运动检出的错误和水平边缘有错误的检出。CPU105把“th”与“d”相比较,如果“d”大于“th”,则把被观察的象素确定为一个运动点;否则,将其确定为一个静止点。
利用上述运动检出,使都具有运动部分的两场数据能够形成例如一帧不模糊的静止图象。当存在着运动目标、且不经任何处理地把两场数据构成为一帧数据时,该运动目标的合成图象看来好象是具有锯齿的图象,即,交替地每隔一个扫描行出现一个锯齿,如图22所示。为了防止这一点,只是把两场之一具有运动的部分用于内插,以构成一帧数据,如图23所示。
考虑把本实施例的这一方法应用于上述一帧数据的构成情况。这时,当基于这一发明的方法、把具有数据X(0)的被观察象素确定为一个运动点时,通过利用不是X(0)所属于的那一场中的X(-1)和X(+1)进行内插以替代采用X(0),从而来构成该帧数据上的点〔j,i〕。具体地说,在〔j,i〕点上的象素数据如下:
如果X(0)为一个运动点:
则在〔j,i〕点上的象素数据=(X(-1)+X(+1))/2,
如果X(0)为一个静止点:
则在〔j,i〕点上的象素数据=X(0)
不用说,也可以根据图18中图解的第一实施例来执行该内插构成。CPU105将进行上述计算处理。
用这种方法,使要处理的目标从一个象素移动到另一个象素,当已把行“……,i-2,i,i+2,……”上的全部象素处理完毕时,就可以产生一帧数据的、无模糊的高度质量静止图象了。
上面,在两场之一中,在扫描行之间以1∶3之比内分割在垂直方向上的象素距离的点上,提供一个用于运动检出的内插象素;而在另一场中,在扫描行之间、以3∶1之比内分割在垂直方向上的象素距离的点上,提供另一个用于运动检出的内插象素。然而,不应把取内插象素的方法局限于此。例如,可以把内插象素定位于以a∶1-a(此处,0<a<1,且a≠0.5)之比分割象素距离。但是,担心可能出现某种轻微的运动检出的错误,因为所构成用于运动检出的象素是在已从实际象素移动了的位置上形成的。为了处理这一情况,如图24所示,可使其它象素在沿垂直方向对称的位置上产生、以便执行相同的运动检出,并能计算此二运动检出结果的逻辑和。
而且,虽然组成这一实施例运动检出设备的CPU105适应于根据存储在所包括的ROM内的程序、执行用于运动检出的计算,但是,本发明的要点将不局限于这一计算执行装置。即,可以利用其它硬件,或者也可以利用安装于个人计算机或工作站内的软件进行计算,以便执行全部内插过程。
正如已经描述的那样,根据本发明可以获得下列优点。
首先,根据本发明,因为是通过评价与在其中间要内插的象素彼此相对的两块参考数据之间的相关性而确立内插方向的,所以,能够对每一个象素确定适当的内插方向。因而,能够有力地减少在内插处理中的有错误的内插。
根据本发明,把有错误地产生的象素数据检出来,能够以从位于该有错误的象素数据周围(相邻于或相近于)的象素的数据产生的内插数据将其替换掉。结果是,能够实际地消除由于在内插过程中所出现的内插错误所引起可观察到的不规则性。
进而,根据本发明,通过根据内插方向分配加权值来判断相关性,并基于该判断结果执行内插,对具有较为和缓倾斜缘的边缘,能够执行基本没有锯齿的光滑内插。
而且,根据本发明,因为为了确定由内插过程错误地内插的象素数据,利用二阶导数或8方向拉普拉斯算符计算表示象素数据隔离情况的估算值,如果该象素数据是有错误的,估算值则变成很大。基于该估算值、判断通过内插获得的每一片图象数据是否适当,所以,能够容易地实现内插错误的确定。
根据按上述配置的本发明,因为能够有力地减少内插错误、并能实际地消除由于内插错误所引起可观察到的不规则性,所以能够从一帧数据获得高度合格的静止图象帧数据。
进而,根据本发明的其它实施例,因为根据隔行扫描的两场(即,奇数行的场和偶数行的场)数据,构成了相对于垂直方向其相位和频率范围彼此接近的一对用于运动检出的场数据,而且,这一对场数据彼此作了比较,所以,能够以很高精度执行运动检出。在传统方法中,只利用两场之一来执行内插,因此,这两场的频率范围彼此不同,这样,引起了有错误的检出。因此,上述特点是超出传统方法的显著优点。
而且,因为在这一发明中不用像在先有技术中所陈述那样、通过求同一类型的两场之差来执行运动检出的两帧方案,而用一帧方案,所以,能够用一个帧存储器来管理操作的执行。因此,能够预期降低成本。根据本发明,因为以可变分量与固定分量之和的形式给出用于运动判断的门限值,而固定分量作为一个极限值而出现,当低于该极限值时,就不能把该图象数据识别为可观察到的运动点了,所以,为了检出运动部分,使固定值起支配作用。所以,能够达到没有由于瞬间模糊部分所引起运动检出错误的有效的运动检出。
最后,根据本发明,因为当其运动已被检出的象素位于静止部分的水平边缘上时,用于运动判断的门限值将变大,所以,能够防止把静止部分的边缘有错误地判断为运动部分,这样,使执行有效的运动检出成为可能。
用这种方法,根据这样配置的本发明,因为能够防止由于瞬间模糊部分所引起运动检出的错误,还因为能够防止把静止部分的边缘有错误地判断为运动部分,所以,对任一类型的图象都能够达到非常严格的运动检出。

Claims (7)

1.一种图象数据内插设备,它利用两场数据之一产生一帧数据,此两场数据分别构成一帧数据的各奇数扫描行和各偶数扫描行上的象素数据,以便内插在另一场的各偶数扫描行上或各奇数扫描行上的象素数据,其中,一帧数据通过利用下列步骤内插一场数据而产生:根据要内插的象素确定内插方向;以及基于位于该内插方向上象素的象素数据,产生相应于该要内插象素的内插象素数据,该设备包括:
参考象素数据发生装置,用来产生相应于属于两场之一且位置相邻于并在该要内插象素之上的扫描行象素的第一排参考象素的数据,以及相应于属于两场之一且位置相邻于并在该要内插象素之下的扫描行象素的第二排参考象素的数据;
内插方向确定装置,用于根据第一块数据与第二块数据之间的相关性的计算结果来确定该要内插象素的内插方向,其中,第一块数据包括一组预定个数连续参考象素的象素数据、并属于第一排参考象素数据,而第二块数据包括一组同样个数的连续参考象素的象素数据、属于第二排参考象素数据、并且位于第一块数据对面,且该要内插的象素数据处在它与第一块数据之间;以及
内插象素数据产生装置,用来基于相应于位于由内插方向确定装置确定的内插方向上、属于两场之一的扫描行、且其位置相邻于并处在该要内插象素之上和之下的象素的象素数据而产生用于该要内插象素的数据。
2.一种图象数据内插设备,它利用两场数据之一产生一帧数据,此两场数据分别构成一帧数据的各奇数扫描行和各偶数扫描行上的象素数据,以便内插在另一场的各偶数扫描行上或各奇数扫描行上的象素数据其中一帧数据通过按以下步骤内插一场数据而产生:根据要内插的象素确定内插方向;以及基于位于该内插方向上象素的象素数据产生相应于该要内插象素的内插象素数据,该设备包括:
判断装置,基于对该内插象素数据与相邻或相近于该要内插象素的象素数据的比较而判断该要内插象素的内插数据是否适当;以及
内插数据校正装置,用来当判断装置的判断结果指示出需要校正时,通过以根据相邻或相近于该要内插象素的象素的象素数据制备的校正数据片替换该内插象素数据从而校正该内插象素数据。
3.根据权利要求1的图象数据内插设备,其特征在于,其中内插方向确定装置通过根据内插方向加权来计算相关性。
4.根据权利要求2的图象数据内插设备,其特征在于,其中判断装置通过估算二阶导数或8方向拉普拉斯算符,把该内插象素数据与相邻或相近于该要内插象素的象素的象素数据相比较。
5.一种图象数据内插设备,具有运动检出装置,用来检出在包含有两场图象(即,隔行扫描中的奇数场和偶数场)的一帧图象中的运动,其中运动检出装置包括:数据构成装置,用来通过执行象素内插以便以a∶1-a(此处,0<a<1,且a≠0.5)之比来分割在垂直方向上扫描行之间的距离,从而,在两场数据之一中重新构成第一运动检出场数据,并且,通过执行象素内插以便以0.5+a∶0.5-a之比来分割在垂直方向上扫描行之间的距离,从而,在另一场数据中重新构成第二运动检出场数据;以及数据差检出装置,用来检出在该第一运动检出场数据与该第二运动检出场数据之间的差。
6.根据权利要求5的图象数据内插设备,其特征在于,其中数据差检出装置包括:计算装置,用来计算在该第一运动检出场数据的象素数据、与该第二运动检出场数据的象素数据(此二者在每一场内的相应位置上)之间的差;运动判断门限值输出装置;以及用来把来自计算装置的输出值、与从运动判断门限值输出装置输出的运动判断门限值相比较的比较装置;并且,该运动判断门限值输出装置具有运动判断门限值发生装置,该运动判断门限值发生装置产生作为固定分量与受控于图象特征的可变分量之和的运动判断门限值。
7.根据权利要求6的图象数据内插设备,其特征在于,其中可变分量利用下列步骤来确定:从第一和第二绝对值中选择最小值作为第一参数,该第一和第二绝对值是对其运动已被检出的目标象素以及其位置相邻于且处在目标象素之上和之下的一对象素(全部这些象素存在于同一场内)而进行计算的,此处,把第一绝对值定义为在目标象素与上象素之间的象素数据之差的绝对值,把第二绝对值定义为在目标象素与下象素之间的象素数据之差的绝对值;计算第二参数,该第二参数是在其它场内的相邻于且处在目标象素之上与之下的象素之间的象素数据之差的绝对值;以及基于第一和第二参数的最大值来确定该可变分量。
CN97102026A 1996-01-17 1997-01-14 图象数据内插设备 Pending CN1168052A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP8005822A JPH09200575A (ja) 1996-01-17 1996-01-17 画像データ補間装置
JP5822/96 1996-01-17
JP08556796A JP3411950B2 (ja) 1996-04-08 1996-04-08 動き検出装置
JP85567/96 1996-04-08

Publications (1)

Publication Number Publication Date
CN1168052A true CN1168052A (zh) 1997-12-17

Family

ID=26339829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN97102026A Pending CN1168052A (zh) 1996-01-17 1997-01-14 图象数据内插设备

Country Status (7)

Country Link
US (1) US5832143A (zh)
EP (1) EP0785683B1 (zh)
KR (1) KR100215177B1 (zh)
CN (1) CN1168052A (zh)
DE (1) DE69733978T2 (zh)
ES (1) ES2247616T3 (zh)
MY (1) MY117289A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100380944C (zh) * 2002-10-08 2008-04-09 索尼株式会社 图像转换设备、图像转换方法和图像投影设备
US7554559B2 (en) 2005-11-08 2009-06-30 Intel Corporation Edge directed de-interlacing
CN102480632A (zh) * 2010-11-24 2012-05-30 群光电子股份有限公司 三维影像处理系统、摄影装置及其影像产生装置

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3249729B2 (ja) * 1995-10-24 2002-01-21 シャープ株式会社 画像符号化装置及び画像復号装置
KR100271469B1 (ko) * 1997-02-25 2001-01-15 이민화 초음파스캔시스템의 디지탈스캔컨버터
US6002813A (en) * 1997-07-10 1999-12-14 Samsung Electronics Co., Ltd. Interpolation method for binary image
US6002812A (en) * 1997-07-10 1999-12-14 Samsung Electronics Co., Ltd. Interpolation method for binary image
US6122017A (en) * 1998-01-22 2000-09-19 Hewlett-Packard Company Method for providing motion-compensated multi-field enhancement of still images from video
JP2991180B2 (ja) * 1998-01-28 1999-12-20 日本電気株式会社 画素補間方法及び画素補間回路並びに画素補間プログラムを記録した記録媒体
JP3676948B2 (ja) 1999-07-07 2005-07-27 アルプス電気株式会社 画素数変換回路及びこれを用いた画像表示装置
US7039254B1 (en) * 1999-08-05 2006-05-02 Sanyo Electric Co., Ltd. Image interpolating method
US6421090B1 (en) * 1999-08-27 2002-07-16 Trident Microsystems, Inc. Motion and edge adaptive deinterlacing
DE19951341B4 (de) * 1999-10-25 2012-02-16 Robert Bosch Gmbh Verfahren zur bewegungskompensierenden Prädiktion von Bewegtbildern sowie Einrichtung hierzu
US7171059B1 (en) * 2002-05-23 2007-01-30 Pixelworks, Inc. Method and apparatus for two-dimensional image scaling
US7324709B1 (en) * 2001-07-13 2008-01-29 Pixelworks, Inc. Method and apparatus for two-dimensional image scaling
US6965705B1 (en) * 2001-08-09 2005-11-15 Ndsp, Inc. Method and system for dynamic angle interpolation in image processing
US7865041B1 (en) * 2001-08-09 2011-01-04 Pixelworks, Inc. Artifacts measurement on video decomposable properties by dynamic fuzzy reasoning
US7502529B1 (en) * 2001-08-09 2009-03-10 Pixelworks, Inc. Low level video detail tracking by intuitionistic fuzzy relationship calculus
US7088392B2 (en) * 2001-08-27 2006-08-08 Ramakrishna Kakarala Digital image system and method for implementing an adaptive demosaicing method
KR100423504B1 (ko) * 2001-09-24 2004-03-18 삼성전자주식회사 영상신호의 라인보간 장치 및 방법
US7245326B2 (en) * 2001-11-19 2007-07-17 Matsushita Electric Industrial Co. Ltd. Method of edge based interpolation
US7242819B2 (en) * 2002-12-13 2007-07-10 Trident Microsystems, Inc. Method and system for advanced edge-adaptive interpolation for interlace-to-progressive conversion
KR100506086B1 (ko) * 2002-12-26 2005-08-03 삼성전자주식회사 영상의 재현 품질 향상 장치 및 그 방법
KR100943595B1 (ko) * 2003-01-30 2010-02-24 삼성전자주식회사 영상신호의 블러링 판단장치 및 방법
JP3767593B2 (ja) * 2003-10-07 2006-04-19 三菱電機株式会社 画素補間回路及び画素補間方法
JP3810404B2 (ja) * 2003-11-10 2006-08-16 三菱電機株式会社 画素補間回路、及び画素補間方法
US7345708B2 (en) * 2003-12-23 2008-03-18 Lsi Logic Corporation Method and apparatus for video deinterlacing and format conversion
US7525584B2 (en) * 2004-01-05 2009-04-28 Lifesize Communications, Inc. Fast edge directed demosaicing
AU2005203001B2 (en) * 2004-07-12 2008-07-17 Canon Kabushiki Kaisha Processing interlaced video in a frame based rendering system
US7554602B2 (en) 2004-07-12 2009-06-30 Canon Kabushiki Kaisha Processing interlaced video in a frame based rendering system
US7545435B2 (en) * 2004-10-15 2009-06-09 Lifesize Communications, Inc. Automatic backlight compensation and exposure control
US7864221B2 (en) * 2004-10-15 2011-01-04 Lifesize Communications, Inc. White balance for video applications
JP2006148827A (ja) * 2004-11-25 2006-06-08 Oki Electric Ind Co Ltd 走査線補間装置、及び走査線補間方法
KR100636971B1 (ko) * 2004-12-30 2006-10-19 매그나칩 반도체 유한회사 이미지센서의 포커스 데이타 생성 장치 및 방법
GB2422974A (en) * 2005-02-04 2006-08-09 Imagination Tech Ltd De-interlacing of video data
GB2422975B (en) * 2005-02-08 2007-12-12 Imagination Tech Ltd Conversion of video data from interlaced to non-interlaced format
GB2422976B (en) * 2005-02-08 2007-05-23 Imagination Tech Ltd Conversion of video data from interlaced to non-interlaced format
US7522214B1 (en) 2005-06-27 2009-04-21 Magnum Semiconductor, Inc. Circuits and methods for deinterlacing video display data and systems using the same
US7450184B1 (en) 2005-06-27 2008-11-11 Magnum Semiconductor, Inc. Circuits and methods for detecting 2:2 encoded video and systems utilizing the same
US7414671B1 (en) 2005-06-30 2008-08-19 Magnum Semiconductor, Inc. Systems and methods for display object edge detection and pixel data interpolation in video processing systems
US7538824B1 (en) 2005-08-18 2009-05-26 Magnum Semiconductor, Inc. Systems and methods for reducing noise during video deinterlacing
GB2431803A (en) 2005-10-31 2007-05-02 Sony Uk Ltd Alias avoidance in image processing
US8311129B2 (en) * 2005-12-16 2012-11-13 Lifesize Communications, Inc. Temporal video filtering
EP1841205A1 (en) * 2006-03-29 2007-10-03 Sony Deutschland Gmbh Motion detection in an interlaced field sequence
US7667762B2 (en) * 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
CN101271483B (zh) 2006-09-13 2012-02-22 Asml蒙片工具有限公司 分解图案的方法、器件制造方法及产生掩模的方法
JP4861114B2 (ja) * 2006-09-27 2012-01-25 株式会社東芝 映像信号処理装置
EP1931136B1 (en) 2006-12-08 2016-04-20 Panasonic Intellectual Property Corporation of America Block-based line combination algorithm for de-interlacing
JP2010035157A (ja) * 2008-06-27 2010-02-12 Panasonic Corp 画像処理装置
KR101544914B1 (ko) * 2009-02-12 2015-08-17 삼성전자주식회사 보간 픽셀을 생성하는 방법
US8675137B2 (en) * 2010-04-13 2014-03-18 Newport Media, Inc. Apparatus and method for adaptive filtering
US8891906B2 (en) * 2012-07-05 2014-11-18 Intel Corporation Pixel-adaptive interpolation algorithm for image upscaling

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63205778A (ja) * 1987-02-20 1988-08-25 Sumitomo Electric Ind Ltd ビデオ信号デイジタル化回路
JPH02131689A (ja) * 1988-07-22 1990-05-21 Toshiba Corp フィールド内補間回路
US5294984A (en) * 1988-07-23 1994-03-15 Ryoichi Mori Video signal processing system for producing intermediate pixel data from neighboring pixel data to improve image quality
GB2231460B (en) * 1989-05-04 1993-06-30 Sony Corp Spatial interpolation of digital video signals
US5243422A (en) * 1990-11-13 1993-09-07 Hitachi, Ltd. Field converting method for television signals and device for realizing same
US5410356A (en) * 1991-04-19 1995-04-25 Matsushita Electric Industrial Co., Ltd. Scanning-line interpolation apparatus
JPH05153562A (ja) * 1991-12-02 1993-06-18 Matsushita Electric Ind Co Ltd 相関検出補間方法および装置
US5347599A (en) * 1991-06-14 1994-09-13 Matsushita Electric Industrial Co., Ltd. Adaptive interpolation method and apparatus using correlation detection
US5369449A (en) * 1991-11-08 1994-11-29 Matsushita Electric Industrial Co., Ltd. Method for predicting move compensation
JP3064598B2 (ja) * 1991-12-02 2000-07-12 松下電器産業株式会社 相関検出補間方法および装置
FI89995C (fi) * 1991-12-31 1993-12-10 Salon Televisiotehdas Oy Foerfarande foer randadaptiv interpolation av en tv-bilds linje samt en interpolator
EP0561286B1 (en) * 1992-03-20 1997-06-18 THOMSON multimedia Method and apparatus for direction related interpolation
US5291280A (en) * 1992-05-05 1994-03-01 Faroudja Y C Motion detection between even and odd fields within 2:1 interlaced television standard
JPH06141283A (ja) * 1992-10-28 1994-05-20 Sony Corp 静止画表示装置
US5617143A (en) * 1993-03-29 1997-04-01 Canon Kabushiki Kaisha Movement detection device and encoding apparatus using the same
US5561532A (en) * 1993-03-31 1996-10-01 Canon Kabushiki Kaisha Image reproducing apparatus
JP3070891B2 (ja) * 1993-04-02 2000-07-31 富士写真フイルム株式会社 画像補間処理方法及びカラービデオプリント方法
FI96559C (fi) * 1994-06-10 1996-07-10 Nokia Technology Gmbh Menetelmä reunan suunnan tunnistamiseksi lomitellussa televisiokuvassa
JP3164481B2 (ja) * 1994-12-20 2001-05-08 シャープ株式会社 撮像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100380944C (zh) * 2002-10-08 2008-04-09 索尼株式会社 图像转换设备、图像转换方法和图像投影设备
US7554559B2 (en) 2005-11-08 2009-06-30 Intel Corporation Edge directed de-interlacing
CN101005599B (zh) * 2005-11-08 2014-07-23 英特尔公司 边缘方向去交错的方法、设备和系统
CN102480632A (zh) * 2010-11-24 2012-05-30 群光电子股份有限公司 三维影像处理系统、摄影装置及其影像产生装置
CN102480632B (zh) 2010-11-24 2014-10-22 群光电子股份有限公司 三维影像处理系统、摄影装置及其影像产生装置

Also Published As

Publication number Publication date
DE69733978T2 (de) 2006-06-22
MY117289A (en) 2004-06-30
DE69733978D1 (de) 2005-09-22
EP0785683A3 (en) 1999-10-06
EP0785683A2 (en) 1997-07-23
KR100215177B1 (ko) 1999-08-16
US5832143A (en) 1998-11-03
ES2247616T3 (es) 2006-03-01
EP0785683B1 (en) 2005-08-17

Similar Documents

Publication Publication Date Title
CN1168052A (zh) 图象数据内插设备
CN1248499C (zh) 内插设备和包括内插设备的视频信号处理设备
CN1252999C (zh) 用于隔行至渐进式变换的高级边缘自适应插值方法和系统
CN100351868C (zh) 利用多帧图像的静止图像的生成
CN1164116C (zh) 数据块噪声检测装置及数据块噪声消除装置
CN1192614C (zh) 静止判断装置及方法和扫描线插补装置及方法
CN1123211C (zh) 具有插值功能的图像拾取设备和插值方法
CN1204744C (zh) 视频显示装置和视频显示方法
CN1173553C (zh) 成像设备
CN1756299A (zh) 用于处理运动图像的设备和方法以及计算机程序产品
CN1638447A (zh) 基于边缘的图像自适应去除隔行扫描的方法和设备
CN1913585A (zh) 数字视频中估算运动并补偿所感知运动模糊的方法及系统
CN1838737A (zh) 帧速率变换装置、摇摄·倾斜判断装置及视频装置
CN1123497A (zh) 电视信号的帧格式转换装置
CN1100870A (zh) 视频格式转换装置和方法
CN1992789A (zh) 运动估计器和运动估计方法
CN1816154A (zh) 用于运动估计的方法和装置
CN1111881A (zh) 图象重播装置
CN1812481A (zh) 图像处理装置及其方法
CN1892756A (zh) 投影图像的位置调整方法
CN1627814A (zh) 图像处理的方法、装置以及程序
CN1358028A (zh) 图像编码/解码方法,图像编码装置和图像解码装置
CN1285211C (zh) 用于加强重现图像质量的设备和方法
CN1233372A (zh) 活动图像编码装置和活动图像解码装置
CN1889673A (zh) 一种用于数字视频处理的运动检测和解交错方法及其装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication