CN1131871A - 运动图形处理方法 - Google Patents

运动图形处理方法 Download PDF

Info

Publication number
CN1131871A
CN1131871A CN95119496A CN95119496A CN1131871A CN 1131871 A CN1131871 A CN 1131871A CN 95119496 A CN95119496 A CN 95119496A CN 95119496 A CN95119496 A CN 95119496A CN 1131871 A CN1131871 A CN 1131871A
Authority
CN
China
Prior art keywords
field
signal
moving picture
frame
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN95119496A
Other languages
English (en)
Other versions
CN1134165C (zh
Inventor
大石义明
加藤元树
北泽俊彦
安田和德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1131871A publication Critical patent/CN1131871A/zh
Application granted granted Critical
Publication of CN1134165C publication Critical patent/CN1134165C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

处理运动图形的方法,输入数字运动图形信号有多个场图形。处理方法包括从输入数字运动图形信号中检测冗余场,从多个场图形消除检测的冗余场,根据消除了冗余场的场图形串判定构成要根据图形处理进行处理的帧的顶部和底部场的组合并输出判定结果,把预置信号插入删除了冗余场的场图形串,产生用于处理的其图形速率同于输入数字图形信号速率的图形信号,及在判定结果的基础上根据预定图形处理对与处理相关的图形信号进行处理。

Description

运动图形处理方法
本发明涉及到一种用于对包含有冗余图形的运动图形进行处理的运动图形处理方法,特别是本发明涉及到一种用于在对诸如运动图形胶片的原始图象源进行光电转换获得的运动图形信号进行处理的运动图形处理设备。
为了把用于处理运动图形的多个设备相互连接到一起以提供一个运动图形处理系统,需要使运动图形同步。通常,这种系统中多个设备中的一个被用作基准,而其余的设备跟随这个基准设备。这个基准设备被称作主要设备,而其余的设备被称作从属设备。主要设备的例子包括摄像机,VTR,视频盘或计算机,用作运动图形的提供源,而从属设备的例子包括编码器、VTR或监视器,用于提供的运动图形进行处理。
由主要设备提供的同步信号用作系统锁相环(PLL)基准时钟。
图1示出一个示意性的运动图形编码系统。
这个运动图形编码系统具有多种时钟。例如有用于编码器101的时钟、有用于局部译码器102的时钟或者还有显示时钟。当然,由作为运动图形提供源的图形输入设备10的数字VTR100所提供的图形同步输入S2表示主要时钟。
运动图形的编码被认为是在运动图形数字传送时为减少传送成本所必不可少的技术。
例如,图形处理器20是由编码器101和局部译码器102构成的,且该处理器20执行由运动补偿预测和在所谓MPEG2(ISO/IEC 13813-2)公知的DCT相结合所构成的混合编码方法。
以每秒30帧(每秒60场)或以每秒25帧(每秒50场)的速率给出输入信号S1。
在图2中,由交叉阴影线示出的场是顶部场或奇数场,而用阴影线示出的场是底部场或偶数场。在当前实施例中一每个帧都必须由一对场构成。由此,与每个帧同步地提供帧同步信号S2。在这种情况下,利用图1的图形处理器20对输入的图形进行编码,从而使编码器101以帧同步信号S2作为时钟而进行工作。
若所输入的图形S1没有冗余场,那么运动图形编码系统可以工作而不必使用帧同步信号S2。
但在某些场合,其中的冗余图形包含在输入图形S1中。
这种冗余图形被包括在利用光电转换在VTR中记录,例如运动图形胶片上获得的运动图形之中。即作为原始图形源的运动图形胶片的图形帧的数量是每秒24帧,借此使NTSC电视系统的图形帧的数量是每秒30帧(60场)。为了对成为缺点的每秒6帧(12场)进行补偿,同一个场被以每两个图形帧一个场的速率进行重复以用于将两个帧转换成5个场,并借此将24个图形帧转换成60个场,即30个帧。这种方法被称作3∶2拉下,并将在下面详细解释。重复的场与在前场和表示的冗余图形相同。
利用运动图形编码系统,通过检测和不对冗余图形进行编码来减少数据量。这样,虽然在图1的例子中没有示出,但编码器101在予处理的处理过程中检测冗余图形并简单的省去了对冗余图形的编码。
这种处理方式详细地示于图3。
在当前实施例中,冗余图形是由简单结构的场示出的并且没有进行编码。
若简单结构的场是一个奇数场,那么它与前一奇数场相同,若所述简单结构的场是一个偶数场,那么它与前一偶数场相同。因此每5个场就要删去一个场,并且利用两个靠近被删除场的连续场来产生一个新的输入帧。
如可以从定时脉冲S3看到的,相对于帧同步信号S2,输入到下一级图形处理器的帧的定时是异步的,因此就不可能针对帧同步信号S2进行同步。其结果,由于图1所示的运动图形处理系统使用了所述图形处理系统中的帧同步信号S2,所以,帧同步信号S2就不能用于例如图形处理器20之中。
另一方面,在不仅要对图2所示的一般运动图形,而且还要对图3所示包括冗余图形的运动图形进行处理的情况下,根据是否要执行所述的预处理会使由图形处理器20可执行的处理更加复杂。
另外,由于一系列的运动图形以不规则方式包含有冗余图形,所以帧定时可能以更加复杂的方式不规则地变化。目前为止还缺少能应付所有这些可变定时的图形处理设备,另外,生产这种图形处理设备也非常困难。
本发明的任务就是提供一种用于处理运动图形的方法和装置,它能够对以预定时间周期或以不规则方式含有冗余图形的运动图形进行处理。
本发明的另一个目的是提供一种在使用来自图形输入设备并作为主时钟的图形同步输入的图形处理系统中的技术。根据这种技术,即使是其中输入给下一级图形处理器的图形串由于从由图形输入设备输送的原始输入图形中删除冗余图形的预处理而不相对原始输入运动图形的同步输入锁定,也能够通过把原始输入图形的同步输入用作图形处理系统的主时钟的图形处理而输出经过处理的图形。
这样,本发明的再一目的就是要提供一种技术,利用这种技术,在编码器中可以使用与输入帧或场相关的同步信号。
一方面,本发明提供了一种方法,用于对运动图形进行处理,在这种方法中,以预置图象速率输入的数字运动图形信号根据预置的图形处理被进行处理,所述方法还用于传送处理后的数字图形信号。输入的数字运动图形信号具有多个场图象。所述方法包括用于从输入数字运动图形信号中检测冗余场的第一步骤,从多个场图形中删除所检测到的冗余场的第二步骤,根据已被删除了冗余场的场图形串决定将要根据预置图形处理进行处理的构成一个帧的顶部场和底部场的相互结合并输出决定结果的第三步骤,在已删除了冗余场的场图形串中插入一个预置信号以产生具有与输入数字图形信号速率相同图形速率的处理相关的图形信号的第四步骤,和在所述判定结果的基础上根据预置图形处理对图形信号进行处理的第五步骤。利用这种方式,以恒定周期或不规则间隔含有冗余图形的运动图形被转换成与输入图形同步信号同步的新的图形串信号。
最好,该方法还包括附加到图形信号,以用于对用于由通过预置图形处理所进行的处理相关的图形信号进行处理的辅助信息进行处理的第六步骤。
输入的数字运动图形信号最好是一个通过3∶2下拉所产生的信号,根据该3∶2拉下,原始图象中的每一个图形是以两个或三个场被读出的,以用于改变图形速率。通过把用于对处理相关的图形信号进行处理的辅助信息附加到用于处理的图形信号上,在辅助信息的基础上,可以利用图形编码器执行正确的图形处理。
若输入的数字运动图形信号是一个由3∶2拉下所产生的信号,根据该3∶2拉下,原始图象的每一个图形是以两或三个场被读出的以用于改变图形速率,所述的辅助信息包括第一标记,用于规定当对原始图象进行处理时,首先读出哪一个顶部场和底部场,还包括第二标记,用于规定是用三个场还是用两个场来读出原始图象的每个图形;还包括第三标记,用于规定与处理相关的多个图象信号的哪一些图形信号是被插入的预置信号。利用这种方式,可以正确地执行图形处理。
在所述第六步骤,预置图形处理最好是一个用于压缩的编码处理,且对于用于处理并被附加有第三标记的图形信号不执行用于压缩的编码。
在所述第一步骤,通过对输入的数字运动图形信号的场间关系进行计算来检测冗余场。
最好,在用于处理的图形信号中插入的预置信号是作为图形信号毫无意义的无效信号,由于不需要使用编码器对这些无效信号进行与压缩相关的编码,所以可以有效地执行图形处理。
若输入的数字运动图形信号是一个通过3∶2拉下产生的信号,根据该3∶2拉下,原始图象的每一个图形以两个或三个场被读出以用于改变图形速率,通过计算输入的数字运动图形信号当前场的图形信号和被延迟两个场的图形信号之间的场间关系检测冗余场,对输入的数字运动图形信号的输入场的数量进行计数,然后判断计数值是否是预置值,并根据判断结果和场间关系来检测冗余场,从而使得冗余场被可靠地检测出来
若输入的数字运动图形信号是一个由3∶2下拉产生的信号,根据该3∶2拉下,一个原始图象的每个图形是以两个或三个场读出的以用于改变图形速率,辅助信息包括第一标记,用于规定当对原始图形进行处理时首先读出哪一个顶部场和底部场;包括第二标记,用于规定原始图形中的每一个图形是用三个场还是用两个场读出,还包括第三标记,用于规定与处理相关的多个图形信号中的哪一些图形信号是所述插入的预置图形信号。
另一方面,本发明提供一种用于对运动图形信号进行处理的方法,在该方法中,根据通过从由多个场图形构成的数字运动图形信号中消除冗余场,把与所述冗余场相对应的预置无效信号插入到已被消除了冗余场的数字运动图形信号中并通过附加用于控制图形处理的辅助信息从所产生并用于处理的图形信号恢复包含有冗余场的预置图形速率的数字运动图形信号。所述方法包括从用于处理的图形信号中消除辅助信息的第一步骤:用于使用辅助信息从用于处理的图形信号中消除无效信号的第二步骤,和用于重复其中已经消除了无效信号的图形信号串部分的图形信号的第三步骤,该步骤用于产生恢复预置图形速率的数字图形信号的冗余场。利用这种方式,可以很容易地产生与显示相关的数字运动图形信号。
这样,在使用由图形输入设备提供的图形同步输入作为主时钟的运动图形处理系统中,如果由于从由图形输入设备提供的原始输入运动图形中消除冗余图形为预处理而使得要被输入给下一级图形处理设备A并与处理B相关的图形串与由图形输入设备提供的图形同步输入不同步,那么,与处理相关的图形串B就可能被再次形成可以与图形同步输入同步的与处理C相关的新的图形串。利用这种方式,由图形输入设备提供的图形同步输入在所有时间内都可被用作主时钟,以用于图形处理设备。另一方面,由于作为图形处理系统核心部分的图形处理设备不需要根据通常状态的使用情况进行特殊修改,所述通常状态是指在这种状态下,一般的输入图形串与图形同步输入同步,图形处理设备在结构上也并不过分复杂。
利用本发明的运动图形信号处理方法,检测所述冗余场并从输入数字图形信号中删除这些冗余场,以形成一个图形串。根据所述图形串来识别构成用于通过对压缩进行编码进行处理的帧的顶部场和底部场的组合,以形成一个帧图形串,且预置信号被插入到帧图形串中,以产生与处理相关的图形信号。利用这种方式,可以从以恒定周期或在不规则间隔包含有冗余图形的运动图形中形成与图形同步信号同步的新的图形串信号。
与图形处理相关的辅助信息可以被附加到与处理相关的图形串上,以使图形编码器能够根据辅助信息执行正确的处理。
若所述输入数字运动图形信号是利用3∶2下拉方法读出的信号,在这种方法中,诸如是一个运动图形胶片图象帧的原始图象的图形被以两个或三个场的读出。辅助信息包含用于规定当读出原始图象时首先被读出的是顶部场还是底部场的第一标记,即top-field-first flag;包含用于规定是用三个场还是用两个场读出原始图象图形的第二标记,即repeat-first flag;同时还包括用于规定哪一些图形信号是用作预置信号的无效信息的第三标记。
在这种情况下,由于对这些无效信号可以省略与压缩相关的编码,所以可以实现更加有效的图形编码。
假如输入数字运动图形信号是利用3∶2下拉方法读出的信号,根据该方法,例如是运动图象胶片的图形帧的原始图象的图形以两个或三个场读出。冗余场检测装置最好包括一个场计数器,用于对输入数字运动图形信号的当前场和延迟了两个图形的场之间的场间关系进行计算,并在检测到冗余场时被复位到零;还要包括一个比较器装置,用于判断来自所述场计数器的计数值是否是一个不小于5的奇数。通过根据比较器装置的输出和所述的场间关系对冗余场进行检测,可以可靠地检测出冗余场。
图1的方框图示意性地示出了一个传统的运动图形处理系统;
图2示出了帧同步;
图3示出了从3∶2下拉信号中删除冗余场的操作;
图4示出了根据本发明一个运动图形处理方法的实施例的运动图形处理系统;
图5示出的利用2或3个场读出运动图形源一个图形的3∶2下拉系统;
图6的电路方框图示出了预处理器的结构;
图7的流程图用于表示预处理器的操作;
图8是一个定时曲线,表示预处理器的操作;
图9的电路方框图示出了后处理器的结构;
图10的流程图示出了后处理器的操作;
图11A、11B的定时曲线表示后处理器的操作;
图12示出了对运动图形进行编码的方法;
图13的电路方框图示出了用于编码运动图形的编码器;
图14示出了图形编码类型指定操作,图形编码顺序和图形再排列操作;
图15示出了图形数据的结构;
图16A、16B示出了帧/场预测模式;
图17A、17B示出了帧/场DCT模式;和
图18示出了再排列操作的图形显示顺序。
下面参照图4来详细解释用于执行本发明运动图形处理方法的运动图形处理设备。
图4示出了一个包括运动图形处理设备的运动图形处理系统。在该系统中,原始输入运动图形信息是来自胶片源的视频信号,利用所谓的3∶2拉下将帧速度设定成30Hz。
首先简单解释3-2下拉。当诸如运动图形的胶片源被转换成相互交错的视频信号时,广泛地使用公知的3∶2下拉技术。即:假如运动图形胶片图形帧的数量是每秒24,且相互交错的视频信号具有每秒30帧或每秒60帧的图形速度,那么一定数量的场将通过3∶2拉下进行转换。
就是说,使用了这样一种技术,在这种技术中,在一个胶片两个连续图形帧、即MF1和MF2中,第一图形帧MF1利用两个视频场读出,而第二图形帧MF2利用三个帧读出。
另一方面,相反的3∶2拉下是这样一种操作,在这种操作中,从30个帧/秒交错视频信号中检测利用三个场读出的图形帧,任何冗余重复场都被消除掉,以产生具有每秒24帧的理想帧速度的顺次帧。以5个场为一个周期而出现冗余帧是理想的。
在如图4所示的运动图形处理系统中,利用来自作为图形输入设备的数字VTR201的顶部场top-field first提供作为输入运动图形信号S100的具有每秒30帧或每秒60帧速度的交错信号。
若输入运动图形信号S100是一个利用3∶2拉下从胶片源转换来的运动图形,则设定标记S115,同时将开关209,210,211和212设置在接通侧。假如输入运动图形S100不是通过3∶2拉下转换的运动图形,这些开关被置于关断位置。由于开关被设置在关断侧,所以系统结构基本与传统系统相同。在下面的描述中,作下述设定,即上述开关都被置于接通侧,这意味着输入运动图形包含有冗余图形。
假如开关209被连接到接通端,利用预处理器202对输入运动图形信号S100进行处理,并借此转换成运动图形信号S103。
下面参考图6来解决利用预处理器202所进行的处理。
对从端301输入的60HZ视频场的运动图形信号S100和利用二个场延时从延时单元302输出的场信号S200之间的两场信号关系进行计算。为了这个计算,利用单元303逐个象素地计算差值。一个绝对值单元304发现逐个象素计算的差值S201的绝对值,在加法器305中计算每个场的绝对值之和S203。利用比较器306将和S203与一个预制阈值S204比较。若所述和小于阈值S204,建立标记S205。应当注意,除了上述方法以外,可以使用任一其它装置来计算两个场S100和S200之间的关系。
另一方面,场图形信号S100的同步输入从端308进入场计数器309,即计数器309对进入到预处理器202的场的数量进行计数。若由S206所表示的计数值i是一个不小于5的奇数,比较器310建立标记S211。当标记S211和标记S205都已被建立时,与门311的输出S212升高,这样的表示当前输入的场信号S100是一个由3∶2拉下重复的冗余场。若标记S212被建立,计数器309被清零。在不进行编码的情况下从输入图形中消除了被发现是冗余场的场。
在比较器310中,判断规则涉及到计数值i是一个不能小于5的奇数的原因是因为通过跟随地(the following grounds)反相3∶2下拉不能保证在a1时进行正常操作。
首先,由于3∶2下拉之后的视频编码,所以不能保证每5个场周期出现的冗余场的模式。
其次,由于在沿时间轴即在不同场和不同帧之间上3∶2下拉期间使用了平滑滤波器,根据图形信息检测冗余场变得困难。例如,存在这样的情况,即随然当前图形场是一个冗余场,在比较器306中也不会建立标记S205。
即使是不能保证3∶2下拉模式,所述比较器310也能继续给出关于冗余场的判定。
由于实际上并不需要经常执行3∶2下拉,所以,在从输入运动图形S100中消除冗余场之后运动图形的帧速度是在20HZ和30HZ之间波动的。这个周期与同步输入S105是不同步的。由此,在本实施例中,借助预处理,使输入场被以它们的顺序重新排列并插入无效帧,从而建立一个能够与同步输入同步的新的输入图形串。这是一个将要被输入给下一级,即编码器203的新的输入图形串。
下面结合图6来解释重新排列场和插入无效帧的方法。输出场控制器312根据冗余场检测标记S212使开关316在三个信号之间相互转换,这三个信号是由延时单元302延时两个场(一帧)并输出的场信号S200,被延迟了4个场的场信号S208和无效场信号S209。
根据被检测冗余场的位置信息,利用两个标记,即top-field-first标记和repeat-first-field标记将输入图形的显示模式分成如图5所示的四种。Top-field-first标记规定在给定运动图形胶片图形帧上执行3∶2拉下的是否首先读出顶部场的Top-field。repeat-first-field标记规定运动图形胶片的给定图形帧是否以三个场被读出。Top-field-first标记和repeat-first标记是在输出场控制器312中产生的,并且至少两个过去显示模式的信息被内部存贮起来。
图7示出了利用输出控制器312获得top-field-first标记和repeat-first-filed标记的算法。在图7中,fp表示从它们被提供时开始的输入场S100的序列号。对fp的任一补充规定输入场S100的时间朝着未来前进。例如,fp=fp+2表示S100的时间朝着未来前进了两个场。即S100的输入前进了两个场。
现在来解释图7流程的各个步骤。在操作从步骤1000开始以后,在步骤1001输入第一个场然后在步骤1002检查所述场的奇偶性是针对顶部场top field还是针对底部场bottom-field的。然后处理转到步骤1004或1010。
若在步骤1002的判断结果是″是″,即若第一个场是顶部场top-field,则控制向前传输两个场,以在步骤1005检查所述场是否是一个冗余场,这是一个关于是否建立了图6所示冗余场检测标记S212的判定。若所述场是一个冗余场,那么连同当前场在内的三个在前场的显示模式是与各标记相关的top-field-first=1和repeat-first-field=l。
冗余场的位置被设定成detected-fp=fp(步骤1006)。用于S100的时间前进一个场(步骤1007)。当执行下一步处理操作时,控制转移到用于与底部场bottom-field相关的场奇偶性的步骤(步骤1010)。若在步骤1005判断所述场不是一个冗余场,那么,不包括当前场在内的二个在前场的显示模式是top-field-first=1和repeat-first-field=0以用于各标记。下面的处理操作转到与顶部场top-field相关的涉及奇偶性的步骤1004。
若在步骤1002前面分支的结果是″否″,即若第一个场是一个底部场bottom-field,控制向前转移两个场,以便在步骤1011检查所述场是否是一个冗余场。这是一个关于是否建立了图6冗余场检测标记S212的判定。
若第一个场是一个冗余场,那么包括当前场在内的三个在前场的显示模式是与各标记相关的top-field-first=0和repeat-first-field=1。冗余场的位置是detected-fp=fp(步骤1012)。用于S100的时间前进一个场(步骤1013)。在下一个处理操作时,控制转移到与用于顶部场top-field相关的场奇偶性的步骤(步骤1004)。若在步骤1005判断所述的场不是一个冗余场,那么不包括当前场在内的两个在前场的显示模式是与各标记相关的top-field-first=0和repeat-first-field=0(步骤1014)。下边的处理操作转移到步骤1010,和用于与底部场bottom-field相关的奇偶性。
通过上述处理,输出场控制器312建立起相应标记top-field-first和repeat-first-field。
下面参照图8来简单地解释输出场控制器312的操作。
在这个图中,大写字母例如″A″或″B″表示顶部场,而小写字母,例如″a″或″b″表示底部场。利用″1″示出的间隔表示输入帧周期。现在假定在以″*″表示的位置处检测到多个冗余场。
在图8所示的例子中,输入S100的第一个场″A″被输入(fp=1),并发现该场是一个顶部场(步骤1000和1003)。朝前两个场的场″B″(fp=3)没有被发现是个冗余场(步骤1003到1008)。再朝前两个场的场″B″(fp=5)被发现是个冗余场(步骤1003到1006),并在步骤1007时间前进了一个场(fp=6)。进一步朝前两个场的场″B″(fp=8)没有被发现是个冗余场(步骤1009到1014)。而再朝前两个场的场″B″(fp=10)被发送是个冗余场(步骤1009到1013)。上述处理建立的显示模式如下:
fp=1~2 top-field-first=1,repeat-first-field=0
fp=3~5 top-field-first=1,repeat-first-field=1
fp=6~7 top-field-first=0,repeat-first-field=0
fp=8~10 top-field-first=0,repeat-first-field=1
下面解释输出S210。
相对于输入信号S100,输出S210延迟了4个场(2帧)开始,利用根据建立在输出场控制器312上的top-field-first和repeat-first-field把转换信号S207传送给转换开关316的输出场控制器312从项(i)向下到项(iv)控制输出S210:
(i):由于top-field-first=1、repeat-first-field=0:
利用两个场连续输出被延迟了4个场的场信号S208。这些场具有场信号S208的第一帧|Aa|。
(ii)由于top-field-first=1、repeat-first-field=1;
利用两个场连续输出被延迟了4个场的场信号S208,这些场具有图8例场信号S2078的第二帧|Bb|。第三输入场的顶部场top-field是一个冗余场,并因此而被消除并不被输出。
(iii),由于top-field-first=0、repeat-first-field=1;
输出被延迟了两个场的场信号S200,并连续输出被延迟了4个场的场信号S208。在图8例中,在作为冗余场,并因此而被消除的的场。S208的第三帧的顶部场top-field的位置处输出场信号S200。就是说,帧信号208的第4帧顶部场top-field″C″被在前装入和输出,然后再输出场信号S208第三输入帧的底部场bottom-field。至于输入S100,底部场bottom-field″C″暂时超前于顶部场top-field″C″,所以这两个场未能形成一个帧。但是,在输出S103,顶部场top-field暂时处于一个在前位置,所以产生一个输出帧|C、C|。
(iV),由于top-field-first=0、repeat-first-field=1;
在被延迟了4个场的场信号S208的两个场之后输出两个无效场或一个无效帧。在图8例中,若在底部场bottom-field处检测到一个冗余场,例如这个底部场是信号S100第三帧的bottom-field″d″,那么在输出S103输出两个无效场。这由图8的|X|表示,接着|Dd|在信号S208处被输出。
如上述项(i)至(iV)所示,输出控制器312转换开关316的控制输出S210。在图8中″场延迟量″这一行中,示出了输出S210各个场相对于信号S210的延迟量。值4、α和X分别表示场信号S208、S200和无效场的输出。
输出S210的两个连续场代表一个输出帧。由帧标题多路转换器313把帧标题信息附加到每一个输出帧上,并且端314输出所产生的信号。标题的内容包括被表示成disabled frame-flag的top-field-first标记,repeat-first-field标记和无效帧标记。附加到相应标记上的标题信息的例子示于图8中″top-field-first标记和repeat-first-field标记″这一行。
在S210和S103的输出帧中,由于它的帧周期与同步输入信号S105的帧周期同步,所以首先输出项部场top-field。
也前面的解释中,插入了无效帧从而与帧同步信号同步。但是也可以插入无效场以使和场同步信号同步。在这种情况下,若观察到场速度是60HZ,那么就可以在任一个任意位置插入两个无效帧,而没有必要连续插入两个场。
另外,若图4中的开关209和210被关断,那么信号S100是一个交错信号,在该信号中,首先输入的是未经3∶2拉下处理的一般top-field。
在这种情况下,帧标题表示错误内容,其中,在所有时间内,top-field-first=1,repeat-first-field=0,disabled-frame-flag=0。
不考虑图4中开关209、210的通断状态,信号S100和S103被用作输入S104被提供给以同步输入S105作为主时钟进行操作的编码器203。
利用作为运动图形编码系统核心部份的编码器203和局部译码器205可以多种方式对输入S104进行处理。要注意,在输入S104相应帧标题中被指定为无效帧的帧不作为无效帧进行处理。下面解释这种情况下的一个处理操作。
首先解释从局部译码器205向图形输出设备207输出所述输出S109的方法。然后参照图9来解释被提供有输出S109的后处理器206。
参看图9,从端400输入的局部译码的输出S109被传送给帧标题分离器401,在这里,各个帧的标题内容S303被读出并传送给输出场控制器403。在输出场控制器403中,至少存贮一个标题内容过去显示模式信息,所述的标题内容包括top-field-first标记,repeat-first-field标记和disabled-frame-flag标记。
另外,若图4所示开关211、212是断开的,S111是一个交错信号,在该信号中,首先输入的是未经3∶2下拉处理的一般top-field。
在这种情况下,帧标题变成诸如在所有时刻top-field-first=1repeat-first-field=0和disabled-frame-flag=0的错误内容。
在帧标题内容的基础上,图4的输出场控制器403使开关404在三个信号、即当前输入场300以及由延迟单元402输出的被延迟了两个场或一个帧的场信号S301和被延迟了四个场或两个帧的场信号S302之间进行转换。
下面参照图10来解释后处理器、特别是图9的输出场控制器403的操作。
在这个图中,诸如″A或″B″的大写字母表示顶部场,诸如″a″或″b″的小写字母表示底部场,由″1″表示撞隔表示输入帧周期。
图形输出S110是在相对于输入信号S300被延迟两个场或一个帧后开始的。所述输出是根据设置在输出场控制器403中的top-field-first,repeat-first-field和disabled-frame-flag从所示的(i)项向下到(v)项加以控制的:
(i)top-field-first=1,repeat-first-field=0,disabled-frame-flag=0。
利用两个场连续输出被延迟了一个帧的场信号S301。在当前例中,如图10所示,这些场是场信号S301的第一帧|Aa|。
(ii)top-field-first=1,repeat-first-field=1,disabled-frame-flag=0:
利用两个场连续输出被延迟了一帧的场信号S301。然后,利用一个场输出被延迟了2个帧的场信号S302。在图10的例子中,在场信号S302第二帧的顶部场top-field″B″之步输出场信号S301的第二帧|Bb|。
(iii)top-field-first=0,repeat-first-field=0,disabled-frame-flag=0:
利用一个场输出被延迟了一个帧的场信号S201,然后,输出被延迟2个帧的场信号S302。在图10所示的例子中,在场信号S302第三帧的顶部场top-field″C″之前输出场信号S301第三帧的底部场bottom-field″C″。
(iV)disabled-frame-flag=1,不输出任何信号。
(V)top-field-first=0,repeat-first-field=1,disabled-frame-flag=0:
在被延迟一个帧的场信号S301的两个场信号之前,利用一个场输出当前输入场S300。
如上述(i)至(v)项所示,输出控制器403转换开关404以控制输出S110。在图10的″场延迟数量″这一行中,示出了输出S110各个场相对于输出S100的延迟数量,值4、2和0分别表示S302、S301和S300的输出。
返回到图4,可以在作为图形输出设备的监视器207上显示通过局部译码器205、开关211和后处理器206,且若需要还可以通过开关206所获得的输出S112。
上述是图4中所示运动图形处理系统运动图形的输入/输出操作方式。
在前面的描述中,插入到被输入给编码器的图形信号中的无效信号是一个无效帧,并且一个无效帧标记被附加到帧标题信息上。但是,无效信号单元可以是多个场,多个微型数据场或多个象素,在这种情况下,用于规定这种单元为无效信号的标记被作为辅助信息附加到每一个单元上。
另外,在前面的描述中,输入图形的同步输入周期是一个帧的时间周期,但是,该同步输入周期也可以是一个场的时间周期或一个象素的时间周期。
在上述的图形输入设备201和编码器203中,顶部场表示第一个被输入的交错信号。相反,利用该图形输入设备201和编码器203,底部场也可以表示第一个被输入的交错信号,在这种情况下,把作为一个奇数场的顶部场top-field和作为一个偶数场的底部场bottom-field的顺序交换一下就足够了。
例如,信号S210和S300是相互交错的信号,其中首先被输入的是bottom-field-first标记。
下面来解释构成图4所示运动图形编码系统核心部分的运动图形编码器的编码器203和局部译码器205的处理。
运动图形编码器执行一个混合的编码方法其要点在于运动补偿预测编码和具有所谓MPEG2(ISO/IEC 13818-2)的DCT的相互结合。利用所述的MPEG-2,各个帧的图形是I-图形,P-图形或B-图形,并利用压缩编码对图形信号进行编码。
就是说,17个帧的图形信号,即从帧F1到F17被构成一个图形组group-of-picture,该图形组是一个处理单元。例如,如图11所示,引入帧F1帧第二帧F2和第三帧F3的图形信号分别被编码成I-图形,B-图形和P-图形。第4或下面的F4到F17被轮流处理成B-图形或P-图形。
对于与I-图形相关的图形信号,直接传送一帧图形信号。对于与P-图形相关的图形信号,如图11A所示,发送的基本上是与在空间上过去的I-图形或P-图形图形信号的差值。对于与B图形相关的图形信号,要发现与在空间上过去帧和空间上未来帧图形信号平均值的差值,并对其进行编码。
图12示出了对运动图形进行编码的方法的原理。如图所示,由于第一帧被处理成I-图形,所以它作为一个传送数据F1X在传送通路上直接传送(帧内编码)。相反,由于第二帧是作为B-图形进行处理的,所以要计算过去帧F1的平均值与将来帧平均值之间的差值,并将该差值作为传送数据F2X进行传送。
特别是,作为B-图形存在有四种处理。第一种处理是借助于执行帧内编码把原始帧F2的数据作为传送数据F2X(SP1)直接传送。这种处理类似于对I-图形的处理。第二种处理是借助于执行反向预测编码计算与将来帧F3的差值并发送该差值SP2。第三种处理借助于执行正向预测编码传送与过去帧F1的差值(SP3)。最后,第四种处理是借助于双向预测编码产生与过去帧F1和将来帧平均值的差值(SP4)并将这个差值作为传送数据F2X进行传送。
在这四种方法之中,选择使传送数据量最小的一种方法。
为了传送差值数据,除了用于正向预测编码的差值数据以外,还要传送帧F1和F2,那当前帧图形和预测图形(将要被计算与当前图形的差值的帧图形)之间的运动矢量X1。类似地,除了用于反向预测编码的差值数据以外,还要传送帧F3和帧F2之间的运动矢量X2,并且,除了用于双向预测编码的差值数据以外,还要传送运动矢量X1和运动矢量X2。
对于P-图形的帧F3,要计算在帧F3和作为预测图形的空间过去帧F1之间的差值信号和运动矢量X3,并借助于执行正向预测编码传送作为传送数据F3X的计算结果。另外,借助于执行帧内编码将原始帧D3作为传送数据F3X(SP1)直接传送。在B-图形情况下,根据能使传输数据量最来选择这些方法中的一种。
参看图13,该图用于解释一个运动图形编码设备(编码器)的结构。虽然没有详细示出,但这个编码器是与图4所示的图形同步输入S105同步操作的。
具有帧标题的输入帧S104从端74输入,由端75输入的用以表示输入运动图形是否由图形输入设备提供的标记S115是表示3∶2拉下从胶片源获得的。
输入图形S104被输入给图形编码类型指定和图形编码顺序再排列单元70,该单元70然后指定I-,P-和B-图形中的一种,并根据这种指定处理连续输入帧的图形,例如,由帧F1到F17构成的group-of-picture被处理成如图11所示的I,B,P,B,P,…,B,P,所指定的图形编码类型被写入相应的帧标题之中。
然后,根据所指定的图形编码类型按照所述的编码顺序对输入图形进行再排列。再排列输入图形的原因在于由于是以反向预测对B-图形进行编码,所以除非预先准备好作为反向预测图形的I-图形中P-图形,否则编码是不可能的。因此,在对B-图形进行编码以前,必须对空间将来I-图形或P-图形进行编码。因此,若图形编码类型被指定得如图11例所示、那么图形顺序将被重新排列成F1,F3,F2,F5、F4…。
下面解释由帧标题disabled-fram-flag指定的、在输入图形S104包含有一个无效帧情况下在图形编码型式指定和图形编码顺序再排列单元70中对输入帧(输入图形或输入图形串)S104进行处理的方式。
假设如图14所示,输入的输入图形S104是由F1至F13构成的。其中,″X″表示一个无效帧。图形编码类型被连续指定为不考虑无效帧时的在图形串S501中的类型。图形串S501中的数表示图形编码类型的指定顺序。然后,根据图形编码类型按照编码顺序重新排列所述图形。图形串S502如图中图形串S502所示重新排列。在目前情况下,信号串S502是相对于图形串S104被延迟两个帧开始的。
再排列的图形串S502被输入给扫描转换器71,在这里,利用光栅扫描输入的图形被转换成数据场格式的信号。就是说,如图15所示,利用光栅扫描输入的图形包括V个行,其中的每一行包括H个点。扫描转换器71将1帧信号分成M个薄片(Slice),每个薄片由作为一个单元的16行组成,每一片,又被分成多个宏数据场,每一个宏数据场由与16×16象素(点)对应的亮度信号组成,每个亮度信号被分成多个数据场Y(1)到Y(4),每个数据场由8×8个点组成。这些16×16点亮度信号与8×8点Cb信号和8×8点Cr信号相关。
另一方面,为了执行与正在被编码的帧S502相关的运动预测,一个基准图形S504被提供给运动矢量检测电路50。运动矢量检测电路50根据来自图形编码类型指定和图形编码顺序再排列单元70的指令把各个帧的图形数据处理成I-图形,P-图形或B-图形。诸如是帧F1的被处理成I-图形的一个帧的图形数据被从运动矢量检测电路50传送给所述帧存贮器51的正向原始图形单元51a以进行存贮。被处理成B-图形的所述帧的图形数据被传送并存贮在原始图形单元51b中,而被处理成P-图形的帧的图形数据被传送并存贮在反向原始图形单元51c中。
若在下一个定时处提供有将被作为B-图形(帧F4)或P-图形(帧F5)进行处理的一个帧的图形,那么截止到目前存贮在反向原始图形单元51C中的第一个P-图形(帧F3)的图形数据被传送给正向原始图形单元51a。下一个B-图形(帧F4)被存贮(重写)在原始图形单元51b中,而靠近该B-图形的P-图形被存贮(重写)在反向原始图形单元51C中。上述操作是连续发生的。
另外,若帧S502是一个无效帧,则运动矢量检测电路50等待一个帧的周期不执行任何处理。
利用预测模式转换电路52通过帧预测模式处理或场预测模式处理对从扫描转换器71读出的宏数据场进行处理。然后在预测判定电路54的控制之下,由计算单元53利用帧内编码、正向预测编码,反向预测编码或双向预测编码对经过上述处理的宏数据场进行处理。将要执行这些预测操作中的哪一种取决于预测误差信号即将要被处理的图形或基准图形和与其相关的预测图形之间的差值。然后,运动矢量检测电路50产生用于这个判定的预测误差信号的绝对值的和。
下面解释在预测模式转换电路52中的帧预测模式和场预测模式。
假如设定了帧预测模式,那么预测模式转换电路52直接输出由扫描转换器71提供的4个亮度数据场Y(1)到Y(4)给下游侧的计算单元53。在这种情况下,如图16A所示,在每个亮度数据场中共同存在有顶部场行数据和底部场行数据。利用这种帧预测模式,根据作为一个单元的4个亮度数据场(宏数据场)执行预测,并且其中的每一个运动矢量都和这4种亮度数据场相关。
相反,预测模式转换电路52进行操作以单独利用顶部场行的点构成由图16A所示结构中的扫描反相器71提供的4个亮度数据场中的亮度数据场Y(1)和Y(2),而其余的两个亮度数据场Y(3)和Y(4)单独由底部场行的数据构成,然后它们被输出给计算单元53,如图16B所示。在这种情况下,单独的运动矢量与两个亮度数据场Y(1)和Y(2)有关,而另外的单独运动矢量与其余两个亮度数据场Y(3)和Y(4)相关。
对于帧预测模式,在顶部场行数据和底部场行数据共存的情况下,将色度信号提供给计算单元53,如图16A所示。对于场预测模式,色度数据场Cb和Cr的上面4行变成了与亮度数据场Y(1)、Y(2)相关的顶部场色度信息,而所述色度数据场Cb和Cr的下面4行变成了与亮度数据场Y(3)、Y(4)相关的底部场色度信号,如图16B所示。
运动矢量检测电路50输出用于帧检测模式的预测误差绝对值的和及用于场检测模式的预测误差绝对值的和给预测模式转换电路52。预测模式转换电路52把用于帧预测模式的预测误差绝对值的和与用于场检测模式的加以比较,并执行具有较小值预测模式的处理。所产生的数据提供给计算单元53。
若设定3∶2下拉源输入标记S115,那么输入帧S104就具有顺序结构的特性。所以,预测模式被固定在帧预测模式。
在预测判定电路54中的运动矢量检测电路50产生用于确定将要执行帧间编码,正向预测编码,反向预测编码或双向编码中哪一个的预测误差绝对值的和。
就是说,运动矢量检测电路50发现作为帧内图形编码预测误差绝对值的和的在基准图形宏数据场的信号Aij和所述宏数据场信号Aij的平均值Aav之间差值绝对值的和或∑|Aij-Aav|。运动矢量检测电路还发现作为正向预测编码的预测误差绝对值的和的在输入宏数据场信号Aij和预测图形宏数据场信号Bij之间差值的绝对值的和,或∑|Aij-Bij|。除了所使用的预测图形和正向预测所使用的不同以外,以类似的方式发现反向预测和双向预测预测误差绝对值的和。
这些绝对值的和被提供给预测判定电路54,该电路从正向预测、反向预测和双向预测的预测误差绝对值的和中选择最小的一个作为帧间图形预测预测误差绝对值的和。然后,预测制定电路54把用于帧间图形预测的预测误差绝对值和与帧内图形编码的预测误差的绝对值的和相比较,并选择一个较小的绝对值和去选择与所选择和值相对应的模式作为预测模式。即,若图形内编码的预测误差的绝对值的和较小,那么就建立起图形内预测模式。若用于图形间预测的预测误差的绝对值的和较小,则建立正向预测模式,反向预测模式和双向预测模式中具有最小绝对值和的模式。
由此,运动矢量检测电路50检测所述基准图形和与由预测判定电路54从4种预测模式中选择出的一种模式相关的预测图形之间的运动矢量,并将检测到的运动矢量输出给变长编码电路58和运动补偿电路64。选择这种具有最小预测误差绝对值的和的运动矢量。
当一个将要被作为I-图形进行处理的帧图形被输入时,帧内预测模式,即不执行运动预测的模式被建立,且计算单元53的开关53d被置于一个固定触点a。这允许从述I-图形的图形数据进入DCT模式转换电路55。
DCT模式转换电路55把4个亮度数据场的数据设定成顶部场行和底部场行共存的状态,或说是成顶部场行和底部场行相互分离(场DCT模式)的状态,并把数据输出给DCT电路56,如图17A或17B所示。
就是说,DCT模式转换电路55把在混合状态下对顶部场数据和底部场数据进行DCT处理的编码因数和在分离状态下对底部场数据和底部场数据进行DCT处理的编码因数进行比较,并选择呈现较好编码因数的模式。
例如,输入信号的结构是一种如图17A所示的顶部场行和底部场行处于相互混合的状态结构。计算在垂直相邻顶部场和底部场行信号之间的差值,然后找到差值绝对值的和或差值平方的和。另外,输入信号的结构是如图17B所示的顶部场行和底部场行处于相互分离状态的结构。这时要计算在垂直相邻顶部场和底部场行信号之间的差值,并找到差值绝对值的和或差值平方的和。将上述两个绝对值的和进行比较,并建立与较小和值相关的DCT模式。就是说,若前者的和较小,建立帧DCT模式,而若后者和较小,则建立场DCT模式。
然后,与所选择的DCT模式相关的结构数据被输出给DCT电路56,一个用于规定所选择DCT模式的DCT标记被输出给变长编码电路58和运动补偿电路64。
假如建立了3∶2拉下源输入标记S115,那么输入帧S104具有顺次结构,所以DCT模式固定在帧DCT模式。
根据对图16A和图16B所示在预测模式转换电路52中的预测模式和在图17A和图17B所示在DCT模式转换电路55中的DCT模式进行比较可以看出,在这两种模式中的数据结构基本上是彼此相同的。
由DCT模式转换电路55输出的I-图形的图形数据被提供给DCT电路56,在这里它被进行DCT处理并转换成DCT因数。这些DCT因数被馈送给量化电路57,并利用与在贮在传送缓冲器59中数据量相关的量化台阶进行量化,然后传送给变长编码电路58。
根据帧标题信息,变长编码电路58传送图形编码类型。top-field-first和repeat-first-field。
变长编码电路58响应电量化电路57提供的量化台阶或比例,把由量化电路57提供的图形数据,在这里是I-图形数据转换成诸如霍夫曼代码的变长码,并将转换后的数据传送给传送缓冲器59。
变长编码电路58还对提供给它的输入数据进行变长编码,这些输入数据包括由量化电路57提供的量化台阶或比例、由预测判定电路54提供的预测模式、即用于规定帧内编码,正向预测编码、反向预测编码和双向预测编码中的哪一种将被建立的模式、由预测模式转换电路52提供的预测标记,即用于规定帧预测模式和场预测模式中的哪一种模式将被建立的标记以及由DCT模式转换电路55输出的DCT标记,即用于规定帧DCT模式和场DCT模式中的哪一种将被建立的标记。
但是,若已经建立了3∶2下拉源输入标记S115,那么,预测标记和DCT标记就都具有帧模式的固定值,所以这些标记不由变长编码电路58输出。而是由所述变长编码电路传送一个表明已经建立了标记S115的信息,即表示输入帧具有顺次结构的信息。
传送缓冲器59暂存输入数据,并将与存贮量相应的数据输出给量化电路57。
若在传送缓冲器59中剩余的数据量增加到了一个可允许的上限,那么传送缓冲器就要通过量化控制信号去增加量化电路57的量化比例,比减少量化后数据的数据量。相反,若在传送缓冲器59中剩余的数据量减少到了可允许的下限,传送缓冲器将通过一个量化控制信号去减少量化电路57的量化比例,以增加量化后数据的数据量。这禁止了在传送缓冲器59中产生上溢或溢。
以预置定时读出存贮在传送缓冲器59中的数据,并将其输出给传送通路。
另一方面,由量化电路57提供的I-图形数据被提供给介量化电路60,以根据由量化电路57提供的量化台阶进行介量化。介量化电路60的输出被提供给反向DCT(IDCT)电路61,借此进行反向DCT处理,然后将其提供并存贮在帧存贮器63的正向预测图形部份63a中。
当从扫描转换器71提供将被作为P-图形进行处理的一帧图形时,从运动矢量检测电路50以同上述相同的方式向预测模式转换电路52和预测判定电路54提供以宏数据场为基础的帧间差值的绝对值的和(预测误差)。根据这个以宏数据作为基础的预测误差,选择帧/场预测模式,帧间图形预测模式或正向预测模式。
当建立起帧间预测模式时,如上所述,计算单元53将开关53d的可移动触点设置到它的固定触点a上。然后,与I-图形类似,相应数据通过DCT模式转换电路55,DCT电路56、量化电路57、变长编码电路58和传送缓冲器59提供给传送通路。同样的数据还通过介量化电路60、IDCT电路61和计算单元62提供给帧存贮器63的反向预测图形部份63b,以在其中进行存贮。
在将开关53d被设置到固定触点b一侧以用于正向预测模式的同时,存贮在帧存贮器63正向预测图形部份63a中的图形,在这里是I-图形的数据被读出,利用与由运动矢量检测电路50输出的运动矢量相关的运动补偿电路64进行运动补偿。
来自运动预测电路64的输出预测图形数据被馈送给计算单元53a,它从由预测模式转换电路52提供的基准图形的宏数据场数据中减去由运动补偿电路64提供的与所述宏数据场相关的预测图形数据,并输出其差值,即预测误差。差值数据在传送通路上通过DCT模式转换电路55,DCT电路56、量化电路57,变长编码电路58和传送缓冲器59进行传送。还利用介量化电路60和IDCT电路61还对差值数据进行局部译码,然后提供给计算单元62。
但是,若是已经建立了3∶2拉下源输入标记S115,那么预测标记和DCT标记都具有帧模式的固定值,所以,变长编码电路58将不输出这些标记,而是传送一个表示已经建立起标记S115,即输入帧具有顺次结构特征的信息。
当预测图形数据被提供给计算单元53a时,计算单元62也被提供有同样的发现。计算单元62将运动补偿电路64的预测输出图形数据加到来自IDCT电路61的输出差值数据上。P-图形的图形数据被传送并存贮在帧存贮器63的反向预测图形P份13b内。
当从扫描转换器71馈送的一帧图形将要被作为B-图形进行处理时,运动矢量检测电路50将以宏数据作为基础的帧间差(预测误差)的绝对值的和传送给预测判定电路54和预测模式转换电路52。预测模式转换电路52和预测判定电路54根据以宏数据场为基础的帧间差的绝对值的和的幅值建立帧/场模式,同时将预测模式设定成帧内编码,正向预测编码,反向预测编码和双向预测编码中的一种。
如上所述,开关53d被设置到固定触点a或b分别用于帧内编码预测模式或正向预测模式。此时的处理类似于为执行数据传送而执行的有关P-图形的处理。
相反,当预测模式是反向预测模式或双向预测模式时,则开关53d分别被置于c或d的固定触点一侧。
对于反向预测模式,当开关53d被置于触点c上时,存贮在反向预测图形部份63b中的图形,在这里是P-图形的图形数据被读出,以和由运动矢量检测电路50输出的运动矢量相联系地进行运动补偿。
由运动补偿电路64输出的预测图形数据被提供给计算单元53b。计算单元53b从由预测模式转换电路52提供的输入宏数据场数据中减上运动补偿电路64提供的预测图形数据,并输出所产生的差数据。所产生的差数据在传送通路上通过DCT模式转换电路55,DCT电路56,量化电路57、变长编码电路58和传送缓冲器59进行传送,还要利用介量化电路60和IDCT电路61对差值数据进行局部译码,并提供给计算单元62。
当预测图形被提供计算单元53b时,相同的数据还被提供给计算单元62。计算单元62把运动补偿电路64的预测图形输出数据加到IDCT电路61的输出差值数据上。这给出了经过局部译码的B-图形的图形数据。
对于双向预测模式,当开关53d被置于触点d一侧时,存贮在正向预测图形部份63a中的图形数据,在这里是I-图形的图形数据和存贮在反向预测图形部份63b中的图形数据,在这里是P-图形的图形数据被读出,并通过运动补偿电路64与由运动矢量检测电路50输出的运动矢量相连系地进行运动补偿。
由运动补偿电路64输出的预测图形数据提供给计算单元53c,计算单元53c从由预测模式转换电路52提供的输入宏数据场的数据中减去由运动补偿电路64提供的预测图形数据的平均值,并输出差值数据。这个差值数据在传送通路上通过DCT模式转换电路55、DCT电路56、量化电路57,变长编码电路58和传送缓冲器59传送。该差值数据还被介量化电路60和IDCT电路61局部译码,并提供给计算单元62。
当预测图形被提供给计算单元53c时,计算单元62也被提供有同样的数据。计算单元62把运动补偿电路64的预测输出图形数据加到IDCT电路61的输出差值数据上,从而给出了局部译码的B-图形的图形数据。
假如已经建立了3∶2下拉源输入标记S115,则预测标记和DCT标记都具有帧模式的固定值,因此这些标记将不被变长编码电路58输出,而是由变长编码电路58传送一个表示已经建立了标记S115,即表明输入帧具有顺次结构的信息。
由于B-图形不用作与其它图形相关的预测图形,所以它不存贮在帧存贮器63中。
在帧存贮器中,在正向预测图形和反向预测图形之间经常要执行组转换,以选择正向预测图形或反向预测图形,并输出以用于给定的基准图形。
以上的描述是以亮度数据场为基础进行的,实际上对于以图16A,16B,17A,17B所示宏数据场为基础的色度数据场也可作类似处理和传送。用于对色度数据场进行处理的运动矢量相当于在垂直和水平方向上对分的相关亮度数据场的运动矢量。
若由扫描转换器71馈送了一个无效帧,则DCT电路56,介量化电路60,反向DCT电路61或运动补偿电路64不执行任何处理,所以计算单元62输出没有意义的数据,此刻没有数据被写入帧存贮器63。在此期间,变长编码电路58还输出位流。
假如按照上述来确定I-、P-和B-图形或无效帧的编码数据,那么被计算单元62局部译码的图形数据被传送给扫描转换器72,该转换器将以宏数据场为基础的输入数据转换成光栅扫描数据S505。光栅扫描数据S505进入图形显示顺序再排列单元73。图18示出了该图形显示顺序再排列单元73输出的例子。图形显示顺序再排列单元73在图形编码类型的基础上根据下述(i)至(iii)原则重新排列输入图形的显示顺序。
(i)最初输入的I-图形存贮在图形显示顺序再排列单元73中;
(ii)若接着输入的图形是B-图形或无效帧,则直接输出所述图形,若接着输入的图形是I-或P-图形,那么输出存贮在图形显示顺序再排列单元73中的I-或P-图形,而当前输入I-或P-图形被重新存贮到所述图形显示顺序再排列单元73中。
(iii)处理返回到(ii)。
如上(i)到(iii)所述,从图形显示顺序再排列单元73输出局部译码的图形S109。
如参照图4所解释的,局部译码的图形S109通过后处理器206被输出给作为图形输出单元的监视器207。

Claims (12)

1.一种用于对运动图形进行处理的方法,其中,根据对被处理的数字图形信号进行的预定图形处理和传送以预定的图形速率输入数字运动图形信号,所述输入数字运动图形信号具有多个场图形,该方法包括:
第一步骤:用于从所述输入数字运动图形信号中检测冗余场;
第二步骤:用于从多个场图形中删除所检测到的冗余场;
第三步骤:用于根据已被删除了所述冗余场的场图形串判定根据所述预置图形处理对构成一个帧的顶部场和底部场的组合进行处理,和输出判定结果;
第四步骤,用于在已经删除了冗余场的场图形串中插入预定信号,以产生一个用于具有与输入数字图形信号速率相同图形速率处理的图形信号;和
第五步骤:用于在判定结果的基础上,根据预定图形处理对与处理相关的所述图形信号进行处理。
2.如权利要求1的运动图形处理方法,其特征在于包括有第六步骤,用于附加到与辅助信号处理相关的所述图形信号上,所述辅助信号用于处理与通过所述预定图形处理所进行的处理相关的所述图形信号。
3.如权利要求1的运动图形处理方法,其特征在于所述的输入数字运动图象信号是一个由3∶2拉下产生的信号,根据所述的3∶2拉下,一个原始图象的每一个图象是以两个或三个场被读出的,以改变图形速率。
4.如权利要求2所述的运动图形处理方法,其特征在于,如果所述的输入数字运动图形信号是一个通过3∶2下拉产生的信号,而3根据该3∶2拉下,一个原始图象的每一个图形都是以两或三个场读出的以改变图形速率,所述的辅助信息包括:
第一标记,用于在对原始图象进行处理时,规定首先读出顶部场还是首先读出底部场;
第二标记,用于规定是利用三个场还是利用两个场读出原始图象的每一图形;和
第三标记,用于规定所述与处理相关的图形信号中的哪些图形信号是所述被插入的预置信号。
5.如权利要求4的运动图形处理方法,其特征在于,所述预定图形处理是与压缩相关的编码,且对于与被加有第三标记的处理相关的图形信号不执行所述与压缩相关的编码。
6.如权利要求1的运动图形处理方法,其特征在于,在所述第一步骤,通过对所述输入数字运动图形信号的场间关系进行计算来检测所述冗余场。
7.如权利要求4的运动图形处理方法,其特征在于,所述输入数字运动图形信号是一个通过3∶2下拉产生的信号,根据3∶2下拉,一个原始图象的每一个图形是以二或三个场读出的以改变图形速率,其中所述第一步骤,通过对输入数字运动图形信号当前场的图形信号和被延迟了两个场的图形信号之间的场间关系进行计算来检测所述冗余场。
8.如权利要求7的运动图形处理方法,其特征在于,在第一步骤,对所述输入数字运动图形信号的输入场的数量进行计数,然后判断该计数值是否是预定值,并且根据判断结果和场间关系检测所述冗余场。
9.如权利要求4的运动图形处理方法,其特征在于,被插入到与处理相关的图形信号中的预置信号是作为图形信号毫无意义的无效信号。
10.一种用于对运动图形信号进行处理的方法,在这种方法中,根据通过从由多个场图形构成的数字运动图形信号中消除冗余场、把与所述冗余场对应的预置无效信号插入到已经被消除了所述冗余场的数字运动图形信号中,并通过附加用于控制所述图形处理的辅助信息所产生的与处理相关的图形信号,恢复包含有冗余场的具有预置图形速率的数字运动图形信号,该方法包括:
第一步骤,用于从与处理相关的所述图形信号中消除所述辅加信息;
第二步骤,用于使用所述的辅加信息,从所述与处理相关的图形信号中消除所述无效信息;和
第三步骤,用于重复其中被消除了无效信号的一部份图形信号串的图形信号,以产生与重新存贮具有所述预定图形比率的数字图形信号相关的冗余场。
11.如权利要求10的运动图形处理方法,其特征在于,在所述第三步骤,执行3∶2下拉,在该过程中,已被消除了无效信号的图形信号串的图形利用二或三个场被读出,以修改图形速率。
12.如权利要求11的运动图形处理方法,其特征在于,所述的辅助信息包括用于规定首先被读出的是构成一个图形的顶部场还是底部场的第一标记、用于规定是以三场比率还是用二场比率读出用于处理的图形信号图形的第二标记,以及用于规定用于处理的图形信号中的哪一些图形信号是被插入的无效信号的第三标记。
CNB951194968A 1994-12-29 1995-12-29 运动图形处理方法和设备以及恢复信号产生方法和设备 Expired - Fee Related CN1134165C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP340583/94 1994-12-29
JP340583/1994 1994-12-29
JP34058394 1994-12-29

Publications (2)

Publication Number Publication Date
CN1131871A true CN1131871A (zh) 1996-09-25
CN1134165C CN1134165C (zh) 2004-01-07

Family

ID=18338391

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB951194968A Expired - Fee Related CN1134165C (zh) 1994-12-29 1995-12-29 运动图形处理方法和设备以及恢复信号产生方法和设备

Country Status (8)

Country Link
US (2) US5691771A (zh)
EP (1) EP0720371B1 (zh)
KR (1) KR100392856B1 (zh)
CN (1) CN1134165C (zh)
DE (1) DE69524556T2 (zh)
MY (1) MY113223A (zh)
SG (1) SG50392A1 (zh)
TW (1) TW280077B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412451A (zh) * 2015-07-28 2017-02-15 联发科技股份有限公司 图像处理方法、装置以及系统

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5844618A (en) * 1995-02-15 1998-12-01 Matsushita Electric Industrial Co., Ltd. Method and apparatus for telecine image conversion
SG74566A1 (en) * 1995-08-23 2000-08-22 Sony Corp Encoding/decoding fields of predetermined field polarity apparatus and method
EP0847199B1 (en) * 1995-09-29 1999-04-28 Matsushita Electric Industrial Co., Ltd. Method, disc and device for encoding seamless-connection of telecine-converted video data
JPH10145779A (ja) * 1996-11-06 1998-05-29 Sony Corp フィールド検出装置およびフィールド検出方法、画像符号化装置および画像符号化方法、並びに記録媒体および記録方法
US5991447A (en) * 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
FR2765983B1 (fr) * 1997-07-11 2004-12-03 France Telecom Signal de donnees de modification d'une scene graphique, procede et dispositif correspondants
CA2273940C (en) * 1997-10-03 2008-12-09 Sony Corporation Encoded stream splicing device and method, and an encoded stream generating device and method
EP0917363A1 (en) * 1997-11-17 1999-05-19 STMicroelectronics S.r.l. Motion estimator algorithm and system's architecture
JP3740813B2 (ja) * 1997-12-12 2006-02-01 ソニー株式会社 画像符号化方法および画像符号化装置
JP3686249B2 (ja) * 1998-03-20 2005-08-24 パイオニア株式会社 重複画像検出装置、画像変換装置、重複画像検出方法及び画像変換方法並びに画像記録媒体
EP0994626A1 (en) * 1998-10-12 2000-04-19 STMicroelectronics S.r.l. Detection of a 3:2 pulldown in a motion estimation phase and optimized video compression encoder
JP2001218172A (ja) 2000-01-31 2001-08-10 Nec Corp 動画像復号器におけるフレームレート変換装置、フレームレート変換方法、およびその記録媒体、集積回路装置
EP1183873A1 (en) * 2000-02-29 2002-03-06 Koninklijke Philips Electronics N.V. Film source video detection and encoding
US6618445B1 (en) * 2000-11-09 2003-09-09 Koninklijke Philips Electronics N.V. Scalable MPEG-2 video decoder
US6765964B1 (en) * 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
US6839094B2 (en) * 2000-12-14 2005-01-04 Rgb Systems, Inc. Method and apparatus for eliminating motion artifacts from video
US20020175991A1 (en) * 2001-02-14 2002-11-28 Anystream, Inc. GPI trigger over TCP/IP for video acquisition
JP3432212B2 (ja) * 2001-03-07 2003-08-04 キヤノン株式会社 画像処理装置及び方法
US20040117427A1 (en) * 2001-03-16 2004-06-17 Anystream, Inc. System and method for distributing streaming media
JP4236394B2 (ja) * 2001-05-14 2009-03-11 富士通株式会社 冗長切替装置
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
JP4120265B2 (ja) * 2002-05-23 2008-07-16 ソニー株式会社 信号処理装置およびその方法、並びにそのプログラム
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US20040090554A1 (en) * 2002-10-23 2004-05-13 Takahiro Nishi Picture coding method
US7609763B2 (en) 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7961786B2 (en) * 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US8107531B2 (en) * 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7474841B2 (en) * 2003-11-21 2009-01-06 Canon Kabushiki Kaisha Image processing apparatus and its control method, and computer program and computer-readable storage medium
US8861589B2 (en) * 2004-01-30 2014-10-14 Broadcom Corporation Detection and phase lock of pull-down video
US20050231635A1 (en) * 2004-04-16 2005-10-20 Lin Ken K Automated inverse telecine process
JP4262139B2 (ja) * 2004-06-01 2009-05-13 キヤノン株式会社 信号処理装置
US7702059B2 (en) * 2005-02-09 2010-04-20 Analog Devices, Inc. Adaptable phase lock loop transfer function for digital video interface
JP4772562B2 (ja) * 2006-03-31 2011-09-14 株式会社東芝 プルダウン信号検出装置およびプルダウン信号検出方法並びに順次走査変換装置および順次走査変換方法
JP4936857B2 (ja) * 2006-10-31 2012-05-23 株式会社東芝 プルダウン信号検出装置、プルダウン信号検出方法及び順次走査変換装置
JP4983362B2 (ja) * 2007-04-16 2012-07-25 ソニー株式会社 フィルム検出装置およびその方法、並びに映像信号処理装置およびその方法
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US8891011B2 (en) * 2007-08-23 2014-11-18 Qualcomm Incorporated Systems and methods for combining deinterlacing and frame rate decimation for video format conversion
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US8718448B2 (en) 2011-05-04 2014-05-06 Apple Inc. Video pictures pattern detection
US10102206B2 (en) * 2016-03-31 2018-10-16 Dropbox, Inc. Intelligently identifying and presenting digital documents

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5319453A (en) * 1989-06-22 1994-06-07 Airtrax Method and apparatus for video signal encoding, decoding and monitoring
US5155594A (en) * 1990-05-11 1992-10-13 Picturetel Corporation Hierarchical encoding method and apparatus employing background references for efficiently communicating image sequences
US5353119A (en) * 1990-11-15 1994-10-04 Sony United Kingdom Limited Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images
US5317398A (en) * 1992-08-17 1994-05-31 Rca Thomson Licensing Corporation Video/film-mode (3:2 pulldown) detector using patterns of two-field differences
US5461420A (en) * 1992-09-18 1995-10-24 Sony Corporation Apparatus for coding and decoding a digital video signal derived from a motion picture film source
JP3443880B2 (ja) * 1992-09-18 2003-09-08 ソニー株式会社 ビデオ信号符号化方法及び復号化方法
US5491516A (en) * 1993-01-14 1996-02-13 Rca Thomson Licensing Corporation Field elimination apparatus for a video compression/decompression system
GB9303369D0 (en) * 1993-02-19 1993-04-07 Philips Electronics Uk Ltd Identifying film frames in a video sequence
JPH0746628A (ja) * 1993-06-29 1995-02-14 Toshiba Corp 画像信号符号化装置及び画像信号復号化装置
KR970003789B1 (ko) * 1993-11-09 1997-03-21 한국전기통신공사 비디오 부호기의 전송율을 제어하기 위한 비트 할당 방법
US5828786A (en) * 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
US5561477A (en) * 1994-10-26 1996-10-01 Thomson Consumer Electronics, Inc. System for coding a video signal in the presence of an image intensity gradient

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412451A (zh) * 2015-07-28 2017-02-15 联发科技股份有限公司 图像处理方法、装置以及系统

Also Published As

Publication number Publication date
KR100392856B1 (ko) 2003-10-22
EP0720371B1 (en) 2001-12-12
TW280077B (zh) 1996-07-01
CN1134165C (zh) 2004-01-07
EP0720371A3 (en) 1997-10-22
DE69524556D1 (de) 2002-01-24
US6282245B1 (en) 2001-08-28
KR960028559A (ko) 1996-07-22
DE69524556T2 (de) 2002-07-18
EP0720371A2 (en) 1996-07-03
US5691771A (en) 1997-11-25
SG50392A1 (en) 1998-07-20
MY113223A (en) 2001-12-31

Similar Documents

Publication Publication Date Title
CN1134165C (zh) 运动图形处理方法和设备以及恢复信号产生方法和设备
CN1076932C (zh) 图像信号编码和解码的方法与装置
CN1112806C (zh) 排列立体视频序列的视频画面用于译码的方法
CN1143546C (zh) 对来自电影胶片资料的数字视频信号进行编码的方法和装置
CN1265649C (zh) 运动图像的编码方法、解码方法、编码装置及解码装置
CN1183778C (zh) 图象解码装置及记录媒体
CN1166177C (zh) 电视电影视频信号检测装置
CN1135708C (zh) 图像信号处理系统及方法,解码器及解码方法
CN1138275A (zh) 图形信号编码译码方法和装置及信号记录介质
CN1469632A (zh) 视频编码/解码方法和设备
CN1941913A (zh) 用于跳跃图像的方法和设备
CN1178497C (zh) 数据再生传输设备和数据再生传输方法
CN1527605A (zh) 数据块噪声检测装置及数据块噪声消除装置
CN1123497A (zh) 电视信号的帧格式转换装置
CN1100871A (zh) 图象信号的高效编码
CN1288337A (zh) 用于自动转码编码的视频图象数据的方法和设备
CN1270541C (zh) 编码设备和方法
CN1250194A (zh) 活动图像合成装置
CN1848941A (zh) 图像再现、处理装置和方法以及具有该装置的电视接收机
CN1140125C (zh) 视频处理装置和方法
CN1313712A (zh) 产生立体图像的方法和装置
CN1435052A (zh) 图像再现方法、图像处理方法和采用这些方法的图像再现装置、图像处理装置以及电视接收机
CN1882099A (zh) 运动图像的编码方法、解码方法、编码装置及解码装置
CN1179573C (zh) 图像译码装置、图像编码装置、图像通信系统及编码位流变换装置
CN1155957A (zh) 字框变换装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20040107

Termination date: 20121229