CN101202828A - Av同步系统 - Google Patents

Abstract

在惯用的AV同步系统中，当作为主基准的流停止时，将不能同步校正系统时钟。由于即使在误差小的情况下也总是进行校正，所以开销大。另一方面，当误差大时，大幅度的校正会造成发生某种错误的感觉。在本发明中，当作为主基准的流停止时，预先注册有关主基准的优先级，考虑系统时钟的校正周期或在前误差，或发送包含有关主基准的信息的流，可以允许将其它进程用作主基准。因此，本发明提供的同步方法能够保持系统时钟校正。当校正误差大时，逐步的校正或参照可以给人以正常的感觉。此外，当校正误差小时省略校正或参照可以减少系统开销。

Description

AV同步系统

本申请是于2004年5月21日递交中国知识产权局的申请号为200410042469.8、名为“AV同步系统”的发明申请的分案申请。

技术领域

本发明涉及一种解压缩经过数字压缩的音频(声音)数据、视频(图像)数据、文本数据、静止图像数据等等，以通过相互同步再现这些数据的AV同步系统。

背景技术

近来，由于信息基础设施的更新和多媒体技术的进步，通过各种传输线路和媒体读出AV流并再现它的AV同步系统成为可能，并且已经投入商业使用。

一些系统使用数据广播之类的稳定线路，而其它一些系统通过诸如互联网和无线LAN之类的不稳定线路读出流，其中这些不稳定线路的传输率根据线路的拥挤程度而变化。

此外，在家用PC(个人计算机)中，能够编辑流的软件已经投入商业使用，并且可以个人建立各种流数据。

在一种用于惯用的AV同步再现装置的同步方法中，当并行处理诸如音频数据、视频数据之类的多种数据时，将对应于一种数据的进程用作主基准，并且把它的输出时间用作参照时间，以便通过该参照时间同步提供其它种类的数据。

如日本未审专利公开平7-303240中所公开的技术方案，由于音频停顿造成发生某种错误的感觉，因此，为了音频和视频之间同步，将音频处理用作主基准，并且根据从流中提取的音频时间信息校正系统时钟。在视频再现中，将系统时钟与从视频流中提取的时间信息比较。为了执行同步，当视频超前时，停止视频再现以调节定时，另一方面，当视频延迟时，加速视频再现。

图18是在根据音频主基准再现包含音频、视频、文本和静止图像的流的情况下的惯用同步处理流的时序图。在图18中，数字201、202、203、204和205分别代表时钟进程、音频进程、视频进程、文本进程和静止图像进程。粗线代表时钟进程和作为主基准的音频进程202。

在音频作为主基准的情况下，从流中提取时间信息PTS(表示时间标记Presentation Time Stamps)以再现，并且根据受到校正206的时钟201的时间提供音频。根据这个时钟作为参照207，执行其它的视频进程203、文本进程204、静止图像进程205。例如，对于视频进程203，从视频流提取它在流中的时间信息，并且在与参照时钟201相同的时间提供视频以进行同步。指向时钟的向上的箭头代表时钟的校正。从时钟向下的箭头代表时钟的参照。

图19是显示音频主基准中音频数据停止的情况下惯用系统中的操作的时序图。此后，由于惯用系统保持该音频为主基准，所以不能从音频提取时间信息PTS。因此不能校正时钟，所以在停止之后不加同步地继续执行视频进程、文本进程和静止图像进程。

在惯用方法中，例如，在音频主基准的情况下的再现中，当由于传输线路的故障而使音频数据停止时，或当在流的编辑过程中没有音频数据时，由于主基准是一直固定的，因此不能获得参照时间。

此外，当时钟误差极大时，校正造成大的图像跳跃、声音跳跃等等。

此外，即使当时钟误差小，由于校正和参照是一致地执行的，这造成额外开销。

发明内容

因此，本发明的主要目的是提供一种即使在主基准流停止或完成时，也能保持多个流之间的适当同步的AV同步系统。本发明的另一个目的是要防止大的图像跳跃、声音跳跃和减小开销。

为了达到上述目的，在本发明的一个方面，一种AV同步系统包括：一个用于将其中复用了多个流的多路复用流分离为每个流的多路分离部分；多个分别用于临时存储每个分离的流的缓冲存储器；多个分别用于译码存储在每个缓冲存储器中的流的译码部分；一个用于从译码部分提供经过系统时钟同步的译码数据的数据提供部分；和多个时间信息管理部分，用于从译码流获取时间信息，当已注册校正系统时钟的主基准时根据时间信息校正系统时钟，当主基准的流进程停止时，将一个负责主基准的流进程的时间信息管理部分切换到另一个时间信息管理部分。

因此，即使在主基准的流进程停止时，通过改变主基准的进程也能保持同步。

在本发明中，可以使用以下方案改变对应于主基准的进程。

1)在时间信息管理部分中注册的主基准包括优先级，并且当具有最高优先级的时间信息管理部分中的流进程停止时，将该时间信息管理部分切换到具有下一个最高优先级的另一个时间信息管理部分。在这种情况下，通过优化对应于最高优先级的流，可以维持多个流之间的适当同步。

2)当时间信息管理部分中作为主基准的流进程停止时，将该时间信息管理部分切换到能最早从流中获取时间信息的另一个时间信息管理部分。在这种情况下，可以不管主基准的改变，在最早时间校正时钟。

3)当时间信息管理部分中作为主基准的流进程停止时，将该时间信息管理部分切换到从流中获取时间信息的周期最小的另一个时间信息管理部分。在这种情况下，可以不管主基准的改变，在最早时间校正时钟。

4)当时间信息管理部分中作为主基准的流进程停止时，将该时间信息管理部分切换到校正系统时钟的周期最接近该时间信息管理部分的校正系统时钟周期的另一个时间信息管理部分。在这种情况下，例如当多个流包括两种音频流时，可以改变其它音频流。

5)当时间信息管理部分中作为主基准的流进程停止时，将该时间信息管理部分切换到在前系统时钟误差最小的另一个时间信息管理部分。在这情况下，具有小的误差的流进程起到保持同步的主基准的作用。

6)多路复用流包括流进程中侯选主基准的优先级的信息，当侯选主基准的优先级最高的时间信息管理部分中作为主基准的流进程停止时，将该时间信息管理部分切换到侯选主基准的优先级为下一个最高优先级的另一个时间信息管理部分。在这种情况下，设定与一个侯选主基准的有关的优先级可以提供任意选择一个用作主基准的进程的灵活性。

此外，根据本发明的AV同步系统包括：一个用于将多路复用流分离为每个流的多路分离部分，其中多路复用流中复用的多个流包含是否是校正系统时钟的主基准的指令信息；多个分别用于临时存储每个分离的流的缓冲存储器；多个分别用于译码存储在每个缓冲存储器中的流的译码部分；一个用于从译码部分提供经过系统时钟同步的译码数据的数据提供部分；多个从译码流获取时间信息的时间信息管理部分，其中将由指令信息指令为主基准的一个时间信息管理部分用作主基准以校正系统时钟，并且当不再将该时间信息管理部分指令为主基准时，将该时间信息管理部分切换到另一个时间信息管理部分。

因此，可以不管主基准的流进程是否发生停止，在任何需要的时间改变用作主基准的进程。因此，可以获得优化的同步。

此外，根据本发明的AV同步系统包括：一个用于将其中复用了多个流的多路复用流分离为每个流的多路分离部分；多个分别用于临时存储每个分离的流的缓冲存储器；多个分别用于译码存储在每个缓冲存储器中的流的译码部分；一个用于从译码部分提供经过系统时钟同步的译码数据的数据提供部分；和多个从译码流获取时间信息的时间信息管理部分，其中将一个注册为主基准的时间信息管理部分用作主基准以根据时间信息校正系统时钟，并且当流处于一种诸如静音之类的预先注册的预定状态时，将该时间信息管理部分切换到另一个时间信息管理部分。

根据这种结构，可以任意地规定改变主基准的条件，因此，这可以提供灵活性。

此外，根据本发明的AV合成系统包括：一个用于将其中复用了多个流的多路复用流分离为每个流的多路分离部分；多个分别用于临时存储分离的流的缓冲存储器；多个分别用于译码存储在每个缓冲存储器中的流的译码部分；一个用于从译码部分提供经过系统时钟同步的译码数据的数据提供部分；和多个从译码流获取时间信息的时间信息管理部分，其中将一个注册为主基准的时间信息管理部分用作主基准以根据时间信息校正系统时钟，并且当再现速度改变使状态从正常再现改变到快进再现或倒卷再现时，将该时间信息管理部分切换到另一个时间信息管理部分。

根据这种结构，可以提供主要基于视频的正常感觉的用户友好的系统。原因在于可以在调节到视频的再现条件的速度产生声音。

此外，优选是在对于系统时钟的校正误差大于一个预定值时，时间信息管理部分进行校正以使校正值变得比较小。在这种情况下，当对于系统时钟的校正误差大于预定值时，逐渐校正可以减小校正对其它装置所造成的不利影响。

此外，优选是在时间信息与另一个时间信息管理部分获得时间信息之间的误差大于一个预定值时，时间信息管理部分进行校正，以逐渐减小误差。在这种情况下，可以减少发生大的校正所造成的问题，例如，图像跳跃。

优选是在由于主基准的流进程停止而把时间信息管理部分切换到另一个时间信息管理部分以用作主基准之后，当流恢复时，再次把以前的时间信息管理部分用作主基准。在这种情况下，由于再次把那一个时间信息管理部分获得的时间信息用作主基准，所以能够获得适合的条件。

优选是在主基准的流进程停止时，时间信息管理部分根据在前校正值计算系统时钟的校正值，并且暂时继续执行校正。在这种情况下，当流在预定时间内恢复时，对应于主基准的进程可以保留作为主基准。因此，当流相对较早地恢复时，对应于主基准的处理可以保留作为主基准。因此，由于时钟的校正是根据原始进程接着执行的，所以可以改进操作的稳定性。

此外，优选在主基准的流进程停止时，考虑系统时钟的在前误差，当误差大于一个参考值时，将时间信息管理部分切换到另一个时间信息管理部分以作为主基准，而当误差小于参考值时，不切换时间信息管理部分，暂时继续流进程。在这种情况下，当作为主基准的进程在预定时间内恢复时，该进程保留作为主基准。即使对应于主基准的流进程停止，当流恢复相对较早时，对应于主基准的进程可以保留作为主基准。因此，由于原始处理接着继续进行，这可以改进操作的稳定性。

优选的是，考虑到主基准的系统时钟的在前校正值的平均误差，当误差小时，时间信息管理部分省略校正进程以减小开销。在这种情况下，减少校正次数便可以减少校正中的开销。

优选是当不是主基准的流进程中的系统时钟的在前平均误差小时，时间信息管理部分省略参照进程以减少开销。在这种情况下，减少参照的次数可以减少参照中的开销。

在本发明的另一个方面，一种AV同步系统包括：一个用于将其中复用了多个流的多路复用流分离为每个流的多路分离部分；多个分别用于临时存储每个分离的流的缓冲存储器；多个分别用于译码存储在每个缓冲存储器中的流的译码部分；一个用于从译码部分提供经过系统时钟同步的译码数据的数据提供部分；和一个时间信息管理部分，用于将多个流中的一个认作是主基准，从认作是主基准的译码流获取时间信息，并根据时间信息校正系统时钟；其中当认作是原主基准的一个流的流进程停止时，时间信息管理部分将多个流中的一个其它流认作是一个新的主基准，从认作是新的主基准的译码流获取新的时间信息，并且根据该新的时间信息校正系统时钟。

在本发明中，可以使用以下的用于把多个流中的其它一个认作是新的主基准的方案。

1)时间信息管理部分管理每个流的侯选主基准的优先级信息，并且当认作是原主基准的流的流进程停止时，将除了认作是原主基准的流之外的其它流中优先级最高的一个流认作是新的主基准。

2)当认作是原主基准的流的流进程停止时，时间信息管理部分将除了认作是原主基准的流之外的其它流中能最早获取时间信息的一个流认作新的主基准。

3)当认作是原主基准的流的流进程停止时，时间信息管理部分将除了认作是原主基准的流之外的其它流中获取时间信息的周期最小的一个流认作新的主基准。

4)当认作是原主基准的流的流进程停止时，时间信息管理部分将除了认作是原主基准的流之外的其它流中获取时间信息的周期最接近认作是原主基准的流的获取时间信息周期的一个流认作新的主基准。

5)当认作是原主基准的流的流进程停止时，时间信息管理部分将除了认作是原主基准的流之外的其它流中在前系统时钟误差最小的一个流认作新的主基准。

6)多路复用流包括侯选主基准的优先级的信息，并且当认作是原主基准的流的流进程停止时，时间信息管理部分将除了认作是原主基准的流之外的其它流中优先级最高的一个流认作新的主基准。

此外，优选在于，在由于认作是原主基准的流的流进程停止而使时间信息管理部分将其它一个流认作是新的主基准之后，当认作是原主基准的流的流进程恢复时，时间信息管理部分将该认作是原主基准的流再次认作是主基准。

优选是在当认作是原主基准的流的流进程停止时，时间信息管理部分根据在前校正值计算系统时钟的校正值，并且根据计算得到的校正值继续在预定时间内进行校正。

优选是当认作是原主基准的流的流进程停止时，在主基准的系统时钟的在前误差大于一个参考值的情况下，时间信息管理部分将一个其它流认作是新的主基准，而在主基准的系统时钟的在前误差小于该参考值的情况下，时间信息管理部分根据在前校正值计算系统时钟的校正值，并且根据计算得到的校正值继续在预定时间内进行校正。

此外，一种AV同步系统包括：一个用于将其中复用了多个流的多路复用流分离为每个流的多路分离部分；多个分别用于临时存储每个分离的流的缓冲存储器；多个分别用于译码存储在每个缓冲存储器中的流的译码部分；一个用于从译码部分提供经过系统时钟同步的译码数据的数据提供部分；和一个时间信息管理部分，用于将多个流中的一个认作是主基准，从认作是主基准的译码流获取时间信息，并根据该时间信息校正系统时钟；其中多个流包括用于指示每个流本身是否是主基准并且所述指示实时改变的指令信息，时间信息管理部分将指令信息指示流本身是当前主基准的一个流认作是主基准。

此外，一种AV同步系统包括：一个用于将其中复用了多个流的多路复用流分离为每个流的多路分离部分；多个分别用于临时存储每个分离的流的缓冲存储器；多个分别用于译码存储在每个缓冲存储器中的流的译码部分；一个用于从译码部分提供经过系统时钟同步的译码数据的数据提供部分；和一个时间信息管理部分，用于将多个流中的一个认作是主基准，从认作是主基准的译码流获取时间信息，并根据该时间信息校正系统时钟；其中当认作是原主基准的流处于预定状态时，时间信息管理部分将多个流中的一个其它流认作是新的主基准。

在这个AV同步系统中，认作是原主基准的流可以是音频流，并且预定状态可以是静音状态。

此外，一种AV同步系统包括：一个用于将其中复用了多个流的多路复用流分离为每个流的多路分离部分；多个分别用于临时存储每个分离的流的缓冲存储器；多个分别用于译码存储在每个缓冲存储器中的流的译码部分；一个用于从译码部分提供经过系统时钟同步的译码数据的数据提供部分；和一个时间信息管理部分，用于将多个流中的一个认作是主基准，从认作是主基准的译码流获取时间信息，并根据时间信息校正系统时钟；其中当多路复用流的再现速度不是正常再现速度时，时间信息管理部分将多个流中的一个其它流认作是新的主基准。

此外，一种AV同步系统包括：一个用于将其中复用了多个流的多路复用流分离为每个流的多路分离部分；多个分别用于临时存储每个分离的流的缓冲存储器；多个分别用于译码存储在每个缓冲存储器中的流的译码部分；一个用于从译码部分提供经过系统时钟同步的译码数据的数据提供部分；和一个时间信息管理部分，用于将多个流中的一个认作是主基准，从认作是主基准的译码流获取时间信息，并根据该时间信息校正系统时钟；其中根据时间信息对系统时钟进行校正的误差值大于一个预定值时，时间信息管理部分校正系统时钟，以使认作是主基准的流的时间信息与系统时钟之间的误差逐渐减小。

此外，一种AV同步系统包括：一个用于将其中复用了多个流的多路复用流分离为每个流的多路分离部分；多个分别用于临时存储分离的流的缓冲存储器；多个分别用于译码存储在每个缓冲存储器中的流的译码部分；一个用于从译码部分提供经过系统时钟同步的译码数据的数据提供部分；和一个时间信息管理部分，用于将多个流中的一个认作是主基准，从认作是主基准的译码流获取时间信息，根据该时间信息校正系统时钟，并根据系统时钟校正未被认作主基准的流的输出；其中根据系统时钟对未被认作主基准的流的输出进行校正的误差值大于一个预定值时，时间信息管理部分校正未被认作主基准的流的输出，以使系统时钟与未被认作主基准的流的输出之间的误差逐渐减小。

此外，一种AV同步系统包括：一个用于将其中复用了多个流的多路复用流分离为每个流的多路分离部分；多个分别用于临时存储每个分离的流的缓冲存储器；多个分别用于译码存储在每个缓冲存储器中的流的译码部分；一个用于从译码部分提供经过系统时钟同步的译码数据的数据提供部分；和一个时间信息管理部分，用于将多个流中的一个认作是主基准，从认作是主基准的译码流获取时间信息，并根据该时间信息校正系统时钟；其中根据时间信息对系统时钟进行校正的在前校正误差的平均值小于一个预定值时，时间信息管理部分省略校正。

此外，一种AV同步系统包括：一个用于将其中复用了多个流的多路复用流分离为每个流的多路分离部分；多个分别用于临时存储分离的流的缓冲存储器；多个分别用于译码存储在每个缓冲存储器中的流的译码部分；一个用于从译码部分提供经过系统时钟同步的译码数据的数据提供部分；和一个时间信息管理部分，用于将多个流中的一个认作是主基准，从认作是主基准的译码流获取时间信息，根据该时间信息校正系统时钟，并根据该系统时钟校正未被认作主基准的流的输出；其中根据系统时钟对未被认作主基准的流的输出进行校正的在前校正误差的平均值小于一个预定值时，时间信息管理部分省略对未被认作主基准的流的输出所进行的校正。

如上所述，根据本发明，当对应于主基准的流进程停止时，将从其它译码流获得的时间信息作为主基准，从而能够保持多个流之间的适当同步。此外，在时钟的误差大的情况下，逐渐校正可以减小突然的图像跳跃、声音跳跃等等。此外，在时钟误差小的情况下，省略校正或省略参照可以提供一个具有较小开销的系统。

附图说明

从以下的详细说明和附属权利要求中，可以更清楚地了解本发明的其它目的。此外，熟悉本领域的人员，从以下的详细说明中可以了解本发明的其它优点。

图1是显示根据本发明的一个具体实施例的AV同步系统的结构的框图；

图2是显示在本发明的具体实施例中的音频主基准中的音频数据停止的情况下的操作的时序图；

图3是显示一个具体实施例中的一种方法执行的处理流程的时序图，其中当对应于主基准的流进程停止时，将一个能够在下一个最早时间校正的进程改变成主基准；

图4是显示一个具体实施例中的处理过程执行的处理流程的时序图，其中当对应于主基准的流进程停止时，将一个具有最小周期的进程改变成主基准；

图5是显示在一个具体实施例中的一种方法执行的处理流程的时序图，其中当对应于主基准的流进程停止时，将一个具有最接近当前作为主基准的进程的校正系统时钟的周期的进程改变成主基准；

图6是显示在一个具体实施例中处理过程执行的处理流程的时序图，其中当对应于主基准的流进程停止时，将一个具有系统时钟与从一个流提取的在前系统时钟之间的最小误差的装置用作主基准；

图7是显示在本发明的一个具体实施例中，在发送一个包括包含作为一个候选主基准的优先级的信息的流的情况下的处理流程的时序图；

图8是显示在本发明的一个具体实施例中，在发送一个包括有关当前用作主基准的进程的信息的流的情况下的处理流程的时序图；

图9是显示在一个具体实施例中处理执行的处理流程的时序图，其中当一个作为主基准的进程落入一个预定条件内时，将其它进程用作主基准；

图10是显示在本发明的一个具体实施例中处理执行的处理流程的时序图，其中当快进再现的指令或类似指令造成再现速度改变时，将其它装置用作主基准；

图11是显示在一个具体实施例中的一个处理流程的时序图，其中在根据主基准校正时钟的情况下，当有关一个校正值的误差大于一个预定值时，逐渐地减小该误差，以防止突然校正造成的其它处理的大的图像跳跃等；

图12是显示在一个具体实施例中的一个处理流程的时序图，其中当参照一个不是主基准的进程中的时钟，对于PTS的误差大于一个预定值时，逐渐减小误差，以防止突然校正造成的其它处理的大的图像跳跃等；

图13是显示一个具体实施例中的一个处理流程的时序图，其中在对应于原主基准的进程停止的情况下，在把其它处理用作主基准之后，当再次执行对应于原主基准的进程时，将对应于原主基准的进程再次用作主基准；

图14是显示一个具体实施例中的一个处理流程的时序图，其中当一个对应于主基准的进程停止时，通过根据一个在前校正值计算，暂时根据作为主基准的进程继续校正，并且当对应于主基准的进程没有恢复时，将其它进程用作主基准；

图15是显示一个具体实施例中的一个处理流程的时序图，其中当对应于主基准的流进程停止时，考虑校正值的在前误差，当校正值的在前误差大于一个参考值时，将其它进程改变作为主基准，而当误差小于参考值时，将对应于主基准的流进程保留为主基准而暂时不加校正；

图16是显示一个具体实施例中的一个处理流程的时序图，其中在根据作为主基准的进程执行校正的情况下，当数次在前校正中的校正值的平均误差小于一个预定值时，省略校正以减少开销；

图17是显示一个具体实施例中的一个处理流程的时序图，其中在每个不是主基准的装置参照一个时钟的情况下，当最近几次中的参考值与流的PTS之间的误差小时，省略参照；

图18是显示现有技术中，在根据音频主基准再现包括音频、视频、文本、和静止图像的流的情况下的同步处理的时序图；和

图19是显示现有技术中音频主基准中音频数据停止的情况下的操作的时序图。

具体实施方式

以下参照附图说明根据本发明的优选实施例。

图1示出了根据本发明的优选实施例1的AV同步系统的构造。这个AV同步系统处理一个音频和视频多路传输到其中的流。

在这个具体例子的AV同步系统中，流输入部分101接收一个流，多路分离部分102将它分离成一个音频流和一个视频流。提供音频流到音频缓冲存储器103，而提供视频流到视频缓冲存储器108。音频译码部分104译码音频流。音频时间信息管理部分105从译码流中提取时间信息PTS，并且在音频为主基准的情况下，根据它的时间校正系统时钟。

发送处理后的数据到音频提供部分106，并作为声音再现。视频译码部分109译码视频流。视频时间信息管理部分110从译码视频流提取时间信息PTS，并且与系统时间比较。视频提供部分111以相同的时序提供视频。

图2是显示音频主基准中音频数据停止的情况下的操作的时序图。粗线代表时钟进程和作为主基准的音频进程。指向时钟的向上箭头代表时钟的校正。从时钟向下的箭头代表时钟的参照。间断线代表音频数据的停止。当音频数据停止时，视频进程用作主基准。因此，可以在视频进程的流中提取时间信息PTS。因此，可以随后校正时钟，并且可以用视频主基准维持同步。

在这个例子中，优先级是通过函数“Master_regist”预先注册的。将音频注册为最高优先级，将视频注册为第二最高优先级。因此，首先将音频用作主基准，并且在音频流停止时，将视频用作主基准。

图3是显示一种方法执行的处理流程的时序图，其中当对应于主基准的流进程停止时，将能够在下一个最早时间校正的进程改变成主基准。

在所示的例子中，当音频流停止时，静止图像进程可以在最早时间获得时间信息PTS。因此，由于将静止图像用作主基准，可以迅速地校正时钟，从而能够维持同步。

图4是显示处理执行的处理流程的时序图，其中当对应于主基准的流进程停止时，将具有最小周期的进程改变成主基准。

在所示的例子中，视频进程具有最小周期。因此将视频进程用作主基准。接下来，可以根据视频进程微小地校正时钟，并且能够维持同步。

图5是显示一种方法执行的处理流程的时序图，其中当对应于主基准的流进程停止时，将校正系统时钟的周期最接近当前主基准的校正系统时钟周期的的进程改变为主基准。

在当前发送诸如双语广播之类的双信道广播情况下，检索其它具有相同周期的信道，可以导致把音频2用作主基准。因此，把音频2用作主基准，这样在再现时感觉不到有错误。

图6是显示处理执行的处理流程的时序图，其中当对应于主基准的流进程停止时，把系统时钟与从一个流提取的在前系统时钟之间的误差最小的装置用作主基准。因此可以根据文本进程校正时钟，并且可以维持同步。

在所示的例子中，文本进程具有最小在前误差，从而用作主基准。

图7是显示在发送一个包括包含作为侯选主基准的优先级的信息的流的情况下处理流程的时序图。这使得能够根据流的内容改变执行的优先级。

在所示的例子中，流的备用位包含主基准的优先级，将音频进程表示为具有第一和第二优先级，将视频进程表示为具有第三优先级，将文本进程表示为具有第四优先级。因此，当作为第一优先级的音频1进程停止时，将具有第二优先级的音频2用作主基准。

以下说明一种与作为主基准的进程中的数据停止无关地切换用作主基准的进程的方法。

图8是显示发送一个包括有关当前用作主基准的进程的信息的流的情况下的处理流程的时序图。

发送包含当前主基准的信息的流的备用位。在所示的例子中，发送包括设置音频1为主基准的信息的流。然后通过发送包括设置音频2为主基准的信息的流将用作主基准的进程从音频1进程改变到音频2进程。这个改变与音频1主基准的停止无关。

图9是显示处理执行的处理流程的时序图，其中当作为主基准的进程落入一个预定条件内时，将其它进程用作主基准。

在所示例子中，将音频中的静音注册为条件。当声音成为静音时，视频进程自动地改变为主基准。优选是再现所有视频，然后调节静音音频，而不是产生所有音频，然后调节视频。原因在于，这能够提供具有正常感觉的用户友好的系统。这个改变与音频主基准的停止无关。

图10是显示处理执行的处理流程的时序图，其中当快进再现之类的指令造成再现速度变化时，将其它装置用作主基准。

事先注册再现速度的变化以将视频进程改变为主基准。这使得在快进再现时，能够自动地将视频进程用作主基准。因此，可以在优先的基础上再现视频，从而可以在快进再现时稳定地显示视频。因此可以取得具有正常感觉的快进再现。这个改变与音频主基准的停止无关。

以下说明校正时钟的方法。

图11是显示一个处理流程的时序图，其中在根据主基准校正时钟的情况下，当误差大于一个预定值时，逐渐地减小有关校正值的误差，以防止突然校正造成的其它处理的大的图像跳跃等。

当校正误差大于某个值时，在某种误差比率(在本例中是70％)内修改校正。这可以减小校正对其它装置所造成的影响。

图12是显示一个处理流程的时序图，其中，当参照一个不是主基准的进程中的时钟并对于PTS的误差大于一个预定值时，逐渐减小误差，以防止突然输出校正所造成的其它处理的大的图像跳跃等。

当校正误差大于某个值时，输出具有特定时间信息PTS的比率(在本例中是70％)的图像。这可以减小图像跳跃。

以下说明从停止到恢复作为主基准的进程的情况。

图13是显示一个处理流程的时序图，其中在对应于原主基准的进程停止的情况下，在将其它处理用作主基准之后，当再次执行对应于原主基准的进程时，将对应于原主基准的进程再次用作主基准。

在所示的例子中，在作为主基准的音频进程的操作过程中，当音频流停止的情况下，将视频流用作主基准。然而，在音频流恢复之后，再次把音频进程用作主基准。

图14是显示一个处理流程的时序图，其中当对应于主基准的进程停止时，通过计算在前校正值暂时继续根据作为主基准的进程进行校正处理，并且当对应于主基准的进程没有恢复时，将其它处理用作主基准。

在所示例子中，在音频1进程中的流停止之后，计算对应于两次的校正值，然后执行校正。但是由于作为主基准的进程没有恢复，因此把音频2进程用作主基准。当作为主基准的进程在预定时间内恢复时，进程保留作为主基准。

图15是显示一个处理流程的时序图，其中当对应于主基准的流进程停止时，考虑校正值的在前误差。当校正值的在前误差大于一个参考值时，将其它进程改变为主基准，当该误差小于参考值时，将对应于主基准的流进程保留作为主基准，暂时不校正。

在所示例子中，将阈值设定为“10”，以确定在前校正值的误差大。在本例中，值小于阈值，因此，将作为主基准的进程保留作为主基准，并且暂时保持处理。但是，作为主基准的进程的流有一段时间没有恢复，因此，将其它进程用作主基准。当作为主基准的进程在预定时间内恢复时，进程保留作为主基准。

图16是显示一个处理流程的时序图，其中在根据作为主基准的进程执行校正的情况下，当数次在前校正中的校正值的平均误差小时，省略校正处理以减小开销。间断线上向箭头代表校正的省略。

在所示的例子中，当在前两次的平均误差不大于3时省略校正。这可以减小开销。

图17是显示一个处理流程的时序图，其中在不是主基准的每个装置参照一个时钟的情况下，当最后几次的参考值与流的PTS之间的误差小时，省略参照。间断线的向下箭头代表参照的省略。

在所示例子中，第一和第二次中的参考值与PTS之间的误差的平均值小，因此省略了下一次参照，并且文本进程根据时钟的计算提供具有相同时间信息PTS的文本。这可以减小参照的开销。

根据本发明的AV同步系统数字解压缩诸如音频流、视频流之类的多个流，并且通过一个作为主基准的流进程校正系统时钟。在流彼此同步再现的情况下，即使当对应于作为主基准的进程的流停止或已经完成时，AV同步系统也能维持同步。此外，其优点在于防止了图像跳跃和声音跳跃等，并且减少了校正和参照的开销。

本发明是通过上述具体实施例说明的。但是，根据本发明的实施例的元件的结合或安排也可以用其它特定形式实现，而不脱离本发明的精神或附属权利要求。

Claims (25)

1.一种AV译码系统，包括：

多路分离部分，用于将其中多路复用有多个流的多路复用流分离为各个包括第一流和第二流的流；

译码部分，用于对所述包括第一流和第二流的流进行译码；

数据提供部分，用于提供来自所述译码部分、经过系统时钟同步的经译码数据；和

时间信息管理部分，用于从所述经译码流获取时间信息，并基于所获取的时间信息校正所述系统时钟，

其中，所述时间信息管理部分能够从以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流，切换到以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的经译码流。

2.根据权利要求1所述的AV译码系统，其中，在所述时间信息管理部分未能从所述经译码第一流获取时间信息时，所述时间信息管理部分从以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流，切换到以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的经译码流。

3.根据权利要求1所述的AV译码系统，其中，在所述第一经译码流停止时，所述时间信息管理部分从以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流，切换到以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的经译码流。

4.根据权利要求1所述的AV译码系统，其中，在所述第一经译码流结束时，所述时间信息管理部分从以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流，切换到以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的经译码流。

5.根据权利要求1所述的AV译码系统，其中，在所述第一经译码流中断时，所述时间信息管理部分从以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流，切换到以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的经译码流。

6.根据权利要求1所述的AV译码系统，其中，在所述输入至多路分离部分的多路复用流中所包括的第一流结束时，所述时间信息管理部分从以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流，切换到以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的经译码流。

7.根据权利要求1所述的AV译码系统，其中，所述时间信息管理部分在所述多个经译码流之间切换所述时间信息管理部分从中获取时间信息的经译码流。

8.根据权利要求7所述的AV译码系统，其中，在所述时间信息管理部分未能从所述经译码第一流获取时间信息时，所述时间信息管理部分从以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流，切换到以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的译码流；并且，在所述时间信息管理部分因未能从所述经译码第一流获取时间信息，而从以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流切换到以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的译码流之后，在所述时间信息管理部分能从所述经译码第一流获取时间信息时，所述时间信息管理部分从以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的经译码流，切换到以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流。

9.根据权利要求7所述的AV译码系统，其中，在所述第一经译码流停止时，所述时间信息管理部分从以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流，切换到以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的经译码流；并且，在所述时间信息管理部分因所述所述经译码第一流停止，而从以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流切换到以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的经译码流之后，在所述经译码第一流恢复时，所述时间信息管理部分从以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的经译码流，切换到以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流。

10.根据权利要求7所述的AV译码系统，其中，在所述第一经译码流结束时，所述时间信息管理部分从以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流，切换到以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的经译码流；并且，在时间信息管理部分因所述第一经译码流结束，而从以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流切换到以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的经译码流之后，在所述经译码第一流恢复时，所述时间信息管理部分从以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的经译码流，切换到以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流。

11.根据权利要求7所述的AV译码系统，其中，在所述第一经译码流中断时，所述时间信息管理部分从以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流，切换到以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的经译码流；并且，在所述时间信息管理部分因所述经译码第一流中断，而从以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流切换到以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的经译码流之后，在所述经译码第一流恢复时，所述时间信息管理部分从以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的经译码流，切换到以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流。

12.根据权利要求7所述的AV译码系统，其中，在所述输入至多路分离部分的多路复用流中所包括的第一流结束时，所述时间信息管理部分从以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流，切换到以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的经译码流；并且，在所述时间信息管理部分因所述第一流结束，而从以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流切换到以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的经译码流之后，在所述第一流恢复时，所述时间信息管理部分从以所述经译码第二流作为所述时间信息管理部分从中获取时间信息的经译码流，切换到以所述经译码第一流作为所述时间信息管理部分从中获取时间信息的经译码流。

13.根据权利要求1所述的AV译码系统，其中所述第一流是音频流，所述第二流是视频流。

14.根据权利要求7所述的AV译码系统，其中所述第一流是音频流，所述第二流是视频流。

15.一种AV译码系统，包括：

多路复用流输入部分，用于输入包括音频流和视频流的多路复用流；和

数据输出部分，用于输出基于所述音频流所产生的音频数据和基于所述视频流所产生的视频数据，其中，所述输出部分能够交替地根据包括在所述音频流中的时间信息和包括在所述视频流中的时间信息，输出所述音频数据和所述视频数据。

16.根据权利要求15所述的AV译码系统，其中，在包括在所述音频流中的时间信息从第一点跳跃到第二点时，从所述输出部分所输出的视频数据从与包括在所述音频流中的时间信息的第一点对应的点，跳跃到与包括在所述音频流中的时间信息的第二点对应的点。

17.根据权利要求15所述的AV译码系统，其中，所述输出部分除输出所述音频数据和所述视频数据之外，还输出文本数据；且

在所述输出部分根据包括在所述音频流中的时间信息输出所述文本数据时，当包括在所述音频流中的时间信息从第一点跳跃到第二点时，从所述输出部分输出的文本数据从与包括在所述音频流中的时间信息的第一点对应的点，跳跃到与包括在所述音频流中的时间信息的第二点对应的点；且

在所述输出部分根据包括在所述视频流中的时间信息输出所述文本数据时，当包括在所述视频流中的时间信息从第三点跳跃到第四点时，从所述输出部分输出的文本数据从与包括在所述视频流中的时间信息的第三点对应的点，跳跃到与包括在所述视频流中的时间信息的第四点对应的点。

18.根据权利要求15所述的AV译码系统，其中，在包括在所述多路复用流中的音频流存在时，所述输出部分根据包括在所述音频流中的时间信息输出基于所述视频流所产生的视频数据；以及

在包括在所述多路复用流中的音频流结束时，所述输出部分根据包括在所述视频流中的时间信息输出基于所述视频流所产生的视频数据。

19.根据权利要求15所述的AV译码系统，其中，在包括在所述多路复用流中的音频流存在时，所述输出部分根据包括在所述音频流中的时间信息输出基于所述视频流所产生的视频数据；以及

在包括在所述多路复用流中的音频流停止时，所述输出部分根据包括在所述视频流中的时间信息输出基于所述视频流所产生的视频数据。

20.根据权利要求15所述的AV译码系统，其中，在包括在所述多路复用流中的音频流存在时，所述输出部分根据包括在所述音频流中的时间信息输出基于所述视频流所产生的视频数据；以及

在包括在所述多路复用流中的音频流中断时，所述输出部分根据包括在所述视频流中的时间信息输出基于所述视频流所产生的视频数据。

21.根据权利要求15所述的AV译码系统，其中，在包括在所述多路复用流中的音频流存在时，所述输出部分根据包括在所述音频流中的时间信息输出基于所述视频流所产生的视频数据；以及

在包括在所述多路复用流中的音频流无法获得时，所述输出部分根据包括在所述视频流中的时间信息输出基于所述视频流所产生的视频数据。

22.根据权利要求18所述的AV译码系统，其中，在所述输出部分因包括在所述多路复用流中的音频流结束而根据包括在所述视频流中的时间信息输出基于所述视频流所产生的视频数据时，在包括在所述多路复用流中的音频流恢复时，所述输出部分根据包括在所述音频流中的时间信息输出基于所述视频流所产生的视频数据。

23.根据权利要求19所述的AV译码系统，其中，在所述输出部分因包括在所述多路复用流中的音频流停止而根据包括在所述视频流中的时间信息输出基于所述视频流所产生的视频数据时，在包括在所述多路复用流中的音频流恢复时，所述输出部分根据包括在所述音频流中的时间信息输出基于所述视频流所产生的视频数据。

24.根据权利要求20所述的AV译码系统，其中，在所述输出部分因包括在所述多路复用流中的音频流中断而根据包括在所述视频流中的时间信息输出基于所述视频流所产生的视频数据时，在包括在所述多路复用流中的音频流恢复时，所述输出部分根据包括在所述音频流中的时间信息输出基于所述视频流所产生的视频数据。

25.根据权利要求21所述的AV译码系统，其中，在所述输出部分因包括在所述多路复用流中的音频流无法获得而根据包括在所述视频流中的时间信息输出基于所述视频流所产生的视频数据时，在包括在所述音频流中的时间信息可以获得时，所述输出部分根据包括在所述音频流中的时间信息输出基于所述视频流所产生的视频数据。

Images