CN100442858C - 分组网络中多媒体实时传输的唇同步方法及其装置 - Google Patents

分组网络中多媒体实时传输的唇同步方法及其装置 Download PDF

Info

Publication number
CN100442858C
CN100442858C CNB2005101002931A CN200510100293A CN100442858C CN 100442858 C CN100442858 C CN 100442858C CN B2005101002931 A CNB2005101002931 A CN B2005101002931A CN 200510100293 A CN200510100293 A CN 200510100293A CN 100442858 C CN100442858 C CN 100442858C
Authority
CN
China
Prior art keywords
audio stream
video flowing
time
separately
delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005101002931A
Other languages
English (en)
Other versions
CN1949879A (zh
Inventor
马辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CNB2005101002931A priority Critical patent/CN100442858C/zh
Priority to PCT/CN2006/001957 priority patent/WO2007041917A1/zh
Priority to CN2006800121067A priority patent/CN101160900B/zh
Priority to DE602006001342T priority patent/DE602006001342D1/de
Priority to EP06121989A priority patent/EP1775964B1/en
Priority to AT06121989T priority patent/ATE397356T1/de
Priority to US11/546,182 priority patent/US7680153B2/en
Publication of CN1949879A publication Critical patent/CN1949879A/zh
Application granted granted Critical
Publication of CN100442858C publication Critical patent/CN100442858C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64753—Control signals issued by the network directed to the server or the client directed to the client

Abstract

本发明涉及分组网络中的多媒体实时传输，公开了一种分组网络中多媒体实时传输的唇同步方法及其装置，使得能够通过简单而有效的调整来克服网络抖动、变化，实现音频流和视频流的唇同步。本发明中，设置了可以根据网络时延信息来灵活调解缓冲时长的缓冲器，通过分别对音频、视频流的缓冲时长调整来实现两者的同步；设置了时延检测模块来检测音频、视频数据在分组网络中的传输时延，然后由同步模块参考音频、视频流的平均传输时延和传输时延抖动进行音频、视频模块的同步；用同步模块计算音频、视频缓冲器的缓存时长并进行灵活设置，以抵抗网络传输抖动；由音频或视频两方中一方给另一方定期发送同步时间参考点，以协调双方的同步。

Description

分组网络中多媒体实时传输的唇同步方法及其装置
技术领域
本发明涉及分组网络中的多媒体实时传输，特别涉及分组网络中多媒体实时传输的唇同步方法装置。
背景技术
随着互联网(Internet)的飞速发展，流媒体技术的应用越来越广泛，从网上广播、电影播放到远程教学以及在线的新闻网站等都用到了流媒体技术。当前网上传输视频、音频主要有下载(Download)和流式传输(Streaming)两种方式。流式传输是连续传送视/音频信号，当流媒体在客户机播放时其余部分在后台继续下载。流式传输有顺序流式传输(Progressive Streaming)和实时流式传输(Realtime Streaming)两种方式。实时流式传输是实时传送，特别适合现场事件，实时流式传输必须匹配连接带宽，这意味着图像质量会因网络速度降低而变差，以减少对传输带宽的需求。“实时”的概念是指在一个应用中数据的交付必须与数据的产生保持精确的时间关系。在互联网中使用流式传输技术的连续时基媒体就称为流媒体，通常也将其视频与音频称为视频流和音频流。
流媒体传输需要几个基本组件，这些组件在各个不同层面上互相通信以实现流媒体传输，基本的流媒体系统包含以下3个组件：播放器(Player)，用来播放流媒体的软件；服务器(Server)，用来向用户发送流媒体的软件；编码器(Encode)，用来将原始的音频视频转化为流媒体格式的软件。这些组件之间通过特定的协议互相通信，按照特定的格式互相交换文件数据。有些文件中包含了由特定编解码器解码的数据，这种编解码器通过特定算法压缩文件的数据量。
目前流媒体传输基本上都是采用实时传输协议(Real-time TransportProtocol，简称“RTP”)及其控制协议(Real-time Transport Control Protocol，简称“RTCP”)。RTP是针对Internet上多媒体数据流的一个传输协议，由互联网工程任务组(Internet Engineering Task Force，简称“IETF”)发布。RTP被定义为在一对一或一对多的传输情况下工作，其目的是提供时间信息和实现流同步。RTP的典型应用建立在用户数据包协议(User DatagramProtocol，简称“UDP”)上，但也可以在传输控制协议(Transport ControlProtocol，简称“TCP”)或异步传输模式(Asynchronous Transfer Mode，简称“ATM”)等其他协议之上工作。RTP本身只保证实时数据的传输，并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠RTCP提供这些服务。RTCP负责管理传输质量在当前应用进程之间交换控制信息。在RTP会话期间，各参与者周期性地传送RTCP包，包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料，因此，服务器可以利用这些信息动态地改变传输速率，甚至改变有效载荷类型。RTP和RTCP配合使用，能以有效的反馈和最小的开销使传输效率最佳化，故特别适合传送网上的实时数据。
在RTP协议中为了实现接收端能够正确恢复多媒体数据包的顺序并进行播放，给出了根据时间戳进行同步的方法。时间戳字段是RTP首部中说明数据包时间的同步信息，是数据能以正确的时间顺序恢复的关键。时间戳的值给出了分组中数据的第一个字节的采样时间(Sampling Instant)，要求发送方时间戳的时钟是连续、单调增长的，即使在没有数据输入或发送数据时也是如此。在静默时，发送方不必发送数据，保持时间戳的增长，在接收端，由于接收到的数据分组的序号没有丢失，就知道没有发生数据丢失，而且只要比较前后分组的时间戳的差异，就可以确定输出的时间间隔。一次会话的初始时间戳必须随机选择，时间戳的单位是由负载类型来确定的。
另外，多媒体传输往往包含多种不同的流一起传输，播放时也需要同时播。因此如何实现多种流的同步将是多媒体流传输的一大难题。RTCP的一个关键作用就是能让接收方同步多个RTP流，例如：当音频与视频一起传输的时候，由于编码的不同，RTP使用两个流分别进行传输，这样两个流的时间戳以不同的速率运行，接收方必须同步两个流，以保证声音与影像的一致。
为能进行流同步，RTCP要求发送方给每个传送一个唯一的标识数据源的规范名(Canonical Name)，由一个数据源发出的不同的流具有相同的规范名，这样接收方就知道哪些流是有关联的。而发送方报告报文所包含的信息可被接收方用于协调两个流中的时间戳值。发送方报告中含有一个以网络时间协议(Network Time Protocol，简称“NTP”)格式表示的绝对时间值，产生该值的时钟就是产生RTP分组中的时间戳字段的那个时钟。由于发送方发出的所有流和发送方报告都使用同一个绝对时钟，接收方就可以比较来自同一数据源的两个流的绝对时间，从而确定如何将一个流中的时间戳值映射为另一个流中的时间戳值。
但是，由于多媒体流的各个流如音频流、视频流等各自的传输路径和环境都不同，网络传输情况变化复杂且不可预测，会造成音频流和视频流传输的延时和抖动。为了消除抖动的现象，接收端在接受到多媒体流后还要进行缓冲，即有个缓冲器在缓存接受到的数据包，然后进行同步后播放。加上抖动和缓冲处理后，多种流同步的问题将变得比原来复杂得多，而仅仅靠RTP/RTCP协议无法实现很好的同步。
对于音频流和视频流之间的同步，称为唇同步，是多媒体传输的主要问题之一。为了声音和图像能够更好的表达事物及含义，唇同步是为了实现声音及其画面的一致，保证音频所表达的含义和图像所表达的含义实时的相符合。如何在分组网络环境下结合现有多媒体实时传输技术来实现唇同步是网络多媒体传输急需解决的一个关键问题。
现有的网络多媒体传输中，为了消除抖动在接收端设置了抖动缓冲(Jitter Buffer)。每个Jitter Buffer设置一定的缓冲深度，而且设置有固定时延。比如音频流和视频流的Jitter Buffer中分别设置固定的延时A1和A2。在缓存中的媒体流数据经过延时后一旦到达允许的播放时间，即分别播放音频流和视频流。图1是现有技术中两个Jitter Buffer的设置及其作用机制示意图。
在现有技术中，由于每个流在Jitter Buffer中的时延是固定的，虽然缓冲可以消除抖动带来的影响，同时也可以根据两个流之间的延时确定补偿其同步偏差。但是同步偏差是固定，这对于比较稳定的网络情况是适用的。而对于分组网络的传输情况，两个独立的流由于路径不同、服务质量登记不同，导致音频和视频流在网络传输中本身具有不同的延时，再加上抖动的情况使得网络传输的延时也变化很大、不稳定，使得Jitter Buffer中固定的延时无法补偿同步偏差，最终导致音频流、视频流失步而唇同步失败。
在实际应用中，上述方案存在以下问题：首先，音频流和视频流在JitterBuffer中的时延是固定的，不能够动态调节，这对于网络情况变化不能适应。比如当网络条件好时，本身多媒体传输较快，缓冲时延太大会导致系统延时的浪费；而当网络条件较差时抖动强烈而无法消除，导致两个流失去同步关系，不能达到同步的效果。
其次，在固定时延后，两个流之间同步偏差也是固定的，这在网络条件发生变化时，比如变好或者恶化，导致同步偏差变化，但是经过同步处理后，反而增加了两个流的同步偏差。
再次，音频流和视频流的独立处理且在同步时相互间没有同步的参考量，只是简单通过增加固定延时的方法使得两个流达到同步，不能根据两个流同步结果反馈调整。
造成这种情况的主要原因在于，对于多媒体流的各个不同流即音频流和视频流进行缓冲Jitter Buffer处理时设置固定的延时，没有调整机制。
发明内容
有鉴于此，本发明的主要目的在于提供一种分组网络中多媒体实时传输的唇同步方法及其装置，使得能够通过简单而有效的调整来克服网络抖动、变化，实现音频流和视频流的唇同步。
为实现上述目的，本发明提供了一种分组网络中多媒体实时传输的唇同步方法，所述多媒体包含音频流和视频流，该音频流、视频流在接收端通过各自的缓冲器缓存后再播放，包含以下步骤，
A分别测量所述音频流、视频流的各自的平均传输时延；
B分别测量所述音频流、视频流的各自的传输时延抖动；
C根据所述音频流、视频流各自的所述平均传输时延、传输时延抖动，计算所述音频流与视频流之间的时延差，根据所述时延差设定所述音频流、视频流各自的缓冲器的缓存时长。
此外，还包含以下步骤，
D所述音频流或视频流的缓冲器中的第一方周期性提供自身播放时间给第二方作为同步时间参考点，所述第二方根据该同步时间参考点调整播放。
此外在所述方法中，所述步骤A中，根据所述音频流、视频流数据包的发送时刻和接收时刻计算所述平均传输时延。
此外在所述方法中，所述步骤A中，通过迭代算法计算所述音频流、视频流各自的平均传输时延，包含以下子步骤，
分别计算当前音频流、视频流各自数据包的传输时延；
迭代修正所述音频流、视频流各自的平均传输时延，使其更趋近所述当前音频流、视频流各自的数据包的传输时延。
此外在所述方法中，所述步骤C中，根据所述延时差设定所述音频流、视频流各自的缓冲器的缓存时长包括：
如果所述音频流、视频流的平均传输时延之差在允许的同步偏差范围内，且所述音频流、视频流各自的平均传输时延均小于音频流、视频流各自的缓存器的最大缓存时长，则直接按所述传输时延设置所述音频流、视频流各自的缓冲器的缓存时长；
如果所述音频流、视频流的平均传输时延之差超出允许的同步偏差范围内，则限定所述音频流或视频流的缓存器的缓存时长中的一个，以使音频流和视频流之间的同步偏差在同步偏差范围内；
如果所述音频流、视频流各自的平均传输时延均超出所述音频流、视频流各自的缓存器的最大缓存时长，则设置所述音频流、视频流各自的缓存器的缓存时长分别为所述音频流、视频流各自的缓存器的最大缓存时长。
本发明还提供了一种分组网络中多媒体实时传输的唇同步装置，所述多媒体包含音频流和视频流，各自设置有缓冲器。该音频流、视频流在接收端通过各自的缓冲器缓存后再播放，还包含时延检测模块、同步模块。
其中所述音频流、视频流各自的缓冲器还用于分别计算所述音频流、视频流各自的传输时延抖动；
所述时延检测模块用于分别计算所述音频流、视频流各自的平均传输时延；
所述同步模块用于根据所述音频流、视频流各自的所述平均传输时延、传输时延抖动，计算所述音频流与视频流之间的时延差，根据所述延时差设定所述音频流、视频流各自的缓冲器的缓存时长。
其中，所述音频流或视频流的缓冲器中的第一方周期性提供自身播放时间给第二方作为同步时间参考点，所述第二方根据该同步时间参考点调整播放。
此外，所述时延检测模块根据所述音频流、视频流各自的数据包的发送时刻和接收时刻分别计算所述音频流、视频流的各自的平均传输时延。
此外，所述时延检测模块通过迭代算法分别计算所述音频流、视频流各自的平均传输时延。
通过比较可以发现，本发明的技术方案与现有技术的主要区别在于，设置了可以根据网络时延信息来灵活调解缓冲时长的缓冲器，通过分别对音频、视频流的缓冲时长调整来实现两者的同步；
设置了时延检测模块来检测音频、视频数据在分组网络中的传输时延，然后由同步模块参考音频、视频流的平均传输时延和传输时延抖动进行音频、视频模块的同步；
用同步模块计算音频、视频缓冲器的缓存时长并进行灵活设置，以抵抗网络传输抖动，同时调整两者同步播放；
由音频或视频两方中一方给另一方定期发送同步时间参考点，以协调解决双方的同步问题，增强唇同步精确度。
这种技术方案上的区别，带来了较为明显的有益效果，即通过网络传输时延和抖动的检测及基于此的唇同步，并结合音频、视频之间的同步参考点对照机制，通过简单、准确的方法，能够简便快速地实现音频、视频流的同步，提高网络多媒体传输的服务质量和执行效率，及其有利于服务提供商的市场拓展和业务提升。
附图说明
图1是现有技术方案中网络多媒体传输的唇同步装置示意图；
图2是根据本发明的实施例的网络多媒体传输的唇同步装置示意图；
图3是根据本发明的实施例的网络多媒体传输的唇同步方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
由于IP分组网络不是一个面向连接的网络，其所提供的服务也是尽力而为的服务，网络的服务质量得不到保证。数据在传送时必将受到网络的时延和抖动的影响。这样在传送多媒体业务时，必然会导致音频流和视频流失步，从而影响图像和声音所表达的效果。本发明力求在保证系统较小延时的情况克服分组网络的影响，最终实现音频流和视频流的唇同步的处理。
本发明基于动态调整缓存时长的缓冲器来实现音频和视频流之间的唇同步。调整的依据是通过对分组网络音频、视频数据包传送时延及其抖动信息的分析。前端设置时延检测模块，根据数据包的发送时刻和接收时刻来计算相对传输时延，再由缓冲器本身来统计时延的抖动，将两个信息传给同步模块，由其计算缓冲器中应该设置多长时间的缓存，并告知缓冲器。两个流的缓冲器均按照同步模块提供的参数设置缓存时长。同时缓冲器之间还由一方提供另一方自身播放时刻作为同步参考点，以增强唇同步精确度。
下面结合本发明的实施例讨论技术实现细节。图2给出本发明的第一实施例的多媒体网络传输唇同步装置的组成框图，包括各个模块的功能及其相互协作关系。可见，多媒体实时传输的唇同步装置中，对于音频流和视频流各自设置有缓冲器，即音频缓冲器(Jitter Buffer)和视频缓冲器(Jitter Buffer)。多媒体数据在接收端通过各自的缓冲器缓存后再播放，图中示出了音频、视频缓冲器的缓存时长分别是A1和A2。
前面已经提及，多媒体流再分组网络上传输会有一定的延时，变化的延时就是网络的抖动。不同数据包的延时不同，抖动就是延时的变化程度、方差或范围。如果有网络抖动，多媒体数据包到达的间隔都不同，这导致播放的时候不顺畅或者不连续，而缓冲器的设置就可以避免或消除抖动带来的影响。Jitter Buffer在物理上是一块缓存，音频帧或视频帧要在这块缓存中保留足够长的时间然后再播放，它的大小反映了抵抗网络抖动的能力。
与现有技术方案不同的是，本发明还包含时延检测模块和同步模块，并且缓存时长A1和A2都是可以动态调整的。同步模块用于根据音频流、视频流的平均传输时延、传输时延抖动，计算音频流、视频流的缓冲器的缓存时长A1、A2的最佳值应该取多少，然后通知Jitter Buffer由其进行调整缓存时长设定。为了获取时延抖动等信息，设置的时延检测模块就是用于计算音频流、视频流的平均传输时延。而缓冲器则还用于计算音频流、视频流的传输时延抖动。
可见，本发明的唇同步装置的关键原理就是，由同步模块根据网络传输情况实时调整Jitter Buffer的延时。这个延时差就是两个流播放时和数据接收时的同步偏差。通过对两个流延时的调整，不仅可以使得各个流都能满足消除抖动的影响，而且可以产生偏差来弥补网络传输差异引起的失步。
但是上述装置中两个流之间从开始播放之后就没有在接收端有统一的时间参考点，这对于唇同步是一个潜在的威胁。当播放时间长了以后，由于技术、方法上的误差，导致同步时间参考相差累积越来越大。考虑到这一点，本发明的第二实施例在第一实施例的基础上，引入两个流之间的同步时刻参考点更新机制。即音频流或视频流的缓冲器中的第一方周期性提供自身播放时间给第二方作为同步时间参考点，然后第二方根据该同步时间参考点调整播放。这个提供的机制使得音频和视频流能够在一个周期内重新建立一致的同步参考。避免因误差累积导致的潜在失步危险。
上面提及各个模块之间的协作关系可以描述如下：同步模块从时延检测模块、音频Jitter Buffer、视频Jitter Buffer模块获取信息，如网络延时信息、音频和视频的抖动信息；同时同步模块又给音频Jitter Buffer模块，视频JitterBuffer模块提供设定缓存时长的信息。该关系在图2中可以清楚的看出。
本发明的第三实施例在第二实施例的基础上，采用根据网络数据包传输时刻计算统计其时延的方法来实现时延检测模块。时延检测模块根据音频流、视频流数据包的发送时刻和接收时刻计算平均传输时延。
首先根据音频流和视频流的到达时间和发送时间确定每一音频包和视频包在网络上传送相对延时。这里每个数据包按照RTP协议在发送出时会打上一个时间戳(Time Stamp)这样接收端即可以根据包上时间戳获知发送时刻。另外，这里之所以称为相对延时就是因为发送方和接收端的绝对时刻可能不一致，因此只能计算相对时刻。
值得注意的是时延检测模块统计的是平均时延，因此需要采用迭代的算法根据之前数据包的历时时延慢慢累积计算当前时刻平均时延。在本发明的第四实施例中，采用迭代算法计算出网络的平均时延。同样的Jitter Buffer中也要采用迭代算法来将每次设置的时延统计，计算一个平均的网络抖动。该迭代方法的具体流程在下文中有详细描述。
本发明的第五实施例在第三实施例的基础上，同步模块的实现方法如下所述：从上面的实现方案可知同步模块的输入参数有音频抖动值，视频抖动值，音频流和视频流的网络传输延时值。同步模块接收到上述的信息后要将音频流的延时值和抖动值与视频流的延时值和抖动值进行比较，以此调整音频流和视频流之间总的延时差，使得音频流和视频流同步，最后再统一给出音频Jitter Buffer模块和视频Jitter Buffer模块各自总的延时A1和A2。
其中同步模块计算音频流、视频流的缓冲器的缓存时长的原则是：设置缓存时长，使得同步偏差在限定的范围内并且尽量的小。具体就是要考虑到以下几条：如果音频流、视频流的平均传输时延之差在允许的同步偏差范围内，且均小于最大缓存时长，则直接按传输时延设置缓冲器的缓存时长；如果音频流、视频流的平均传输时延之差超出允许的同步偏差范围内，则限定其中一者在同步偏差范围内；如果音频流、视频流的平均传输时延超出最大缓存时长，则限定在最大缓存时长。关于具体同步模块如何进行比较判断和设定的技术细节在下文中描述。
为了更加清晰的描述本发明的多媒体网络传输唇同步装置的工作机理，下面详细给出一个上述装置的一个动态工作过程。
从分组网络侧接收的音频流和视频流经过传输时延检测模块的处理计算出它们在网络上的传输时间给同步模块。音频流和视频流分别经过各自的动态Jitter Buffer模块计算出各自的网络抖动值给同步模块。同步模块根据上述的四个输入参数按照一定算法分别计算出音频Jitter Buffer的缓冲时长A1和视频Jitter Buffer的缓冲时长A2，并送给音频、视频Jitter Buffer动态更新其缓冲时长。同时，音频Jitter Buffer模块根据A1计算出音频的播放时间及其对应播放的音频帧，并将这个播放时间发送给视频Jitter Buffer，作为其播放的同步时间参考点，当然也可以反过来由视频发给音频。视频Jitter Buffer根据同步参考点和A2值计算并调整播放缓冲器中的视频帧。从而实现音频与视频的同步播放即唇同步。
熟悉本领域的技术人员可以理解，对于上述各实施例中，在模块划分、角色分配等方面若采用其它表现形式，比如同步模块和音频Jitter Buffer在物理上结合，共同实现同步信息的计算和音频抖动的处理；又或者时延检测模块和同步模块结合，共同实现传输延时的计算和同步信息的计算；或者同步模块和视频Jitter Buffer结合，共同实现同步信息的计算和视频抖动的处理等，对于角色划分比如由视频Jitter Buffer发送同步时间参考点给音频JitterBuffer，这些不同的表现形式有着同样一个实现原理，都能实现发明目的，并不影响本发明的实质和范围。
对于上文描述的网络多媒体实时传输的唇同步装置，下面将详细给出相应的一些工作流程，即网络多媒体实时传输的唇同步方法。本发明的第六实例中唇同步方法流程图如图3所示。
首先步骤301中，在分组网络侧接收多媒体流数据，多媒体包含音频流和视频流，该音频流、视频流在接收端通过各自的缓冲器缓存后再播放。
接着在步骤302中，分别测量音频流、视频流的平均传输时延。如前所述，在分组网络侧，最先通过处理的就是时延检测模块，根据音频流、视频流数据包的发送时刻和接收时刻，通过迭代算法计算平均传输时延。
接着在步骤303中，分别测量音频流、视频流的传输时延抖动。这一步由Jitter Buffer完成。由于Jitter Buffer本身处理和记录网络数据包的延时间隔，通过这些间隔的变化，可以很容易的计算网络抖动。这里也通过迭代算法计算。
接着在步骤304中，根据音频流、视频流的平均传输时延、传输时延抖动，计算并设定音频流、视频流的缓冲器的缓存时长。
同步模块计算音频流、视频流的缓冲器的缓存时长的原则是：设置缓存时长，使得同步偏差在限定的范围内并且尽量的小。具体就是要考虑到以下几条：如果音频流、视频流的平均传输时延之差在允许的同步偏差范围内，且均小于最大缓存时长，则直接按传输时延设置缓冲器的缓存时长；如果音频流、视频流的平均传输时延之差超出允许的同步偏差范围内，则限定其中一者在同步偏差范围内；如果音频流、视频流的平均传输时延超出最大缓存时长，则限定在最大缓存时长。
接着在步骤305中，音频流或视频流的Jitter Buffer中的一方周期性提供自身播放时间给另一方作为同步时间参考点，使其根据该同步时间参考点调整播放。这样便完成了唇同步过程。
本发明的第七实施例在第六实施例的基础上，通过以下步骤实现步骤302中的迭代方法计算平均传输时延：
根据数据包上的时间戳及本地时钟，可以得知第i个媒体数据包的发送时刻和接收时刻分别为S(i)，R(i)。于是相对传输时延为
L(i)＝R(i)-S(i)
则迭代计算平均传输时延L的公式为
L ‾ : = L ‾ + 1 N [ L ( i ) - L ‾ ]
其中N为一个较大的常数，其取值与平均时延的精度有关。
可以看出，每当接收到一个新的数据包后，都会对原有的平均时延进行矫正，矫正的程度跟设置的N大小有关，该值越大表示当前值对平均时延影响越大，反之则越小。N应该取一个合适的值，如果太大则不能很好反映当前网络状况，如果太小则太容易受到起伏的影响，不能体现平均的效果，比如当L有32比特时取N＝16。
该迭代方法也适用于步骤303中Jitter Buffer对抖动的估计。由上，第i包和第j包两个包的传输时延之差D(i，j)可以计算为
D(i，j)＝[R(j)-R(i)]-[S(j)-S(i)]
而所谓网络抖动就是定义为不同包传输时延变化的标准差，也就是不同包之间时延差的平均值，于是网络抖动按下式计算
J : = J + 1 M [ | D ( i - 1 , i ) | - J ]
这里的M与上面的N类似。
本发明的第八实施例在第六实施例的基础上，通过以下判断法则来实现步骤304中的几条准则，从而根据平均传输时延、抖动来确定A1和A2的设定值。
比如先假设唇同步要求同步偏差的范围为[-e1，e2]，即音频超前视频的最大偏差为e1，音频滞后视频的最大偏差为e2。那么唇同步最终的结果要使得两个流的偏差在这个范围内。另外设缓冲器缓存的最大深度为X1和X2，且在一般情况下有X1＜X2，就是说A1(A1)和A2(A2)不能超过这个最大深度。
下面根据上面几条原则，给出一种比较简单的仅由前面计算得到的网络传输平均时延L1，L2来确定缓存时长A1，A2的方法：
如果满足L2＜L1＜X1且有L1-L2＞e2，则置A1＝L1，A2＝L1；
如果满足L2＜L1＜X1且有L1-L2≤e2，则置A1＝L1，A2＝L2；
如果满足L2＜X1＜L1，则置A1＝X1，A2＝X1；
如果满足X1＜L2＜L1，则置A1＝X1，A2＝min(L2，X2)；
如果满足L1＜L2＜X1且有L2-L1＞e1，则置A1＝L2，A2＝L2；
如果满足L1＜L2＜X1且有L2-L1≤e1，则置A1＝L1，A2＝L2；
如果满足L1＜X1＜L2＜X2且有L2-L1＞e1，则置A1＝X1，A2＝L2；
如果满足L1＜X1＜L2＜X2且有L2-L1≤e1，则置A1＝L1，A2＝L2；
如果满足L1＜X1＜X2＜L2，则置A1＝max(L1，X1，X2-e1)，A2＝X2；
如果满足X1＜L1＜L2，则置A1＝X1，A2＝min(L2，X2，X1+e1)。
从上面的准则，很容易归纳出这样的设置准则，即在物理可以实现的范围内，设置缓存时长，使得同步偏差在限定的范围内并且尽量的小。通过这种方法，能够简便、快速的计算出音频流和视频流能够保证同步的动态延时A1和A2，根据同步时间参考点，能够简便、快速的实现两个流的同步，根据不同的网络状况，动态的计算出最小延时，以保证同步质量。
综上，本发明给出了分组网络中多媒体实时传输的唇同步方法，则对当今网络流媒体业务发展具有很大意义。流媒体技术的应用日益广泛，本发明针对RTP/RTCP等多媒体实时传输协议的研究，分析流媒体服务器的一般功能和结构，给出构建一个基本的流媒体服务器的实现方案，实验证明可以同时满足多个实时和文件客户的要求，并已经应用于一个远程监控系统中。
虽然通过参照本发明的某些优选实施例，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (9)

1.一种分组网络中多媒体实时传输的唇同步方法，所述多媒体包含音频流和视频流，该音频流、视频流在接收端通过各自的缓冲器缓存后再播放，其特征在于，包含以下步骤，
A分别测量所述音频流、视频流的各自的平均传输时延；
B分别测量所述音频流、视频流的各自的传输时延抖动；
C根据所述音频流、视频流各自的所述平均传输时延、传输时延抖动，计算所述音频流与视频流之间的时延差，根据所述时延差设定所述音频流、视频流各自的缓冲器的缓存时长。
2.根据权利要求1所述的分组网络中多媒体实时传输的唇同步方法，其特征在于，还包含步骤，
D所述音频流或视频流的缓冲器中的第一方周期性提供自身播放时间给第二方作为同步时间参考点，所述第二方根据该同步时间参考点调整播放。
3.根据权利要求2所述的分组网络中多媒体实时传输的唇同步方法，其特征在于，所述步骤A中，根据所述音频流、视频流各自的数据包的发送时刻和接收时刻计算所述音频流、视频流各自的平均传输时延。
4.根据权利要求3所述的分组网络中多媒体实时传输的唇同步方法，其特征在于，所述步骤A中，通过迭代算法计算所述音频流、视频流各自的所述平均传输时延，包含以下子步骤，
分别计算当前音频流、视频流各自数据包的传输时延；
迭代修正所述音频流、视频流各自的平均传输时延，使其更趋近所述当前音频流、视频流各自的数据包的传输时延。
5.根据权利要求3所述的分组网络中多媒体实时传输的唇同步方法，其特征在于，所述步骤C中，根据所述延时差设定所述音频流、视频流各自的缓冲器的缓存时长包括：
如果所述音频流、视频流的平均传输时延之差在允许的同步偏差范围内，且所述音频流、视频流各自的平均传输时延均小于音频流、视频流各自的缓存器的最大缓存时长，则直接按所述音频流、视频流各自的传输时延设置所述缓冲器的缓存时长；
如果所述音频流、视频流的平均传输时延之差超出所述允许的同步偏差范围内，则限定所述音频流或视频流的缓存器的缓存时长中的一个，以使音频流和视频流之间的同步偏差在同步偏差范围内；
如果所述音频流、视频流各自的平均传输时延均超出所述音频流、视频流各自的缓存器的最大缓存时长，则设置所述音频流、视频流各自的缓存器的缓存时长分别为所述音频流、视频流各自的缓存器的最大缓存时长。
6.一种分组网络中多媒体实时传输的唇同步装置，所述多媒体包含音频流和视频流，各自设置有缓冲器，该音频流、视频流在接收端通过各自的缓冲器缓存后再播放，其特征在于，还包含时延检测模块、同步模块，
其中所述音频流、视频流各自的缓冲器还用于分别计算所述音频流、视频流各自的传输时延抖动；
所述时延检测模块用于分别计算所述音频流、视频流各自的平均传输时延；
所述同步模块用于根据所述音频流、视频流各自的所述平均传输时延、传输时延抖动，计算所述音频流与视频流之间的时延差，根据所述时延差设定所述音频流、视频流各自的缓冲器的缓存时长。
7.根据权利要求6所述的分组网络中多媒体实时传输的唇同步装置，其特征在于，所述音频流或视频流的缓冲器中的第一方周期性提供自身播放时间给第二方作为同步时间参考点，所述第二方根据该同步时间参考点调整播放。
8.根据权利要求7所述的分组网络中多媒体实时传输的唇同步装置，其特征在于，所述时延检测模块根据所述音频流、视频流各自的数据包的发送时刻和接收时刻分别计算所述音频流、视频流的各自的平均传输时延。
9.根据权利要求8所述的分组网络中多媒体实时传输的唇同步装置，其特征在于，所述时延检测模块通过迭代算法分别计算所述音频流、视频流各自的平均传输时延。
CNB2005101002931A 2005-10-11 2005-10-11 分组网络中多媒体实时传输的唇同步方法及其装置 Expired - Fee Related CN100442858C (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CNB2005101002931A CN100442858C (zh) 2005-10-11 2005-10-11 分组网络中多媒体实时传输的唇同步方法及其装置
CN2006800121067A CN101160900B (zh) 2005-10-11 2006-08-03 分组网络中多媒体实时传输的流同步方法及装置
PCT/CN2006/001957 WO2007041917A1 (fr) 2005-10-11 2006-08-03 Appareil et méthode de synchronisation de flux de transmission multimédia temps réel dans un réseau par paquets
EP06121989A EP1775964B1 (en) 2005-10-11 2006-10-09 Method and device for stream synchronization of real-time multimedia transport over packet network
DE602006001342T DE602006001342D1 (de) 2005-10-11 2006-10-09 Verfahren und Vorrichtung zur Synchronisierung eines audiovisuellen Datenstroms in Echtzeit über ein Paketnetzwerk
AT06121989T ATE397356T1 (de) 2005-10-11 2006-10-09 Verfahren und vorrichtung zur synchronisierung eines audiovisuellen datenstroms in echtzeit über ein paketnetzwerk
US11/546,182 US7680153B2 (en) 2005-10-11 2006-10-11 Method and device for stream synchronization of real-time multimedia transport over packet network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2005101002931A CN100442858C (zh) 2005-10-11 2005-10-11 分组网络中多媒体实时传输的唇同步方法及其装置

Publications (2)

Publication Number Publication Date
CN1949879A CN1949879A (zh) 2007-04-18
CN100442858C true CN100442858C (zh) 2008-12-10

Family

ID=37696036

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB2005101002931A Expired - Fee Related CN100442858C (zh) 2005-10-11 2005-10-11 分组网络中多媒体实时传输的唇同步方法及其装置
CN2006800121067A Active CN101160900B (zh) 2005-10-11 2006-08-03 分组网络中多媒体实时传输的流同步方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2006800121067A Active CN101160900B (zh) 2005-10-11 2006-08-03 分组网络中多媒体实时传输的流同步方法及装置

Country Status (6)

Country Link
US (1) US7680153B2 (zh)
EP (1) EP1775964B1 (zh)
CN (2) CN100442858C (zh)
AT (1) ATE397356T1 (zh)
DE (1) DE602006001342D1 (zh)
WO (1) WO2007041917A1 (zh)

Families Citing this family (112)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) * 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US9240810B2 (en) * 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
EP2357732B1 (en) 2002-10-05 2022-04-06 QUALCOMM Incorporated Systematic encoding and decoding of chain reaction codes
EP1665539B1 (en) 2003-10-06 2013-04-10 Digital Fountain, Inc. Soft-Decision Decoding of Multi-Stage Chain Reaction Codes
CN103124182B (zh) * 2004-05-07 2017-05-10 数字方敦股份有限公司 文件下载和流系统
EP1872533B1 (en) 2005-04-22 2019-05-22 Audinate Pty Limited Network, device and method for transporting digital media
WO2007095550A2 (en) 2006-02-13 2007-08-23 Digital Fountain, Inc. Streaming and buffering using variable fec overhead and protection periods
US9270414B2 (en) * 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US7459624B2 (en) 2006-03-29 2008-12-02 Harmonix Music Systems, Inc. Game controller simulating a musical instrument
GB2437123B (en) * 2006-04-10 2011-01-26 Vqual Ltd Method and apparatus for measuring audio/video sync delay
US7971129B2 (en) 2006-05-10 2011-06-28 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems
EP2033360B1 (en) 2006-05-17 2015-12-02 Audinate Pty Limited Redundant media packet streams
US7965650B2 (en) * 2006-05-18 2011-06-21 Cisco Technology, Inc. Method and system for quality monitoring of media over internet protocol (MOIP)
US20100211690A1 (en) * 2009-02-13 2010-08-19 Digital Fountain, Inc. Block partitioning for a data stream
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9386064B2 (en) * 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9178535B2 (en) * 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9209934B2 (en) * 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US8599884B2 (en) * 2007-03-15 2013-12-03 Nokia Corporation System and method for implementing optimized multiplexing and power saving in a broadcast network
CN101731011B (zh) 2007-05-11 2014-05-28 奥迪耐特有限公司 用于设置接收器延迟时间的方法
CN100488133C (zh) * 2007-05-11 2009-05-13 中兴通讯股份有限公司 一种多媒体终端音频服务质量特性的测试方法
JP4854029B2 (ja) * 2007-06-08 2012-01-11 Ｋｄｄｉ株式会社 無瞬断パケット切替装置
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
US8690670B2 (en) 2007-06-14 2014-04-08 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US9794605B2 (en) * 2007-06-28 2017-10-17 Apple Inc. Using time-stamped event entries to facilitate synchronizing data streams
WO2009036378A1 (en) * 2007-09-12 2009-03-19 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
FR2922401B1 (fr) * 2007-10-10 2010-04-16 Sagem Comm Dispositif de reception en continu de paquets de donnees audio et/ou video
US8918541B2 (en) * 2008-02-22 2014-12-23 Randy Morrison Synchronization of audio and video signals from remote sources over the internet
US9497103B2 (en) 2008-02-29 2016-11-15 Audinate Pty Limited Isochronous local media network for performing discovery
US9143810B2 (en) * 2008-03-13 2015-09-22 Telefonaktiebolaget L M Ericsson (Publ) Method for manually optimizing jitter, delay and synch levels in audio-video transmission
US20090241163A1 (en) * 2008-03-21 2009-09-24 Samsung Electronics Co. Ltd. Broadcast picture display method and a digital broadcast receiver using the same
US7860044B2 (en) * 2008-05-30 2010-12-28 Alcatel-Lucent Usa Inc. Methods and apparatus for providing synchronization in a multi-channel communication system
CN101378356B (zh) * 2008-06-10 2011-05-11 中兴通讯股份有限公司 一种ip实时流媒体的播放方法
US8819749B2 (en) 2008-06-11 2014-08-26 Koninklijke Philips B.V. Synchronization of media stream components
CN101369866B (zh) * 2008-10-21 2011-07-27 中国电信股份有限公司 一种测试流媒体传输质量的方法和设备
US9281847B2 (en) * 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
JP5284534B2 (ja) * 2009-03-16 2013-09-11 コニンクリジケ ケーピーエヌ エヌブィー 変更されたストリーム同期
CN101577827B (zh) * 2009-04-22 2012-02-01 北京大学 一种延时播放控制方法及系统
KR101705592B1 (ko) * 2009-05-18 2017-02-10 삼성전자주식회사 노드 간의 시간 동기화를 수행하는 네트워크 동기화 방법 및 장치
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US8537951B2 (en) * 2009-06-26 2013-09-17 Telefonaktiebolaget Lm Ericsson (Publ) Detection of jitter in a communication network
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US8437266B2 (en) * 2009-08-26 2013-05-07 Avaya Inc. Flow through call control
US20110096828A1 (en) * 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
WO2011056657A2 (en) 2009-10-27 2011-05-12 Harmonix Music Systems, Inc. Gesture-based user interface
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US8699351B2 (en) * 2009-12-04 2014-04-15 At&T Intellectual Property I, L.P. Method and system for detecting audio and video synchronization
EP3627798A1 (en) * 2010-01-27 2020-03-25 Koninklijke KPN N.V. Method, system and device for synchronization of media streams
US8636572B2 (en) 2010-03-16 2014-01-28 Harmonix Music Systems, Inc. Simulating musical instruments
WO2011155958A1 (en) 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Dance game and tutorial
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US8532804B2 (en) 2010-06-18 2013-09-10 Microsoft Corporation Predictive resampler scheduler algorithm
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9319448B2 (en) 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
US8635390B2 (en) * 2010-09-07 2014-01-21 International Business Machines Corporation System and method for a hierarchical buffer system for a shared data bus
US8874808B2 (en) * 2010-09-07 2014-10-28 International Business Machines Corporation Hierarchical buffer system enabling precise data delivery through an asynchronous boundary
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
US8606953B2 (en) * 2010-10-04 2013-12-10 Dialogic Corporation Adjusting audio and video synchronization of 3G TDM streams
US9237324B2 (en) 2010-10-22 2016-01-12 Phorus, Inc. Playback synchronization
US9565426B2 (en) * 2010-11-12 2017-02-07 At&T Intellectual Property I, L.P. Lip sync error detection and correction
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
CN107104934A (zh) * 2011-02-11 2017-08-29 交互数字专利控股公司 用于在协同会话期间同步移动站媒体流的方法和装置
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
WO2013099392A1 (ja) * 2011-12-29 2013-07-04 株式会社ソニー・コンピュータエンタテインメント 映像再生システム
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
US9553756B2 (en) * 2012-06-01 2017-01-24 Koninklijke Kpn N.V. Fingerprint-based inter-destination media synchronization
CN103475906B (zh) * 2012-06-08 2016-08-10 华为技术有限公司 用于多媒体流的测量方法和测量装置
CN102724584B (zh) * 2012-06-18 2016-07-27 Tcl集团股份有限公司 网络视频在线播放方法、视频在线播放装置及智能电视
EP2866457B1 (en) * 2012-06-22 2019-03-20 Saturn Licensing LLC Reception device, and synchronous processing method therefor
CN103888381A (zh) * 2012-12-20 2014-06-25 杜比实验室特许公司 用于控制抖动缓冲器的装置和方法
CN103916716B (zh) * 2013-01-08 2017-06-20 北京信威通信技术股份有限公司 一种无线网络下视频实时传输的码率平滑方法
CN103219029A (zh) * 2013-03-25 2013-07-24 广东欧珀移动通信有限公司 自动调节音视频同步的方法和系统
GB201318653D0 (en) 2013-10-22 2013-12-04 Microsoft Corp Adapting a jitter buffer
CN103594103B (zh) * 2013-11-15 2017-04-05 腾讯科技(成都)有限公司 音频处理方法及相关装置
CN104811824B (zh) * 2014-01-29 2018-05-04 上海数字电视国家工程研究中心有限公司 多媒体传输网络系统
CN106211306B (zh) 2015-04-30 2020-04-03 华为技术有限公司 一种通信网络延时抖动平滑方法、装置及系统
EP3095494A1 (en) 2015-05-19 2016-11-23 Harmonix Music Systems, Inc. Improvised guitar simulation
CN106331847B (zh) * 2015-07-06 2019-12-03 成都鼎桥通信技术有限公司 音视频播放方法及设备
JP6668636B2 (ja) * 2015-08-19 2020-03-18 ヤマハ株式会社 オーディオシステムおよびオーディオ機器
US9634947B2 (en) 2015-08-28 2017-04-25 At&T Mobility Ii, Llc Dynamic jitter buffer size adjustment
US9799314B2 (en) 2015-09-28 2017-10-24 Harmonix Music Systems, Inc. Dynamic improvisational fill feature
US9773486B2 (en) 2015-09-28 2017-09-26 Harmonix Music Systems, Inc. Vocal improvisation
CN105376613B (zh) 2015-12-10 2019-05-10 华为技术有限公司 一种快速频道切换方法、服务器及iptv系统
CN105704506A (zh) * 2016-01-19 2016-06-22 北京流金岁月文化传播股份有限公司 一种解决视音频编码唇音同步的装置和方法
US9973638B2 (en) * 2016-01-26 2018-05-15 Qsc, Llc Peripheral bus video communication using internet protocol
US10454982B1 (en) * 2016-03-18 2019-10-22 Audio Fusion Systems, Inc. Monitor mixing system that distributes real-time multichannel audio over a wireless digital network
US10686897B2 (en) * 2016-06-27 2020-06-16 Sennheiser Electronic Gmbh & Co. Kg Method and system for transmission and low-latency real-time output and/or processing of an audio data stream
CN106331120B (zh) * 2016-08-26 2019-06-21 自连电子科技（上海）有限公司 实现不同物联网设备之间协同操作的系统与方法
CN106658135B (zh) * 2016-12-28 2019-08-09 北京奇艺世纪科技有限公司 一种音视频播放方法及装置
CN109565466B (zh) * 2017-03-23 2020-11-06 华为技术有限公司 多设备间唇音同步方法及设备
CN106998484B (zh) * 2017-05-25 2023-05-05 游密科技(深圳)有限公司 一种实现服务端数据缓冲式延迟转发装置及方法
CN108401194B (zh) * 2018-04-27 2020-06-30 广州酷狗计算机科技有限公司 时间戳确定方法、装置和计算机可读存储介质
CN110392291A (zh) * 2019-07-29 2019-10-29 昆腾微电子股份有限公司 一种蓝牙同步播放方法、装置、系统及存储介质
US11882533B2 (en) 2019-09-18 2024-01-23 Lg Electronics Inc. Method for transmitting audio data using short-range wireless communication in wireless communication system, and apparatus therefor
CN110838950B (zh) * 2019-10-21 2022-01-28 大唐软件技术股份有限公司 一种网络性能抖动值的确定方法及装置
US11277461B2 (en) * 2019-12-18 2022-03-15 The Nielsen Company (Us), Llc Methods and apparatus to monitor streaming media
WO2021190733A1 (en) * 2020-03-24 2021-09-30 Telefonaktiebolaget Lm Ericsson (Publ) Devices and methods for provision of resource representations
CN113645177A (zh) * 2020-05-11 2021-11-12 同响科技股份有限公司 可靠传输网络中维持实时音讯串流播放延迟的方法及系统
CN112153445B (zh) * 2020-09-25 2022-04-12 四川湖山电器股份有限公司 一种分布式视频显示系统同步解码播放方法及系统
CN112511885A (zh) * 2020-11-20 2021-03-16 深圳乐播科技有限公司 音视频同步方法、装置及存储介质
CN112565885B (zh) * 2020-11-30 2023-01-06 清华珠三角研究院 一种视频分割方法、系统、设备及存储介质
CN112752143A (zh) * 2020-12-30 2021-05-04 北京真视通信息科技发展有限公司 流媒体服务器编码优化方法及装置
CN113365089B (zh) * 2021-05-31 2023-02-24 浙江大华技术股份有限公司 一种数据传输方法、装置、存储介质及电子装置
US11877040B2 (en) * 2021-11-24 2024-01-16 The Adt Security Corporation Streaming video playback with reduced initial latency

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5570372A (en) * 1995-11-08 1996-10-29 Siemens Rolm Communications Inc. Multimedia communications with system-dependent adaptive delays
US20030198256A1 (en) * 2002-04-19 2003-10-23 Wang Charles Chuanming Apparatus and method for synchronization of audio and video streams
CN1455408A (zh) * 2002-05-04 2003-11-12 三星电子株式会社 控制音频流缓冲的方法和装置
US20040037325A1 (en) * 2000-06-28 2004-02-26 Hans-Jurgen Busch Method and device for time-synchronized relaying of signals

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US570372A (en) * 1896-10-27 William frank browne
GB9501378D0 (en) * 1995-01-24 1995-03-15 Ibm A system and method for establishing a communication channel over a heterogeneous network between a source node and a destination node
JP3063841B2 (ja) * 1997-11-26 2000-07-12 日本電気株式会社 オーディオ・ビデオ同期再生装置
WO1999035824A1 (en) * 1998-01-07 1999-07-15 Thomson Consumer Electronics, Inc. Apparatus for providing a video lip sync delay and method therefore
US6249319B1 (en) * 1998-03-30 2001-06-19 International Business Machines Corporation Method and apparatus for finding a correct synchronization point within a data stream
US6438702B1 (en) * 1999-12-21 2002-08-20 Telcordia Technologies, Inc. Method for providing a precise network time service
JP3921986B2 (ja) * 2000-10-30 2007-05-30 ソニー株式会社 同期装置及び方法、ディジタル放送受信装置
JP2002202404A (ja) 2000-12-27 2002-07-19 Nikon Corp 光学部品およびその製造方法
US20030112758A1 (en) * 2001-12-03 2003-06-19 Pang Jon Laurent Methods and systems for managing variable delays in packet transmission
US6906755B2 (en) * 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data
BR0315310A (pt) * 2002-11-07 2005-08-16 Thomson Licensing Sa Sistema e método para determinar sincronismo labial entre áudio e vìdeo em um ambiente digitalizado usando cálculo de armazenamento provisório
JP2005123789A (ja) * 2003-10-15 2005-05-12 Matsushita Electric Ind Co Ltd Ａｖ同期システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5570372A (en) * 1995-11-08 1996-10-29 Siemens Rolm Communications Inc. Multimedia communications with system-dependent adaptive delays
US20040037325A1 (en) * 2000-06-28 2004-02-26 Hans-Jurgen Busch Method and device for time-synchronized relaying of signals
US20030198256A1 (en) * 2002-04-19 2003-10-23 Wang Charles Chuanming Apparatus and method for synchronization of audio and video streams
CN1455408A (zh) * 2002-05-04 2003-11-12 三星电子株式会社 控制音频流缓冲的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于RTP/RTCP协议的实时数据传输与同步控制策略. 任延珍，喻占武，胡瑞敏.计算机工程与应用，第10期. 2003
基于RTP/RTCP协议的实时数据传输与同步控制策略. 任延珍，喻占武，胡瑞敏.计算机工程与应用，第10期. 2003 *

Also Published As

Publication number Publication date
US7680153B2 (en) 2010-03-16
ATE397356T1 (de) 2008-06-15
EP1775964B1 (en) 2008-05-28
US20070081562A1 (en) 2007-04-12
WO2007041917A1 (fr) 2007-04-19
CN1949879A (zh) 2007-04-18
CN101160900B (zh) 2011-09-14
EP1775964A1 (en) 2007-04-18
CN101160900A (zh) 2008-04-09
DE602006001342D1 (de) 2008-07-10

Similar Documents

Publication Publication Date Title
CN100442858C (zh) 分组网络中多媒体实时传输的唇同步方法及其装置
EP1398931B1 (en) Synchronous play-out of media data packets
KR101354793B1 (ko) 입력 오디오 스트림 및 입력 비디오 스트림을 동기화하는 방법, 복수의 컴퓨팅 장치에 걸쳐서 전송되고 있는 미디어 스트림들을 동기화하기 위한 시스템, 및 컴퓨터 판독가능 매체
US7084898B1 (en) System and method for providing video conferencing synchronization
US7724780B2 (en) Synchronization of one or more source RTP streams at multiple receiver destinations
US7606928B2 (en) Method and device for controlling receiver buffer fullness level in multimedia streaming
US7554922B2 (en) Method and system for providing adaptive bandwidth control for real-time communication
KR101374408B1 (ko) 터미널들의 출력을 동기화하기 위한 방법 및 시스템
US9426423B2 (en) Method and system for synchronizing audio and video streams in media relay conferencing
US9055332B2 (en) Lip synchronization in a video conference
CN100568828C (zh) 一种在rtp中实时检测网络传输时延的方法
US20070071037A1 (en) Synchronization watermarking in multimedia streams
JP2010512688A5 (zh)
KR100916505B1 (ko) 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치
CN102065060B (zh) 媒体流切换同步方法和流媒体服务器
JP4042396B2 (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP3906678B2 (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
Wagner et al. Towards an RTP Profile for IPTV
Zhao Research on Computer network multimedia transmission system
Chi et al. A PRECISE AUDIO/VIDEO SYNCHRONIZATION SCHEME FOR MULTIMEDIA STREAMING

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081210

CF01 Termination of patent right due to non-payment of annual fee