CN101160900A - 分组网络中多媒体实时传输的流同步方法及其装置 - Google Patents

分组网络中多媒体实时传输的流同步方法及其装置 Download PDF

Info

Publication number
CN101160900A
CN101160900A CNA2006800121067A CN200680012106A CN101160900A CN 101160900 A CN101160900 A CN 101160900A CN A2006800121067 A CNA2006800121067 A CN A2006800121067A CN 200680012106 A CN200680012106 A CN 200680012106A CN 101160900 A CN101160900 A CN 101160900A
Authority
CN
China
Prior art keywords
slow
delay
class
transmission
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800121067A
Other languages
English (en)
Other versions
CN101160900B (zh
Inventor
马辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN2006800121067A priority Critical patent/CN101160900B/zh
Publication of CN101160900A publication Critical patent/CN101160900A/zh
Application granted granted Critical
Publication of CN101160900B publication Critical patent/CN101160900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64753—Control signals issued by the network directed to the server or the client directed to the client

Abstract

本发明涉及分组网络中的多媒体实时传输，公开了一种分组网络中多媒体实时传输的流同步方法及其装置，使得能够通过简单而有效的调整来克服网络抖动、变化，实现音频流和视频流的唇同步。本发明中，设置了可以根据网络延时信息来灵活调解缓冲时长的缓冲器，通过分别对音频、视频流的缓冲时长调整来实现两者的同步；设置了延时检测模块来检测音频、视频数据在分组网络中的传输延时，然后由同步模块参考音频、视频流的平均传输延时和传输延时抖动进行音频、视频模块的同步；用同步模块计算音频、视频缓冲器的缓冲时长并进行灵活设置，以抵抗网络传输抖动；由音频或视频两方中一方给另一方定期发送同步时间参考点，以协调双方的同步。

Description

分组网络中多媒体实时传输的流同步方法及装置 技术领域
本发明涉及分组网络中的多媒体实时传输， 特别涉及分组网絡中多媒 体实时传输的流同步方法及装置。
背景技术 随着互联网 （Internet ) 的飞速发展， 流媒体技术的应用越来越广泛， 网上广播、 电影播放、远程教学以及在线的新闻网站等都用到流媒体技术。 当前网上传输视频、 音频的方式主要有下载（Download )和流式传输 ( Streaming ) 两种方式。 在互联网中使用流式传输技术的连续时基媒体就 称为流媒体， 通常也将其视频与音频称为视频流和音频流。 流式传输是连续传送视 /音频信号， 当流媒体在客户机播放时其余部分 在后台继续下载。 流式传输有顺序流式传输 ( Progressive Streaming ) 和实时流式传输 ( Realtime Streaming ) 两种方式。 实时流式传输是实时传送， 特别适合现 场事件， 实时流式传输必须匹配连接带宽， 这意味着图像质量会因网络速 度降 1而变差， 以减少对传输带宽的需求。 "实时，， 的概念是指在一个应用 中数据的交付必须与数据的产生保持精确的时间关系。 目前流媒体传输基本上都是釆用实时传输协议 ( Real-time Transport Protocol, 简称 "RTP" )及其控制协议 ( Real-time Transport Control Protocol, 简称 "RTCP" )。 RTP是针对 Internet上多媒体数据流的一个传输协议， 由 互联网工程任务组 ( Internet Engineering Task Force, 简称 "IETF" )发布。 RTP被定义为在一对一或一对多的传输情况下工作， 其目的是提供时间信 息和实现流同步。 RTP的典型应用建立在用户数据包协议 ( User Datagram Protocol, 筒称 "UDP" )上， 但也可以在传输控制协议（ Transport Control Protocol, 简称 " TCP" )或异步传输模式（ Asynchronous Transfer Mode, 简 称 "ATM" )等其他协议之上工作。 RTP本身只保证实时数据的传输， 并不 能为按顺序传送数据包提供可靠的传送机制， 也不提供流量控制或拥塞控 制， 而是依靠 RTCP提供这些服务。 RTCP负责管理传输质量在当前应用进 程之间交换控制信息。在 RTP会话期间，各参与者周期性地传送 RTCP包， 包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料， 因此， 服务器可以利用这些信息动态地改变传输速率， 甚至改变有效载荷类型。 RTP和 RTCP配合使用 , 能以有效的反馈和最小的开销使传输效率最佳化， 故特别适合传送网上的实时数据。 在 RTP协议中为了实现接收端能够正确恢复多媒体数据包的顺序并进 行播放， 给出根据时间戳进行同步的方法。 时间戳字段是 RTP首部中说明 数据包时间的同步信息， 是数据能以正确的时间顺序恢复的关键。 时间戳 的值给出了分组中数据的第一个字节的采样时间 （Sampling Instant ), 要求 发送方时间戳的时钟是连续、 单调增长的， 即使在没有数据输入或发送数 据时也是如此。 在静默时， 发送方不必发送数据， 保持时间戳的增长， 在 接收端， 由于接收到的数据分组的序号没有丟失， 就知道没有发生数据丢 失， 而且只要比较前后分组的时间戳的差异， 就可以确定输出的时间间隔。 一次会话的初始时间戳必须随机选择， 时间戳的单位是由负载类型来确定 的。 - 另外， 多媒体传输往往包含多种不同的流一起传输， 播放时也需要同 时播放。 因此如何实现多种流的同步将是多媒体流传输的一大难题。 RTCP 的一个关键作用就是能让接收方同步多个 RTP流， 例如： 当音频与视频一 起传输的时候， 由于编码的不同， RTP使用两个流分别进行传输， 这样两 个流的时间戳以不同的速率运行， 接收方必须同步两个流， 以保证声音与 影像的一致。 为能进行流同步， RTCP要求发送方为每个传送给一个唯一的标识数据 源的规范名 （Canonical Name ), 由一个数据源发出的不同的流具有相同的 规范名， 这样接收方就知道哪些流是有关联的。 而发送方报告报文所包含 的信息可被接收方用于协调两个流中的时间戳值。 发送方报告中含有一个 以网络时间协议 （Network Time Protocol, 简称 " NTP" )格式表示的绝对 时间值， 产生该值的时钟就是产生 RTP分组中的时间戳字段的那个时钟。 由于发送方发出的所有流和发送方报告都使用同一个绝对时钟， 接收方就 可以比较来自同一数据源的两个流的绝对时间， 从而确定如何将一个流中 的时间戳值映射为另一个流中的时间戳值。 但是， 由于多媒体流的各个流如音频流、 视频流等各自的传输路径和 环境都不同， 网络传输情况变化复杂且不可预测， 会造成音频流和视频流 传输的延时和抖动。 为了消除抖动的现象， 接收端在接收到多媒体流后还 要进行緩冲， 即采用緩冲器緩存接收到的数据包， 然后进行同步后播放。 加上抖动和緩冲处理后， 多种流同步的问题将变得比原来复杂得多， 而仅 仅靠 RTP/RTCP协议无法实现很好的同步。 对于音频流和视频流之间的同步， 称为唇同步， 是多媒体传输的主要 问题之一。 为了声音和图像能够更好的表达事物及含义， 唇同步实现声音 及其画面的一致 , 保证音频所表达的含义和图像所表达的含义实时的相符 合。 如何在分组网络环境下结合现有多媒体实时传输技术来实现唇同步是 网络多媒体传输急需解决的一个关键问题。 现有的网络多媒体传输中 , 为了消除抖动在接收端设置了抖动緩冲 ( Jitter Buffer 每个 Jitter Buffer设置一定的緩冲深度， 而且设置有固定延 时。例如，图 1是现有技术中两个 Jitter Buffer的设置及其作用机制示意图， 音频流和视频流的 Jitter Buffer 110和 120中分别设置固定的延时 A1和 A2。 在緩存中的媒体流数据经过延时后一旦到达允许的播放时间， 即分别播放 音频流和视频流。 在现有技术中， 由于每个流在 Jitter Buffer中的延时是固定的， 虽然緩 冲可以消除抖动带来的影响， 同时也可以根据两个流之间的延时确定补偿 其同步偏差。但是延时差是固定的， 这对于比较稳定的网络情况是适用的。 而对于分组网络的传输情况， 两个独立的流由于路径不同、 服务质量登记 不同， 导致音频和视频流在网络传输中本身具有不同的延时， 再加上抖动 的情况使得网络传输的延时也变化很大、 不稳定， 使得 Jitter Buffer中固定 的延时无法补偿同步偏差， 最终导致音频流、 视频流失步而唇同步失败。 在实际应用中，上述方案存在以下问题：首先，音频流和视频流在 Jitter Buffer 中的延时是固定的， 不能够动态调节， 这对于网络情况变化不能适 应。 比如当网络条件好时， 多媒体传输较快， 緩冲延时太大会导致系统延 时的浪费； 而当网络条件较差时抖动强烈而无法消除， 导致两个流失去同 步关系， 不能达到同步的效果。 其次， 在固定延时后， 两个流之间的补偿同步偏差也是固定的， 这在 网络条件发生变化时， 比如变好或者恶化， 导致同步偏差变化， 但是经过 同步处理后， 反而增加了两个流的同步偏差。 再次， 音频流和视频流的独立处理且在同步时相互间没有同步的参考 量， 只是简单通过增加固定延时的方法使得两个流达到同步， 不能根据两 个流同步结果反馈调整。
造成这种情况的主要原因在于， 对于多媒体流的各个不同流即音频流 和视频流进行緩冲 Jitter Buffer处理时设置固定的延时， 没有调整机制。 发明内容 本发明提供一种分组网络中多媒体实时传输的流同步方法及其装置， 使得能够通过简单而有效的调整来克服网络抖动、 变化， 实现流之间的同 步。 根据本发明的一个方面， 一种分组网络中多媒体实时传输的流同步方 法， 所述多媒体包含第一流和第二流， 该第一流、 第二流在接收端通过各 自的緩冲器緩存后再播放； 该方法包括： 分别测量所述第一流、 第二流的平均传输延时； 分别测量所述第一流、 第二流的传输延时抖动； 计算与所述第一流、 第二流的所述平均传输延时、 传输延时抖动相对 应的第一流和第二流的延时差， 设定所述第一流、 第二流的緩冲器的緩冲 时长以适应该延时差。 可选地， 该方法还包括： 所述第一流或第二流的緩沖器中的一方周期性提供自身播放时间给另 一方作为同步时间参考点， 所述另一方根据该同步时间参考点调整播放。 可选地， 所述平均传输延时由所述第一流、 第二流数据包的发送时刻 和接收时刻计算得到。 可选地， 所述平均传输延时的计算包括： 计算当前多媒体数据包的传输延时； 迭代修正所述平均传输延时， 使其更趋近所述当前多媒体数据包的传 输延时。 可选地， 所述设定所述第一流、 第二流的緩冲器的緩冲时长以适应该 延时差包括： 如果所述第一流、 第二流的平均传输延时之差在允许的同步偏差范围 内， 且均小于其对应的緩冲器的最大緩存时长， 则直接按所述传输延时设 置所述緩冲器的緩冲时长； 如果所述第一流、 第二流的平均传输延时之差超出所述允许的同步偏 差范围内， 则限定所述其中一者以使延时差在同步偏差范围内； 如果所述第一流、 第二流的平均传输延时超出所述最大緩存时长， 则 限定在最大緩冲时长。 可选地， 所述第一流为音频流， 所述第二流为视频流。 根据本发明的另一方面， 一种分组网络中多媒体实时传输的流同步装 置， 所述多媒体包含第一流和第二流； 该装置包括第一流緩冲器和第二流 緩冲器； 还包含延时检测模块、 同步模块； 其中， 所述第一流緩冲器和第二流緩冲器用于分别计算所述第一流、 第二流 的传输延时抖动； 所述延时检测模块用于计算所述第一流、 第二流的平均传输延时； 所述同步模块用于^ ^据所述第一流、 第二流的所述平均传输延时、 传 输延时抖动， 计算所述第一流、 第二流的緩冲器的緩冲时长。 可选地， 所述第一流或第二流的緩冲器中的一方周期性提供自身播放 时间给另一方作为同步时间参考点， 所述另一方根据该同步时间参考点调 整播放。 可选地， 所述延时检测模块根据所述第一流、 第二流数据包的发送时 刻和接收时刻计算所述平均传输延时。 可选地， 所述延时检测模块通过迭代算法计算所述平均传输延时。 本发明中设置了可以根据网络延时信息来灵活调解緩冲时长的缓冲 器， 通过分别对第一、 第二流的緩冲时长调整来实现两者的同步； 设置了 延时检测模块来检测第一、 第二数据在分组网络中的传输延时， 然后由同 步模块参考第一、 第二流的平均传输延时和传输延时抖动进行第一、 第二 模块的同步； 用同步模块计算第一、 第二緩冲器的緩冲时长并进行灵活设 置， 以抵抗网络传输抖动， 同时调整两者同步播放； 即通过网络传输延时 和抖动的检测及基于此的流同步， 能够简便快速地实现流的同步。
此外， 由音频或视频两方中一方给另一方定期发送同步时间参考点， 以协调解决双方的同步问题， 增强唇同步精确度： 结合音频、 视频之间的 同步参考点对照机制， 通过简单、 准确的方法， 能够简便快速地实现音频、 视频流的同步， 提高网络多媒体传输的服务质量和执行效率， 及其有利于 服务提供商的市场拓展和业务提升。
附图说明 图 1是现有技术方案中网络多媒体传输的唇同步装置示意图； 图 2是根据本发明的实施例的网络多媒体传输的唇同步装置示意图； 图 3是根据本发明的实施例的网络多媒体传输的唇同步方法流程图。 具体实施方式 为使本发明的目的、 技术方案和优点更加清楚， 下面将结合附图对本 发明做进一步的详细描述。 由于 IP分组网络不是一个面向连接的网络，其所提供的服务也是尽力 而为的服务， 网絡的服务盾量得不到保证。 数据在传送时必将受到网络的 延时和抖动的影响。 这样在传送多媒体业务时， 必然会导致音频流和视频 流失步， 从而影响图像和声音所表达的效果。 本发明力求在保证系统较小 延时的情况下克服分组网络的影响， 最终实现音频流和视频流的唇同步的 处理。 本发明基于动态调整緩冲时长的緩冲器来实现音频和视频流之间的唇 同步。 调整的依据是对分组网络音频、 视频数据包传送延时及其抖动信息 的分析。 前端设置延时检测模块， 根据数据包的发送时刻和接收时刻来计 算相对传输延时， 再由緩冲器本身来统计延时的抖动， 将两个信息传给同 步模块， 由其计算緩冲器中应该设置多长时间的緩存， 并告知緩冲器。 两 个流的緩冲器均按照同步模块提供的参数设置緩冲时长。 同时緩冲器之间 还由一方提供另一方自身播放时刻作为同步参考点，以增强唇同步精确度。 下面结合本发明的实施例讨论技术实现细节。 图 2给出本发明的第一 实施例的分组网络中多媒体实时传输的唇同步装置的组成框图， 包括各个 模块的功能及其相互协作关系。 可见， 多媒体实时传输的唇同步装置中， 对于音频流和视频流各自设置有緩冲器， 即音频緩冲器（Jitter Buffer ) 210 和视频緩冲器（Jitter Buffer ) 220。 多媒体数据在接收端通过各自的緩冲器 緩存后再播放， 图 2中示出音频、 视频緩冲器 210和 220的緩冲时长分别 是 A1和 A2。 前面已经提及， 多媒体流在分组网络上传输会有一定的延时， 变化的 延时就是网络的抖动。 不同数据包的延时不同， 抖动就是延时的变化程度、 方差或范围。 如果有网络抖动， 多媒体数据包到达的间隔都不同， 这导致 播放的时候不顺畅或者不连续， 而緩冲器的设置就可以避免或消除抖动带 来的影响。 Jitter Buffer在物理上是一块緩存， 音频帧或视频帧要在这块緩 存中保留足够长的时间然后再播放， 其大小反映抵抗网络抖动的能力。 与现有技术方案不同的是， 本发明还包含延时检测模块 230和同步模 块 240, 并且緩冲时长 A1和 A2都是可以动态调整的。 同步模块 240用于 根据音频流、 视频流的平均传输延时、 传输延时抖动， 计算音频流、 视频 流的緩冲器 210和 220的緩冲时长 Al、 A2的最佳值，然后通知 Jitter Buffer 由其调整緩冲时长的设定。 为了获取延时抖动等信息， 设置的延时检测模 块 230用于计算音频流、 视频流的平均传输延时。 而緩冲器 210和 220则 还用于计算音频流、 视频流的传输延时抖动。 可见， 本发明的唇同步装置的关键原理就是， 由同步模块 240根据网 络传输情况实时调整 Jitter Buffer 210和 220的延时差。 这个延时差就是两 个流播放时和数据接收时的同步偏差。 通过对两个流延时的调整， 不仅可 以使得各个流都能满足消除抖动的影响， 而且可以产生偏差来弥补网絡传 输差异引起的失步。 但是上述装置中两个流之间从开始播放之后就没有在接收端有统一的 时间参考点， 这对于唇同步是一个潜在的威胁。 当播放时间长了以后， 由 于技术、 方法上的误差， 导致同步时间参考相差累积越来越大。 考虑到这 一点， 本发明的第二实施例在第一实施例的基础上， 引入两个流之间的同 步时刻参考点更新机制。 即音频流或视频流的緩沖器 210或 220中的第一 方周期性提供自身播放时间给第二方作为同步时间参考点， 然后第二方根 据该同步时间参考点调整播放。 这个机制使得音频和视频流能够在一个周 期内重新建立一致的同步参考。 避免因误差累积导致的潜在失步危险。 上面提及各个模块之间的协作关系可以描述如下： 同步模块 240从延 时检测模块 230、音频 Jitter Buffer 210、视频 Jitter Buffer 220获取信息， 如 网络延时信息、 音频和视频的抖动信息； 同时同步模块 240又给音频 Jitter Buffer210, 视频 Jitter Buffer220提供设定緩冲时长的信息。 本发明的第三实施例在第二实施例的基础上， 采用根据网络数据包传 输时刻计算统计其延时的方法来实现延时检测。延时检测模块根据音频流、 视频流数据包的发送时刻和接收时刻计算平均传输延时。 首先 据音频流和视频流的到达时间和发送时间确定每一音频包和视 频包在网络上传送的相对延时。 这里每个数据包按照 RTP协议在发送出时 会打上一个时间戳 ( Time Stamp )这样接收端即可以根据包上时间戳获知 发送时刻。 另外， 这里之所以称为相对延时就是因为发送方和接收端的绝 对时刻可能不一致， 因此只能计算相对时刻。 值得注意的是延时检测模块统计的是平均延时， 因此需要采用迭代的 算法根据之前数据包的历次延时慢慢累积计算当前时刻平均延时。 在本发 明的第四实施例中， 采用迭代算法计算出网络的平均延时。 同样的 Jitter Buffer 中也要采用迭代算法来根据每次设置的延时统计计算一个平均的网 络抖动。 该迭代方法的具体流程在下文中有详细描述。 本发明的第五实施例在第三实施例的基础上， 提供不同的同步模块。 从上面的实现方案可知同步模块的输入参数有音频抖动值、 视频抖动值、 音频流和视频流的网络传输延时值。 同步模块接收到上述的信息后要将音 频流的延时值和抖动值与视频流的延时值和抖动值进行比较， 以此调整音 频流和视频流之间总的延时差， 使得音频流和视频流同步， 最后再统一给 出音频 Jitter Buffer和视频 Jitter Buffer各自总的延时 A1和 A2。 其中同步模块计算音频流、 视频流的緩冲器的緩冲时长的原则是： 设 置緩冲时长， 使得同步偏差在限定的范围内并且尽量的小。 具体就是要考 虑到以下几条： 如果音频流、 视频流的平均传输延时之差在允许的同步偏 差范围内， 且均小于最大緩冲时长， 则直接按传输延时设置缓冲器的緩冲 时长； 如果音频流、视频流的平均传输延时之差超出允许的同步偏差范围， 则限定其中一者在同步偏差范围内； 如果音频流、 视频流的平均传输延时 超出最大緩冲时长， 则限定在最大緩冲时长。 关于具体同步模块如何进行 比较判断和设定的技术细节在下文中描述。 为了更加清晰的描述本发明的分组网絡中的多媒体实时传输的唇同步 装置的工作机理， 下面详细给出一个上述装置的一个动态工作过程。 从分组网络侧接收的音频流和视频流经过延时检测模块的处理， 计算 出在网络上的传输时间， 提供给同步模块。 音频流和视频流分别经过各自 的动态 Jitter Buffer计算出各自的网络抖动值， 提供给同步模块。 同步模块 根据上述的四个输入参数按照一定算法分别计算出音频 Jitter Buffer的緩冲 时长 A1和视频 Jitter Buffer的緩冲时长 A2, 并送给音频、视频 Jitter Buffer 动态更新其緩冲时长。 同时， 音频 Jitter Buffer根据 A1计算出音频的播放 时间及其对应播放的音频帧， 并将这个播放时间发送给视频 Jitter Buffer, 作为其播放的同步时间参考点， 当然也可以反过来由视频 Jitter Buffer发给 音频 Jitter Buffer。 视频 Jitter Buffer根据同步参考点和 A2值计算并调整播 放緩冲器中的视频帧。 从而实现音频与视频的同步播放即唇同步。 熟悉本领域的技术人员可以理解，对于上述各实施例中， 在模块划分、 角色分配等方面可以采用其它表现形式， 例如同步模块和音频 Jitter Buffer 在物理上结合， 共同实现同步信息的计算和音频抖动的处理； 又或者延时 检测模块和同步模块结合， 共同实现传输延时的计算和同步信息的计算； 或者同步模块和视频 Jitter Buffer结合， 共同实现同步信息的计算和视频抖 动的处理等， 对于角色划分比如由视频 Jitter Buffer发送同步时间参考点给 音频 Jitter Buffer, 这些不同的表现形式有着同样一个实现原理， 都能实现 发明目的， 并不影响本发明的实质和范围。 对于上文描述的网络中多媒体实时传输的唇同步装置， 下面将详细给 出相应的一些工作流程， 即网络中多媒体实时传输的唇同步方法。 本发明 的第六实例中的唇同步方法的流程图如图 3所示。 首先步骤 301 中， 在分组网络侧接收多媒体流数据， 多媒体包含音频 流和视频流， 该音频流、视频流在接收端通过各自的緩冲器緩存后再播放。
接着在步驟 302中， 分别测量音频流、 视频流的平均传输延时。 如前 所述， 在分组网络侧， 最先通过处理的就是延时检测模块， 根据音频流、 视频流数据包的发送时刻和接收时刻， 通过迭代算法计算平均传输延时。 接着在步骤 303 中， 分别测量音频流、 视频流的传输延时抖动。 这一 步由音频流 Jitter Buffer、 视频流 Jitter Buffer完成。 由于 Jitter Buffer本身 处理和记录网络数据包的延时间隔， 通过这些间隔的变化， 可以很容易的 计算网络抖动。 这里也通过迭代算法计算。 接着在步骤 304中， 根据音频流、 视频流的平均传输延时、 传输延时 抖动， 计算并设定音频流、 视频流的缓冲器的緩冲时长。 同步模块计算音频流、 视频流的緩冲器的緩冲时长的原则是： 设置緩 冲时长， 使得同步偏差在限定的范围内并且尽量的小。 具体就是要考虑到 以下几条： 如果音频流、 视频流的平均传输延时之差在允许的同步偏差范 围内， 且均小于最大緩冲时长， 则直接按传输延时设置緩冲器的緩冲时长； 如果音频流、 视频流的平均传输延时之差超出允许的同步偏差范围内， 则 限定其中一者在同步偏差范围内； 如果音频流、 视频流的平均传输延时超 出最大缓沖时长， 则限定在最大緩冲时长。 接着在步骤 305中，音频流 Jitter Buffer或视频流 Jitter Buffer中的一方 周期性提供自身播放时间给另一方作为同步时间参考点 , 使其根据该同步 时间参考点调整播放。 这样便完成唇同步过程。 本发明的第七实施例在第六实施例的基础上， 通过以下步骤实现步骤 302中的迭代方法计算平均传输延时的过程: 根据数据包上的时间戳及本地时钟，可以得知第 个媒体数据包的发送 时刻和接收时刻分别为 s(0， (0。 于是相对传输延时为
i( = R( - 5( 则迭代计算平均传输延时 r的公式为
Γ:=Γ+^-[ΐ( -Γ]
Ν 其中 N为一个较大的常数， 其取值与平均延时的精度有关。 可以看出， 每当接收到一个新的数据包后， 都会对原有的平均延时进 行矫正， 矫正的程度跟设置的 Ν大小有关， 该值越大表示当前值对平均延 时影响越小， 反之则越大。 N应该取一个合适的值， 如果太大则不能很好 反映当前网络状况， 如果太小则容易受到起伏的影响， 不能体现平均的效 果， 比如当 Γ有 32比特时取 N=i6。
i包和第 j包两个包的传输延时之差 ( )可以计算为 而所谓网络抖动就是定义为不同包传输延时变化的标准差， 也就是不 同包之间延时差的平均值， 于是网络抖动按下式计算
这里的 M与上面的 N类^。 本发明的第八实施例在第六实施例的基础上， 通过以下判断法则来实 现步骤 304中的几条准则， 从而根据平均传输延时、 抖动来确定 A1和 A2 的设定值。 例如先假设唇同步要求同步偏差的范围为 [- ,即音频超前视频的最 大偏差为 音频滞后视频的最大偏差为 。 那么唇同步最终的结果要使得 两个流的偏差在这个范围内。 另外设緩冲器缓存的最大深度为 和 A , 且 在一般情况下有 <^, 就是说 4 (A1 )和 4 (A2) 不能超过这个最大深 度。 假设音频和视频的同步偏差超过了设定的范围， 下面根据上面几条原 贝 ij,给出一种比较简单的仅由前面计算得到的网络传输平均延时 和网 络抖动来确定緩冲时长 , 的方法： 在 A≥Z2的情况下， 则减去公共的平均延时， 得到：
如果 ≥ 则表示音频滞后于视频， 则设置： 4=^;^=51; 否则， 表示音频超前于视频， 则设置： 在1^ 1^2的情况下， 则减去公共的平均延时， 得到：
如果 ≥ ， 则表示音频超前于视频， 则设置： 4= ;^=^； 否则， 表示音频滞后于视频， 则设置： = 4=^+ - &。 从上面的准则， 4艮容易归纳出这样的设置准则， 即在物理可以实现的 范围内， 设置緩冲时长， 使得同步偏差在限定的范围内并且尽量的小。 通 过这种方法， 能够简便、 快速的计算出音频流和视频流能够保证同步的动 态延时 A1和 A2,根据同步时间参考点， 能够简便、 快速的实现两个流的 同步， 根据不同的网络状况， 动态的计算出最小延时， 以保证同步质量。 综上， 本发明给出了分组网络中多媒体实时传输的唇同步方法， 对当 今网络流媒体业务发展具有很大意义。 流媒体技术的应用日益广泛， 本发 明针对 RTP/RTCP等多媒体实时传输协议的研究 ,， 实验证明可以同时满足 多个实时和文件客户的要求， 并已经应用于一个远程监控系统中。 此外， 虽然具体实施例中是以音频流和视频流为例进行说明， 但本发 明并不限于此， 而是可以应用其他不同的流之间的同步， 此不赘述。
虽然通过参照本发明的某些优选实施例， 已经对本发明进行了图示和 描述， 但本领域的普通技术人员应该明白， 可以在形式上和细节上对其作 各种改变， 而不偏离本发明的精神和范围。

Claims (9)

  1. 权 利 要 求
    1. 一种分组网络中多媒体实时传输的流同步方法， 所述多媒体包含第 一流和第二流， 该第一流、 第二流在接收端通过各自的緩冲器緩存后再播 放， 其特征在于， 包括： 分别测量所述第一流、 第二流的平均传输延时； 分别测量所述第一流、 第二流的传输延时抖动； 计算与所述第一流、 第二流的所述平均传输延时、 传输延时抖动相对 应的第一流和第二流的延时差， 设定所述第一流、 第二流的緩冲器的缓冲 时长以适应该延时差。 2. 根据权利要求 1所述的分组网络中多媒体实时传输的流同步方法， 其特征在于， 还包括： 所述第一流或第二流的緩冲器中的一方周期性提供自身播放时间给另 一方作为同步时间参考点， 所述另一方根据该同步时间参考点调整播放。
  2. 3. 根据权利要求 2所述的分组网络中多媒体实时传输的流同步方法， 其特征在于， 所述平均传输延时由所述第一流、 第二流数据包的发送时刻 和接收时刻计算得到。
  3. 4. 根据权利要求 3所述的分组网络中多媒体实时传输的流同步方法， 其特征在于， 所述平均传输延时的计算包括： 计算当前多媒体数据包的传输延时； 迭代修正所述平均传输延时， 使其更趋近所述当前多媒体数据包的传 输延时。
  4. 5. 根据权利要求 2所述的分组网络中多媒体实时传输的流同步方法， 其特征在于， 所述设定所述第一流、 第二流的緩冲器的緩冲时长以适应该 延时差包括： 如果所述第一流、 第二流的平均传输延时之差在允许的同步偏差范围 内， 且均小于其对应的緩冲器的最大緩存时长， 则直接按所述传输延时设 置所述緩冲器的緩冲时长； 如果所述第一流、 第二流的平均传输延时之差超出所述允许的同步偏 差范围内， 则限定所述其中一者以使延时差在同步偏差范围内； 如果所述第一流、 第二流的平均传输延时超出所述最大緩存时长， 则 限定在最大缓冲时长。
  5. 6. 根据权利要求 2所述的分组网絡中多媒体实时传输的流同步方法， 其特征在于， 所述第一流为音频流， 所述第二流为视频流。
  6. 7. 一种分组网絡中多媒体实时传输的流同步装置， 所述多媒体包含第 一流和第二流； 该装置包括第一流緩冲器和第二流緩冲器； 其特征在于， 还包含延时检测模块、 同步模块； 其中， 所述第一流緩冲器和第二流緩冲器用于分别计算所述第一流、 第二流 的传输延时抖动； 所述延时检测模块用于计算所述第一流、 第二流的平均传输延时； 所述同步模块用于^ ^据所述第一流、 第二流的所述平均传输延时、 传 输延时抖动， 计算所述第一流、 第二流的緩冲器的緩冲时长。
  7. 8. 根据权利要求 7所述的分组网络中多媒体实时传输的流同步装置， 其特征在于， 所述第一流或第二流的缓冲器中的一方周期性提供自身播放 时间给另一方作为同步时间参考点 , 所述另一方根据该同步时间参考点调 整播放。
  8. 9. 根据权利要求 8所述的分组网络中多媒体实时传输的流同步装置， 其特征在于， 所述延时检测模块根据所述第一流、 第二流数据包的发送时 刻和接收时刻计算所述平均传输延时。
  9. 10.根据权利要求 9所述的分组网絡中多媒体实时传输的流同步装置， 其特征在于， 所述延时检测模块通过迭代算法计算所述平均传输延时。
CN2006800121067A 2005-10-11 2006-08-03 分组网络中多媒体实时传输的流同步方法及装置 Active CN101160900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2006800121067A CN101160900B (zh) 2005-10-11 2006-08-03 分组网络中多媒体实时传输的流同步方法及装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CNB2005101002931A CN100442858C (zh) 2005-10-11 2005-10-11 分组网络中多媒体实时传输的唇同步方法及其装置
CN200510100293.1 2005-10-11
CN2006800121067A CN101160900B (zh) 2005-10-11 2006-08-03 分组网络中多媒体实时传输的流同步方法及装置
PCT/CN2006/001957 WO2007041917A1 (fr) 2005-10-11 2006-08-03 Appareil et méthode de synchronisation de flux de transmission multimédia temps réel dans un réseau par paquets

Publications (2)

Publication Number Publication Date
CN101160900A true CN101160900A (zh) 2008-04-09
CN101160900B CN101160900B (zh) 2011-09-14

Family

ID=37696036

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB2005101002931A Expired - Fee Related CN100442858C (zh) 2005-10-11 2005-10-11 分组网络中多媒体实时传输的唇同步方法及其装置
CN2006800121067A Active CN101160900B (zh) 2005-10-11 2006-08-03 分组网络中多媒体实时传输的流同步方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNB2005101002931A Expired - Fee Related CN100442858C (zh) 2005-10-11 2005-10-11 分组网络中多媒体实时传输的唇同步方法及其装置

Country Status (6)

Country Link
US (1) US7680153B2 (zh)
EP (1) EP1775964B1 (zh)
CN (2) CN100442858C (zh)
AT (1) ATE397356T1 (zh)
DE (1) DE602006001342D1 (zh)
WO (1) WO2007041917A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10389645B2 (en) 2015-04-30 2019-08-20 Huawei Technologies Co., Ltd. Communications network delay variation smoothing method, apparatus, and system
CN113645177A (zh) * 2020-05-11 2021-11-12 同响科技股份有限公司 可靠传输网络中维持实时音讯串流播放延迟的方法及系统

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) * 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US9240810B2 (en) * 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
CN100539439C (zh) 2002-10-05 2009-09-09 数字方敦股份有限公司 连锁反应码的系统编码和解码系统和方法
KR101170629B1 (ko) 2003-10-06 2012-08-02 디지털 파운튼, 인크. 단일 송신기 또는 다중 송신기를 갖는 통신 시스템의 에러 정정 다중-스테이지 코드 생성기 및 디코더
KR101205758B1 (ko) * 2004-05-07 2012-12-03 디지털 파운튼, 인크. 파일 다운로드 및 스트리밍 시스템
EP1872533B1 (en) 2005-04-22 2019-05-22 Audinate Pty Limited Network, device and method for transporting digital media
CN101686107B (zh) 2006-02-13 2014-08-13 数字方敦股份有限公司 使用可变fec开销和保护周期的流送和缓冲
US9270414B2 (en) * 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US7459624B2 (en) 2006-03-29 2008-12-02 Harmonix Music Systems, Inc. Game controller simulating a musical instrument
GB2437123B (en) * 2006-04-10 2011-01-26 Vqual Ltd Method and apparatus for measuring audio/video sync delay
WO2008138047A1 (en) 2007-05-11 2008-11-20 Audinate Pty Limited Systems, methods and computer-readable media for configuring receiver latency
US7971129B2 (en) 2006-05-10 2011-06-28 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems
WO2007131296A1 (en) 2006-05-17 2007-11-22 National Ict Australia Limited Redundant media packet streams
US7965650B2 (en) * 2006-05-18 2011-06-21 Cisco Technology, Inc. Method and system for quality monitoring of media over internet protocol (MOIP)
US9209934B2 (en) * 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9386064B2 (en) * 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9432433B2 (en) * 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US20100211690A1 (en) * 2009-02-13 2010-08-19 Digital Fountain, Inc. Block partitioning for a data stream
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9178535B2 (en) * 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US8599884B2 (en) * 2007-03-15 2013-12-03 Nokia Corporation System and method for implementing optimized multiplexing and power saving in a broadcast network
CN100488133C (zh) * 2007-05-11 2009-05-13 中兴通讯股份有限公司 一种多媒体终端音频服务质量特性的测试方法
JP4854029B2 (ja) * 2007-06-08 2012-01-11 Ｋｄｄｉ株式会社 無瞬断パケット切替装置
EP2173444A2 (en) 2007-06-14 2010-04-14 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
US9794605B2 (en) * 2007-06-28 2017-10-17 Apple Inc. Using time-stamped event entries to facilitate synchronizing data streams
KR101129260B1 (ko) * 2007-09-12 2012-03-27 디지털 파운튼, 인크. 신뢰성 있는 통신들을 가능하게 하는 소스 식별 정보 생성 및 통신
FR2922401B1 (fr) * 2007-10-10 2010-04-16 Sagem Comm Dispositif de reception en continu de paquets de donnees audio et/ou video
US8918541B2 (en) * 2008-02-22 2014-12-23 Randy Morrison Synchronization of audio and video signals from remote sources over the internet
WO2009105838A1 (en) 2008-02-29 2009-09-03 Audinate Pty Ltd Network devices, methods and/or systems for use in a media network
EP2250768A1 (en) * 2008-03-13 2010-11-17 Telefonaktiebolaget L M Ericsson (PUBL) Method for manually optimizing jitter, delay and synch levels in audio-video transmission
US20090241163A1 (en) * 2008-03-21 2009-09-24 Samsung Electronics Co. Ltd. Broadcast picture display method and a digital broadcast receiver using the same
US7860044B2 (en) * 2008-05-30 2010-12-28 Alcatel-Lucent Usa Inc. Methods and apparatus for providing synchronization in a multi-channel communication system
CN101378356B (zh) * 2008-06-10 2011-05-11 中兴通讯股份有限公司 一种ip实时流媒体的播放方法
US8819749B2 (en) 2008-06-11 2014-08-26 Koninklijke Philips B.V. Synchronization of media stream components
CN101369866B (zh) * 2008-10-21 2011-07-27 中国电信股份有限公司 一种测试流媒体传输质量的方法和设备
US9281847B2 (en) * 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
EP2409432B1 (en) * 2009-03-16 2020-05-06 Koninklijke KPN N.V. Modified stream synchronization
CN101577827B (zh) * 2009-04-22 2012-02-01 北京大学 一种延时播放控制方法及系统
KR101705592B1 (ko) * 2009-05-18 2017-02-10 삼성전자주식회사 노드 간의 시간 동기화를 수행하는 네트워크 동기화 방법 및 장치
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US8537951B2 (en) * 2009-06-26 2013-09-17 Telefonaktiebolaget Lm Ericsson (Publ) Detection of jitter in a communication network
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US8437266B2 (en) * 2009-08-26 2013-05-07 Avaya Inc. Flow through call control
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US20110096828A1 (en) * 2009-09-22 2011-04-28 Qualcomm Incorporated Enhanced block-request streaming using scalable encoding
EP2494432B1 (en) 2009-10-27 2019-05-29 Harmonix Music Systems, Inc. Gesture-based user interface
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US8699351B2 (en) * 2009-12-04 2014-04-15 At&T Intellectual Property I, L.P. Method and system for detecting audio and video synchronization
EP3627798A1 (en) * 2010-01-27 2020-03-25 Koninklijke KPN N.V. Method, system and device for synchronization of media streams
US8874243B2 (en) 2010-03-16 2014-10-28 Harmonix Music Systems, Inc. Simulating musical instruments
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
CA2802348A1 (en) 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Dance game and tutorial
US8532804B2 (en) 2010-06-18 2013-09-10 Microsoft Corporation Predictive resampler scheduler algorithm
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
US8874808B2 (en) * 2010-09-07 2014-10-28 International Business Machines Corporation Hierarchical buffer system enabling precise data delivery through an asynchronous boundary
US8635390B2 (en) * 2010-09-07 2014-01-21 International Business Machines Corporation System and method for a hierarchical buffer system for a shared data bus
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
US8606953B2 (en) * 2010-10-04 2013-12-10 Dialogic Corporation Adjusting audio and video synchronization of 3G TDM streams
US9237324B2 (en) 2010-10-22 2016-01-12 Phorus, Inc. Playback synchronization
US9565426B2 (en) * 2010-11-12 2017-02-07 At&T Intellectual Property I, L.P. Lip sync error detection and correction
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
WO2012109422A1 (en) * 2011-02-11 2012-08-16 Interdigital Patent Holdings, Inc. Method and apparatus for synchronizing mobile station media flows during a collaborative session
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
JP5916244B2 (ja) * 2011-12-29 2016-05-11 株式会社ソニー・インタラクティブエンタテインメント 映像再生システム
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
US9553756B2 (en) 2012-06-01 2017-01-24 Koninklijke Kpn N.V. Fingerprint-based inter-destination media synchronization
CN103475906B (zh) * 2012-06-08 2016-08-10 华为技术有限公司 用于多媒体流的测量方法和测量装置
CN102724584B (zh) * 2012-06-18 2016-07-27 Tcl集团股份有限公司 网络视频在线播放方法、视频在线播放装置及智能电视
WO2013190789A1 (ja) * 2012-06-22 2013-12-27 ソニー株式会社 受信装置およびその同期処理方法
CN103888381A (zh) * 2012-12-20 2014-06-25 杜比实验室特许公司 用于控制抖动缓冲器的装置和方法
CN103916716B (zh) * 2013-01-08 2017-06-20 北京信威通信技术股份有限公司 一种无线网络下视频实时传输的码率平滑方法
CN103219029A (zh) * 2013-03-25 2013-07-24 广东欧珀移动通信有限公司 自动调节音视频同步的方法和系统
GB201318653D0 (en) 2013-10-22 2013-12-04 Microsoft Corp Adapting a jitter buffer
CN103594103B (zh) * 2013-11-15 2017-04-05 腾讯科技(成都)有限公司 音频处理方法及相关装置
CN104811824B (zh) * 2014-01-29 2018-05-04 上海数字电视国家工程研究中心有限公司 多媒体传输网络系统
EP3095494A1 (en) 2015-05-19 2016-11-23 Harmonix Music Systems, Inc. Improvised guitar simulation
CN106331847B (zh) * 2015-07-06 2019-12-03 成都鼎桥通信技术有限公司 音视频播放方法及设备
JP6668636B2 (ja) * 2015-08-19 2020-03-18 ヤマハ株式会社 オーディオシステムおよびオーディオ機器
US9634947B2 (en) 2015-08-28 2017-04-25 At&T Mobility Ii, Llc Dynamic jitter buffer size adjustment
US9773486B2 (en) 2015-09-28 2017-09-26 Harmonix Music Systems, Inc. Vocal improvisation
US9799314B2 (en) 2015-09-28 2017-10-24 Harmonix Music Systems, Inc. Dynamic improvisational fill feature
CN105376613B (zh) * 2015-12-10 2019-05-10 华为技术有限公司 一种快速频道切换方法、服务器及iptv系统
CN105704506A (zh) * 2016-01-19 2016-06-22 北京流金岁月文化传播股份有限公司 一种解决视音频编码唇音同步的装置和方法
US9973638B2 (en) * 2016-01-26 2018-05-15 Qsc, Llc Peripheral bus video communication using internet protocol
US10454982B1 (en) * 2016-03-18 2019-10-22 Audio Fusion Systems, Inc. Monitor mixing system that distributes real-time multichannel audio over a wireless digital network
US10686897B2 (en) * 2016-06-27 2020-06-16 Sennheiser Electronic Gmbh & Co. Kg Method and system for transmission and low-latency real-time output and/or processing of an audio data stream
CN106331120B (zh) * 2016-08-26 2019-06-21 自连电子科技（上海）有限公司 实现不同物联网设备之间协同操作的系统与方法
CN106658135B (zh) * 2016-12-28 2019-08-09 北京奇艺世纪科技有限公司 一种音视频播放方法及装置
CN109565466B (zh) * 2017-03-23 2020-11-06 华为技术有限公司 多设备间唇音同步方法及设备
CN106998484B (zh) * 2017-05-25 2023-05-05 游密科技(深圳)有限公司 一种实现服务端数据缓冲式延迟转发装置及方法
CN108401194B (zh) * 2018-04-27 2020-06-30 广州酷狗计算机科技有限公司 时间戳确定方法、装置和计算机可读存储介质
CN110392291A (zh) * 2019-07-29 2019-10-29 昆腾微电子股份有限公司 一种蓝牙同步播放方法、装置、系统及存储介质
WO2021054769A1 (ko) * 2019-09-18 2021-03-25 엘지전자 주식회사 무선 통신 시스템에서 근거리 무선 통신을 이용한 오디오 데이터 전송 방법 및 이에 대한 장치
CN110838950B (zh) * 2019-10-21 2022-01-28 大唐软件技术股份有限公司 一种网络性能抖动值的确定方法及装置
US11277461B2 (en) * 2019-12-18 2022-03-15 The Nielsen Company (Us), Llc Methods and apparatus to monitor streaming media
US20230336604A1 (en) * 2020-03-24 2023-10-19 Telefonaktiebolaget Lm Ericsson (Publ) Devices and methods for provision of resource representations
CN112153445B (zh) * 2020-09-25 2022-04-12 四川湖山电器股份有限公司 一种分布式视频显示系统同步解码播放方法及系统
CN112511885A (zh) * 2020-11-20 2021-03-16 深圳乐播科技有限公司 音视频同步方法、装置及存储介质
CN112565885B (zh) * 2020-11-30 2023-01-06 清华珠三角研究院 一种视频分割方法、系统、设备及存储介质
CN112752143A (zh) * 2020-12-30 2021-05-04 北京真视通信息科技发展有限公司 流媒体服务器编码优化方法及装置
CN113365089B (zh) * 2021-05-31 2023-02-24 浙江大华技术股份有限公司 一种数据传输方法、装置、存储介质及电子装置
US11877040B2 (en) * 2021-11-24 2024-01-16 The Adt Security Corporation Streaming video playback with reduced initial latency
US20230217060A1 (en) * 2021-12-30 2023-07-06 Comcast Cable Communications, Llc Systems, methods, and apparatuses for buffer management

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US570372A (en) * 1896-10-27 William frank browne
GB9501378D0 (en) * 1995-01-24 1995-03-15 Ibm A system and method for establishing a communication channel over a heterogeneous network between a source node and a destination node
US5570372A (en) * 1995-11-08 1996-10-29 Siemens Rolm Communications Inc. Multimedia communications with system-dependent adaptive delays
JP3063841B2 (ja) * 1997-11-26 2000-07-12 日本電気株式会社 オーディオ・ビデオ同期再生装置
EP1046281B1 (en) * 1998-01-07 2002-09-11 Thomson Licensing S.A. Apparatus for providing a video lip sync delay and method therefore
US6249319B1 (en) * 1998-03-30 2001-06-19 International Business Machines Corporation Method and apparatus for finding a correct synchronization point within a data stream
US6438702B1 (en) * 1999-12-21 2002-08-20 Telcordia Technologies, Inc. Method for providing a precise network time service
DE10031355A1 (de) * 2000-06-28 2002-01-17 Grundig Ag Verfahren und Vorrichtung zur zeitsynchronen Weiterleitung von Signalen
JP3921986B2 (ja) * 2000-10-30 2007-05-30 ソニー株式会社 同期装置及び方法、ディジタル放送受信装置
JP2002202404A (ja) 2000-12-27 2002-07-19 Nikon Corp 光学部品およびその製造方法
US20030112758A1 (en) * 2001-12-03 2003-06-19 Pang Jon Laurent Methods and systems for managing variable delays in packet transmission
US6906755B2 (en) * 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data
US6956871B2 (en) * 2002-04-19 2005-10-18 Thomson Licensing Apparatus and method for synchronization of audio and video streams
KR100490403B1 (ko) * 2002-05-04 2005-05-17 삼성전자주식회사 오디오 스트림의 버퍼링 제어 방법 및 그 장치
CN100367313C (zh) * 2002-11-07 2008-02-06 汤姆森许可贸易公司 应用缓冲计算在数字化环境中确定音频和视频之间的声像吻合的系统和方法
JP2005123789A (ja) * 2003-10-15 2005-05-12 Matsushita Electric Ind Co Ltd Ａｖ同期システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10389645B2 (en) 2015-04-30 2019-08-20 Huawei Technologies Co., Ltd. Communications network delay variation smoothing method, apparatus, and system
CN113645177A (zh) * 2020-05-11 2021-11-12 同响科技股份有限公司 可靠传输网络中维持实时音讯串流播放延迟的方法及系统

Also Published As

Publication number Publication date
EP1775964A1 (en) 2007-04-18
WO2007041917A1 (fr) 2007-04-19
CN101160900B (zh) 2011-09-14
CN100442858C (zh) 2008-12-10
CN1949879A (zh) 2007-04-18
US20070081562A1 (en) 2007-04-12
US7680153B2 (en) 2010-03-16
ATE397356T1 (de) 2008-06-15
EP1775964B1 (en) 2008-05-28
DE602006001342D1 (de) 2008-07-10

Similar Documents

Publication Publication Date Title
CN101160900A (zh) 分组网络中多媒体实时传输的流同步方法及其装置
US7724780B2 (en) Synchronization of one or more source RTP streams at multiple receiver destinations
KR101374408B1 (ko) 터미널들의 출력을 동기화하기 위한 방법 및 시스템
US8750409B2 (en) Message synchronization over a stochastic network
JP4430660B2 (ja) マルチメディアストリーミングのための方法及び装置
Akyildiz et al. Multimedia group synchronization protocols for integrated services networks
US6778493B1 (en) Real-time media content synchronization and transmission in packet network apparatus and method
EP2206316B1 (en) Method and system for synchronizing a group of end-terminals
EP0987894B1 (en) A dejittering and clock recovery technique for real-time audio/visual network applications
US20060007943A1 (en) Method and system for providing site independent real-time multimedia transport over packet-switched networks
US20030126294A1 (en) Transmitting digital video signals over an IP network
US20040170163A1 (en) Data structure providing storage and bandwidth savings for hardware RTCP statistics collection applications
US20070009071A1 (en) Methods and apparatus to synchronize a clock in a voice over packet network
JP2003249922A (ja) データ受信装置、および受信データ処理方法、並びにコンピュータ・プログラム
Huang et al. Tsync: A new synchronization framework for multi-site 3d tele-immersion
CN1444365A (zh) 用srts在信息包网络上实现时钟同步而无需公用网络时钟
JP4042396B2 (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
US9026610B2 (en) Method of collecting real time data
JP3906678B2 (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
CA2610550A1 (en) A method and system for providing via a data network information data for recovering a clock frequency
EP2164222A1 (en) Method and system for synchronizing the output of a group of end-terminals
EP2053822A1 (en) Method and system for synchronizing the output of a group of end-terminals
WO2008003221A1 (fr) Procédé et dispositif de récupération de séquence de temps de signalisation de réseau global
EP2068528A1 (en) Method and system for synchronizing the output of end-terminals
EP2164224A1 (en) Method and system for synchronizing the output of end-terminals

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant