CN102771136A - 视频帧同步 - Google Patents

视频帧同步 Download PDF

Info

Publication number
CN102771136A
CN102771136A CN2011800109009A CN201180010900A CN102771136A CN 102771136 A CN102771136 A CN 102771136A CN 2011800109009 A CN2011800109009 A CN 2011800109009A CN 201180010900 A CN201180010900 A CN 201180010900A CN 102771136 A CN102771136 A CN 102771136A
Authority
CN
China
Prior art keywords
video
frame
port
source
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800109009A
Other languages
English (en)
Other versions
CN102771136B (zh
Inventor
W·C·阿尔特曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Silicon Image Inc
Original Assignee
Silicon Image Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Silicon Image Inc filed Critical Silicon Image Inc
Publication of CN102771136A publication Critical patent/CN102771136A/zh
Application granted granted Critical
Publication of CN102771136B publication Critical patent/CN102771136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/44—Colour synchronisation
    • H04N9/475—Colour synchronisation for mutually locking different synchronisation sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Abstract

本发明的多个实施例一般涉及视频帧同步。一种方法的实施例包括：在多端口设备的第一端口上从第一源接收第一视频数据流，该第一视频数据流的第一视频帧在第一到达时间到达第一端口；以及在多端口设备的第二端口上从第二源接收第二视频数据流，该第二视频数据流的第二视频帧在第二到达时间到达第二端口。该方法进一步包括：确定在第一到达时间与第二到达时间之间的偏差，至少部分地基于偏差确定一个或多个校正因数，该一个或多个校正因数包括用于第一源的第一校正因数；并且向第一源发送第一命令以便利用校正因数更改在第一帧之后由第一源发送的第三视频帧的传输时间。

Description

视频帧同步
技术领域
本发明的多个实施例一般涉及数据通信领域，更具体地涉及视频帧同步。
背景技术
在特定系统中，数据流可以在数据源设备和接收设备之间经由数据链接传输，这些设备可以包括使用或重新传输流数据的宿或中继器设备。在特定实现中，宿或中继设备可以包括多个端口、并且可以在两个或更多的这类端口上接收数据流。例如，视频系统可以在不同的端口上接收多个数据流。
然而，由于在设备、距离以及传输协议方面的差异，当视频帧到达宿或中继设备时，这些视频流可能并非正确地彼此对准或同步。在使用这些视频流时，这种时序上的不对准可能带来困难或误差，并且这种不对准会随着时间变化。多个源设备的彼此同步可能通常需要在这些源设备之间进行通信、并且可能需要针对这些源设备的相当大量的计算开销。
附图简述
在附图的这些图例中示出了作为示例而并非限制示出的本发明的多个实施例，在这些附图中类似的附图标记表示类似的元件。
图1是采用闭环命令的用于多端口视频帧同步的一个实施例的图示；
图2的流程图示出视频帧同步过程的实施例；
图3的流程图示出用于更改视频帧传输时间以对这些帧的到达进行同步的过程的实施例；
图4是由多个端口生成的显示图像的生成同步的实施例的图示；
图5是宿或中继器设备的实施例的图示；
图6是源设备的实施例的图示；
图7是用于视频帧同步的实施例的对准命令的图示；
图8是用于视频帧同步的实施例的接口的图示；以及
图9是供视频帧同步之用的装置的实施例的元件图示。
发明内容
本发明的多个实施例一般涉及视频帧同步。
在本发明的第一方面，一种方法的实施例包括：在多端口设备的第一端口上接收来自第一源的第一数据流，该第一数据流的第一帧在第一到达时间到达第一端口；以及在该多端口设备的第二端口上接收来自第二源的第二数据流，该第二数据流的第二帧在第二到达时间到达第二端口。该方法进一步包括：确定在第一到达时间与第二到达时间之间的偏差；至少部分地基于偏差确定一个或多个校正因数，该一个或多个校正因数包括用于第一源的第一校正因数；并且向第一源发送第一命令以便利用该校正因数更改在第一帧之后由第一源发送的第三帧的传输时间。
在本发明的第二方面，一个方法实施例包括生成视频帧的数据流以供传输到多端口设备的一个端口上，并且将这些视频帧传输到多端口设备上，包括利用输出时序发生器对这些视频帧的传输进行定时。该方法进一步包括：接收来自多端口设备的一个或多个对准命令，每个对准命令包含用于下一个后续视频帧传输的校正因数，以便调整与在多端口设备的一个或多个其他端口处到达的多个视频帧的对准；并且基于包含在每个命令中的校正因数来调整针对下一个后续视频帧的传输时间。
详细说明
本发明的多个实施例一般涉及视频帧同步。
在一些实施例中，一种方法、装置或系统提供视频帧同步，从而允许调整跨多个端口的数据对准。在一些实施例中，一种方法、装置或系统可以利用闭环数字时序命令来提供跨装置或系统的多个端口的多个视频帧的同步。如在此所用的，同步意味着关于数据到达的时序的调整，并且可以包括进行调整以便使视频帧的到达对准到同一时刻，或者提供视频帧到达的期望偏差。
一种在多个端口之间提供帧时序的闭环控制的方法、装置或系统可以允许如DTV（数字电视机）的设备改进端口切换时间，并改进其他特性，如画中画显示。在一些实施例中，方法、装置或系统在接收设备的控制下对于多个数字连接提供视频流同步，例如在具有多个端口的DTV控制下使A/V（音频/视频）数据流的同步。在一些实施例中，接收设备可以是利用已接收数据的设备，在此称之为“宿”，或者可以是中间设备或交换机，在此称之为“中继器”。
可以由设备接收处于视频帧流形式的视频数据。视频数据流可以是（例如）通过将压缩视频解码来生成，其中压缩数据包括多种标准，诸如MPEG-2（运动图像专家组）、MPEG-4、或视频编码专家组（VCEG）的H.264。在一实现中，源系统中的解码器读取压缩视频信息的多个连续块、并生成像素信息的实际帧以及HSYNC（水平同步）和VSYNC（垂直同步）时序，以便向下一中继器或宿设备输出解压缩的视频。
然而，在解码器中，解码逻辑可在一组时钟上运行，而帧输出元件（帧输出状态机）可在另一组不同的时钟上运行。在这种解码器中，帧输出状态机可从最后一个帧缓存器中逐帧读取有待传输的视频帧数据（在此称之为像素数据），这最后一个帧缓存器可以是解码器的存储器架构的一部分。在一些实施例中，因为帧输出状态机并未锁定到解码器状态机的时序上，所以当从这最后一个帧缓存器中读取帧时，有可能对该帧的起始时间进行调整。在一些实施例中，利用这种灵活性，帧输出状态机可以生成解压缩的视频流，该视频流的VSYNC边缘处于相对于任何绝对时间的任意较早或较迟的时刻。
如在此所使用的，“源”是提供视频数据流的设备，而“宿”设备是使用视频数据流的设备，并且中继器设备是将视频数据流转发（或中继）到另一个设备上的设备。在一示例中，如果绝对时间（这里称之为TZERO）是视频帧在宿或中继器设备（如用于视频数据的DTV（数字电视）或其他类似元件）上的多个输入端口之一处最晚的到达时间，那么在所有其他输入端口上的这些视频帧的到达时间将早于TZERO。通过将每个端口的到达时间延迟特定的量，有可能使这些端口的视频流的到达时间彼此同步，以使所有的流都在接近TZERO的时刻到达，或者所有的流彼此间有特定偏差地到达。
然而，（例如）基于VSYNC的前沿，帧时序并非是恒定的，即使对于一个视频解析度的连续视频流而言也是如此。例如，若总的帧象周期是一秒钟的六十分之一（1/60），其对应于60Hz的垂直刷新频率，那么在理想状况下，相对于第一帧的到达时间，第N帧将正好在N/60秒时到达。然而，视频管线中的变化会导致这种时序中的变化，因此导致视频帧到达时间的变化。
在一些实施例中，端口帧时序的调整是连续提供的，而不是一次性校正。在一些实施例中，为了进行连续校正，从多个视频源到宿（或中继器）上的多个输入端口的接口提供了时序校正的闭环命令通信。在运行时，来自每个源设备的多个视频帧到达宿或中继器的多个输入端口之一。在一些实施例中，宿或中继器的逻辑测量每一帧相对于恒定时钟信号的到达时间。在一些实施例中，宿或中继器确定多个校正因数，并且将命令或其他类似的数据发回到每个源以通知该源应该对它的视频帧传输时间进行多大的调整，以便在多个端口的每一个上提供对于多个视频帧到达时间的期望对准。由此，一种方法、装置或系统的实施例提供对多个视频数据流（如多个并发未压缩视频流）的闭环时序校正。
与接收视频数据流的端口相关联的链接时钟（也称之为用于视频流数据的像素时钟）相对于其他端口的视频流的链接时钟可以是异步的。在一些实施例中，在宿或中继器上这些视频帧的到达时间可以利用这些传入像素时钟之一来测量、或利用与这些传入像素时钟之一频率相同的宿或中继器中生成的时钟来测量。使用像素时钟频率允许源设备将其输出频率帧提前或延迟整数个像素时钟周期，这些时钟周期可用来提供适当的调整灵敏度。在一些实施例中，异步端口时序中的任何剩余失配都可以利用多端口存储器、FIFO（先入先出）缓存器、或宿或中继器的其他记忆元件来校正。
在一些实施例中，对多个端口的视频流的到达时间进行校正以使所有视频流以几乎重合的VSYNC前沿到达允许宿或中继器对这些端口中任意一个的视频内容进行采样，并从一个端口切换到另一个端口而不必考虑相对的帧时序。因此，所有端口的视频帧都松散地锁定在一起。
在一些实施例中，附加的时序调整可以用于有目的地使一个端口的帧时序与另一端口的帧时序有偏差。在一示例中，中继器可以包括四个输入端口（端口#1-4），并且来自端口#1的视频将在输出帧的右上四分之一中输出；来自端口#2的视频在左上四分之一中输出；来自端口#3的视频在左下四分之一中输出；来自端口#4的视频在右下四分之一中输出。在一些实施例中，端口#2、#3、#4与端口#1（在本示例中，端口可以是最早的流）之间的时间偏差规定交换机可对每个端口的动态视频进行采样，并构建由每个输入帧的左上四分之一的内容构成的单个输出帧。然而，各个实施例并不限于其中的输出包括这些多输出元素的方法、装置或系统。其他实施例可以包括具有灵活的输入时序调整的附加方案。在一些实施例中，用于将时序校正信息返回到每个源的闭环机制可能随数字互联标准不同而不同。在一示例中，对于HDMITM（高清多媒体接口）数据的传输，CEC（消费电子控制）总线命令可以用于将延迟调整值从中继器或宿传送到源上。在第二示例中，对于MHLTM（移动高清链接）数据，CBUS命令可以用于将延迟调整值从中继器或宿传送到源。使用变化的互联标准可能对每个数据流需要不同的时序。
在一些实施例中，所采用的每个信道具有较低的等待时间（例如远小于一帧周期）以及足够的带宽，以允许向在例如60Hz的速率上运行的接口每帧至少传输一次命令。然而，这些实施例不限于此类信道。在一些实施例中，可以假设更快的帧速率不会在帧和帧之间显著变化，并且可以每N帧携带一命令，其中这些命令足够频繁地发送以保持对帧的前沿VSYNC的漂移的控制。在一些实施例中，宿或中继器的存储器结构可能影响命令的频率。宿或中继器中的存储元件（例如多端口存储器或FIFO缓存器）的深度影响了需要系统具有的对帧间时序漂移的控制程度，其中与较浅的存储器相比较深的存储器可以允许更远的帧漂移。
在一些实施例中，源侧上的存储控制器能够快速地对发送给它的命令作出反应，以使得校正输出帧时序中的等待时间最小化。在一些实施例中，存储控制器是可编程为小增量（例如单像素时钟计数）地移动“帧起始”时序（至帧缓存器）。
在一些实施例中，当多个传入的视频流均为相同的视频模式，诸如720p/60（HDTV（高清电视）模式，在60Hz刷新率上有720条水平逐行（非隔行的）扫描线）或者1080p/60模式时，将方法、装置或系统应用于宿或中继器上的多个端口。在一些实施例中，用于接收视频流的每个端口都可具有共同的频率像素（或链路）时钟，虽然相位、漂移、以及抖动可能是随端口而不同的。具有相同频率的独立宿侧时钟的存储元件（例如多端口存储器或FIFO缓存器）可以用于进一步地使这些像素流重新同步。
在一些实施例中，当多个传入流处于不同视频模式时，方法、装置或系统可以被应用到宿或中继器的具有不同像素时钟频率的多个端口上，其中可以利用像素重复（一次以上地从为较低解析度视频模式而写入的FIFO缓存器中读取相同像素）或利用数据缩放来实现进一步的重新同步。
在一些实施例中，携带时序校正因数的反馈命令可以包含标识数据流的流名称、端口索引（从宿或中继器的角度来看）、有待调整的绝对时间（例如，在像素时钟周期单元内）、以及有可能包含的与保持这种调整相关的其他字段（如调整周期）。在一些实施例中，这些参数的每一个都可以由宿侧逻辑来确定，因此施加在源系统上的负担较小。在一些实施例中，每个源系统读取传入的反馈命令、并且调整输出时序发生器以产生新的帧时序。
当源系统诸如在使用者请求下通过改变通道或改变视频模式来改变其视频流时，输出视频流通常会有新的帧时序、并且有可能有新的像素频率。在一些实施例中，宿或中继器识别出这种变化并对其作出反应、并且将反馈命令发送到相应的源以便重新调整帧同步。对于特定数字接口，可以主动地传送新的视频模式或变更到新的通道的通知，从而允许宿或中继器本身为必要的测量和校正决定作好准备。在一些实施例中，因为宿或中继器负责监测端口到端口的帧时序以便对漂移进行评估，该宿同样可以使用相同的机制以对通道变化或视频模式变化作出回应。
可以对多个视频数据流，诸如HDMI流、DVI（数字视觉接口）流、以及MHL数据流进行加密。在一些实施例中，包含在数据流中的视频帧可以采用加密的方式进行测量和同步，而无需获取任何流的视频内容。在一些实施例中，视频帧的加密不影响到达时间的测量以及到达多端口装置或系统的不同端口的多个帧之间偏差的校正。
在一些实施例中，可以选择宿的输入端口中的任一个作为“主”端口，该主端口是宿的所有其他端口将它们的帧时序与其同步的端口。在一些实施例中，因为帧时序以“垂直刷新率”重复，相对于其他端口可能看起来是最晚到达的端口与下一帧相比时反而可以认为是最早到达的。以此方式，每个端口的时序可以相对于该主端口的时序来进行测量和调整。
一种方法、装置或系统的实施例提供了数字校正、并且与诸如帧锁定与发生器锁相（Genlock）的常规模拟系统的区别在于一个实施例可以包括：
(a)利用源设备的链接时钟进行帧时序偏差的时钟数字测量；
(b)利用命令总线将这些校正因数传送回每个源；
(c)有目的地对时序进行偏移，从而使得这些帧的不同部分在宿或中继器上重迭的能力；以及
(d)利用单一的数字测量和通信反馈环路适应具有不同信号方面（视频解析度或帧率）的输入。
图1是利用闭环命令的多端口视频帧同步的一个实施例的图示。在此图示中，不同的源在此示为源#1 110、源#2 120、源#3 130、以及源#4 140。尽管图1对每个视频数据流示出单独的源，在一些实现中，一个源可能向多个端口提供多个视频数据流。如图1所示，中继器或宿设备150包括四个端口，尽管源或中继器可以包括任意数量的多个端口。图1示出源#1110向端口#1 160提供了视频帧流，源#2 120向端口#2 170提供了视频帧流，源#3 130向端口#3 180提供了视频帧流，而源#4 140向端口#4 190提供了视频帧流。
在图1提供的示例中，由多个源各自发送的第一视频帧在不同的时刻到达，其中来自源#1 110的帧1A 112在T1到达，来自源#3 130的帧3A 132在T2到达，来自源#2 120的帧2A 122和来自源#4 140的帧4A 142在T3到达。这些视频帧可以是加密或未加密的形式。在一些实施例中，中继器或宿150以及这些源利用闭环命令对视频帧的到达进行同步，以提供这些帧所希望的对准。在一些实施例中，中继器或宿150向这些源中的一个或多个发送反馈对准命令来更改来自此类源的视频帧的传输时间，从而改变对准。在此图示中，命令1 165被传送到源#1 110，命令2 175被传送到源#2 120，命令3 185被传送到源#4 130，命令4 175被传送到源#4 140。在一些实施例中，这些源根据接收到的命令更改后续（第二）视频帧的传输。在一些实施例中，中继器或宿随后测量这些第二视频帧的到达时间并将一个或多个新的对准命令传送到这些源上，从而继续此闭合反馈环路。这些对准命令的结果可以是造成下一组帧的更接近对准的同步校正，该组帧（示为帧1B 114、帧2B 124、帧3B 134、帧4B144）以更接近一个统一时刻的方式到达，该统一时刻在这里示出为时刻T4。尽管在图1所示的示例中对于多个视频帧的同步和对准提供了在同一时刻或接近同一时刻到达的多个帧，本发明的实施例并不限于这种对准。对于不同的实现方式，可能希望有不同的对准，包括（例如）对于图4所说明的对准。尽管图1示出中继器或宿150向每个源发送对准，但在一些实施例中这些对准命令可以只发送给需要同步变化的源。
图2的流程图示出用于视频帧同步过程的实施例。在一些实施例中，在202，在一个或多个源上生成多个视频数据流，在204，每个数据流的视频帧在多端口宿或中继器设备的一端口上接收。在206，在每个端口上每个帧的到达时间由该多端口宿或中继器设备检测。在208，宿或中继器设备确定在帧到达时间与参考时间（例如绝对时间值）之间的差。宿或中继器设备确定用于每个源的校正因数以更改每个端口上的视频帧的对准。在一些实施例中，在210，该校正因数可以是整数个数据周期，以简化由这些源进行的对传输点的调整。
在一些实施例中，在212，宿或中继器设备关于这些校正因数向一个或多个源设备传送命令，以供在每个源设备上传输视频帧。在214，如果对于对准数据需要附加的校正，则在216可以利用该宿或中继器设备的多端口存储元件提供时序校正。然后闭合反馈环路返回到206以检测多端口宿或中继器设备的每个端口上视频帧的到达时间。
图3的流程图示出用于更改视频帧的传输时间以使此类帧的到达同步的过程的实施例。在一些实施例中，在302，在源设备上生成视频数据帧流。在一些实施例中，数据帧的生成可以包括使用解码器将编码的数据解码，例如对压缩视频数据进行解码的设备。在其他实施例中，源可以生成多个视频帧而不解码，例如通过游戏控制台或者类似的设备或系统生成视频帧。在304，所生成的视频帧可以存储在存储器中用于传输，例如将这些视频帧存储在下一帧缓存器中。在一些实施例中，在306用于传输的下一帧是从该下一帧缓存器中获取的，其中这些视频帧旨在用于传输到多端口装置或系统的端口上，该装置或系统是宿或中继器元件。如果在308没有接收到对准命令，那么过程就继续在312建立用于传输下一个视频帧的时间并在314在确定的传输时间上传输这个帧。然后，在306过程可以继续下一个视频帧。然而，如果在308接收到对准命令，则在310从该对准命令中获取校正因数，该校正因数用于在312建立视频帧的传输时间，由此允许在该多端口装置上同步多个数据帧的到达而不需要这个源设备与其他源设备进行数据传输的协调。
图4是从多个端口生成的显示图像的生成同步实施例的图示。在此图示中，中继器设备400可以在多个端口上接收多个视频帧流，如从源#1450到达数据端口#1 410的视频帧、从源#2 452到达数据端口#2 412的视频帧、从源#3454到达数据端口#3 414的视频帧、从源#4 456到达数据端口#4 416的视频帧。在这个图示中，这些视频帧被提供到显示器430上，其中来自每个端口的数据流被用于生成显示器内容430的一部分。在此图示中，数据端口#1 410提供了用于右上部分Q1 440的视频数据，数据端口#2 412提供了用于左上部分Q2 442的视频数据，数据端口#3 414提供了用于左下部分Q3 444的视频数据，数据端口#4 416提供了用于右下部分Q4 446的视频数据。在一些实施例中，中继器设备400向一个或多个源提供了多个闭环对准命令460-466。在一些实施例中，这些对准命令可以被用于有目的地偏移每个端口的帧时序，以允许顺序地从这些帧中的每一个采样从而产生输出。
图5是宿或中继器设备的实施例的图示。在这个图示中，宿或中继器设备500包括多个数据端口，这里示为数据端口#1 510到数据端口#n 515，其中n是大于等于2的任意整数。每个数据端口可以包括一个时钟，该时钟可被称为用于视频数据的像素时钟，诸如用于数据端口#1 510的像素时钟#1 520以及用于数据端口#n 515的像素时钟#n 525。在一些实施例中，每个端口要接收来自源的数据流，其中设备500确定视频帧的到达时间之间的差值并传送闭环命令以调整和保持传入视频帧之间的对准。这在图5中被示为源#1 550向数据端口#1 510提供数据流通过向数据端口#n 515提供数据流的源#n 560接收对准命令555，并接收对准命令565。
在一些实施例中，设备500可以进一步包括：用于接收数据的一个或多个接收器530、确定多个到达视频帧之间的时序差并确定对一个或多个源必需的校正的反馈逻辑534、可用于确定这些视频帧到达时间之间的差值的时钟536、以及存储元件，诸如可用于提供进一步的数据对准更改的多端口存储器或FIFO缓存器532（该存储元件可以从与时钟536具有相同频率的独立时钟533接收时钟信号）。存储元件532可以包括但不限于存储视频帧的全部或部分的缓存器，诸如用于存储一行视频数据的行缓存器。在一示例中，可以将行缓存器实现为允许基于一行视频数据的传输时间的同步定时（例如，行时间的±1/2）。该设备可以包括其他元件，包括存储所需要的特定数据的数据存储器502、控制设备500的运行的控制器或处理器504、以及将数据传送到其他元件的一个或多个发送器506（诸如从一个或多个端口544传送到宿设备570）。为了对加密的数据进行寻址，设备500可以包括将收到数据解密的解密引擎546，以及在传输前将数据加密的加密引擎548。如果设备500是宿设备，则设备500可以包括一个或多个演示设备，包括例如用于呈现多媒体数据的视频显示器540以及多个扬声器542。
图6是源设备的实施例的图示。在这个图示中，源设备610可以将来自一个或多个数据端口620的多个视频帧的视频数据流提供到宿或中继器设备650（诸如图5所示的宿或中继器设备500）的端口上。源设备610可以包括由解码器时钟计时以生成这些视频帧的解码器624，这些视频帧可以缓存在最后一个帧缓存器626中。在其他实施例中，源设备610可以生成多个视频帧而无需解码器。在一些实施例中，源设备610可以包括用以根据输出准备多个帧的帧输出状态机628，连同利用来自输出时钟632的时钟信号来为这些视频帧的传输进行定时的输出时序发生器634。在一些实施例中，输出时序发生器634可以根据从宿或中继器650接收的闭环对准命令652来更改用于传输这些视频帧的时序。在一些实施例中，输出时序发生器将利用这些对准命令652持续地调整时序，以调节并保持这些视频帧与其他数据流的视频帧的对准。源设备610可以包括多个其他元件，包括按需存储特定数据的数据存储器612、控制设备610的运行的控制器或处理器614、以及将数据传送至其他元件的一个或多个发送器614。为了对加密数据进行寻址，设备610可以包括将收到的数据解密的解密引擎619以及在传输前将数据加密的加密引擎618。设备610可以进一步包括用于从外部数据源640接收数据的一个或多个接收器630。
图7是用于视频帧同步实施例的对准命令的图示。在一些实施例中，源设备可以在闭环反馈中发送一系列的对准命令，以调整和保持到达宿或中继器设备的多个端口的视频帧的对准。在一些实施例中，命令705可包括：用于标识数据流的流名称715、用于标识宿或中继器设备的接收数据流的端口的端口索引720、有待调整（例如以像素时钟为单位的调整）的视频帧传输的绝对传输时间、以及多个与保持视频帧传输的调整（如调整周期）有关的其他字段730。
图8是用于视频帧同步的实施例的接口的图示。在此图示中，一个或多个源通过多个接口链接到多端口宿或中继器设备850的一个或多个端口上，诸如，源#1 810通过接口缆线#1 820与端口#1 860耦合，源#2 812通过接口缆线#2 822与端口#2 862耦合，源#n 816通过接口缆线#n 826与端口#n 866耦合。中继器设备850可以进一步通过一个或多个端口与宿设备870耦合。
在此图示中，这些源810至816可以利用不同的协议与端口860至866交换数据和命令。在此示例中，源#1 810通过HDMI接口820与端口#1 860连接。在此图示中，接口820可以包括通过数据0+线831、数据0-线832、数据1+线833、数据1-线834、数据2+线835以及数据2-线836传送的多种HDMI差分信号。该接口可以进一步包括差分时钟线时钟+837和时钟-838；消费电子控制（CEC）控制总线839；显示数据通道（DDC）总线840；+5V电源841、CEC/DDC接地842；热插拔检测843；和差分信号所用的四根屏蔽线844。在一些实施例中，宿或中继器设备850可以利用CEC控制总线839将闭环反馈命令传送至源#1 810。
在另一个示例中，源#2 812通过MHL接口822与端口#2 862连接。在此图示中，接口822可以包括通过数据+线845以及数据-线846、差分时钟线时钟+847和时钟-848，以及控制总线CBUS 849传送的多种MHL差分信号。
图9是提供视频帧同步的装置的实施例的元件图示。在此图示中，未示出与本说明书无密切关系的特定标准以及众所周知的部件。在一些实施例中，设备900可以是源设备、中继器设备或宿设备。
在一些实施例中，设备900包括用于数据传输的互连或者交叉开关905或者其他通信装置。数据可以包括视听数据以及相关的控制数据。设备900可以包括处理装置，诸如与互连905耦合用于处理信息的一个或多个处理器910。处理器910可以包括一个或多个物理处理器以及一个或多个逻辑处理器。另外，这些处理器910各自可以包括多个处理器内核。为简单起见，将互连905展示为单一互连，但可以代表多个不同的互连或总线，并且到这类互连的部件连接可以改变。图9所示的互连905是抽象表示，它代表由适合的桥路、适配器或控制器连接起来的任何一个或多个独立的物理总线、点对点连接或两者并存。互连905可以包括例如系统总线、PCI或者PCIe总线、HyperTransport或者工业标准架构（ISA）总线、小型计算机系统接口（SCSI）总线、IIC（I2C）总线或有时被称为“火线”的电气和电子工程协会（IEEE）标准1394总线（“高性能串行总线标准”1394-1995，IEEE，1996年8月30日发布，及其附件）。设备900进一步可以包括串行总线，例如USB总线970，其上可附接一个或者多个USB适配连接。
在一些实施例中，设备900进一步包括随机存取存储器（RAM）或其他动态储存设备作为主存储器920，用于存储有待由处理器910执行的信息和指令。主存储器920还可用于存储数据流数据。RAM存储器包括需要刷新存储内容的动态随机存取存储器（DRAM）以及不需要刷新内容但成本更高的静态随机存取存储器（SRAM）。DRAM存储器可以包括同步动态随机存取存储器（SDRAM）（它包括用于控制信号的时钟信号）以及扩展的数据输出动态随机存取存储器（EDO DRAM）。在一些实施例中，系统的存储器可以是特定的寄存器或者是其他专用存储器。设备900还可以包括只读存储器（ROM）925或者其他静态存储设备，用于为处理器910存储静态信息和指令。设备900可以包括用于存储特定元素的一个或者多个非易失性存储器元件930。
数据存储器935还可以耦合到设备900的互连905上，用于存储信息和指令。数据存储器935可包括磁盘、光盘及其相应的驱动器或其他存储设备。这些元件可以组合在一起或者可以是独立的部件，并且使用设备900中其他元件的特定部分。
设备900还可以通过互连905耦合至显示器或者演示设备940。在一些实施例中，显示器可以包括用于将信息或者内容显示给终端用户的液晶显示器（LCD）、等离子体显示器、阴极射线管（CRT）显示器或任何其他显示技术。在一些实施例中，显示器940可以用于显示电视节目。在一些环境中，显示器940可以包括触摸屏，该触摸屏还用作输入设备的至少一部分。在一些环境中，显示器940可以是或者可以包括音频设备，诸如用于提供音频信息（包括电视节目的音频部分）的扬声器。输入设备945可以被耦合至互连905，用于将信息和/或命令的选择传递给处理器910。在不同实现中，输入设备945可以是键盘、小键盘、触摸屏与触控笔、语音激活系统或者其他输入设备，或者是这些设备的组合。可以包括的另一类型的用户输入设备是光标控制设备950，诸如鼠标、轨迹球或光标方向键，用于向一个或多个处理器910传送方向信息和命令选择，并用于控制显示器940上的光标移动。
一个或者多个发送器或接收器955也可以耦合至互连905。在一些实施例中，设备900可以包括用于接收或传输数据的一个或者多个端口980。可接收或传输的数据可包括视频数据或音频-视频数据，诸如HDMI、DVI以及MHL数据，并且可以被加密传输，例如HDCP（高带宽数字内容保护）加密数据。在一些实施例中，设备包括一个或多个用于传送和/或接收数据的端口980用于传送和/或接收内容数据985。另外，设备900可以包括USB（通用串行总线）970。
设备900可以进一步包括一个或者多个天线958，用于通过无线电信号接收数据。设备900还可以包括供电设备或系统960，它可以包括用于提供或者生成电能的电源、电池、太阳能电池、燃料电池或者其他系统或设备。由供电设备或系统960提供的电能可以按照需要分配给设备900的多个元件。
在以上说明中，为了解释的目的，陈述了很多具体细节，目的是提供对本发明的透彻理解。然而，显而易见的是，对本领域的熟练技术人员而言，可以在缺少这些具体细节中的某些细节的情况下实现本发明。在其他实例中，以框图的形式示出众所周知的结构和设备。所展示的部件之间可能存在中间结构。在此说明的或展示的这些部件可以具有并未示出或说明的附加的输入或输出。所示多个元件或部件还能够以不同的排列或者顺序来安排，包括任意字段的重新排序或者字段长度的改变。
本发明可以包括多个不同的过程。本发明的这些过程可以由硬件部件来执行或者可嵌入多个计算机可读的指令中，这些指令可以用来使通用或专用的处理器或者逻辑电路利用这些指令编程以执行这些过程。可替代地，这些过程可以通过硬件和软件的组合来实现。
本发明的多个部分可以作为计算机程序产品提供，它们可以包括其上已经存储了计算机程序指令的计算机可读介质，根据本发明这些指令可以用来对计算机（或其他电子设备）进行编程以执行过程。计算机可读介质包括，但不限于，适于存储电子指令的软盘、光盘、CD-ROM（只读光盘存储器）以及磁光盘、ROM（只读存储器）、RAM（随机存取存储器）、EPROM（可擦除可编程只读存储器）、EEPROM（电可擦除可编程只读存储器）、磁卡或者光卡、闪存或者其他类型的介质/计算机可读介质。此外，本发明还可以作为计算机程序产品而被下载，其中该程序可以从远程计算机传送至请求计算机上。
这些方法中很多都是以其最基本的形式进行说明的，但从这些方法的任何一个中都可以添加或者删除多个过程，并且从所述消息的任何一个中都可以添加或者削减信息，前提是不背离本发明的基本范围。对本领域的技术人员显而易见的是可以做出很多进一步的更改与适配。这些具体的实施例并不用于限制本发明，而是为了解释本发明。
如果提到元件“A”耦合到元件“B”或者与之相耦合，那么元件A可以直接地耦合到元件B或者间接地通过（例如）元件C进行耦合。当本说明书提到部件、特征、结构、过程、或者特性A“导致”部件、特征、结构、过程、或者特性B时，它是指“A”至少是“B”的部分原因，但是还可以有至少一个其他的部件、特征、结构、过程、或者特性帮助导致“B”。如果本说明书指出部件、特征、结构、过程、或者特性“可以”、“也许”、或者“能够”被包括，则具体的部件、特征、结构、过程、或者特性并不是必须被包括。如果本说明书提到“一个/一种/一”元件，这并不意味着仅有一个所述元件。
一个实施例是本发明的一种实现方式或示例。说明书中参考的“一个实施例”、“一种实施例”、“一实施例”、“特定实施例”或“其他实施例”意味着结合这些实施例所说明的具体特点、结构或特征包含在至少特定实施例中，但不一定是包含在所有的实施例中。“一个实施例”、“一种实施例”、“一实施例”或“特定实施例”的不同表现形式不一定全部是指同一批实施例。应当理解，在本发明的示例性实施例的以上说明中，本发明的不同特征有时在一个单一实施例、图示、或其说明中归集在一起，其目的是使本揭示流畅并帮助理解一个或多个不同的发明方面。

Claims (29)

1.一种方法，包括：
在多端口设备的第一端口上接收来自第一源的第一视频数据流，所述第一视频数据流的第一视频帧在第一到达时间到达所述第一端口；
在所述多端口设备的第二端口上接收来自第二源的第二视频数据流，所述第二视频数据流的第二视频帧在第二到达时间到达所述第二端口；
确定所述第一到达时间与所述第二到达时间之间的偏差；
至少部分地基于所述偏差确定一个或多个校正因数，所述一个或多个校正因数包括用于所述第一源的第一校正因数；以及
向所述第一源发送第一命令，以利用所述校正因数更改在所述第一视频帧之后由所述第一源发送的第三视频帧的传输时间。
2.如权利要求1所述的方法，其特征在于，所述视频数据是HDMITM（高清多媒体接口）相容数据和MHLTM（移动高清链接）相容数据中的一种或多种。
3.如权利要求1所述的方法，其特征在于，所述命令是通过在所述多端口设备与所述第一源之间的命令总线发送的。
4.如权利要求1所述的方法，其特征在于，所述第一命令调整由所述第二源传送的所述第二视频帧之后所述第三视频帧的到达与第四视频帧的到达之间的对准。
5.如权利要求4所述的方法，其特征在于，所述第一命令提供将所述第三视频帧在所述第一端口的到达以及所述第四视频帧在所述第二端口的到达同步在同一时刻上。
6.如权利要求4所述的方法，其特征在于，所述第一命令提供使所述第三视频帧在所述第一端口的到达以及所述第四视频帧在所述第二端口的到达同步为具有一定偏差。
7.如权利要求1所述的方法，其特征在于，所述第三视频帧在第三到达时刻到达所述第一端口，并且所述第四视频帧在第四时刻到达所述第二端口，所述方法进一步包括确定所述第三到达时刻与所述第四到达时刻之间的第二偏差。
8.如权利要求7所述的方法，进一步包括至少部分地基于所述第二偏差来确定一个或多个校正因数，所述一个或多个校正因数包括用于所述第一源的第二校正因数以及用于所述第二源的第三校正因数中的一个或多个。
9.如权利要求1所述的方法，其特征在于，所述第一视频帧以及所述第二视频帧中的一个或多个被加密，并且其中确定偏差以及确定一个或多个校正因数无需对所述第一视频帧或所述第二视频帧进行解密就可进行。
10.一种装置，包括：
多个端口，所述端口用于从一组数据源中接收视频数据流，所述多个端口各自从一数据源接收视频数据流，每个视频数据流包括一视频帧流；
时钟信号，用于对多个视频帧在所述多个端口中的每一个上的到达进行定时；
用于比较视频帧在所述多个端口的到达时间、确定所述到达时间之间的偏差值、并且根据所述偏差值生成一个或多个校正因数的逻辑；以及
至与所述一组数据源的一个或多个总线连接的接口，所述装置基于所述一个或多个校正因数通过所述一个或多个总线连接将一个或多个命令传送至所述数据源中的一个或多个，所述一个或多个命令用来引导对视频帧传输时间的更改以便对多个视频帧在所述多个端口的到达进行同步。
11.如权利要求10所述的装置，其特征在于，所述装置要发送所述一个或多个命令的一个系列，以便向所述一组数据源提供闭环反馈。
12.如权利要求10所述的装置，其特征在于，所述一个或多个命令用于将多个视频帧在所述多个端口中每一个上的到达对准到同一时间。
13.如权利要求10所述的装置，其特征在于，所述一个或多个命令用于将多个视频帧在所述多个端口中的每一个上的到达对准到彼此具有特定的偏差。
14.如权利要求10所述的装置，进一步包括用于所述多个端口中每一个的链接时钟，其中所述时钟信号是由所述端口之一的链接时钟生成的。
15.如权利要求10所述的装置，进一步包括公共时钟，其中所述时钟信号是由所述公共时钟生成的，所述公共时钟具有与所述多个端口之一的链接时钟相同的频率。
16.如权利要求10所述的装置，其特征在于，所述一个或多个校正因数各自用于将视频帧的传输提前或延迟一时间因数。
17.如权利要求16所述的装置，其特征在于,所述时间因数是整数个链接时钟周期。
18.如权利要求10所述的装置，进一步包括用于存储多个视频帧或多个视频帧的多个部分的存储元件，其中，所述装置要使用所述存储元件来校正多个视频帧在所述数据端口的到达时间的残余失匹。
19.如权利要求10所述的装置，其特征在于，所述装置被配置为用于接收一个或多个加密视频帧，并且其中所述逻辑被配置为用于比较多个视频帧的到达时间、确定多个偏差值、并且生成多个校正因数，而无需对所述一个或多个加密视频帧进行解密。
20.一种方法，包括：
生成多个视频帧的视频数据流用于传输到多端口设备的一端口；
将所述视频帧传送到所述多端口设备，包括利用输出时序发生器对所述视频帧的传输进行定时；
接收来自所述多端口设备的一个或多个对准命令，每个对准命令包含用于下一个后续视频帧传输的校正因数，以调整与在所述多端口设备的一个或多个其他端口上到达的多个视频帧的对准；以及
基于包含在每个对准命令中的校正因数来调整对于所述下一个后续视频帧的传输时间。
21.如权利要求20所述的方法，其特征在于，每个命令的校正因数用于将所述下一个后续视频帧的传输提前或延迟一时间因数。
22.如权利要求20所述的方法，其特征在于，所述时间因数是整数个时钟周期。
23.如权利要求20所述的方法，其特征在于，接收一个或多个对准命令包括通过在所述多端口设备与所述第一源之间的命令总线接收所述一个或多个命令。
24.一种数据源设备，包括：
数据端口，用于将多个视频帧构成的数据流传送至多端口设备的第一端口；
帧输出元件，用于向所述数据端口提供视频帧用于传输；
时钟信号，用于多个视频帧的传输；以及
输出时序发生器，用于向所述帧输出元件提供时序以便传输所述视频帧，所述输出时序发生器基于从所述多端口设备接收的多个对准命令来调整用于所述视频帧传输的时序。
25.如权利要求24所述的设备，进一步包括用于存储所述视频帧的存储缓存器，其中所述帧输出元件用于从所述存储缓存器中获取所述视频帧以供传输。
26.如权利要求25所述的设备，进一步包括被配置为将一组数据解码成为多个视频帧的解码器，所述解码器用于在所述存储缓存器中存储已解码的帧。
27.如权利要求24所述的设备，其特征在于，每个对准命令包含校正因数，所述校正因数用于将下一个后续视频帧的传输提前或延迟一时间因数。
28.如权利要求27所述的设备，其特征在于，所述时间因数是整数个时钟周期。
29.一种计算机可读介质，其上存储有代表多个指令序列的数据，所述指令当由处理器执行时致使所述处理器执行操作，所述操作包括：
在多端口设备的第一端口上接收来自第一源的第一视频数据流，所述第一视频数据流的第一视频帧在第一到达时间到达所述第一端口；
在所述多端口设备的第二端口上接收来自第二源的第二视频数据流，所述第二视频数据流的第二视频帧在第二到达时间到达所述第二端口；
确定在所述第一到达时间与所述第二到达时间之间的偏差；
至少部分地基于所述偏差确定一个或多个校正因数，所述一个或多个校正因数包括用于所述第一源的第一校正因数；以及
向所述第一源发送第一命令来利用所述校正因数更改在所述第一视频帧之后由所述第一源发送的第三视频帧的传输时间。
CN201180010900.9A 2010-02-25 2011-02-17 视频帧同步 Active CN102771136B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/712,933 US8692937B2 (en) 2010-02-25 2010-02-25 Video frame synchronization
US12/712,933 2010-02-25
PCT/US2011/025199 WO2011106228A2 (en) 2010-02-25 2011-02-17 Video frame synchronization

Publications (2)

Publication Number Publication Date
CN102771136A true CN102771136A (zh) 2012-11-07
CN102771136B CN102771136B (zh) 2016-05-11

Family

ID=44476213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180010900.9A Active CN102771136B (zh) 2010-02-25 2011-02-17 视频帧同步

Country Status (7)

Country Link
US (2) US8692937B2 (zh)
EP (1) EP2540078A4 (zh)
JP (1) JP6034697B2 (zh)
KR (1) KR20130036204A (zh)
CN (1) CN102771136B (zh)
TW (1) TWI523527B (zh)
WO (1) WO2011106228A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103338204A (zh) * 2013-07-05 2013-10-02 曾德钧 一种音频同步输出方法及系统
CN104934013A (zh) * 2014-03-18 2015-09-23 纬创资通股份有限公司 显示器及其视频画面显示方法
CN106068644A (zh) * 2014-09-26 2016-11-02 奥林巴斯株式会社 传送系统和处理装置
CN106464491A (zh) * 2014-04-14 2017-02-22 新思公司 早期内容引擎接收器同步
CN107071559A (zh) * 2017-05-11 2017-08-18 大连动感智慧科技有限公司 基于关键帧同步的多视频对比系统
CN107517404A (zh) * 2016-06-17 2017-12-26 晨星半导体股份有限公司 电子装置及相关的信号处理方法
CN109728894A (zh) * 2018-11-13 2019-05-07 合肥奕斯伟集成电路有限公司 差分数据的处理方法、数据处理设备以及计算机存储介质
CN110933253A (zh) * 2019-11-25 2020-03-27 广州市奥威亚电子科技有限公司 一种数据帧同步的信源端、主机端、同步装置及方法

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9198084B2 (en) 2006-05-26 2015-11-24 Qualcomm Incorporated Wireless architecture for a traditional wire-based protocol
US8667144B2 (en) 2007-07-25 2014-03-04 Qualcomm Incorporated Wireless architecture for traditional wire based protocol
US9936143B2 (en) 2007-10-31 2018-04-03 Google Technology Holdings LLC Imager module with electronic shutter
US8811294B2 (en) 2008-04-04 2014-08-19 Qualcomm Incorporated Apparatus and methods for establishing client-host associations within a wireless network
US9398089B2 (en) 2008-12-11 2016-07-19 Qualcomm Incorporated Dynamic resource sharing among multiple wireless devices
US9264248B2 (en) 2009-07-02 2016-02-16 Qualcomm Incorporated System and method for avoiding and resolving conflicts in a wireless mobile display digital interface multicast environment
US8786670B2 (en) * 2010-10-14 2014-07-22 Cisco Technology, Inc. Network synchronization video for composite video streams
US9065876B2 (en) 2011-01-21 2015-06-23 Qualcomm Incorporated User input back channel from a wireless sink device to a wireless source device for multi-touch gesture wireless displays
US10135900B2 (en) 2011-01-21 2018-11-20 Qualcomm Incorporated User input back channel for wireless displays
US9787725B2 (en) 2011-01-21 2017-10-10 Qualcomm Incorporated User input back channel for wireless displays
US8964783B2 (en) 2011-01-21 2015-02-24 Qualcomm Incorporated User input back channel for wireless displays
US9413803B2 (en) 2011-01-21 2016-08-09 Qualcomm Incorporated User input back channel for wireless displays
US9582239B2 (en) 2011-01-21 2017-02-28 Qualcomm Incorporated User input back channel for wireless displays
US8674957B2 (en) 2011-02-04 2014-03-18 Qualcomm Incorporated User input device for wireless back channel
US9503771B2 (en) 2011-02-04 2016-11-22 Qualcomm Incorporated Low latency wireless display for graphics
US10108386B2 (en) 2011-02-04 2018-10-23 Qualcomm Incorporated Content provisioning for wireless back channel
US8989280B2 (en) * 2011-06-30 2015-03-24 Cable Television Laboratories, Inc. Frame identification
US8989277B1 (en) * 2011-11-03 2015-03-24 Xilinx, Inc. Reducing artifacts within a video processing system
WO2013081600A1 (en) * 2011-11-30 2013-06-06 Intel Corporation Reducing power for 3d workloads
CN102497527B (zh) * 2011-12-16 2013-11-27 杭州海康威视数字技术股份有限公司 多处理器视频处理系统及其中的视频图像同步传输与显示方法
US9525998B2 (en) 2012-01-06 2016-12-20 Qualcomm Incorporated Wireless display with multiscreen service
US8792643B1 (en) * 2012-02-16 2014-07-29 Google Inc. System and methodology for decrypting encrypted media
US9537644B2 (en) * 2012-02-23 2017-01-03 Lattice Semiconductor Corporation Transmitting multiple differential signals over a reduced number of physical channels
US9392322B2 (en) 2012-05-10 2016-07-12 Google Technology Holdings LLC Method of visually synchronizing differing camera feeds with common subject
WO2013168288A1 (ja) * 2012-05-11 2013-11-14 パイオニアデジタルデザインアンドマニュファクチャリング株式会社 中継装置
US9230505B2 (en) 2013-02-25 2016-01-05 Lattice Semiconductor Corporation Apparatus, system and method for providing clock and data signaling
US9357127B2 (en) 2014-03-18 2016-05-31 Google Technology Holdings LLC System for auto-HDR capture decision making
US10250799B2 (en) 2014-05-21 2019-04-02 Google Technology Holdings LLC Enhanced image capture
US9729784B2 (en) 2014-05-21 2017-08-08 Google Technology Holdings LLC Enhanced image capture
US9774779B2 (en) 2014-05-21 2017-09-26 Google Technology Holdings LLC Enhanced image capture
US9813611B2 (en) 2014-05-21 2017-11-07 Google Technology Holdings LLC Enhanced image capture
US10482568B2 (en) * 2014-05-28 2019-11-19 Sony Corporation Information processor and information processing method
US9871516B2 (en) 2014-06-04 2018-01-16 Lattice Semiconductor Corporation Transmitting apparatus with source termination
US9413947B2 (en) 2014-07-31 2016-08-09 Google Technology Holdings LLC Capturing images of active subjects according to activity profiles
JP6467822B2 (ja) * 2014-08-29 2019-02-13 セイコーエプソン株式会社 表示システム、送信装置、及び、表示システムの制御方法
US9654700B2 (en) 2014-09-16 2017-05-16 Google Technology Holdings LLC Computational camera using fusion of image sensors
CN104333771B (zh) * 2014-11-10 2017-11-24 硅谷数模半导体（北京）有限公司 视频流的同步控制方法和装置
DE102015001622A1 (de) * 2015-02-09 2016-08-11 Unify Gmbh & Co. Kg Verfahren zur Übertragung von Daten in einem Multimedia-System, sowie Softwareprodukt und Vorrichtung zur Steuerung der Übertragung von Daten in einem Multimedia-System
CN105141876B (zh) * 2015-09-24 2019-02-22 京东方科技集团股份有限公司 视频信号转换方法、视频信号转换装置以及显示系统
US10021438B2 (en) 2015-12-09 2018-07-10 Comcast Cable Communications, Llc Synchronizing playback of segmented video content across multiple video playback devices
CN105681816B (zh) * 2015-12-31 2019-01-29 深圳市瑞彩电子技术有限公司 一种视频数据传输装置和方法
US10764473B2 (en) * 2016-01-14 2020-09-01 Disney Enterprises, Inc. Automatically synchronizing multiple real-time video sources
US20170223382A1 (en) * 2016-02-03 2017-08-03 Sigma Designs, Inc. Method of reducing latency and a video decoder of the same
WO2018220724A1 (ja) * 2017-05-30 2018-12-06 Ｎｅｃディスプレイソリューションズ株式会社 表示装置、表示方法、及びプログラム
JP2019004401A (ja) * 2017-06-19 2019-01-10 セイコーエプソン株式会社 プロジェクションシステム、プロジェクター及びプロジェクションシステムの制御方法
US10671553B2 (en) * 2017-12-29 2020-06-02 Texas Instuments Incorporated Link width scaling across multiple retimer devices
US11039041B2 (en) * 2018-04-03 2021-06-15 Intel Corporation Display panel synchronization for a display device
CN109587546B (zh) * 2018-11-27 2020-09-22 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备和计算机可读介质
US10536666B1 (en) * 2019-01-22 2020-01-14 Facebook Technologies, Llc Systems and methods for transmitting aggregated video data
EP3918808A1 (en) * 2019-02-20 2021-12-08 Huawei Technologies Co., Ltd. Techniques for enabling ultra-high definition alliance specified reference mode (uhda-srm)
US10797854B1 (en) * 2019-09-30 2020-10-06 Infineon Technologies Ag Synchronization system for controller area networks
US11323766B2 (en) * 2019-10-03 2022-05-03 Dolby International Ab Method and device for providing audio/video content to a rendering device
SE544753C2 (en) * 2020-01-14 2022-11-01 Net Insight Ab Network offset adjustment in remote media production
CN113596348B (zh) * 2021-04-29 2023-11-03 青岛信芯微电子科技股份有限公司 图像处理方法及设备
US11776507B1 (en) 2022-07-20 2023-10-03 Ivan Svirid Systems and methods for reducing display latency
CN116193057B (zh) * 2023-04-26 2023-07-07 广东视腾电子科技有限公司 一种多端口传输的光纤视频延长方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2415852A (en) * 2004-07-02 2006-01-04 Filmlight Ltd Synchronising a plurality of graphics cards
US20090178097A1 (en) * 2008-01-04 2009-07-09 Gyudong Kim Method, apparatus and system for generating and facilitating mobile high-definition multimedia interface

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5717469A (en) * 1994-06-30 1998-02-10 Agfa-Gevaert N.V. Video frame grabber comprising analog video signals analysis system
US5592488A (en) 1995-06-07 1997-01-07 Micron Technology, Inc. Method and apparatus for pipelined multiplexing employing analog delays for a multiport interface
US5995140A (en) * 1995-08-28 1999-11-30 Ultrak, Inc. System and method for synchronization of multiple video cameras
US5914757A (en) * 1997-04-21 1999-06-22 Philips Electronics North America Corporation Synchronization of multiple video and graphic sources with a display using a slow PLL approach
KR100287728B1 (ko) * 1998-01-17 2001-04-16 구자홍 영상프레임동기화장치및그방법
JP3684525B2 (ja) * 1998-02-19 2005-08-17 富士通株式会社 多画面合成方法及び多画面合成装置
US6317166B1 (en) * 1998-08-31 2001-11-13 Immersive Media Company Synchronization frame generator for multichannel imaging system
JP3595745B2 (ja) * 1999-01-29 2004-12-02 キヤノン株式会社 画像処理装置
JP4292690B2 (ja) * 2000-06-27 2009-07-08 ソニー株式会社 画像記録再生装置及び方法
DE10031355A1 (de) * 2000-06-28 2002-01-17 Grundig Ag Verfahren und Vorrichtung zur zeitsynchronen Weiterleitung von Signalen
JP3739274B2 (ja) * 2000-10-31 2006-01-25 Ｋｄｄｉ株式会社 ２系統映像の位置ずれ補正装置
US7346698B2 (en) * 2000-12-20 2008-03-18 G. W. Hannaway & Associates Webcasting method and system for time-based synchronization of multiple, independent media streams
CA2459941C (en) 2001-09-06 2013-09-17 Qiuzhen Zou Generating and implementing a communication protocol and interface for high data rate signal transfer
JP2004165772A (ja) * 2002-11-11 2004-06-10 Matsushita Electric Ind Co Ltd ビデオ信号伝送装置
JP2005123789A (ja) * 2003-10-15 2005-05-12 Matsushita Electric Ind Co Ltd Ａｖ同期システム
EP1657929A1 (fr) * 2004-11-16 2006-05-17 Thomson Licensing Dispositif et méthode de synchronisation de différentes parties d'un service numérique
US20080007616A1 (en) * 2004-12-06 2008-01-10 Ftd Technology Pte. Ltd. Universal multimedia display adapter
JP4660184B2 (ja) * 2004-12-27 2011-03-30 株式会社東芝 信号中継装置及び信号中継方法
KR100789548B1 (ko) * 2005-04-15 2007-12-28 엘지전자 주식회사 티브이의 오디오 출력 동기화 장치 및 방법
JP4912296B2 (ja) * 2005-04-28 2012-04-11 パナソニック株式会社 リップシンク補正システム、リップシンク補正装置及びリップシンク補正方法
US7636126B2 (en) * 2005-06-22 2009-12-22 Sony Computer Entertainment Inc. Delay matching in audio/video systems
US7423693B2 (en) * 2005-07-28 2008-09-09 Cole James R Video delay stabilization system and method
US7844762B2 (en) * 2006-02-24 2010-11-30 Silicon Image, Inc. Parallel interface bus to communicate video data encoded for serial data links
US7746969B2 (en) * 2006-03-28 2010-06-29 Entropic Communications, Inc. High definition multi-media interface
JP4544190B2 (ja) * 2006-03-31 2010-09-15 ソニー株式会社 映像音声処理システム、映像処理装置、音声処理装置、映像音声の出力装置および映像と音声の同期処理方法
JP4799254B2 (ja) * 2006-04-12 2011-10-26 シャープ株式会社 表示装置及び表示システム
US20080117984A1 (en) * 2006-11-16 2008-05-22 Analogix Semiconductor, Inc. Pre-Clock/Data Recovery Multiplexing of Input Signals in a HDMI Video Receiver
JP5119655B2 (ja) * 2006-12-13 2013-01-16 株式会社日立製作所 マルチスクリーン表示装置
JP5086632B2 (ja) * 2006-12-22 2012-11-28 株式会社東芝 映像表示装置、映像表示システムおよび映像表示方法
US7765323B2 (en) * 2006-12-29 2010-07-27 Intel Corporation Sink device addressing mechanism
US7809972B2 (en) * 2007-03-30 2010-10-05 Arm Limited Data processing apparatus and method for translating a signal between a first clock domain and a second clock domain
US8320410B2 (en) * 2007-05-23 2012-11-27 Broadcom Corporation Synchronization of media data streams with separate sinks using a relay
JP5091578B2 (ja) * 2007-07-26 2012-12-05 株式会社東芝 映像処理装置及び映像処理方法
JP5145812B2 (ja) * 2007-08-01 2013-02-20 ソニー株式会社 データ送受信システム、データ送信装置、データ受信装置、クロック生成方法
JP5050807B2 (ja) * 2007-11-22 2012-10-17 ソニー株式会社 再生装置、表示装置、再生方法および表示方法
JP2009141720A (ja) * 2007-12-07 2009-06-25 Hitachi Ltd 映像表示装置、表示パネル及び映像処理装置
JP5283914B2 (ja) * 2008-01-29 2013-09-04 キヤノン株式会社 表示制御装置及び表示制御方法
US8102470B2 (en) * 2008-02-22 2012-01-24 Cisco Technology, Inc. Video synchronization system
BRPI0821173B1 (pt) * 2008-03-05 2020-12-01 Hewlett-Packard Development Company, L.P. método e sistema para administrar apresentação de conteúdo a partir de múltiplas fontes de vídeo e meio legível por computador
JP4535159B2 (ja) * 2008-04-01 2010-09-01 ソニー株式会社 信号切換装置、信号切換装置の制御方法、プログラム、及び、記録媒体
WO2010077564A1 (en) * 2008-12-08 2010-07-08 Analog Devices Inc. Multimedia switching over wired or wireless connections in a distributed environment
US8832844B2 (en) * 2009-12-04 2014-09-09 Parade Technologies, Ltd. Fast switching for multimedia interface system having content protection
US8242940B2 (en) * 2009-12-17 2012-08-14 Analog Devices, Inc. Transitioning digital data processors between power savings and non-power savings modes
WO2011075424A1 (en) * 2009-12-17 2011-06-23 Analog Devices, Inc Fast switching between digital video sources
US8428255B2 (en) * 2009-12-17 2013-04-23 Analog Devices, Inc. Selective switching between data sources
US20110157473A1 (en) * 2009-12-30 2011-06-30 Hoon Choi Method, apparatus, and system for simultaneously previewing contents from multiple protected sources
US20110164118A1 (en) * 2010-01-06 2011-07-07 Samsung Electronics Co., Ltd. Display apparatuses synchronized by one synchronization signal
JP2012029214A (ja) * 2010-07-27 2012-02-09 Rohm Co Ltd インタフェース回路およびそれを用いた電子機器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2415852A (en) * 2004-07-02 2006-01-04 Filmlight Ltd Synchronising a plurality of graphics cards
US20090178097A1 (en) * 2008-01-04 2009-07-09 Gyudong Kim Method, apparatus and system for generating and facilitating mobile high-definition multimedia interface

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103338204A (zh) * 2013-07-05 2013-10-02 曾德钧 一种音频同步输出方法及系统
CN104934013A (zh) * 2014-03-18 2015-09-23 纬创资通股份有限公司 显示器及其视频画面显示方法
CN104934013B (zh) * 2014-03-18 2017-07-07 纬创资通股份有限公司 显示器及其视频画面显示方法
CN106464491A (zh) * 2014-04-14 2017-02-22 新思公司 早期内容引擎接收器同步
CN106464491B (zh) * 2014-04-14 2019-11-19 新思公司 硬件接收器装置
CN106068644A (zh) * 2014-09-26 2016-11-02 奥林巴斯株式会社 传送系统和处理装置
CN106068644B (zh) * 2014-09-26 2019-03-01 奥林巴斯株式会社 传送系统和处理装置
CN107517404A (zh) * 2016-06-17 2017-12-26 晨星半导体股份有限公司 电子装置及相关的信号处理方法
CN107071559A (zh) * 2017-05-11 2017-08-18 大连动感智慧科技有限公司 基于关键帧同步的多视频对比系统
CN109728894A (zh) * 2018-11-13 2019-05-07 合肥奕斯伟集成电路有限公司 差分数据的处理方法、数据处理设备以及计算机存储介质
CN109728894B (zh) * 2018-11-13 2021-08-17 合肥奕斯伟集成电路有限公司 差分数据的处理方法、数据处理设备以及计算机存储介质
CN110933253A (zh) * 2019-11-25 2020-03-27 广州市奥威亚电子科技有限公司 一种数据帧同步的信源端、主机端、同步装置及方法

Also Published As

Publication number Publication date
EP2540078A4 (en) 2014-02-26
KR20130036204A (ko) 2013-04-11
CN102771136B (zh) 2016-05-11
TWI523527B (zh) 2016-02-21
TW201146009A (en) 2011-12-16
US8692937B2 (en) 2014-04-08
JP2013520931A (ja) 2013-06-06
WO2011106228A3 (en) 2012-01-12
EP2540078A2 (en) 2013-01-02
US20110205433A1 (en) 2011-08-25
WO2011106228A2 (en) 2011-09-01
US20140168514A1 (en) 2014-06-19
JP6034697B2 (ja) 2016-11-30

Similar Documents

Publication Publication Date Title
CN102771136B (zh) 视频帧同步
CN101395904B (zh) 发送装置、接收装置和发送接收装置
US9485514B2 (en) System and method for compressing video and reformatting the compressed video to simulate uncompressed video with a lower bandwidth
US9456236B2 (en) Systems, devices and methods for reducing switching time in a video distribution network
KR101724484B1 (ko) 다수의 보호 소스로부터의 컨텐츠를 동시에 미리 보기 위한 방법, 장치, 및 시스템
US20110134330A1 (en) Fast switching for multimedia interface system having content protection
TW200910947A (en) Communication system, video signal transmission method, transmitter, transmitting method, receiver, and receiving method
US8804853B2 (en) Signal extender system and signal extender thereof
TW200931268A (en) Method, apparatus and system for generating and facilitating mobile high-definition multimedia interface
US20120027203A1 (en) Interface circuit
TWI514842B (zh) 數據處理裝置及其方法
CN102763423A (zh) 提供数据链路完整性的消息传送
CN102484557A (zh) 用于数据传输模式之间的转换的信令技术
JP2012514940A (ja) コンテンツ保護ポートの事前認証と認証維持のための方法、装置およびシステム
WO2015133249A1 (ja) 送信装置、送信方法、受信装置および受信方法
US9800642B2 (en) Communication of multimedia data streams over multiple communication lanes
WO2011118592A1 (ja) 画像データ送信装置、画像データ送信方法および画像データ受信装置
TW200824431A (en) Video and audio data synchronization method and related apparatus for a multimedia interface
KR100738497B1 (ko) 멀티싱크 영상 출력 시스템
CN101202868B (zh) 用于多媒体接口的影音数据同步方法及其相关装置
CN101572074B (zh) 将hdmi信号通过单条网线传输的方法
WO2015174357A1 (ja) レセプタクル、プラグ、送信装置、送信装置におけるデータ送信方法、受信装置および受信装置におけるデータ受信方法
KR20080007928A (ko) 광케이블을 통해 영상신호와 제어신호를 송수신하는영상기기 및 그의 광통신방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: oregon

Applicant after: LATTICE SEMICONDUCTOR CORPORATION

Address before: American California

Applicant before: Silicon Image Inc. A. Delaware C.

COR Change of bibliographic data
C14 Grant of patent or utility model
GR01 Patent grant