CN102893542B - 用于在车辆中使数据同步的方法和设备 - Google Patents

用于在车辆中使数据同步的方法和设备 Download PDF

Info

Publication number
CN102893542B
CN102893542B CN201180024317.3A CN201180024317A CN102893542B CN 102893542 B CN102893542 B CN 102893542B CN 201180024317 A CN201180024317 A CN 201180024317A CN 102893542 B CN102893542 B CN 102893542B
Authority
CN
China
Prior art keywords
unit
data
processing unit
output
processing units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180024317.3A
Other languages
English (en)
Other versions
CN102893542A (zh
Inventor
A·施拉姆
M·基歇雷尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN102893542A publication Critical patent/CN102893542A/zh
Application granted granted Critical
Publication of CN102893542B publication Critical patent/CN102893542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0682—Clock or time synchronisation in a network by delay compensation, e.g. by compensation of propagation delay or variations thereof, by ranging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43632—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]

Abstract

本发明建议一种用于在车辆中处理数据的方法，其中，经由网络由第一处理单元接收数据；由第一处理单元对数据进行解码；以及把包括输出时间的再现信息或者同步信息传输到第二处理单元。第一处理单元(203)和第二处理单元(204)分别具有音频解码单元(213、221)和视频解码单元(214、222)，第一处理单元(203)把输出时间(T0)传输到第二处理单元(204)，第一处理单元(203)的视频解码单元(213)经由输出时间(T0)进行控制，并且第二处理单元(204)的视频解码单元(222)的输出经由被传输的输出时间(T0)通过第一处理单元(203)进行控制。此外提出一种相应的设备。

Description

用于在车辆中使数据同步的方法和设备
技术领域
本发明涉及用于在车辆中处理数据的方法和设备。
背景技术
音视频桥接(AVB)技术是已知的，该技术能够实现经由以太网连接在充分利用服务质量(QoS)以小的延迟输送时间同步的音频和视频数据。视听数据流(A/V流)按照AVB通过标志(StreamID)可识别。该标志包括AVB源的MAC地址。
此外，按照IEEE1722的传输协议是已知的(“AVB输送协议”)。以太网框架在此包括IEEE P1722数据流，其中，数据流包包括提交时间(也称为AVB TP时间戳)。借助AVB技术可以通过分析所谓的以太网类型在第二层就已经确定，IEEE 1722包涉及A/V数据还是涉及其他的信息(例如其他的IP数据)。因此，只有在可以确定数据内容的类型之前才不必耗费地在协议堆栈的多层上分析IEEE 1722包。所述的提交时间由AVB源确定。IEEE 1722包包括有效数据(有效载荷)，例如形式为IEC61883包。相应地，可以利用其他的A/V格式。
按照IEEE802.1AS或者PTP(精确时间协议)，也已知用于网络的不同部件的时间同步或者时钟同步的协议。
车辆越来越多地拥有监视器(也称为显示单元或显示器)，它们使得乘客(副驾驶员、特别是在车辆停止时司机和/或车辆后座中的乘客)能够观看视听内容、例如影片或电视节目。为此，在车辆中经常设置有多个监视器、例如在车辆后座中一个或两个监视器和用于司机以及副驾驶员的一个或两个监视器。当所有的乘客观看相同的视听内容时，音频内容经由车辆的主声场(包括例如至少一个放大器与相连的扬声器)输出。在这里重要的是，声音的输出与在所有监视器上的图像的输出口形同步地进行。声音的这种口形同步输出的微小偏差已经由用户感觉到是干扰的。
在这里的问题是，数据源(A/V源)提供压缩的视听数据流，它例如经由前面的处理单元(例如所谓的头单元)在车辆的至少一个前面的监视器上输出和经由后面的处理单元(例如后座娱乐(RSE)单元)在车辆的至少一个后面的监视器上输出并且在此视听的数据流单独地不仅由前面的处理单元而且由后面的处理单元解码。数据流的传输和数据流的解码可以持续不同长的时间，由此前面和后面输出的图像数据彼此飘移并且再现的图像与输出的声音的口形同步性未得到保证。要指出的是，当处理单元之一用来控制主声场时，另一处理单元没有自动地与经由主声场输出的声音口形同步地在连接的监视器上输出解码的图像数据。
图1示出车辆中的网络示意性布置，包括数据源101，它经由网络102例如以太网与第一处理单元103(例如头单元)和与第二处理单元104(例如RSE单元)连接。监视器105与处理单元103连接，两个监视器106、107与处理单元104连接。此外，放大器108与网络102连接，该放大器对至少一个扬声器109进行供给。
在图1所示的实例中，数据源101把压缩的视听数据流经由网络102引导到处理单元103、104，这些处理单元对数据流进行解码并且在连接的监视器105、106、107上显示图像数据。只有处理单元103对音频信息(声音信息)进行解码并且把该信息经由网络102传送到放大器108。相应地，没有得到音频信息与在监视器106、107上显示的视频信息的口形同步的输出。
发明内容
本发明的目的在于，避免上述的缺点，特别是创建一种与视频信息口形同步地输出音频信息的解决方案，其中，特别是可以由车辆的多个不同处理单元解码视频信息。
为了达到该目的，建议一种用于在车辆中处理数据的方法，其中，数据作为数据流从源经由网络进行传输并且由第一处理单元接收；由第一处理单元对数据进行解码；把包括输出时间的再现信息或者把同步信息传输到第二处理单元，数据由第一处理单元和由第二处理单元接收，数据包括数据包，其中，至少一个数据包包含提交时间，从该提交时间起，接收到的数据由第一处理单元和由第二处理单元进行解码，该提交时间在将来位于这样远，使得数据流能不仅到达第一处理单元而且到达第二处理单元，其中考虑通过经由网络传送引起的最大的时间延迟，第一处理单元和第二处理单元借助协议在时间上同步，第一处理单元和第二处理单元分别具有音频解码单元和视频解码单元，第一处理单元把输出时间传输到第二处理单元，第一处理单元的视频解码单元经由输出时间进行控制，并且第二处理单元的视频解码单元的输出经由被传输的输出时间通过第一处理单元进行控制，由第一处理单元的音频解码单元控制第一处理单元的视频解码单元的输出。
由此有利地，第二处理单元由第一处理单元通知输出时间，而且是在第一处理单元中解码接收到的数据之后。例如，可以这样由第一处理单元确定输出时间，它考虑例如用于在网络中传输数据的运行时间和/或在网络的各单个部件中的处理时间，并且相应地告知第二处理单元。由此可以达到，数据同步地输出到网络的多个处理单元或者输出单元，特别是由此可以实现口形同步地输出音频和视频信息(例如在车辆的多个监视器上，它们至少部分地由不同的处理单元控制)。
在这里要指出，可以相应设有多于两个处理单元，其中，第一处理单元然后相应地可以如操作第二处理单元那样操作其他处理单元。
数据可以例如是组合的音频和视频信息，其特别是以压缩的方式传输并且由第一(和必要时第二)处理单元接收。
音频信息可以经由至少一个扬声器输出并且视频信息可以经由至少一个监视器(显示单元)输出。特别是，在第一和/或第二处理单元上可以分别连接至少一个监视器，在监视器上输出所接收到和解码好的数据的视频信息。
网络可以是一种连接结构，它能够实现网络的各部件之间的通信。网络例如是包定向的网络，例如以太网或者基于IP的网络。网络可以包括有线的或无线的通信部分(例如无线电通信)。例如，网络可以具有无线的网络、例如无线LAN(WLAN)或者至少蓝牙连接。网络也可以包括总线系统、例如MOST网络(也称为MOST总线或者MOST总线系统)，在其中，连接的各部件能识别共同的时间坐标(例如所谓的MOST系统时间)并且可以相应地利用该时间坐标。
处理单元可以是车辆的控制器。例如第一处理单元可以是车辆的中央控制器(例如所谓的头单元)。第二处理单元例如可以是RSE单元的控制器。特别是，处理单元可以是移动装置，它例如经由无线电接口与网络连接。由此能够实现，例如移动装置的监视器功能集成为(第二)处理单元，声音信息可以例如经由车辆的主声场输出。这样，车辆中的乘客可以利用他的移动终端显示装置，以便观看来自源的视频信息并且此外还听到经由车辆扬声器的音频信息。
此外要指出的是，同步信息是这样的信息，借助该信息能够达到第二处理单元(或部件、例如解码单元)与第一处理单元(或部件、例如解码单元)的同步。特别是借此可以保证，控制声音信息输出的那个处理单元也促使或控制与至少一个剩下的处理单元的同步。
此外的一种选择是，把输出时间和同步信息作为再现信息传输到第二处理单元。
再现信息包括例如电报，该电报例如借助PTP被传输到第二处理单元。
特别是，处理单元可以具有至少一个存储器(也称为缓冲器)用来暂存进来的数据(例如数据包)和/或用来暂存解码好的视频和/或音频信息。
也可能的是，第一处理单元具有发送器用来传输再现信息和必要时解码好的数据到第二(和/或其它的)处理单元和/或输出单元。
数据可以在车辆中由源提供。源例如可以是代码转换机、接收器、硬盘、播放驱动器(例如CDROM驱动器、DVD驱动器、蓝牙驱动器)。数据可以包括视听内容，例如电影、电视或类似物。数据尤其是可以由移动装置例如计算机、手机、掌上电脑(PDA)或类似物提供。
数据可以在本地在车辆中由数据载体再现或者至少部分地经由例如无线的接口(例如DVB、WLAN、移动通信接口等等)加载或接收。源优选经由网络提供数据作为包定向的数据流。该提供可以例如作为向网络的所有参与者、一部分参与者或者单个参与者实现(广播、多点传送、单播)，。
一种扩展方案在于，由第一处理单元和由第二处理单元(特别是经由网络从源那里)接收数据。
另一种扩展方案在于，由第二处理单元对数据进行解码，其中，解码好的数据的一部分、特别是音频或视频信息被丢弃；未被丢弃的解码好的数据在被传输的输出时间特别是由第二处理单元输出。
例如包括音频和视频信息的数据被解码并且由第二处理单元然后丢弃音频信息，因为该音频信息也由第一处理单元解码并且由第一处理单元控制车辆的主声场(包括车辆中的至少一个放大器和至少一个扬声器)。
可选择地也可能的是，视频信息被丢弃。也可以是一部分音频信息或一部分视频信息被丢弃。特别是，音频信息的各部分在车辆的不同的地点或处理单元上被解码和输出(例如在立体声、环绕立体声或其他的多通道声音输出情况下的不同声音通道)。
此外一种扩展方案是，数据具有提交时间，从该提交时间起，接收到的数据由第一处理单元和由第二处理单元进行解码。
还有一种扩展方案是，数据包括数据包，其中，至少一个数据包包含提交时间。
特别是，在这里可以是按照AVB协议或基于AVB协议的数据包。例如数据可以按照IEEE 1722包进行传输。
此外一种扩展方案是，第二处理单元具有音频解码单元和视频解码单元，经由第一处理处理单元的输出时间控制视频解码单元的输出。
特别是，视频解码单元的解码可以借助被传输的输出时间相应地被第二处理单元延迟。由此，第一处理单元借助被传输的输出时间控制第二处理单元的视频解码单元。
在一种附加的扩展方案范围中，第一处理单元具有音频解码单元和视频解码单元，其中，由第一处理单元的音频解码单元控制、特别是延迟第一处理单元的视频解码单元的输出。
在这里有利的是，音频解码单元可以以软件实现并且在(暂时强烈的)处理单元负荷下通过另一功能即该音频解码单元这样控制视频解码单元，使得视频信息一直还与解码好和输出的音频信息口形同步地再现。
下一种扩展方案在于，借助输出时间控制第一处理单元的视频解码单元。
一种设计方案在于，由第一处理单元解码的数据的至少一部分经由网络被传输到输出单元。
优选地，输出单元是这样的部件，它与网络连接并且经由该网络可以得到数据。输出单元可以具有音频输出单元(例如带有至少一个放大器和至少一个扬声器)和/或视频输出单元。
由第一处理单元提供的解码好的数据可以优选无继续解码或转换(代码转换)地输出。
特别是一种扩展方案，被传输到输出单元的解码好的那部分数据包括音频数据。
可选择地也可能的是，解码好的数据是视频数据或者包括这样的视频数据。
可以可选择的实施形式在于，输出单元包括至少一个放大器，每个放大器带有至少一个扬声器。
特别是，输出单元可以具有缓冲器(存储器)用来暂存进来的解码好的数据。
特别是，可以借助输出单元控制车辆的主声场。
下一种设计方案是，解码好的数据与输出时间一起被传输到输出单元。
由此可能的是，输出单元在输出时间输出解码好的数据。由此即使在多个分布的部件(它们经由网络彼此连接)的情况下也可以达到音频和视频信息的口形同步的输出。
还有一种设计方案，解码好的数据与输出时间一起借助AVB协议、特别是至少一个IEEE1722包被传输到输出单元。
输出时间可以相应地作为提交时间被嵌入到AVB协议的包中。
一种扩展方案在于，使与网络连接的各部件(在时间上)同步。
这样特别是建议，网络的多个部件在共同的时间坐标上同步，使得处理好的数据可以基于该共同的时间坐标输出。
该网络的多个部件的共同的时间坐标可以借助合适的协议、例如PTP(精确时间协议、按照IEEE 1588或IEEE 802.1AS)达到。借助网络的同步的各部件能够实现，提交时间在不同的部件中相同地被解释并由此可以时间同步地在分布的部件中进行输出。
另一种扩展方案在于，网络包括总线系统。
特别是总线系统可以实施为MOST总线系统。为了传输同步信息，可以利用总线系统的同步的和/或等时线的通道。
此外一种扩展方案是，借助同步信息使第二处理单元与第一处理单元同步。
特别是，同步信息可以是第一处理单元的视频解码单元的时间戳。这样第一处理单元的和第二处理单元的视频解码单元可以同步并且可以保证视频和音频信息的口形同步的输出。
上述的目的也借助一种包括处理单元的设备来达到，该处理单元设置为用来可实施在这里描述的方法。
处理单元可以例如是(部分)模拟的或者(部分)数字的处理单元，它可以实施为处理器和/或至少部分固定接线的电路装置，该电路装置这样设置为，可实施在这里描述的方法。
该处理器可以是或者可以包括任何类型的处理器或计算器或计算机，其具有相应需要的外围设备(存储器、输入/输出接口、输入－输出器具等等)。此外可以设有固定接线的电路单元、例如FPGA或者ASIC或者其他的集成电路。
下一设计方案是，本设备包括车辆的控制器或该控制器的一部分。
上述的目的也借助包括至少一个上述设备的车辆来达到。
附图说明
下面借助附图示出和阐述本发明的实施例。在附图中：
图2示出车辆的多个部件的框图，这些部件经由网络彼此连接；
图3示意地示出具有不同时刻的时间轴，用来表示经由主声场口形同步地输出音频信息；
图4示出车辆的经由总线系统彼此连接的多个部件的框图；
图5示出示意的框图，用来表示在按照图4连接到总线系统上的各解码单元之间的同步。
具体实施方式
图2示出车辆的多个部件的框图，这些部件经由网络彼此连接.
源201经由网络202例如以太网为处理单元203(例如头单元)和处理单元204(例如RSE单元)提供视听数据，其形式上为压缩的数据流，包括视频和音频信息。与处理单元203连接的是监视器205和与处理单元204连接的是两个监视器206和207。此外示出放大器208，它与网络202连接。与放大器208连接的是扬声器209。相应地，可以设有多个放大器或(此外每个放大器)多个扬声器。
处理单元203包括接收器210，它经由缓冲器211与信号分离器/解码器212连接。该信号分离器/解码器212包括音频解码单元213和视频解码单元214，其中，音频解码单元213例如以软件实现和视频解码单元214例如以硬件实现。经由视频解码单元214控制监视器205，也就是说，解码好的视频信息可以在监视器上输出。此外，处理单元203包括发送器215，它把在缓冲器223中包含的解码好的音频信息从音频解码单元213经由网络传输到放大器208。
优选地，放大器208包含缓冲器216用来暂存得到的音频信息和包含传动器217，该传动器控制(至少一个)扬声器209。
处理单元204的结构基本上与处理单元203一致，只是在按照图2的实例中处理单元204没有发送器和例如把解码好的视频信息在两个监视器206和207上输出。由此，处理单元204包括接收器218，它经由缓冲器219与信号分离器/解码器220连接。该信号分离器/解码器220包括音频解码单元221和视频解码单元222，其中，音频解码单元221例如以软件实现和视频解码单元222例如以硬件实现。
与网络连接的部件：处理单元203、处理单元204、放大器208和源201借助协议(例如IEEE802.1AS或者PTPv2)在时间上同步，也就是具有共同的同步的时间坐标。
图3示意地示出包括不同的时刻的时间轴301，并且表示，如何可以经由主声场达到口形同步地输出音频信息。
在时刻T0，要口形同步地输出视频信息和音频信息。在时间Ttx，源201发送数据流，其包括压缩的视频信息与压缩的音频信息。数据流对于处理单元203在时刻Trx_203到达和对于处理单元204在时刻Trx_204到达。特别是由于在网络202中的运行时间，时刻Trx_203和Trx_204是不同的。
处理单元203的音频解码单元213与视频解码单元214相比更快速地处理数据，也就是说，音频信息比相配的视频信息更早就已经存在。可选地，在处理单元203中可以设有解码好的音频和/或视频信息的缓冲器223(缓存器)。可选地，当音频内容的解码延迟时，音频解码单元213可以延迟视频解码单元214处的数据处理(视频信息的解码)，因为例如必须由处理单元203暂时地实施其他的任务(较高优先级的软件进程)。这种延迟(视频解码单元214的控制)在图2中通过从音频解码单元213到视频解码单元214的箭头表示。
处理单元204借助单元：信号分离器/解码器220对音频信息和视频信息进行解码。解码好的音频信息被丢弃，解码好的视频信息在监视器206、207上输出。优选解码好的视频信息几乎无延迟地输出，从而不需要(附加的或大的)缓冲器用来暂存在处理单元204中解码好的视频信息。
为了达到与在监视器205、206、207上示出的视频信息口形同步地输出音频信息，连接在网络上的各部件共同的时间坐标与IEEE1722传输协议的提交时间结合地如下被利用：源201把提交时间PTQ写入1722包，该提交时间在将来位于这样远，使得来自源201的数据流可以不仅到达处理单元203而且到达处理单元204：
PTQ＝Ttx+dTnetz
其中，dTnetz表示最大接受的过渡延迟(通过经由网络202传送引起的时间延迟)。处理单元203和204在器缓冲器211、219中存储包并且把所存储的包只有在时刻PTQ才继续传送到信号分离器/解码器212、220。
由此保证，信号分离器/解码器212、220同时开始处理或解码相同的数据包。
为了达到口形同步地输出音频信息而设定，处理单元203的音频解码单元213可以影响或控制、特别是延迟(制动)处理单元204的视频解码单元222。为此，音频解码单元213把消息(例如电报)发送到处理单元204，该消息包括输出时间T0、例如包括带有输出时间T0的PTP时间戳。在输出时间T0要再现音频信息，相应地处理单元204可以适配监视器206、207上的视频信息的输出。由此，音频解码单元213可以控制视频解码单元214和经由上述的电报也可以控制(例如制动)视频解码单元222，该电报经由发送器215被传输给处理单元204或者视频解码单元222。由此保证，视频信息在监视器205、206和207上的输出基本上同时地和与音频信息同步地进行。
这样，处理单元203在时间Htx_203借助IEEE 1722包(包括上述的提交时间T0)把解压缩的音频信息传送到发送器208，其中，满足下述条件：
T0＝Htx_203+dTnetz
与此相应，对于网络202得到的要求是，传输延迟dTnetz这样短，使得通过使视频解码单元222相对于音频解码单元213以音频信息解码所需要的持续时间303延缓，可以达到该传输延迟。换言之，要这样修改视频解码单元222的处理时间303，使得可以达到持续时间303和传输延迟dTnetz的总和。因为视频解码单元的处理时间302的延迟304在没有附加暂存解码好的视频信息情况下只能是较小的，那么网络要提供相应快速的传输和由此要提供相应短的传输延迟dTnetz。
特别是视频解码单元可以拥有缓冲器，使得可以实现暂存在缓冲器中的数据的保持功能和跳跃功能，以便相应地影响输出。
但当在视频解码单元222的出口处设有缓冲器和相应地在视频解码单元214的出口处设有缓冲器时(在图2中未示出)，取消这种要求。
在这里有利的是，作为车辆中的网络202可以采用以太网和仍然能够实现音频信息和视频信息的口形同步的输出，这些信息在车辆中不同的部位被解码。还有利的是，在处理单元或解码单元中不需要附加的昂贵的缓冲器或存储器。
图4示出一种可选择的实施例，包括车辆的多个部件的框图，这些部件经由总线系统彼此连接。
数据源401经由总线系统402、例如MOST总线与第一处理单元403(例如头单元)和与第二处理单元404(例如RSE单元)连接。在第一处理单元403上连接的是监视器405和放大器408，该放大器对至少一个扬声器409进行供应。此外，在第二处理单元404上连接两个监视器406、407。
压缩的视听数据流410(例如DMB视频)从数据源401经由总线系统402的同步和/或等时的通道被发送到两个处理单元403、404(视频槽)。优选地，该视听数据流410具有时间戳信息，借助该时间戳信息可以确定处理单元403、404中的传出时刻(例如数据源401传输MPEG-TS数据包)。
视听数据流410在处理单元404中被解码，解码好的音频信息被丢弃并且解码好的视频信息被输出到连接的监视器406、407。
相应地，视听数据流410在处理单元403中被解码，解码好的音频信息(例如无缓冲地)经由总线系统402在同步的和/或等时的通道被传输到放大器。可选择地也可能，放大器408直接由处理单元403控制。由处理单元403解码的视频内容(同时地、特别是直接)被输出，其中，优选只设有小的缓冲器或存储器用于视频数据的解码和输出(例如在作为硬件实现的视频解码单元中)。
为了防止处理单元403和404由于运行时间差别而彼此飘移和由此不再保证口形同步地输出音频和视频信息，建议以下的同步机制：处理单元403(其借助解码好的音频信息控制车辆的主声场)，把同步信息411、特别是时间戳(例如系统节拍中的解码器时间戳)发送到处理单元404。
优选同步信息经由总线系统的同步的和/或等时的通道被传输。
图5示意地示出用于分析和调节处理单元404中的同步信息411的框图。这样借助比较器502对同步信息411与处理单元404的时间戳501进行比较并且借助确定的偏差503来使处理单元404同步、也就是说相应地进行调节。由此达到，处理单元403、404彼此同步。处理单元404的同步例如可以如此达到：单个帧被跳过或者被双倍输出。
附图标记列表
101源 223缓冲器(存储器)
102网络 301时间轴
103处理单元 302视频解码单元222的处理时间
104处理单元 303音频解码单元213的处理时间
105监视器 304延迟
106监视器 T0输出时间
107监视器 PTQ(由源201预定的)提交时间
108放大器 Ttx源发送数据(包)的时间
109扬声器 dTnetz网络202中的传输延迟
201源 Trx_203由处理单元203接收数据
202网络 的时刻
203处理单元 Trx_204由处理单元204接收数据
204处理单元 的时刻
205监视器 Htx_203处理单元203借助IEEE
206监视器 1722包传输解压的音频信息到放大
207监视器 器208的时刻
208放大器 401源
209扬声器 402网络(总线系统)
210接收器 403处理单元
211缓冲器(存储器) 404处理单元
212信号分离器/解码器 405监视器
213音频解码单元 406监视器
214视频解码单元 407监视器
215发送器 408放大器
216缓冲器(存储器) 409扬声器
217传动器 410 A/V数据流
218接收器 411同步信息
219缓冲器(存储器) 501时间戳
220信号分离器/解码器 502比较器
221音频解码单元 503偏差
222视频解码单元

Claims (14)

1.用于在车辆中处理数据的方法，其中，数据作为数据流从源(201)经由网络(202)进行传输并且由第一处理单元(203)接收；由第一处理单元(203)对数据进行解码；把包括输出时间(T0)的再现信息传输到第二处理单元(204)，其特征在于，数据由第一处理单元(203)和由第二处理单元(204)接收，数据包括数据包，其中，至少一个数据包包含提交时间(PTQ)，从该提交时间起，接收到的数据由第一处理单元(203)和由第二处理单元(204)进行解码，该提交时间在将来位于这样远，使得数据流能不仅到达第一处理单元(203)而且到达第二处理单元(204)，其中考虑通过经由网络(202)传送引起的最大的时间延迟，第一处理单元(203)和第二处理单元(204)借助协议在时间上同步，第一处理单元(203)和第二处理单元(204)分别具有音频解码单元(213、221)和视频解码单元(214、222)，第一处理单元(203)把输出时间(T0)传输到第二处理单元(204)，第一处理单元(203)的视频解码单元(214)经由输出时间(T0)进行控制，并且第二处理单元(204)的视频解码单元(222)的输出经由被传输的输出时间(T0)通过第一处理单元(203)进行控制，由第一处理单元(203)的音频解码单元(213)控制第一处理单元(203)的视频解码单元(214)的输出。
2.按照权利要求1所述的方法，其特征在于，由第二处理单元(204)对数据进行解码，其中，解码好的数据的一部分被丢弃；未被丢弃的解码好的数据在被传输的输出时间(T0)被输出。
3.按照权利要求2所述的方法，其特征在于，解码好的数据中的音频或视频信息被丢弃。
4.按照权利要求1至3之一所述的方法，其特征在于，由第一处理单元(203)的音频解码单元(213)延迟第一处理单元(203)的视频解码单元(214)的输出。
5.按照权利要求1至3之一所述的方法，其特征在于，由第一处理单元(203)解码的数据的至少一部分经由网络(202)被传输到输出单元。
6.按照权利要求5所述的方法，其特征在于，被传输到输出单元的解码好的那部分数据包括音频数据。
7.按照权利要求5所述的方法，其特征在于，输出单元包括至少一个放大器(208)，每个放大器带有至少一个扬声器(209)。
8.按照权利要求5所述的方法，其特征在于，解码好的数据与输出时间(T0)一起被传输到输出单元。
9.按照权利要求8所述的方法，其特征在于，解码好的数据与输出时间(T0)一起借助AVB协议被传输到输出单元。
10.按照权利要求9所述的方法，其特征在于，解码好的数据与输出时间(T0)一起借助至少一个IEEE 1722包被传输到输出单元。
11.按照权利要求1至3之一所述的方法，其特征在于，使与网络(202)连接的各部件同步。
12.按照权利要求1至3之一所述的方法，其特征在于，网络(202)包括总线系统。
13.按照权利要求1至3之一所述的方法，其特征在于，借助同步信息使第二处理单元(204)与第一处理单元(203)同步。
14.包括处理单元的设备，所述处理单元设置为，能实施按照权利要求1至13之一所述的方法。
CN201180024317.3A 2010-05-17 2011-05-16 用于在车辆中使数据同步的方法和设备 Active CN102893542B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102010029030A DE102010029030A1 (de) 2010-05-17 2010-05-17 Verfahren und Vorrichtung zur Verarbeitung von Daten in einem Fahrzeug
DE102010029030.0 2010-05-17
PCT/EP2011/057825 WO2011144548A1 (de) 2010-05-17 2011-05-16 Verfahren und vorrichtung zur synchronisierung von daten in einem fahrzeug

Publications (2)

Publication Number Publication Date
CN102893542A CN102893542A (zh) 2013-01-23
CN102893542B true CN102893542B (zh) 2017-01-18

Family

ID=44310306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180024317.3A Active CN102893542B (zh) 2010-05-17 2011-05-16 用于在车辆中使数据同步的方法和设备

Country Status (5)

Country Link
US (1) US9667693B2 (zh)
EP (1) EP2572463B1 (zh)
CN (1) CN102893542B (zh)
DE (1) DE102010029030A1 (zh)
WO (1) WO2011144548A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286384B2 (en) 2011-09-21 2016-03-15 Sonos, Inc. Methods and systems to share media
DE102011122590B4 (de) * 2011-12-30 2014-01-23 Deutsche Telekom Ag System und Verfahren zur Wiedergabe von ersten Wiedergabedaten und wenigstens zweiten Wiedergabedaten, Computerprogramm und Computerprogrammprodukt
DE102013226977B3 (de) * 2013-12-20 2015-02-05 Cetitec GmbH Kommunikationsknoten für ein paketvermitteltes Datennetzwerk und Verfahren zu dessen Betrieb
DE102014200558A1 (de) * 2014-01-15 2015-07-16 Bayerische Motoren Werke Aktiengesellschaft Gesicherter Netzwerk-Zugangsschutz über authentifizierte Zeitmessung
CN103986714B (zh) * 2014-05-16 2017-11-21 深圳市达图蛙科技开发有限公司 将总线控制网络接入avb网络的代理实现方法及装置
DE102014212989A1 (de) * 2014-07-04 2016-01-07 Bayerische Motoren Werke Aktiengesellschaft Steuern von Datenverbindungen und/oder Datenübertragungen in einer mobilen Funkeinrichtung
US10178281B2 (en) * 2014-07-28 2019-01-08 Starkey Laboratories, Inc. System and method for synchronizing audio and video signals for a listening system
KR101565093B1 (ko) * 2014-11-13 2015-11-02 현대모비스 주식회사 차량 avb 환경에서 시간 동기화 방법 및 이를 이용한 시스템
US9762470B2 (en) * 2015-04-14 2017-09-12 GM Global Technology Operations LLC Determining performance criteria of a vehicle communication network connection
US9612792B2 (en) * 2015-06-15 2017-04-04 Intel Corporation Dynamic adjustment of audio production
US10098082B2 (en) * 2015-12-16 2018-10-09 Sonos, Inc. Synchronization of content between networked devices
US10148453B2 (en) * 2016-02-24 2018-12-04 Qualcomm Incorporated Using update slot to synchronize to Bluetooth LE isochronous channel and communicate state changes
US20170332148A1 (en) * 2016-05-12 2017-11-16 The Boeing Company Distributed digital projection system for a vehicle
US9967689B1 (en) 2016-09-29 2018-05-08 Sonos, Inc. Conditional content enhancement
US10936879B2 (en) 2016-12-19 2021-03-02 The Boeing Company System for displaying the status of use of aircraft overhead luggage storage bins
US10425759B2 (en) * 2017-08-30 2019-09-24 Harman International Industries, Incorporated Measurement and calibration of a networked loudspeaker system
US10262696B1 (en) 2017-10-13 2019-04-16 ANI Technologies Private Limited Clock synchronization for playback of multimedia files
US10602139B2 (en) * 2017-12-27 2020-03-24 Omnivision Technologies, Inc. Embedded multimedia systems with adaptive rate control for power efficient video streaming
KR102559350B1 (ko) * 2019-05-10 2023-07-25 시네웨이브 피티이. 엘티디. 모바일 디바이스 상의 오디오 콘텐츠를 별개의 시각적 디스플레이 시스템에 동기화하기 위한 시스템 및 방법
KR102275141B1 (ko) * 2019-12-19 2021-07-07 현대오트론 주식회사 차량용 이더넷 네트워크에서 다수의 서브 제어기로부터 수신되는 다중 스트림 데이터를 동기화하여 출력하기 위한 차량 기기 제어 장치 및 방법
CN111554004B (zh) * 2020-04-26 2021-11-12 东风汽车集团有限公司 一种支持总线数据和视频同步的车载数据采集设备
US11526711B1 (en) 2020-05-20 2022-12-13 State Farm Mutual Automobile Insurance Company Synchronizing image data with either vehicle telematics data or infrastructure data pertaining to a road segment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060072627A1 (en) * 2004-10-04 2006-04-06 Sony Corporation Audio/video synchronizing system and monitor apparatus

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5321750A (en) * 1989-02-07 1994-06-14 Market Data Corporation Restricted information distribution system apparatus and methods
US5319453A (en) * 1989-06-22 1994-06-07 Airtrax Method and apparatus for video signal encoding, decoding and monitoring
US5768539A (en) * 1994-05-27 1998-06-16 Bell Atlantic Network Services, Inc. Downloading applications software through a broadcast channel
GB2296170A (en) * 1994-12-16 1996-06-19 Ibm Audio communication apparatus
EP0817502A3 (en) * 1996-07-04 2010-01-06 Panasonic Corporation Multiplexed video data processing method ensuring synchronisation of several data objects
DE19651308C2 (de) 1996-12-10 1998-10-22 Becker Gmbh Audio-Soundsystem für ein Kraftfahrzeug
US6151443A (en) * 1997-05-16 2000-11-21 Indigita Corporation Digital video and data recorder
EP1708487B1 (en) * 1997-08-29 2013-05-08 Panasonic Corporation Method and apparatus for reading a high-resolution optical video disc
DE19754297A1 (de) * 1997-12-08 1999-06-10 Thomson Multimedia Sa Audiodatendekoder
GB9930787D0 (en) * 1999-12-30 2000-02-16 Koninkl Philips Electronics Nv Method and apparatus for convrerting data streams
GB0000873D0 (en) * 2000-01-14 2000-03-08 Koninkl Philips Electronics Nv Interconnection of audio/video devices
US7266501B2 (en) * 2000-03-02 2007-09-04 Akiba Electronics Institute Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
JP2002042423A (ja) * 2000-07-27 2002-02-08 Pioneer Electronic Corp オーディオ再生装置
JP4304888B2 (ja) * 2000-09-04 2009-07-29 ソニー株式会社 記録媒体、編集装置及び編集方法
JP2002135126A (ja) * 2000-10-26 2002-05-10 Seiko Epson Corp 半導体装置及びこれを用いた電子機器
JP2002344898A (ja) * 2001-05-17 2002-11-29 Pioneer Electronic Corp 映像表示装置、音声調整装置及び映像音声出力装置、並びに映像音声同期方法
US7016418B2 (en) * 2001-08-07 2006-03-21 Ati Technologies, Inc. Tiled memory configuration for mapping video data and method thereof
US20030066094A1 (en) * 2001-09-29 2003-04-03 Koninklijke Philips Electronics N.V. Robust method for recovering a program time base in MPEG-2 transport streams and achieving audio/video sychronization
US7006152B2 (en) * 2002-03-01 2006-02-28 Broadcom Corporation System and method for providing picture-in-picture timebase management
JP4582683B2 (ja) * 2002-10-15 2010-11-17 ソニー株式会社 データ処理装置およびデータ処理方法、並びにプログラム
CH704101B1 (de) * 2002-11-06 2012-05-31 Barix Ag Verfahren und Vorrichtung zur synchronisierten Wiedergabe von Datenströmen.
US7613379B2 (en) * 2002-12-24 2009-11-03 Panasonic Corporation Recording and reproduction apparatus, recording apparatus, editing apparatus, information recording medium, recording and reproduction method, recording method, and editing method
US20080272649A1 (en) * 2003-10-31 2008-11-06 Johnson Controls Technology Company Electrical connectivity system for use in a vehicle
JP2006164337A (ja) * 2004-12-02 2006-06-22 Sony Corp データ処理装置およびデータ処理方法、プログラムおよびプログラム記録媒体、並びにデータ記録媒体
US7865021B2 (en) * 2004-12-06 2011-01-04 Nec Electronics Corporation Compressed stream decoding apparatus and method
JP4936657B2 (ja) * 2004-12-06 2012-05-23 ソニー株式会社 デジタル放送受信装置及びデジタル放送受信制御方法
US8929464B2 (en) * 2005-03-25 2015-01-06 Sharp Laboratories Of America, Inc. Video entropy decoding with graceful degradation
WO2007066710A1 (ja) * 2005-12-07 2007-06-14 Sony Corporation 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム
US8711929B2 (en) * 2006-11-01 2014-04-29 Skyfire Labs, Inc. Network-based dynamic encoding
US8875217B2 (en) * 2006-11-06 2014-10-28 Panasonic Corporation Receiver
US20100166053A1 (en) * 2007-01-31 2010-07-01 Sony Corporation Information processing device and method
US8027560B2 (en) * 2007-02-05 2011-09-27 Thales Avionics, Inc. System and method for synchronizing playback of audio and video
US8272008B2 (en) * 2007-02-28 2012-09-18 At&T Intellectual Property I, L.P. Methods, systems, and products for retrieving audio signals
JP4962119B2 (ja) * 2007-04-27 2012-06-27 パナソニック株式会社 デジタル放送受信機
US20090015659A1 (en) * 2007-07-11 2009-01-15 Seungyeob Choi Method and System for Moderating Multiparty Video/Audio Conference
US20090074376A1 (en) * 2007-09-17 2009-03-19 Himax Technologies Limited Apparatus and method for efficient av synchronization
US8341454B1 (en) * 2007-12-28 2012-12-25 Marvell International Ltd. Rendering a video stream based on digital clock generated based on timing information
DE102008039329A1 (de) * 2008-01-25 2009-07-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Berechnung von Steuerinformationen für ein Echounterdrückungsfilter und Vorrichtung und Verfahren zur Berechnung eines Verzögerungswerts
CN102177726B (zh) * 2008-08-21 2014-12-03 杜比实验室特许公司 用于音频和视频签名生成和检测的特征优化和可靠性估计
US8731000B2 (en) * 2009-09-30 2014-05-20 Cisco Technology, Inc. Decoding earlier frames with DTS/PTS backward extrapolation
JP2013513129A (ja) * 2009-12-02 2013-04-18 トムソン ライセンシング ホーム・シアターのコンテンツ較正の最適化

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060072627A1 (en) * 2004-10-04 2006-04-06 Sony Corporation Audio/video synchronizing system and monitor apparatus

Also Published As

Publication number Publication date
CN102893542A (zh) 2013-01-23
US20130070860A1 (en) 2013-03-21
EP2572463A1 (de) 2013-03-27
DE102010029030A1 (de) 2012-03-01
EP2572463B1 (de) 2018-04-18
US9667693B2 (en) 2017-05-30
WO2011144548A1 (de) 2011-11-24

Similar Documents

Publication Publication Date Title
CN102893542B (zh) 用于在车辆中使数据同步的方法和设备
JP7230008B2 (ja) リアルタイムオーディオおよびデータを提供するためのシステムおよび方法
US8477950B2 (en) Home theater component for a virtualized home theater system
US7814515B2 (en) Digital data delivery system and method of the same
US7724780B2 (en) Synchronization of one or more source RTP streams at multiple receiver destinations
EP1643775B1 (en) Audio/video synchronizing system and monitor apparatus
CN102364952B (zh) 一种多路音视频同时播放时处理音视频同步的方法
US8792473B2 (en) Synchronization of a plurality of data streams
JP2010518692A (ja) オーディオ及びビデオの再生を同期するためのシステム及び方法
CN104584567A (zh) 音频转发设备和对应的方法
CN104426832A (zh) 一种多终端多声道独立播放方法及装置
CN101271720A (zh) 一种手机流媒体音视频的同步方法
KR20100080838A (ko) 원격 오디오와 고정 비디오의 동기화
JP2004193868A (ja) 無線送受信システム及び無線送受信方法
TWI528827B (zh) 於複製模式中作無線多播的方法與設備及電腦可讀取媒體
JP2003101958A (ja) 同期再生のための方法および装置
CN109565466A (zh) 多设备间唇音同步方法及设备
WO2008028361A1 (fr) Procédé de lecture synchrone de données audio et vidéo en diffusion multimédia mobile
CN105052163A (zh) 再现装置及数据再现方法
JP4986229B2 (ja) 同期した異なる種類のストリーミングデータを受信し且つ同時に再生する受信システム、受信装置及びプログラム
JP2009081654A (ja) ストリーム同期再生システム及び方法
US9894006B2 (en) Stream shaping in AVB networks
KR100782014B1 (ko) 비압축 고품질 미디어 전송 시스템 및 그 방법과 그프로그램 소스를 저장한 기록매체
KR102275141B1 (ko) 차량용 이더넷 네트워크에서 다수의 서브 제어기로부터 수신되는 다중 스트림 데이터를 동기화하여 출력하기 위한 차량 기기 제어 장치 및 방법
JP2008028599A (ja) マルチメディアデータの再生方法及びこの方法を実施するための主通信機及び従通信機ならびにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant