DE19620186A1 - Verfahren und Vorrichtung zur Synchronisierung zeitlich in Bezug stehender Datenströme - Google Patents

Verfahren und Vorrichtung zur Synchronisierung zeitlich in Bezug stehender Datenströme

Info

Publication number
DE19620186A1
DE19620186A1 DE19620186A DE19620186A DE19620186A1 DE 19620186 A1 DE19620186 A1 DE 19620186A1 DE 19620186 A DE19620186 A DE 19620186A DE 19620186 A DE19620186 A DE 19620186A DE 19620186 A1 DE19620186 A1 DE 19620186A1
Authority
DE
Germany
Prior art keywords
data stream
data
compressed
time
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE19620186A
Other languages
English (en)
Other versions
DE19620186B4 (de
Inventor
Rolf Toft
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Electronics Inc
Original Assignee
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Electronics Inc filed Critical Sony Electronics Inc
Publication of DE19620186A1 publication Critical patent/DE19620186A1/de
Application granted granted Critical
Publication of DE19620186B4 publication Critical patent/DE19620186B4/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/18—Time-division multiplex systems using frequency compression and subsequent expansion of the individual signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams

Description

Die vorliegende Erfindung bezieht sich allgemein auf die Synchronisierung von Datenströmen, und insbesondere auf Verfahren und eine Vorrichtung zum Synchronisieren mehrerer miteinander zeitlich in Bezug stehender, komprimierter Datenströme, die zusammen mittels eines Übertragungsträgers übertragen werden.
Die Übertragung zeitlich in Bezug stehender, komprimierter Datenströme mittels einem Übertragungsträger oder -medium tritt typischerweise bei Video-Telekonferenzsystemen auf. Da der Ton durch einen verschiedenen Algorithmus bearbeitet wird, ist die Verarbeitungszeit für die Komprimierung/Dekomprimierung eines Ton-Bitstromes entsprechend einer gegebenen Zeitperioden-Abtastung von der Zeit verschieden, die zur Komprimierung/Dekomprimierung des Video-Bitstromes benötigt wird, der dem gleichen Zeitperioden-Bild entspricht.
Bezugnehmend auf Fig. 5 ist ein Blockschaltbild eines bekannten CCITT 11.320 Telekonferenzsystems 100 dargestellt. Ein Videosignal, beispielsweise von einer Fernsehkamera innerhalb eines Konferenzraumes, wird zu einem Videoeingang 102 gegeben. Der Videoeingang 102 ist mit einem Eingang 104 eines Kompressors (Datenverdichters) 106 verbunden. Der Kompressor 106 kann das Videosignal unter Verwendung eines beliebigen einer Anzahl von Algorithmen komprimieren, wie beispielsweise einem Algorithmus gemäß dem CCITT H.261-Standard. Gemäß dem H.261-Standard wird ein Videovollbild ("Rahmen") auf Grundlage einer Bewegungsabschätzung codiert, die von einem rekonstruierten vorherigen Vollbild abgeleitet wird, gefolgt durch eine Schwellenwert-Festlegung, Quantisierung und eine Laufzeitcodierung. Solch ein System ist durch das System 200 von Fig. 2 veranschaulicht.
Ein codiertes Vollbild wird im wesentlichen in der inversen Weise wie durch das System 300 von Fig. 3 dargestellt decodiert.
Alternativ kann das Videosignal unter Verwendung einer Differenz-Codierung auf Grundlage von Bewegungsvektoren von jedem Pixel innerhalb eines Vollbildes komprimiert werden.
Wiederum bezugnehmend auf Fig. 5 wird ein entsprechendes Tonsignal, das beispielsweise durch ein Mikrofon in dem gleichen Konferenzraum erzeugt wird, zu einem Audioeingang 108 gegeben. Das Audiosignal wird somit zu einem Eingang 110 eines Kompressors 112 gegeben. Der Kompressor 112 kann beispielsweise gemäß dem CCITT G.728-Standard betrieben werden, der einen gering verzögernden Codebewegungs-Linearvorhersage­ Geschwindigkeitscodierer mit 16 kbit/sek verwendet. Da die Bandbreite des Audiosignales wesentlich geringer ist als die Bandbreite des Videosignales, wird ein unkomplizierterer Komprimierungsalgorithmus, der eine geringere Verarbeitungszeit benötigt, zum Erreichen einer akzeptablen Bandbreite benötigt.
Eine Steuerinformation, die zu einem Steuerinformations-Eingang 114 eingegeben wird, wird zu einem ersten Multiplexer-Eingang 116 gegeben. Die Steuerinformation besteht typischerweise aus Daten, die den Multiplexer 118 mehrere Datenströme gemäß einem vorgewählten Muster oder Protokoll multiplexen oder zusammenstellen lassen. Ein komprimiertes Videosignal von dem Kompressor 106 wird von einem Kompressorausgang 102 zu einem zweiten Multiplexereingang 122 gegeben. Ein komprimiertes Audiosignal von dem Kompressor 112 wird von einem Kompressorausgang 124 zu einem dritten Multiplexer-Eingang 126 gegeben.
Der Multiplexer 118 multiplext gemäß dem CCITT H.221-Standard auf einer Zeitbasis die Steuerinformation mit dem komprimierten Videosignal und dem komprimierten Audiosignal, und gibt ein Multiplexsignal zu einem Ausgang 128. Gemäß dem CCITT H.221-Standard wird ein 64 kbit/sek-Kanal in Achterformationen strukturiert, die mit 8 kHz übertragen werden. Die 8 bit von jeder Achterformation (Oktet) werden von einem Unterkanal von 8 kbit/sek übertragen. Dieser Unterkanal, der typischerweise als Servicekanal ("SC") bezeichnet wird, sorgt für eine durchgehende Signalisierung und besteht aus drei Teilen.
Bezugnehmend auf Fig. 4 besteht der Servicekanal aus einem ersten Teil, der als Vollbild- Ausrichtungssignal ("FAS"), einem Bitraten-Kennungssignal ("BAS") und einem Anwendungskanal ("AC").
Das Vollbild-Ausrichtungssignal strukturiert den 64 kbit/sek-Kanal in Vollbilder von 80 Oktets und Vielfachbildern von jeweils 16 Vollbildern. Jedes Vielfachbild wird in acht Unter-Vielfachbilder von je zwei Bildern unterteilt. Zusätzlich zu der Bild- und Vielfachbildinformation können eine Steuer- und Alarminformation eingesetzt werden, sowie eine Fehlerprüfinformation, um die Strecken-Fehlerleistung zu prüfen und den Vollbild-Ausrichtwert zu prüfen. Das Rahmenausrichtsignal kann ebenfalls verwendet werden, um eine Oktet-Taktung abzuleiten, die nicht durch das Übertragungsnetzwerk bereitgestellt wird.
Das Bitraten-Kennungssignal gestattet die Übertragung von Codewörtern, um die Eigenschaften eines Terminals zu beschreiben, um die übrigen 62,4 kbit/s- Übertragungskapazität in vielfacher Weise zu strukturieren, und um einen Empfänger zum Demultiplexen und zur Verwendung der in solchen Strukturen enthaltenen Signale anzusteuern. Wenn andere 64 kbit/s-Kanäle zugeordnet werden, wie in dem Fall von n × 64 kbit/s-Diensten, so kann diese Zuordnung ebenfalls definiert werden.
Der Anwendungskanal ("AC") gestattet die Übertragung von Binärinformation zur Einsetzung in Nachrichtendatenkanälen (beispielsweise telematische Information) bis zu 6400 bit/s. Ein minimal benötigter Steuer- und Hinweiskanal sollte als Teil des Anwendungskanals vorgesehen und definiert sein. Die übrige Bitrate für den Anwendungskanal kann den Tondaten oder Videodaten hinzugefügt werden.
Wiederum bezugnehmend auf Fig. 5 gibt der Ausgang 128 des Multiplexers 118 das Multiplexsignal zu einem Übertragungsträger 130, wie beispielsweise einem Integrierten- Dienst-Digital-Netzwerk ("ISDN"), das durch örtliche Telefongesellschaften, wie beispielsweise Pacific Bell und durch Fernübertragungsdienste, wie beispielsweise AT & T, MCI and Sprint angeboten wird.
Der Übertragungsträger 130 gibt das Multiplexsignal zu einem Eingang 130 eines Demultiplexers 134. Der Demultiplexer 134 demultiplext das Multiplexsignal auf einer Zeitbasis gemäß dem CCITT H.221-Standard und gibt die Steuerinformation zu einem ersten Ausgang 136 des Demultiplexers 134, ein komprimiertes Audiosignal zu einem zweiten Ausgang 138 des Demultiplexers 134 und ein komprimiertes Videosignal zu einem dritten Ausgang 140 des Demultiplexers 142.
Das komprimierte Videosignal von dem dritten Ausgang 140 wird zu einem Eingang 142 eines Dekomprimierers 144. Der Dekomprimierer 144 dekomprimiert das komprimierte Videosignal gemäß dem CCITT H.261-Standard und gibt das rekonstruierte (komprimierte und dekomprimierte) Videosignal zu einem Ausgang 146, der mit einem Videoausgang 148 verbunden ist. Das Videosignal an dem Ausgang 148 wird dann auf einem geeigneten Videomonitor (nicht gezeigt) dargestellt.
Das komprimierte Audiosignal an dem Ausgang 138 wird zu einem Eingang 150 des Dekomprimierers 152 gegeben. Der Dekomprimierer 152 dekomprimiert gemäß dem CCITT H.728-Standard das komprimierte Audiosignal, um ein rekonstruiertes Audiosignal zu einem Ausgang 154 zu geben. Das Audiosignal an dem Ausgang 154 wird zu einem ersten Eingang 156 einer Verzögerungsschaltung 158 gegeben. Steuerinformation von dem Ausgang 136 des Demultiplexers 134 wird zu einem Ausgang 159 gegeben. Die Verzögerungsschaltung 158 verzögert das dekomprimierte Audiosignal um eine Zeitdauer, die entweder fest ist oder ohne Bezug zu der Bilddekompressionszeit verändert wird. Die Verzögerungsschaltung 158 versucht somit die Taktung des Audiosignales mit Bildern zu synchronisieren, die Teil des Videosignales sind. Das verzögerte dekomprimierte Audiosignal wird zu einem Ausgang 162 der Verzögerungsschaltung 158 gegeben. Der Ausgang 162 ist mit einem Audioausgang 164 gekoppelt, der in einem Telekonferenzsystem ein Audiosystem mit entweder Lautsprechern oder Kopfhörern oder beiden zusammen ansteuert.
Genauer gesagt ist es bei einem Telekonferenzaufbau äußerst wünschenswert, die Gesichtsbewegungen eines Teilnehmers mit der von diesem Teilnehmer gesprochenen Sprache zu synchronisieren. Sonst sieht es für Betrachter an dem anderen Ende der Übertragungsleitung 132 so aus, wie wenn der Ton überspielt werden wurde.
Bei dem herkömmlichen CCITT H.320-System ist die Verwendung einer festen Verzögerung oder einer veränderbaren Verzögerung, die keinerlei Beziehung zu dem Bewegungswert innerhalb der Videosignale aufweist, ganz einfach ein in Kauf genommener Kompromiß zur Verwendung einer Komprimierung auf niedrige Übertragungsbandbreiten-Bedürfnisse, wobei gleichzeitig ein akzeptabler Bildauflösungspegel erhalten wird.
Weiterhin kann in einem Telekonferenzsystem, bei dem mehrere Videosignale zusammen mit dem zugehörigen Audiosignal bereitgestellt werden, wie z. B. ein Echtzeitfenster- Abbildungssystem zur Verwendung beim Fernunterricht von Medizintechniken, es wünschenswert sein, einen unterschiedlichen Kompressionsalgorithmus bei jedem einzelnen Videosignal zu verwenden, da die Auflösung und die Bildwiederherstellungsbedürfnisse für jedes einzelne Videosignal optimiert werden würden. Neben solchen Unterschieden bei der Verarbeitung von Videosignalen ist es äußerst wünschenswert, daß die Bewegung, die in jedem Bild gezeigt ist, zwischen den Bildern sowie zwischen dem zugehörigen Audiosignal synchronisiert ist.
Dementsprechend wäre es wünschenswert, Verfahren und eine Vorrichtung zum dynamischen Synchronisieren mehrerer miteinander in Bezug stehender komprimierter Datenströme zu schaffen, die zusammen über einen Übertragungsträger übertragen werden, um somit eine besser ansehbare und realistischere audiovisuelle Präsentation oder Telekonferenz zu schaffen.
Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zum dynamischen Synchronisieren mehrerer in Bezug stehender komprimierter Datenströme zu schaffen, die zusammen über einen Übertragungsträger übertragen werden.
Es ist eine weitere Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung zum effizienten Einbauen von Synchronisierungsdaten innerhalb der Steuerinformation zu schaffen, die mit den mehreren in Bezug stehenden komprimierten Datenströmen multiplexiert wird.
Es eine zusätzliche Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung zur dynamischen Steuerung der Verzögerung eines zweiten Datenstromes auf Grundlage des Unterschiedes zwischen der Gesamtzeit für die Komprimierung und Dekomprimierung eines ersten Datenstromes und der Gesamtzeit für die Komprimierung und Dekomprimierung des zweiten Datenstromes zu schaffen.
Gemäß der Erfindung werden Daten erzeugt, die die Zeit zur Codierung eines ersten Datenstromes anzeigen, und solche erzeugten Daten werden in der Steuerinformation eingebaut, die zusammen mit mehreren komprimierten Datenströmen multiplexiert wird.
Es ist ein weiteres Merkmal der Erfindung, daß Daten verwendet werden, die die Zeit zum Codieren wenigstens eines Datenstromes anzeigen, um Verzögerungswerte dynamisch zu steuern, die auf einen oder mehrere komprimierte und dekomprimierte Datenströme angewendet werden.
Es ist ein weiteres Merkmal der Erfindung, Daten zu verwenden, die die Zeit zum Codieren eines ersten Datenstromes anzeigen, um Daten zu erzeugen, die einen erwarteten Zeitwert anzeigen, der zum Decodieren eines codierten ersten Datenstromes benötigt wird.
Weiterhin wird ein Zeitwert dynamisch variiert, der auf einen dekomprimierten komprimierten Datenstrom auf Grundlage von Verzögerungsdaten angewendet wird, die auf einer Vollbildbasis für Videosignale erzeugt wurden.
Es ist ein Vorteil der Erfindung, eine genauere Synchronisierung zwischen miteinander in Bezug stehenden komprimierten Datenströmen zu schaffen, als es durch herkömmliche Systeme möglich ist.
Es ist ein zusätzlicher Vorteil der Erfindung, eine genauere Synchronisierung zwischen miteinander in Bezug stehenden komprimierten Datenströmen zu schaffen, als durch herkömmliche Systeme ermöglicht wird, ohne wesentlich die Bandbreite zu erhöhen, die zur Übertragung solcher miteinander in Bezug stehender komprimierter Datenströme benötigt wird.
Gemäß einem Aspekt der Erfindung verwendet ein System zur dynamischen Synchronisierung mehrerer Ströme von zeitlich in Bezug stehender Daten einen ersten Kompressor (Datenverdichter) zum Komprimieren eines ersten Datenstromes, um somit einen ersten komprimierten Datenstrom zu erzeugen und Kompressionszeitdaten zu erzeugen, die eine erste Zeitdauer t₁ anzeigen, die zur Komprimierung des ersten Datenstromes benötigt werden, einen zweiten Kompressor zur Komprimierung innerhalb einer zweiten Zeitdauer t₂ eines zweiten Datenstromes zur Erzeugung eines zweiten komprimierten Datenstromes, wobei der zweite Datenstrom im zeitlichen Bezug zu dem ersten Datenstrom steht, einem Übertragungsträger zur Übertragung des ersten komprimierten Datenstromes, des komprimierten zweiten Datenstromes und der Kompressionszeitdaten, einen ersten Dekomprimierer zum Dekomprimieren des komprimierten zweiten Datenstromes innerhalb einer vierten Zeitdauer t₄ zur Erzeugung eines zweiten dekomprimierten Signales, und eine Verzögerungsschaltung zur Verzögerung des zweiten dekomprimierten Signales um einen Verzögerungszeitwert t₁, der einem Wert entspricht, der t₃-t₄ wiedergibt.
Gemäß einem weiteren Aspekt der Erfindung verwendet ein System zur dynamischen Synchronisierung mehrerer Ströme von zeitlich in Bezug stehender Daten einen ersten Kompressor zur Komprimierung eines ersten Datenstromes, um somit einen ersten komprimierten Datenstrom zu schaffen und Kompressionszeitdaten zu erzeugen, die eine Zeitdauer anzeigen, die zur Komprimierung des ersten Datenstromes benötigt wird, einen zweiten Kompressor zur Komprimierung eines zweiten Datenstromes zur Erzeugung eines zweiten komprimierten Datenstromes, wobei der zweite Datenstrom zeitlich in Bezug zu dem ersten Datenstrom steht, einen Übertragungsträger zur Übertragung des komprimierten ersten Datenstromes, des komprimierten zweiten Datenstromes und der Kompressionszeitdaten, einen ersten Dekompressor zur Dekomprimierung des komprimierten ersten Datenstromes, um somit ein erstes dekomprimiertes Signal zu schaffen, einen zweiten Dekompressor zur Dekomprimierung des zweiten komprimierten Datenstromes, um ein zweites dekomprimiertes Signal zu erzeugen, und eine Verzögerungsschaltung zur Verzögerung des zweiten dekomprimierten Signales um einen Zeitwert, der abhängig von den Kompressionszeitdaten festgelegt wird.
Gemäß einem noch weiteren Aspekt der Erfindung komprimiert ein Verfahren zur dynamischen Synchronisierung mehrerer zeitlich in Bezug stehender Datenströme einen ersten Datenstrom, um einen ersten komprimierten Datenstrom und Kompressionszeitdaten zu erzeugen, die eine erste Zeitdauer t₁ anzeigen, die zur Komprimierung des ersten Datenstromes benötigt wird, komprimiert innerhalb einer zweiten Zeitdauer t₂ einen zweiten Datenstrom, um einen zweiten komprimierten Datenstrom zu erzeugen, wobei der zweite Datenstrom zeitlich in Bezug zu dem ersten Datenstrom steht, überträgt den ersten komprimierten Datenstrom, den zweiten komprimierten Datenstrom und die Kompressionszeitdaten, dekomprimiert innerhalb einer dritten Zeitdauer t₃ den ersten komprimierten Datenstrom zur Erzeugung eines ersten dekomprimierten Signales, dekomprimiert innerhalb einer vierten Zeitdauer t₄ den zweiten komprimierten Datenstrom zur Erzeugung eines zweiten dekomprimierten Signales und verzögert das zweite dekomprimierte Signal um einen Zeitwert t₁, der einem Wert entspricht, der t₃-t₄ wiedergibt.
Gemäß einem noch weiteren Aspekt der Erfindung komprimiert ein Verfahren zur dynamischen Synchronisierung mehrerer Zeitströme von zeitlich in Bezug stehenden Daten einen ersten Datenstrom zur Erzeugung eines ersten komprimierten Datenstromes und von Kompressionszeitdaten, die eine Zeitdauer anzeigen, die zur Komprimierung des ersten Datenstromes benötigt wird, komprimiert einen zweiten Datenstrom zur Erzeugung eines zweiten komprimierten Datenstromes, wobei der zweite Datenstrom in zeitlichem Bezug zu dem ersten Datenstrom steht, überträgt den ersten komprimierten Datenstrom, den zweiten komprimierten Datenstrom und die Kompressionszeitdaten, dekomprimiert den ersten komprimierten Datenstrom zur Erzeugung eines ersten dekomprimierten Signales, dekomprimiert den zweiten komprimierten Datenstrom zur Erzeugung eines zweiten dekomprimierten Signales, und verzögert das zweite dekomprimierte Signal um einen Zeitwert der abhängig von den Kompressionszeitdaten festgelegt wird.
Diese und weitere Merkmale und Vorteile der Erfindung werden anhand eines Ausführungsbeispieles bezugnehmend auf die begleitenden Zeichnungen weiter ersichtlich.
Es zeigen:
Fig. 1 ein Blockschaltbild eines Systems zur Komprimierung und Dekomprimierung von Datenströmen gemäß der vorliegenden Erfindung;
Fig. 2 ein Blockschaltbild eines Videocodiersystems gemäß dem CCITT H.261-Standard.
Fig. 3 ein Blockschaltbild eines Videodecodiersystems gemäß dem CCITT H.261-Stan­ dard.
Fig. 4 eine Tabelle der Bitstruktur eines Servicekanales gemäß dem CCITT H.261-Stan­ dard.
Fig. 5 ein Blockschaltbild eines bekannten Systems zur Datenstromkompression und -dekompression, wie es bei Telekonferenzen verwendet wird; und
Fig. 6 eine schematische Darstellung eines Aufbaus einer Bildschicht, die gemäß der vorliegenden Erfindung mit dem CCITT H.261-Standard kompatibel ist.
Es folgt nun eine Beschreibung von Ausführungsbeispielen der Erfindung.
Bezugnehmend auf Fig. 1 ist ein System 500 zur dynamischen Synchronisierung zeitlich in Bezug stehender Datenströme gemäß der vorliegenden Erfindung gezeigt. Das System 500 weist einen Videoeingang 505 auf, der zur Verbindung eines Videosignales mit einem Eingang 504 des Kompressors 506 dient. Gemäß dem bevorzugten Ausführungsbeispiel der Erfindung verwendet der Kompressor 506 einen Kompressionsalgorithmus gemäß dem CCITT H.261-Standard, um dadurch ein komprimiertes Videosignal zu erzeugen, das zu einem Ausgang 524 des Kompressors 506 gegeben wird. Im Gegensatz - zu dem Kompressor 106 von Fig. 5 weist der Kompressor 506 einen Ausgang 508 auf, der Zeitdaten bereitstellt, die die Zeit anzeigen, die zur Komprimierung eines einzelnen Videobildes benötigt wird. Solche Zeitdaten, die im folgenden als "Bildcodierzeit" bezeichnet werden, werden zu einem Eingang 510 eines Kontrollinformationscodierers 512 gegeben. Der Kontrollinformationscodierer 512 kombiniert die Bildcodierzeit mit der Steuerinformation, die durch einen Steuerinformationseingang 514 bereitgestellt wird und zu einem Eingang 516 des Steuerinformationscodierers 512 gegeben wird.
Ein Ausgang 518 des Steuerinformationscodierers 512 ist mit einem Eingang 520 eines Multiplexers 522 verbunden. Ein Ausgang 524 des Kompressors 506 ist mit einem Eingang 526 des Multiplexers 522 verbunden.
Ein Audiosignal wird zu einem Audiosignaleingang 528 gegeben, und das Audiosignal wird zu einem Eingang 530 eines Kompressors 532 gegeben. Ein komprimiertes Audiosignal wird an einem Ausgang 534 ausgegeben und zu einem Eingang 536 eines Multiplexers 522 gegeben. Gemäß dem bevorzugten Ausführungsbeispiel der Erfindung multiplext der Multiplexer 522 auf einer Zeitbasis das komprimierte Videosignal, das komprimierte Audiosignal und die codierte Steuerinformation (einschließlich der Codierzeit). Gemäß dem bevorzugten Ausführungsbeispiel der Erfindung multiplext der Multiplexer auf einer Zeitbasis Signale gemäß dem CCITT H.221-Standard.
Die gemultiplexten Signale werden zu einem Ausgang 538 des Multiplexers 522 gegeben, wobei der Ausgang mit einem ISDN gekoppelt ist. Das ISDN wiederum gibt die Multiplex-Signale zu einem Eingang 542 eines Demultiplexers 544. Gemäß dem bevorzugten Ausführungsbeispiel der Erfindung demultiplexiert der Demultiplexer 544 die Multiplex-Signale gemäß dem CCITT H.221-Standard, um ein komprimiertes Videosignal zu einem Ausgang 546 zu geben. Der Ausgang 546 ist mit einem Eingang 548 eines Dekompressors 550 verbunden. Gemäß dem bevorzugten Ausführungsbeispiel der Erfindung dekomprimiert der Kompressor 550 Videosignale gemäß dem CCITT H.261-Stan­ dard, um ein dekomprimiertes Videosignal zu einem Ausgang 552 zu geben. Das dekomprimierte Videosignal an dem Ausgang 552 ist mit einem Videoausgang 554 verbunden, der wiederum mit einem Videomonitor (nicht gezeigt) zur Anzeige der Bildabfolge verbunden ist.
Der Demultiplexer 544 gibt weiterhin ein komprimiertes Audiosignal an einem Ausgang 556 aus. Dieses komprimierte Audiosignal wird zu einem Eingang 558 eines Dekompressors 560 gegeben. Gemäß dem bevorzugten Ausführungsbeispiel der Erfindung dekomprimiert der Kompressor 560 die komprimierten Audiosignale gemäß dem CCITT G.728-Standard. Die dekomprimierten Audiosignale werden an einem Ausgang 562 des Dekompressors 560 ausgegeben. Diese Audiosignale werden zu einem Eingang 564 einer Verzögerungsschaltung 566 gegeben. Die Verzögerungsschaltung 566 verzögert zeitlich die dekomprimierten Audiosignale um eine Zeitdauer, die zur Synchronisierung der dekomprimierten Audiosignale mit den dekomprimierten Videosignalen nötig ist.
Genauer gesagt wird an einem dritten Ausgang 568 eines Demultiplexers 544 eine Steuerinformation ausgegeben, die Daten enthält, die die Vollbildcodierzeit wiedergeben, d. h. die Zeit, die pro Vollbild zur Komprimierung jedes Videobildes benötigt wird. Die Steuerinformation wird zu einem Eingang 570 eines Steuerinformationsdecodierers 572 gegeben. Der Steuerinformationsdecodierer 572 extrahiert Daten, die die Vollbildcodierzeit für jedes Videobild wiedergeben und liegt dann mittels einer Durchsichttabelle den entsprechenden Verzögerungswert fest, der zu dem dekomprimierten Audiosignal gegeben werden soll. Allgemein ist aufgrund der für jeden Vorgang benötigten mathematischen Berechnungen die Vollbildcodierzeit länger als die Vollbilddecodierzeit.
Da die für den Kompressor 532 zur Komprimierung eines Audiosignales benötigte Zeit verhältnismäßig konstant ist, und daher die für den Dekompressor 560 zur Dekomprimierung eines komprimierten Audiosignales benötigte Zeit verhältnismäßig konstant ist (unter der Voraussetzung der Einschätzbarkeit der menschlichen Sprache), kann verhältnismäßig gut abgeschätzt werden, daß die Gesamtzeit zum Komprimieren und Dekomprimieren eines Audiosignales konstant ist. Somit kann die Verweistabelle ganz einfach für jeden speziellen Verzögerungszeitwert entsprechend einer Vollbildcodierzeit einen konstanten Wert enthalten, der eine Zeitdauer zum Komprimieren und darauffolgenden Dekomprimieren eines Audiosignales wiedergibt.
Daher legt der Steuerinformationsdecodierer auf Grundlage der Videobildcodierzeit den Gesamtverzögerungswert fest, der zur Synchronisierung des dekomprimierten Audiosignales mit jedem Bild benötigt wird, das durch das dekomprimierte Videosignal wiedergegeben wird. Daten, die diesen Gesamtverzögerungswert wiedergeben werden zu einem Ausgang 574 des Steuerinformationscodierers 572 gegeben. Diese Daten werden dann zu einem Eingang 576 der Verzögerungsschaltung 566 gegeben, um somit den Verzögerungswert zu steuern, der zu dem dekomprimierten Audiosignal gegeben wird. Der Steuerinformationsdecodierer gibt ebenfalls Steuerinformation zu einem Ausgang 582. Solche Steuerinformation kann zur Steuerung von Videoanzeigevorrichtungen (nicht gezeigt) verwendet werden.
Das verzögerte dekomprimierte Audiosignal wird an einem Ausgang 578 der Verzögerungsschaltung 566 ausgegeben, und der Ausgang 578 ist mit einem Audiosignalausgang 580 gekoppelt. Das synchronisierte Audiosignal an dem Audiosignalausgang 580 wird typischerweise zu einem Audioverstärker gegeben, der elektromechanische und/oder piezoelektrische Wandler (Transducer), wie beispielsweise Lautsprecher oder Kopfhörer, ansteuert.
Bezugnehmend auf Fig. 6 wird der Steuerinformationscodierer 512 von Fig. 5 im Detail erklärt. Daten, die die Bildcodierzeit wiedergeben, können in dem Servicekanal in den CCITT H.221-Standard übertragen werden, und genauer gesagt in dem Anwendungskanal, der in dem Servicekanal übertragen wird, indem der Anwendungskanal so ausgestaltet wird, daß er einen 4800 bit/s oder höheren Datenkanal enthält. Diese Anordnung wird durchgeführt, indem zuerst die Bandbreite des Datenkanals des Demultiplexers 244 von Fig. 1 unter Verwendung des Bitraten-Zuweisungssignalkanales signaliert wird. Der Bitzuweisungs-Signalcode wird bei jedem geradzahligen Vollbild gesendet. Das Codieren des Bitzuweisungssignales wird gemäß dem Zuweisungsverfahren ausgeführt. Die ersten drei Bits (b0, b1 und b2) geben die Zuweisungsnummer wieder und sollten auf 011 (Datenkommando) gesetzt sein. Die nächsten fünf Bits identifizieren das spezielle Kommando oder die Eigenschaft, was zur Schaftung eines 4800 bit/s-Kanales eine Einstellung der Bits b3 bis b7 auf 00011 benötigt.
Zusätzlich zu der Bildcodierzeit müssen Daten gesendet werden, die identifizieren, welches Bild einer speziellen Bildcodierzeit entspricht, um für den Steuerinformationsdecodierer 570 von Fig. 4 ordnungsgemäß die Verzögerungsschaltung 566 hinsichtlich des Verzögerungswertes anzuweisen, der auf das dekomprimierte Audiosignal von dem Dekompressorausgang 562 anzuwenden ist. Gemäß einem bevorzugten Ausführungsbeispiel der Erfindung wird die Bildidentifikationsinformation von dem Kompressor 506 genommen und zu dem Steuerinformationscodierer 512 gegeben. Gemäß dem CCITT H.261-Standard bestehen Daten für jedes Bild (die Bildschicht) aus einem Bild-Anfangsblock (Header), der von Daten einer Gruppe von Blöcken ("GOB-Daten") wie in Fig. 6 gezeigt gefolgt wird. Bei dem Bild-Anfangsblock wird ein Informationssegment zeitliche Referenz ("TR") genannt. Diese zeitliche Referenzinformation ist eine 5-Bit-Zahl, die 32 mögliche Werte aufweisen kann. Sie wird durch Inkrementieren ihres Wertes bei dem zuvor übertragenen Bild-Anfangsblock um 1 plus der Zahl der nicht übertragenen Bilder (bei 29,97 Hz) seit dem zuletzt übertragenen Bild gebildet. Eine solche Berechnung wird nur bei den fünf geringstwertigsten Bits durchgeführt. Die TR-Daten werden zusammen mit den Bitcodierzeiten in dem 4800 bit/s oder höheren Datenkanal übertragen, um dadurch dem Steuerinformationsdecodierer die Anwendung einer beliebigen gegebenen Verzögerung auf das geeignete entsprechende Bild zu ermöglichen.
Gemäß dem bevorzugten Ausführungsbeispiel der Erfindung korreliert eine Verweistabelle Kompressionszeitdaten mit einem Verzögerungswert, der auf die dekomprimierten Audiodaten angewendet werden soll. Die Kompressionszeitdaten werden durch die (Video-)Bildcodierzeit ausgedrückt, während der Verzögerungswert nicht nur die entsprechende Bilddecodierzeit enthält, sondern ebenso einen festen Wert für die Gesamtzeit zur Codierung und Decodierung des entsprechenden Audiosignales. Bei der Festlegung der in der Verweistabelle zu verwendenden Werte wird der feste Wert berücksichtigt (subtrahiert) von einem Verzögerungswert, der die Summe der Videobild- Codier- und Decodierzeit wiedergibt.
Ausführlicher gesagt werden die Kompressionszeitdaten in die Verweistabelle mit Werten bezeichnet, die eine Verzögerung wiedergeben, die auf die Audio-Wiedergabe-Startzeit anwendbar sind. Solch eine Verzögerung gibt die Zeit wieder, die zur Dekomprimierung eines Videosignales abzüglich der Zeit benötigt wird, die zur Komprimierung und Dekomprimierung des entsprechenden Audiosignales benötigt wird. Gemäß dem bevorzugten Ausführungsbeispiel der Erfindung wird daher dynamisch der Verzögerungswert verändert, der auf ein Audiosignal ausgeübt wird, auf Grundlage der Kompressionszeit für das Videosignal.
Auch wenn die beschriebenen Ausführungsbeispiele bezugnehmend auf ein einfaches Videosignal und ein einfaches begleitendes Audiosignal beschrieben wurden, ist die vorliegende Erfindung genauso auf Vielfach-Video- und Audiosignale anwendbar, die von einem einzigen Ort her stammen, wie beispielsweise einem Operationsraum eines Krankenhauses, bei dem mehrere Videokameras betrieben werden, bei dem aber die Wiedergewinnungsrate der verschiedenen Videosignale nicht für jedes Videosignal gleich ist. Zusätzlich ist die vorliegende Erfindung besonders nützlich für weitere Anwendungen, bei denen eine Synchronisation von verschiedenen Datenströmen benötigt wird.

Claims (39)

1. System zur dynamischen Synchronisierung mehrerer zeitlich in Bezug stehender Datenströme, mit:
einem ersten Kompressor (506) zur Komprimierung eines ersten Datenstromes zur Erzeugung eines ersten komprimierten Datenstromes und zur Erzeugung von Kompressionszeitdaten, die für eine erste Zeitdauer t₁ repräsentativ sind, die zur Komprimierung des ersten Datenstromes benötigt wird;
einem zweiten Kompressor (532) zur Komprimierung eines zweiten Datenstromes innerhalb einer zweiten Zeitdauer t₂, um einen zweiten komprimierten Datenstrom zu erzeugen, wobei der zweite Datenstrom in zeitlichem Bezug zu dem ersten Datenstrom steht;
eine Übertragungseinrichtung (540) zur Übertragung des ersten komprimierten Datenstromes, des zweiten komprimierten Datenstromes und der Kompressionszeitdaten;
einem ersten Dekompressor (560) zur Dekomprimierung innerhalb einer dritten Zeitdauer t₃ des ersten komprimierten Datenstromes zur Erzeugung eines ersten dekomprimierten Signales;
einem zweiten Dekompressor (550) zur Dekomprimierung innerhalb einer vierten Zeitdauer t₄ des zweiten komprimierten Datenstromes zur Erzeugung eines zweiten dekomprimierten Signales; und
einer Verzögerungsschaltung (566) zur Verzögerung des zweiten dekomprimierten Signales um einen Zeitwert, der im wesentlichen gleich (t₁+t₃) - (t₂+t₄) beträgt.
2. System nach Anspruch 1, gekennzeichnet durch eine Einrichtung (512, 572) zur Festlegung des Zeitwertes zur Verzögerung des zweiten dekomprimierten Signales aus den Kompressionszeitdaten.
3. System nach Anspruch 2, dadurch gekennzeichnet, daß die Einrichtung (512, 572) zur Festlegung eine Verweistabelle aufweist.
4. System nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Übertragungseinrichtung (540) weiterhin einen Übertragungsträger aufweist mit einer Bandbreite, die wenigstens so breit wie die Summe der Bandbreiten von jeweils dem ersten komprimierten Datenstrom, dem zweiten komprimierten Datenstrom und den Kompressionszeitdaten ist.
5. System nach einem der Ansprüche 1 bis 4, gekennzeichnet durch
einen Multiplexer (522) zur Erzeugung eines multiplexierten Signales durch Multiplexierung auf einer Zeitbasis des ersten komprimierten Datenstromes, des zweiten komprimierten Datenstromes und der Kompressionszeitdaten, wobei das multiplexierte Signal zu dem Übertragungsträger gegeben wird, und
einen Demultiplexer (514), der mit dem Übertragungsträger verbunden ist, wobei der Demultiplexer (514) auf einer Zeitbasis das multiplexierte Signal demultiplext, um den ersten komprimierten Datenstrom, den zweiten komprimierten Datenstrom und die Kompressionszeitdaten wiederzugewinnen.
6. System nach einem der Ansprüche 1 bis 5, gekennzeichnet durch
einen Codierer (512) zur Kombinierung einer Steuerinformation mit den Kompressionszeitdaten zur Erzeugung von kombinierten Daten;
einen Decodierer (572) zur Trennung der kombinierten Daten in die Steuerinformation und die Kompressionszeitdaten.
7. System nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Einrichtung zur Wahl eines vorbestimmten festen Wertes als Summe der zweiten und der vierten Zeitdauer.
8. System zur dynamischen Synchronisierung mehrerer zeitlich in Bezug stehender Datenströme, mit:
einem ersten Kompressor (506) zur Komprimierung eines ersten Datenstromes zur Erzeugung eines ersten komprimierten Datenstromes und zur Erzeugung von Kompressionszeitdaten, die eine Zeitdauer anzeigen, die zur Komprimierung des ersten Datenstromes benötigt wird;
einen zweiten Kompressor (532) zur Komprimierung eines zweiten Datenstromes zur Erzeugung eines zweiten komprimierten Datenstromes, wobei der zweite Datenstrom in zeitlichem Zusammenhang mit dem ersten Datenstrom steht;
einem Multiplexer (523) zur Erzeugung eines multiplexierten Signales durch Multiplexieren auf Zeitbasis des ersten komprimierten Datenstromes, des zweiten komprimierten Datenstromes der Kompressionszeitdaten, wobei das multiplexierte Signal mit dem Übertragungsträger gekoppelt ist; und
einem Übertragungsträger (540) zur Übertragung des multiplexierten Signales; einem Demultiplexer, der mit dem Übertragungsträger gekoppelt ist und auf einer Zeitbasis das multiplexierte Signal demultiplext, um den ersten komprimierten Datenstrom, den zweiten komprimierten Datenstrom und die Kompressionszeitdaten wiederzugewinnen;
einen ersten Dekompressor (560) zur Dekomprimierung des wiedergewonnenen ersten komprimierten Datenstromes zur Erzeugung eines ersten dekomprimierten Signales;
einen zweiten Dekompressor (550) zur Dekomprimierung des wiedergewonnenen zweiten komprimierten Datenstromes zur Erzeugung eines zweiten dekomprimierten Signales;
einer Einrichtung (512, 572) zur Festlegung einer Verzögerungszeit zur Verzögerung des zweiten komprimierten Signales aus den Kompressionszeitdaten; und
einer Verzögerungsschaltung (566), die mit der Festlegungseinrichtung gekoppelt ist, um das zweite dekomprimierte Signal gemäß der Verzögerungszeit zu verzögern.
9. Verfahren zur dynamischen Synchronisierung mehrerer Datenströme von zeitlich in Bezug stehenden Daten, aufweisend die folgenden Schritte:
Komprimierung (506) eines ersten Datenstromes zur Erzeugung eines ersten komprimierten Datenstromes und von Kompressionszeitdaten, die eine erste Zeitdauer t₁ anzeigen, die zur Komprimierung des ersten Datenstromes benötigt wird;
Komprimierung (532) eines zweiten Datenstromes innerhalb einer zweiten Dauer t₂ zur Erzeugung eines zweiten komprimierten Datenstromes, wobei der zweite Datenstrom in einem zeitlichen Bezug zu dem ersten Datenstrom steht;
Übertragung (540) des ersten komprimierten Datenstromes, des zweiten komprimierten Datenstromes und der Kompressionszeitdaten;
Dekomprimierung (560) innerhalb einer dritten Zeitdauer t₃ des ersten komprimierten Datenstromes zur Erzeugung eines ersten dekomprimierten Signales; Dekomprimierung (550) innerhalb einer vierten Zeitdauer t₄ des zweiten komprimierten Datenstromes zur Erzeugung eines zweiten dekomprimierten Signales; und Verzögerung (576) des zweiten dekomprimierten Signales um eine Zeitdauer, die im wesentlichen gleich (t₁ + t₃) - (t₂ + t₄) beträgt.
10. Verfahren nach Anspruch 9, weiterhin aufweisend den Schritt der Festlegung des Verzögerungszeitwertes aus der dritten Zeitdauer.
11. Verfahren nach Anspruch 10, bei dem der Schritt der Festlegung der dritten Zeitdauer weiterhin den Schritt der Korrelation der Kompressionszeitdaten mit den gespeicherten Daten aufweist, die die Beziehung jeder ersten Zeitdauer und einer entsprechenden dritten Zeitdauer wiedergeben.
12. Verfahren nach einem der Ansprüche 9 bis 11, wobei der Schritt der Übertragung weiterhin den folgenden Schritt aufweist: Übertragung (540) mit einer Bandbreite, die wenigstens so groß wie die Summe der Bandbreiten des ersten komprimierten Datenstromes, des zweiten komprimierten Datenstromes und der Kompressionszeitdaten beträgt.
13. Verfahren nach einem der Ansprüche 9 bis 11, weiterhin aufweisend die folgenden Schritte:
Erzeugung (522) eines multiplexierten Signales durch Multiplexierung auf Zeitbasis des ersten komprimierten Datenstromes, des zweiten komprimierten Datenstromes und der Kompressionszeitdaten, wobei das multiplexierte Signal zu dem Übertragungsträger gegeben wird; und
Demultiplexierung (576) auf Zeitbasis des multiplexierten Signales, um den ersten komprimierten Datenstrom, den zweiten komprimierten Datenstrom und die Kompressionszeitdaten wiederzugewinnen.
14. Verfahren nach einem der Ansprüche 9 bis 13, weiterhin aufweisend die folgenden Schritte:
Kombinierung der Steuerinformation mit den Kompressionszeitdaten zur Erzeugung kombinierter Daten; und
Trennung der kombinierten Daten in die Steuerinformation und die Kompressionszeitdaten.
15. Verfahren nach einem der Ansprüche 9 bis 14, weiterhin aufweisend den Schritt der Wahl eines vorbestimmten festen Wertes für die Summe der zweiten und der vierten Zeitdauer.
16. Verfahren zur dynamischen Synchronisierung mehrerer zeitlich in Bezug stehender Datenströme, aufweisend die folgenden Schritte:
Komprimierung (506) eines ersten Datenstromes zur Erzeugung eines ersten komprimierten Datenstromes und zur Erzeugung von Kompressionszeitdaten, die eine Zeitdauer wiedergeben, die zur Komprimierung des ersten Datenstromes benötigt wird;
Komprimierung (537) eines zweiten Datenstromes zur Erzeugung eines zweiten komprimierten Datenstromes, wobei der zweite Datenstrom in einem zeitlichen Bezug zu dem ersten Datenstrom steht;
Erzeugung (522) eines multiplexierten Signales durch Multiplexieren auf einer Zeitbasis des ersten komprimierten Datenstromes, des zweiten komprimierten Datenstromes und der Kompressionszeitdaten, wobei das multiplexierte Signal zu dem Übertragungsträger gegeben wird; und
Übertragung (540) des multiplexierten Signales;
Demultiplexieren (574) auf einer Zeitbasis des multiplexierten Signales zur Wiedergewinnung des ersten komprimierten Datenstromes, des zweiten komprimierten Datenstromes und der Kompressionszeitdaten;
Dekomprimierung (560) des wiedergewonnenen ersten Datenstromes zur Erzeugung eines ersten komprimierten Signales;
Dekomprimierung (550) des wiedergewonnenen komprimierten zweiten Datenstromes zur Erzeugung eines zweiten dekomprimierten Signales;
Festlegung einer Verzögerungszeit zur Verzögerung des zweiten dekomprimierten Signales aus den wiedergewonnenen Kompressionszeitdaten; und
Verzögerung (566) des zweiten dekomprimierten Signales um die Verzögerungszeit.
17. System zur dynamischen Synchronisierung mehrerer zeitlich in Bezug stehender Datenströme, aufweisend:
einen Kompressor (506) zur Komprimierung eines ersten Datenstromes zur Erzeugung eines ersten komprimierten Datenstromes und zur Erzeugung von Kompressionszeitdaten, die für eine Zeitdauer repräsentativ sind, die zur Komprimierung des ersten Datenstromes benötigt wird;
einen zweiten Kompressor (532) zur Komprimierung eines zweiten Datenstromes zur Erzeugung eines zweiten komprimierten Datenstromes, wobei der zweite Datenstrom in einem zeitlichen Bezug zu einem ersten Datenstrom steht; eine Übertragungeinrichtung (540) zur Übertragung des ersten komprimierten Datenstromes, des zweiten komprimierten Datenstromes und der Kompressionszeitdaten;
einen ersten Dekompressor (560) zur Dekomprimierung des ersten komprimierten Datenstromes zur Erzeugung eines ersten dekomprimierten Signales; einen zweiten Dekompressor (550) zur Dekomprimierung des zweiten komprimierten Datenstromes zur Erzeugung eines zweiten dekomprimierten Signales; und
eine Verzögerungsschaltung (576) zur Verzögerung des zweiten dekomprimierten Signales um einen Zeitwert, der aus den Kompressionszeitdaten festgelegt wird.
18. System nach Anspruch 17, weiterhin aufweisend eine Einrichtung zur Festlegung der Zeitdauer zur Verzögerung des zweiten dekomprimierten Signales.
19. System nach Anspruch 18, dadurch gekennzeichnet, daß die Einrichtung zur Festlegung eine Verweistabelle aufweist.
20. System nach Anspruch 17, dadurch gekennzeichnet, daß die Übertragungseinrichtung weiterhin einen Übertragungsträger (540) mit einer Bandbreite aufweist, die wenigstens so breit ist wie die Summe der Bandbreiten des ersten komprimierten Datenstromes, des zweiten komprimierten Datenstromes und der Kompressionszeitdaten.
21. System nach Anspruch 20, gekennzeichnet durch
einen Multiplexer (522) zur Erzeugung eines Multiplexsignales durch Multiplexieren auf Zeitbasis des ersten komprimierten Datenstromes, des zweiten komprimierten Datenstromes und der Kompressionszeitdaten, wobei das Multiplexsignal mit dem Übertragungsträger gekoppelt ist; und
einen Demultiplexer (574), der mit dem Übertragungsträger gekoppelt ist und auf Zeitbasis das Multiplexsignal demultiplexiert, um den ersten komprimierten Datenstrom, den zweiten komprimierten Datenstrom sowie die Kompressionszeitdaten wiederzugewinnen.
22. System nach Anspruch 17, gekennzeichnet durch
einen Codierer (512) zur Kombination der Kontrollinformation mit den Kompressionszeitdaten zur Erzeugung von kombinierten Daten; und
einen Decodierer (572) zur Trennung der kombinierten Daten in die Steuerinformation und in die Kompressionszeitdaten.
23. Verfahren zur dynamischen Synchronisierung mehrerer zeitlich in Bezug stehender Datenströme, aufweisend die folgenden Schritte:
Kompression (506) eines ersten Datenstromes zur Erzeugung eines ersten komprimierten Datenstromes und von Kompressionszeitdaten, die eine Zeitdauer anzeigen, die zur Komprimierung (540) des ersten Datenstromes benötigt wird;
Komprimierung (532) eines zweiten Datenstromes zur Erzeugung eines zweiten komprimierten Datenstromes, wobei der zweite Datenstrom in zeitlichem Bezug zu dem ersten Datenstrom steht;
Übertragung (540) des komprimierten ersten Datenstromes, des zweiten komprimierten Datenstromes und der Kompressionszeitdaten;
Dekomprimierung (560) des ersten komprimierten Datenstromes zur Erzeugung eines ersten dekomprimierten Signales;
Dekomprimierung (550) des zweiten komprimierten Datenstromes zur Erzeugung eines zweiten dekomprimierten Signales; und
Verzögerung (566) des zweiten dekomprimierten Signales durch einen Zeitwert, der aus den Kompressionszeitdaten bestimmt wird.
24. Verfahren nach Anspruch 23, bei dem der Schritt der Festlegung der Verzögerungszeitdauer des zweiten dekomprimierten Signales weiterhin den Schritt der Korrelation der Kompressionszeitdaten mit den gespeicherten Daten aufweist, die die Beziehung der Zeitdauer, die zur Komprimierung (506) des ersten Datenstromes benötigt wird, mit einer Zeitdauer wiedergeben, die zur Dekomprimierung des ersten Datenstromes benötigt wird.
25. Verfahren nach Anspruch 23, dadurch gekennzeichnet, daß der Schritt der Übertragung weiterhin den Schritt der Übertragung (540) mit einer Bandbreite aufweist, die wenigstens so breit ist wie die Summe der Bandbreiten des ersten komprimierten Datenstromes, des zweiten komprimierten Datenstromes und der Kompressionszeitdaten.
26. Verfahren nach Anspruch 23, gekennzeichnet durch die folgenden Schritte:
Erzeugung eines Multiplexsignales durch Multiplexieren (522) auf Zeitbasis des ersten komprimierten Datenstromes, des zweiten komprimierten Datenstromes und der Kompressionszeitdaten, wobei das Multiplexsignal zu dem Übertragungsträger gegeben wird; und
Demultiplexierung (574) auf Zeitbasis des Multiplexsignales zur Wiedergewinnung des ersten komprimierten Datenstromes, des zweiten komprimierten Datenstromes und der Kompressionszeitdaten.
27. Verfahren nach Anspruch 23, gekennzeichnet durch die folgenden Schritte:
Kombination der Steuerinformation mit den Kompressionszeitdaten zur Erzeugung von Kombinationsdaten; und
Trennung der Kombinationsdaten in die Steuerinformation und die Kompressionszeitdaten.
28. Verfahren nach Anspruch 24, gekennzeichnet durch den folgenden Schritt:
Einfügen in die gespeicherten Daten, die mit den Kompressionszeitdaten korreliert sind, eines festen Wertes, der die Summe der Zeit für die Komprimierung des zweiten Datenstromes und der Dekomprimierung des komprimierten zweiten Datenstromes wiedergibt.
29. System zur dynamischen Synchronisierung mehrerer Datenströme zeitlich in Bezug stehender Audio- und Videodaten, mit:
einem ersten Kompressor (506) zur Komprimierung von Videodatenströmen zur Erzeugung komprimierter Videodatenströme, wobei jeder Videodatenstrom einem Vollbild entspricht, zur Erzeugung von Kompressionszeitdaten, die für eine Zeitdauer repräsentativ sind, die zur Komprimierung jedes Videodatenstromes benötigt wird und zur Erzeugung von Bildidentifikationsdaten zur Identifikation eines jeweiligen Bildes entsprechend jedem komprimierten Videodatenstrom;
einem zweiten Kompressor (532) zur Komprimierung von Audiodatenströmen zur Erzeugung komprimierter Audiodatenströme, wobei jeder Audiodatenstrom einen zeitlichen Bezug zu einem jeweiligen Videodatenstrom aufweist;
einer Übertragungseinrichtung (540) zur Übertragung jedes komprimierten Videodatenstromes, jedem komprimierten Audiodatenstromes sowie der Kompressionszeitdaten und der Bildidentifikationsdaten;
einem ersten Dekompressor (550) zur Dekomprimierung jedes komprimierten Videodatenstromes zur Erzeugung dekomprimierter Videodatenströme;
einem zweiten Dekompressor zur Dekomprimierung jedes komprimierten Audiodatenstromes zur Erzeugung dekomprimierter Audiodatenströme; und
einer Verzögerungsschaltung (566) zur Verzögerung jedes dekomprimierten Audiodatenstromes entsprechend einem jeweiligen Bild, das durch die Bildidentifikationsdaten identifiziert wird, um einen aus den Kompressionszeitdaten bestimmten Zeitwert.
30. System nach Anspruch 29, weiterhin aufweisend eine Einrichtung zur Festlegung des Zeitwertes zur Verzögerung des zweiten dekomprimierten Signales.
31. System nach Anspruch 30, bei dem die Einrichtung zur Festlegung eine Verweistabelle aufweist.
32. System nach Anspruch 29, bei dem die Übertragungseinrichtung weiterhin einen Übertragungsträger (540) mit einer Bandbreite aufweist, die wenigstens so breit wie die Summe der Bandbreiten von jeweils einem der komprimierten Videodatenströme, einem der komprimierten Audiodatenströme der Kompressionszeitdaten und der Bildidentifikationsdaten entspricht.
33. System nach Anspruch 32, gekennzeichnet durch einen Multiplexer zur Erzeugung eines Multiplexsignales durch Multiplexierung auf Zeitbasis jedes komprimierten Videodatenstromes, jedes komprimierten Audiodatenstromes, der Kompressionszeitdaten und der Bildidentifikationsdaten, wobei das Multiplexsignal zu dem Übertragungsträger gegeben wird; und
einen Demultiplexer, der mit dem Übertragungsträger verbunden ist, wobei der Demultiplexer das Multiplexsignal auf einer Zeitbasis demultiplext, um jeden komprimierten Videodatenstrom, jeden komprimierten Audiodatenstrom, Kompressionszeitdaten sowie die Bildidentifikationsdaten wiederzugewinnen.
34. System nach Anspruch 29, gekennzeichnet durch
einen Codierer (512) zur Kombination von Steuerinformation mit den Kompressionszeitdaten und den Bildidentifikationsdaten zur Erzeugung von Kombinationsdaten; und
einen Decodierer (574) zur Trennung der Kombinationsdaten in die Steuerinformation, die Kompressionszeitdaten und die Bildidentifikationsdaten.
35. Verfahren zur dynamischen Synchronisierung mehrerer zeitlich in Bezug stehender Audio- und Videodatenströme, aufweisend die folgenden Schritte:
Komprimierung (506) von Videodatenströmen zur Erzeugung komprimierter Videodatenströme, wobei jeder Videodatenstrom einem Bild entspricht;
Erzeugung von Kompressionszeitdaten, die für eine Zeitdauer repräsentativ sind, die zur Kompression jedes Videodatenstromes benötigt wird;
Erzeugung von Bildidentifikationsdaten zur Identifikation eines jeweiligen Bildes, das dem komprimierten Videodatenstrom entspricht;
Komprimierung von Audiodatenströmen zur Erzeugung komprimierter Audiodatenströme, wobei jeder Audiodatenstrom in einem zeitlichen Bezug zu einem jeweiligen Videodatenstrom steht;
Übertragung (540) jedes komprimierten Videodatenstromes, jedes komprimierten Audiodatenstromes, der Kompressionszeitdaten und der Bildidentifikationsdaten;
Dekomprimierung jedes komprimierten Videodatenstromes zur Erzeugung dekomprimierter Videodatenströme;
Dekomprimierung (560) jedes komprimierten Audiodatenstromes zur Erzeugung dekomprimierter Audiodatenströme; und
Verzögerung (566) jedes dekomprimierten Audiodatenstromes, der einem jeweiligen Bild entspricht, das durch die Bildidentifikationsdaten identifiziert wird, um einen Zeitwert, der aus den Kompressionszeitdaten bestimmt wird.
36. Verfahren nach Anspruch 35, gekennzeichnet durch den Schritt der Festlegung der Zeitdauer zur Verzögerung des zweiten dekomprimierten Signales aus einer Verweistabelle.
37. Verfahren nach Anspruch 35, gekennzeichnet durch die folgenden Schritte:
Erzeugung (522) eines Multiplexsignales durch Multiplexieren auf Zeitbasis jedes komprimierten Videodatenstromes mit einem jeweiligen komprimierten Audiodatenstrom, der Kompressionszeitdaten sowie der Bildidentifikationsdaten; und
Demultiplexieren (566) des Multiplexsignales zur Wiedergewinnung jedes komprimierten Videodatenstromes, jedes jeweiligen komprimierten Audiodatenstromes, der Kompressionszeitdaten sowie der Bildidentifikationsdaten.
38. Verfahren nach Anspruch 35, gekennzeichnet durch die folgenden Schritte:
Kombination der Steuerinformation mit den Kompressionszeitdaten und den Bildidentifikationsdaten zur Erzeugung von Kombinationsdaten; und
Trennung der Kombinationsdaten in die Steuerinformation, die Kompressionszeitdaten und die Bildidentifikationsdaten.
DE19620186A 1995-05-22 1996-05-20 Verfahren und Vorrichtung zur Synchronisierung zeitlich in Bezug stehender Datenströme Expired - Lifetime DE19620186B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US445854 1995-05-22
US08/445,854 US5751694A (en) 1995-05-22 1995-05-22 Methods and apparatus for synchronizing temporally related data streams

Publications (2)

Publication Number Publication Date
DE19620186A1 true DE19620186A1 (de) 1996-12-19
DE19620186B4 DE19620186B4 (de) 2012-02-16

Family

ID=23770459

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19620186A Expired - Lifetime DE19620186B4 (de) 1995-05-22 1996-05-20 Verfahren und Vorrichtung zur Synchronisierung zeitlich in Bezug stehender Datenströme

Country Status (5)

Country Link
US (1) US5751694A (de)
JP (1) JP3809220B2 (de)
DE (1) DE19620186B4 (de)
GB (1) GB2301265B (de)
HK (1) HK1014817A1 (de)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5918225A (en) * 1993-04-16 1999-06-29 Sybase, Inc. SQL-based database system with improved indexing methodology
US7012630B2 (en) * 1996-02-08 2006-03-14 Verizon Services Corp. Spatial sound conference system and apparatus
JPH10303877A (ja) * 1996-09-05 1998-11-13 Matsushita Electric Ind Co Ltd 送信装置と受信装置とこれらを用いた伝送システム及び送信方法と受信方法とこれらを用いた伝送方法
US6212208B1 (en) * 1996-11-11 2001-04-03 Matsushita Electric Industrial Co., Ltd. Method for coding and multiplexing multimedia data, apparatus for coding and multiplexing multimedia data, record media containing program for coding and multiplexing multimedia data
EP2175665B1 (de) 1996-12-04 2012-11-21 Panasonic Corporation Optische Platte für hochauflösende und dreidimensionale Videoaufzeichnung, Wiedergabegerät für optische Platten, und Aufzeichnungsgerät für optische Platten
US6240094B1 (en) * 1997-12-22 2001-05-29 Bell Atlantic Network Services, Inc. Statistical time division multiplexer for a wireless asymmetric local loop communication system
US6697632B1 (en) * 1998-05-07 2004-02-24 Sharp Laboratories Of America, Inc. Multi-media coordinated delivery system and method
GB2357674B (en) * 1999-10-26 2003-12-10 Snell & Wilcox Ltd Compressed bitstreams
GB0000874D0 (en) * 2000-01-14 2000-03-08 Koninkl Philips Electronics Nv Latency handling for interconnected devices
US6912010B2 (en) * 2002-04-15 2005-06-28 Tektronix, Inc. Automated lip sync error correction
JP4401063B2 (ja) * 2002-09-11 2010-01-20 シャープ株式会社 映像音声伝送送信装置及びそれを備えた映像音声伝送システム
DE10302228A1 (de) * 2003-01-20 2004-08-05 Siemens Ag Verfahren zur Synchronisation in heterogenen Netzen
US7512851B2 (en) * 2003-08-01 2009-03-31 Syntest Technologies, Inc. Method and apparatus for shifting at-speed scan patterns in a scan-based integrated circuit
US6816093B1 (en) 2003-12-03 2004-11-09 International Business Machines Corporation Apparatus method and system for increased digital media recording throughput
US20070047590A1 (en) * 2005-08-26 2007-03-01 Nokia Corporation Method for signaling a device to perform no synchronization or include a synchronization delay on multimedia stream
US8938009B2 (en) * 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
BRPI0818444A2 (pt) * 2007-10-12 2016-10-11 Qualcomm Inc codificação adaptativa de informação de cabeçalho de bloco de vídeo
EP2619989A1 (de) 2010-09-22 2013-07-31 Thomson Licensing Verfahren zur verarbeitung von multimediaströmen und zugehörige vorrichtungen
KR101682508B1 (ko) * 2010-10-13 2016-12-07 삼성전자주식회사 라우팅 장치 및 네트워크 장치
US8643696B2 (en) * 2011-01-19 2014-02-04 Broadcom Corporation Synchronizing media streams using time signal(s) from an independent time source
US9924282B2 (en) * 2011-12-30 2018-03-20 Gn Resound A/S System, hearing aid, and method for improving synchronization of an acoustic signal to a video display
JP2016096523A (ja) * 2014-11-17 2016-05-26 富士通株式会社 無線通信装置及びタイミング制御方法
JP6512700B2 (ja) * 2015-05-01 2019-05-15 日本テレビ放送網株式会社 映像信号伝送システム及び映像信号伝送方法
US10063907B1 (en) * 2017-06-06 2018-08-28 Polycom, Inc. Differential audio-video synchronization

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3732111A1 (de) * 1987-09-24 1989-04-06 Bosch Gmbh Robert Verfahren zur laufzeitanpassung von video- und audiosignalen an ein referenzsignal
FR2621767A1 (fr) * 1987-10-12 1989-04-14 Guichard Jacques Systeme de transmission d'image et de son
US5157491A (en) * 1988-10-17 1992-10-20 Kassatly L Samuel A Method and apparatus for video broadcasting and teleconferencing
US5508733A (en) * 1988-10-17 1996-04-16 Kassatly; L. Samuel A. Method and apparatus for selectively receiving and storing a plurality of video signals
WO1990010993A1 (en) * 1989-03-16 1990-09-20 Fujitsu Limited Video/audio multiplex transmission system
US5050167A (en) * 1989-08-10 1991-09-17 Bell Communications Research, Inc. Timing extraction in multiplexed multichannel high speed fiber optic transmission system
CA2114526A1 (en) * 1992-06-29 1994-01-06 Clifford H. Kraft High-speed time-multiplexed data transmission system
US5287182A (en) * 1992-07-02 1994-02-15 At&T Bell Laboratories Timing recovery for variable bit-rate video on asynchronous transfer mode (ATM) networks
CA2107727C (en) * 1992-10-07 1999-06-01 Hiroaki Ueda Synchronous compression and reconstruction system
GB9224622D0 (en) * 1992-11-24 1993-01-13 British Broadcasting Corp Synchronisation of audio and video signals
JP3002348B2 (ja) * 1992-11-30 2000-01-24 シャープ株式会社 画像通信システム
JP3255308B2 (ja) * 1992-12-18 2002-02-12 ソニー株式会社 データ再生装置
US5486864A (en) * 1993-05-13 1996-01-23 Rca Thomson Licensing Corporation Differential time code method and apparatus as for a compressed video signal
DE69432524T2 (de) * 1993-06-09 2004-04-01 Btg International Inc. Verfahren und vorrichtung für ein digitales multimediakommunikationssystem
US5430485A (en) * 1993-09-30 1995-07-04 Thomson Consumer Electronics, Inc. Audio/video synchronization in a digital transmission system
US5451942A (en) * 1994-02-04 1995-09-19 Digital Theater Systems, L.P. Method and apparatus for multiplexed encoding of digital audio information onto a digital audio storage medium
US5506844A (en) * 1994-05-20 1996-04-09 Compression Labs, Inc. Method for configuring a statistical multiplexer to dynamically allocate communication channel bandwidth

Also Published As

Publication number Publication date
JP3809220B2 (ja) 2006-08-16
DE19620186B4 (de) 2012-02-16
GB9610626D0 (en) 1996-07-31
GB2301265A (en) 1996-11-27
US5751694A (en) 1998-05-12
HK1014817A1 (en) 1999-09-30
GB2301265B (en) 2000-02-09
JPH09135227A (ja) 1997-05-20

Similar Documents

Publication Publication Date Title
DE19620186B4 (de) Verfahren und Vorrichtung zur Synchronisierung zeitlich in Bezug stehender Datenströme
DE69813311T2 (de) Bildsignaldatenstruktur sowie Verfahren zur Codierung und Decodierung von Bildsignalen
DE69736537T2 (de) Ratenregelung für stereoskopische digitale Videokodierung
DE19512811B4 (de) Telekonferenzkonsole
DE69535553T2 (de) Videokompression
DE69838869T2 (de) Vorrichtung und Verfahren zum Spleißen von codierten Datenströmen sowie Vorrichtung und Verfahren zur Erzeugung von codierten Datenströmen
US6195116B1 (en) Multi-point video conferencing system and method for implementing the same
DE69633838T2 (de) Kodierung und Dekodierung von Bewegtbildern
DE69630173T2 (de) Übertragungssystem und -einrichtung für sich bewegende Bilder
DE60126114T2 (de) Signalsender und signalempfänger
DE69729493T2 (de) Methode und Gerät zum Übertragen und Empfangen eines Fernsehsignals
DE69630297T2 (de) Weiterentwickeltes fernsehsystem
DE19860507A1 (de) Videocodierverfahren, Videodecoder und digitales Fernsehsystem unter Verwendung eines solchen Verfahrens und eines solchen Decoders
WO1997043863A1 (de) Verfahren zur speicherung oder übertragung von stereoskopischen videosignalen
DE69910360T2 (de) Audioinformationsverarbeitungsverfahren und -vorrichtung unter Verwendung von zeitangepassten kodierten Audioinformationsblöcken in Audio/Videoanwendungen zum Erleichtern von Tonumschaltung
DE69836898T2 (de) Vorrichtung zur Videokodierung
DE102005035216A1 (de) Playback-Vorrichtung zur Synchronisation eines Playback eines Video-Signalanteils und eines Audio-Signalanteils eines AV-Signals und Verfahren dafür
WO1996024223A1 (de) Verfahren zur hierarchischen übertragung von digitalisierten, codierten bild-, ton- und/oder datensignalen
DE69907929T2 (de) Kompressions- und dekompressionssystem für digitale videosignale
DE69624310T2 (de) Hierarchischer Videokodierer und -dekodierer
JP3464569B2 (ja) スタッフ情報量制御方式
EP1976292B1 (de) Verfahren und Videokommunikationssystem zur Einspeisung von Avatar-Informationen in einen Videodatenstrom
DE19608737C1 (de) Anordnung und Verfahren zur Formatwandlung von Bildblöcken von einem ersten Codierungsformat in ein zweites Codierungsformat
DE102006002061B4 (de) Verfahren zum Empfangen, zum Senden sowie zum Übertragen, Sende- sowie Empfangsanordnung und System aus Sende- und Empfangsanordnung
EP0665691A2 (de) Verfahren zur Minimierung der zeitlichen Verzögerung bei der Übertragung bewegter Bilder mit niedrigen Datenraten

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final

Effective date: 20120517

R084 Declaration of willingness to licence
R071 Expiry of right