DE102006002061A1 - Data streams receiving method for communication connection, involves outputting usage portion in one of data streams under usage of identification character in coordinated manner to output of partial section - Google Patents
Data streams receiving method for communication connection, involves outputting usage portion in one of data streams under usage of identification character in coordinated manner to output of partial section Download PDFInfo
- Publication number
- DE102006002061A1 DE102006002061A1 DE200610002061 DE102006002061A DE102006002061A1 DE 102006002061 A1 DE102006002061 A1 DE 102006002061A1 DE 200610002061 DE200610002061 DE 200610002061 DE 102006002061 A DE102006002061 A DE 102006002061A DE 102006002061 A1 DE102006002061 A1 DE 102006002061A1
- Authority
- DE
- Germany
- Prior art keywords
- data stream
- signal
- useful signal
- transmission
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000004891 communication Methods 0.000 title claims description 74
- 230000005540 biological transmission Effects 0.000 claims abstract description 147
- 230000005236 sound signal Effects 0.000 claims description 111
- 230000001360 synchronised effect Effects 0.000 claims description 20
- 239000000872 buffer Substances 0.000 claims description 16
- 230000006835 compression Effects 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 11
- 238000010295 mobile communication Methods 0.000 claims description 8
- 230000007774 longterm Effects 0.000 claims description 7
- 101150060512 SPATA6 gene Proteins 0.000 claims description 5
- 230000003139 buffering effect Effects 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 5
- 230000008054 signal transmission Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 34
- 238000012546 transfer Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 230000002153 concerted effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000010678 Paulownia tomentosa Nutrition 0.000 description 1
- 240000002834 Paulownia tomentosa Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
Abstract
Description
Die Erfindung betrifft ein Verfahren zum Empfangen eines ersten Datenstroms und eines zweiten Datenstroms. Die Erfindung betrifft außerdem ein Verfahren zum Senden sowie ein Verfahren zur Übertragung eines ersten und zweiten Datenstroms von einem Sender zu einem Empfänger. Die Erfindung betrifft weiterhin eine Sendeanordnung, eine Empfangsanordnung sowie ein System aus einer Sende- und einer Empfangsanordnung.The The invention relates to a method for receiving a first data stream and a second data stream. The invention also relates to a Method for transmitting and a method for transmitting a first and second data stream from a sender to a receiver. The invention further relates to a transmitting arrangement, a receiving arrangement and a system of a transmitting and a receiving arrangement.
Moderne Kommunikationsverbindungen, beispielsweise für die Übertragung von Sprach- und Audiosignalen verwenden häufig Protokolle in Netzwerken, welche die jeweilige Sende- bzw. Empfangsstation über verschiedene Netzwerkknoten miteinander verbinden. Eine derartige Verbindung wird auch als leitungsvermittelte oder "circuit switched" Verbindung bezeichnet. Eine Daten- oder Signalübertragung erfolgt über die Netzwerkknoten, wobei je nach verwendeten Protokoll und Netzwerk unterschiedliche Datenübertragungsarten vorgesehen sein können. In einer leitungsvermittelten Verbindung wird für alle Signale und Signalkomponenten im allgemeinen der Übertragungsweg vorher festgelegt und freigehalten. Dies führt dazu, dass bei einer solchen Kommunikationsverbindung eine im Wesentlichen konstante Verzögerungszeit zwischen Sender und Empfänger auftritt. Die Dauer der Verzögerung wird unter anderem durch die Schaltzeiten der unterschiedlichen Bauelemente der verschiedenen Knoten bestimmt, über die die Kommunikationsverbindung hergestellt wird.modern Communication links, for example for the transmission of voice and audio signals use often Protocols in networks, which the respective transmitting or receiving station via different Connect network nodes together. Such a connection is also referred to as a circuit switched or "circuit switched" connection. A data or signal transmission over the network nodes, depending on the protocol and network used different data transmission types can be provided. In a circuit-switched connection is used for all signals and signal components in general, the transmission path previously determined and kept free. This leads to that with such Communication link a substantially constant delay time between transmitter and receiver occurs. The duration of the delay Among other things, the switching times of the different Components of the various nodes determines, over which the communication connection will be produced.
Die Übertragungsformate sind dabei häufig derart ausgestaltet, dass Nutzsignale ohne darin enthaltene Zeitinformation über das Medium transportiert werden. Ein typisches Beispiel dafür ist eine gewöhnliche, z.B. analoge, Telefonverbindung zwischen einem Sender und einem Empfänger, bei dem Sprach- oder Audiosignale senderseitig von einem Mikrofon aufgenommen und über die Kommunikationsverbindung an den Empfänger gesandt werden. Sobald sie empfängerseitig verfügbar sind, werden sie über einen Lautsprecher ohne zusätzliche Verzögerung ausgegeben. Bei digitalen Kommunikationsverbindungen werden die Audiosignale häufig in Abschnitte gewisser Länge unterteilt, kodiert und diese dann an den Empfänger gesendet. Auch digital kodierte Audiosignale enthalten meist keine zusätzliche Zeitinformation. Im Allgemeinen kann davon ausgegangen werden, dass Audiosignale in einer Ende-zu-Ende-Kommunikationsverbindung unter Verwendung von "circuit switched" basierter Technologie keine zusätzlichen Zeitinformationen aufweisen.The transmission formats are often like that designed such that useful signals without time information contained therein over the Medium are transported. A typical example is one ordinary, e.g. analog, telephone connection between a transmitter and a Receiver, at the language or Audio signals are received by a microphone on the transmitter side and transmitted via the Communication link are sent to the recipient. As soon as on the receiver side available they are over a speaker without additional delay output. For digital communication links, the Audio signals frequently in sections of certain length divided, coded and then sent to the receiver. Also digital coded audio signals usually contain no additional time information. in the In general, it can be assumed that audio signals in an end-to-end communication link using circuit switched technology additional Have time information.
Daneben gibt es die Möglichkeit, Nutzdaten verschiedenen Typs oder Mediums, beispielsweise Sprache und Bild in einer synchronisierten Weise zwischen Sender und Empfänger zu übertragen. Eine derartige synchronisierte Übertragung einer Kombination aus zwei oder mehr Mediensignalen oder Datenströmen wird auch als engl. "Session" bezeichnet. Ein typisches Beispiel hierfür ist die so genannte Videokonferenz, bei der neben einem reinen Audiosignal bzw. Audiodatenstrom auch Bild- oder Videosignale übertragen werden. Zur Synchronisation zwischen Audio- und Videosignalen gibt es verschiedene Möglichkeiten. In einem leitungsvermittelten Ansatz werden Audio- und Videosignale in einen leitungsvermittelten Datenstrom zusammenfasst, typischerweise als "Multiplexing" bezeichnet, so dass ein- und derselbe Übertragungsweg für beide Ströme oder Signale benutzt wird und somit die Synchronisation durch geeignete Anordnung im Datenstrom praktisch gegeben ist indem alle Signale nach deren Decodierung sofort ausgespielt werden In einem weiteren z.B. paketvermittelten Ansatz können verschiedene Medien bzw. jedes einzelne Paket jedes Mediums grundsätzlich über verschiedene Übertragungswege übertragen werden. In diesem Fall für korrektes Ausspielen sowie Synchronisation sind bei der Übermittlung zusätzliche Informationen in Form von Zeitstempeln, z.B. in jedem Medienpaket, vorgesehen.Besides is there a possibility, User data of various types or media, such as language and transfer image between sender and receiver in a synchronized manner. A such synchronized transmission a combination of two or more media signals or data streams also as English "Session". One typical example of this is the so-called videoconference, in addition to a pure audio signal or audio data stream also transmitted image or video signals become. For synchronization between audio and video signals it different ways. In a circuit-switched approach, audio and video signals are used into a circuit switched data stream, typically referred to as "multiplexing", so that and the same transmission path for both Currents or Signals is used and thus the synchronization by appropriate Arrangement in the data stream is practically given by all the signals after their decoding immediately be played in another e.g. packet-switched approach different media or each package of each medium basically transmitted over different transmission paths become. In this case for correct play as well as synchronization are with the transmission additional Information in the form of timestamps, e.g. in every media package, intended.
Es kann jedoch das Bedürfnis bestehen zusätzliche zweite Nutzdaten zu einer bereits bestehenden Kommunikationsverbindung hinfügen zu wollen, wobei die bestehende Kommunikationsverbindung dabei fortgeführt wird. Dies ist beispielsweise dann der Fall, wenn zu einer Sprach- oder Audiosignalübertragung zusätzlich auch Videosignale übermittelt werden sollen. Die Frage einer gemeinsamen Ausgabe stellt sich unter anderem dann, wenn für die erste Verbindung die eingangs erwähnte "circuit switched" Technik verwendet wird.It However, the need may be exist additional second payload to an already existing communication link hinfügen to want, where the existing communication connection is continued. This is the case, for example, when talking to a voice or Audio signal transmission additionally also transmits video signals should be. The question of a joint issue is lost other then, if for the first connection the circuit-switched technique mentioned above is used.
Eine einfache Möglichkeit besteht darin, das zweite Mediensignal, im vorliegenden das Videosignal über eine zusätzliche Kommunikationsverbindung zu übertragen. In einem solchen Fall ist es durchaus möglich, dass die zweite Kommunikationsverbindung andere Bereiche des Kommunikationsnetzwerkes verwendet. Sofern empfängerseitig beide Mediensignale oder Nutzdaten ausgegeben werden, ist die aufgebaute Session nicht synchronisiert und es kommt im Allgemeinen zu einem Zeitversatz zwischen den unterschiedlichen Mediensignalen bzw. Datenströmen.A easy way consists in the second media signal, in the present video signal over a additional Communication link to transfer. In such a case, it is quite possible that the second communication link other areas of the communication network used. If receiver side both media signals or payload data is output, is the built Session is not synchronized and it generally comes to one Time offset between the different media signals or data streams.
Eine Möglichkeit zur Verhinderung eines nicht aufeinander abgestimmten Ausgebens wäre es, die erste Kommunikationsverbindung zu beenden und eine vollständig neue "Session" ein schließlich des zusätzlichen zweiten Mediensignals neu aufzubauen. Eine Synchronisation kann dann durch die gleichzeitige Übertragung der beiden Mediensignale bzw. Datenströme über die gleiche Verbindung erfolgen. Alternativ kann für die Verbindung auch eine weiteres Mediensignal beispielsweise eine Videokonferenz bereitgestellt werden. Bei dieser Lösung wird jedoch die bereits bestehende Kommunikationsverbindung beendet, ein Vorgang, der im Regelfall von einem Benutzer nicht gewünscht ist. Darüber hinaus muss auch bei einer Änderung einer der beiden Datenströme die bestehende Verbindung beendet werden. Eine flexible Addition eines zusätzlichen Mediensignals oder Datenstroms mit beispielsweise unterschiedlicher Bitrate oder Inhalten zu einer bereits existierenden Kommunikationsverbindung ist in dieser Ausgestaltung nicht möglich.One way to prevent mismatched output would be to terminate the first communication link and rebuild a completely new "session" including the additional second media signal. Synchronization can then take place by the simultaneous transmission of the two media signals or data streams over the same connection. Alternatively, for the connection also a another media signal, for example a video conference. In this solution, however, the already existing communication connection is terminated, an operation that is not desired by a user as a rule. In addition, even if one of the two data streams is changed, the existing connection must be terminated. A flexible addition of an additional media signal or data stream with, for example, different bit rate or content to an already existing communication connection is not possible in this embodiment.
Aufgabe der Erfindung ist es, Verfahren vorzusehen, welche bei einer Übertragung von ersten und zweiten Datenströmen eine aufeinander abgestimmte zeitliche Ausgabe der beiden Datenströme gewährleisteen. Eine weitere Aufgabe der Erfindung ist es, eine Sende- bzw. Empfangsanordnung vorzusehen, die eine synchrone Datenübertragung mehrerer Datenströme in einfacher Weise ermöglicht.task The invention is to provide methods which, in a transmission of first and second data streams ensure a concerted temporal output of the two data streams. Another object of the invention is to provide a transmitting or receiving arrangement provide a synchronous data transmission of multiple data streams in a simple Way allows.
Diese Aufgaben werden mit den unabhängigen Patentansprüchen 1, 19, 23, 37, 48, 59 gelöst. Ausgestaltungsformen und weitere Aspekte der Erfindung sind Gegenstand der Unteransprüche.These Tasks are with the independent ones claims 1, 19, 23, 37, 48, 59 solved. embodiments and further aspects of the invention are the subject of the dependent claims.
Nach dem erfindungsgemäßen Prinzip ist vorgesehen, in dem zweiten Datenstrom zusätzliche Identifikationsmerkmale vorzusehen, die von dem ersten Datenstrom abgeleitet sind und so ein aufeinander abgestimmtes Ausgeben des ersten und zweiten Datenstroms erlauben. Dadurch kann eine bereits bestehende Kommunikationsverbindung mit einer Übertragung des ersten Datenstroms fortgeführt werden.To the principle of the invention is provided in the second data stream additional identification features provided derived from the first data stream and so on a coordinated output of the first and second data stream allow. This allows an already existing communication connection with a transmission continue the first data stream.
Unter dem Begriff Datenstrom wird jegliche Art Signal verstanden, dass zur Übertragung von Informationen geeignet ist. Der Datenstrom kann daher ein Nutzsignal beinhalten, aber auch das Nutzsignal selbst darstellen. Ebenso kann er ein analoges oder ein digitales Signal sein oder ein solches beinhalten.Under The term data stream means any kind of signal that for transmission of information is suitable. The data stream can therefore be a useful signal include, but also represent the useful signal itself. Likewise it may be an analog or a digital signal or such include.
Nach dem vorgeschlagenen Prinzip wird zu der ersten Kommunikationsverbindung für eine Übertragung des ersten Datenstroms eine zweite Kommunikationsverbindung für die Übertragung des zweiten Datenstroms aufgebaut. In dem zweiten Datenstrom sind Identifikationsmerkmale enthalten, die eine Zuordnung von Abschnitten des zweiten Datenstroms zu korrespondierenden Abschnitten des ersten Datenstroms ermöglichen. Ebenso können in dem zweiten Datenstrom Identifikationsmerkmale enthalten sein, die eine Zuordnung von Abschnitten eines im zweiten Datenstroms enthaltenen Nutzsignals zu korrespondierenden Abschnitten des ersten Datenstroms oder zu korrespondierenden Abschnitten eines Nutzsignals im ersten Datenstrom erlauben. Empfängerseitig kann so eine aufeinander abgestimmte Ausgabe des ersten Datenstroms und des zweiten Datenstroms erfolgen.To the proposed principle becomes the first communication link for a transmission the first data stream, a second communication link for the transmission of the second data stream. In the second data stream are Identification features that contain an assignment of sections of the second data stream to corresponding sections of the first Enable data stream. Likewise be included in the second data stream identification features an assignment of sections of one in the second data stream contained useful signal to corresponding sections of the first Data stream or corresponding sections of a useful signal in the first data stream. On the receiver side, such a succession matched output of the first data stream and the second data stream respectively.
Zweckmäßigerweise sind die Identifikationsmerkmale in dem zweiten Datenstrom von dem ersten Datenstrom oder von Nutzdaten im ersten Datenstrom abgeleitet. Es ist sogar möglich, dass die Identifikationsmerkmale wesentliche Teile des ersten Datenstroms oder der Nutzdaten des ersten Datenstroms umfassen.Conveniently, are the identifiers in the second data stream of the derived first data stream or payload data in the first data stream. It is even possible that the identification features essential parts of the first data stream or the payload of the first data stream.
Beispielsweise kann der erste Datenstrom Audiosignale bzw. Audiodaten in wenigstens zwei von zeitlich aufeinander folgenden Teilabschnitten enthalten. Unter dem Begriff Audiosignal oder Audiodaten wird jede Form hörbarer Signale verstanden, also Sprache, Töne, Geräusche oder auch Musik. Aus jedem der Teilabschnitte wird ein Identifikationsmerkmal extrahiert, das eine Identifikation des jeweiligen Teilabschnitts des ersten Datenstroms ermöglicht. Dieses Identifikationsmerkmal wird einem Teilabschnitt eines zweiten Datenstroms zugeordnet, so dass eine spätere zeitlich aufeinander abgestimmte oder auch eine synchrone Ausgabe der jeweiligen Teilabschnitte möglich ist. Unter einer synchronen Ausgabe wird ein abgestimmtes Ausspielen verstanden, um möglichst gute Synchronität unter anderen Rahmenbedingungen zu haben. Es ist dabei zweckmäßig, wenn die für die Identifikation der Teilabschnitte herangezogenen Merkmale besonders robust gegen Artefakte bzw. Störungen während der Datenübertragung des ersten Datenstroms sind. Störungen bzw. Signalveränderungen können zum Beispiel entstehen durch das Codieren und Komprimieren von Signalen aufgrund von Irrelevanzreduktion und Quantisierung oder durch Verzerrungen oder Rauschen während der Übertragung oder irgendwelcher anderen Effekte. Auf diese Weise kann empfängerseitig auch nach einer oder mehreren dieser Störungen während der Datenübertragung eine synchrone Ausgabe des ersten und zweiten Datenstroms erfolgen.For example the first data stream audio signals or audio data in at least contain two of temporally successive sections. The term audio signal or audio data is any form of audible signals understood, ie language, sounds, Sounds or music. Each of the subsections becomes an identification feature extracted, which is an identification of the respective subsection of the first data stream. This identification feature becomes a subsection of a second Data stream assigned so that a later time coordinated or also a synchronous output of the respective sections is possible. Under a synchronous output is a tuned play understood, as possible good synchronicity under other conditions. It is useful if the for the identification of the sections used features especially robust against artifacts or disturbances while the data transmission of the first data stream. disorders or signal changes can for example, by encoding and compressing signals due to irrelevance reduction and quantization or distortions or noise during the transmission or any other effects. In this way, the receiver side even after one or more of these disturbances during data transmission a synchronous output of the first and second data stream.
In einem Aspekt der Erfindung umfasst das Verfahren die Schritte eines Empfangens und Verzögerns des ersten Datenstroms, der eine Vielzahl von aufeinander folgenden Teilabschnitten aufweist. Ebenso wird ein zweiter Datenstrom empfangen. Aus diesem wird nun wenigstens ein erstes Identifikationsmerkmal ermittelt, welches von wenigstens einem ersten Teilabschnitt der aufeinander folgenden Teilabschnitte des ersten Datenstroms abgeleitet ist. Zusätzlich umfasst das Verfahren den Schritt eines Analysierens des ersten verzögerten Datenstroms bzw. der einzelnen Teilabschnitte im ersten Datenstrom. Es wird ein erster Teilabschnitt des ersten Datenstroms in Abhängigkeit des wenigstens einen ersten Identifikationsmerkmals ermittelt und anschließend wird dieser erste Teilabschnitt zusammen mit dem zweiten Datenstrom ausgegeben.In According to one aspect of the invention, the method comprises the steps of Receiving and delaying of the first data stream, which is a multitude of successive ones Subsections has. Likewise, a second data stream is received. For this now at least a first identification feature determines which of at least a first subsection of derived successive sections of the first data stream is. additionally the method comprises the step of analyzing the first one delayed Data stream or the individual subsections in the first data stream. It is a first subsection of the first data stream in dependence the at least one first identification feature determined and subsequently this first subsection is combined with the second data stream output.
Zur Verzögerung des ersten Datenstroms ist es ausreichend, wenn dieser zwischengespeichert wird. Auch können für die Verarbeitung des ersten Datenstroms Maßnahmen vorgesehen sein, welche eine Ausgabe der Teilabschnitte des ersten Datenstroms zeitlich verzögern, so dass ausreichend Zeit für die weiteren Verfahrensschritte verbleibt. Ein zeitlicher Versatz zwischen korrespondierenden Abschnitten des ersten und zweiten Datenstroms kann korrigiert werden.to delay of the first data stream, it is sufficient if this is cached. Also can for the Processing of the first data flow measures to be provided, which a Delay output of the sections of the first data stream, so that sufficient time for the further process steps remain. A time offset between corresponding sections of the first and second data streams can be corrected.
Für eine aufeinander abgestimmte Ausgabe des ersten und zweiten Datenstroms ist es demnach zweckmäßig, zusätzlich zu der Extrahierung des ersten Identifikationsmerkmals in dem zweiten Datenstrom ein entsprechendes Identifikationsmerkmal im ersten Datenstrom zu ermitteln. Dazu werden die Teilabschnitte des ersten Datenstroms analysiert und von jedem Teilabschnitt ein Identifikationsmerkmal abgeleitet. Dieses sollte von der gleichen Art wie das erste Identifikationsmerkmal sein, so dass nach einem Vergleichen eine Entscheidung darüber getroffen werden kann, ob das im zweiten Datenstrom enthaltene erste Identifikationsmerkmal mit den abgeleiteten Identifikationsmerkmalen des ersten Datenstroms übereinstimmt oder zumindest ausreichend ähnlich ist.For one another coordinated output of the first and second data stream, it is therefore appropriate, in addition to the extraction of the first identification feature in the second Data stream a corresponding identification feature in the first data stream to investigate. These are the subsections of the first data stream analyzed and derived from each subsection of an identification feature. This should be of the same type as the first identifier so, after making a comparison, make a decision about it can be whether the first identification feature contained in the second data stream matches the derived identification features of the first data stream or at least sufficiently similar is.
Bei der vorliegenden Erfindung lässt sich so ein zusätzlicher zweiter Datenstrom zu einer bereits bestehenden Kommunikationsverbindung mit einer Datenübertragung hinzufügen, ohne dass die bereits bestehende Kommunikationsverbindung unterbrochen werden muss. Es ist lediglich notwendig, den ersten Datenstrom vor der Ausgabe zwischenzuspeichern, um die Schritte des Ermittelns von Identifikationsmerkmalen und des anschließenden Synchronisierens zu ermöglichen.at of the present invention such an extra second data stream to an already existing communication connection with a data transfer Add, without interrupting the already existing communication connection must become. It is only necessary to present the first data stream to cache the output to the steps of determining of identification features and the subsequent synchronization to enable.
In einer Ausgestaltung der Erfindung wird für die Erzeugung des ersten Datenstroms ein erstes Nutzsignal bereitgestellt, das mehrere aufeinander folgende Teilabschnitte umfasst. Das erste Nutzsignal kann jede Art von Signal sein, die Audiodaten beinhaltet. Aus den einzelnen Teilabschnitten des Nutzsignals werden Identifikationsmerkmale abgeleitet, die den jeweiligen Teilabschnitt mit einer hohen Wahrscheinlichkeit identifizieren. Dadurch lässt sich anhand des Identifikationsmerkmals mit hoher Wahrscheinlichkeit eine Zuordnung zu dem jeweiligen Teilabschnitt bestimmen. Die abgeleiteten Identifikationsmerkmale können für eine Erzeugung eines zweiten Datenstroms verwendet werden, indem sie Teilabschnitten im zweiten Datenstrom zugeordnet werden, die für eine aufeinander abgestimmte Ausgabe mit den korrespondierenden Teilabschnitten des ersten Datenstroms vorgesehen sind.In An embodiment of the invention is for the generation of the first Data stream provided a first useful signal, the several consecutive Includes subsections. The first useful signal can be any kind of signal be containing audio data. From the individual sections of the useful signal identification features are derived, which the Identify each subsection with a high probability. By doing so leaves based on the identification feature with high probability determine an assignment to the respective subsection. The derived ones Identification features can for one Generation of a second data stream can be used by Subsections in the second data stream are assigned to one another Coordinated edition with the corresponding sections of the first data stream are provided.
Zweckmäßigerweise sind die abgeleiteten Identifikationsmerkmale besonders robust gegen Artefakte bei einer Signalverarbeitung, -kompression bzw. Störungen während der Datenübertragung. Beispielsweise können die Identifikationsmerkmale aus LTP (Long Term Prediction)-Koeffizienten eines Teilabschnittes gebildet werden. Alternativ dazu lässt sich das Identifikationsmerkmal durch Analysieren von Frequenzinformationen eines Inhalts des jeweiligen Teilabschnittes des ers ten Datenstroms oder des ersten Nutzsignals erzeugen. Ebenso ist es möglich diverse Sequenzinformationen, beispielsweise HASH Sequenzen oder Prüfsummen aus Teilabschnitten zu ermitteln. Letzteres ist dann zweckmäßig, wenn das erste Nutzsignal nach einem Kodierungsverfahren kodierte Informationen enthält. Es ist aber auch möglich, dass die Identifikationsmerkmale kodierte Anteile des ersten Datenstroms oder des ersten Nutzsignals enthalten.Conveniently, the derived identification features are particularly robust against Artifacts in signal processing, compression or interference during the Data transfer. For example, you can the identifiers from LTP (Long Term Prediction) coefficients a subsection are formed. Alternatively, it can be the identifier by analyzing frequency information a content of the respective subsection of the first data stream or the first useful signal. It is also possible diverse Sequence information, such as HASH sequences or checksums to determine from subsections. The latter is appropriate if the first useful signal coded according to a coding method information contains. But it is also possible that the identification features encoded portions of the first data stream or the first useful signal included.
In einer anderen Ausgestaltung der Erfindung umfasst das Verfahren zusätzlich die Schritte eines Bereitstellens eines ersten und zweiten Nutzsignals, welche jeweils eine Vielzahl von zeitlich aufeinander folgenden Teilabschnitten aufweisen. Jeweils korrespondierende Teilabschnitte sind einander zugeordnet für eine spätere abgestimmte Ausgabe. Aus Teilabschnitten des ersten Nutzsignals werden Identifikationsmerkmale ermittelt und den korrespondierenden Teilabschnitten des zweiten Nutzsignals zugeordnet. Anschließend werden erste und zweite Nutzsignale weiter verarbeitet und als erster bzw. zweiter Datenstrom übertragen. Nach einem Empfang werden die beiden Datenströme zwischengespeichert. Die im zweiten Datenstrom vorhandenen Identifikationsmerkmale werden extrahiert. Gleichzeitig werden aus dem ersten Datenstrom die Teilabschnitte des ersten Nutzsignals gewonnen und daraus Identifikationsmerkmale ermittelt. Diese werden mit den im zweiten Datenstrom vorhandenen Identifikationsmerkmalen verglichen. Bei einer Übereinstimmung werden die korrespondierenden Teilabschnitte ausgegeben, so dass eine aufeinander abgestimmte Ausgabe gewährleistet ist.In In another embodiment of the invention, the method comprises additionally the steps of providing a first and second wanted signal, each one of a plurality of temporally successive Have sections. Corresponding sections in each case are assigned to each other for a later one coordinated edition. From sections of the first useful signal identification features are determined and the corresponding Associated with subsections of the second useful signal. Then be first and second useful signals processed further and as the first and second Transfer data stream. After a reception, the two data streams are buffered. The become in the second data stream existing identification features extracted. At the same time, the subsections become the first data stream obtained the first useful signal and identification features determined. These are with the existing in the second data stream Identification features compared. In a match, the corresponding Subsections issued, leaving a coordinated output guaranteed is.
Dabei ist es zusätzlich möglich, nach einer gewissen Zeit nicht verwendete Teilabschnitte zu verwerfen bzw. auszugeben. Dies kann insbesondere dann sinnvoll sein, wenn während der Datenübertragung des ersten bzw. zweiten Datenstroms Teile verloren gegangen sind bzw. sich aufgrund von Fehlern während der Datenübertragung nicht mehr rekonstruieren lassen.there is it additional possible, Discard unused sections after a certain period of time or spend. This can be useful, especially if while the data transmission of the first or second data stream parts have been lost or due to errors during the data transmission can not be reconstructed.
Der erste Datenstrom kann wenigstens eines der folgenden Nutzsignale enthalten oder als solche gebildet sein:
- – Analoge Audiosignale bzw. Audiodaten;
- – GSM kodierte Audiosignale;
- – G.711 kodierte Audiosignale;
- – PCM kodierte Audiosignale;
- – AMR oder AMR-WB kodierte Audiosignale;
- – nach einem der G.72x Verfahren des ITU-T Standards kodierte Audiosignale, z.B. G.723.1, G.727, G.729.
- - analog audio signals or audio data;
- - GSM encoded audio signals;
- G.711 encoded audio signals;
- - PCM encoded audio signals;
- AMR or AMR-WB encoded audio signals;
- - According to the G.72x method of the ITU-T standard coded audio signals, eg G.723.1, G.727, G.729.
Aus jedem der genannten Audiosignale lassen sich Identifikationsmerkmale für Teilabschnitte ermitteln, die mit hoher Wahrscheinlichkeit eine Identifikation des jeweiligen Teilabschnittes ermöglichen. Es ist eventuell zweckmäßig, Identifikationsmerkmale zu verwenden, die während einer vorgenommenen Signalverarbeitung oder Kodierung des Audiosignals bzw. des ersten Nutzsignals ohnehin erzeugt werden. Dies reduziert die Komplexität innerhalb einer Sendeanordnung. Durch die Nutzung bereits bestehender Kodierungs- bzw. Kommunikationsstandards können die vorhandenen Technologien und Übertragungsverfahren weiter verwendet werden.Out Each of the mentioned audio signals can be identification features determine for sections, with high probability an identification of the respective Enable subsection. It may be appropriate, identification features to use that during a signal processing or coding of the audio signal or be generated anyway of the first useful signal. This reduces the complexity within a transmission arrangement. By using existing ones Coding or communication standards may be the existing technologies and transmission method continue to be used.
Mit dem erfindungsgemäßen Verfahren ist es möglich, jeden beliebigen zusätzlichen Datenstrom zu dem bereits vorhandenen Datenstrom hinzuzufügen, ohne diesen zu unterbrechen. Beispielsweise kann der zusätzliche Datenstrom Videodaten, insbesondere im MPG, MPG2 oder H.26X Format enthalten. Ebenso lassen sich zusätzliche Bilddaten, insbesondere im JPG Format oder auch Daten für eine computergestützte Bildschirmpräsentation übertragen. Eine weitere Möglichkeit besteht in der parallelen Übertragung weiterer Sprach- oder Audiosignale bzw. Audiodaten, beispielsweise für die Übertragung eines Stereosignals. Ebenso kann Text als Nutzsignal im zweiten Datenstrom abgestimmt auf den ersten Datenstrom übertragen werden. Grundsätzlich ist jede Art von Information geeignet, die eine Synchronisation auf den ersten Datenstrom bzw. auf die im ersten Datenstrom vorhandenen Nutzdaten benötigt.With the method according to the invention Is it possible, any additional Add data stream to the existing data stream without to interrupt this. For example, the additional Data stream video data, especially in MPG, MPG2 or H.26X format contain. Likewise, additional image data, in particular in JPG format or also data for a computer-aided Transfer slide show. One more way consists in the parallel transmission other voice or audio signals or audio data, for example for the transfer of a Stereo signal. Likewise, text as a useful signal in the second data stream be transferred in a coordinated manner to the first data stream. Basically everyone is Kind of information suitable for a synchronization at first Data stream or to the existing in the first data stream user data needed.
Eine Übertragung des ersten bzw. des zweiten Datenstroms kann teilweise durch Übermittlung von Signalen nach einem mobilen Kommunikationsstandard oder beispielsweise durch eine Internetverbindung zwischen zumindest zwei verschiedenen Knoten erfolgen. Ebenso ist es möglich, eine Übertragung zumindest teilweise durch eine drahtgebundene Kommunikationsverbindung durchzuführen.A transmission the first and the second data stream can be partially transmitted by transmission of Signals according to a mobile communication standard or example through an internet connection between at least two different nodes respectively. It is also possible a transmission at least partially by a wired communication link perform.
Demgemäß umfasst eine Sendeanordnung nach dem vorgeschlagenen Prinzip eine erste Vorrichtung zum Erfassen eines ersten Nutzsignals sowie eine zweite Vorrichtung zum Erfassen eines zweiten Nutzsignals. Weiterhin ist eine Analysevorrichtung vorgesehen, die ausgeführt ist, aus einem ersten Teilabschnitt des ersten Nutzsignals wenigstens ein Identifikationsmerkmal für eine Identifikation des ersten Teilabschnittes zu ermitteln. Die Analysevorrichtung ist an eine Kodiereinrichtung angeschlossen, die das von der Analysevorrichtung bereitgestellte Identifikationsmerkmal einem ersten Teilabschnitt des zweiten Nutzsignals zuordnet. Die Sendeanordnung umfasst ebenso eine erste Sendestufe, die mit der ersten Vorrichtung für eine Übertragung des ersten Nutzsignals gekoppelt ist. Eine zweite Sendestufe für eine Übertragung des zweiten Nutzsignals ist an die Kodiereinrichtung angeschlossen.Accordingly, includes a transmission arrangement according to the proposed principle, a first Device for detecting a first useful signal and a second Device for detecting a second useful signal. Furthermore is provided an analysis device which is executed, from a first section the first useful signal at least one identification feature for an identification of the first subsection to determine. The analyzer is connected to a coding device, that of the analysis device provided identification feature a first section assigns the second useful signal. The transmission arrangement also includes a first transmission stage associated with the first device for transmission of the coupled first payload. A second transmission stage for a transmission the second useful signal is connected to the coding device.
Mit der erfindungsgemäßen Sendeanordnung lassen sich ein erstes sowie ein zweites Nutzsignal erfassen. Während das erste Nutzsignal durch die erste Sendestufe übertragen wird, umfasst die Sendeanordnung verschiedene Mittel zu einer weiteren Verarbeitung des zweiten Nutzsignals. Dabei ist vorgesehen, dem zweiten Nutzsignal Identifikationsmerkmale zuzuordnen, die eine Synchronisation mit dem ersten Nutzsignal erlauben. Zu diesem Zweck enthält die erfindungsgemäße Sendeanordnung ein Analysevorrichtung für eine Analyse von Teilabschnitten des ersten Nutzsignals.With the transmission arrangement according to the invention can be a first and a second useful signal capture. While that first payload signal is transmitted by the first transmission stage, comprises the transmission arrangement various means for further processing of the second useful signal. It is provided, the second useful signal identification features assign, which allow synchronization with the first useful signal. Contains for this purpose the transmission arrangement according to the invention an analysis device for an analysis of subsections of the first useful signal.
Die Analysevorrichtung kann ausgeführt sein, aus diesen Signalen Identifikationsmerkmale zu ermitteln, die einerseits robust gegen Störungen jeglicher Art im Sprach- oder Audiosignal sind und andererseits eine Identifikation des jeweiligen Teilabschnittes des Signals ermöglichen. Neben der Verwendung rein analoger Signale lassen sich die Identifikationsmerkmale auch aus kodierten digitalen Nutzsignalen ermitteln. Ebenso können die Identifikationsmerkmale Teile des Audiosignals oder der kodierten Audiodaten enthalten.The Analysis device can be executed to identify identification features from these signals, on the one hand robust against interference of any kind in the voice or audio signal and on the other hand allow identification of the respective subsection of the signal. In addition to the use of purely analog signals can be the identification features also from coded digital useful signals. Likewise, the Identifiers Parts of the audio signal or the coded one Contain audio data.
In einer Ausgestaltung der Erfindung ist daher die erste Vorrichtung zum Erfassen des ersten Nutzsignals für eine Kodierung nach einer Kodierungsart ausgeführt. Beispielsweise ist dies eine μ-law Kodierung, eine GSM Kodierung, eine PCM Kodierung, eine AMR oder AMR-WB Kodierung eine G.711 Kodierung oder eine G.72x Kodierung, wobei x verschiedene Werte annehmen kann. Die letzt genannten Kodierungen bezeichnen verschiedene Verfahren des ITU-T Standards für die Sprachkompri mierung. Die verschiedenen Kodierungsverfahren eignen sich besonders für die Kodierung von Sprach- bzw. Audiosignalen.In An embodiment of the invention is therefore the first device for detecting the first useful signal for coding after a Coding type executed. For example, this is a μ-law Coding, a GSM coding, a PCM coding, an AMR or AMR-WB coding a G.711 coding or a G.72x coding, where x can take different values. The last mentioned codes denote various methods of the ITU-T standard for voice compression. The different coding methods are particularly suitable for coding of speech or audio signals.
Für ein aufeinander abgestimmtes Ausgeben der ersten und zweiten Nutzsignale kann es zweckmäßig sein, wenn die Kodiereinrichtung zusätzlich eine Synchronisationsvorrichtung umfasst. Diese ist geeignet, ein Identifikationsmerkmal eines Teilabschnittes des ersten Nutzsignals zu einem Teilabschnitt des zweiten Nutzsignals zuzuordnen, wobei diese Zuordnung einem vorbestimmten zeitlichen Verhältnis des Teilabschnitts des zweiten Nutzsignals zu dem Teilabschnitt des ersten Nutzsignals entspricht. Zusätzlich kann die Kodiereinrichtung für die Erzeugung von so genannten Zeitstempeln ausgeführt sein. Damit lassen sich die Identifikationsmerkmale und die Teilabschnitte im zweiten Nutzsignal beaufschlagen, wodurch eine Zuordnung bestimmt ist.For one another Coordinated output of the first and second useful signals may be expedient if the encoder in addition a synchronization device. This is suitable Identification feature of a subsection of the first useful signal to assign to a subsection of the second useful signal, wherein this assignment a predetermined time ratio of Part of the second useful signal to the subsection of the first useful signal corresponds. In addition, the encoder for the generation be executed by so-called time stamps. This can be done the identification features and the subsections in the second useful signal apply, whereby an assignment is determined.
In einer anderen Ausgestaltung der Erfindung ist die erste Sendestufe für eine Übertragung auf einem ersten Übertragungskanal und die zweite Sendestufe für eine Übertragung auf einen zweiten Übertragungskanal ausgeführt. Diese können jeweils unterschiedliche Übertragungskanäle aber auch den gleichen Übertragungskanal darstellen. Ebenso ist es möglich, dass erste und zweite Sendestufe eine gemeinsame Sendestufe bilden und erste und zweite Nutzdaten in einen gemeinsamen Übertragungskanal übermitteln.In Another embodiment of the invention is the first transmission stage for a transfer to a first transmission channel and the second transmission stage for a transmission on a second transmission channel executed. these can each different transmission channels but also the same transmission channel represent. It is also possible that first and second transmission stage form a common transmission stage and transmit first and second payload data in a common transmission channel.
Ein weiterer Aspekt der Erfindung betrifft eine Empfangsanordnung für ein aufeinander abgestimmtes Abspielen von Nutzsignalen eines ersten und zweiten Datenstroms. Diese kann einen ersten Zwischenspeicher zum Ablegen eines ersten Nutzsignals oder eine Verzögerungseinheit enthalten. Eine Analysevorrichtung in der zweiten Empfangsanordnung ist mit dem ers ten Zwischenspeicher oder der Verzögerungseinheit gekoppelt und ausgeführt, aus dem ersten Nutzsignal wenigstens ein Identifikationsmerkmal für eine Identifikation wenigstens eines ersten Teilabschnittes des ersten Nutzsignals zu ermitteln und bereitzustellen.One Another aspect of the invention relates to a receiving arrangement for one another coordinated playback of useful signals of a first and second Data stream. This can be a first buffer for storing a first useful signal or a delay unit included. An analysis device in the second receiving arrangement is with the ers th buffer or the delay unit coupled and executed, at least one identification feature from the first useful signal for one Identification of at least a first subsection of the first Determine and provide useful signal.
Die Empfangsanordnung enthält einen Synchronisator für eine aufeinander abgestimmte Ausgabe des ersten und zweiten Nutzsignals anhand eines Vergleichs von im zweiten Nutzsignal abgelegten Identifikationsmerkmalen mit dem wenigstens einem von der Analysevorrichtung bereitgestellten Identifikationsmerkmal.The Receiving arrangement contains a synchronizer for a concerted output of the first and second useful signal based on a comparison of stored in the second payload identification features with the at least one provided by the analyzer Identification feature.
Durch die Verarbeitung des ersten Datenstroms und die Extrahierung von Identifikationsmerkmalen entfällt die Notwendigkeit, eine bereits bestehende Kommunikationsverbindung und Übertragung des ersten Nutzsignals abzubrechen. Vielmehr ist es möglich, eine neue Kommunikationsverbindung für eine Übertragung eines zweiten Datenstroms aufzubauen, diesen zu empfangen und daraus ein zweites Nutzsignal sowie die Identifikationsmerkmale zu ermitteln, die für eine Synchronisation des zweiten Nutzsignals mit dem ersten Nutzsignal vorgesehen sind. Dadurch können bereits vorhandene Kommunikationsstandards bzw. Technologien weiter verwendet werden.By the processing of the first data stream and the extraction of Identification features deleted the need to have an already existing communication connection and transfer of the abort the first useful signal. Rather, it is possible to have one new communication connection for a transmission to build a second data stream to receive this and from it determine a second useful signal and the identification features, the for a synchronization of the second useful signal with the first useful signal are provided. Thereby can already existing communication standards or technologies be used.
In einem Aspekt der Erfindung enthält die Empfangsanordnung eine Vergleichsvorrichtung, die zur Ausgabe eines Steuersignals in Antwort auf einen Vergleich der im zweiten Datenstrom abgelegten Identifikationsmerkmalen mit den von der Analysevorrichtung bereitgestellten Identifikationsmerkmalen ausgeführt ist. Dieses Steuersignal dient zu einer Abstimmung der Abgabe des ersten und zweiten Nutzsignals.In an aspect of the invention the receiving arrangement is a comparison device for output a control signal in response to a comparison of the second Data stream stored identification features with those of the analyzer provided identification features is executed. This control signal serves to tune the output of the first and second useful signal.
Die Vergleichsvorrichtung ist in einem Aspekt der Erfindung für die Analyse einer Ähnlichkeit zwischen den abgelegten Identifikationsmerkmalen und dem wenigstens einen bereitgestellten Identifikationsmerkmal ausgeführt. Durch die Analyse einer Ähnlichkeit wird es möglich, auch bei einer geringen Störung des ersten bzw. zweiten Nutzsignals während einer Datenübertragung eine Identifikation sowie Zuordnung für eine synchrone Ausgabe zu ermöglichen.The Comparator is in one aspect of the invention for analysis a similarity between the deposited identification features and the at least one provided identification feature executed. By analyzing a similarity will it be possible even with a slight disturbance of the first or second useful signal during a data transmission an identification and assignment for a synchronous output too enable.
In einem anderen Aspekt der Erfindung ist die Vergleichsvorrichtung mit einer Erzeugung des ersten Nutzsignals aus den Identifikationsmerkmalen ausgeführt. Dies ist beispielsweise dann zweckmäßig, wenn die Identifikationsmerkmale im zweiten Datenstrom eine kodierte Form des ersten Nutzsignals darstellen. Bei dieser Ausgestaltung ist es möglich, eine Entscheidung darüber zu treffen, welche erste Nutzsignals ausgegeben werden soll, das aus dem ersten Datenstrom ermittelte oder aus den im zweiten Datenstrom enthaltenen Identifikationsmerkmalen erzeugte.In Another aspect of the invention is the comparison device executed with a generation of the first useful signal from the identification features. This is useful, for example, if the identification features in the second data stream encoded Represent the shape of the first useful signal. In this embodiment is it possible to have one Decision about it to make which first payload is to be output, the from the first data stream or from those in the second data stream generated identification features generated.
Da im Allgemeinen die übertragenen Signale an die Empfangsanordnung gemäß einem Kommunikationsstandard kodiert sind, umfasst in einem Aspekt der Erfindung die Empfangsanordnung eine erste Kodiereinrichtung. Die Kodiereinrichtung ist zur Erzeugung des ersten Nutzsignals aus einem ersten von der Empfangsanordnung empfangenen Signal ausgebildet. Weiterhin kann eine zweite Dekodiereinrichtung vorgesehen sein, die zur Erzeugung des zweiten Nutzsignals aus einem zweiten empfangenen Signal ausgeführt ist. Es ist möglich, dass die Empfangsanordnung für einen Empfang des ersten und des zweiten Signals in einem gemeinsamen Übertragungskanal oder in verschiedenen Übertragungskanälen ausgebildet ist.There in general, the transferred Signals to the receiving device according to a communication standard encoded in one aspect of the invention comprises the receiving arrangement a first coding device. The encoder is for generation the first payload signal from a first one of the receiving device received signal formed. Furthermore, a second decoding device be provided for generating the second useful signal from a second received signal is executed. It is possible that the receiving arrangement for a reception of the first and the second signal in a common transmission channel or formed in different transmission channels is.
Bei dem erfindungsgemäßen System handelt es sich um eine Sendeanordnung, die zur Abgabe eines ersten sowie eines zweiten Signals ausgebildet ist, wobei das zweite Signal Identifikationsmerkmale umfasst, die von dem ersten Signal oder aus darin enthaltenen Informationen abgeleitet sind. Die Empfangsanordnung ist zur Ermittlung von Identifikationsmerkmalen aus dem ersten Signal ausgeführt und enthält Mittel zu einer aufeinander abgestimmten, insbesondere zu einer synchronen Ausgabe von aus dem ersten und zweiten Signal abgeleiteten Signalen. Die Ausgabe erfolgt abhängig durch einen Vergleich der ermittelten Identifikationsmerkmale mit dem im zweiten Signal enthaltenen Identifikationsmerkmal. Dadurch kann die Ausgabe eines beliebigen Inhalts eines zweiten Signals zeitlich abgestimmt zu einer Ausgabe des ersten Signals erfolgen. Das zweite Signal kann beispielsweise Audiosignale, Videosignale oder auch computergestützte Bildschirmpräsentationen umfassen.at the system according to the invention it is a sending order that is used to deliver a first and a second signal is formed, wherein the second signal Identification features included from the first signal or from Information contained therein is derived. The receiving arrangement is for identifying identification features from the first signal accomplished and contains Means for a concerted, especially one synchronous output derived from the first and second signals Signals. The output depends on a comparison the identified identification features with the in the second signal contained identification feature. This can cause the output of a arbitrary content of a second signal timed to an output of the first signal. The second signal can For example, audio signals, video signals or computer-assisted slide shows include.
Im Folgenden wird die Erfindung anhand verschiedener Ausführungsbeispiele unter Zuhilfenahme der Zeichnung im Detail erläutert. Es zeigen:in the The invention will be described below with reference to various embodiments explained in detail with the aid of the drawing. Show it:
Im Regelfall umfasst ein System für eine Kommunikation die folgenden Bestandteile. Zum einen ist ein Sender vorgesehen, der die zu übertragenen Nutzdaten erfasst und nach einem Kommunikationsstandard verarbeitet. Die so verarbeiteten und gegebenenfalls aufbereiteten Daten werden an ein Kommunikationsnetzwerk weitergegeben. Dieses enthält im Regelfall mehrere einzelne Knoten, die das Nutzsignal weiterreichen. Je nach gewählter Kommunikationsverbindung kann es vorkommen, dass das Nutzsignal nochmals verarbeitet bzw. in ein anderes Datenformat umgewandelt wird. Am Ende des Systems ist das Netzwerk wiederum mit der Empfangseinheit gekoppelt, die die übertragenen Daten wieder in das Nutzsignal umwandelt.in the As a rule, a system for a communication the following components. For one thing is one Transmitter provided to transmit the User data collected and processed according to a communication standard. The processed and possibly processed data will be passed on to a communication network. This usually contains several individual nodes, which pass on the useful signal. Depending on selected Communication connection, it may happen that the useful signal reprocessed or converted into another data format becomes. At the end of the system, the network is in turn with the receiving unit coupled, who transmitted the Data again converted into the useful signal.
Ein typisches Beispiel hierfür ist eine Verbindung eines mobilen Kommunikationsgerätes in ein Festnetz und beispielsweise an einen ISDN-Telefonanschluss. Hierbei werden die zu übertragenden Nutzsignale in Form von Sprach- oder Audiosignalen von dem Sender, dem mobilen Kommunikationsgerät in Signale nach einem Kommunikationsstandard gewandelt und an eine Basisstation übertragen. Die Basisstation bildet einen Teil des Netzwerks und verarbeitet die empfangenen Signale weiter. sie extrahiert daraus beispielsweise wieder das Nutzsignal in Form des Sprachsignals. Dieses wird nach dem PCM-Kodierungsverfahren kodiert und über eine Festnetzleitung an den Empfänger übergeben. Dabei kann es durchaus vorkommen, dass je nach Entfernung zwischen Sendegerät und Empfangsgerät innerhalb des Netzwerkes mehrere verschiedene Knoten vorgesehen sind, die während der Datenübertragung das Signal erneut aufbereiten bzw. anderweitig verarbeiten.One typical example of this is a connection of a mobile communication device in a landline and for example to an ISDN telephone line. Here are the useful signals to be transmitted in the form of voice or audio signals from the transmitter, the mobile Communication device in Signals are converted to a communication standard and transmitted to a base station. The base station forms part of the network and processes the received signals on. she extracts it, for example again the useful signal in the form of the speech signal. This will be after coded according to the PCM coding method and via a landline line hand over the recipient. It may well happen that depending on the distance between transmitter and receiving device provided within the network several different nodes are that during the data transmission Reprocess or otherwise process the signal.
Für die Datenübertragung im vorliegenden Fall wird auf eine Ende-zu-Ende Verbindung zurückgegriffen. Hier wird die Kommunikationsverbindung zwischen dem Kommunikationsgerät und dem Telefon aufgebaut, und die Leitung bleibt unabhängig von einer Sprachübertragung bestehen. Die Verbindung wird erst bei einer vollständigen Beendigung unterbrochen. Dadurch kommt es bei der Übertragung der Sprache zu einer im Wesentlichen konstanten Verzögerungszeit, das sich die einzelnen Knoten der Kommunikationsverbindung nicht ändern. Im Allgemeinen wird eine derartige Kommunikationsverbindung auch als leitungsvermittelte oder "circuit switched"-Verbindung. bezeichnet.For data transmission in the present case an end-to-end connection is used. Here, the communication connection between the communication device and the Telephone set up, and the line remains independent of a voice transmission consist. The connection will only become complete interrupted. This results in the transmission of the language to a essentially constant delay time, that the individual nodes of the communication link do not change. in the Generally, such a communication connection is also called circuit-switched or "circuit switched "connection. designated.
Im Gegensatz dazu können bei einer paketorientierten Übertragung die einzelnen Pakete über unterschiedliche Routen an den Empfänger übermittelt werden. Demzufolge kann es hier auch zu unterschiedlichen Laufzeiten kommen. Ein typisches Beispiel für eine solche paketorientierte Kommunikationsverbindung liegt bei internetbasierten Übertragungen vor.in the Contrary to this in a packet-oriented transmission the individual packages over different Routes transmitted to the recipient become. As a result, it can also have different maturities come. A typical example of such a packet-oriented communication connection is included Internet-based transmissions in front.
Die
Sendeeinheit ist im vorliegenden Fall als ein mobiles Kommunikationsgerät ausgeführt. Sie enthält ein Mikrofon
Im
vorliegenden Fall umfasst das Kommunikationsnetzwerk
Letztlich
wird ein Datenstrom C, der im Idealfall die gleichen Nutzdaten (also
das Audiosignal A) beinhaltet wie der Strom B an die Basisstation
Von
der Empfangseinheit
Erfindungsgemäß ist vorgesehen,
zu einer bereits bestehenden Kommunikationsverbindung für eine Übertragung
von Sprach- oder
Audiosignalen eine weitere Kommunikationsverbindung aufzubauen.
Mit der zweiten Verbindung sollen Videosignale an die Empfangseinheit
Dazu
enthält
die Sendeeinheit
Das
Gesamtsignal N wird als Datenstrom über die Schnittstelle
Das übermittelte
Signal D wird dekodiert und die darin befindlichen Videoinformationen
in Form des Signals R an einen Videodekoder
Aufgrund
des im Netzwerk
Für ein aufeinander
abgestimmtes Ausgeben der Signale A und I im Empfänger ist
in der erfindungsgemäßen Sendeanordnung
eine Analysevorrichtung
Jeder
Teilabschnitt des Audiosignals ist so gewählt, dass seine Ausgabe in
einem zeitlich definierten Zusammenhang zu einer Darstellung eines oder
mehrerer Bilder des erfassten Videosignals erfolgt. Die Analysevorrichtung
Das Identifikationsmerkmal ist so gewählt, dass es einerseits besonders robust gegen eventuelle Störungen während der Datenübertragung ist. Andererseits ist es auch robust gegen Artefakte, die aufgrund einer Signalverarbeitung bzw. Kompression während der Übertragung des ersten Datenstroms B auftreten. Diese Artefakte können das Nutzsignal im ersten Datenstrom B beeinträchtigen.The Identification feature is chosen so that it on the one hand especially robust against possible interference while the data transmission is. On the other hand, it is also robust against artifacts due to a signal processing or compression during the transmission of the first data stream B occur. These artifacts can affect the useful signal in the first data stream B.
Das
komprimierte Videosignal M und das Identifikationsmerkmal werden
in der Kodiereinrichtung
Für jeden der Teilabschnitte TA1, TA2 und TA3 wird nun ein Fingerabdruck, ein eindeutiges Identifikationsmerkmal FP1, FP2 bzw. FP3 ermittelt. Dieser Fingerabdruck kann beispielsweise durch LTP- oder LPC-Koeffizienten bestimmt sein. Derartige Koeffizienten werden bei einer Kodierung des Sprachsignals A erzeugt und können so leicht ohne Mehraufwand benutzt werden. Eine andere Möglichkeit besteht in der Ermittlung besonders robuster Frequenzinformationen für jeden Teilabschnitt. Nach einer Erzeugung der jeweiligen Identifikationsmerkmale werden diese dem korrespondierenden Videobild des digitalen Videosignals zugeordnet.For each subsections TA1, TA2 and TA3 will now become a fingerprint, a unique identification feature FP1, FP2 or FP3 determined. This Fingerprint can be, for example, by LTP or LPC coefficients be determined. Such coefficients are used in coding of the speech signal A and can thus easily without additional effort to be used. Another possibility consists in the determination of particularly robust frequency information for each Subsection. After generation of the respective identification features These are the corresponding video image of the digital video signal assigned.
Für eine Zuordnung werden nun einerseits die Videobilder VB1 bis VB3 sowie die erzeugten Identifikationsmerkmale FP1 bis FP3 mit einem Zeitstempel K versehen. Dieser Zeitstempel K erlaubt die Zuordnung der Identifikationsmerkmale L zu dem kodierten Videosignal M mit den kodierten Videobildern.For an assignment On the one hand, the video images VB1 to VB3 and the generated identification features FP1 to FP3 with a time stamp K provided. This timestamp K allows the assignment of the identification features L to the coded Video signal M with the coded video images.
In
der Kodiereinrichtung
Wegen den in den Identifikationsmerkmalen L und dem kodierten Videodatenstrom M enthaltenen Zeitstempeln K ist eine Zuordnung auch dann gewährleistet, wenn eine andere Paketform gewählt wird. So können Videodatenstrom M und die Identifikationsmerkmale L auch in unterschiedlichen Paketen oder sogar verschiedenen Datenströmen übertragen werden.Because of in the identification features L and the encoded video data stream M contained time stamps K is guaranteed even then an assignment if another form of package is chosen. So can Video data stream M and the identification features L also in different Packets or even different data streams.
Eine andere Möglichkeit besteht darin, innerhalb des kodierten Videodatenstroms M die Identifikationsmerkmale L als zu sätzliche Information, engl. "supplementary enhancement Information" unterzubringen. Ein Videostandard, der dies ermöglicht, ist der H.264/AVC-Standard. Ein zusätzliches Multiplexen kann dann entfallen, der kodierte und mit den Merkmalen L versehene Videostrom M bildet in einem solchen Fall den Datenstrom N. Grundsätzlich sollte nur eine Zuordnung zwischen den Identifikationsmerkmalen im Strom L und dem Videosignal J gewährleistet sein.A different possibility consists in the coded video data stream M, the identification features L as additional Information, engl. "supplementary enhancement information ". A video standard that allows this is the H.264 / AVC standard. An additional multiplexing can then omitted, the coded and provided with the features L video stream M forms the data stream N in such a case. Basically only an association between the identification features in the stream L and the video signal J guaranteed be.
Vorliegend
umfasst nach
Der
so aufbereitete zweite Datenstrom N wird wiederum durch die zweite
Kommunikationsverbindung über
das Netzwerk
Der
Merkmalsstrom Q wird der Einrichtung
Um
eine aufeinander abgestimmte Ausgabe zu gewährleisten, ist der Audiodekoder
Der
Synchronisator ist dazu mit dem Videodekoder
Die
zusätzliche
Pufferung ermöglicht
es darüber
hinaus, im Fall verloren gegangener Daten die korrespondierenden
Signale des jeweils anderen Datenstroms abzugeben. Beispielsweise
können
Bereiche des Audiosignals F auch dann abgegeben werden, wenn das
dazu korrespondierende Videosignal W während der Übertragung verloren gegangen
bzw. nicht rekonstruierbar ist. Aufgrund unterschiedlicher Verzögerungen
in den beiden Netzwerken
Einer Pufferung bzw. Verzögerung einer Ausgabe des Sprachsignal kann auch durch eine besondere Verarbeitung des Sprachsignal erfolgen. Anstelle des Puffers kann ein Signalprozessor vorgesehen sein, der eine zeitbasierte Modifikation des Sprachsignals durchführt. So könnte das Sprachsignal dynamisch verzerrt, z.B. vokale Laute bei der Ausgabe dynamisch verlängert oder verkürzt werden, um dadurch eine Verzögerung zu erreichen. Dieses "time scale modification" Verfahren eignet sich besonders, da eine kontinuierliche Ausgabe des Sprachsignal ohne Unterbrechungen vorgenommen, aber dennoch Zeit für die Verarbeitung des zweiten Datenstrom und die Abstimmung einer Ausgabe gewonnen wird.one Buffering or delay An output of the speech signal may also be by special processing of the speech signal. Instead of the buffer, a signal processor be provided, which is a time-based modification of the speech signal performs. So could the speech signal is dynamically distorted, e.g. vocal sounds at the output dynamically extended or shortened thereby causing a delay to reach. This "time scale modification "procedure is particularly suitable as a continuous output of the speech signal without Interruptions, but still time to process the second Data stream and the vote of an issue is won.
Während der Übertragung
des ersten Datenstroms im Netzwerk
Die
erste Vorrichtung
Der
zweite Datenstrom wird an das zweite Netzwerk
Im
vorliegenden Fall erfolgt die Übertragung des
ersten Datenstroms, also des Sprachsignals sowie des zweiten Datenstroms über zwei
verschiedene Übertragungskanäle. Beispielsweise
können
die kodierten Audiodaten D in Form eines GSM-Signals an die Empfängeranordnung
Einen
anderen Aspekt der Erfindung verdeutlicht
Der
Synchronisator
Mit den erfindungsgemäßen Elementen der dargestellten Systeme lässt sich bei einer bestehenden Kommunikationsverbindung zur Übertragung eines ersten Datenstroms eine zweite Kommunikationsverbindung zur Übertragung eines zweiten Datenstroms ohne Unterbrechung der ersten Kommunikationsverbindung hinzufügen.With the elements of the invention the illustrated systems at an existing communication link for transmission a first data stream, a second communication connection for transmission a second data stream without interruption of the first communication link Add.
Ebenso ist es möglich, eine neue Kommunikationsverbindung zur Übertragung des ersten und des zweiten Datenstroms aufzubauen. Eine zeitlich aufeinander abgestimmte Ausgabe erfolgt durch die dem zweiten Datenstrom hinzugefügten Identifikationsmerkmale, die von dem ersten Datenstrom abgeleitet sind. Die zusätzlichen Identifikationsmerkmale im zweiten Datenstrom werden sendeseitig hinzugefügt. Dies ist beispielsweise in Form eines Fingerabdrucks bzw. zusätzliche Informationen innerhalb des für den zweiten Datenstrom verwendeten Übertragungsprotokolls möglich. Zudem lassen sich weitere Informationen beispielsweise Zeitstempel übertragen. Durch Verwendung eines geeigneten Übertragungsprotokolls, beispielsweise des Real Time Protokolls wird das Hinzufügen von Zeitstempeln zu Daten bzw. Identifikationsmerkmalen noch formalisiert und deren Verwendung zur Synchronisation vereinfacht.As well Is it possible, a new communication link for transmitting the first and the build up second data stream. A timely coordinated Output is made by the identification features added to the second data stream, derived from the first data stream. The additional Identification features in the second data stream are sent by the transmitter added. This is for example in the form of a fingerprint or additional Information within the for the second data stream used transmission protocol possible. moreover Further information can be transmitted, for example, timestamps. By using a suitable transmission protocol, for example The real-time protocol is adding timestamps to data or identification features are still formalized and their use simplified for synchronization.
Darüber hinaus besteht die Möglichkeit selbige Identifikationsmerkmale durch einen weiteren Übertragungskanal an den Empfänger zu übermitteln. Dabei muss lediglich gewährleistet sein, dass die Identifikationsmerkmale in dem weiteren Übertragungskanal den einzelnen Abschnitten des zweiten Datenstroms zugeordnet werden können.Furthermore it is possible selbige identification features by another transmission channel to the recipient to convey. It only has to be guaranteed be that the identification features in the further transmission channel be assigned to the individual sections of the second data stream can.
In Schritt S3 werden die im zweiten Datenstrom enthaltenen Identifikationsmerkmale extrahiert. Anschließend werden in Schritt S4 Teilabschnitte des Nutzsignals im zweiten Datenstrom sowie die den Teilabschnitten zugeordneten Identifikationsmerkmale der Teilabschnitte des ersten Datenstrom zwischengespeichert. Während den Schritten S3 und S4, also des Ermittelns der Identifikationsmerkmale im zweiten Datenstrom, ist es möglich, die Teilabschnitte des zwischengespeicherten Nutzsignals zu analysieren. Dieser Vorgang erfolgt in Schritt S5. Dabei werden aus den einzelnen Teilabschnitten Identifikationsmerkmale ermittelt, die in Art und Aufbau den Identifikationsmerkmalen des zweiten Datenstroms entsprechen. Wenn also beispielsweise die Identifikationsmerkmale im zweiten Datenstrom LTP-Koeffizienten darstellen (Long Term Prediction), so werden in Schritt S5 aus den einzelnen Teilabschnitten des gespeicherten ersten Datenstroms ebenfalls die LTP-Koeffizienten ermittelt.In step S3, the identification features contained in the second data stream are extracted. Subsequently, in step S4, subsections are made te the useful signal in the second data stream and the subsections associated with the identification features of the subsections of the first data stream. During steps S3 and S4, that is to say the determination of the identification features in the second data stream, it is possible to analyze the subsections of the buffered useful signal. This process takes place in step S5. In this case, identification features are determined from the individual subsections, which correspond in type and structure to the identification features of the second data stream. If, for example, the identification features in the second data stream represent LTP coefficients (Long Term Prediction), the LTP coefficients are also determined in step S5 from the individual subsections of the stored first data stream.
In Schritt S6 werden nun die jeweils die aus den Teilabschnitten des Nutzsignals ermittelten Identifikationsmerkmale mit dem oder den Identifikationsmerkmalen des zweiten Datenstroms verglichen. Beispielsweise kann jedes Identifikationsmerkmal der Teilabschnitte des Nutzsignals im ersten Datenstrom mit jedem der aus dem zweiten Datenstrom ermittelten Identifikationsmerkmalen verglichen werden. Dafür stehen in Schritt S7 verschiedene Vergleichsverfahren und Methoden zur Verfügung. Der Vergleich kann so ausgestaltet sein, dass nur bei einer genauen Übereinstimmung eines Identifikationsmerkmals eines Teilabschnittes des ersten Datenstroms mit einem Identifikationsmerkmal des zweiten Datenstroms ein positives Ergebnis erzeugt.In Step S6 will now be the ones from the subsections of Use signal identified identification features with the or Identification features of the second data stream compared. For example can each identification feature of the subsections of the useful signal in the first data stream with each of the ones determined from the second data stream Identification features are compared. There are different ones in step S7 Comparison methods and methods available. The comparison can be so be designed that only with an exact match of an identification feature a subsection of the first data stream with an identification feature the second data stream generates a positive result.
Da aber möglicherweise während einer Übertragung Fehler innerhalb der beiden Datenströme aufgetreten sind oder durch Signalverarbeitung oder Kompression Verzerrungen oder andere Veränderungen aufgetreten sein können, können sich auch die Identifikationsmerkmale leicht unterscheiden. Daher ist es eventuell zweckmäßig, für eine Entscheidung bezüglich einer Übereinstimmung gewisse Freiheiten vorzusehen. Die Übereinstimmung wird somit nur mit einer Wahrscheinlichkeit bestimmt. Überschreitet diese einen vorbestimmten Wert, so wird eine Übereinstimmung angenommen. Eine andere Möglichkeit wäre, eine Korrelationsanalyse für die Identifikationsmerkmale des ersten und zweiten Datenstroms durchzuführen.There but maybe while a transmission Errors within the two data streams have occurred or through Signal processing or compression distortions or other changes may have occurred can also the identification features are slightly different. Therefore It may be appropriate for a decision in terms of a match to provide for certain freedoms. The match will therefore only determined with a probability. If this exceeds a predetermined Value, so will a match accepted. Another possibility would be a Correlation analysis for to carry out the identification features of the first and second data stream.
Ergibt der Vergleichsvorgang in den Schritten S6 und S7, dass die Identifikationsmerkmale der Teilabschnitte des ersten Datenstroms mit dem oder den Identifikationsmerkmalen im zweiten Datenstrom nicht übereinstimmen, wird der Vergleich mit neuen Identifikationsmerkmalen des ersten bzw. zweiten Datenstroms wiederholt. Bei einer Übereinstimmung hingegen werden im Schritt S8 die den beiden Identifikationsmerkmalen zugeordneten Teilabschnitte des ersten und zweiten Datenstroms aus dem Puffer geladen. In Schritt S9 werden die Abschnitte schließlich zeitlich aufeinander abgestimmt ausgegeben.results the comparison process in steps S6 and S7 that the identification features the sections of the first data stream with the one or more identification features do not match in the second stream, will be the comparison with new identification features of the first or second data stream repeated. On the other hand, if there is a match in step S8 associated with the two identification features Portions of the first and second data streams are loaded from the buffer. Finally, in step S9, the sections become time-sequential spent spent.
Durch die Zwischenspeicherung des ersten Datenstroms und die Zwischenspeicherung des zweiten Datenstroms lässt er sich eine zeitliche Verzögerung während eines Empfangsvorgangs des ersten oder zweiten Datenstroms korrigieren. Durch die Analyse der Nutzsignale im ersten Datenstrom sowie die Ermittlung der Identifikationsmerkmale entfällt die Notwendigkeit, be reits im Vorfeld Zeitstempel in beide Datenströme für eine spätere Ausgabe einzufügen.By the caching of the first data stream and the caching of the second data stream he has a time delay while correcting a reception operation of the first or second data stream. By analyzing the useful signals in the first data stream and the Determination of the identification features eliminates the need to be already to insert in advance timestamps in both data streams for later output.
Vielmehr können im zweiten Datenstrom beliebige Nutzsignale in Teilabschnitten vorgesehen sein, wobei jedem der Teilabschnitte Identifikationsmerkmalen zugeordnet werden, wenn diese synchron zu den Teilabschnitten des Nutzsignals im ersten Datenstrom ausgegeben werden sollen. Eine besondere Wahl des zweiten Nutzsignals ist dabei nicht notwendig. Beispielsweise kann durch das vorgestellte Verfahren ein Videosignal als Nutzsignal des zweiten Datenstroms mit Hilfe der Identifikationsmerkmale auf einen bereits bestehende Übertragung eines Sprachsignals synchronisiert werden. Dabei ist es nicht notwendig, den ersten und zweiten Datenstrom über den gleichen Übertragungskanal an einem Empfänger zu übermitteln.Much more can be provided in the second data stream any useful signals in subsections wherein each of the sub-sections associated with identification features when these are synchronous with the subsections of the wanted signal to be output in the first data stream. A special choice the second useful signal is not necessary. For example can by the presented method a video signal as a useful signal of the second data stream using the identification features an existing transfer of a Voice signal synchronized. It is not necessary the first and second data streams over the same transmission channel at a receiver to convey.
Zu der bereits bestehenden Kommunikationsverbindung soll nun ein zweiter Datenstrom hinzugefügt werden, der ein zweites Nutzsignal beinhaltet, das zu dem Telefonsignal synchronisiert ist. Dazu werden in Schritt S10 der erste und der zweite Datenstrom im Wesentlichen gleichzeitig über einen gemeinsamen Übertragungskanal empfangen. Dieser Übertragungskanal kann beispielsweise eine Mobilfunkverbindung nach dem UMTS-Standard darstellen. Eine andere Möglichkeit wäre, beispiels weise den ersten Datenstrom über eine Telefonverbindung und den zweiten Datenstrom paketorientiert über eine DSL-Verbindung zu empfangen. In einem solchen Fall erfolgt die Übertragung der beiden Datenströme über die gleiche physikalische Leitung.To the existing communication connection is now a second Data stream added which includes a second useful signal corresponding to the telephone signal is synchronized. For this purpose, in step S10, the first and the second data stream substantially simultaneously via a common transmission channel receive. This transmission channel can represent, for example, a mobile connection according to the UMTS standard. Another possibility would be, example, the first data stream over a telephone connection and the second data stream packet-oriented over a DSL connection too receive. In such a case, the transmission of the two data streams via the same physical line.
In Schritt S11 wird das gemeinsame empfangene Signal decodiert bzw. in den ersten und in den zweiten Datenstrom aufgetrennt. Der erste Datenstrom als Telefonsignal wird in Schritt S12 in verschiedene Teilabschnitte gleicher Länge unterteilt. Diese Teilabschnitte sind jedoch nicht willkürlich gewählt, sondern folgen einem vordefinierten Muster, das sich aus dem ersten Datenstrom ergibt. In Schritt S16 werden diese Teilabschnitte für eine spätere Verarbeitung zwischengespeichert.In step S11, the common received signal is decoded or separated into the first and the second data stream. The first data Current as a telephone signal is divided into different sections of equal length in step S12. However, these sections are not arbitrary, but follow a predefined pattern that results from the first data stream. In step S16, these sections are cached for later processing.
Zu der Verarbeitung des ersten Datenstroms in den Schritten S12 und S16 wird auch der zweite Datenstrom mit dem zweiten Nutzsignal verarbeitet. Das zweite Nutzsignal umfasst ebenfalls mehrere Teilabschnitte, die im Schritt S13 aufgetrennt werden. Bestimmten Teilabschnitten ist jeweils ein Identifikationsmerkmal zugeordnet, das aus dem zweiten Datenstrom extrahiert und in einem Speicher abgelegt wird.To the processing of the first data stream in steps S12 and S16, the second data stream is also processed with the second useful signal. The second payload also includes several subsections, the be separated in step S13. Certain sections is each assigned an identification feature that from the second Data stream is extracted and stored in a memory.
Im Allgemeinen erfolgt der Empfang des ersten und zweiten Datenstroms zwar gleichzeitig, dies bedeutet jedoch nicht, dass die entsprechenden Abschnitte des ersten und des zweiten Nutzsignals eine bestimmte zeitliche Beziehung zueinander aufweisen. Beispielsweise kann aufgrund unterschiedlicher Übertragungswege zwischen dem Sender und dem Empfänger ein Zeitversatz zwischen korrespondierenden Teilabschnitten des ersten Datenstroms und Teilabschnitten des Nutzsignals im zweiten Datenstrom auftreten. Mit anderen Worten können Teil abschnitte des ersten Datenstroms früher oder später beim Empfänger eintreffen als die korrespondierenden Teilabschnitte des zweiten Nutzsignals. Wird dieser Zeitversatz nun größer als ein vorbestimmter Wert, ist es nicht mehr zweckmäßig, verspätet eintreffende Teilabschnitte zwischenzuspeichern. Dies ist vor allem dann nicht mehr sinnvoll, wenn beispielsweise bereits vorher eingetroffenen Teilabschnitte des ersten Datenstroms weiter verarbeitet und gegebenenfalls schon ausgegeben wurden.in the Generally, the reception of the first and second data streams takes place Although at the same time, this does not mean that the corresponding Sections of the first and second useful signal a specific have temporal relationship to each other. For example, due to different transmission paths between the sender and the receiver a time offset between corresponding sections of the first data stream and subsections of the useful signal in the second Data stream occur. In other words, sections of the first Data stream earlier or later at receiver arrive as the corresponding sections of the second Useful signal. If this time offset now becomes greater than a predetermined value, it is no longer appropriate, late arrivals Cache subsections. This is not the case especially more useful if, for example, previously arrived Subsections of the first data stream further processed and, where appropriate already spent.
Im vorliegenden Fall wird davon ausgegangen, dass das zweite Nutzsignal gegenüber dem Telefonsignal verzögert ist. In Schritt S15 wird daher überprüft, ob die den Teilabschnitten des zweiten Datenstroms zugeordneten Identifikationsmerkmale bereits ausgegeben wurden. Dies kann durch einen kurzen Vergleich der extrahierten Identifikationsmerkmale der Teilabschnitte des zweiten Nutzsignals mit Identifikationsmerkmalen von bereits ausgegebenen Teilabschnitten des ersten Datenstroms erfolgen. Eine andere Möglichkeit für eine derartige Überprüfung besteht dann, wenn einzelnen Teilabschnitten des zweiten Nutzsignals im zweiten Datenstrom Zeitstempelinformationen zugeordnet sind. Damit können alle die Teilabschnitte verworfen werden, die einen Zeitstempel umfassen, der vor dem letzten ausgegebenen Zeitstempel eines Teilabschnittes des zweiten Nutzsignals liegen.in the In this case, it is assumed that the second useful signal across from Delayed the phone signal is. In step S15, therefore, it is checked whether the the identification features associated with the subsections of the second data stream already spent. This can be done by a quick comparison the extracted identifiers of the subsections of the second useful signal with identification features of already issued sections of the first data stream. Another possibility for such a review exists then, if individual subsections of the second useful signal in second data stream time stamp information are assigned. In order to can all the subsections are discarded that have a timestamp include, before the last issued time stamp of a subsection lie of the second useful signal.
Wenn in Schritt S18 ein solcher Vergleich einer Übereinstimmung zeigt, so wird der korrespondierende Teilabschnitt des zweiten Nutzsignals in Schritt S19 verworfen, da der zu diesem Teilabschnitt synchron auszugebende Teilabschnitt des ersten Datenstroms bereits ausgegeben wurde. Allenfalls wird in Schritt S20 der Teilabschnitt des zweiten Nutzsignals sowie des zugehörige Identifikationsmerkmal abgespeichert.If In step S18, such a comparison of a match shows the corresponding subsection of the second useful signal in step S19 discarded because the output to this section synchronously Part of the first data stream has already been issued. at best In step S20, the subsection of the second user signal as well the associated Identification stored.
In Schritt S17 wird eine Analyse und Ermittlung der Identifikationsmerkmale der Teilabschnitte des ersten Datenstroms vorgenommen.In Step S17 is an analysis and determination of the identification features the subsections of the first data stream made.
In Schritt S21 werden nun die Identifikationsmerkmale der Teilabschnitte des ersten Datenstroms mit den Identifikationsmerkmalen aus dem zweiten Datenstrom verglichen. Ergibt ein solcher Vergleich in Schritt S22 eine Übereinstimmung, so bedeutet dies im Wesentlichen, dass die Teilabschnitte des ersten und zweiten Datenstroms aufeinander abgestimmt ausgegeben werden sollen. Diese werden in Schritt S23 aus dem jeweiligen Zwischenspeicher geladen und in Schritt S24 synchron ausgegeben.In Step S21 will now be the identification features of the subsections the first data stream with the identification features of the compared to the second data stream. Returns such a comparison in step S22 a match, this essentially means that the subsections of the first and second data stream are outputted coordinated should. These are loaded from the respective cache in step S23 and output synchronously in step S24.
Wenn hingegen ein Teilabschnitt des zweiten Nutzsignals zu den korrespondierenden Teilabschnitten des ersten Datenstroms bislang noch nicht empfangen und verarbeitet wurde, ergibt der Vergleichsvorgang in den Schritten S21 und S22 keine Übereinstimmung. In einem solchen Fall wird davon ausgegangen, dass der entsprechend Teilabschnitt im zweiten Datenstrom noch nicht empfangen wurde. Daher wird in Schritt S25 ein Zähler erhöht. Der Zähler zeigt an, ob der Teilabschnitt im Telefonsignal trotz fehlenden Teilabschnittes im zweiten Nutzsignal ausgegeben werden soll. Dazu wird der Zähler in Schritt S26 mit einem im vorbestimmten Wert verglichen. Ist der Zähler kleiner als dieser Wert, so wird das Verfahren mit der weiteren Analyse neu empfangener Teilabschnitte des ersten Datenstroms fortgesetzt.If however, a subsection of the second useful signal to the corresponding Subsections of the first data stream not yet received and has been processed, the comparison process in the steps S21 and S22 no match. In such a case, it is assumed that the corresponding Subsection in the second data stream has not yet been received. Therefore At step S25, a counter becomes elevated. The counter indicates whether the subsection in the phone signal despite missing Subsection is to be output in the second useful signal. To becomes the counter in step S26 is compared with one in the predetermined value. Is the counter smaller than this value, so the process with the other Analysis of newly received subsections of the first data stream continued.
Andernfalls wird, wenn der Zähler in Schritt S25 größer als der vorbestimmter Wert ist, in Schritt S27 der als nächstes auszugebende Teilabschnitt des Telefonsignals ermittelt und in Schritt S28 ausgegeben. Das zu dem ausgegebenen Teilabschnitt gehörige Identifikationsmerkmal wird nun als bereits ausgegeben gekennzeichnet und dient dazu, einen Teilabschnitt des zweiten Nutzsignals mit gleichem zugeordnetem Identifikationsmerkmal zu identifizieren. Da der zugehörige Teilabschnitt im ersten Datenstrom bereits ausgegeben wurde, kann der Teilabschnitt im zweiten Datenstrom verworfen werden.Otherwise will if the counter greater than. in step S25 the predetermined value is, in step S27, the next one to be output Part of the telephone signal determined and output in step S28. The identification feature associated with the issued subsection is now marked as already issued and serves a subsection the second useful signal with the same assigned identification feature to identify. As the associated Partial section in the first data stream has already been issued the subsection in the second data stream is discarded.
Es ist zweckmäßig, bei der Ausgestaltung des Verfahrens sowohl eine Verzögerung der Teilabschnitte des ersten Datenstroms gegenüber den Teilabschnitten des zweiten Datenstroms, als auch die umgekehrte Möglichkeit zu berücksichtigen.It is appropriate, at the design of the method both a delay of Subsections of the first data stream relative to the subsections of second data stream, as well as the reverse possibility to take into account.
In
Schritt S30 wird zwischen einem Sender und einem Empfänger eine
Kommunikationsverbindung zur Übertragung
eines ersten Nutzsignals bzw. eines ersten Datenstroms aufgebaut.
Der Aufbau erfolgt leitungsvermittelt und bleibt bis zur Beendigung bestehen.
Der erste Datenstrom enthält
das Nutzsignal, beispielsweise ein Sprachsignal. Während eines nun
folgenden Zeitraums erfolgt in Schritt
Diese Kommunikation wird auch in Schritt S32 über die bereits bestehende Verbindung fortgeführt. Zusätzlich soll nun zu der bereits bestehenden ersten Kommunikationsverbindung eine zweite Kommunikationsverbindung aufgebaut werden, über die ein zweiter Datenstrom übertragen wird. Das Nutzsignal des ersten und zweiten Datenstroms soll dabei zueinander synchron erfolgen. Dazu sind das erste und das zweite Nutzsignal jeweils in Teilabschnitte aufgeteilt.These Communication is also in step S32 on the already existing Connection continued. additionally should now to the already existing first communication connection a second communication connection can be set up via the transmit second data stream becomes. The useful signal of the first and second data stream to each other done synchronously. These are the first and the second useful signal each divided into sections.
Während der Fortführung der ersten Kommunikationsverbindung und der Übertragung der ersten Nutzdaten in den Schritt S32 wird in Schritt S33 eine zweite Kommunikationsverbindung über einen weiteren Übertragungskanal aufgebaut. Dieser Übertragungskanal kann gegenüber dem Übertragungskanal für die erste Kommunikationsverbindung unterschiedlich aufgebaut sein. Während beispielsweise der erste Übertragungskanal für die erste Kommunikationsverbindung eine Festnetzverbindung umfasst, beinhaltet der zweite Übertragungskanal eine paketorientierte Internetverbindung.During the continuation the first communication connection and the transmission of the first user data in step S32, in step S33, a second communication connection is made via another transmission channel built up. This transmission channel can be opposite the transmission channel for the first communication connection be constructed differently. While, for example, the first transmission channel for the first communication connection comprises a landline connection includes the second transmission channel a packet-oriented internet connection.
In Schritt S34 wird nun ein Sprach- oder Audiosignal in Form mehrerer Teilabschnitte als erstes Nutzsignal erfasst. Im Wesentlichen gleichzeitig und synchron dazu wird ein entsprechendes Videosignal in Schritt S35 erfasst, welches ebenfalls mehrere Teilabschnitte aufweist. In Schritt S36 werden aus dem erfassten Audiosignal Identifikationsmerkmale ermittelt. Diese Merkmale können sowohl aus dem erfassten analogen Audiosignal, als auch aus einem digitalen Audiosignal oder einem bereits codierten Audiosignal ermittelt werden. Unter dem Begriff des codierten Audiosignals werden verarbeitete Audiosignale verstanden, die nach einem Verfahren kodiert wurden. Beispiele für derartige Kodierungsverfahren sind das AMR- oder das AMR-WB Kodierungsverfahren, das GSM EFR Kodierungsverfahren, G.72x-Codierungsverfahren des ITU-T Standards für Sprachkomprimierung oder auch Kombinationen hiervon. Diese eignen sich besonders für eine Sprachkodierung.In Step S34 will now be a voice or audio signal in the form of several Subsections detected as the first useful signal. Essentially at the same time and synchronously, a corresponding video signal is generated in step S35 detected, which also has several sections. In step S36, identification features are determined from the detected audio signal. These features can both from the captured analog audio signal, as well as from a digital Audio signal or an already coded audio signal can be determined. The term encoded audio signal is processed Understood audio signals that were encoded by a method. examples for such coding methods are the AMR or AMR-WB coding method, the GSM EFR coding method, G.72x coding method of the ITU-T Standards for Voice compression or combinations thereof. These are suitable especially for a voice coding.
Die Identifikationsmerkmale, die in Schritt S36 ermittelt worden, erlauben eine eindeutige Identifikation des jeweilige Teilabschnittes des Sprachsignals. Bei einer Kodierung nach einem der oben genannten Verfahren ist es zudem denkbar, Merkmale, die während bei der Kodierung erzeugt werden, auch als Identifikationsmerkmale zu verwenden. So können die bei der AMR-Kodierung erzeugten LPC Koeffizienten auch als Identifikationsmerkmale dienen. Darüber hinaus sollten die erzeugten Identifikationsmerkmale besonders robust gegen während der Übertragung des ersten Datenstroms auftretenden Störungen oder Artefakte sein.The Identification features that were determined in step S36 allow a unique identification of the respective subsection of Speech signal. For a coding according to one of the above It is also conceivable method, while generating features during coding are also to be used as identification features. So can the in the AMR coding, LPC coefficients also generated as identification features serve. About that In addition, the generated identification features should be particularly robust against during the transmission be the first data stream occurring disturbances or artifacts.
Die in Schritt S36 ermittelten Identifikationsmerkmale werden während der Kodierung der Teilabschnitte des Videosignals in Schritt S37 dem zweiten Datenstrom hinzugefügt. Dies erfolgt derart, dass ein Identifikationsmerkmal eines Teilabschnittes des Sprachsignals einem Teilabschnitt des Videosignals zugeordnet wird, der synchron zu dem korrespondierenden Teilabschnitt des Sprachsignals steht. Erreicht wird dies durch Zeitstempel oder ein geeignetes Kombinieren des Videosignals und der Identifikationsmerkmale.The Identification features determined in step S36 are used during the Coding of the subsections of the video signal in step S37 added second stream. This is done such that an identification feature of a subsection the voice signal associated with a subsection of the video signal which is synchronous with the corresponding section of the speech signal stands. This is achieved by timestamp or a suitable one Combining the video signal and the identification features.
Nach einer Kodierung des Videosignals in dem Schritt S37 wird der zweite Datenstrom sowie der erste Datenstrom in den Schritten S38 und S39 übertragen. Die Übertragung kann verschiedene Übertragungskanäle als auch einen gemeinsamen Übertragungskanal beinhalten. Unter einem gemeinsamen Übertragungskanal wird ein Übertragungskanal auf der gleichen Frequenz, unter Verwendung des gleichen Kommunikationsstandards oder unter Benutzung der gleichen Netzwerkknoten verstanden. Während der Schritte S38 und S39 kann es jedoch zu einer zeitlichen Verschiebung oder einer zeitlichen Verzögerung des ersten und zweiten Datenstroms zueinander kommen. Dadurch er folgt ein Empfang des ersten Datenstroms in Schritt S40 sowie ein Empfang des zweiten Datenstroms in Schritt S41 zu unterschiedlichen Zeiten.To one coding of the video signal in the step S37 becomes the second one Data stream and the first data stream in steps S38 and S39 transferred. The transfer can have different transmission channels as well a common transmission channel include. Under a common transmission channel becomes a transmission channel on the same frequency, using the same communication standard or understood using the same network nodes. During the However, steps S38 and S39 may cause a time shift or a time delay come of the first and second data stream to each other. By doing so he follows a reception of the first data stream in step S40 and a reception of the second data stream in step S41 at different times.
In Schritt S42 wird der empfangene erste Datenstrom dekodiert und das darin enthaltene Sprach oder Audiosignal extrahiert. Dieses ist in mehrere Teilabschnitte unterteilt, von denen jeder einzelne analisiert und ein Identifikationsmerkmale extrahiert wird. Parallel hierzu wird im Schritt S43 der empfangene zweite Datenstrom weiter verarbeitet. Die im zweiten Datenstrom der Teilabschnitte des Videosignals zugefügten Identifikationsmerkmale werden extrahiert. Diese Identifikationsmerkmale werden nun im Schritt S44 mit den erzeugten Identifikationsmerkmalen der Teilabschnitte des zwischengespeicherten Audiosignals verglichen. Sofern der Vergleich eine Übereinstimmung in Schritt S46 ergibt, werden die entsprechenden Teilabschnitte des Audiosignals sowie des Videosignals in Schritt S45 geladen und in Schritt S47 synchron ausgegeben. Anderenfalls kann in Schritt S48 das Audiosignal ohne ein dazu korrespondierendes Videosignal ausgegeben werden.In step S42, the received first data stream is decoded and the speech or audio signal contained therein is extracted. This is subdivided into several sections, each of which is analyzed and an identifier is extracted. In parallel, in step S43, the received second data stream is further processed. The identification features added in the second data stream of the subsections of the video signal are extracted. These identification features are now in step S44 with the generated identification features of the subsections of the cached Audio signal compared. If the comparison gives a match in step S46, the respective subsections of the audio signal and the video signal are loaded in step S45 and output synchronously in step S47. Otherwise, in step S48, the audio signal may be output without a corresponding video signal.
Da die Reihenfolge der Teilabschnitte des Audiosignals erkannt ist, können so auch Teilabschnitte des Audiosignals ausgegeben werden, die zeitlich vor einem Teilabschnitt des Audiosignals liegen, zu dem ein korrespondierender Teilabschnitt eines Videosignals gefunden wurde. Dadurch lässt sich gerade bei einer fehleranfälligen Übertragung des zweiten Datenstroms eine kontinuierliche Ausgabe des Audiosignals gewährleisten.There the order of the subsections of the audio signal is detected, can as well as portions of the audio signal are output, the time lie before a subsection of the audio signal, to which a corresponding Part of a video signal was found. This can be done especially with an error-prone transfer of second data stream, a continuous output of the audio signal guarantee.
Das dargestellte Verfahren hat den Vorteil, dass es sich in einfacher Weise auf bereits bestehende Mobilfunkstandards bzw. Kommunikationsverbindungen anwenden lässt. Insbesondere ist es möglich, ohne großen Mehraufwand eine bereits bestehende Kommunikationsverbindung fortzuführen. Es muss lediglich gewährleistet sein, dass das empfangene erste leitungsvermittelte Nutzsignal zwischengespeichert wird, so dass eine Synchronisation mit einem eventuell später empfangenen zweiten Datenstrom gewährleistet ist. Dabei ist es nicht notwendig, dass jeder Teilabschnitt des ersten Nutzsignals analysiert wird. Dies ist vielmehr abhängig von den Anforderungen des zweiten Datenstroms. Wenn beispielsweise Videosignale mit dreißig Bildern pro Sekunde übertragen werden, kann es zweckmäßig sein, das Sprach- oder Audiosignal in Abschnitte von jeweils 1/30 Sekunden zu zerlegen und aus jedem dieser Teilabschnitte ein entsprechendes Identifikationsmerkmale zu extrahieren. Ebenso ist es jedoch möglich, nur jedem x-ten Bild des Videosignals ein Identifikationsmerkmal eines entsprechenden Teilabschnitts des Audiosignals zu zuordnen. Dabei ist es bei dem erfindungsgemäßen Verfahren denkbar, dass der Empfänger die genaue Zuordnung nicht kennt. Dennoch kann eine synchrone Ausgabe erfolgen, sofern die Teilabschnitte des Audiosignals, denen kein Teilabschnitt des Videosignals zugeordnet ist, ebenfalls kontinuierlich ausgegeben werden.The The method presented has the advantage that it is easier Way to existing mobile standards or communication links apply. In particular, it is possible without big ones Extra effort to continue an existing communication connection. It must only guaranteed be that the received first circuit-switched user signal buffered will, so a synchronization with any later received second data stream ensured is. It is not necessary that every subsection of the first useful signal is analyzed. This is rather dependent on the requirements of the second data stream. For example, if video signals at thirty Transfer images per second be, it may be appropriate the voice or audio signal in 1/30 second increments to disassemble and from each of these subsections a corresponding To extract identification features. However, it is equally possible only every xth image of the video signal is an identification feature of a corresponding subsection of the audio signal to assign. there it is in the inventive method conceivable that the receiver does not know the exact assignment. Nevertheless, a synchronous output provided the subsections of the audio signal to which no Part of the video signal is assigned, also continuously be issued.
Neben der Synchronisation eines Videosignals auf ein entsprechendes Audiosignal lässt er sich das erfindungsgemäße Verfahren sowie die Anordnungen auf alle Datenströme anwenden, die zeitlich aufeinander abstimmbare Nutzdaten enthalten. So ist beispielsweise auch möglich, ein gemeinsames Videosignal über mehrere Übertragungskanäle und mehrere Datenströme an einem Empfänger zu übermitteln. Denkbar ist auch eine Sprach oder Audioübertragung in mehreren Datenströmen (oder Signalen), beispielsweise um ein Stereosignal zu ermöglichen. Eine Synchronisation der Datenströme kann wie angegeben erfolgen. Auch ist das Verfahren sowie die Anordnung nicht auf die Syn chronisation von zwei Datenströmen beschränkt, sondern kann auf mehrere Datenströme erweitert werden, sofern die jeweils zu synchronisierenden Nutzdaten die Erzeugung von eindeutig zuordenbaren Identifikationsmerkmalen erlauben.Next the synchronization of a video signal to a corresponding audio signal he lets the process of the invention and apply the orders to all streams that are timed to each other contain tunable user data. For example, it is also possible to have one common video signal over several transmission channels and several streams at a receiver to convey. Also conceivable is a voice or audio transmission in several data streams (or Signals), for example to allow a stereo signal. A synchronization of the data streams can be done as indicated. Also, the method and the arrangement is not on the Syn chronization of two data streams limited, but can be extended to multiple streams, provided each time to be synchronized payload the generation of unique allow assignable identification features.
- 11
- Sendertransmitter
- 22
- Netzwerknetwork
- 33
- Empfängerreceiver
- 1111
- Videoenkodervideo encoder
- 11a11a
- Kodiereinrichtungcoding
- 1212
- Analysevorrichtunganalyzer
- 1515
- Vorrichtung, KameraContraption, camera
- 22, 2322 23
- Netzwerknetwork
- 23, 3523 35
- Puffereinrichtung, SpeicherBuffer means, Storage
- 24, 240, 25024 240, 250
- Basisstationbase station
- 3131
- AudiodekoderAudio decoder
- 3333
- Videodekodervideo decoder
- 3434
- Synchronisatorsynchronizer
- 3636
- EinrichtungFacility
- 37, 3837, 38
- Ausgabevorrichtungoutput device
- 131131
- Eingang, MikrofonEntrance, microphone
- 151151
- Eingang, VideokameraEntrance, video camera
Claims (62)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200610002061 DE102006002061B4 (en) | 2006-01-16 | 2006-01-16 | Method for receiving, for transmitting and for transmitting, transmitting and receiving arrangement and system of transmitting and receiving arrangement |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200610002061 DE102006002061B4 (en) | 2006-01-16 | 2006-01-16 | Method for receiving, for transmitting and for transmitting, transmitting and receiving arrangement and system of transmitting and receiving arrangement |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102006002061A1 true DE102006002061A1 (en) | 2007-07-19 |
DE102006002061B4 DE102006002061B4 (en) | 2012-10-18 |
Family
ID=38190032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE200610002061 Expired - Fee Related DE102006002061B4 (en) | 2006-01-16 | 2006-01-16 | Method for receiving, for transmitting and for transmitting, transmitting and receiving arrangement and system of transmitting and receiving arrangement |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102006002061B4 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6493872B1 (en) * | 1998-09-16 | 2002-12-10 | Innovatv | Method and apparatus for synchronous presentation of video and audio transmissions and their interactive enhancement streams for TV and internet environments |
US6602299B1 (en) * | 1997-08-22 | 2003-08-05 | At&T Corp. | Flexible synchronization framework for multimedia streams |
US6836295B1 (en) * | 1995-12-07 | 2004-12-28 | J. Carl Cooper | Audio to video timing measurement for MPEG type television systems |
-
2006
- 2006-01-16 DE DE200610002061 patent/DE102006002061B4/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6836295B1 (en) * | 1995-12-07 | 2004-12-28 | J. Carl Cooper | Audio to video timing measurement for MPEG type television systems |
US6602299B1 (en) * | 1997-08-22 | 2003-08-05 | At&T Corp. | Flexible synchronization framework for multimedia streams |
US6493872B1 (en) * | 1998-09-16 | 2002-12-10 | Innovatv | Method and apparatus for synchronous presentation of video and audio transmissions and their interactive enhancement streams for TV and internet environments |
Also Published As
Publication number | Publication date |
---|---|
DE102006002061B4 (en) | 2012-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69535553T2 (en) | VIDEO COMPRESSION | |
EP1283611A2 (en) | Method for synchronization of a communication system via a packet oriented data network | |
DE102005032952A1 (en) | Statistical multiplexer with protective characteristics in front of external messages generated by redundant system elements | |
DE19620186B4 (en) | Method and device for synchronizing temporally related data streams | |
DE112006002677T5 (en) | Method and apparatus for RTP output streaming using complementary directional files | |
DE10311541A1 (en) | Procedure for detecting zero point deviations between two clocks | |
DE602004009560T2 (en) | Data transmission synchronization scheme | |
EP1425885B1 (en) | Method and system for transmitting data from a first data network into a second data network | |
DE102006036562B4 (en) | Method and system for transmitting data streams related to one another and / or for synchronizing data streams related to one another | |
EP2127382B1 (en) | Method and system for switching between programme channels without interference in a video environment | |
EP0985320B1 (en) | Device for multiplexing video signals | |
DE602004004577T2 (en) | Method and device for determining the language latency by a network element of a communication network | |
DE60127419T2 (en) | AUDIO SIGNAL TRANSMISSION | |
DE102006002061B4 (en) | Method for receiving, for transmitting and for transmitting, transmitting and receiving arrangement and system of transmitting and receiving arrangement | |
EP1516495B1 (en) | Method for creating a system clock in a receiver device and corresponding receiver device | |
DE60312976T2 (en) | SYSTEM FOR DYNAMIC MULTIPLEXING OF DIGITAL FLOWS | |
DE69432631T2 (en) | Multiplexing in a data compression and expansion system | |
DE102013019604B4 (en) | System consisting of a plurality of cameras and a central server, as well as procedures for operating the system | |
WO2021008943A1 (en) | Method for transmitting video information to a telecommunications device, the video information comprising a plurality of video information streams, system, telecommunications device, content-related background server unit, computer program and computer-readable medium | |
EP2223523B1 (en) | Method and receiving unit for synchronizing a packet-oriented reception with a calculated tone signal | |
EP2745510B1 (en) | Method for handling transmission errors of a video stream | |
EP3729817A1 (en) | Method for synchronizing an additional signal to a primary signal | |
WO2018042036A1 (en) | Method for transmitting real-time-based digital video signals in networks | |
EP1074147B1 (en) | Method for transmitting time-critical data packets in digital wireless transmission systems | |
DE19820936C1 (en) | Method of evaluating a digital data flow using packet data communications with synchronization bits in each data packet and defined identifier bit positions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8127 | New person/name/address of the applicant |
Owner name: PALM, INC. (N.D.GES. D. STAATES DELAWARE), SUN, US |
|
8128 | New person/name/address of the agent |
Representative=s name: SAMSON & PARTNER, PATENTANWAELTE, 80538 MUENCHEN |
|
8127 | New person/name/address of the applicant |
Owner name: HEWLETT-PACKARD DEVELOPMENT CO., L.P., HOUSTON, US |
|
R081 | Change of applicant/patentee |
Owner name: HEWLETT-PACKARD DEVELOPMENT CO., L.P., US Free format text: FORMER OWNER: PALM, INC. (N.D.GES. D. STAATES DELAWARE), SUNNYVALE, US Effective date: 20110406 Owner name: QUALCOMM INCORPORATED, SAN DIEGO, US Free format text: FORMER OWNER: PALM, INC. (N.D.GES. D. STAATES DELAWARE), SUNNYVALE, CALIF., US Effective date: 20110406 |
|
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |
Effective date: 20130119 |
|
R082 | Change of representative |
Representative=s name: SAMSON & PARTNER, PATENTANWAELTE, DE |
|
R081 | Change of applicant/patentee |
Owner name: QUALCOMM INCORPORATED, SAN DIEGO, US Free format text: FORMER OWNER: HEWLETT-PACKARD DEVELOPMENT COMPANY, L.P., HOUSTON, TEX., US Effective date: 20150114 |
|
R082 | Change of representative |
Representative=s name: MAUCHER JENKINS, DE Effective date: 20150114 Representative=s name: SAMSON & PARTNER, PATENTANWAELTE, DE Effective date: 20150114 Representative=s name: SAMSON & PARTNER PATENTANWAELTE MBB, DE Effective date: 20150114 Representative=s name: MAUCHER JENKINS PATENTANWAELTE & RECHTSANWAELT, DE Effective date: 20150114 |
|
R082 | Change of representative |
Representative=s name: MAUCHER JENKINS, DE Representative=s name: MAUCHER JENKINS PATENTANWAELTE & RECHTSANWAELT, DE |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |