WO2007110283A1 - Method for generating a digital data stream - Google Patents

Method for generating a digital data stream Download PDF

Info

Publication number
WO2007110283A1
WO2007110283A1 PCT/EP2007/051571 EP2007051571W WO2007110283A1 WO 2007110283 A1 WO2007110283 A1 WO 2007110283A1 EP 2007051571 W EP2007051571 W EP 2007051571W WO 2007110283 A1 WO2007110283 A1 WO 2007110283A1
Authority
WO
WIPO (PCT)
Prior art keywords
metadata
media data
data stream
stream
section
Prior art date
Application number
PCT/EP2007/051571
Other languages
German (de)
French (fr)
Inventor
Peter Amon
Andreas Hutter
Thomas Rathgen
Original Assignee
Nokia Siemens Networks Gmbh & Co. Kg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Siemens Networks Gmbh & Co. Kg filed Critical Nokia Siemens Networks Gmbh & Co. Kg
Priority to EP07704647A priority Critical patent/EP2002654A1/en
Publication of WO2007110283A1 publication Critical patent/WO2007110283A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
    • H04N7/56—Synchronising systems therefor

Definitions

  • the invention relates to a method for generating a digital data stream and to a method for processing a data stream generated in this way.
  • the invention relates to a transmitter or a receiver for transmitting or receiving a digital data stream and a corresponding digital information carrier.
  • Metadata streams are often transmitted synchronized in time with the actual media data stream, which deliver a content-related description of the corresponding data packets of the media data stream.
  • video sample also referred to as "video sample”
  • metadata stream portion also referred to as a "meta data sample”
  • the provisional MPEG4-SVC Moving Pictures Experts Group
  • MPEG Moving Pictures Experts Group
  • the generated video stream is constructed so that the video images can be extracted in different resolutions.
  • R / D-optimal extraction of the video data is to be achieved here.
  • R / D stands for "rate distortion” and with the R / D-optimal extraction, which is well known to the person skilled in the art and is explained in more detail in the detailed description, it is to be ensured that the best possible quality of the video data stream at a given
  • Such an optimal extraction On is very complex and requires the provision of certain information. It is not enough that only metadata be provided for each video sample, but it is necessary to provide parameters for the individual video data packets within the video samples for the R / D-optimal extraction of video images.
  • the document WO 03/091905 A2 discloses the classification of a data stream by dividing the data stream into data stream subareas, wherein each data stream subarea is assigned to a class.
  • the classes can be selected such that they are independent of the structure and syntax of the data stream to be described, in particular the encoding format of the data stream.
  • the document does not address the synchronized generation of metadata for a media data stream.
  • the object of the invention is to provide a method for generating a digital data stream and a method for processing such a data stream, which allow easy access to metadata of a media data stream. It is another object of the invention to provide a corresponding
  • a media data stream is generated which contains a plurality of media data stream sections sorted temporally in a specific manner, wherein each media data stream section contains one or more media data packets.
  • the media data stream sections may be sorted in temporal succession.
  • a media data stream section is, for example, a predetermined video image in a video data stream.
  • the generated media data stream is assigned a metadata stream that is synchronized with it in a timely manner, the metadata stream comprising metadata stream sections and one or more of the media data stream sections and in particular each metadata stream section each being assigned a metadata stream section.
  • a metadata stream section is generated, in which metadata relating to the corresponding media data flow section is deposited in the metadata stream section.
  • the invention is characterized in that one or more first metadata elements are arranged in a respective metadata flow section such that each media data packet of the media data flow section to which the respective metadata flow section is assigned is assigned a first metadata element of the respective metadata flow section.
  • This assignment ensures that the structure of a respective media data flow section is mapped in the metadata flow section.
  • the assignment according to the invention of metadata elements to media data packets ensures that for each media data packet a unique first metadata element exists, which is assigned to the media data packet.
  • the method according to the invention can also be used in one embodiment if in each case a plurality of media data packets are combined into one or more aggregators in one or more of the media data flow sections.
  • aggregator is to be understood here in general terms, and this includes any type of combination of several media data packets into a group of media data packets. Nevertheless, the term aggregator is also to be understood in its special meaning known from the MPEG4 data formats. There aggregators are used to summarize media data packets with the same quality levels, which are described for example by the so-called. DTQ values.
  • the metadata flow section which is assigned to the respective media data flow section, contains second metadata elements, which are arranged in such a way that a second metadata element is assigned to each aggregator.
  • this uniquely assigns a metadata element to an aggregator, so that a defined mapping of an aggregator in the media data stream also takes place in the corresponding metadata stream.
  • the criteria according to which media data packages are aggregated into aggregators can be arbitrary and play no role in the invention.
  • aggregators are used to aggregate media data packets having substantially the same data quality.
  • the second metadata element includes a metadata element for describing the respective aggregator and the metadata contained in the one or more metadata elements assigned to the one or more media data packets that are aggregated into the respective aggregator.
  • the data stream contains a plurality of media data streams and correspondingly assigned metadata streams.
  • at least one of the media data streams may contain one or more so-called extractors, each of which references one or more media data packets of another media data stream, according to the invention each extractor being assigned a third metadata element in the metadata stream associated with the at least one media data stream.
  • the third metadata element assigned to the extractor is preferably designed such that it contains a metadata element for describing the extractor itself as well as the metadata contained in the first or second metadata element (s) Media data packages that are referenced by the extractor.
  • first metadata elements it is specified in one or more of the first metadata elements whether and / or how many subsequent first and / or second and / or third metadata elements have the same content.
  • the reading out of the metadata from the data stream can be simplified since for several first and / or second and / or third metadata elements, the contents of the individual metadata elements do not have to be accessed each time, but the content of the first metadata element of each other following metadata elements can be used.
  • the media data stream sections and / or the metadata stream sections are referenced in the data stream. Furthermore, the description of one or more quality levels and the instructions may be included in the data stream for direct access to the media data packages of the corresponding quality level. In a further embodiment of the method according to the invention, the first and / or second and / or third metadata elements contained in a metadata stream section can be accessed in the data stream.
  • each media stream portion represents a video image at a predetermined time and the media data packets are video data packets.
  • the video data stream may be an MPEG4 SVC video data stream well known in the art that enables scalable encoding and decoding of video data.
  • the metadata elements contain z. B. content that allows optimized transmission of the data stream at a given data rate.
  • the first and / or second and / or third media data elements contain parameters relating to a rate control of the data stream, preferably parameters of an R / D-optimal extraction of media data, and / or parameters for adapting the quality of the data stream.
  • the invention further relates to a method of generating a digital data stream. drive to process such a generated digital data stream.
  • the data stream is read such that the assignment of the media data packets to the first metadata elements and / or the aggregators to the second metadata elements and / or the extractors to the third metadata elements by numbering the read media data packets and / or aggregators and / or extractors and simultaneous numbering of the read first and / or second and / or third metadata elements is determined.
  • no separate indices for the association between metadata elements and media data packets have to be stored; rather, the assignment already results from the mapping of the structure of the media data in the metadata.
  • the invention further relates to a transmitter for transmitting a data stream according to the invention, comprising: a first means for generating a media data stream containing a plurality of time-sorted media data stream sections, each media data stream section containing one or more media data packets; second means for associating a metadata stream synchronized with the media data stream with the media data stream, the metadata stream including metadata flow portions, and each of the media data flow portions having a metadata stream portion associated therewith; third means for arranging one or more first metadata items in a respective metadata stream portion such that each media data packet of the media data stream portion to which the respective metadata stream portion is assigned is assigned a first metadata item of the respective metadata stream portion.
  • the transmitter further comprises means for processing the data stream according to the above processing method.
  • the sender can extract parts from the data stream according to predetermined criteria, in particular according to criteria relating to the data rate and / or the data quality, and the sender can send out the extracted parts.
  • the invention further relates to a receiver for receiving a data stream generated according to the invention, comprising: a reading means for reading out the data stream such that the assignment of the media data packets to the first metadata elements and / or the aggregators to the second metadata elements and / or the extractors to the third metadata elements by numbering the read media data packets and / or aggregators and / or extractors and simultaneous numbering of the read first and / or second and / or third metadata elements is determined.
  • the receiver can in this case be designed such that it can read parts from the data stream according to predetermined criteria, in particular criteria with regard to the data rate and / or the data quality.
  • the invention further comprises a corresponding digital information carrier containing digital information with which a data stream according to the invention
  • the digital information carrier includes a first data storage area for generating a media data stream including a plurality of time-sorted media data stream portions, each media data stream portion containing one or more media data packets. Furthermore, a second data storage area is provided for generating a metadata stream synchronized in time with the media data stream, wherein the metadata stream comprises metadata flow sections and one or more of the media data flow sections and in particular each metadata flow section is assigned a respective metadata flow section.
  • the information carrier is characterized in that one or more first metadata elements are arranged in a respective metadata stream section such that each media data packet of the media data stream section to which the respective metadata stream is associated with a first metadata element of the respective metadata flow section.
  • the digital information carrier comprises a track for referencing media data stream sections and / or one or more tracks for referencing metadata stream sections.
  • the tracks for referencing metadata flow sections may here comprise descriptions of groupings of first and / or second and / or third metadata elements with which, for example, predetermined quality levels for the data stream transmission are determined.
  • FIG. 1 shows a schematic representation of a file format known from the prior art, in which stored video data are referenced via a video track;
  • Figure 2 is a schematic representation of a file format known in the art in which video data is referenced via a video track and also metadata is time synchronized with the video data via a metadata track;
  • FIG. 3 shows a schematic representation of the assignment according to the invention of metadata elements to media data packets
  • FIG. 4 shows a schematic representation of a file format according to the invention in which inter alia a media data stream is used which contains so-called extractors;
  • 5 shows a schematic representation of a file format according to the invention, in which the referencing of the media data stream and the time-synchronized metadata stream takes place via corresponding tracks;
  • FIG. 6 shows a schematic representation of a file format according to the invention, in which metadata are provided in several hierarchical levels of the media data stream;
  • FIG. 7 is a schematic representation of a file format according to the invention, in which additional information can be used to access groups of metadata elements in the metadata track directly;
  • Fig. 8 is a schematic representation of a transmitter, a
  • SVC Scalable Video Coding
  • SNR Signal to Noise Ratio
  • the D value represents the local resolution
  • the T value the temporal resolution
  • the Q value the SNR scaling direction for each video packet. The larger the values, the better the quality of the corresponding resolutions.
  • Fig. 1 shows a file format described in the standardization document [1] concerning the format for storing MPEG4 SVC data.
  • the format contains a media data container MD, which contains the area "mdat” in which one or more media data streams MDS are stored, and a description container MT, which includes an area "moov", which contains one or more video tracks VT.
  • a video track stores information that allows access to (or portions of) the media data.
  • a media data stream MDS contains, for example, the temporally organized individual video data packets, wherein the video data packets are designated as NALU (Network Abstraction Layer Unit).
  • NALU Network Abstraction Layer Unit
  • the video track VT contains data with the aid of which a predetermined operating point with defined resolution and refresh rate can be accessed, the operating points being grouped in defined "animals" so that the operating points in an animal have a defined resolution and refresh rate.
  • the evaluation of this data results in extraction instructions illustrated by the remaining (not bold) arrows in FIG.
  • the quality of an animal may vary in certain areas, as well as the resulting data transfer rate of the video data stream.
  • the video track VT thus contains metadata for the individual animals, which describe the resulting quality. This static description refers to the entire representation of the data stream.
  • the metadata can be z. B.
  • the video track VT includes a number of data structures that allow efficient access to the desired media data.
  • the media data stream section SO contains six video data packets NALu, whereas the section Sl comprises five NALus. For each video data packet NALu a corresponding DTQ value is stored. For example, the first video data packet from the left in the media data stream section SO has a DTQ value in the form of the triples (0,0,0). This means that the local resolution has the value or index 0, the time resolution has the index 0, and the SNR scalability also has the index 0. Further, in the file format of Fig.
  • adjacent video data packets are grouped into a so-called aggregator if they have the same DTQ values.
  • the second and the third video data packet from the left in the first media data stream section SO are combined to form an aggregator A, since both video data packets have the same DTQ value (1, 0, 0).
  • the file format contains a description container MT and a media data container MD.
  • TMT timed meta data track
  • This track in turn has references in the form of arrows to a metadata stream MTS within the media data container MD.
  • the metadata stream MTS contains a plurality of metadata stream sections in the form of so-called "meta data samples" MO, Ml, ..., M7, which are synchronized in time with individual media data stream sections SO, Sl,..., S7.
  • the file format of Fig. 2 is described in the standardization document [4], for example. With this format, metadata can be encoded using, for example, binarized XML (BiM).
  • AVC Advanced Video Coding
  • the other quality levels are coded by the fact that the Quantization parameters, for example, reduced by six.
  • the individual FGS refinements are in turn coded in two stages, which are designated as "significant pass” and “refinement pass” and are stored in a so-called FGS NALu.
  • the MPEG4 SVC standard now allows FGS NALus to adjust the video stream to a predetermined bit rate by truncating the individual FGS NALs.
  • the NALs can be cut off here always at the same bit position, which, however, leads to a non-optimal decoding.
  • the FGS NALus may be "pre-cut" at defined locations, these precut fragments (so-called aka
  • R / D optimal extraction the RD values for a video image of a given local resolution level are plotted on an RD diagram over the bit rate. This results in a convex hull, and it can be determined for each point on the convex hull the angle ⁇ , which indicates how much the distortion varies in response to the change in the data rate. The value of ⁇ can be generated after appropriate scaling for each NALu and stored appropriately.
  • the NALs to be retained can then optimally for a given local Resolution and a given data rate are selected. Details of the R / D-optimal extraction of video data packets can be found in the publication [3].
  • quality id The parameter used in selecting the NALs according to the R / D optimal extraction is referred to in the above document [3] as "quality id".
  • quality id the parameter used in selecting the NALs according to the R / D optimal extraction.
  • individual fields for metadata elements are stored in the time-synchronized metadata stream MTS, wherein a metadata element is assigned exactly one video data packet NALu from the media data stream.
  • Any information concerning the individual video data packets can be stored in these metadata elements, in particular the corresponding parameter for the R / D optimal extraction of video data can be stored for each video data packet (eg the aforementioned quality_id).
  • the invention is illustrated in FIG. 3 for the media data flow sections or metadata flow sections SO and MO shown in FIG.
  • the media data stream section SO has the same structure as the media data stream section SO shown in FIG.
  • the metadata flow section MO has the same structure as the media flow section SO.
  • a metadata element ME in MO is provided for each NALu in SO, wherein the assignment of the individual metadata elements ME to the NALus in FIG. 3 is indicated by the arrows P.
  • the aggregator A in SO which combines the second and third NALu with the same DTQ values, with the method according to the invention, the aggregator also has a corresponding one Assigned metadata element, which is designated in Fig. 3 as MA 'and whose assignment to the aggregator A is indicated by the arrow P'.
  • the metadata element MA ' contains a metadata element MEA which describes the properties of the aggregator, for example properties that have all the NALus contained in the aggregator. In the option shown in FIG.
  • the metadata element MA 'contains, after the metadata element MEA, first metadata elements ME for each NALu contained in the aggregator.
  • MEA describes the aggregator and any NALu contained therein.
  • an essential aspect of the invention is that the structure of a media data stream section is mapped in a corresponding metadata stream section.
  • the corresponding assignment between metadata elements and video data packets can be achieved here by parallel counting of the metadata elements in the metadata stream and the video data packets in the media data stream. This counting is shown in FIG. 3 by corresponding numbering of the video data packets NALu and the metadata elements ME and of the metadata element MEA. The numbering is as follows:
  • the first NALu from the left receives the count index 1, the following aggregator A the count index 2 and the aggregator following NALus the count indices 3, 4 and 5. Analogue is counted in the metadata stream. That is to say, the first metadata element, which corresponds to the NALu with the count index 1, likewise receives the number index 1, the metadata element MA 'for the aggregator A is assigned the count index 2, which is also assigned to the aggregator A, and the metadata elements follow The aggregator A contains the counter indices 3, 4 and 5, analogous to the corresponding NALs.
  • the numbering within the aggregator is re-numbered so that the NALus in the aggregator A and the corresponding meta data elements ME have the indices 1 and 2. It should be noted here that the numbers shown in Fig. 3 are not stored in the data format, but automatically result in the use of Zählindizes when accessing the data.
  • FIG. 4 shows a further embodiment of the file format according to the invention, wherein not only a single media data stream MDS and a single synchronized metadata stream MTS are present, but a further media data stream MDS 'is provided to which a corresponding metadata stream MTS' is assigned.
  • the media data stream section SO shown in the media data stream MDS here corresponds to the media data stream section SO of FIG. 3.
  • the metadata stream section MO in the metadata stream MTS corresponds to the metadata stream section MO of FIG. 3.
  • the additionally provided media data stream section MDS ' contains so-called extractors. The use of such extractors is described in Section 7.6 of Standardization Document [1]. These extractors represent packets that serve to refer media data to other media streams. In the example of FIG.
  • the left extractor E in the media data stream MDS 'references the first NALu, the subsequent aggregator A and the two NALus contained in this aggregator in the media data stream MDS.
  • the second extractor E in the media data stream MDS 'references the back three NALus in the media data stream MDS.
  • a further type of metadata elements is provided for the extractors in the metadata stream MTS'.
  • These metadata elements are reproduced in the stream MTS 'of FIG. 4 as MEI' for the left extractor of MDS 'and as ME2' for the right tractor of MDS '.
  • these metadata elements are also referred to as ME '.
  • the assignment between the extractors and the metadata elements ME1 'and ME2' in turn follows by numbering the extractors E with the counting indexes 1 and 2 and the corresponding metadata elements ME1 ', ME2' with the same indices 1 and 2.
  • the metadata elements ME1 'and ME2' contain a metadata element MEE at the beginning describes the entire extractor. This metadata element MEE can be followed by the metadata elements ME of those media data packets (NALus) which are referenced by the extractor.
  • FIG. 5 again shows, in a schematic overall view, the file format generated according to the invention.
  • the structure of Fig. 5 corresponds to the structure of Fig. 2, but the contents of the video track VT, the metadata track TMT and the media data stream MDS and the metadata stream MTS are shown in detail.
  • the video track VT contains a number of metadata structures that describe the video track globally. Such metadata structures concern z. For example, the following descriptions:
  • the metadata track TMT contains data structures which globally describe the time-synchronized metadata in the metadata stream MTS.
  • the metadata track contains in particular a description of the metadata stream (so-called “metric data sample entry”) as well as further necessary structures (such as eg "sample size box”).
  • each NALu in SI is uniquely associated with exactly one metadata element ME in the metadata stream section M1.
  • FIG. 6 shows a data format similar to FIG. 5, but additionally the metadata is stored in several hierarchical levels of the media data stream.
  • metadata concerning the entire metadata track TMT is stored as so-called “track meta data” TMD.
  • different animals or layers are formed, which are stored as so-called “animal meta data” TI in the metadata track TMT, wherein different animals are provided for different quality levels.
  • FIG. 6 shows by way of example the animals TII and TI2.
  • corresponding metadata elements MS are provided in the metadata stream MTS, which describe the corresponding sample or video image at a time.
  • the metadata flow sections MO 'and Ml' are thus formed in the metadata stream MTS according to FIG. 6, these metadata flow sections each containing a metadata element MS and the metadata flow section MO or Ml.
  • the above-described metadata elements ME or MA 'or ME' are provided on the ter lying video packet level.
  • the metadata at the sample level and at the data packet level are thus stored with temporal and structured synchronization to the media data in the metadata stream MTS.
  • FIG. 7 shows a file format similar to FIG. 6, wherein a grouping of the metadata in the metadata track TMT can take place such that individual metadata elements ME or MA 'in the metadata stream MTS can be accessed via the metadata track TMT.
  • the access mechanisms in the metadata track TMT correspond to the access mechanisms in the video track VT.
  • These metadata may e.g. can be sent together with the media data via a network (eg in the "RTP payload format" or in special SEI messages), whereby further adaptation can take place in this network or in a corresponding terminal.
  • the extraction of metadata from the data stream can be done, for example, by the extraction method described in document [3].
  • the method is used in such a way that a data reading device accesses the corresponding metadata in addition to the media data in order to achieve an increased quality in the extraction of parts of the bit stream. It may not be necessary to access all metadata, as the description in the tracks indicates, for example, which media data belongs to a certain local scaling level, the processing of which does not require any additional metadata for the currently selected quality.
  • the metadata can have the same mechanisms for thinning out the data stream (so-called stream thinning) or used for data extraction as for the media data.
  • stream thinning the same mechanisms for thinning out the data stream
  • the grouping shown there can, inter alia, be used to generate a scalable metadata stream, ie it is possible to group the metadata in such a way that they are, for example, scalable by relevance.
  • z. B. a temporal scaling of the metadata possible. If the metadata is grouped like the media data, the remaining relevant metadata can easily be extracted when adapting the data stream.
  • Fig. 8 is a schematic diagram showing a transmitter 1, a receiver 2 and a digital information carrier 3 according to an embodiment of the invention.
  • the transmitter 1 comprises a first means 4 for generating a media data stream, which contains a plurality of temporally sorted media stream sections, wherein each media data stream section contains one or more media data packets.
  • the transmitter further comprises a second means for allocating a metadata stream synchronized with the media data stream to the media data stream, wherein the metadata stream contains metadata flow sections and one or more of the media data flow sections each have a metadata flow. tenstromabterrorism is assigned.
  • the transmitter further comprises third means 6 for arranging one or more first metadata items in a respective metadata stream portion such that each media data packet of the media data stream portion to which the respective metadata stream portion is assigned is assigned a first metadata item of the respective metadata stream portion.
  • the data stream generated in the transmitter 1 may be sent to the receiver 2 via any communication path, which may be wireless or wired, as indicated by the arrow 10.
  • the receiver 2 can then suitably process the digital data stream according to the invention.
  • the receiver 2 has a reading means 7, which the
  • Data stream read out such that the assignment of the media data packets to the first metadata elements and / or the aggregatoren to the second metadata elements and / or the extractors to the third metadata elements by numbering the read media data packets and / or aggregators and / or extractors and simultaneous numbering of the read first and / or second and / or third metadata elements is determined.
  • the transmitter 1 preferably interacts with a digital information carrier 3, as indicated by the double arrow 11 in FIG. 8.
  • a digital information carrier 3 On the digital information carrier 3, a first data storage area 8 and a second data storage area ⁇ : are provided.
  • the information in the first data storage area 8 can be used to generate a media data stream containing a plurality of time-sorted media data stream portions, each media data stream portion containing one or more media data packets.
  • the information in the second data storage area 9 can be used to generate a metadata stream which is synchronized in time with the media data stream, wherein the metadata stream contains metadata flow segments. holds and one or more of the media data stream sections each associated with a metadata stream section.
  • One or more first metadata elements are arranged in the digital information carrier in a respective metadata stream section such that each media data packet of the media data stream section to which the respective metadata stream section is assigned is assigned a first metadata element of the respective metadata stream section.
  • TMD track meta data

Abstract

The invention relates to a method for generating a digital datastream containing a number of temporally sorted media data steam sections S0,..., S7), each media data stream section containing one or more media data packets (NALu), the media data stream (MDS) being provided with a metadata stream (MTS) which is temporally synchronised with the media data stream (MDS), the metadata stream (MTS) containing media data stream sections (M0,..., M7) and one or more of the media data stream sections (S0,..., S7) is provided with a metadata stream section (M0,..., M7) respectively. The method is characterised in that in a given metadata stream section (M0,..., M7) one or more first metadata elements (ME) are arranged such that each media data packet (NALu) of the media data stream section (S0,..., S7), provided with said metadata stream section (M0,..., M7), is allocated a first metadata element (ME) of the given metadata stream section (M0,..., M7).

Description

Beschreibungdescription
Verfahren zur Erzeugung eines digitalen DatenstromsMethod for generating a digital data stream
Die Erfindung betrifft ein Verfahren zur Erzeugung eines digitalen Datenstroms sowie ein Verfahren zum Verarbeiten eines derart erzeugten Datenstroms. Darüber hinaus betrifft die Erfindung einen Sender bzw. einen Empfänger zum Aussenden bzw. Empfangen eines digitalen Datenstroms sowie einen entspre- chenden digitalen Informationsträger.The invention relates to a method for generating a digital data stream and to a method for processing a data stream generated in this way. In addition, the invention relates to a transmitter or a receiver for transmitting or receiving a digital data stream and a corresponding digital information carrier.
Bei der Erzeugung eines Datenstroms aus Multimediadaten werden häufig zeitlich synchronisiert mit dem eigentlichen Me- diendatenstrom Metadatenströme übertragen, welche eine in- haltliche Beschreibung der entsprechenden Datenpakete des Me- diendatenstroms liefern. Im Bereich der Videocodierung ist es beispielsweise bekannt, für jeden Videodatenstromabschnitt, der ein Videobild repräsentiert (auch als "Video Sample" bezeichnet) , einen entsprechenden Metadatenstromabschnitt (auch als "Meta Data Sample" bezeichnet) zeitlich synchronisiert mit dem Videobild in einem entsprechenden Dateiformat zu hinterlegen .In the generation of a data stream from multimedia data, metadata streams are often transmitted synchronized in time with the actual media data stream, which deliver a content-related description of the corresponding data packets of the media data stream. In the field of video coding, for example, it is known for each video stream portion representing a video image (also referred to as "video sample") to have a corresponding metadata stream portion (also referred to as a "meta data sample") synchronized in time with the video image in a corresponding file format Deposit.
Aus der Videocodierung ist der vorläufige Standard MPEG4-SVC (MPEG = Moving Pictures Experts Group; SVC = Scalable Video Coding) bekannt, bei dem der erzeugte Videostrom derart aufgebaut ist, dass die Videobilder in unterschiedlichen Auflösungen extrahiert werden können. Oftmals ist es hierbei wünschenswert, dass die Qualität des Videodatenstroms an eine vorgegebene Datenübertragungsrate angepasst wird. Insbesondere soll hierbei eine sog. R/D-optimale Extraktion der Videodaten erreicht werden. R/D steht hierbei für „Rate Distorti- on" und mit der R/D-optimalen Extraktion, welche dem Fachmann hinlänglich bekannt ist und in der detaillierten Beschreibung näher erläutert wird, soll gewährleistet werden, dass die bestmögliche Qualität des Videodatenstroms bei einer vorgegebenen Datenrate erreicht wird. Eine solche optimale Extrakti- on ist sehr komplex und erfordert die Bereitstellung bestimmter Informationen. Es reicht dabei nicht aus, dass nur Metadaten für jedes Video Sample bereitgestellt werden, vielmehr ist es notwendig, dass für die einzelnen Videodatenpakete in- nerhalb der Video Samples Parameter für die R/D-optimale Extraktion von Videobildern bereitgestellt werden.From the video coding, the provisional MPEG4-SVC (MPEG = Moving Pictures Experts Group) standard is known in which the generated video stream is constructed so that the video images can be extracted in different resolutions. Often, it is desirable here that the quality of the video data stream is adapted to a predetermined data transmission rate. In particular, a so-called. R / D-optimal extraction of the video data is to be achieved here. R / D stands for "rate distortion" and with the R / D-optimal extraction, which is well known to the person skilled in the art and is explained in more detail in the detailed description, it is to be ensured that the best possible quality of the video data stream at a given Such an optimal extraction On is very complex and requires the provision of certain information. It is not enough that only metadata be provided for each video sample, but it is necessary to provide parameters for the individual video data packets within the video samples for the R / D-optimal extraction of video images.
Aus dem Stand der Technik ist es bekannt, auf der Ebene der einzelnen Videodatenpakete Metadaten bereitzustellen. Diese Metadaten werden beispielsweise in den Paketheadern der einzelnen Videodatenpakete gespeichert. Die Speicherung in diesen Headern ist nachteilhaft, da hierdurch keine einfache und standardisierte Möglichkeit geschaffen wird, auf die Parameter für jedes Mediendatenpaket zuzugreifen.It is known from the prior art to provide metadata at the level of the individual video data packets. For example, this metadata is stored in the packet headers of each video data packet. Storage in these headers is disadvantageous because it does not provide a simple and standardized way to access the parameters for each media data packet.
Das Dokument WO 03/091905 A2 offenbart die Klassifizierung eines Datenstroms durch Einteilung des Datenstroms in Daten- stromteilbereiche, wobei jeder Datenstromteilbereich einer Klasse zugeordnet ist. Die Klassen können hierbei derart ge- wählt werden, dass sie von Struktur und Syntax des zu beschreibenden Datenstroms, insbesondere vom Codierungsformat des Datenstroms, unabhängig sind. Die Druckschrift beschäftigt sich nicht mit dem zeitlich synchronisierten Erzeugen von Metadaten für einen Mediendatenstrom.The document WO 03/091905 A2 discloses the classification of a data stream by dividing the data stream into data stream subareas, wherein each data stream subarea is assigned to a class. The classes can be selected such that they are independent of the structure and syntax of the data stream to be described, in particular the encoding format of the data stream. The document does not address the synchronized generation of metadata for a media data stream.
Aufgabe der Erfindung ist es, ein Verfahren zur Erzeugung eines digitalen Datenstroms sowie ein Verfahren zum Verarbeiten eines solchen Datenstroms zu schaffen, welche einen einfachen Zugriff auf Metadaten eines Mediendatenstroms ermöglichen. Ferner ist es Aufgabe der Erfindung, einen entsprechendenThe object of the invention is to provide a method for generating a digital data stream and a method for processing such a data stream, which allow easy access to metadata of a media data stream. It is another object of the invention to provide a corresponding
Sender bzw. Empfänger und einen entsprechenden digitalen Informationsträger zu schaffen.Sender or receiver and a corresponding digital information carrier to create.
Diese Aufgabe wird durch die unabhängigen Patentansprüche ge- löst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert. Durch das erfindungsgemäße Verfahren wird ein Mediendaten- strom generiert, der eine Mehrzahl von zeitlich auf eine bestimmte Weise sortierten Mediendatenstromabschnitten enthält, wobei jeder Mediendatenstromabschnitt ein oder mehrere Me- diendatenpakete enthält. Die Mediendatenstromabschnitte können beispielsweise zeitlich in aufeinander folgender Reihenfolge sortiert sein. Es ist jedoch auch möglich, die Mediendatenstromabschnitte in Dekodierreihenfolge zu sortieren. Ein Mediendatenstromabschnitt ist beispielsweise ein vorbestimm- tes Videobild in einem Videodatenstrom. Dem erzeugten Medien- datenstrom wird ein zeitlich mit diesem synchronisierter Metadatenstrom zugeordnet, wobei der Metadatenstrom Metadaten- stromabschnitte umfasst und einem oder mehreren der Mediendatenstromabschnitte und insbesondere jedem Mediendatenstromab- schnitt jeweils ein Metadatenstromabschnitt zugeordnet ist. Es wird somit für einen oder mehrere der Mediendatenstromabschnitte ein Metadatenstromabschnitt erzeugt, wobei in dem Metadatenstromabschnitt Metadaten hinterlegt sind, welche den entsprechenden Mediendatenstromabschnitt betreffen.This object is achieved by the independent patent claims. Further developments of the invention are defined in the dependent claims. By means of the method according to the invention, a media data stream is generated which contains a plurality of media data stream sections sorted temporally in a specific manner, wherein each media data stream section contains one or more media data packets. For example, the media data stream sections may be sorted in temporal succession. However, it is also possible to sort the media stream portions in decoding order. A media data stream section is, for example, a predetermined video image in a video data stream. The generated media data stream is assigned a metadata stream that is synchronized with it in a timely manner, the metadata stream comprising metadata stream sections and one or more of the media data stream sections and in particular each metadata stream section each being assigned a metadata stream section. Thus, for one or more of the media data stream sections, a metadata stream section is generated, in which metadata relating to the corresponding media data flow section is deposited in the metadata stream section.
Die Erfindung zeichnet sich dadurch aus, dass in einem jeweiligen Metadatenstromabschnitt ein oder mehrere erste Metadatenelemente derart angeordnet werden, dass jedem Mediendaten- paket des Mediendatenstromabschnitts, dem der jeweilige Meta- datenstromabschnitt zugeordnet ist, ein erstes Metadatenelement des jeweiligen Metadatenstromabschnitts zugewiesen ist. Durch diese Zuweisung wird erreicht, dass die Struktur eines jeweiligen Mediendatenstromabschnitts in dem Metadatenstromabschnitt abgebildet wird. Auf diese Weise wird eine standar- disierte Möglichkeit zur Hinterlegung von Metadaten für jedes einzelne Mediendatenpaket geschaffen. Insbesondere wird durch die erfindungsgemäße Zuweisung von Metadatenelementen zu Me- diendatenpaketen erreicht, dass für jedes Mediendatenpaket ein eindeutiges erstes Metadatenelement existiert, das dem Mediendatenpaket zugewiesen ist. Das erfindungsgemäße Verfahren kann in einer Ausführungsform auch dann eingesetzt werden, wenn in einem oder mehreren der Mediendatenstromabschnitte jeweils mehrere Mediendatenpakete zu einem oder mehreren Aggregatoren zusammengefasst sind. Der Begriff Aggregator ist hierbei allgemein zu verstehen und es fällt hierunter jede Art von Zusammenfassung von mehreren Me- diendatenpaketen zu einer Gruppe von Mediendatenpaketen . Nichts desto trotz ist der Begriff Aggregator auch in seinem speziellen, aus der MPEG4-Datenformaten bekannten Sinngehalt zu verstehen. Dort werden Aggregatoren dazu verwendet, Mediendatenpakete mit den gleichen Qualitätsstufen, welche beispielsweise durch die sog. DTQ-Werte beschrieben werden, zusammenzufassen. Um die Struktur eines Mediendatenstromab- schnitts mit Aggregatoren auch in einem entsprechenden Meta- datenstrom abzubilden, enthält der Metadatenstromabschnitt, der den jeweiligen Mediendatenstromabschnitt zugeordnet ist, zweite Metadatenelemente, welche derart angeordnet werden, dass jedem Aggregator ein zweites Metadatenelement zugewiesen ist. Insbesondere wird hierdurch eine eindeutige Zuweisung eines Metadatenelements zu einem Aggregator geschaffen, so dass eine definierte Abbildung eines Aggregators im Medienda- tenstrom auch im entsprechenden Metadatenstrom erfolgt. Nach welchen Kriterien Mediendatenpakete zu Aggregatoren zusammen- gefasst werden, kann beliebig sein, und spielt bei der Erfin- düng keine Rolle. Vorzugsweise werden Aggregatoren jedoch derart verwendet, dass Mediendatenpakete zusammengefasst werden, welche im Wesentlichen die gleiche Datenqualität aufweisen .The invention is characterized in that one or more first metadata elements are arranged in a respective metadata flow section such that each media data packet of the media data flow section to which the respective metadata flow section is assigned is assigned a first metadata element of the respective metadata flow section. This assignment ensures that the structure of a respective media data flow section is mapped in the metadata flow section. This creates a standardized way to store metadata for each individual media data package. In particular, the assignment according to the invention of metadata elements to media data packets ensures that for each media data packet a unique first metadata element exists, which is assigned to the media data packet. The method according to the invention can also be used in one embodiment if in each case a plurality of media data packets are combined into one or more aggregators in one or more of the media data flow sections. The term aggregator is to be understood here in general terms, and this includes any type of combination of several media data packets into a group of media data packets. Nevertheless, the term aggregator is also to be understood in its special meaning known from the MPEG4 data formats. There aggregators are used to summarize media data packets with the same quality levels, which are described for example by the so-called. DTQ values. In order to map the structure of a media data flow section with aggregators also in a corresponding metadata stream, the metadata flow section, which is assigned to the respective media data flow section, contains second metadata elements, which are arranged in such a way that a second metadata element is assigned to each aggregator. In particular, this uniquely assigns a metadata element to an aggregator, so that a defined mapping of an aggregator in the media data stream also takes place in the corresponding metadata stream. The criteria according to which media data packages are aggregated into aggregators can be arbitrary and play no role in the invention. Preferably, however, aggregators are used to aggregate media data packets having substantially the same data quality.
In einer weiteren bevorzugten Ausführungsform enthält das zweite Metadatenelement ein Metadatenelement zur Beschreibung des jeweiligen Aggregators und diejenigen Metadaten, die in dem oder den ersten Metadatenelementen enthalten sind, welche dem oder den Mediendatenpaketen zugewiesen sind, die in den jeweiligen Aggregator zusammengefasst sind. In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens enthält der Datenstrom mehrere Mediendatenströme und entsprechend zugeordnete Metadatenströme. Hierbei kann wenigstens einer der Mediendatenströme einen oder mehrere sog. Extraktoren enthalten, die jeweils ein oder mehrere Medienda- tenpakete eines anderen Mediendatenstroms referenzieren, wobei gemäß der Erfindung jedem Extraktor ein drittes Metadatenelement in dem Metadatenstrom zugewiesen wird, der dem wenigstens einen Mediendatenstrom zugeordnet ist. Auf diese Weise können in dem erfindungsgemäßen Verfahren auch Mediendatenströme in den Metadaten abgebildet werden, welche Referenzpunkte in der Form von Extraktoren enthalten. Hierbei ist das dritte Metadatenelement, welches dem Extraktor zugewiesen ist, vorzugsweise derart ausgestaltet, dass es ein Metadaten- element zur Beschreibung des Extraktors selbst sowie diejenigen Metadaten enthält, die in dem oder den ersten und/oder zweiten Metadatenelementen enthalten sind, welche dem oder den Mediendatenpaketen zugewiesen sind, die durch den Extraktor referenziert werden.In another preferred embodiment, the second metadata element includes a metadata element for describing the respective aggregator and the metadata contained in the one or more metadata elements assigned to the one or more media data packets that are aggregated into the respective aggregator. In a further embodiment of the method according to the invention, the data stream contains a plurality of media data streams and correspondingly assigned metadata streams. In this case, at least one of the media data streams may contain one or more so-called extractors, each of which references one or more media data packets of another media data stream, according to the invention each extractor being assigned a third metadata element in the metadata stream associated with the at least one media data stream. In this way, in the method according to the invention, media data streams can also be mapped in the metadata, which contain reference points in the form of extractors. In this case, the third metadata element assigned to the extractor is preferably designed such that it contains a metadata element for describing the extractor itself as well as the metadata contained in the first or second metadata element (s) Media data packages that are referenced by the extractor.
In einer weiteren bevorzugten Ausgestaltung der Erfindung wird in einem oder mehreren der ersten Metadatenelemente spezifiziert, ob und/oder wie viele nachfolgende erste und/oder zweite und/oder dritte Metadatenelemente den gleichen Inhalt haben. Auf diese Weise kann das Auslesen der Metadaten aus dem Datenstrom vereinfacht werden, da für mehrere erste und/oder zweite und/oder dritte Metadatenelemente nicht jedes Mal auf die Inhalte der einzelnen Metadatenelemente zugegriffen werden muss, sondern der Inhalt des ersten Metadatenele- ments der aufeinander folgenden Metadatenelemente verwendet werden kann.In a further preferred embodiment of the invention, it is specified in one or more of the first metadata elements whether and / or how many subsequent first and / or second and / or third metadata elements have the same content. In this way, the reading out of the metadata from the data stream can be simplified since for several first and / or second and / or third metadata elements, the contents of the individual metadata elements do not have to be accessed each time, but the content of the first metadata element of each other following metadata elements can be used.
In einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens werden in dem Datenstrom die Mediendatenstromab- schnitte und/oder die Metadatenstromabschnitte referenziert. Ferner kann in dem Datenstrom die Beschreibung von einer oder mehreren Qualitätsstufen enthalten sein sowie die Anweisungen zum direkten Zugriff auf die Mediendatenpakete der entsprechenden Qualitatsstufe . In einer weiteren Ausfuhrungsform des erfindungsgemaßen Verfahrens kann in dem Datenstrom auf die in einem Metadatenstromabschnitt enthaltenen ersten und/oder zweiten und/oder dritten Metadatenelemente zugegriffen werden .In a preferred embodiment of the method according to the invention, the media data stream sections and / or the metadata stream sections are referenced in the data stream. Furthermore, the description of one or more quality levels and the instructions may be included in the data stream for direct access to the media data packages of the corresponding quality level. In a further embodiment of the method according to the invention, the first and / or second and / or third metadata elements contained in a metadata stream section can be accessed in the data stream.
Das erfindungsgemaße Verfahren wird insbesondere für Videodatenstrome eingesetzt, wobei jeder Mediendatenstromabschnitt ein Videobild zu einem vorgegebenen Zeitpunkt repräsentiert und die Mediendatenpakete Videodatenpakete sind. Insbesondere kann der Videodatenstrom ein hinlänglich aus dem Stand der Technik bekannter MPEG4-SVC-Videodatenstrom sein, der die skalierbare Codierung und Decodierung von Videodaten ermog- licht.The inventive method is used in particular for video data streams, wherein each media stream portion represents a video image at a predetermined time and the media data packets are video data packets. In particular, the video data stream may be an MPEG4 SVC video data stream well known in the art that enables scalable encoding and decoding of video data.
Ein wesentlicher Aspekt der Erfindung besteht darin, dass die Struktur der Mediendaten in den Metadaten mit Hilfe von Metadatenelementen abgebildet wird, wobei nicht entscheidend ist, welche Informationen tatsachlich in den Metadatenelementen abgelegt sind. In einer Ausfuhrungsform enthalten die Metadatenelemente z. B. Inhalte, welche eine optimierte Übertragung des Datenstroms bei vorgegebener Datenrate ermöglichen. Insbesondere enthalten die ersten und/oder zweiten und/oder dritten Mediendatenelemente Parameter bezuglich einer Ratensteuerung des Datenstroms, vorzugsweise Parameter einer R/D-optimalen Extraktion von Mediendaten, und/oder Parameter zur Adaption der Qualität des Datenstroms.An essential aspect of the invention is that the structure of the media data in the metadata is mapped using metadata elements, wherein it is not crucial which information is actually stored in the metadata elements. In one embodiment, the metadata elements contain z. B. content that allows optimized transmission of the data stream at a given data rate. In particular, the first and / or second and / or third media data elements contain parameters relating to a rate control of the data stream, preferably parameters of an R / D-optimal extraction of media data, and / or parameters for adapting the quality of the data stream.
In einer weiteren Ausgestaltung des erfindungsgemaßen Verfahrens existiert in zumindest einem Teil der Metadatenstromab- schnitte jeweils ein viertes Metadatenelement, welches den Mediendatenstromabschnitt beschreibt, dem der jeweilige Metadatenstromabschnitt zugeordnet ist.In a further refinement of the method according to the invention, in at least part of the metadata flow sections there is in each case a fourth metadata element which describes the media data flow section to which the respective metadata flow section is assigned.
Neben dem oben beschriebenen Verfahren zur Erzeugung eines digitalen Datenstroms betrifft die Erfindung ferner ein Ver- fahren zum Verarbeiten eines derart erzeugten digitalen Datenstroms. Gemäß diesem Verfahren wird der Datenstrom derart ausgelesen, dass die Zuordnung der Mediendatenpakete zu den ersten Metadatenelementen und/oder der Aggregatoren zu den zweiten Metadatenelementen und/oder der Extraktoren zu den dritten Metadatenelementen durch Nummerierung der ausgelesenen Mediendatenpakete und/oder Aggregatoren und/oder Extraktoren und gleichzeitiger Nummerierung der ausgelesenen ersten und/oder zweiten und/oder dritten Metadatenelemente ermittelt wird. Es müssen somit keine separaten Indizes zur Zuordnung zwischen Metadatenelementen und Mediendatenpaketen hinterlegt werden, vielmehr ergibt sich die Zuordnung bereits durch die Abbildung der Struktur der Mediendaten in den Metadaten.In addition to the method of generating a digital data stream described above, the invention further relates to a method of generating a digital data stream. drive to process such a generated digital data stream. According to this method, the data stream is read such that the assignment of the media data packets to the first metadata elements and / or the aggregators to the second metadata elements and / or the extractors to the third metadata elements by numbering the read media data packets and / or aggregators and / or extractors and simultaneous numbering of the read first and / or second and / or third metadata elements is determined. Thus, no separate indices for the association between metadata elements and media data packets have to be stored; rather, the assignment already results from the mapping of the structure of the media data in the metadata.
Die Erfindung betrifft ferner einen Sender zum Aussenden eines erfindungsgemäßen Datenstroms, umfassend: ein erstes Mittel zur Generierung eines Mediendatenstroms, der eine Mehrzahl von zeitlich sortierten Mediendatenstromabschnitten enthält, wobei jeder Mediendatenstromabschnitt ein oder mehrere Mediendatenpakete enthält; ein zweites Mittel zum Zuordnen eines zeitlich mit dem Mediendatenstrom synchronisierten Metadatenstroms zum Mediendatenstrom, wobei der Metadatenstrom Metadatenstromabschnitte enthält und einem oder mehreren der Mediendatenstromabschnitte jeweils ein Metadatenstromab- schnitt zugeordnet ist; ein drittes Mittel zum Anordnen eines oder mehrerer erster Metadatenelemente derart in einem jeweiligen Metadatenstromabschnitt, dass jedem Mediendatenpaket des Mediendatenstromabschnitts, dem der jeweilige Metadatenstromabschnitt zugeordnet ist, ein erstes Metadatenelement des jeweiligen Metadatenstromabschnitts zugewiesen ist. Vorzugsweise umfasst der Sender ferner ein Mittel zum Verarbeiten des Datenstroms gemäß dem obigen Verarbeitungsverfahren. Vorzugsweise kann der Sender mit diesem Mittel zum Verarbeiten des Datenstroms Teile aus dem Datenstrom gemäß vorgegebe- ner Kriterien extrahieren, insbesondere gemäß Kriterien bezüglich der Datenrate und/oder der Datenqualität, und der Sender kann die extrahierten Teile aussenden. Die Erfindung betrifft ferner einen Empfänger zum Empfangen eines gemäß der Erfindung erzeugten Datenstroms, umfassend: ein Lesemittel zum Auslesen des Datenstroms derart, dass die Zuordnung der Mediendatenpakete zu den ersten Metadatenelementen und/oder der Aggregatoren zu den zweiten Metadatenelementen und/oder der Extraktoren zu den dritten Metadatenelementen durch Nummerierung der ausgelesenen Mediendatenpakete und/oder Aggregatoren und/oder Extraktoren und gleichzeitiger Nummerierung der ausgelesenen ersten und/oder zweiten und/oder dritten Metadatenelemente ermittelt wird. Vorzugsweise kann der Empfänger hierbei derart ausgestaltet sein, dass er Teile aus dem Datenstrom gemäß vorgegebener Kriterien, insbesondere Kriterien bezüglich der Datenrate und/oder der Datenqualität, auslesen kann.The invention further relates to a transmitter for transmitting a data stream according to the invention, comprising: a first means for generating a media data stream containing a plurality of time-sorted media data stream sections, each media data stream section containing one or more media data packets; second means for associating a metadata stream synchronized with the media data stream with the media data stream, the metadata stream including metadata flow portions, and each of the media data flow portions having a metadata stream portion associated therewith; third means for arranging one or more first metadata items in a respective metadata stream portion such that each media data packet of the media data stream portion to which the respective metadata stream portion is assigned is assigned a first metadata item of the respective metadata stream portion. Preferably, the transmitter further comprises means for processing the data stream according to the above processing method. Preferably, with this means for processing the data stream, the sender can extract parts from the data stream according to predetermined criteria, in particular according to criteria relating to the data rate and / or the data quality, and the sender can send out the extracted parts. The invention further relates to a receiver for receiving a data stream generated according to the invention, comprising: a reading means for reading out the data stream such that the assignment of the media data packets to the first metadata elements and / or the aggregators to the second metadata elements and / or the extractors to the third metadata elements by numbering the read media data packets and / or aggregators and / or extractors and simultaneous numbering of the read first and / or second and / or third metadata elements is determined. Preferably, the receiver can in this case be designed such that it can read parts from the data stream according to predetermined criteria, in particular criteria with regard to the data rate and / or the data quality.
In Analogie zu dem obigen Verfahren zur Erzeugung eines Datenstroms umfasst die Erfindung ferner einen entsprechenden digitalen Informationsträger, der digitale Informationen ent- hält, mit denen ein Datenstrom gemäß dem erfindungsgemäßenIn analogy to the above method for generating a data stream, the invention further comprises a corresponding digital information carrier containing digital information with which a data stream according to the invention
Datenstromerzeugungsverfahren erzeugbar ist. Vorzugsweise beinhaltet der digitale Informationsträger einen ersten Datenspeicherbereich zur Erzeugung eines Mediendatenstroms, der eine Mehrzahl von zeitlich sortierten Mediendatenstromab- schnitten enthält, wobei jeder Mediendatenstromabschnitt ein oder mehrere Mediendatenpakete enthält. Ferner ist ein zweiter Datenspeicherbereich zur Erzeugung eines zeitlich mit dem Mediendatenstrom synchronisierten Metadatenstroms vorgesehen, wobei der Metadatenstrom Metadatenstromabschnitte umfasst und einem oder mehreren der Mediendatenstromabschnitte und insbesondere jedem Mediendatenstromabschnitt jeweils ein Metada- tenstromabschnitt zugeordnet ist. Der Informationsträger zeichnet sich dadurch aus, dass in einem jeweiligen Metada- tenstromabschnitt ein oder mehrere erste Metadatenelemente derart angeordnet sind, dass jedem Mediendatenpaket des Me- diendatenstromabschnitts, dem der jeweilige Metadatenstromab- schnitt zugeordnet ist, ein erstes Metadatenelement des jeweiligen Metadatenstromabschnitts zugewiesen ist.Data stream generation method is generated. Preferably, the digital information carrier includes a first data storage area for generating a media data stream including a plurality of time-sorted media data stream portions, each media data stream portion containing one or more media data packets. Furthermore, a second data storage area is provided for generating a metadata stream synchronized in time with the media data stream, wherein the metadata stream comprises metadata flow sections and one or more of the media data flow sections and in particular each metadata flow section is assigned a respective metadata flow section. The information carrier is characterized in that one or more first metadata elements are arranged in a respective metadata stream section such that each media data packet of the media data stream section to which the respective metadata stream is associated with a first metadata element of the respective metadata flow section.
In einer bevorzugten Ausführungsform umfasst der digitale In- formationsträger einen Track zur Referenzierung von Medienda- tenstromabschnitten und/oder einen oder mehrere Tracks zur Referenzierung von Metadatenstromabschnitten . Die Tracks zur Referenzierung von Metadatenstromabschnitten können hierbei Beschreibungen von Gruppierungen von ersten und/oder zweiten und/oder dritten Metadatenelementen umfassen, mit welchen beispielsweise vorgegebene Qualitätsstufen für die Daten- stromübertragung festgelegt werden.In a preferred embodiment, the digital information carrier comprises a track for referencing media data stream sections and / or one or more tracks for referencing metadata stream sections. The tracks for referencing metadata flow sections may here comprise descriptions of groupings of first and / or second and / or third metadata elements with which, for example, predetermined quality levels for the data stream transmission are determined.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren detailliert beschrieben.Embodiments of the invention are described below in detail with reference to the accompanying drawings.
Es zeigen:Show it:
Fig. 1 eine schematische Darstellung eines aus dem Stand der Technik bekannten Dateiformats, in dem gespeicherte Videodaten über einen Videotrack referen- ziert werden;1 shows a schematic representation of a file format known from the prior art, in which stored video data are referenced via a video track;
Fig. 2 eine schematische Darstellung eines aus dem Stand der Technik bekannten Dateiformats, in dem Videodaten über einen Videotrack referenziert werden und ferner Metadaten mit den Videodaten über einen Metadatentrack zeitlich synchronisiert sind;Figure 2 is a schematic representation of a file format known in the art in which video data is referenced via a video track and also metadata is time synchronized with the video data via a metadata track;
Fig. 3 eine schematische Darstellung der erfindungsgemäßen Zuweisung von Metadatenelementen zu Mediendatenpa- keten;3 shows a schematic representation of the assignment according to the invention of metadata elements to media data packets;
Fig. 4 eine schematische Darstellung eines erfindungsgemä- ßen Dateiformats, in dem unter anderem ein Medien- datenstrom verwendet wird, der sog. Extraktoren enthält; Fig. 5 eine schematische Darstellung eines erfindungsgemäßen Dateiformats, in dem die Referenzierung des Me- diendatenstroms und des damit zeitlich synchroni- sierten Metadatenstroms über entsprechende Tracks erfolgt;4 shows a schematic representation of a file format according to the invention in which inter alia a media data stream is used which contains so-called extractors; 5 shows a schematic representation of a file format according to the invention, in which the referencing of the media data stream and the time-synchronized metadata stream takes place via corresponding tracks;
Fig. 6 eine schematische Darstellung eines erfindungsgemäßen Dateiformats, bei dem Metadaten in mehreren hierarchischen Ebenen des Mediendatenstroms vorgesehen sind;6 shows a schematic representation of a file format according to the invention, in which metadata are provided in several hierarchical levels of the media data stream;
Fig. 7 eine schematische Darstellung eines erfindungsgemäßen Dateiformats, bei dem mittels Zusatzinformatio- nen auf Gruppen von Metadatenelementen im Metadatentrack direkt zugegriffen werden kann; und7 is a schematic representation of a file format according to the invention, in which additional information can be used to access groups of metadata elements in the metadata track directly; and
Fig. 8 eine schematische Darstellung eines Senders, einesFig. 8 is a schematic representation of a transmitter, a
Empfängers sowie eines digitalen Informationsträ- gers gemäß einer Ausführungsform der Erfindung.Receiver as well as a digital information carrier according to an embodiment of the invention.
Nachfolgend wird das erfindungsgemäße Verfahren anhand von Videodaten beschrieben, welche gemäß dem Standard MPEG4-SVC kodiert sind. SVC steht hierbei für "Scalable Video Coding" und ermöglicht die Codierung und Decodierung von Videodaten auf unterschiedlichen Qualitätsstufen. Es wird hierbei zwischen der Skalierbarkeit bezüglich der örtlichen Auflösung, der Skalierbarkeit bezüglich der zeitlichen Auflösung und der sog. SNR-Skalierbarkeit (SNR = Signal to Noise Ratio) unter- schieden. Die SNR-Skalierbarkeit betrifft hierbei die Genauigkeit der Bildpunkte und je höher diese Genauigkeit ist, desto weniger Artefakte treten im Bild auf. Die Skalierbarkeit des Videodatenstroms wird im SVC-Standard dadurch erreicht, dass in dem Datenstrom verschiedene Qualitätsschich- ten, nämlich eine Basisschicht und darüber liegende Enhance- ment-Layers, vorgesehen sind. Im MPEG4-SVC-Standard wird die Qualität von einzelnen Videodatenpaketen durch sog. DTQ-Werte spezifiziert (DTQ = dependency id, temporal level, qual- ity_level) . Der D-Wert gibt die örtliche Auflösung, der T- Wert die temporale Auflösung und der Q-Wert die SNR- Skalierungsrichtung für jedes Videopaket wieder. Je größer die Werte sind, umso besser ist die Qualität der entsprechenden Auflösungen.The method according to the invention is described below on the basis of video data which are coded according to the MPEG4-SVC standard. SVC stands for "Scalable Video Coding" and allows the encoding and decoding of video data at different quality levels. Here, a distinction is made between the scalability with regard to the local resolution, the scalability with respect to the temporal resolution and the so-called SNR scalability (SNR = Signal to Noise Ratio). The SNR scalability relates to the accuracy of the pixels and the higher this accuracy, the fewer artifacts occur in the image. The scalability of the video data stream is achieved in the SVC standard in that different quality layers, namely a base layer and overlying enhancement layers, are provided in the data stream. In the MPEG4 SVC standard, the quality of individual video data packets is determined by so-called DTQ values specified (DTQ = dependency id, temporal level, quality_level). The D value represents the local resolution, the T value the temporal resolution, and the Q value the SNR scaling direction for each video packet. The larger the values, the better the quality of the corresponding resolutions.
In Fig. 1 ist ein Dateiformat gezeigt, welches in dem Standardisierungsdokument [1] betreffend das Format für die Spei- cherung von MPEG4-SVC-Daten beschrieben ist. Das Format enthält einen Mediendatencontainer MD, welcher den Bereich "mdat" enthält, in dem ein oder mehrere Mediendatenströme MDS abgespeichert sind, und einen Beschreibungscontainer MT, der einen Bereich "moov" umfasst, der einen oder mehrere Video- tracks VT enthält. Ein Videotrack speichert Informationen, die den Zugriff auf die Mediendaten (oder Teile davon) erlauben. Ein Mediendatenstrom MDS enthält beispielsweise die zeitlich organisiert abgelegten einzelnen Videodatenpakete, wobei die Videodatenpakete als NALu (NALu = Network Abstrac- tion Layer unit) bezeichnet sind. Die Daten in dem Videotrack VT beschreiben die relevanten Mediendaten in dem Mediendatenstrom MDS und stellen Referenzen zum Zugriff auf die Mediendaten zur Verfügung. Diese Referenzen sind durch zwei fett gedruckte Pfeile in Fig. 1 angedeutet, wobei die Pfeile ihren Ursprung im Videotrack VT haben. Weiterhin enthält der Videotrack VT Daten, mit deren Hilfe auf einen vorbestimmten Operationspunkt mit definierter Auflösung und Bildwiederholrate zugegriffen werden kann, wobei die Operationspunkte in definierten "Tiers" gruppiert werden, so dass die Operationspunk- te in einem Tier eine definierte Auflösung und Bildwiederholrate aufweisen. Die Auswertung dieser Daten führt zu Extraktionsanweisungen, die durch die restlichen (nicht fett gedruckten) Pfeile in Fig. 1 illustriert sind. Die Qualität eines Tiers kann dabei je nach Applikation in bestimmten Berei- chen variieren, ebenso wie die resultierende Datenübertragungsrate des Videodatenstroms. Der Videotrack VT enthält somit für die einzelnen Tiers Metadaten, welche die resultierende Qualität beschreiben. Diese statische Beschreibung bezieht sich auf die gesamte Repräsentation des Datenstroms. Die Metadaten können z. B. von einem File-Reader oder einem Streaming-Client verwendet werden, um gewünschte Operationspunkte aus den angebotenen auszuwählen. In der Beschreibung des Datenstroms mit Hilfe der Tiers sind zusätzlich Daten enthalten, die dazu dienen, die zur Darstellung der Videobilder erforderlichen Mediendaten aus der Ge- samtmenge der Mediendaten zu extrahieren. Ferner enthält der Videotrack VT eine Reihe von Datenstrukturen, die den effizienten Zugriff auf die gewünschten Mediendaten erlauben.Fig. 1 shows a file format described in the standardization document [1] concerning the format for storing MPEG4 SVC data. The format contains a media data container MD, which contains the area "mdat" in which one or more media data streams MDS are stored, and a description container MT, which includes an area "moov", which contains one or more video tracks VT. A video track stores information that allows access to (or portions of) the media data. A media data stream MDS contains, for example, the temporally organized individual video data packets, wherein the video data packets are designated as NALU (Network Abstraction Layer Unit). The data in the video track VT describe the relevant media data in the media data stream MDS and provide references for accessing the media data. These references are indicated by two bold arrows in FIG. 1, the arrows having their origin in the video track VT. Furthermore, the video track VT contains data with the aid of which a predetermined operating point with defined resolution and refresh rate can be accessed, the operating points being grouped in defined "animals" so that the operating points in an animal have a defined resolution and refresh rate. The evaluation of this data results in extraction instructions illustrated by the remaining (not bold) arrows in FIG. Depending on the application, the quality of an animal may vary in certain areas, as well as the resulting data transfer rate of the video data stream. The video track VT thus contains metadata for the individual animals, which describe the resulting quality. This static description refers to the entire representation of the data stream. The metadata can be z. B. from a file reader or a streaming client can be used to select desired operation points from the offered. The description of the data stream with the help of the animals additionally contains data which serve to extract the media data required for displaying the video images from the total amount of media data. Further, the video track VT includes a number of data structures that allow efficient access to the desired media data.
Von dem Mediendatenstrom MDS sind in Fig. 1 zwei Mediendaten- stromabschnitte SO und Sl wiedergegeben. Jeder dieser Abschnitte stellt ein Videobild zu einem vorbestimmten Zeitpunkt dar und enthält in mehreren Videodatenpaketen entsprechende Informationen zu dem Videobild. In dem Mediendaten- stromabschnitt SO sind hierbei sechs Videodatenpakete NALu enthalten, wohingegen der Abschnitt Sl fünf NALus umfasst. Für jedes Videodatenpaket NALu ist ein entsprechender DTQ- Wert hinterlegt. Beispielsweise hat das erste Videodatenpaket von links in dem Mediendatenstromabschnitt SO einen DTQ-Wert in der Form des Triples (0,0,0) . Dies bedeutet, dass die ört- liehe Auflösung den Wert bzw. Index 0, die zeitliche Auflösung den Index 0 und die SNR-Skalierbarkeit ebenfalls den Index 0 hat. In dem Dateiformat der Fig. 1 sind ferner benachbarte Videodatenpakete zu einem sog. Aggregator zusammenge- fasst, wenn sie die gleichen DTQ-Werte aufweisen. In Fig. 1 sind das zweite und das dritte Videodatenpaket von links in dem ersten Mediendatenstromabschnitts SO zu einem Aggregator A zusammengefasst, da beide Videodatenpakete den gleichen DTQ-Wert (1, 0, 0) aufweisen.Of the media data stream MDS, two media data stream sections SO and SI are shown in FIG. Each of these sections represents a video image at a predetermined time and contains information about the video image in a plurality of video data packets. The media data stream section SO contains six video data packets NALu, whereas the section Sl comprises five NALus. For each video data packet NALu a corresponding DTQ value is stored. For example, the first video data packet from the left in the media data stream section SO has a DTQ value in the form of the triples (0,0,0). This means that the local resolution has the value or index 0, the time resolution has the index 0, and the SNR scalability also has the index 0. Further, in the file format of Fig. 1, adjacent video data packets are grouped into a so-called aggregator if they have the same DTQ values. In FIG. 1, the second and the third video data packet from the left in the first media data stream section SO are combined to form an aggregator A, since both video data packets have the same DTQ value (1, 0, 0).
In einer Abwandlung des in Fig. 1 gezeigten Dateiformats ist es auch zusätzlich möglich, sich zeitlich verändernde Metadaten in dem Dateiformat zu hinterlegen. Dies ist in Fig. 2 schematisiert dargestellt. Analog zu Fig. 1 enthalt das Dateiformat einen Beschreibungscontainer MT und einen Medienda- tencontainer MD. Zusatzlich ist in dem Beschreibungscontainer MT jedoch neben dem Videotrack VT ein weiterer Track TMT vor- gesehen (TMT = timed meta data track) . Dieser Track weist wiederum Referenzierungen in der Form von Pfeilen auf einen Metadatenstrom MTS innerhalb des Mediendatencontainers MD auf. Der Metadatenstrom MTS enthalt hierbei eine Vielzahl von Metadatenstromabschnitten in der Form von sog. "meta data samples" MO, Ml, ..., M7, welche zeitlich mit einzelnen Medien- datenstromabschnitten SO, Sl, ..., S7 synchronisiert sind. Das Dateiformat gemäß Fig. 2 ist beispielsweise in dem Standardisierungsdokument [4] beschrieben. Mit diesem Format lassen sich Metadaten zum Beispiel mittels binarisierten XML (BiM) kodieren.In a modification of the file format shown in FIG. 1, it is additionally possible to store time-varying metadata in the file format. This is in Fig. 2 shown schematically. Analogously to FIG. 1, the file format contains a description container MT and a media data container MD. In addition, in the description container MT, however, another track TMT is provided in addition to the video track VT (TMT = timed meta data track). This track in turn has references in the form of arrows to a metadata stream MTS within the media data container MD. The metadata stream MTS contains a plurality of metadata stream sections in the form of so-called "meta data samples" MO, Ml, ..., M7, which are synchronized in time with individual media data stream sections SO, Sl,..., S7. The file format of Fig. 2 is described in the standardization document [4], for example. With this format, metadata can be encoded using, for example, binarized XML (BiM).
Aus dem Stand der Technik ist es in Bezug auf die MPEG4-SVC- Codierung bekannt, dass die Daten im "fully scalable"-Format abgespeichert werden, "fully scalable" bedeutet hierbei, dass jede erlaubte Kombination der Qualitatsstufen in den Skalierungsrichtungen (d. h. ortliche Auflosung, zeitliche Auflosung und SNR-Skalierbarkeit) extrahiert werden kann. Bei der Übertragung solcher "fully scalable"-Bitstrome ist es insbesondere wünschenswert, die Qualität des Bitstroms optimal an eine vorgegebene Bitrate anzupassen. Im MPEG4-SVC-Standard werden hierbei Mechanismen bereitgestellt, welche eine sehr feine Skalierung des Datenstroms ermöglichen. Insbesondere sind in diesem Standard für jede ortliche bzw. CGS-Auflo- sungsstufe (CGS = Coarse Grain Scalability) und dort für je- des Bild bei der Durchfuhrung der temporalen Zerlegung einer ortlichen Auflosungsstufe maximal vier Qualitatsstufen definiert. Die niedrigste Qualitatsstufe wird wie im MPEG4-AVC- Standard (AVC = Advanced Video Coding) beschrieben codiert, wobei der Quantisierungsparameter QP die Unterschiede zwi- sehen dem ursprunglichen Bild und dem decodierten Bild beein- flusst. Die anderen Qualitatsstufen (sog. „Fine Grain Scalability (FGS) Refinements") werden dadurch codiert, dass der Quantisierungsparameter z.B. um sechs verringert wird. Die einzelnen FGS-Refinements werden wiederum in zwei Stufen codiert, welche als "significant pass" und "refinement pass" bezeichnet sind und in einer sog. FGS-NALu abgespeichert wer- den .It is known from the prior art with respect to the MPEG4 SVC coding that the data is stored in "fully scalable" format, "fully scalable" here means that any permitted combination of the quality levels in the scaling directions (ie local Resolution, temporal resolution and SNR scalability) can be extracted. In the transmission of such "fully scalable" bitstreams, it is particularly desirable to optimally adapt the quality of the bitstream to a predetermined bit rate. Mechanisms are provided in the MPEG4-SVC standard which allow a very fine scaling of the data stream. In particular, this standard defines a maximum of four quality levels for each local or CGS resolution level (CGS = Coarse Grain Scalability) and there for each image when performing the temporal decomposition of a local resolution level. The lowest quality level is encoded as described in the MPEG4 AVC standard (AVC = Advanced Video Coding), where the quantization parameter QP influences the differences between the original image and the decoded image. The other quality levels (so-called "Fine Grain Scalability (FGS) Refinements") are coded by the fact that the Quantization parameters, for example, reduced by six. The individual FGS refinements are in turn coded in two stages, which are designated as "significant pass" and "refinement pass" and are stored in a so-called FGS NALu.
Im MPEG4-SVC-Standard gibt es nunmehr die Möglichkeit, bei der Verwendung von FGS-NALus den Videodatenstrom an eine vorbestimmte Bitübertragungsrate dadurch anzupassen, dass die einzelnen FGS-NALus abgeschnitten werden. Die NALus können hierbei an immer der gleichen Bitposition abgeschnitten werden, was jedoch zu einer nicht optimalen Decodierung führt. Wie in dem Standardisierungsdokument [3] beschrieben, können die FGS-NALus ferner an definierten Stellen „vorgeschnitten" werden, wobei diese vorgeschnittenen Fragmente (sog. akaThe MPEG4 SVC standard now allows FGS NALus to adjust the video stream to a predetermined bit rate by truncating the individual FGS NALs. The NALs can be cut off here always at the same bit position, which, however, leads to a non-optimal decoding. Further, as described in the standardization document [3], the FGS NALus may be "pre-cut" at defined locations, these precut fragments (so-called aka
„quality layers") in eigenen NALus gespeichert werden. Es ergibt sich somit eine Menge an Kombinationen für alle Bilder von örtlicher, temporaler und SNR-Skalierbarkeit (jeweils unter Berücksichtigung der vorgeschnittenen Teile), die jeweils eine bestimmte Rate und eine bestimmte Qualität besitzen.This results in a set of combinations for all images of local, temporal and SNR scalability (each taking into account the pre-cut parts), each having a certain rate and a certain quality.
Mithilfe der vorgeschnittenen NALus besteht nunmehr die Möglichkeit, eine an die Bitrate optimal angepasste Qualität des Videodatenstroms zu erreichen. Dies ist als R/D-optimale Ex- traktion der FGS-NALus bekannt. Wie bereits zuvor erwähnt, steht RD für Rate Distortion (= Verzerrung des Bildes in Abhängigkeit von der Datenrate) . Bei der R/D-optimalen Extraktion werden die RD-Werte für ein Videobild einer bestimmten örtlichen Auflösungsstufe in einem RD-Diagramm über die Bit- rate aufgetragen. Es ergibt sich hierbei eine konvexe Hülle, und es kann für jeden Punkt auf der konvexen Hülle der Winkel λ bestimmt werden, der angibt, wie stark sich die Verzerrung in Abhängigkeit von der Veränderung der Datenrate verändert. Der Wert von λ kann nach entsprechender Skalierung für jede NALu erzeugt und geeignet abgespeichert werden. Bei der R/D- optimalen Extraktion können dann durch Auswerten des Wertes λ die zu behaltenden NALus optimal für eine gegebene örtliche Auflösung und eine vorgegeben Datenrate ausgewählt werden. Einzelheiten zu der R/D-optimalen Extraktion von Videodatenpaketen finden sich in der Druckschrift [3] .With the help of the precut NALus, it is now possible to achieve a quality of the video data stream optimally adapted to the bit rate. This is known as R / D-optimal extraction of the FGS NALus. As mentioned earlier, RD stands for Rate Distortion (= distortion of the image as a function of the data rate). In R / D optimal extraction, the RD values for a video image of a given local resolution level are plotted on an RD diagram over the bit rate. This results in a convex hull, and it can be determined for each point on the convex hull the angle λ, which indicates how much the distortion varies in response to the change in the data rate. The value of λ can be generated after appropriate scaling for each NALu and stored appropriately. In the R / D optimal extraction, by evaluating the value λ, the NALs to be retained can then optimally for a given local Resolution and a given data rate are selected. Details of the R / D-optimal extraction of video data packets can be found in the publication [3].
Der Parameter, der bei der Auswahl der NALus gemäß der R/D- optimalen Extraktion einfließt, ist im obigen Dokument [3] als "quality id" bezeichnet. Im Gegensatz zu den DTQ-Werten, welche im Vorangegangenen beschrieben wurden, existiert im Codierstandard MPEG4-AVC (siehe Dokument [2]) keine normative Festlegung, an welcher Stelle der Wert für die quality_id anzugeben ist. Die Angabe dieses Wertes kann somit nur nichtnormativ in frei verwendbaren Feldern in den Headern der NALus erfolgen.The parameter used in selecting the NALs according to the R / D optimal extraction is referred to in the above document [3] as "quality id". In contrast to the DTQ values described above, in the coding standard MPEG4-AVC (see document [2]) there is no normative definition of where to specify the value for the quality_id. The specification of this value can therefore only be done non-normatively in freely usable fields in the headers of the NALus.
Gemäß der im nachfolgenden beschriebenen Ausführungsformen der Erfindung werden im zeitlich synchronisierten Metadatenstrom MTS einzelne Felder für Metadatenelemente hinterlegt, wobei einem Metadatenelement genau ein Videodatenpaket NALu aus dem Mediendatenstrom zugeordnet ist. In diesen Metadaten- elementen können beliebige Informationen betreffend die einzelnen Videodatenpakete gespeichert werden, insbesondere kann für jedes Videodatenpaket der entsprechende Parameter für die R/D-optimale Extraktion von Videodaten hinterlegt werden (z. B. die zuvor erwähnte quality_id) . Die Erfindung ist in Fig. 3 für die in Fig. 2 gezeigten Mediendatenstromabschnitte bzw. Metadatenstromabschnitte SO und MO dargestellt. Der Medienda- tenstromabschnitt SO weist hierbei den gleichen Aufbau wie der in Fig. 1 gezeigte Mediendatenstromabschnitt SO auf. Man erkennt aus Fig. 3, dass gemäß der Erfindung der Metadaten- stromabschnitt MO die gleiche Struktur wie der Mediendatenstromabschnitt SO aufweist. Insbesondere ist für jede NALu in SO ein Metadatenelement ME in MO vorgesehen, wobei die Zuordnung der einzelnen Metadatenelemente ME zu den NALus in Fig. 3 mit den Pfeilen P gekennzeichnet ist. Um den Aggregator A in SO, der die zweite und dritte NALu mit gleichen DTQ-Werten zusammenfasst, mit dem erfindungsgemäßen Verfahren ebenfalls zu verarbeiten, ist dem Aggregator auch ein entsprechendes Metadatenelement zugewiesen, welches in Fig. 3 als MA' bezeichnet ist und dessen Zuordnung zu dem Aggregator A mit dem Pfeil P' angedeutet ist. Das Metadatenelement MA' enthält ein Metadatenelement MEA, welches die Eigenschaften des Aggrega- tors beschreibt, beispielsweise Eigenschaften, die alle im Aggregator enthaltenen NALus aufweisen. In der in Fig. 3 gezeigten Option enthält das Metadatenelement MA' nach dem Metadatenelement MEA erste Metadatenelemente ME für jede im Aggregator enthaltene NALu. Alternativ enthält MA' keine Meta- datenelemente ME für jede im Aggregator enthaltene NALu. In diesem Fall beschreibt MEA den Aggregator und jede darin enthaltene NALu.According to the embodiments of the invention described below, individual fields for metadata elements are stored in the time-synchronized metadata stream MTS, wherein a metadata element is assigned exactly one video data packet NALu from the media data stream. Any information concerning the individual video data packets can be stored in these metadata elements, in particular the corresponding parameter for the R / D optimal extraction of video data can be stored for each video data packet (eg the aforementioned quality_id). The invention is illustrated in FIG. 3 for the media data flow sections or metadata flow sections SO and MO shown in FIG. In this case, the media data stream section SO has the same structure as the media data stream section SO shown in FIG. It can be seen from FIG. 3 that, according to the invention, the metadata flow section MO has the same structure as the media flow section SO. In particular, a metadata element ME in MO is provided for each NALu in SO, wherein the assignment of the individual metadata elements ME to the NALus in FIG. 3 is indicated by the arrows P. In order to also process the aggregator A in SO, which combines the second and third NALu with the same DTQ values, with the method according to the invention, the aggregator also has a corresponding one Assigned metadata element, which is designated in Fig. 3 as MA 'and whose assignment to the aggregator A is indicated by the arrow P'. The metadata element MA 'contains a metadata element MEA which describes the properties of the aggregator, for example properties that have all the NALus contained in the aggregator. In the option shown in FIG. 3, the metadata element MA 'contains, after the metadata element MEA, first metadata elements ME for each NALu contained in the aggregator. Alternatively, MA 'contains no metadata elements ME for each NALu contained in the aggregator. In this case, MEA describes the aggregator and any NALu contained therein.
Wie sich deutlich aus Fig. 3 ergibt, besteht ein wesentlicher Aspekt der Erfindung darin, dass die Struktur eines Medienda- tenstromabschnitts in einem entsprechenden Metadatenstromab- schnitt abgebildet wird. Die entsprechende Zuordnung zwischen Metadatenelementen und Videodatenpaketen kann hierbei durch paralleles Abzählen der Metadatenelemente im Metadatenstrom und der Videodatenpakete im Mediendatenstrom erreicht werden. Dieses Abzählen ist in Fig. 3 durch entsprechende Nummerie- rung der Videodatenpakete NALu und der Metadatenelemente ME sowie des Metadatenelements MEA gezeigt. Die Nummerierung ist hierbei wie folgt:As is clear from FIG. 3, an essential aspect of the invention is that the structure of a media data stream section is mapped in a corresponding metadata stream section. The corresponding assignment between metadata elements and video data packets can be achieved here by parallel counting of the metadata elements in the metadata stream and the video data packets in the media data stream. This counting is shown in FIG. 3 by corresponding numbering of the video data packets NALu and the metadata elements ME and of the metadata element MEA. The numbering is as follows:
Die erste NALu von links erhält den Zählindex 1, der nachfolgende Aggregator A den Zählindex 2 und die den Aggregator folgenden NALus die Zählindizes 3, 4 und 5. Analog wird im Metadatenstrom gezählt. Das heißt, das erste Metadatenele- ment, welches der NALu mit dem Zählindex 1 entspricht, erhält ebenfalls den Zahlindex 1, dem Metadatenelement MA' für den Aggregator A ist der Zählindex 2 zugeordnet, der auch dem Aggregator A zugewiesen ist, und die Metadatenelemente nach dem Aggregator A enthalten analog zu den entsprechenden NALus die Zählindizes 3, 4 und 5. Beim Zugriff auf NALus in einem Aggregator wird innerhalb des Aggregators neu nummeriert, so dass die NALus im Aggregator A sowie die entsprechenden Meta- datenelemente ME die Indizes 1 und 2 aufweisen. Es sei hierbei angemerkt, dass die in Fig. 3 gezeigten Nummern nicht in dem Datenformat abgespeichert sind, sondern sich automatisch bei der Verwendung von Zählindizes beim Zugriff auf die Daten ergeben.The first NALu from the left receives the count index 1, the following aggregator A the count index 2 and the aggregator following NALus the count indices 3, 4 and 5. Analogue is counted in the metadata stream. That is to say, the first metadata element, which corresponds to the NALu with the count index 1, likewise receives the number index 1, the metadata element MA 'for the aggregator A is assigned the count index 2, which is also assigned to the aggregator A, and the metadata elements follow The aggregator A contains the counter indices 3, 4 and 5, analogous to the corresponding NALs. When accessing NALus in an aggregator, the numbering within the aggregator is re-numbered so that the NALus in the aggregator A and the corresponding meta data elements ME have the indices 1 and 2. It should be noted here that the numbers shown in Fig. 3 are not stored in the data format, but automatically result in the use of Zählindizes when accessing the data.
Fig. 4 zeigt eine weitere Ausführungsform des erfindungsgemäßen Dateiformats, wobei nicht nur ein einzelner Mediendaten- strom MDS und ein einzelner synchronisierter Metadatenstrom MTS vorliegen, sondern ein weiterer Mediendatenstrom MDS' vorgesehen ist, dem ein entsprechender Metadatenstrom MTS' zugewiesen ist. Der im Mediendatenstrom MDS gezeigte Medien- datenstromabschnitt SO entspricht hierbei dem Mediendaten- stromabschnitt SO der Fig. 3. Ebenso entspricht der Metada- tenstromabschnitt MO in dem Metadatenstrom MTS dem Metadaten- stromabschnitt MO der Fig. 3. Der zusätzlich vorgesehene Me- diendatenstromabschnitt MDS' enthält sog. Extraktoren. Die Verwendung solcher Extraktoren ist unter Abschnitt 7.6 des Standardisierungsdokuments [1] beschrieben. Diese Extraktoren stellen Pakete dar, welche zur Referenzierung von Mediendaten in anderen Mediendatenströmen dienen. In dem Beispiel der Fig. 4 referenziert der linke Extraktor E in dem Mediendatenstrom MDS' die erste NALu, den nachfolgenden Aggregator A und die zwei in diesem Aggregator enthaltenen NALus in dem Me- diendatenstrom MDS. Demgegenüber referenziert der zweite Extraktor E in dem Mediendatenstrom MDS' die hinteren drei NALus in dem Mediendatenstrom MDS.4 shows a further embodiment of the file format according to the invention, wherein not only a single media data stream MDS and a single synchronized metadata stream MTS are present, but a further media data stream MDS 'is provided to which a corresponding metadata stream MTS' is assigned. The media data stream section SO shown in the media data stream MDS here corresponds to the media data stream section SO of FIG. 3. Likewise, the metadata stream section MO in the metadata stream MTS corresponds to the metadata stream section MO of FIG. 3. The additionally provided media data stream section MDS ' contains so-called extractors. The use of such extractors is described in Section 7.6 of Standardization Document [1]. These extractors represent packets that serve to refer media data to other media streams. In the example of FIG. 4, the left extractor E in the media data stream MDS 'references the first NALu, the subsequent aggregator A and the two NALus contained in this aggregator in the media data stream MDS. In contrast, the second extractor E in the media data stream MDS 'references the back three NALus in the media data stream MDS.
Um mit dem erfindungsgemäßen Verfahren nunmehr auch den Me- diendatenstrom MDS' , der Extraktoren beinhaltet, zu verarbeiten, ist eine weitere Art von Metadatenelementen für die Extraktoren in dem Metadatenstrom MTS' vorgesehen. Diese Metadatenelemente sind im Strom MTS' der Fig. 4 als MEl' für den linken Extraktor von MDS' und als ME2' für den rechten Ex- traktor von MDS' wiedergegeben. Allgemein werden diese Metadatenelemente auch als ME' bezeichnet. Die Zuordnung zwischen den Extraktoren und den Metadatenelementen MEl' und ME2' er- folgt wiederum durch Nummerierung der Extraktoren E mit den Zählindexes 1 und 2 und der entsprechenden Metadatenelemente MEl', ME2' mit den gleichen Indizes 1 und 2. Die Metadatenelemente MEl' bzw. ME2' enthalten hierbei am Anfang ein Meta- datenelement MEE, welches den gesamten Extraktor beschreibt. Diesem Metadatenelement MEE können sich die Metadatenelemente ME derjenigen Mediendatenpakete (NALus) anschließen, welche durch den Extraktor referenziert werden.In order to now also process the media data stream MDS ', which includes extractors, with the method according to the invention, a further type of metadata elements is provided for the extractors in the metadata stream MTS'. These metadata elements are reproduced in the stream MTS 'of FIG. 4 as MEI' for the left extractor of MDS 'and as ME2' for the right tractor of MDS '. Generally, these metadata elements are also referred to as ME '. The assignment between the extractors and the metadata elements ME1 'and ME2' in turn follows by numbering the extractors E with the counting indexes 1 and 2 and the corresponding metadata elements ME1 ', ME2' with the same indices 1 and 2. The metadata elements ME1 'and ME2' contain a metadata element MEE at the beginning describes the entire extractor. This metadata element MEE can be followed by the metadata elements ME of those media data packets (NALus) which are referenced by the extractor.
Fig. 5 zeigt in schematischer Gesamtansicht nochmals das gemäß der Erfindung erzeugte Dateiformat. Der Aufbau der Fig. 5 entspricht hierbei dem Aufbau der Fig. 2, wobei jedoch detailliert die Inhalte des Videotracks VT, des Metadatentracks TMT sowie des Mediendatenstroms MDS und des Metadatenstroms MTS gezeigt sind. Der Videotrack VT enthält eine Reihe von Metadatenstrukturen, die den Videotrack global beschreiben. Solche Metadatenstrukturen betreffen z. B. folgende Beschreibungen :FIG. 5 again shows, in a schematic overall view, the file format generated according to the invention. The structure of Fig. 5 corresponds to the structure of Fig. 2, but the contents of the video track VT, the metadata track TMT and the media data stream MDS and the metadata stream MTS are shown in detail. The video track VT contains a number of metadata structures that describe the video track globally. Such metadata structures concern z. For example, the following descriptions:
- Die Beschreibung des Videostroms inklusive Kodierverfahren, örtliche Auflösung, Initialisierungsparameter usw. (sogen, "visual sample entry");- The description of the video stream including encoding method, local resolution, initialization parameters, etc. (so-called, "visual sample entry");
Die Beschreibung von Operationspunkten (sog. "scalable tier entry") , wobei pro Operationspunkt ein Eintrag e- xistiert; die Beschreibung der Strukturmuster und die Zuweisung von sog. Gruppenidentitäten zu den Datenelementen (sog. "NALu map entry") ; die Zuordnung der Strukturmuster zu den "Samples", d. h. den Videobildern zu vorbestimmten Zeitpunkten (sog. "sample to group box") ; weitere notwendigen Strukturen, wie z.B. "sample size box".The description of operation points (so-called "scalable animal entry"), whereby an entry exists per operation point; the description of the structural patterns and the assignment of so-called group identities to the data elements (so-called "NALu map entry"); the assignment of the structure patterns to the "samples", d. H. the video images at predetermined times (so-called "sample to group box"); other necessary structures, e.g. "sample size box".
In dem Metadatentrack TMT sind Datenstrukturen enthalten, welche die zeitlich synchronisierten Metadaten in dem Metadatenstrom MTS global beschreiben. Der Metadatentrack enthält insbesondere eine Beschreibung des Metadatenstroms (sog. „me- ta data sample entry) sowie weitere notwenige Strukturen (wie z. B. "sample size box") .The metadata track TMT contains data structures which globally describe the time-synchronized metadata in the metadata stream MTS. The metadata track contains in particular a description of the metadata stream (so-called "metric data sample entry") as well as further necessary structures (such as eg "sample size box").
Die obigen Datenstrukturen sind hinlänglich aus der Beschreibung des MPEG4-Dateiformats und des SVC-Dateiformats bekannt und werden deshalb nicht näher erläutert.The above data structures are well known from the description of the MPEG4 file format and the SVC file format and will therefore not be explained in detail.
In Fig. 5 ist mit den Pfeilen ZO bzw. Zl die Referenzierung der Metadatenstromabschnitte MO bzw. Ml durch den Metadatentrack TMT wiedergegeben. Ferner sind in Fig. 5 neben den Abschnitten SO und MO, welche bereits in Fig. 3 gezeigt sind, auch Abschnitte Sl und Ml gezeigt. Der Abschnitt Sl stellt wiederum ein Videobild zu einem Zeitpunkt dar, wobei der Ab- schnitt 5 NALus enthält. Im Gegensatz zu dem Abschnitt SO sind in Sl keine Aggregatoren vorgesehen. Somit werden erfindungsgemäß jeder NALu in Sl eindeutig genau ein Metadatenelement ME im Metadatenstromabschnitt Ml zugeordnet.In FIG. 5, the references Z0 and Z1, respectively, show the referencing of the metadata flow sections MO and M1, respectively, by the metadata track TMT. Furthermore, in addition to the sections SO and MO, which are already shown in FIG. 3, sections S1 and M1 are also shown in FIG. Section S1 again represents a video image at a time, with section 5 containing NALus. In contrast to the section SO, no aggregators are provided in Sl. Thus, according to the invention, each NALu in SI is uniquely associated with exactly one metadata element ME in the metadata stream section M1.
Fig. 6 zeigt ein Datenformat ähnlich zu Fig. 5, wobei jedoch zusätzlich die Metadaten in mehreren hierarchischen Ebenen des Mediendatenstroms abgespeichert sind. In Fig. 6 sind Metadaten, die den gesamten Metadatentrack TMT betreffen, als sog. "track meta data" TMD gespeichert. Für unterschiedliche Qualitätsstufen werden unterschiedliche Tiers oder Schichten gebildet, welche als sog. "tier meta data" TI in dem Metadatentrack TMT gespeichert sind, wobei für unterschiedliche Qualitätsstufen unterschiedliche Tiers vorgesehen sind. In Fig. 6 sind beispielhaft die Tiers TIl und TI2 dargestellt. Auf der Sample-Ebene, d.h. in Bezug auf ein einzelnes Videobild, sind in dem Metadatenstrom MTS entsprechende Metadatenelemente MS vorgesehen, welche das entsprechende Sample bzw. Videobild zu einem Zeitpunkt beschreiben. Für ein Videobild werden gemäß Fig. 6 somit die Metadatenstromabschnitte MO' bzw. Ml' im Metadatenstrom MTS gebildet, wobei diese Metadatenstromabschnitte jeweils ein Metadatenelement MS und den Metadatenstromabschnitt MO bzw. Ml enthalten. Auf der darun- ter liegenden Videopaketebene sind die im Vorangegangenen beschriebenen Metadatenelemente ME bzw. MA' bzw. ME' vorgesehen. Die Metadaten auf Sample-Ebene und auf Datenpaketebene werden somit mit zeitlicher und strukturierter Synchronisati- on zu den Mediendaten im Metadatenstrom MTS abgespeichert.FIG. 6 shows a data format similar to FIG. 5, but additionally the metadata is stored in several hierarchical levels of the media data stream. In Fig. 6, metadata concerning the entire metadata track TMT is stored as so-called "track meta data" TMD. For different quality levels, different animals or layers are formed, which are stored as so-called "animal meta data" TI in the metadata track TMT, wherein different animals are provided for different quality levels. FIG. 6 shows by way of example the animals TII and TI2. At the sample level, ie with respect to a single video image, corresponding metadata elements MS are provided in the metadata stream MTS, which describe the corresponding sample or video image at a time. For a video image, the metadata flow sections MO 'and Ml' are thus formed in the metadata stream MTS according to FIG. 6, these metadata flow sections each containing a metadata element MS and the metadata flow section MO or Ml. On the ter lying video packet level, the above-described metadata elements ME or MA 'or ME' are provided. The metadata at the sample level and at the data packet level are thus stored with temporal and structured synchronization to the media data in the metadata stream MTS.
Fig. 7 zeigt ein Dateiformat ähnlich zu Fig. 6, wobei eine Gruppierung der Metadaten in dem Metadatentrack TMT derart erfolgen kann, dass auf einzelne Metadatenelemente ME bzw. MA' im Metadatenstrom MTS über den Metadatentrack TMT zugegriffen werden kann. Die Zugriffsmechanismen im Metadatentrack TMT entsprechen hierbei den Zugriffsmechanismen im Videotrack VT. Damit können bei der Extraktion von Teilen des Medienstroms genau diejenigen Teile aus dem Metadatenstrom entnommen werden, welche die relevanten Mediendaten beschreiben. Diese Metadaten können z.B. zusammen mit den Mediendaten über ein Netzwerk (z. B. im „RTP payload format" oder in speziellen SEI-Messages) versendet werden, wobei in diesem Netzwerk oder in einem entsprechenden Endgerät eine weitere Adap- tion erfolgen kann.FIG. 7 shows a file format similar to FIG. 6, wherein a grouping of the metadata in the metadata track TMT can take place such that individual metadata elements ME or MA 'in the metadata stream MTS can be accessed via the metadata track TMT. The access mechanisms in the metadata track TMT correspond to the access mechanisms in the video track VT. Thus, in the extraction of parts of the media stream, it is possible to extract precisely those parts from the metadata stream which describe the relevant media data. These metadata may e.g. can be sent together with the media data via a network (eg in the "RTP payload format" or in special SEI messages), whereby further adaptation can take place in this network or in a corresponding terminal.
Die Extraktion von Metadaten aus dem Datenstrom kann zum Beispiel mit dem Extraktionsverfahren erfolgen, das in dem Dokument [3] beschrieben ist. Das Verfahren wird dabei derart verwendet, dass eine Datenlesevorrichtung neben den Mediendaten auf die entsprechenden Metadaten zugreift, um eine erhöhte Qualität bei der Extraktion von Teilen des Bitstromes zu erreichen. Es ist dabei unter Umständen nicht notwendig, auf alle Metadaten zuzugreifen, da durch die Beschreibung in den Tracks beispielsweise angegeben ist, welche Mediendaten zu einer gewissen örtlichen Skalierungsstufe gehören, für deren Verarbeitung bei der aktuell gewählten Qualität keine zusätzlichen Metadaten erforderlich sind.The extraction of metadata from the data stream can be done, for example, by the extraction method described in document [3]. The method is used in such a way that a data reading device accesses the corresponding metadata in addition to the media data in order to achieve an increased quality in the extraction of parts of the bit stream. It may not be necessary to access all metadata, as the description in the tracks indicates, for example, which media data belongs to a certain local scaling level, the processing of which does not require any additional metadata for the currently selected quality.
Da gemäß dem Verfahren der Erfindung die Metadaten die gleiche Struktur wie die Videodaten aufweisen, können für die Metadaten dieselben Mechanismen zum Ausdünnen des Datenstroms (sog. stream thinning) bzw. zur Datenextraktion verwendet werden wie für die Mediendaten. Dies wird insbesondere dann möglich, wenn im Metadatentrack TMT die gleichen Grouping- Mechanismen wie im Videotrack VT verwendet werden, wie in Fig. 7 gezeigt ist. Die dort gezeigte Gruppierung kann u. a. dazu verwendet werden, einen skalierbaren Metadatenstrom zu erzeugen, d.h. es ist möglich, die Metadaten so zu gruppieren, dass diese beispielsweise nach Relevanz skalierbar sind. Weiterhin ist z. B. eine zeitliche Skalierung der Metadaten möglich. Werden die Metadaten wie die Mediendaten gruppiert, können bei einer Adaption des Datenstroms leicht die verbleibenden relevanten Metadaten extrahiert werden. Insbesondere können für einen Metadatenstrom - ebenso wie für die Mediendaten - mehrere Gruppierungen in verschiedenen Tracks abge- speichert werden. Die Grouping-Mechanismen erlauben z. B. das Zusammenfassen von Teilen der Mediendaten zu den im Vorangegangenen beschriebenen Tiers. Diese Tiers können im SVC- Dateiformat abstrakt beschrieben und ausgewählt werden. Wie in dem Standardisierungsdokument [1] beschrieben, kann hier- bei die Zuordnung der Datenelemente zu den Gruppen mit "Sample to Groupbox" und mit dem "Scalable NALu Nap Entry" erfolgen, wobei jedem Datenelement eine Gruppen-Identität zugeordnet wird.Since, according to the method of the invention, the metadata has the same structure as the video data, the metadata can have the same mechanisms for thinning out the data stream (so-called stream thinning) or used for data extraction as for the media data. This becomes possible in particular if the same grouping mechanisms as in the video track VT are used in the metadata track TMT, as shown in FIG. 7. The grouping shown there can, inter alia, be used to generate a scalable metadata stream, ie it is possible to group the metadata in such a way that they are, for example, scalable by relevance. Furthermore, z. B. a temporal scaling of the metadata possible. If the metadata is grouped like the media data, the remaining relevant metadata can easily be extracted when adapting the data stream. In particular, for a metadata stream - as well as for the media data - several groupings can be stored in different tracks. The grouping mechanisms allow z. B. summarizing portions of the media data to the previously described animals. These animals can be abstractly described and selected in the SVC file format. As described in the standardization document [1], the assignment of the data elements to the groups can here take place with "Sample to Groupbox" and with the "Scalable NALu Nap Entry", whereby each data element is assigned a group identity.
Fig. 8 ist eine schematische Darstellung, in der ein Sender 1, ein Empfänger 2 sowie ein digitaler Informationsträger 3 gemäß einer Ausführungsform der Erfindung gezeigt sind. Mit dem Sender 1 ist ein erfindungsgemäßer digitaler Datenstrom erzeugbar. Hierzu umfasst der Sender 1 ein erstes Mittel 4 zur Generierung eines Mediendatenstroms, der eine Mehrzahl von zeitlich sortierten Medienstromabschnitten enthält, wobei jeder Mediendatenstromabschnitt ein oder mehrere Mediendaten- pakete enthält. Der Sender umfasst ferner ein zweites Mittel zum Zuordnen eines zeitlich mit dem Mediendatenstrom synchro- nisierten Metadatenstroms zum Mediendatenstrom, wobei der Metadatenstrom Metadatenstromabschnitte enthält und einem oder mehreren der Mediendatenstromabschnitte jeweils ein Metada- tenstromabschnitt zugeordnet ist. In dem Sender ist darüber hinaus ein drittes Mittel 6 vorgesehen, welches zum Anordnen von einem oder mehreren ersten Metadatenelementen in einem jeweiligen Metadatenstromabschnitt derart dient, dass jedem Mediendatenpaket des Mediendatenstromabschnitts, dem der jeweilige Metadatenstromabschnitt zugeordnet ist, ein erstes Metadatenelement des jeweiligen Metadatenstromabschnitts zugewiesen ist.Fig. 8 is a schematic diagram showing a transmitter 1, a receiver 2 and a digital information carrier 3 according to an embodiment of the invention. With the transmitter 1, an inventive digital data stream can be generated. For this purpose, the transmitter 1 comprises a first means 4 for generating a media data stream, which contains a plurality of temporally sorted media stream sections, wherein each media data stream section contains one or more media data packets. The transmitter further comprises a second means for allocating a metadata stream synchronized with the media data stream to the media data stream, wherein the metadata stream contains metadata flow sections and one or more of the media data flow sections each have a metadata flow. tenstromabschnitt is assigned. The transmitter further comprises third means 6 for arranging one or more first metadata items in a respective metadata stream portion such that each media data packet of the media data stream portion to which the respective metadata stream portion is assigned is assigned a first metadata item of the respective metadata stream portion.
Der in dem Sender 1 erzeugte Datenstrom kann über einen beliebigen Kommunikationsweg, der drahtlos oder drahtgebunden sein kann, an den Empfänger 2 gesendet werden, wie durch den Pfeil 10 angedeutet ist. Der Empfänger 2 kann dann den erfindungsgemäßen digitalen Datenstrom geeignet verarbeiten. Hier- zu weist der Empfänger 2 ein Lesemittel 7 auf, welches denThe data stream generated in the transmitter 1 may be sent to the receiver 2 via any communication path, which may be wireless or wired, as indicated by the arrow 10. The receiver 2 can then suitably process the digital data stream according to the invention. For this purpose, the receiver 2 has a reading means 7, which the
Datenstrom derart ausliest, dass die Zuordnung der Medienda- tenpakete zu den ersten Metadatenelementen und/oder der Ag- gregatoren zu den zweiten Metadatenelementen und/oder der Extraktoren zu den dritten Metadatenelementen durch Nummerie- rung der ausgelesenen Mediendatenpakte und/oder Aggregatoren und/oder Extraktoren und gleichzeitiger Nummerierung der ausgelesenen ersten und/oder zweiten und/oder dritten Metadatenelemente ermittelt wird.Data stream read out such that the assignment of the media data packets to the first metadata elements and / or the aggregatoren to the second metadata elements and / or the extractors to the third metadata elements by numbering the read media data packets and / or aggregators and / or extractors and simultaneous numbering of the read first and / or second and / or third metadata elements is determined.
Zur Erzeugung des erfindungsgemäßen Datenstroms wechselwirkt der Sender 1 vorzugsweise mit einem digitalen Informationsträger 3, wie durch den Doppelpfeil 11 in Fig. 8 angedeutet ist. Auf dem digitalen Informationsträger 3 sind ein erster Datenspeicherbereich 8 und ein zweiter Datenspeicherbereich <: vorgesehen. Mit den Informationen im ersten Datenspeicherbereich 8 kann ein Mediendatenstrom erzeugt werden, der eine Mehrzahl von zeitlich sortierten Mediendatenstromabschnitten enthält, wobei jeder Mediendatenstromabschnitt ein oder mehrere Mediendatenpakete enthält. Mit den Informationen in dem zweiten Datenspeicherbereich 9 kann ein zeitlich mit dem Mediendatenstrom synchronisierter Metadatenstrom erzeugt werden, wobei der Metadatenstrom Metadatenstromabschnitte ent- hält und einem oder mehreren der Mediendatenstromabschnitte jeweils ein Metadatenstromabschnitt zugeordnet ist. In dem digitalen Informationsträger sind in einem jeweiligen Metadatenstromabschnitt ein oder mehrere erste Metadatenelemente derart angeordnet, dass jedem Mediendatenpaket des Medienda- tenstromabschnitts, dem der jeweilige Metadatenstromabschnitt zugeordnet ist, ein erstes Metadatenelement des jeweiligen Metadatenstromabschnitts zugewiesen ist. To generate the data stream according to the invention, the transmitter 1 preferably interacts with a digital information carrier 3, as indicated by the double arrow 11 in FIG. 8. On the digital information carrier 3, a first data storage area 8 and a second data storage area < : are provided. The information in the first data storage area 8 can be used to generate a media data stream containing a plurality of time-sorted media data stream portions, each media data stream portion containing one or more media data packets. The information in the second data storage area 9 can be used to generate a metadata stream which is synchronized in time with the media data stream, wherein the metadata stream contains metadata flow segments. holds and one or more of the media data stream sections each associated with a metadata stream section. One or more first metadata elements are arranged in the digital information carrier in a respective metadata stream section such that each media data packet of the media data stream section to which the respective metadata stream section is assigned is assigned a first metadata element of the respective metadata stream section.
Literaturverzeichnis :Bibliography :
;i] ISO/IEC JTC1/SC29/WG11 N7! )6 - WD 3.0 of ISO/IEC 14496- 15/PDAM2 (SVC File Format; Bangkok, Thailand, Januar 2006; i] ISO / IEC JTC1 / SC29 / WG11 N7! ) 6 - WD 3.0 of ISO / IEC 14496-15 / PDAM2 (SVC File Format, Bangkok, Thailand, January 2006
;2] ISO/IEC JTC1/SC29/WG11 N7555 - Working Draft 4 of ISO/IEC 14496-10 :2005/AMD3 Scalable Video Coding, Nice, France, October 2005; 2] ISO / IEC JTC1 / SC29 / WG11 N7555 - Working Draft 4 of ISO / IEC 14496-10: 2005 / AMD3 Scalable Video Coding, Nice, France, October 2005
;3] I. Amonou, N. Cammas, S. Kervadec, S. Pateux, ΛOn the high level syntax for SVC, ISO/IEC JTC 1/SC 29/WG 11 and ITU-T Q6/SG16, Document JVT-P032, Poznan, Poland, JuIy 2005; 3] I. Amonou, N. Cammas, S. Kervadec, S. Pateux, Λ On the high level syntax for SVC, ISO / IEC JTC 1 / SC 29 / WG 11 and ITU-T Q6 / SG16, Document JVT P032, Poznan, Poland, June 2005
A] ISO/IEC JTC1/SC29/WG11 N7475 - ISO/IEC 14496-12 - ISO ba- se media file format Amd2, Poznan, Poland, JuIy 2005 A] ISO / IEC JTC1 / SC29 / WG11 N7475 - ISO / IEC 14496-12 - ISO base media file format Amd2, Poznan, Poland, June 2005
BezugszeichenlisteLIST OF REFERENCE NUMBERS
VT VideotrackVT video track
MT Metadatencontainer MD MediendatencontainerMT metadata container MD media data container
MDS MediendatenstromMDS media data stream
SO, ..., S7 MediendatenstromabschnitteSO, ..., S7 Media Stream sections
A AggregatorA aggregator
MO, ..., M7 Metadatenstromabschnitte MTS MetadatenstromMO, ..., M7 Metadata Stream Sections MTS metadata stream
TMT zeitliche MetadatenspurTMT temporal metadata track
ME erstes MetadatenelementME first metadata element
MA' zweites MetadatenelementMA 'second metadata element
MEA Metadatenelement für Aggregator P, P' ZuweisungenMEA metadata element for aggregator P, P 'assignments
NALu VideodatenpaketNALu video data package
E ExtraktorE extractor
MDS' MediendatenstromMDS 'media data stream
MTS' Metadatenstrom MEl', ME2' drittes MetadatenelementMTS 'metadata stream MEl', ME2 'third metadata element
MS Metadatenelement für einen MetadatenabschnittMS metadata element for a metadata section
TMD track meta dataTMD track meta data
TI tier meta dataTI animal meta data
TIl, TI2 Tiers 1 SenderTIl, TI2 Tiers 1 station
2 Empfänger2 receivers
3 digitaler Informationsträger3 digital information carrier
4 erstes Mittel des Senders4 first means of the transmitter
5 zweites Mittel des Senders 6 drittes Mittel des Senders5 second transmitter means 6 third transmitter means
7 Lesemittel des Empfängers7 reading means of the receiver
8 erster Speicherbereich des digitalen Informationsträgers8 first storage area of the digital information carrier
9 zweiter Speicherbereich des digitalen Informati- onsträgers9 second memory area of the digital information carrier
10 Pfeil10 arrow
11 Doppelpfeil 11 double arrow

Claims

Patentansprüche claims
1. Verfahren zur Erzeugung eines digitalen Datenstroms, bei dem: - ein Mediendatenstrom (MDS) generiert wird, der eine Mehrzahl von zeitlich sortierten Mediendatenstromabschnitten (SO, ..., S7) enthält, wobei jeder Mediendatenstromab- schnitt ein oder mehrere Mediendatenpakete (NALu) enthält; - dem Mediendatenstrom (MDS) ein zeitlich mit dem Mediendatenstrom (MDS) synchronisierter Metadatenstrom (MTS) zugeordnet wird, wobei der Metadatenstrom (MTS) Metadaten- stromabschnitte (MO, ..., M7) enthält und einem oder mehreren der Mediendatenstromabschnitte (SO, ..., S7) jeweils ein Metadatenstromabschnitt (MO, ..., M7) zugeordnet ist; dadurch gekennzeichnet, dass in einem jeweiligen Metadatenstromabschnitt (MO, ..., M7) ein oder mehrere erste Metadatenelemente (ME) derart angeordnet werden, dass jedem Mediendatenpaket (NALu) des Mediendaten- Stromabschnitts (SO, ..., S7), dem der jeweilige Metadatenstromabschnitt (MO, ..., M7) zugeordnet ist, ein erstes Metadatenelement (ME) des jeweiligen Metadatenstromabschnitts (MO, ..., M7) zugewiesen ist.A method for generating a digital data stream, comprising: generating a media data stream (MDS) containing a plurality of time-sorted media data stream sections (SO, ..., S7), each media data stream section containing one or more media data packets (NALu ) contains; the media data stream (MDS) is assigned a metadata stream (MTS) synchronized in time with the media data stream (MDS), the metadata stream (MTS) containing metadata stream sections (MO,..., M7) and one or more of the media data stream segments (SO, ..., S7) in each case a metadata flow section (MO, ..., M7) is assigned; characterized in that in a respective metadata flow section (MO, ..., M7) one or more first metadata elements (ME) are arranged such that each media data packet (NALu) of the media data stream section (SO, ..., S7), the the respective metadata flow section (MO, ..., M7) is assigned, a first metadata element (ME) of the respective metadata flow section (MO, ..., M7) is assigned.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in einem oder mehreren der Mediendatenstromabschnitte (SO, ..., S7) jeweils mehrere Mediendatenpakete (NALu) zu einem oder mehreren Aggregatoren (A) zusammengefasst werden und in dem Metadatenstromabschnitt (MO, ..., M7), der dem jeweiligen Me- diendatenstromabschnitt (SO, ..., S7) zugeordnet ist, ein oder mehrere zweite Metadatenelemente (MA' ) derart angeordnet werden, dass jedem Aggregator (A) ein zweites Metadatenelement (MA') zugewiesen ist.2. The method according to claim 1, characterized in that in one or more of the media data stream sections (SO, ..., S7) in each case a plurality of media data packets (NALu) to one or more aggregators (A) are combined and in the metadata flow section (MO,. .., M7) associated with the respective media data stream section (SO, ..., S7), one or more second metadata elements (MA ') are arranged such that each aggregator (A) has a second metadata element (MA') is assigned.
3 . Verfahren nach Anspruch 2 , d a d u r c h g e k e n n z e i c h n e t , d a s s das zweite Metadatenelement (MA' ) ein Metadatenelement (MEA) zur Beschreibung des jeweiligen Aggregators (A) und diejenigen Metadaten enthält, die in dem oder den ersten Metadatenelementen (ME) enthalten sind, welche dem oder den Medienda- tenpaketen (NALu) zugewiesen sind, die in den jeweiligen Ag- gregator zusammengefasst sind.3. A method according to claim 2, characterized in that the second metadata element (MA ') contains a metadata element (MEA) for describing the respective aggregator (A) and the metadata contained in the one or more metadata elements (ME) assigned to the one or more media data packets (NALu) , which are grouped together in the respective aggregator.
4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass durch die Aggregatoren (A) Mediendatenpakete (NALu) zusammen- gefasst werden, welche im Wesentlichen die gleiche Datenqualität aufweisen.4. The method according to claim 2 or 3, characterized in that by the aggregators (A) media data packets (NALu) are summarized, which have substantially the same data quality.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Datenstrom mehrere Mediendatenströme (MDS) und entsprechend zugeordnete Metadatenströme (MTS) umfasst.5. The method according to any one of the preceding claims, characterized in that the data stream comprises a plurality of media data streams (MDS) and correspondingly assigned metadata streams (MTS).
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass wenigstens einer der Mediendatenströme (MDS) einen oder mehrere Extraktoren (E) enthält, die jeweils ein oder mehrere Mediendatenpakete (NALu) eines anderen Mediendatenstroms (MDS) referenzieren, wobei jedem Extraktor (E) ein drittes Metadatenelement (ME') in dem Metadatenstrom (MTS) zugewiesen wird, der dem wenigstens einen Mediendatenstrom (MDS) zugeordnet ist.6. The method according to claim 5, characterized in that at least one of the media data streams (MDS) contains one or more extractors (E) each referencing one or more media data packets (NALu) of another media data stream (MDS), each extractor (E) a third metadata element (ME ') is assigned in the metadata stream (MTS) associated with the at least one media data stream (MDS).
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das dritte Metadatenelement (ME' ) ein Metadatenelement (MEE) zur Beschreibung des Extraktors (E) und diejenigen Metadaten enthält, die in dem oder den ersten und/oder zweiten Metadatenelementen (ME, MA' ) enthalten sind, welche dem oder den Mediendatenpaketen (NALu) zugewiesen sind, die durch den Extraktor (E) referenziert werden. 7. The method according to claim 6, characterized in that the third metadata element (ME ') contains a metadata element (MEE) for describing the extractor (E) and those metadata contained in the one or more first and / or second metadata elements (ME, MA ') associated with the one or more media data packets (NALu) referenced by the extractor (E).
8 . Verfahren nach einem der vorhergehenden Ansprüche , d a d u r c h g e k e n n z e i c h n e t , d a s s in einem oder mehreren der ersten Metadatenelemente (ME) jeweils spezifiziert wird, ob und/oder wie viele nachfolgende erste und/oder zweite und/oder dritte Metadatenelemente (ME, MA', ME') den gleichen Inhalt haben.8th . Method according to one of the preceding claims, characterized in that in each case one or more of the first metadata elements (ME) is specified as to whether and / or how many subsequent first and / or second and / or third metadata elements (ME, MA ', ME') have the same content.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in dem Datenstrom die Mediendatenstromabschnitte (SO, ..., S7) und/oder die Metadatenstromabschnitte (MO, ..., M7) referen- ziert werden.9. The method according to any one of the preceding claims, characterized in that in the data stream, the media data stream sections (SO, ..., S7) and / or the metadata stream sections (MO, ..., M7) are referenced.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in dem Datenstrom die Beschreibung von einer oder mehreren Qualitätsstufen sowie die Anweisungen zum Zugriff auf die Me- diendatenpakete (NALu) der entsprechenden Qualitätsstufe enthalten ist.10. The method according to any one of the preceding claims, characterized in that in the data stream, the description of one or more quality levels and the instructions for accessing the media di- (NALu) packets of the corresponding quality level is included.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in dem Datenstrom auf die in einem Metadatenstromabschnitt (MO, ..., M7) enthaltenen ersten und/oder zweiten und/oder dritten Metadatenelemente (ME, MA' , ME' ) zugegriffen wird.11. The method according to any one of the preceding claims, characterized in that in the data stream to the first and / or second and / or third metadata elements contained in a metadata flow section (MO, ..., M7) (ME, MA ', ME') is accessed.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Mediendatenstrom (MDS) ein Videodatenstrom ist, wobei je- der Mediendatenstromabschnitt (SO, ..., S7) ein Videobild zu einem vorgegeben Zeitpunkt repräsentiert und die Mediendaten- pakete (NALu) Videodatenpakete sind.12. The method according to any one of the preceding claims, characterized in that the media data stream (MDS) is a video data stream, wherein each media data stream section (SO, ..., S7) represents a video image at a predetermined time and the media data packets (NALu ) Are video data packets.
13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass der Videodatenstrom ein MPEG4-SVC-Videodatenstrom ist. The method of claim 12, characterized in that the video data stream is an MPEG4 SVC video data stream.
14 . Verfahren nach einem der vorhergehenden Ansprüche , d a d u r c h g e k e n n z e i c h n e t , d a s s zumindest ein Teil der ersten und/oder zweiten und/oder dritten Metadatenelemente (ME, MA' , ME' ) Parameter bezüglich ei- ner Ratensteuerung des Datenstroms, insbesondere Parameter einer R/D-optimalen Extraktion von Mediendaten, und/oder Parameter zur Adaption der Qualität des Datenstroms enthält.14. Method according to one of the preceding claims, characterized in that at least a part of the first and / or second and / or third metadata elements (ME, MA ', ME') parameters with respect to a rate control of the data stream, in particular parameters of a R / D-optimal Extraction of media data, and / or parameters for adapting the quality of the data stream contains.
15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in zumindest einem Teil der Metadatenstromabschnitte (MO, ..., M7) jeweils ein viertes Metadatenelemente (MS) existiert, welches den Mediendatenstromabschnitt (SO, ..., S7) beschreibt, dem der jeweilige Metadatenstromabschnitt (MO, ..., M7) zuge- ordnet ist.15. The method according to any one of the preceding claims, characterized in that in each case a fourth metadata elements (MS) exists in at least part of the metadata flow sections (MO, ..., M7), which describes the media data stream section (SO, ..., S7) to which the respective metadata flow section (MO, ..., M7) is assigned.
16. Verfahren zum Verarbeiten eines mit einem Verfahren nach einem der vorhergehenden Ansprüche erzeugten digitalen Datenstroms, dadurch gekennzeichnet, dass der Datenstrom derart ausgelesen wird, dass die Zuordnung der Mediendatenpakete (NALu) zu den ersten Metadatenelementen (ME) und/oder der Aggregatoren (A) zu den zweiten Metadatenelementen (MA' ) und/oder der Extraktoren (E) zu den dritten Metadatenelementen (ME' ) durch Nummerierung der ausgelesenen Mediendatenpakete (NALu) und/oder Aggregatoren (A) und/oder Extraktoren (E) und gleichzeitiger Nummerierung der ausgelesenen ersten und/oder zweiten und/oder dritten Metadatenelemente (MA' , ME' ) ermittelt wird.16. A method for processing a digital data stream generated by a method according to one of the preceding claims, characterized in that the data stream is read out such that the assignment of the media data packets (NALu) to the first metadata elements (ME) and / or the aggregators (A ) to the second metadata elements (MA ') and / or the extractors (E) to the third metadata elements (ME') by numbering the read media data packets (NALu) and / or aggregators (A) and / or extractors (E) and simultaneous numbering the read first and / or second and / or third metadata elements (MA ', ME') is determined.
17. Sender zum Aussenden eines Datenstroms nach einem der Ansprüche 1 bis 15, gekennzeichnet durch ein erstes Mittel (4) zur Generierung eines Mediendaten- Stroms (MDS), der eine Mehrzahl von zeitlich sortierten Mediendatenstromabschnitten (SO, ..., S7) enthält, wobei jeder Mediendatenstromabschnitt ein oder mehrere Medien- datenpakete (NALu) enthält; ein zweites Mittel (5) zum Zuordnen eines zeitlich mit dem Mediendatenstrom (MDS) synchronisierten Metadaten- Stroms (MTS) zum Mediendatenstrom (MDS) , wobei der Metadatenstrom (MTS) Metadatenstromabschnitte (MO, ..., M7) enthält und einem oder mehreren der Mediendatenstromab- schnitte (SO, ..., S7) jeweils ein Metadatenstromabschnitt (MO, ..., M7) zugeordnet ist; - ein drittes Mittel (6) zum Anordnen eines oder mehrerer erster Metadatenelemente (ME) derart in einem jeweiligen Metadatenstromabschnitt (MO, ..., M7), dass jedem Medienda- tenpaket (NALu) des Mediendatenstromabschnitts (SO, ..., S7), dem der jeweilige Metadatenstromabschnitt (MO, ..., M7 ) zugeordnet ist, ein erstes Metadatenelement (ME) des jeweiligen Metadatenstromabschnitts (MO, ..., M7) zugewiesen ist.17. Transmitter for transmitting a data stream according to one of claims 1 to 15, characterized by a first means (4) for generating a media data stream (MDS), which contains a plurality of time-sorted media data stream sections (SO, ..., S7) , in which each media stream section contains one or more media data packets (NALu); second means (5) for allocating a media data stream (MTS) synchronized with the media data stream (MDS) to the media data stream (MDS), said metadata stream (MTS) including metadata stream portions (MO, ..., M7) and one or more the media data stream sections (SO,..., S7) are each assigned a metadata flow section (MO,..., M7); - Third means (6) for arranging one or more first metadata elements (ME) in such a metadata stream section (MO, ..., M7) that each media data packet (NALu) of the media data stream section (SO, ..., S7 ) to which the respective metadata flow section (MO, ..., M7) is assigned, a first metadata element (ME) of the respective metadata flow section (MO, ..., M7) is assigned.
18. Sender nach Anspruch 17, dadurch gekennzeichnet, dass der Sender (1) ein Mittel zum Verarbeiten des Datenstroms nach Anspruch 16 aufweist und den verarbeiteten Datenstrom aussenden kann.18. A transmitter according to claim 17, characterized in that the transmitter (1) comprises means for processing the data stream according to claim 16 and can send the processed data stream.
19. Sender nach Anspruch 18, dadurch gekennzeichnet, dass der Sender (1) mit dem Mittel zum Verarbeiten des Datenstroms Teile aus dem Datenstrom gemäß vorgegebener Kriterien, insbesondere gemäß Kriterien bezüglich der Datenrate und/oder der Datenqualität, auslesen kann und die ausgelesenen Teile aussenden kann.19. A transmitter according to claim 18, characterized in that the transmitter (1) with the means for processing the data stream parts from the data stream according to predetermined criteria, in particular according to criteria in terms of data rate and / or data quality, read out and send out the read parts can.
20. Empfänger zum Empfang eines nach einem der Ansprüche 1 bis 15 erzeugten Datenstroms, gekennzeichnet durch ein Lesemittel (7) zum Auslesen des Datenstroms derart, dass die Zuordnung der Mediendatenpakete (NALu) zu den ersten Me- tadatenelementen (ME) und/oder der Aggregatoren (A) zu den zweiten Metadatenelementen (MA' ) und/oder der Extraktoren (E) zu den dritten Metadatenelementen (ME' ) durch Nummerierung der ausgelesenen Mediendatenpakete (NALu) und/oder Aggregato- ren (A) und/oder Extraktoren (E) und gleichzeitiger Nummerierung der ausgelesenen ersten und/oder zweiten und/oder dritten Metadatenelemente (MA' , ME' ) ermittelt wird.20. A receiver for receiving a data stream generated according to any one of claims 1 to 15, characterized by a reading means (7) for reading the data stream such that the assignment of the media data packets (NALu) to the first Me- tadatenelementen (ME) and / or the aggregators (A) to the second metadata elements (MA ') and / or the extractors (E) to the third metadata elements (ME') by numbering the read media data packets (NALu) and / or aggregators (A) and / or extractors (E) and simultaneous numbering of the read first and / or second and / or third metadata elements (MA ', ME') is determined.
21. Empfänger nach Anspruch 20, dadurch gekennzeichnet, dass der Empfänger (2) derart ausgestaltet ist, dass er Teile aus dem Datenstrom gemäß vorgegebener Kriterien, insbesondere Kriterien bezüglich der Datenrate und/oder der Datenqualität, auslesen kann.21. A receiver according to claim 20, characterized in that the receiver (2) is designed such that it can read parts from the data stream according to predetermined criteria, in particular criteria relating to the data rate and / or the data quality.
22. Digitaler Informationsträger, dadurch gekennzeichnet, dass der Informationsträger (3) digitale Informationen umfasst, mit denen ein Datenstrom gemäß einem Verfahren nach einem der Ansprüche 1 bis 13 erzeugbar ist.22. Digital information carrier, characterized in that the information carrier (3) comprises digital information with which a data stream according to a method according to one of claims 1 to 13 can be generated.
23. Digitaler Informationsträger nach Anspruch 22, dadurch gekennzeichnet, dass der Informationsträger (3) umfasst: - einen ersten Datenspeicherbereich (8) zur Erzeugung eines Mediendatenstroms (MDS) , der eine Mehrzahl von zeitlich sortierten Mediendatenstromabschnitten (SO, ..., S7) enthält, wobei jeder Mediendatenstromabschnitt (SO, ..., S7) ein oder mehrere Mediendatenpakete (NALu) enthält; - einen zweiten Datenspeicherbereich (9) zur Erzeugung eines zeitlich mit dem Mediendatenstrom (MDS) synchronisierten Metadatenstroms (MTS) , wobei der Metadatenstrom (MTS) Metadatenstromabschnitte (MO, ..., M7) enthält und einem oder mehreren der Mediendatenstromabschnitte (SO, ..., S7) jeweils ein Metadatenstromabschnitt (MO, ..., M7) zugeordnet ist; wobei in einem jeweiligen Metadatenstromabschnitt (MO, ..., M7) ein oder mehrere erste Metadatenelemente (ME) derart angeordnet sind, dass jedem Mediendatenpaket (NALu) des Mediendaten- stromabschnitts (SO, ..., S7), dem der jeweilige Metadaten- stromabschnitt (MO, ..., M7) zugeordnet ist, ein erstes Metadatenelement (ME) des jeweiligen Metadatenstromabschnitts (MO, ..., M7) zugewiesen ist.23. Digital information carrier according to claim 22, characterized in that the information carrier (3) comprises: - a first data storage area (8) for generating a media data stream (MDS), the plurality of time-sorted media data stream sections (SO, ..., S7) each media data stream section (SO, ..., S7) contains one or more media data packets (NALu); - A second data storage area (9) for generating a temporally synchronized with the media data stream (MDS) metadata stream (MTS), wherein the metadata stream (MTS) Metadatenstromabschnitte (MO, ..., M7) and one or more of the media data stream sections (SO,. .., S7) in each case a metadata flow section (MO, ..., M7) is assigned; wherein in a respective metadata flow section (MO, ..., M7) one or more first metadata elements (ME) are arranged such that each media data packet (NALu) of the media data stream section (SO, ..., S7) to which the respective metadata assigned to the current section (MO,..., M7), a first metadata element (ME) of the respective metadata stream section (MO,..., M7) is assigned.
24. Digitaler Informationsträger nach Anspruch 22 oder 23, dadurch gekennzeichnet, dass der Informationsträger (3) einen Track zur Referenzierung von Mediendatenstromabschnitten (SO, ..., S7) und/oder einen Track zur Referenzierung von Metadatenstromabschnitten (MO, ..., M7) umfasst .24. Digital information carrier according to claim 22 or 23, characterized in that the information carrier (3) has a track for referencing media data flow sections (SO,..., S7) and / or a track for referencing metadata flow sections (MO,. M7).
25. Digitaler Informationsträger nach Anspruch 24, dadurch gekennzeichnet, dass der Track zur Referenzierung von Metadatenstromabschnitten (MO, ..., M7 ) die Beschreibungen von Gruppierungen von ersten und/oder zweiten und/oder dritten Metadatenelementen (ME, MA', ME') umfasst. 25. Digital information carrier according to claim 24, characterized in that the track for referencing metadata flow sections (MO, ..., M7) the descriptions of groupings of first and / or second and / or third metadata elements (ME, MA ', ME' ).
PCT/EP2007/051571 2006-03-27 2007-02-19 Method for generating a digital data stream WO2007110283A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP07704647A EP2002654A1 (en) 2006-03-27 2007-02-19 Method for generating a digital data stream

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102006014036.2 2006-03-27
DE102006014036 2006-03-27
DE102006045140A DE102006045140A1 (en) 2006-03-27 2006-09-25 Method for generating a digital data stream
DE102006045140.6 2006-09-25

Publications (1)

Publication Number Publication Date
WO2007110283A1 true WO2007110283A1 (en) 2007-10-04

Family

ID=38055167

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2007/051571 WO2007110283A1 (en) 2006-03-27 2007-02-19 Method for generating a digital data stream

Country Status (4)

Country Link
EP (1) EP2002654A1 (en)
KR (1) KR20090009832A (en)
DE (1) DE102006045140A1 (en)
WO (1) WO2007110283A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2150060A1 (en) * 2008-07-28 2010-02-03 Alcatel, Lucent Method and arrangement for video encoding
WO2010060442A1 (en) * 2008-11-26 2010-06-03 Telefonaktiebolaget Lm Ericsson (Publ) Technique for handling media content to be accessible via multiple media tracks

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040006575A1 (en) * 2002-04-29 2004-01-08 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US20050110662A1 (en) * 2003-11-26 2005-05-26 Debargha Mukherjee Method and apparatus for updating sequences in a bitstream

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040006575A1 (en) * 2002-04-29 2004-01-08 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US20050110662A1 (en) * 2003-11-26 2005-05-26 Debargha Mukherjee Method and apparatus for updating sequences in a bitstream

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SINGER D ET AL: "WD 3.0 of ISO/IEC 14496-15/PDAM2 (SVC File Format)", ISO/IEC JTC1/SC29/WG11 MPEG06/N7906, 16 January 2006 (2006-01-16) - 20 January 2006 (2006-01-20), Bangkok meeting, pages 1 - 32, XP002436531 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2150060A1 (en) * 2008-07-28 2010-02-03 Alcatel, Lucent Method and arrangement for video encoding
WO2010012501A1 (en) * 2008-07-28 2010-02-04 Alcatel Lucent Method and arrangement for video encoding
WO2010060442A1 (en) * 2008-11-26 2010-06-03 Telefonaktiebolaget Lm Ericsson (Publ) Technique for handling media content to be accessible via multiple media tracks
US8798264B2 (en) 2008-11-26 2014-08-05 Telefonaktiebolaget Lm Ericsson (Publ) Technique for handling media content to be accessible via multiple media tracks

Also Published As

Publication number Publication date
KR20090009832A (en) 2009-01-23
DE102006045140A1 (en) 2007-10-18
EP2002654A1 (en) 2008-12-17

Similar Documents

Publication Publication Date Title
DE3639026C2 (en) High resolution image transmission process
DE69823168T2 (en) METHOD AND APPARATUS FOR CODING AND FORMATTING DATA OF A VIDEO PROGRAM FOR GENERATING MULTIPLE OVERLAPPING VIDEO PROGRAMS
DE60009159T2 (en) VIDEO COMPRESSION FOR MULTIPLE TRANSMITTER DISTRIBUTIONS USING SPATIAL SCALABILITY AND SAME-WAVE RADIO CODING
DE69935342T2 (en) Secure information distribution system using segment encryption
DE60109423T2 (en) VIDEO CODING WITH PREDICTIVE BITEBENDER CODING AND PROGRESSIVE FINE GRANULARITY SCALING (PFGS)
DE10392598T5 (en) Support for advanced encoding formats in media files
DE69835211T2 (en) SWITCHING BETWEEN COMPRESSED VIDEO BITSTRAMS
DE102005001287A1 (en) Method and device for processing scalable data
DE10392586T5 (en) General adjustment layer for JVT video
DE102005032952A1 (en) Statistical multiplexer with protective characteristics in front of external messages generated by redundant system elements
DE10392282T5 (en) Method and apparatus for supporting AVC in MP4
WO2011144615A2 (en) Transport stream provider, dab signal provider, transport stream analyzer, dab receiver, method, computer program and transport stream signal
EP1371229A1 (en) Method for compressing and decompressing video data
DE60211790T2 (en) Video coding with constant quality
EP1967007A2 (en) Method and device for generating a marked data flow, method and device for inserting a watermark into a marked data flow, and marked data flow
DE112010004844T5 (en) Video encoding using pixel data streams
WO2007110283A1 (en) Method for generating a digital data stream
EP1247402A1 (en) Method for modifying the information content of a transport stream of digital video data in selected regions
DE69934206T2 (en) TRANSMISSION SYSTEM FOR MULTIPLEX SIGNALS
EP1554884A1 (en) Circuit arrangement and method for digital television reception in mobile television receivers
DE102020106101B4 (en) Method for the automated adaptation and/or generation of an encoder and/or for the creation of a media stream, computing unit and computer program product
EP1334621B1 (en) Method and device for recording coded digital audiovisual data
EP1905038A1 (en) Method for storing individual data elements of a scalable data flow in a file and corresponding device
DE4428606B4 (en) Method and arrangement for radio transmission of coded signals
WO2004059981A1 (en) Method for the reduction of data

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780010925.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07704647

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2007704647

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 1020087026259

Country of ref document: KR