WO1999016196A1 - Device and method for generating encoded stream, system and method for transmitting data, and system and method for edition - Google Patents

Device and method for generating encoded stream, system and method for transmitting data, and system and method for edition Download PDF

Info

Publication number
WO1999016196A1
WO1999016196A1 PCT/JP1998/004292 JP9804292W WO9916196A1 WO 1999016196 A1 WO1999016196 A1 WO 1999016196A1 JP 9804292 W JP9804292 W JP 9804292W WO 9916196 A1 WO9916196 A1 WO 9916196A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
stream
time code
layer
picture
Prior art date
Application number
PCT/JP1998/004292
Other languages
English (en)
French (fr)
Inventor
Kazuyasu Imahashi
Toshihiko Kitazawa
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to JP51882199A priority Critical patent/JP4150083B2/ja
Priority to KR1019997004625A priority patent/KR100750520B1/ko
Publication of WO1999016196A1 publication Critical patent/WO1999016196A1/ja
Priority to US09/317,329 priority patent/US6438317B1/en
Priority to US09/734,214 priority patent/US6453112B2/en
Priority to US09/924,915 priority patent/US6594439B2/en
Priority to US10/463,099 priority patent/US7209636B2/en
Priority to US11/606,505 priority patent/US8891937B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234354—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering signal-to-noise ratio parameters, e.g. requantization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/90—Tape-like record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/032—Electronic editing of digitised analogue information signals, e.g. audio or video signals on tapes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs

Definitions

  • the present invention relates to an encoding stream generation apparatus and method, a data transmission system and method, and an editing system and method.
  • the present invention provides an encoded stream generating apparatus and method for generating an encoded stream to which a time code is added for each picture when encoding material data such as video data and audio data.
  • a digital data transmission system a plurality of types of streams are time-division multiplexed (multiplexed) so as to be compatible with the transmission medium of the stream (storage media or transmission path).
  • multiplexed time-division multiplexed
  • the receiver receives the transport stream transmitted from the transmitter, and streams each type of video and audio.
  • the data is demultiplexed (demultiplexed) and decoded separately.
  • time code is time information defined in SMPTE, and is "Time And Control Data”. Specifically, this time code is composed of frame (FRAMES), second (SECONDS), minute (MIMUTES) and hour (HOURS) data.
  • time information includes STC (System Time Clock; reference time information), PTS (Presentation Time Stamp; playback output time management information), and DTS (Decoding Time Stamp; decoding time management information). ), SCR (System Clock Reference), and PCR (Program Clock Reference). That is, the processing timing of the encoded stream encoded based on the MPEG standard is managed by time information completely different from the above-described time code.
  • a stream encoded according to the MPEG standard is composed of a sequence layer, a GOP (Group Of Picture) layer, a picture layer, a slice layer, a macroblock layer, and a block layer.
  • the MPEG standard defines a function called group_of_picture_header () for describing the header data of the G0P layer.
  • the group_of_picture header () function defines the header data of the GOP layer. It has 32 bits of group-start-code, 25-hit time code, 1-cut closed gop, and 1-hit of broken-link.
  • This group start code is a group of pictures This is data indicating the start of the header, and is a time code indicating the time from the beginning of the sequence of the first picture of the GOP.
  • closed—gop is flag data indicating that the image in the GOP can be played independently from other GOPs.
  • the broken_link is flag data indicating that the first B picture in the GOP cannot be accurately reproduced due to editing or the like.
  • the time-code described as the header data of the G0P layer is used for the sequence of the transmitted program. This is data indicating the time code from the beginning, and the original time code added to the original material is not used. For example, even if the original time code "01: 30: 00: 00" supplied from the external device is added to the first frame of the original material, the first frame of the original material is encoded. Then, the time code described as the header data of the GOP layer of the encoding stream is “00: 00: 00: 00”.
  • the time-code described as the header data of the GOP layer of the encoded stream is sequential. Time code. That is, the original time code assigned to the original material does not always match the time code described as the header data of the GOP layer of the encoded stream.
  • the time code described by the group-of-picture-header () function of the MPEG standard is data described as G0P layer header data. Can be described only for each G 0 P.
  • the MPEG standard it is possible to transmit a time code for each GOP by describing a time code in the G0P layer of the encoded stream. Power ⁇ Time for each frame (each picture) Since it is not defined to describe a code, a time code cannot be transmitted for each picture.
  • the original material is encoded based on the MPEG standard, and the encoded stream is transmitted to the receiving apparatus as an encoded stream.
  • the original element The original time code assigned to each frame of the material cannot be transmitted to the receiving device.
  • the original material can be edited using the original time code assigned to the original material, or the original material and the original time code can be matched and recorded on the same storage medium. It has never been possible to create a recording medium. Disclosure of the invention
  • the present invention has been made in view of such a problem, and an object of the present invention is to generate an encoded stream in which a time code attached to original material data is described so as to correspond to each picture (each frame).
  • An object of the present invention is to provide a stream generation apparatus and method, and a data transmission system and method for transmitting an encoded stream in which a time code is described so as to correspond to each picture (each frame).
  • Another object of the present invention is to provide an editing system that enables an editing process using a transmitted time code on a receiving side by transmitting a time code accompanying the original material data together with an encoded stream. And methods.
  • An encoding stream generating apparatus is an encoding stream generating apparatus for generating an encoding stream obtained by encoding material data, wherein a time code attached to the material data is encoded by a code And a coded stream generating means for generating an coded stream by recording in an area in which arbitrary data can be recorded and which can exist in each unit of decoding and reproduction in the data structure of the coded stream .
  • An encoded stream generating method is a coding stream generating method for generating an encoded stream obtained by encoding material data, wherein a time code attached to the material data is encoded by the encoding stream.
  • an encoded stream is generated by recording in an area in which arbitrary data can exist and can be recorded for each unit of decoding and reproduction, and can be recorded.
  • the time code attached to the material data is decoded in the data structure of the encoded stream.
  • An encoded stream is generated in an area which can exist in each unit of signal reproduction and in which arbitrary data can be recorded.
  • Another encoding stream generating apparatus is an encoding stream generating apparatus for generating an encoding stream, comprising: encoding a hierarchical structure including a plurality of layers obtained by encoding source video data.
  • Another encoding stream generation method is the encoding stream generation method for generating an encoding stream, comprising: encoding a hierarchical structure including a plurality of layers obtained by encoding source video data.
  • a stream is for generating an encoded stream in which a time code attached to each frame of the source video data is described in a picture layer of a plurality of layers.
  • a time code attached to each frame of the source video data is stored in a picture layer of a plurality of layers of the coding stream.
  • the described coding stream is generated.
  • an encoded stream generating apparatus for generating an encoded stream, wherein the encoded stream is generated by encoding source video data based on an MPEG standard.
  • Code for generating a coded stream in which a data element indicating a time code attached to source video data is described in a user data area of a picture layer of the coded stream. It is provided with a chemical stream generating means.
  • Still another encoding stream generation method is an encoding stream generation method for generating an encoding stream, wherein the encoding stream is generated by encoding source video data based on the MPEG standard.
  • An encoding stream in which a data element indicating a time code attached to the source video data is described in a user data area of a picture layer of the encoding stream.
  • the user code area of the picture layer of the encoding stream indicates the time code attached to the source video data.
  • An encoding stream in which the data elements are described is generated.
  • a data transmission system is a data transmission system for transmitting source video data, wherein the recording medium stores the source video data and a time code attached to the source video data in association with each other.
  • Data supply means for outputting a time code related to source video data and source video data from a recording medium; and encoding of a hierarchical structure including a plurality of layers generated by encoding the source video data.
  • An encoding means for generating an encoding stream in which a time code attached to each frame of the source video data is described in a picture layer of the plurality of layers, the encoding stream; Transmitting means for transmitting the stream; and decoding and encoding the coded stream transmitted through the transmitting means.
  • Decoding means for extracting the time code from the picture layer of the encoded stream by analyzing the syntax of the trim; decoding data decoded by the decoding means; and time code extracted by the decoding means.
  • Data recording means for obtaining a recording medium on which the same data as the recording medium of the data supply means is recorded by associating the same information with the recording information on the recording medium.
  • the data transmission method according to the present invention is a data transmission method for transmitting source video data, comprising: A data supply procedure for outputting a time code related to the data and the source video data; and a coded stream having a hierarchical structure including a plurality of layers generated by coding the source video data.
  • Thai mucopolysaccharides from the picture layer of the encoded string Ichimu by analyzing - a decoding procedure for extracting the de, decoded by the decoding procedure the decoded data Data and the time code information extracted by the decoding procedure are recorded on the recording medium in association with each other, so that the recording medium on which the same data as the data output by the data supply procedure is recorded is recorded.
  • the source video data and the time code associated with the source video data are recorded from a recording medium in which the source video data and the time code attached to the source video data are stored in association with each other.
  • Is output, and an encoding stream in which a time code attached to each frame of the source video data is described is generated in a picture layer of the plurality of layers, and the encoding stream is transmitted.
  • the transmitted coded stream was decoded, and the time code was extracted from the picture layer of the coded stream by analyzing the syntax of the coded stream and decoded.
  • the editing system includes: means for generating an edit list based on an editing point set for the source video data; and encoding the source video data.
  • a hierarchically structured encoding stream composed of a plurality of layers, and a time code attached to each frame of the source video data is described in a picture layer of the plurality of layers.
  • Encoding means for generating an encoded stream transmitting means for transmitting the encoded stream; decoding the encoded stream transmitted via the transmitting means; and encoding the encoded stream.
  • Decoding means for extracting the time code from the picture layer of the encoding stream by analyzing the syntax of the encoding stream; Based on the Taimuko one de the editing list obtained by analyzing the Ntakkusu, in which the decoded source video data had it occurred decrypted in decryption unit and a editing means for editing.
  • the editing method of the present invention is a method for editing source video data, comprising the steps of generating an edit list based on an editing point set for the source video data.
  • An encoding stream having a hierarchical structure including a sequence and a plurality of layers generated by encoding the source video data. Each of the frames of the source video data is stored in a picture layer of the plurality of layers.
  • the decoding procedure to extract the time code from the picture layer of the coding stream by analyzing the syntax of the coding stream, and the syntax of the coding stream
  • an edit list is generated based on the edit points set for the source video data, and the edit list is attached to a picture layer of a plurality of layers and each frame of the source video data.
  • An encoded stream in which the time code is described is generated, and the encoded stream is transmitted.
  • the transmitted encoded stream is decoded, and the time code is extracted from the picture layer of the encoded stream by analyzing the syntax of the encoded stream.
  • the decoded source video data is edited based on the edit list.
  • Another editing system is an editing system for editing an encoded stream obtained by encoding source video data, wherein an editing list is set based on an editing point set for the source video data.
  • an editing method for editing an encoded stream obtained by encoding source video data there is provided an editing method for editing an encoded stream obtained by encoding source video data.
  • a process for generating an edit list based on the set edit points, and a hierarchically structured encoding stream including a plurality of layers generated by encoding the source video data Analyzing an encoding procedure for generating an encoding stream in which a time code attached to each frame of the source video data is described in a picture layer of the plurality of layers, and analyzing the syntax of the encoded stream. This includes a stream editing procedure for editing the encoding stream based on the time code and the editing list obtained as described above.
  • an editing list is generated based on the editing points set for the source video data, and the editing list is attached to a picture layer of the plurality of layers and attached to each frame of the source video data.
  • An encoded stream in which the current time code is described is generated. Further, the encoding stream is edited based on the time code and the editing list obtained by analyzing the syntax of the encoding stream.
  • Still another editing system of the present invention is an editing system for editing an encoding stream, wherein an editing list is generated based on an editing point set by processing baseband source video data.
  • An encoding stream having a hierarchical structure including a baseband system and a plurality of layers generated by encoding source video data, wherein a picture layer of the plurality of layers includes a software layer.
  • (I) generating an encoded stream in which a time code attached to each frame of the video data is described, and analyzing the encoded stream in synchronism with the time code obtained by analyzing the syntax of the encoded stream;
  • Still another editing method of the present invention is an editing method for editing an encoding stream, wherein an editing list is generated based on an editing point set by processing base-span source video data.
  • a hierarchically structured encoding stream composed of a plurality of layers generated by encoding the source video data, wherein each frame of the source video data is stored in a picture layer of the plurality of layers.
  • an edit list is generated based on the edit points set by processing the base-span source video data.
  • FIG. 1 is a block diagram showing an example of the configuration of a digital data transmission system including an encoded stream generation device according to one embodiment of the present invention.
  • FIG. 2 is a block diagram showing an example of a configuration of a digital data processing system including an encoded stream generation device according to one embodiment of the present invention.
  • FIG. 3 is a block diagram showing an example of the configuration of the video encoder in FIGS. 1 and 2.
  • FIG. 4 is a block diagram showing an example of the configuration of the audio encoder in FIGS. 1 and 2.
  • FIG. 5 is a block diagram showing an example of the configuration of the AC3 encoder in FIGS. 1 and 2.
  • FIG. 6 is a diagram showing the syntax of an encoding stream based on the MPEG standard.
  • FIG. 7 is a diagram showing the syntax of a code-coding stream based on the MPEG standard.
  • Fig. 8 is a diagram showing the syntax of the code encoding stream based on the MPEG standard. is there.
  • FIG. 9 is a diagram showing the syntax of a code encoding stream based on the MPEG standard.
  • FIG. 10 is a diagram for more clearly explaining the data structure of an encoded video stream according to the MPEG standard.
  • FIG. 11A and FIG. 11B are diagrams showing the data structure of time code information described in the user data area of the picture layer.
  • FIG. 12 is a diagram showing a data identification code of information described in a user data area of a picture layer.
  • FIG. 13 is an explanatory diagram for explaining a first method for adding a time code to an encoding stream.
  • FIG. 14 is an explanatory diagram for describing a second method for adding a time code to an encoded stream.
  • FIG. 15 is an explanatory diagram showing a data structure of an audio elementary stream according to the MPEG standard.
  • FIG. 16A and FIG. 16B are explanatory diagrams for explaining a phase difference between a video frame and an audio frame.
  • FIG. 17 is an explanatory diagram showing the data structure of an AC3 stream according to the AC3 standard. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 1 is a block diagram showing a configuration of a digital data transmission system including an encoded stream generation device according to one embodiment of the present invention.
  • the digital data transmission system disclosed in FIG. 1 includes a transmission system 1, a reception system 2, and a transmission path 3 therebetween.
  • the transmission system 1 and the reception system 2 may take various forms.
  • Receive System 2 can be a main or regional broadcast station.
  • transmitting system 1 is a main broadcasting station
  • receiving system 2 is considered to be a local broadcasting station.
  • the transmission system 1 and the reception system 2 will be described in detail.
  • the transmission system 1 is broadly divided into a baseband system 1A for processing and handling baseband video data and baseband audio data, and an encoding system 1B for handling an encoded encoding stream. Be composed. It should be noted that the basic video data and the basic video data described here are data that are not compression-encoded.
  • the baseband system 1A of the transmission system 1 receives a tape on which the original source material recorded by a video camera or the like was recorded at the interview site, plays the original source material from the tape, and outputs information to the tape. And a VTR 12 for recording the original source material from the randomly accessible recording medium and for recording information on the recording medium.
  • An editing machine that generates an edit list EDL (Edit Decision List) using the A / V server 13 and the original source material recorded on the tape in the VTR 12 and the recording medium in the AZV server 13 4
  • EDL Edit Decision List
  • a router 15 is provided for routing audio data DA and outputting the data to a predetermined block.
  • the encoding system 1B of the transmission system 1 encodes (encodes) the video data Dv supplied as the original source material in accordance with the MPEG video standard, and outputs a video elementary stream (video ES).
  • the audio encoder 1 7 for outputting Odode one data D a which is supplied as the original source material by Enko one de accordance MP EG O one Do standard, audio O elementary Tallis tri Ichimu (audio ES), and Enko one de the supplied audio data D a as the original source material according AC 3 standard
  • the AC 3 encoder 1 8 for outputting a ply base one preparative elementary Tallis tri Ichimu (ply base one preparative ES)
  • a video encoder 16 Audio encoder 17 and AC (3) Bucket elements which output the elementary streams output from the encoders and output bucketized elementary streams (PES), respectively. It is composed of a transport stream multiplexer (TSMUX) 17 that generates a transport stream (TS) by multiplexing the bucketized elementary streams output from 20 and 21 respectively
  • the digital data transmission system shown in FIG. 1 further includes a CPU 11 for controlling and managing each block of the baseband system 1A and the encoding system 1B.
  • the CPU 11 receives the time code TC associated with each frame of the reproduced video data and audio data from the VTR 12 or the AZV server 13 and converts the time code TC into a predetermined format.
  • the data is supplied to the video encoder 16, audio encoder 17 and AC3 encoder.
  • the receiving system 3 shown in FIG. 1 is composed of a decoding system 3 A for processing and handling the coding stream, and a decoding system for the decoded video data and the baseband audio.
  • a decoding system 3 A of the receiving system 3 receives the transport stream transmitted from the transmitting system 1 via the transmission medium 2 and processes the video stream.
  • the stream demultiplexer (TSDEMUX) 32 and the transport stream demultiplexer 32 The video bucketized elementary stream, the audio packetized elementary stream, and the private bucketized elementary stream that are used are de-bucketed, and the video elementary stream (video ES) , An audio elementary stream audio ES) and a private elementary stream (private ES).
  • a video decoder 36 that decodes the decoded video elementary stream and outputs baseband video data Dv, and an audio elementary stream that is output from the de-bucketizer 34 an audio decoder 3 7 for outputting audio data D a de to base one baseband, Debaketsutaiza 3 ply base one preparative elementary Tallis birds one beam output from the 5 Deco by one de audio data D a baseband output And an AC 3 decoder 38.
  • the receiving system 3 Total one scan band system 3 B includes the video data D v to output a video decoder 3 six et al, and O one Dodeta D A outputted from the audio decoder 3 7, AC 3 decoder 3 8 receives the audio data D a which is output from a router 3 9 for routing to a predetermined processing unit, receive Bideode one data Dv and the audio data D a outputted from the router 3 9, the recording of the tape a VTR 4 0 to be recorded on the medium, receives the video data Dv and the audio data D a outputted from the router 3 9, the AZV server 4 1 that records on a randomly accessible recording medium, VTR 4 0 and a / V stored in the server 4 1 bidet Odeta Dv and Odode and an editor 4 2 for editing an data D a.
  • the video decoder 36, the audio decoder 37, and the AC3 decoder 38 each analyze the syntax of the elementary stream to analyze the time code described in the elementary stream. It has
  • the receiving system 3 includes a CPU 42 for controlling and managing all blocks in the decoding system 3A and the baseband system 3B.
  • the CPU 42 receives the time code data TC output from the video decoder 36, the audio decoder 37, and the AC decoder 38, and supplies the time code TC to the editing machine 42.
  • the VTR 12 and the AZV server 13 record video and audio data in the base: Z "band as the original source material.
  • the VTR 12 and the A / V server 13 Recorded video and audio data Is associated with the original time code for each frame. In other words, each video data frame and each audio data frame have a time code.
  • LTC Longitudinal Time Code / Linear Time Code
  • VITC Very Interval Time Code
  • the playback head accesses the tape at a very low speed, the playback head that can read the time code from the VITC is attached to the tape.
  • the time code cannot be read from VITC.
  • LTC and VITC have their advantages and disadvantages, usually the exact same time code is recorded on the tape as LTC and VITC, and when playing back the tape, it depends on either LTC or VITC. The time code is read.
  • both time codes of LTC and VITC are recorded in a predetermined format, and the VTR 12 and the A / V server When the original video data and original video data are reproduced from step 13, the time code TC corresponding to the original video data and original video data is output.
  • the editing machine 14 accesses the original video data and the original audio data recorded on the VTR 12 and the A / V server 13 and edits the editing points such as the input points and the original points into the original video data and the original audio data.
  • Set for data The In point consists of a time code indicating the editing start point, and the Out point consists of a time code indicating the editing end point.
  • the editing machine 14 is operated to edit a plurality of editing points so that the editing operator selects only the desired scenes which are deemed necessary.
  • an edit list (EDL) is generated according to the set editing points. This edit list is simply a list of time codes based on the time code of the set in point and the time code of the art point.
  • the video data D v and the audio data D A is outputted from the AZV server 1 3, rather than video data and audio O data edited in accordance with the editing list, the original video data ⁇ beauty audio data that have not been edited is there.
  • the original video data and the original audio data are edited in accordance with the edit list generated by the editing machine 14, and the edited video data and the edited audio data are created.
  • the editing process is performed by the editing machine 42 of the receiving system 3.
  • original video data D is routed to be supplied to video encoder 16 and original audio data D A is routed to be supplied to audio encoder 17 or AC3 encoder 18.
  • the video encoder 16 is a circuit that generates an encoding stream (also referred to as a video elementary stream) by compressing and encoding the supplied original video data Dv according to the MPEG standard. Also, the video encoder 16 receives the original time code TC corresponding to the original video data Dv from the CPU 11 for each frame, and stores the time code TC in the user data area of the picture layer in the encoding stream. Describe. Audio encoder 1 7 details will be described later or to describe this Taimuko one de TC anywhere encoded streams is encoded by compression encoding the supplied original audio data D A in accordance with MP EG standard It is a circuit that generates an audio stream (also called an audio elementary stream). The audio encoder 17 receives the original time code TC corresponding to the original audio data D for each frame from the CPU 11 Code TC is described in the encoded stream. Details of where in the encoded stream this original time code is described will be described later.
  • AC 3 encoder 1 8 generates encoded ply base one preparative stream by compression coding in accordance with AC 3 standard the supplied O original casing audio O data D A (flop Raibe also referred as one Toereme down stream) Circuit. Further, AC 3 encoder 1 8 from CPU 1 1, receives the original time co one de TC that corresponds to Orijinaruo one Dode one data D A for each frame, the Taimuko one de TC, in the encoded stream Describe. Details of where in the encoded stream this original time code is described will be described later.
  • the bucketizers 19, 20 and 21 are composed of a video elementary stream output from the video encoder 16, an audio elementary stream output from the audio encoder 17, and a priority output from the AC3 encoder 17. Each of the elementary streams is received and bucketed into the form of a bucketized elementary stream standardized in DVB (Digital Video Prodcasting). Bucketizer 19, No ,.
  • the packetized video elementary stream is output to the transport stream multiplexer 22 as a video packetized elementary stream, and the packetizer 20 outputs the packetized audio elementary stream to the transport stream multiplexer 22.
  • the packetized elementary stream is output to the transport stream multiplexer 22 as a di-packetized elementary stream, and the packetizer 21 converts the packetized private elementary stream into a private packetized elementary stream. Output to 1 stream multiplexer 2.
  • the transport stream multiplexer 22 transports the video bucketized elementary stream, the audio bucketized elementary stream, and the broadcast bucketized elementary stream, respectively.
  • the transport stream is generated by decomposing the packets into packet units and multiplexing the packets decomposed into transport stream packets.
  • the transport stream demultiplexer 32 is connected via the transmission medium 2 Separates the transmitted transport stream into a video bucketized elementary stream, an audio packetized elementary stream, and a private packetized elementary stream (demultiplex).
  • the video packetized elementary stream is output to the depacketizer 33, the audio packetized elementary stream is output to the audio decoder 37, and the private packetized elementary stream is output to AC3. Output to decoder.
  • the depacketizer 33 depackets the video packetized elementary stream, outputs the video elementary stream to the video decoder 36, and the depacketizer 34 decodes the audio bucketized elementary stream.
  • the bucket toy dagger outputs the audio elementary stream to the audio decoder 37, and the debucket sizer 26 debates the private bucketized elementary stream to create a private elementary stream. Output stream to AC3 decoder 38.
  • the video decoder 36 first analyzes the syntax of the video elementary stream before decoding the supplied video elementary stream.
  • the picture type, prediction mode, motion vector, and quantization described in the stream using the stream picture layer and the macroblock layer as data elements are analyzed. Steps and coding parameters such as DCT mode are extracted from the coding stream.
  • the reason for analyzing the syntax of the encoding stream in this way is that it is necessary to perform a decoding process corresponding to the encoding process in the encoder.
  • the time code described for each picture is extracted in the user data area of the picture layer.
  • the video decoder 3 6, according to various encoding parameters extracted from the stream-decodes the code Kas streams and supplies the decoded video data D v to router 3 9. Further, the video decoder 36 supplies the CPU 31 with a time code TC for each frame extracted from the encoded stream.
  • the audio decoder 37 first receives the supplied audio elementary list. — Analyze the audio elementary stream's syntax before decrypting it. As described above, by analyzing the syntax of the encoded stream, the encoding parameters described in the stream are extracted from the stream. In the embodiment of the present invention, when analyzing the syntax of the encoding stream, the time code information described in the encoding stream is extracted for each frame. Audio decoder 3-6 thus coding parameters Isseki extracted from the stream, then decodes the encoded audio stream, and supplies the decoded audio data D A to the router 3 9. Further, the audio decoder 37 supplies the time code TC for each frame extracted from the encoding stream to the CPU 31.
  • the AC3 decoder 38 first analyzes the syntax of the private elementary stream before decoding the supplied private elementary stream. As described above, by analyzing the syntax of the encoded stream, the encoding parameters described in the stream are extracted from the stream. In the embodiment of the present invention, when analyzing the syntax of the encoding stream, time code information described in the encoding stream is extracted. Puraibe - Todekoda 3-6 in accordance with the encoding parameters extracted from string one-time decodes the sign-of-ply base one Tosutori Ichimu supplies audio O data D A decoded router 3 9. Further, the AC3 decoder 38 supplies the CPU 31 with a time code TC for each frame extracted from the encoding stream.
  • CPU 31 Based on the time code TC received from the audio decoder 37, the audio decoder 37 and the AC3 decoder 38, the baseband video data Dv and the baseband video data Dv supplied to the VTR 40 or the AZV server 41 are provided. the time code TC corresponding to the audio data D a, and supplies the VTR 4 0 and a / V server 4 1.
  • VTR 4 0 or A / V server 4 1 when recorded on a recording medium of audio data D A video data Dv and the baseband supplied base one baseband from the router 3 9, supplied from the C PU 3 1 recorded in association with each frame of the time code TC and the video data Dv ⁇ beauty audio data D a.
  • the VTR 4 0, the video data Dv and the audio data D A in the case that records on tape, the VI TC included in Taimuko one de TC supplied from the C PU 3 1, the video data Dv It is inserted into the blanking interval and recorded on the inclined track on the tape, and the LTC included in the time code TC supplied from the CPU 31 is recorded on the longitudinal track on the tape.
  • the recording media of the VTR 40 and the A / V server 41 contain the original video data, original audio, and original time recorded on the recording media of the VTR 12 of the transmission system 1 and the recording media of the A / V server. Exactly the same video data, audio and timecode as the code will be recorded.
  • the editing machine 42 receives the editing list transmitted from the editing machine 14 of the transmission system 1 via a telephone line or the like, and according to the editing list, the video data Dv and the audio data recorded on the VTR 40 and the AZV server 42. Edit D A.
  • the recording medium of the VTR 40 and the A / V server 41 will not record the VTR 12 of the transmission system 1 Since the same video data, audio and time code as the original video data, original audio and original time code recorded on the recording medium and the recording medium of the AZV server are recorded, the time code is By using this, the same editing processing as the editing processing in the editing machine 14 of the transmission system 1 can be performed.
  • the time code is not superimposed for each frame in the transmitted coded stream.
  • the time code for each frame could not be transmitted to the receiving side together with the coded stream, according to the digital data transmission system shown in Fig. 1, it was added to the original material on the transmitting side. Since the original time code is superimposed for each frame in the encoded stream, the original time code assigned to the original material can be reproduced on the receiving side. As a result, it is possible to create on the receiving side a recording medium in which the same time code as that of the original medium and the original time code associated with each frame of the original material is recorded on the transmitting side. .
  • the receiving side automatically Edit processing can be performed.
  • FIG. 2 is a block diagram showing a configuration of a digital data processing system according to another embodiment of the present invention.
  • the difference between the digital data transmission system described in FIG. 1 and the digital data processing system disclosed in FIG. 2 is that, in the digital transmission system of FIG. 1, the encoded stream transmitted on the receiving system 3 side is used.
  • the digital data processing system disclosed in FIG. 2 decodes the baseband video data and the baseband audio data.
  • the difference is that the baseband video data and audio data are not edited but edited in the state of the encoded stream.
  • the digital data processing system shown in FIG. 2 handles the baseband system 50A for processing and handling baseband video data and baseband video data, and handles the encoded coding stream. And an encoding system 50B.
  • the baseband system 50 A in the digital data processing system shown in FIG. 2 is composed of an AZV server 52 for reproducing baseband original material from a randomly accessible recording medium, and a recording medium for the AZV server 52. Recorded on the medium It has an editing machine 53 that generates an edit list EDL using original materials. 0
  • the syntax of the elementary stream output from the encoder 55 and the AC3 encoder 56 is analyzed respectively.
  • Elementary stream A stream analysis unit 57 that extracts time code information described in the stream, and an elementary list output from a video encoder 54, an audio encoder 55, and an AC3 encoder 56. And a stream server 59 for recording each program on a randomly accessible recording medium.
  • the digital data processing system shown in FIG. 2 includes a CPU 51 for controlling and managing each block of the baseband system 50A and the encoding system 50B.
  • the CPU 51 receives the time code TC associated with each frame of the video data and audio data reproduced from the A / V server 52, converts the time code TC into a predetermined format, Supply to video encoder 54, audio encoder 55 and AC3 encoder 56.
  • the A / V server 52 records baseband video data and audio data as original source materials. Further, the video data and audio data are stored in each frame. Each time it is recorded on the recording medium in association with the original time code.
  • the A / V server 5-2 also records two types of time codes, LTC and VITC, in a predetermined format. When the audio data is played back, the original video data and the original time code corresponding to each frame of the original audio data are output.
  • the editing machine 53 accesses the original video data and the original audio data recorded in the AZV server 52, and edits the edit points composed of the in-point and the audio points with respect to the original video data and the original audio data. To set.
  • the editing operator operates the editing machine 14 so that the editing operator selects a plurality of in-points and the original video data and the original audio data so that the editing operator selects only desired scenes which are deemed necessary.
  • an edit list (EDL) is generated according to the set in point and art point.
  • the video data D v and the audio data D output from the A / V server 5 2 A is not a bi Dodeta and audio O data edited in accordance with the editing list, bidet Odeta and audio data Orijinaru that has not been edited It is.
  • the original video data and the original audio data are actually edited according to the edit list generated by the editing machine 52, and the edited video data and the edited audio are combined.
  • the editing process to be generated is performed by the editing machine 58.
  • the video encoder 54 is a circuit that generates an encoded stream (also referred to as a video elementary stream) by compressing and encoding the supplied original video data Dv according to the MPEG standard. Also, the video encoder 54 receives an original time code TC corresponding to the original video data Dv for each frame from the CPU 51, and transfers the time code TC to the picture layer of the coding stream. Describe as a data element. The location in the encoding stream where this original time code is described will be described later in detail. Audio O encoder 5 5 supplied O original casing audio O slave data D A to the MPEG standard connexion compression encoding by connexion encoding O one to Dosutori: generating a r lambda (also called audio elementary stream) Circuit. In addition, the audio encoder 55 receives the original audio data D from the CPU 51. The original time code TC corresponding to A is received for each frame, and the time code TC is described in the encoding stream.
  • AC 3 encoder 5 6 is a circuit for generating an encoded ply base one preparative stream (also called flop Lai base one Toereme Ntarisutori Ichimu) by compression encoded according to AC 3 standard the supplied original audio data D A is there. Further, AC 3 encoder 5 6 from CPU 5 1, receives the O original casing time co one de TC that corresponds to the original audio O data D A for each frame, the time code TC, the code Kas tri Ichimu It is described for each frame.
  • the stream analysis unit 57 analyzes the syntax of the elementary stream supplied from the video encoder 54, the audio encoder 55, and the AC3 encoder 56, respectively.
  • the stream analysis unit 57 analyzes the syntax of the supplied elementary stream to convert the time code information described in the user data area of the picture layer for each frame (for each picture). To extract.
  • the stream analysis unit 57 supplies a time code TC corresponding to each frame (picture) of the elementary stream supplied to the stream server 59 to the editing machine 58.
  • the editing machine 58 has a function for managing the recording / reproducing timing of the stream server 59 and the recording address of the data on the recording medium.
  • the editing machine 58 receives the time code TC extracted from the elementary stream by the stream analysis unit 58, generates a write address corresponding to the time code TC, and stores the write address in the stream server.
  • the editing machine 58 receives the editing list from the editing machine 53 in the baseband system, and controls the reproduction of the stream server 59 based on the recording address in the memory described above and this editing list. . Specifically, the in and out points specified by the edit list The recording / reproduction of the stream server is controlled so that the stream in the section of the section is reproduced from the stream server 59. Therefore, the editing stream output from the stream server 59 becomes a stream corresponding to the editing list generated by the editing machine 53.
  • the encoding stream can be edited in the state of a stream. it can.
  • the editing program including the edited video data and the edited audio data output from the A / V server 41 of the digital data transmission system shown in FIG. 1 is baseband data.
  • the transmission medium is not re-coded. Can be transmitted. Therefore, according to the digital data processing system shown in FIG. 2, there is an effect that image quality deterioration due to re-encoding processing can be prevented.
  • FIG. 3 is a block diagram showing an example of the configuration of the video encoders 16 and 56.
  • the video encoder 1 6, 5 6, and Enko one Dozziro one la 6 0 for controlling and managing all the blocks in the video encoder receives the video data D v velvet one spanned, pictures in the order of coding (I picture (intra coded picture, predict picture predictive coded picture), B picture (bidi rectionally predictive coded picture))
  • the picture sorting circuit 61 which sorts the order, and the output data of this picture sorting circuit 61 Input, and determines whether the frame structure or the field structure, and performs scan conversion and macroblock conversion of 16 ⁇ 16 pixels according to the determination result.
  • the macroblock conversion circuit 62 Scan conversion
  • a motion detection circuit 63 that detects a motion vector based on the output data of the macroblock conversion circuit 62 and outputs the motion vector data, and a scan conversion A cross-blocking circuit 62
  • the video encoders 16 and 54 further include an inverse quantization circuit 69 for inversely quantizing the output data of the quantization circuit 66, and an inverse DC ⁇ for the output data of the inverse quantization circuit 69.
  • Image rearranging circuit 61 receives the video data D v baseband Enko - under the control of the dust controller 6 0, rearranging the order of pictures in the order of encoding.
  • the data in which the order of the pictures is rearranged is supplied to the scan conversion / macroblocking circuit 62.
  • Scan conversion / macroblocking circuit 62 performs scan conversion and macroblocking of frame fields and the like based on the prediction mode of the supplied data.
  • the motion detection circuit 63 detects a motion vector from the output data of the scan conversion / macro blocking circuit 62 and outputs the detected motion vector data.
  • the output data of the scan conversion / macroblocking circuit 62 is used as it is in the DCT circuit 65 DCT coefficients are quantized by a quantization circuit 66 and supplied to a variable-length coding circuit 67.
  • a motion compensation circuit is used. According to the path 72, the picture corresponding to the past I picture or P picture It generates predicted image data based on the image data and the motion vector from the motion detection circuit 63, and outputs the predicted image data to the subtraction circuit 64 and the addition circuit 71.
  • the subtraction circuit 64 calculates the difference between the output data of the macroblocking circuit 62 and the predicted image data from the motion compensation circuit 72, and performs 13 CT by the DCT circuit 65.
  • the DCT coefficient is quantized by the quantization circuit 66, and the quantized data is supplied to the variable length coding circuit 67.
  • the motion compensation circuit 72 When the supplied video data is encoded as B-pictures, the motion compensation circuit 72 generates two image data corresponding to the past and future I-pictures or P-pictures and a motion detection circuit 6. The prediction image data is generated based on the two motion vectors from 3 and the prediction image data is output to the subtraction circuit 64 and the addition circuit 71. Further, a subtraction circuit 64 calculates a difference between the output data of the scan conversion / macroblock conversion circuit 62 and the predicted image data from the motion compensation circuit 72, performs DCT by a DCT circuit 65, and performs a quantization circuit 6 The DCT coefficient is quantized by 6, and the quantized data is supplied to the variable length coding circuit 67.
  • the encoding controller 60 supplies various coding parameters defined in the MPEG standard, such as a picture type, a prediction mode, a motion vector, a quantization step, and a DCT mode, to the variable length coding circuit 67.
  • the time code TC supplied from the CPU 11 is supplied to the variable length coding circuit 67.
  • the coding parameters are data elements to be described as a sequence layer, a GOP layer, a picture layer, a slice layer, a macroblock layer, and a block layer.
  • the variable length coding circuit 67 performs variable length coding on the data quantized in the quantization circuit 66, and supplies the variable length coded data and the encoded data from the encoder controller 60.
  • An encoded stream is generated by describing appropriate data and data elements in a sequence layer, a GOP layer, a picture layer, and a macro block layer according to various encoding parameters.
  • the variable length coding circuit 67 writes the time code TC supplied from the encoder controller b controller 60 in the user data area of the picture layer, Time code information is added for each picture (superimposed ) Generated encoded stream.
  • an encoded video elementary stream in which the original time code attached to the original video data is added for each frame is generated.
  • FIG. 4 is a block diagram showing an example of the configuration of the audio encoders 17 and 55 shown in FIG. 1 and FIG.
  • the audio encoder 1 7, 5 5 inputs the audio data D A for baseband, 3 2 band and the sub-band analysis filter bank 81 for dividing and outputting the subband signal, the subband analysis filter bank 8
  • a linear quantizer 82 that quantizes each output signal of the linear quantizer 82, generates encoded audio data based on each output signal of the linear quantizer 82, and generates the encoded audio data.
  • An error check for CRC (Cyclic Redundancy Check), encoded side information to be described later, time code data TC from the CPU 11, etc. are added to the data to generate a bit having a predetermined data structure.
  • a bit stream forming unit 83 that forms a stream and outputs the stream as an audio elementary stream (ES) is provided.
  • FFT fast Fourier transform
  • Psychological auditory model forming unit that forms a psychological auditory model for psychological auditory analysis using the factor extractor 85, the output signal of the FFT unit 84, and the scale factor extracted by the scale factor extractor 85.
  • bits are dynamically allocated, and information on bit harm lj is given to the linear quantizer 82.
  • a dynamic bit allocator 87 that controls the quantization characteristics in the linear quantizer 82, and the scale factor and dynamic bit extracted by the scale factor extractor 85.
  • a side information encoding unit 88 that encodes the bit allocation information from the unit 87 as side information and provides the encoded side information to the bit stream forming unit 83.
  • sub-band analysis filter bank 81 receives the audio data DA supplied base one baseband, the audio data D A to 3 2-band sub-band signals The subband signal is divided and output to the linear quantizer 82.
  • FFT unit 8 4 base was fed receive O one Dodeta D A one baseband, fast Fourier transform audio data DA, and supplies the Fourier transformed signal of psychoacoustic model forming portion 8 6.
  • the scale factor extracting unit 85 extracts a scale factor from each output signal of the subband analysis filter bank 81 and supplies the extracted skein factor information to the psychoacoustic model forming unit 86.
  • the psychological auditory model forming unit 86 uses the output signal from the FFT unit 84 and the scale factor information extracted by the scale factor extracting unit 85 to form a psychological auditory model for psychological auditory analysis.
  • the dynamic bit allocation unit 87 dynamically allocates bits based on the psychological auditory model generated by the psychological auditory model forming unit 86, and determines the quantization characteristics of the linear quantizer 82. Generate a control signal for controlling.
  • the quantization characteristic of the linear quantizer 82 is controlled by a quantization characteristic control signal from the dynamic bit allocation unit 87.
  • the output signal of the linear quantizer 82 is supplied to the bit stream forming unit 83.
  • the side information encoding unit 88 encodes the scale factor extracted by the scale factor extracting unit 85 and the bit allocation information from the dynamic bit allocating unit 87 as side information, and performs a bit stream. It is supplied to the forming section 83.
  • the bit stream forming unit 83 generates coded audio data using each output signal of the linear quantizer 82, and adds an elasticity or the like to the coded audio data.
  • the side information encoded by the side information encoding unit 88 is added. Further, the bit stream forming unit 83 adds the time code data TC from the CPU 11 to the encoded audio data to form a bit stream having a predetermined data structure. In this way, an audio elementary stream to which the time code is added is generated.
  • FIG. 5 is a block diagram showing an example of the configuration of the AC3 encoders 18 and 59 shown in FIGS. 1 and 2.
  • the AC 3 encoder 1 8, 5 9 receives the audio data D A in the baseband, converted into the frequency domain, and a frequency domain transform unit 9 1 outputs frequency coefficients consisting of exponent and mantissa. Frequency coefficient finger Some parts indicate the spectral envelope of the audio data.
  • the AC3 encoders 18 and 59 further include a spectral-envelope encoding unit 92 for encoding the exponent part of the frequency coefficient output from the frequency-domain transform unit 91, and a frequency-domain transform unit 9 Bit allocation is performed based on the output data of the quantizer 93, which quantizes the mantissa of the frequency coefficient output from 1, and the spectral envelope encoder 92, and the bit allocation information is quantized.
  • a bit allocating unit 94 that supplies the data to the quantizing unit 93 and controls the quantization characteristics in the quantizing unit 93; and the output data of the spectrum-veloper coding unit 92 and the quantizing unit 93.
  • the time code data DTC from the CPU 11 is added to the output data, and these are used to form a bit stream with a predetermined data structure and output as a private elementary stream (ES). Stream forming part 95 It has.
  • the frequency domain converter 91 converts the supplied baseband audio data D A into the frequency domain, and decomposes the data converted into the frequency domain into frequency coefficients including an exponent part and a mantissa part.
  • the mantissa part of the coefficient is output to quantization section 93, and the exponent part of the frequency coefficient is output to spectral envelope encoding section 92.
  • the spectral envelope encoding unit 92 encodes the exponent part of the frequency coefficient supplied from the frequency domain transforming unit 91, and encodes the encoded data with the bit allocation unit 94 and the bit stream. It is output to the timer forming unit 95.
  • the quantization section 93 quantizes the mantissa part of the frequency coefficient supplied from the frequency domain transform section 91, and outputs the quantized data to the bit stream forming section 95.
  • the bit allocation unit 9 performs bit allocation based on the output data of the spectral envelope encoding unit 92 and supplies bit allocation information to the quantization unit 93.
  • the quantization characteristic in the quantization unit 93 is controlled based on the bit allocation information from the bit allocation unit 94.
  • the bit stream forming unit 95 receives the time code data TC from the CPU 11 and outputs the time code data to the output data of the spectral envelope encoding unit 92 and the output data of the quantization unit 93. Add TC. With these, a bit stream having a predetermined data structure is formed and output as a private elementary stream (ES). In this way, a private elementary stream to which the time code is added is generated.
  • ES private elementary stream
  • FIG. 6 is a diagram showing the syntax of the video stream of MPEG.
  • Video encoders 16 and 54 generate an encoded stream according to the syntax shown in this figure, and video decoder 36 analyzes the encoded stream according to the syntax shown in this figure. By doing so, multiple meaningful data items (data elements) are extracted from the encoded bitstream.
  • functions and conditional statements are represented by fine print, and data elements are represented by bold print.
  • the data item is described in Mnemonic indicating its name, bit length and its type and transmission order.
  • the functions used in the syntax shown in FIG. 6 will be described.
  • the syntax shown in FIG. 6 is a syntax used for extracting predetermined meaningful data from the coded stream transmitted on the video decoder side.
  • the syntax used on the video encoder side is a syntax in which conditional statements such as if statements and while statements are omitted from the syntax shown in FIG.
  • the next_start-code () function described first in video sequesceO is a function to search for the start code described in the bitstream.
  • the sequence—header ⁇ function is for defining the header data of the sequence layer of the MPEG bit stream
  • the sequence—extensionO function is for defining the extension data of the sequence layer of the MPEG bit stream. This is the function to do.
  • the do ⁇ while construct following the sequence—extension solicitfunction uses the function inside the ⁇ of the do statement while the condition defined by the whil e statement is true. This is a syntax indicating that the described data element is described in the coded data stream.
  • nextbits ⁇ function used in this while statement is a function for comparing the bit or bit string described in the bitstream with the referenced data element.
  • the nextbits ⁇ function compares the bit sequence in the bit stream with the sequence end code indicating the end of the video sequence, and When the bit system ij does not match the sequence end code, the condition of this while statement is true. Therefore, the do ⁇ while construct located next to the sequence-extension ⁇ function is defined by the function in the do statement while the sequence—end— code that indicates the end of the video sequence does not appear in the bitstream. This indicates that the specified data element is described in the coded bitstream.
  • each data element defined by the sequence-extension ⁇ function is followed by a data element defined by the extension-and-user-data (O) function.
  • This extension—and—user—data (O) function is a function to define extension data and user data in the sequence layer of the MPEG bitstream.
  • the do ⁇ while syntax placed next to the data (O) function adds the function inside the ⁇ of the do statement while the condition defined by the while statement is true. This is a function indicating that the data element described based on it is described in the bitstream.
  • the nextbitsO function used in this while statement is a function for judging whether a bit or a bit system ij appearing in a bit stream matches a picture-start-code or a group-start-code. Thus, if the hit or bit system 'J appearing in the bitstream matches strongly with the picture start code or group—start code, the condition defined by the while statement is true. Therefore, this do ⁇ while syntax is defined as follows: If picture_start-code or group-start-code appears in the encoded bit stream, the data defined by the function in the do statement follows the start code. Indicates that the element code is described.
  • the if statement described at the beginning of this do statement contains group in the encoded bit stream. If —start— code appears, it indicates the condition. If the condition by this if statement is true, the encoded bit stream contains this group—start—code followed by the group of picture—header O and extension and user data (: u functions). Are described in order.
  • This group—of_picture—header ⁇ function is a function for defining the header data of the GOP layer of the MPEG encoding bit stream, and the extension—and one user—data (l) function is an MPEG encoding bit stream. This function defines the extended data of the GOP layer of the bitstream and user data.
  • the data elements defined by the group—of—picture_header ⁇ function and the extension—and_user-data (1) function are followed by the icture headerO function and the picture-coding
  • a data element defined by the extensionO function is described.
  • the data elements defined by the group—of—picture—header ⁇ function and the extension and andjiser—data (l) function are described.
  • the data element defined by the extension—and—user data (O) function is followed by the picture headerO a picture coding extensionO function and the extension—and—user—data (2) function. The data element is described.
  • the picture-header ⁇ function is a function for defining a header layer of a picture layer of the MPEG coded bit stream
  • the function of the image coding extension ⁇ is a picture layer of the MPEG coded bit stream. This is a function for defining the first extended data of.
  • the extension-and-user-data (2) function is a function for defining extension data and user data of the picture layer of the MPEG encoding bitstream.
  • the user data defined by the extension—and—user_data (2) function is data described in the picture layer and data that can be described for each picture. Describes time information as user data defined by the extension one and one user-data (2) function.
  • picture-1 Describes a data element defined by the data ⁇ function.
  • This picture-data ⁇ function is a function for describing data elements relating to the slice layer and the macroblock layer.
  • the while statement described next to the picture-data ⁇ function is a function for determining the condition of the next if statement while the condition defined by this while statement is true.
  • the nextbitsO function used in this while statement is a function for judging whether or not the picture—start code or group start code is described in the encoding bitstream. If picture-start-code or group-start-code is described in the bitstream, the condition defined by this while statement is true.
  • sequence_end code is a code indicating the end of the sequence of the encoded video stream, unless the encoding stream ends, the sequence—header () will be executed during the encoding stream. Describes the data element defined by the function and the sequence—extension ⁇ function.
  • This data element is described by the sequence header () function and the sequence extension () function, and the data element is written by the sequence header 0 function and the sequence extension () function described at the beginning of the video stream sequence. It is exactly the same as the data element that was sent.
  • the reason for describing the same data in the stream as described above is that the bit stream receiving apparatus starts receiving data in the middle of the data stream (for example, the bit stream corresponding to the picture layer). In this case, it is to prevent the data of the sequence layer from being received and the stream from being decoded.
  • sequence extensionO function After the last data element defined by the sequence header u function and the sequence extensionO function, that is, at the end of the data stream, a 32-bit sequence end code indicating the end of the sequence is provided. It has been described.
  • sequence—headerO function, sequence—extensionO function, extension—and_user_data (0) function, group—of—picture header 0 function, and extension—and one user—data (l) function will be described in detail.
  • sequence—header () function The data elements defined by the sequence—header () function are sequence—header—code ⁇ sequence—header present_flag horizontal size value, vertic al—size—value, aspect—ratio—information, frame—rate—code. , Bit-rate-val ue, marker-bit, ⁇ -buffer-size-value, constrained-parameter-flag, load_intra_quantizer_matrix, intra-quantizer matrix Is 0
  • the sequence header code is data representing the start synchronization code of the sequence layer.
  • lag is data indicating whether the text in the sequence header is valid or invalid.
  • horizontal_size—value is data consisting of the lower 12 bits of the number of pixels in the horizontal direction of the image.
  • the vertical size-value is data consisting of the lower 12 bits of the number of vertical lines in the image.
  • Aspect-ratio-information is data representing the pixel aspect ratio (aspect ratio) or display screen aspect ratio.
  • the frame-rate-code is data indicating the display cycle of the image.
  • bit—rate—value is the lower 18 bits of the bit rate (rounded up to the nearest 400 bs P) to limit the amount of generated bits.
  • marker-bit is bit data inserted to prevent start code emulation.
  • VBV buffer—size—value is the lower 10 bits of data that determine the size of the virtual buffer (video buffer verifier) for controlling the amount of generated code.
  • constrained parameter—flag is data indicating that each parameter is within the limits.
  • the load-intra-quantizer-matrix is data indicating the existence of the quantization matrix data for the Intra MB.
  • the intra quantizer matrix is data indicating the value of the quantizer matrix for the intra MB.
  • the load non intra quantizer matrix is data indicating the existence of a non-intra MB quantizer matrix.
  • the intra-quantizer matr ix is data representing the value of the non-intra MB quantizer matrix. It is.
  • extension start code extension start code identifier
  • sequence extension pre sent—flag
  • profile and—level—indicatioru progressive—sequence chroma
  • horizontal size—extension
  • vertical size—extension
  • bit rate—extensioru vbv—buffer—size extension ⁇ low—delay
  • frame 0 is a data element such as one rate extension n ⁇ ⁇ and frame—rate—extension—d
  • extension—start—code is data indicating the start synchronization code of extension data.
  • extension start code identifier is data indicating which te-te-tele is sent.
  • Proboard_and-level-indication is data for specifying the profile and level of the video data.
  • the progressive-sequence is data indicating that the video data is progressive scan.
  • chroma-format is data for specifying the color difference format of video data.
  • the horizontal size extension is an overnight of the top two hits in the horizntal size value of the sequence header.
  • the vertical size extension is the upper two bits of data that are equal to the vertical size value of the sequence header.
  • the bit-rate-extension is the upper 12-bit: r-data that can be set to the bit-rate value of the sequence header.
  • the vbv buffer size extension is the upper 8 bits of data added to the sequence header's vbv-buffer-size-value.
  • low—delay is data indicating that a B picture is not included.
  • the frame rate extension n is a data for obtaining a frame rate in combination with the frame-rate-code of the sequence header.
  • the frame-rate-extension-d is a data set for obtaining a frame rate in combination with the frame-rate-code of the sequence header.
  • extension—and user data i function is other than ⁇ i ”force 2
  • the extension-and-user-data (O) function describes only the data elements defined by the user-dataO function.
  • the data elements defined by the one-group-one-of-picture-headerO function are: group start picture-group-picture header-present flag-time-code, closed — 0 composed of gop, and broken one link
  • group—start—code is data indicating a start synchronization code of the G 0 P layer.
  • group of picture header The present flag is data indicating whether the data element in the group of picture header is valid or invalid.
  • the time code is a time code indicating the time from the beginning of the sequence of the first picture of G0P.
  • closed—gop is flag data indicating that the image in G0P can be played independently from other G0P.
  • broken link is flag data indicating that the first B picture in G0P cannot be accurately reproduced due to editing or the like.
  • the extension and user data (l) function is a function for describing only the data element defined by the user-dataO function, like the extension and user data (O function.
  • picture the data element defined by the headerO function is: picture—start code temporal—reference icture coding type vbv—delay full pel f orward—vector forward f code full pel—backward—vector backward—f—code extra—bit — Picture ⁇ ⁇ and extra— information— picture.
  • picture-start-code is data representing a picture layer start synchronization code.
  • temporal-reference is data indicating the display order of pictures and is data that is reset at the beginning of G0P.
  • picture—coding—type is data indicating the picture type.
  • vbv delay is data indicating the initial state of the virtual buffer at the time of random access.
  • full—pel—forward—vector is data indicating whether the accuracy of the forward motion vector is in integer units or half-pixel units.
  • forward-f-code is data representing the forward motion vector search range.
  • the full-pel-backward vector is data indicating whether the accuracy of the backward motion vector is in integer units or half-pixel units.
  • backward — f— code is data representing the backward motion vector search range.
  • extra_bit_pic ⁇ ure is a flag indicating the presence of the following additional information. If this extra-bit-one-picture is “1”, then extra information picture exists, and extra bit pi If the cture force is “0”, it indicates that there is no data following this. extra-information-picture is information reserved in the standard.
  • extension start code extension start code
  • extension start code identifier f code [0] [0]
  • extension start-code is a start code indicating the start of the extension of the picture layer.
  • extension—start—code identifier is a code that indicates which extension data is to be sent.
  • f—code [0] [0] is data indicating the search range of the horizontal motion vector in the forward direction.
  • f—code [l] [0] is data representing the search range of the horizontal motion vector in the backward direction.
  • f—code [l] [l] is data representing the search range of the vertical motion vector in the backward direction.
  • intra-dc-precision is data representing the accuracy of the DC coefficient.
  • picture—structure is data indicating whether it is a frame structure or a field structure.
  • top-field-first is data indicating both the upper and lower fields.
  • the first field indicates the upper or lower field.
  • One frame-predictive frame dct is that in the case of frame structure, the prediction of frame mode DCT is only the frame mode. This data indicates that the motion vector for concealing the transmission error is attached to the network.
  • q-scale-type is data indicating whether to use a linear quantization scale or a non-linear quantization scale.
  • intra_vlc—format is data indicating whether to use another two-dimensional VLC for intra-mac block.
  • alternate— sc an expresses the ability to use zigzag scans and the choice between alternate scans Data.
  • repeat—first—field is the data used for 2: 3 pulldown. If the signal format is 4: 2: 0, the chroma-420-type has the same value as the next progressive-frame. Otherwise, the data representing 0 indicates the progressive-frame.
  • V-axis is data used when the source signal is PAL.
  • field—sequence is the data used when the source signal is PAL.
  • sub-carrier is the data used when the source signal is PAL. burst—amplitude is the data used when the source signal is PAL.
  • the sub-carrier-phase is the data used when the source signal is PAL.
  • the extension—and—user—data (2) function uses the extension_data ⁇ function when the extension start code extension—start_code exists in the encoded bit stream. Describes the data element defined by. However, if there is no extension start code in the bitstream, the data element defined by the extension-data () function is not described in the bitstream. Following the data element defined by this extension—dataO function, if the user data start code user—data—start_code exists in the bitstream, it is defined by the user—data ⁇ function. The data element is described.
  • the user dataO function is a function for describing data elements such as user data—start code, time—code ⁇ function, and user—data, as shown in FIG.
  • user-data-start-code is a start code for indicating the start of the user data area of the picture layer of the MPEG bitstream.
  • the while syntax described after this user—data—star t—code is a 24-bit data consisting of 23 '0's followed by' ⁇ 'in the encoded bit stream. Does not appear.
  • the 24-bit data consisting of these 23 '0's and the following' ⁇ ' is the data added to the start of all start codes, and
  • the start code is provided after the 24 bits so that the position of each start code can be found in the coded bit stream.
  • the time-codeO function is a function for describing time code. Specifically, as shown in FIG. 9, the data element described by the time-code ⁇ function is a start for recognizing the position where the time code is described in the user data area of the picture layer. Time-code-start-code indicating the code, data-ID indicating the data identification code following the start code, and time code data corresponding to the data identification code And so on.
  • this data identification code data-ID is an identification code indicating VITC, , followeded by a 72-bit VITC. If this data identification code data—ID is an identification code indicating VITC, then a 72-bit LTC is described. It is supposed to be. The data element described by the time-codeO function will be described later in detail.
  • the data element defined by the dataO function is the data element defined by the sliceO function. However, if slice-start-code indicating the start code of the slice () function does not exist in the bit stream, the data element defined by this sliceO function is described in the bit stream. Absent.
  • the sliceO function is a function for describing a data element related to a slice layer. Specifically, slice start code slice auantiser scale code intra slice— flag intra one slice reserved one bit, extra— bit— slice ⁇ A function for describing data elements such as extra information-slice and extra-bit-slice, and data elements defined by the macroblockblo function.
  • slice — start_code is a start code that indicates the start of the data element defined by the sliceO function.
  • slice quantiser scale code is set for the macroblock that exists in this slice layer. This is data indicating the quantization step size. If the quantiser-scale_code is set for each macroblock, the macroblock quan set for each macroblock is set. ntiser—scale_code data is used preferentially.
  • intra_slice_flag is a flag indicating whether or not intra-slice and reserved bits exist in the bit stream.
  • intra-slice is data indicating whether or not a non-intra macroblock exists in the slice layer. If any of the macroblocks in the slice layer is a non-intra macroblock, intra-slice is “0”. If all of the macroblocks in the slice layer are non-intra macroblocks, the intra-slice is used. Becomes “1”. reserved—bits are 7-bit data and take the value “0”.
  • the extra bit slice is a flag indicating that additional information exists as an encoding stream, and is set to “1” when an extra information slice exists next. Set to “0” if no additional information is present.
  • macrobloc is a function for describing data elements related to the macroblock layer. Specifically, macroblock escape ⁇ macroblock addres ss increments and data elements such as macroblock auantiser scale-code and macroblock — ModesO function and macroblock — a function to describe the data element defined by the vectors (s) function.
  • macroblock—escape is a fixed sequence of bits that indicates whether the horizontal difference between the reference macroblock and the previous macroblock is greater than or equal to 34. If the horizontal difference between the reference macroblock and the previous macroblock is greater than or equal to 34, add macroblock—add ress—increment j 3 3 ⁇ 2 ⁇ .
  • the macroblock address increment is data indicating the horizontal difference between the reference macroblock and the previous macroblock. If there is one macroblock escape in this macroblock—address increment, the value of this macroblock_address increment plus 3 3 3 is the horizontal difference between the actual reference macroblock and the previous macroblock. This is the data indicating the difference.
  • the macroblock auantiser scale code is the quantization step size set for each macroblock.
  • Each slice layer is set with slice—quantizer—scale—code indicating the quantization step size of the slice layer.
  • slice—quantizer—scale—code indicating the quantization step size of the slice layer.
  • macroblock auantiser—scale code is set for the reference macroblock, Select the quantization step size.
  • FIG. 10 is an explanatory diagram showing the data structure of an MPEG encoded stream.
  • the data structure of the video elementary stream includes at least a sequence layer, a GOP layer, and a picture layer.
  • the sequence layer is ⁇ next start codeO function 1 0 1, sequence header 0 number 1 0 2, extention— start— code 1 0 3, sequence— extention O function 1 0 4, ex tention— and— user— data (0) function Consists of data elements defined by 105.
  • the GOP layer is composed of data elements defined by group—start—code 106, group—o picture s—headerO function 107, and extention_and—user_data (l) function 108.
  • the picture layer is a data element defined by picture—header ⁇ ) Wi 109, picture coding extention OS 1103 ⁇ 4, extention and user data (2) function 111, picture—data ⁇ function 111 Contains.
  • sequence—end—code 1 13 is described.
  • extention one and— user— data (2) functions 1 1 1 are user-data— start— code 1 1 4 and user dataO functions 1 1 5 as can be understood from the syntax diagram already described in FIG. 7. , Next—start—contains the data element defined by code 1 16.
  • the user_data () function 1 15 includes a data element defined by the time—code ⁇ function 1 17 and the user—data 1 18 In.
  • FIG. 11A is a diagram showing an example in which VITC, LTC and ancillary data are described in a user area of a picture layer by a time-code ⁇ function.
  • FIG. 11B is a diagram showing a detailed data structure of the 72-bit VITC or LTC.
  • Data identification ID of data recorded in this user data area is described.
  • This identification code data_ID is set in advance as shown in Fig. 12. For example, if the data indicates data-ID '03, VITC is described in the next 72 bits, If the data indicates one ID force ⁇ '04', LTC is described in the next 72 bits.
  • the first bit 'CF' indicates a color frame
  • the second bit 'DF' indicates a drop frame.
  • the next six bits, from the third bit to the eighth bit represent the 'frame' part of the time code
  • the ninth bit represents the phase correction
  • the tenth to sixteenth bits represent the first seven bits represent the 'second' part of the time code. 17
  • the 7th bit, 34th bit, 51th bit and 68th bit are used as a single bit to prevent a few consecutive 0's as described above. However, by inserting one bit at a time at predetermined intervals, start code emulation can be prevented.
  • the 18th, 26th, and 27th bits of 'BG' represent a binary group, and the 7th bit from the 19th bit to the 25th bit is the time code 'BG'. The minute part is shown, and the 6th bit from the 28th bit to the 33rd bit shows the 'hour' part of the time code.
  • the 16th bit from the 5th bit to the 50th bit and the 16th day from the 52th bit to the 67th bit can describe any user data of the user. Reserved.
  • the last 4 bits are stuff bits for byte alignment.
  • FIG. 13 shows the time code addition to the video elementary stream.
  • FIG. 4 is an explanatory diagram for explaining the first method.
  • (a) shows the picture type in the input video data of the video encoder 16. Sign
  • I represents an I picture
  • P represents a P picture
  • B represents a B picture
  • the accompanying numbers represent the order of the pictures for each picture type.
  • (B) is a simplified representation of the time code attached to each picture.
  • the first method is to add a time code to the video element list when adding the time code to the video elementary stream, and change the time code during playback. More specifically, after acquiring the time code, the CPU 11 shown in FIG. 1 takes the time code as it is in consideration of the delay until the time code is recorded in the user data 115. Record.
  • FIGS. 13 (c) and 13 (d) show the picture type and the time code at the time of inputting to the video decoder 36 when the time code is added by the first method.
  • the video decoder 36 appends the time code input accompanying the I picture or P picture to the next first B picture when the picture comes.
  • the time code attached to the B picture is attached to the next second B picture.
  • the time code input accompanying the second B picture is attached to the I picture or P picture.
  • the picture type and the time code in the video data output from the video decoder 23 are shown in FIG.
  • FIG. 14 is an explanatory diagram for explaining a second method of adding a time code to a video elementary stream.
  • (a) shows a picture type in the input video data of the video encoder 16, and (b) shows a simplified time code attached to each picture.
  • the second method is a method of adding a time code to a video elementary stream in consideration of picture reordering, and not changing the time code during playback. . More specifically, after acquiring the time code, the CPU 11 in FIG. 1 takes into account the delay up to the word of the time code in the user data 115, before and after rearranging the pictures. Sort the pictures so that the correspondence between the pictures and the time codes match. -Sort and record the records.
  • the picture type and the time code at the time of input to the video decoder 23 are shown in 140 (c) and (d).
  • the video decoder 36 rearranges the time code in the same manner as the rearrangement of the pictures, and associates the time code with each picture.
  • the picture types and time codes in the output video data of the video decoder 36 in this case are shown in FIGS. 14 (e) and (f).
  • FIG. 15 is an explanatory diagram showing a data structure of an audio elementary stream according to the MPEG audio standard.
  • the audio elementary stream is composed of a header 121, an error check 122, and audio data 12 3.
  • Ancillary data consists of data elements defined by ancillary data 124.
  • the area of ancillary data 124 is a unit of decoding and playback in the data structure of the audio stream shown in FIG. This is an area that can exist for each frame (audio frame) and can record arbitrary data.
  • the size of one frame is determined by the bit rate in the audio encoded stream.
  • the amount of data in one frame is, for example, 384 X bit trains / sampling frequency.
  • the amount of data in the area of ancillary data 124 is calculated from the amount of data of one frame, and the amount of data actually used in each area of header 121, elastic 122 and audio data 113. Is the data amount minus.
  • a time code is recorded in the area of the ancillary data 124 of the audio elementary list shown in FIG.
  • the description method of the time code in the ancillary data 124 is the same as the description method of the time code in the user data area described in FIG. 11A and FIG. 11B.
  • VITC or L In the area of ancillary data 12 of the encoded stream, VITC or L
  • 16-bit audio_phase audio phase information
  • ancillary data 124 after time-code-start-code, if data-ID is an identification code indicating audio phase information, Audio-phase is described in the next two bytes.
  • the audio phase information is data for indicating a phase difference between the audio frame and the video frame because the audio frame is not synchronized with a frame in the video stream (hereinafter, referred to as a video frame).
  • FIG. 16A and FIG. 16B are explanatory diagrams for explaining a phase difference between a video frame and an audio frame.
  • FIG. 16A represents a video frame (one block represents one video frame), and the numbers in the figure represent time codes corresponding to each video frame.
  • FIG. 16B shows an audio frame (one block represents one audio frame), and the numbers in the figure represent time codes recorded corresponding to each audio frame.
  • audio frames are not synchronized with video frames. Therefore, in the present embodiment, the time difference between the time code recorded in each audio frame and the start point of the actual audio frame is represented by a phase difference (represented by symbols A to F in FIG. 16B). ), And the phase difference for each audio frame is described as audio phase information in the encoding stream together with the time code.
  • the audio phase information is represented by the number of audio data samples.
  • FIG. 17 is an explanatory diagram showing the data structure of an AC3 stream according to the AC3 standard.
  • the data structure of the AC3 stream is, from the beginning, sync information (syncinfo) 131, bit stream information (BSI) 132, and audio block (audblk 13), auxiliary data (auxdata) 134, and error check (errorcheck) 135.
  • the area of the captured data 1 34 is one frame (sync frame) as a unit of decoding and playback in the data structure of AC 3 stream shown in Fig. 17. This is an area that can exist every time and can record arbitrary data.
  • the data amount of the area of the auxiliary data 1334 is the data amount of the data amount of one frame minus the data amount actually used in the area excluding the area of the auxiliary data 1334.
  • a time code (including a user bit) is recorded in the area of the capture data 134 in the data structure of the AC3 stream shown in FIG.
  • the description method of the time code in the auxiliary data 134 is exactly the same as the description method of the time code in the ancillary data 12 of the audio coding stream.
  • the time code is recorded in an area that can exist for each unit of decoding and reproduction and that can record arbitrary data.
  • the time code is recorded in the area of the user data 115 for the video elementary stream, and the time code is recorded in the area of the ancillary data 124 for the audio stream.
  • the time code is recorded in the area of the auxiliary data 134 for the AC3 stream.
  • a time code is added to each of a video stream, an audio stream, and an AC3 stream, so that even after each stream is separated on the receiving system 3 side.
  • the time code information is not lost in either stream. This is very useful even when each stream is stored on a hard disk, for example, and each stream is reused (for example, processed and used), since time information is not lost.
  • the time code including the user bit can be recorded in the video stream, the audio stream, and the AC3 stream, respectively. Any recorded information can be reliably transmitted in correspondence with each stream.
  • the present invention is not limited to the above embodiment.
  • the time code information may be stored in a video elementary stream, an audio elementary stream,
  • the format to be added to the private elementary stream (AC 3 stream) is not limited to the format shown in the embodiment, but can be set as appropriate.
  • the time code attached to the material data can be present in the data structure of the encoded stream for each unit of decoding and reproduction, and can be an arbitrary data. Since the data is recorded in the recordable area, the effect is achieved that the time code attached to the material data can be reliably transmitted in correspondence with the encoded stream for each decoding unit.
  • the source video data is stored in a picture layer of a plurality of layers of the encoded stream.
  • a coded stream that describes the time code attached to each frame is generated, so that the coded stream in which the time code attached to the original material data is described so as to correspond to each picture Is produced.
  • the source video data is stored in the user data area of the picture layer of the encoding stream. Since the encoding stream describing the data element indicating the time code attached to the original material data is generated, the time code attached to the original material data is described so as to correspond to each picture. There is an effect that an encoding stream can be generated.
  • the time code attached to each frame of the source video data is described in the picture layer of the plurality of layers.
  • a coded stream is generated, this coded stream is transmitted, and the receiving side decodes the transmitted coded stream, and analyzes the syntax of the coded stream to analyze the coded stream.
  • the time code is extracted from the picture layer of the original, and the decoded data and the extracted time code information are recorded in the recording medium in association with each other, so that the same data as the recording medium of the data supply source is recorded.
  • the transmitting side generates an edit list based on the edit points set for the source video data, and sets the picture layer among the plurality of layers.
  • an encoding stream in which the time code attached to each frame of the source video data is described is generated, and the encoding stream is transmitted.
  • the transmitted encoding stream is transmitted.
  • a time code is extracted from the picture layer of the coded stream by analyzing the syntax of the coded stream, and the decoded source video data is extracted based on the time code and the edit list. Editing is performed on the transmitting side using the time code attached to each frame of the source video data. An effect that can be achieved when the exact same editing processing at the receiving side.
  • an edit list is generated based on an edit point set for source video data, and a plurality of encoding streams are generated.
  • a plurality of encoding streams are generated.
  • an edit list is generated based on an edit point set by processing a base-span source video data, and a source list is generated.
  • the video data is attached to each frame of the source video data in a picture layer of a plurality of layers of a coding stream having a hierarchical structure including a plurality of layers generated by encoding the video data.
  • a coded stream in which the time code is described is generated, and the coded stream is streamed based on the time code and the edit list obtained by analyzing the syntax of the coded stream. Since the editing is performed at the stream level, the encoding stream can be edited at the stream level, which has the effect of preventing deterioration in image quality.

Description

明細書
符号化ストリ一ム生成装置及び方法、 データ伝送システム及び方法ならびに編集 システム及び方法 技術分野
本発明は、 ビデオデータ及びオーディォデータ等の素材データを符号化する際 に、 各ピクチャ毎にタイムコードが付加された符号化ストリ一ムを生成する符号 化ストリーム生成装置及び方法、 各ピクチャ毎にタイムコ一ドが付加された符号 化ストリームを伝送するデータ伝送システム及び方法、 さらには、 符号化ストリ 一ムに付加されたタイムコ一ドを利用することによつて素材デ一タを編集する編 集システム及び方法に関する。 背景技術
近年、 ビデオデータやオーディオデータを圧縮符号化する M P E G (Moving P icture Experts Group) 規格に関する技術が飛躍的に発達し、 M P E G規格によ つて圧縮符号化された放送素材を受信装置側に伝送するデジタル伝送システムや 、 M P E G (Moving Picture Experts Group) 規格によって圧縮符号化したビデ ォデータやオーディオデータを、 大容量のディジタルデータを記録可能な光ディ スクである D V D (ディジタル · ビデオ ·ディスク） のような蓄積メディァを用 いて記録したり、 再生したりする記録再生システムが提案されている。
また、 ビデオデータやオーディォデータやその他のプライべ一トデータ等を個 別に符号化して得られる複数種類の符号化ストリーム （以下、 ストリームともい う。 ） を、 実際のアプリケ一ションに適用する場合には、 各ストリ一ムを統合し て伝達する必要があり、 このような場合に、 デジタルデータ伝送システムが用い られている。 具体的には、 デジタルデータ伝送システムでは、 複数種類のストリ —ムを、 ストリームの伝達媒体 （蓄積メディアや伝送路） に適合するように時分 割多重化 （マルチプレックス） することによって、 受信機側に伝送されるトラン スポートストリームを生成する。 一方、 受信機側では、 送信側から伝送されてき たトランスポ一トストリ一ムを受信し、 ビデオやオーディォ等の種類毎のス卜リ —ムに分離 （デマルチプレックス） し、 個別に復号化するようになつている。 ところで、 このような伝送システムにおいて扱われる素材データ （ビデオデ一 夕及びオーディオデータ） には、 一般に、 タイムコードと呼ばれる時間情報が付 随している。 このタイムコードとは、 S M P T Eにおいて定義されている時間情 報のことであって、 " Time And Control Data" のことである。 具体的には、 こ のタイムコードは、 フレーム （FRAMES) 、 秒 （SECONDS ) 、 分 （MIMUTES ) 、 時 (HOURS ) のデータから構成されている。
一方、 デジタルデータ伝送システムでは、 時間情報は、 S T C (System Time Clock ；基準となる時刻情報） 、 P T S (Presentation Time Stamp ；再生出力 の時刻管理情報） 、 D T S (Decoding Time Stamp ；復号の時刻管理情報） 、 S C R (System Clock Reference；時刻基準参照値） 、 P C R (Program Clock Re ference ； プログラム時刻基準参照値） という独自の時間概念に基づいて管理さ れている。 つまり、 M P E G規格に基づいて符号化された符号化ストリームは、 上述したタイムコ一ドとは全く異なる時間情報によって処理タイミングが管理さ れている。
つまり、 ベースバンドビデオデータを取り扱い、 処理するべ一スバンドシステ ムの分野では、 ベ一スパンドビデオデータはタイムコ一ドを使用して全ての処理 タイミングが管理されている。 一方、 符号化ス卜リームを取り扱い、 処理する符 号化システムの分野では、 符号化ス トリームは前述した S T C、 P T S、 D T S 及び S C R、 P C R等の独自の時間情報によって全ての処理タイミングが管理さ れている。
ところで、 M P E G規格において符号化されたストリームは、 シーケンスレイ ャと、 G O P (Group Of Picture) レイヤと、 ピクチャレイヤと、 スライスレイ ャと、 マクロブロックレイヤと、 ブロックレイヤとから構成されている。 また、 M P E G規格では、 G 0 Pレイヤのヘッダデータを記述するための group— of oi cture_header( ) という関数が定 されている 0 この group— of— picture header( )関数は、 G O Pレイヤのヘッダデータとして、 3 2ビッ 卜の group— start— code 、 2 5 ヒッ トの time code、 1 じッ 卜の closed gop、 及び 1 ヒッ 卜の broken— lin k というデータを有している。 この group start codeは、 グループォブピクチャ ヘッダのスタートを示すためのデータであって、 GOPの先頭ピクチャのシ一ケ ンスの先頭からの時間を示すタイムコードである。 closed— gopは、 GOP内の画 像が他の GO Pから独立再生可能なことを示すフラグデータである。 broken_lin k は、 編集などのために GOP内の先頭の Bピクチャが正確に再生できないこと を示すフラグデータである。
MP E G規格において定義されている group— of— picture— header ( ；)関数によつ て、 G 0 Pレイヤのヘッダデータとして記述される time— code は、 伝送されるプ ログラムのシ一ケンスの先頭からのタイムコ一ドを示すデータであって、 ォリジ ナル素材に付与されているオリジナルタイムコ一ドが使用されているわけではな い。 例えば、 オリジナル素材の先頭フレームに対して外部装置から供給されたォ リジナルタイムコ一ド 「01:30:00:00 」 が付与されていたとしても、 そのォリジ ナル素材の先頭フレームが符号化されると、 符号化ストリ一ムの GO Pレイヤの ヘッダデータとして記述される time— code は、 「00:00:00:00 」 となる。 また、 オリジナル素材の各フレームに付与されたオリジナルタイムコ一ドが不連続なタ ィムコ一ドであったとしても、 符号化ストリームの GO Pレイヤのヘッダデータ として記述される time— code は、 シーケンシャルなタイムコードとなる。 つまり 、 オリジナル素材に付与されたオリジナルタイムコードと、 符号化ストリームの GO Pレイヤのヘッダデータとして記述されるタイムコードとは必ずしも一致し ない。
また、 MP E G規格の group— of— picture— header( )関数によって記述される ti me一 code は、 G 0 Pレイヤのヘッダデータとして記述されるデータであるので、 MP E G規格においては、 タイムコードを G 0 P毎にしか記述することができな い。 つまり、 MP E G規格においては、 符号化ストリームの G 0 Pレイヤにタイ ムコ一ドを記述することよって GO P毎にタイムコ一ドを伝送することはできる 力^ 各フレーム （各ピクチャ） 毎にタイムコードを記述するようには定義されて いないので、 各ピクチャ毎にタイムコ一ドを伝送することができない。
従って、 MP E G規格の符号化ストリームには、 タイムコード情報が各ピクチ ャ毎に付加されていないので、 ォリジナル素材を MP E G規格に基づいて符号化 して符号化ストリ一ムとして受信装置側に伝送する場合において、 ォリジナル素 材の各フレームに付与されていたオリジナルタイムコ一ドを、 受信装置側に伝送 することができないという問題があつた。
その結果、 受信装置側において、 オリジナル素材に対して付与されたオリジナ ルタイムコ一ドを使用して編集したり、 オリジナル素材とオリジナルタイムコ一 ドとが対応付けられて記録された記憶メディアと全く同じ記録メディアを作成す るということが全く実現できなかつった。 発明の開示
本発明はかかる問題点に鑑みてなされたもので、 その目的は、 オリジナル素材 データに付随するタイムコードが各ピクチャ （各フレーム） に対応するように記 述された符号化ストリームを生成する符号化ス卜リーム生成装置及び方法、 なら びにタイムコードが各ピクチャ （各フレーム） に対応するように記述された符号 化ストリームを伝送するデータ伝送システム及び方法を提供するものである。 また、 本発明の他の目的は、 オリジナル素材データに付随するタイムコードを 、 符号化ストリームと共に伝送することによって、 受信側において、 伝送された タイムコ一ドを使用した編集処理を可能にする編集システムおよび方法を提供す るものである。
本発明の符号化ストリ一ム生成装置は、 素材データを符号化することによって 得られる符号化ストリ一ムを生成する符号化ストリ一ム生成装置において、 素材 データに付随するタイムコ一ドを、 符号化ストリ一ムのデータ構造において復号 再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録して、 符号 化ストリ一ムを生成する符号化ストリーム生成手段を備えたものである。
本発明の符号化ストリーム生成方法は、 素材データを符号化することによって 得られる符号化ストリームを生成する符号化ストリ一ム生成方法において、 素材 データに付随するタイムコ一ドを、 符号化ストリ一ムのデータ構造において復号 再生の単位毎に存在可能で且つ任意のデ―タを記録可能な領域に記録して、 符号 化ストリームを生成するものである。
これらの符号化ストリーム生成装置または符号化ストリーム生成方法では、 素 材データに付随するタイムコ一ドが、 符号化ストリ一ムのデータ構造において復 号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録されて、 符号化ストリ一ムが生成される。
本発明の他の符号化ストリ—ム生成装置は、 符号化ストリ一ムを生成する符号 化ストリーム生成装置において、 ソースビデオデータを符号化することによって 得られる複数のレイヤから成る階層構造の符号化ストリ一ムであって、 複数のレ ィャのうちのピクチャレイヤに、 ソースビデオデータの各フレームに付随してい るタイムコードが記述された符号化ストリ一ムを生成する符号化ストリーム生成 手段を備えたものである。
本発明の他の符号化ストリ一ム生成方法は、 符号化ストリ一ムを生成する符号 化ストリーム生成方法において、 ソースビデオデータを符号化することによって 得られる複数のレイヤから成る階層構造の符号化ストリームであって、 複数のレ ィャのうちのピクチャレイヤに、 ソースビデオデータの各フレームに付随してい るタイムコ一ドが記述された符号化ストリームを生成するものである。
これらの符号化ストリ一ム生成装置または符号化ストリ一ム生成方法では、 符 号化ストリ一ムの複数のレイヤのうちのピクチヤレイヤに、 ソースビデオデータ の各フレームに付随しているタイムコ一ドが記述された符号化ストリ一ムが生成 ^れる。
本発明のさらに他の符号化ストリ一ム生成装置は、 符号化ストリ一ムを生成す る符号化ストリーム生成装置において、 ソースビデオデータを M P E G規格に基 づいて符号化することによって生成される符号化ストリ一ムであって、 符号化ス トリ一ムのピクチャレイヤのユーザデータエリアに、 ソースビデオデータに付随 しているタイムコ一ドを示すデータエレメン卜が記述された符号化ストリームを 生成する符号化ストリ一ム生成手段を備えたものである。
本発明のさらに他の符号化ストリ一ム生成方法は、 符号化ストリ一ムを生成す る符号化ストリ一ム生成方法において、 ソースビデオデータを M P E G規格に基 づいて符号化することによって生成される符号化ストリ一ムであって、 符号化ス トリ一ムのピクチャレイヤのユーザデータエリアに、 ソースビデオデータに付随 しているタイムコ一ドを示すデータエレメントが記述された符号化ストリ一ムを 生成するものである。 これらの符号化ス卜リ一ム生成装置または符号化ストリ一ム生成方法では、 符 号化ストリ一ムのピクチャレイヤのユーザデータエリァに、 ソースビデオデータ に付随しているタイムコ一ドを示すデ一タエレメン卜が記述された符号化ストリ —ムが生成される。
本発明のデータ伝送システムは、 ソースビデオデ一タを伝送するデータ伝送シ ステムにおいて、 ソースビデオデ一夕とソースビデオデータに付随しているタイ ムコ一ドとが関連付けられて記憶された記録媒体を備え、 記録媒体からソ一スビ デォデータとソースビデオデータに関連するタイムコ一ドを出力するデータ供給 手段と、 ソースビデオデータを符号化することによって生成される複数のレイヤ から成る階層構造の符号化ストリームであって、 複数のレイヤのうちのピクチヤ レイヤに、 ソースビデオデータの各フレームに付随しているタイムコ一ドが記述 された符号化ストリ一ムを生成する符号化手段と、 符号化ス卜リ一ムを伝送する 伝送手段と、 伝送手段を介して伝送された符号化ストリームを復号化すると共に 、 符号化ストリ一ムのシンタックスを解析することによって符号化ストリームの ピクチャレイヤからタイムコードを抽出する復号化手段と、 復号化手段によって 復号化された復号化デ一タと復号化手段によって抽出されたタイムコ一ド情報と を関連付けて記録媒体に記録することによって、 データ供給手段の記録媒体と同 じデータが記録された記録媒体を得るデータ記録手段とを備えたものである。 本発明のデータ伝送方法は、 ソースビデォデ一タを伝送するデータ伝送方法に おいて、 ソースビデオデータとソースビデオデータに付随しているタイムコ一ド とが関連付けられて記憶された記録媒体から、 ソースビデオデータとソースビデ ォデータに関連するタイムコ一ドを出力するデータ供給手順と、 ソースビデオデ ―タを符号化することによつて生成される複数のレイヤから成る階層構造の符号 化ストリームであって、 複数のレイヤのうちのピクチヤレイヤに、 ソースビデオ データの各フレームに付随しているタイムコ一ドが記述された符号化ストリ一ム を生成する符号化手順と、 符号化ストリームを伝送する伝送手順と、 伝送手順に よって伝送された符号化ストリームを復号化すると共に、 符号化ストリ一ムのシ ンタックスを解析することによって符号化ストリ一ムのピクチャレイヤからタイ ムコ—ドを抽出する復号化手順と、 復号化手順によって復号化された復号化デー タと復号化手順によって抽出されたタイムコ一ド情報とを関連付けて記録媒体に 記録することによって、 データ供給手順によつて出力するデータが記録された記 録媒体と同じデータが記録された記録媒体を得るデ一タ記録手順とを含むもので あ <t> 0
これらのデータ伝送システムまたはデータ伝送方法では、 ソースビデオデータ とソースビデオデータに付随しているタイムコードとが関連付けられて記憶され た記録媒体から、 ソースビデオデータとソースビデオデータに関連するタイムコ —ドが出力され、 複数のレイヤのうちのピクチヤレイヤに、 ソースビデオデータ の各フレームに付随しているタイムコ一ドが記述された符号化ストリ一ムが生成 され、 この符号化ス トリームが伝送される。 また、 伝送された符号化ストリーム が復号化されると共に、 符号化ス卜リームのシンタックスを解析することによつ て符号化ストリ一ムのピクチャレイヤからタイムコードが抽出され、 復号化され た復号化データと抽出されたタイムコ一ド情報とを関連付けて記録媒体に記録す ることによって、 データ供給側において出力するデータが記録された記録媒体と 同じデータが記録された記録媒体が得られる。
本発明の編集システムは、 ソースビデオデータを編集する編集システムにおい て、 ソースビデオデータに対して設定された編集点に基づいて、 編集リストを生 成する手段と、 ソースビデオデータを符号化することによって生成される複数の レイヤから成る階層構造の符号化ストリ一ムであって、 複数のレイヤのうちのピ クチャレイヤに、 ソースビデオデータの各フレームに付随しているタイムコ一ド が記述された符号化ス 卜リ一ムを生成する符号化手段と、 符号化ス卜リ一ムを伝 送する伝送手段と、 伝送手段を介して伝送された符号化ストリームを復号化する と共に、 符号化ストリームのシンタックスを解析することによって符号化ストリ —ムのピクチャレイヤからタイムコードを抽出する復号化手段と、 符号化ストリ —ムのシンタックスを解析することによって得られたタイムコ一ドと編集リスト とに基づいて、 復号化手段によつて複号化された復号化ソースビデオデータを編 集する編集手段とを備えたものである。 一― 本発明の編集方法は、 ソースビデオデータを編集する編集方法において、 ソー スビデオデータに対して設定された編集点に基づいて、 編集リストを生成する手 順と、 ソースビデオデータを符号化することによって生成される複数のレイヤか ら成る階層構造の符号化ストリ一ムであって、 複数のレイヤのうちのピクチヤレ ィャに、 ソースビデオデータの各フレームに付随しているタイムコ一ドが記述さ れた符号化ストリームを生成する符号化手順と、 符号化ス卜リ一ムを伝送する伝 送手順と、 伝送手順によって伝送された符号化ストリームを復号化すると共に、 符号化ストリ一ムのシンタックスを解析することによって符号化ストリ一ムのピ クチャレイヤからタイムコ一ドを抽出する復号化手順と、 符号化ス卜リ一ムのシ ンタックスを解析することによって得られたタイムコ一ドと編集リストとに基づ いて、 復号化手順によつて複号化された復号化ソースビデオデータを編集する編 集手順とを含むものである。
これらの編集システムまたは編集方法では、 ソースビデォデータに対して設定 された編集点に基づいて編集リストが生成され、 複数のレイヤのうちのピクチヤ レイヤに、 ソースビデオデータの各フレームに付随しているタイムコードが記述 された符号化ストリームが生成され、 この符号化ストリームが伝送される。 また 、 伝送された符号化ストリームが復号化されると共に、 符号化ストリームのシン 夕ックスを解析することによって符号化ストリ一ムのピクチャレイヤからタイム コ一ドが抽出され、 この得られたタイムコードと編集リス卜とに基づいて、 復号 化された復号化ソースビデオデータが編集される。
本発明の他の編集システムは、 ソースビデオデータを符号化することによって 得られた符号化ストリームを編集する編集システムにおいて、 ソースビデオデ一 夕に対して設定された編集点に基づいて、 編集リストが生成する手段と、 ソース ビデオデータを符号化することによって生成される複数のレイヤから成る階層構 造の符号化ストリームであって、 複数のレイヤのうちのピクチヤレイヤに、 ソ一 スビデオデ一夕の各フレームに付随しているタイムコードが記述された符号化ス トリ一ムを生成する符号化手段と、 符号化ストリ一ムのシンタックスを解析する ことによって得られたタイムコ一ドと編集リス卜とに基づいて、 符号化ストリ一 ムを編集するストリーム編集手段とを備えたものである。 ―― 本発明の他の編集方法は、 ソースビデオデータを符号化することによって得ら れた符号化ストリームを編集する編集方法において、 ソースビデオデータに対し て設定された編集点に基づいて、 編集リストを生成する手順と、 ソースビデオデ —タを符号化することによつて生成される複数のレイヤから成る階層構造の符号 化ストリ一ムであって、 複数のレイヤのうちのピクチヤレイヤに、 ソースビデオ データの各フレームに付随しているタイムコ一ドが記述された符号化ストリ一ム を生成する符号化手順と、 符号化ストリームのシンタックスを解析することによ つて得られたタイムコ一ドと編集リス卜とに基づいて、 符号化ストリ一ムを編集 するストリ一ム編集手順とを含むものである。
これらの編集システムまたは編集方法では、 ソースビデオデータに対して設定 された編集点に基づいて編集リス卜が生成され、 複数のレイヤのうちのピクチヤ レイヤに、 ソースビデオデータの各フレームに付随しているタイムコ一ドが記述 された符号化ストリ一ムが生成される。 また、 符号化ストリ一ムのシンタックス を解析することによって得られたタイムコードと編集リス卜とに基づいて、 符号 化ストリ一ムが編集される。
本発明のさらに他の編集システムは、 符号化ストリ一ムを編集する編集システ ムにおいて、 ベースバンドのソ一スビデオデータを処理することによって設定さ れた編集点に基づいて、 編集リストを生成するべ一スバンドシステムと、 ソース ビデオデータを符号化することによつて生成される複数のレイヤから成る階層構 造の符号化ストリ一ムであって、 複数のレイヤのうちのピクチヤレイヤに、 ソ一 スビデオデータの各フレームに付随しているタイムコ一ドが記述された符号化ス トリ一ムを生成し、 符号化ストリ一ムのシンタックスを解析することによって得 られたタイムコ一ドとべ一スバンドシステムにおいて生成された編集リストとに 基づいて、 符号化ストリ一ムをストリ一ムレベルで編集する符号化システムとを 備えたものである。
本発明のさらに他の編集方法は、 符号化ストリ一ムを編集する編集方法におい て、 ベ一スパンドのソ一スビデオデータを処理することによって設定された編集 点に基づいて、 編集リストを生成する手順と、 ソースビデオデータを符号化する ことによって生成される複数のレイヤから成る階層構造の符号化ストリ一ムであ つて、 複数のレイヤのうちのピクチヤレイヤに、 ソースビデオデータの各フレ一 ムに付随しているタイムコ一ドが記述された符号化ストリ一ムを生成し、 符号化 スト リ一ムのシン夕ックスを解析することによって得られたタイムコ一ドと編集 リストを生成する手順によって生成された編集リス卜とに基づいて、 符号化スト リームをストリ一ムレベルで編集する符号化手順とを含むものである。
これらの編集システムまたは編集方法では、 ベ一スパンドのソースビデオデ一 タを処理することによつて設定された編集点に基づいて編集リストが生成される また、 複数のレイヤのうちのピクチヤレイヤに、 ソースビデオデ一夕の各フレ
—ムに付随しているタイムコ一ドが記述された符号化ストリ一ムが生成され、 符 号化ストリームのシンタックスを解析することによって得られたタイムコ一ドと 生成された編集リス 卜とに基づいて、 符号化ストリ一ムがストリ一ムレベルで編 集される。
本発明のその他の目的、 特徴及び利益は、 次の説明を以て十分明白になるであ ろう。 図面の簡単な説明
第 1図は、 本発明の一実施の形態に係る符号化ストリーム生成装置を含むデジ タルデータ伝送システムの構成の一例を示すプロック図である。
第 2図は、 本発明の一実施の形態に係る符号化ストリーム生成装置を含むデジ タルデータ処理システムの構成の一例を示すプロック図である。
第 3図は、 第 1図及び第 2図におけるビデオエンコーダの構成の一例を示すブ 口ック図である。
第 4図は、 第 1図及び第 2図におけるオーディォエンコーダの構成の一例を示 すプロック図である。
第 5図は、 第 1図及び第 2図における A C 3エンコーダの構成の一例を示すブ 口ック図である。
第 6図は、 M P E G規格に基く符号化ストリ一ムのシンタックスを示す図であ る。
第 7図は、 M P E G規格に基く符符号化ストリ一ムのシンタツクスを示す図:^ ある。
第 8図は、 M P E G規格に基く符符号化ストリ一ムのシンタックスを示す図で ある。
第 9図は、 M P E G規格に基く符符号化ストリ一ムのシンタックスを示す図で ある。
第 1 0図は、 M P E G規格による符号化ビデオストリームのデータ構造をより わかりやすく説明するための図である。
第 1 1 A図及び第 1 1 B図は、 ピクチャ レイヤのユーザデ一タエリアに記述さ れるタイムコ一ド情報のデータ構造を示す図である。
第 1 2図は、 ピクチャレイヤのユーザデ一タエリアに記述される情報のデータ 識別コ一ドを示す図である。
第 1 3図は、 符号化ストリ一ムにタイムコ一ドを付加する第 1の方法を説明す るための説明図である。
第 1 4図は、 符号化ストリームにタイムコ一ドを付加する第 2の方法を説明す るための説明図である。
第 1 5図は、 M P E G規格によるオーディォエレメンタリストリ一ムのデ一夕 構造を示す説明図である。
第 1 6 A図及び第 1 6 B図は、 ビデオフレームとオーディオフレームとの位相 差を説明するための説明図である。
第 1 7図は、 A C 3規格による A C 3ストリームのデータ構造を示す説明図で ある。 発明を実施するための最良の形態
以下、 本発明の一実施の形態に係る符号化ストリ一ム生成装置及び符号化スト リ一ム生成方法について、 図面を参照して詳細に説明する。
第 1図は、 本発明の一実施の形態に係る符号化ストリーム生成装置を含むデジ タルデータ伝送システムの構成を示すプロック図である。 この第 1図に開示され たデジタルデータ伝送システムは、 送信システム 1と受信システム 2とその間の 伝走路 3とから構成されている。 実際にこのデジタルデータ伝送システムが運用 される場合には、 この送信システム 1と受信システム 2は様々な形態が考えられ 、 例えば、 送信システム 1が取材現場に配置された中継車である場合には、 受信 システム 2はメインまたは地方等の放送局であることが考えられる。 また、 送信 システム 1がメィン放送局である場合には、 受信システム 2は地方放送局である ことが考えられる。 以下に、 送信システム 1及び受信システム 2について詳細に 説明する。
送信システム 1は、 大きく分けて、 ベースバンドビデオデータ及びベースバン ドオーディオデータを処理し、 取扱うためのベースバンドシステム 1 Aと、 符号 化された符号化ストリ一ムを取扱う符号化システム 1 Bとから構成される。 尚、 ここで説明したベ一スパンドビデオデータ及びべ一スバンドォ一ディォデータと は、 圧縮符号化されていないデータのことである。
送信システム 1のベースバンドシステム 1 Aは、 取材現場においてビデオカメ ラ等によって撮影されたォリジナルソース素材が記録されたテープを受取り、 そ のテープからォリジナルソース素材を再生したり、 テープに情報を記録したりす るための VTR 1 2と、 ランダムアクセス可能な記録媒体を有し、 このランダム アクセス可能な記録媒体からオリジナルソース素材を再生したり、 記録媒体に情 報を記録したりするための A/Vサーバ 1 3と、 VTR 1 2におけるテープ及び AZVサーバ 1 3における記録媒体に記録されたオリジナルソース素材を使用し て編集リスト EDL (エディ ッ トデイシジョンリスト） を生成する編集機 1 4と 、 VTR 1 2から再生されたビデオデータ Dv 及びオーディオデータ DA 、 AZ Vサーバ 1 3から再生されたビデオデータ Dv 及びオーディオデータ DA をル一 ティ ングして、 所定のプロックに出力するためルータ 1 5とを備えている。
送信システム 1の符号化システム 1 Bは、 ォリジナルソース素材として供給さ れたビデオデータ Dv を MP E Gビデオ規格に従ってエンコード （符号化） して 、 ビデオエレメンタリストリーム （ビデオ E S) を出力するビデオエンコーダ 1 6と、 オリジナルソース素材として供給されたオーディォデ一タ DA を MP E G ォ一ディォ規格に従ってェンコ一ドして、 オーディォエレメンタリストリ一ム （ オーディオ E S) を出力するオーディオエンコーダ 1 7と、 オリジナルソース素 材として供給されたオーディオデータ DA を AC 3規格に従ってェンコ一ドして 、 プライべ一トエレメンタリストリ一ム （プライべ一ト E S) を出力する AC 3 エンコーダ 1 8と、 ビデオエンコーダ 1 6、 オーディオエンコーダ 1 7及び AC 3エンコーダから出力されたエレメ ンタリストリームをそれぞれバケツ トイ匕し、 バケツタイズドエレメ ンタリストリーム （P E S) をそれぞれ出力するバケツ夕 ィザ 1 9、 2 0、 2 1と、 このパケッタイザ 1 9、 2 0、 2 1からそれぞれ出力 されたバケツタイズドエレメ ンタリストリームを多重化することによって、 トラ ンスポ一トストリ一ム （TS) を生成する トランスポ一トストリ一ムマルチプレ クサ （TSMUX) 1 7とから構成される。
第 1図に示したデジタルデータ伝送システムは、 更に、 これらのベースバンド システム 1 A及び符号化システム 1 Bの各プロックを制御及び管理するための C PU 1 1を備えている。 この C PU 1 1は、 VTR 1 2又は AZVサーバ 1 3力、 ら再生されたビデオデータ及びオーディォデータの各フレームに対応付けられて いるタイムコード TCを受取り、 このタイムコード TCを所定のフォーマツ 卜に 変換して、 ビデオエンコーダ 1 6、 オーディオエンコーダ 1 7及び AC 3ェンコ ーダに供給する。
また、 第 1図に示した受信システム 3は、 符号化ス トリ一ムを処理し、 取り扱 う復号化システム 3 Aと、 復号化されたベ一スパンドビデオデータやべ一スバン ドオーディォデータを処理し、 取り扱うベ一スパンドシステム 3 Bとを備えてい 受信システム 3の復号化システム 3 Aは、 伝送メディァ 2を介して送信システ ム 1から伝送されたトランスポ一トストリームを受取り、 ビデオバケツタイズド エレメ ンタリストリーム （ビデオ PE S) とオーディオバケツタイズドエレメ ン タリストリーム （オーディオ PE S) とプライべ一卜バケツタイズドエレメ ンタ リスト リーム （プライベート PE S) とにデマルチプレクサする トランスポート ストリ一ムデマルチプレクサ （TSDEMUX) 3 2と、 このトランスポ一トス トリ一ムデマルチプレクサ 3 2より出力されるビデオバケツタイズドエレメ ンタ リストリーム、 ォ一ディォパケッタイズドエレメ ンタリストリーム及びプライべ ―トバケツタイズドエレメ ンタリストリームをそれぞれデバケツ トイ匕し、 ビデオ エレメ ンタリストリーム （ビデオ E S) 、 オーディオエレメ ンタリストリ一ム オーディオ E S) 及びプライべ一トエレメ ンタリストリ一ム （プライべ一ト E S ) を出力するデバケツタイザ 3 6、 3 7及び 3 8と、 このデバケツタイザ 3 6よ り出力されたビデオエレメンタリストリームをデコード （復号化） してべ一スバ ンドのビデオデータ Dv を出力するビデオデコーダ 3 6と、 デバケツタイザ 3 4 から出力されるオーディォエレメンタリストリ一ムをデコ一ドしてべ一スバンド のオーディオデータ DA を出力するオーディオデコーダ 3 7と、 デバケツタイザ 3 5から出力されるプライべ一トエレメンタリストリ一ムをデコ一ドしてベース バンドのオーディオデータ DA を出力する AC 3デコーダ 3 8とを備えている。 また、 受信システム 3のべ一スバンドシステム 3 Bは、 ビデオデコーダ 3 6か ら出力されたビデオデータ Dv と、 オーディオデコーダ 3 7から出力されたォ一 ディォデータ DA と、 A C 3デコーダ 3 8から出力されたオーディオデータ DA とを受取り、 所定の処理装置にルーティ ングするためのルータ 3 9と、 ルータ 3 9から出力されたビデオデ一タ Dv 及びオーディオデータ DA を受取り、 テープ 状の記録媒体に記録する VTR 4 0と、 ルータ 3 9から出力されたビデオデータ Dv 及びオーディオデータ DA を受取り、 ランダムアクセス可能な記録媒体に記 録する AZVサ一バ 4 1と、 VTR 4 0及び A/Vサーバ 4 1に格納されたビデ ォデータ Dv 及びオーディォデ一タ DA を編集するための編集機 4 2とを備えて いる。 また、 ビデオデコ一タ 3 6、 オーディオデコーダ 3 7及び A C 3デコーダ 3 8は、 それぞれ、 エレメンタリストリ一ムのシンタックスを解析することによ つて、 エレメンタリストリ一ム中に記述されているタイムコ一ド情報を抽出する 機能を有している。
さらに、 受信システム 3は、 復号化システム 3 A及びベースバンドシステム 3 B内の全てのブロックを制御及び管理するための C PU 4 2を備えている。 この C P U 4 2は、 ビデオデコ一タ 3 6、 オーディオデコーダ 3 7及び AC 3デコー ダ 3 8から出力されたタイムコ一ドデータ T Cを受取り、 そのタイムコード TC を編集機 4 2に供給する。
次に、 送信システム 1と受信システム 2の各回路について詳細に説明する。 VTR 1 2及び AZVサーバ 1 3には、 ォリジナルソース素材としてのベ: Z"ス バンドのビデオデータ及びオーディオデータが記録されている。 さらに、 その V TR 1 2及び A/Vサーバ 1 3に記録されたビデオデータ及びオーディオデータ は、 各フレーム毎にオリジナルタイムコードと関連付けられている。 つまり、 ビ デォデータ及びオーディォデータの各フレームには、 それぞれタイムコ一ドが付 与されているということである。
タイムコ一ドには、 LTC (Longitudinal Time Code / Linear Time Code ) と V I TC (Vertical Interval Time Code)の 2種類がある。 L T Cは、 テープ の長手方向に設けられたタイムコ一ドトラックに記録されたタイムコ一ドであつ て、 V I TCは、 映像信号の垂直ブランキング期間に揷入されたタイムコードで ある。 LTCにおいては、 シャ トル再生等のように再生ヘッ ドがテープに対して 高速アクセスしている場合には、 この LTCからタイムコ一ドを読み取ることが できるが、 スローやスチール再生等のように再生へッ ドがテープに対して超低速 にアクセスしている場合には、 この LTCからタイムコ一ドを読み取ることがで きなくなる。 これに対して、 V I TCにおいては、 再生へッ ドがテープに対して 超低速にアクセスしている場合には、 この V I TCからタイムコ一ドを読み取る ことができる力 再生へッ ドがテープに対して高速アクセスしている場合には、 V I T Cからタイムコードを読み取ることができない。 つまり、 LTC及び V I TC共に一長一短があるため、 通常は、 全く同じタイムコ一ドを LTC及び V I TCとしてテープ上に記録し、 テープを再生する際には LTC又は V I TCのい ずれかによつてタイムコ一ドを読み取るようにしている。
本発明の実施例においては、 VTR 12及び A/Vサーバ 13では、 共に LT Cと V I TCの 2種類のタイムコ一ドが所定のフォーマツ 卜で記録されており、 VTR 1 2及び A/Vサーバ 1 3からオリジナルビデオデータ及びオリジナルォ —ディォデータが再生される場合には、 そのオリジナルビデオデータ及びオリジ ナルォ一ディォデータに対応したタイムコ一ド TCが出力される。
編集機 1 4は、 VTR 1 2及び A/Vサーバ 1 3に記録されたォリジナルビデ ォデータ及びオリジナルオーディォデータにアクセスし、 ィン点ゃァゥ 卜点等の 編集点をオリジナルビデオデータ及びオリジナルオーディオデータに対して設定 する。 このイン点は編集開始点を示すタイムコードからなり、 アウト点は編集終 了点を示すタイムコ一ドからなる。 編集オペレータが必要と思われる所望のシ一 ンのみを選択するように、 この編集機 14を操作して複数の編集点をオリジナル ビデオデータ及びォリジナルオーディォデータに対して設定すると、 その設定さ れた編集点に従って編集リスト （EDL) が生成される。 この編集リストは、 設 定されたィン点のタイムコ一ド及びァゥト点のタイムコードに基く単なるタイム コ一ドのリストである。 尚、 AZVサーバ 1 3から出力されるビデオデータ Dv 及びオーディオデータ DA は、 この編集リストに従って編集されたビデオデータ 及びオーディォデータでは無く、 編集されていないオリジナルのビデオデータ及 びオーディオデータである。 本発明の実施例においては、 この編集機 1 4によつ て生成された編集リス卜に従って、 ォリジナルビデオデータ及びォリジナルオー ディォデータを編集し、 編集されたビデオデータ及び編集されたオーディォデー タを作成する編集処理は、 受信システム 3の編集機 42によって行われる。 ル一タ 1 5は、 VTR 1 2及び AZVサーバ 1 3から再生されたォリジナルビ デォデータ Dv 及びオリジナルオーディオデータ DA をルーティ ングして、 所定 のプロセッサに供給するための回路である。 例えば、 オリジナルビデオデータ D は、 ビデオエンコーダ 1 6に供給されるようにルーティ ングされ、 オリジナル オーディオデータ DA は、 オーディオエンコーダ 1 7又は AC 3エンコーダ 1 8 に供給されるようにルーティ ングされる。
ビデオエンコーダ 1 6は、 供給されたオリジナルビデオデータ Dv を MP EG 規格に従って圧縮符号化することによって符号化ストリ一ム （又はビデオエレメ ンタリストリームとも言う） を生成する回路である。 また、 ビデオエンコーダ 1 6は、 CPU 1 1から、 オリジナルビデオデータ Dv に対応したオリジナルタイ ムコード TCを各フレーム毎に受取り、 そのタイムコード TCを、 符号化ストリ —ムにおけるピクチャレイヤのユーザデータエリアに記述する。 符号化ストリー ムのどの場所にこのタイムコ一ド TCを記述するかについては詳しくは後述する オーディオエンコーダ 1 7は、 供給されたオリジナルオーディオデータ DA を MP E G規格に従って圧縮符号化することによって符号化オーディォストリ一ム (オーディオエレメンタリストリームとも言う） を生成する回路である。 また、— オーディオエンコーダ 1 7は、 CPU 1 1力ヽら、 オリジナルオーディオデータ D に対応したオリジナルタイムコード T Cを各フレーム毎に受取り、 そのタイム コード T Cを、 符号化ストリーム中に記述する。 符号化ストリームのどの場所に このォリジナルタイムコ一ドを記述するかについては詳しくは後述する。
A C 3エンコーダ 1 8は、 供給されたォリジナルオーディォデータ D A を A C 3規格に従って圧縮符号化することによって符号化プライべ一トストリーム （プ ライべ一 トエレメ ンタリストリームとも言う） を生成する回路である。 また、 A C 3エンコーダ 1 8は、 C P U 1 1から、 ォリジナルォ一ディォデ一タ D A に対 応したオリジナルタイムコ一ド T Cを各フレーム毎に受取り、 そのタイムコ一ド T Cを、 符号化ストリーム中に記述する。 符号化ストリームのどの場所にこのォ リジナルタイムコ一ドを記述するかについては詳しくは後述する。
バケツタイザ 1 9、 2 0及び 2 1は、 ビデオェンコーダ 1 6から出力されたビ デォエレメ ンタリス トリーム、 オーディオエンコーダ 1 7から出力されたオーデ ィォエレメ ンタリストリーム、 及び A C 3エンコーダ 1 7から出力されたプライ ベ一トエレメンタリストリ一ムをそれぞれ受取り、 D V B (デジタルビデオプロ ―ドキャスティ ング） において規格化されているバケツタイズドエレメ ンタリス トリ一ムの形態になるようにそれぞれバケツ ト化する。 バケツタイザ 1 9は、 ノ、。 ケッ ト化したビデオエレメンタリストリ一ムを、 ビデオパケタイズドエレメ ンタ リストリームとしてトランスポートストリームマルチプレクサ 2 2に出力し、 パ ケッタイザ 2 0は、 バケツ ト化したオーディオエレメ ンタリストリームを、 ォ一 ディォパケタイズドエレメ ンタリストリームとしてトランスポートス トリームマ ルチプレクサ 2 2に出力し、 パケッタイザ 2 1は、 パケッ ト化したプライベート エレメ ンタリストリ一ムを、 プライべ一トパケタイズドエレメ ンタリス トリ一ム としてトランスポ一トストリ一ムマルチプレクサ 2 に出力する。
トランスポ一トス トリームマルチプレクサ 2 2は、 ビデオバケツタイズドエレ メ ンタリス トリームとオーディォバケツタイズドエレメ ンタリス トリ一ムとブラ ィべ—トバケツタイズドエレメ ンタリストリームをそれぞれトランスポ一トス 卜 リ一ムパケッ 卜の単位に分解し、 そのトランスポ一トストリ一ムパケッ ト単位に 分解されたバケツ トをそれぞれ多重化することによってトランスポ一トスト '丄 ムを生成する。
トランスポ一トストリ一ムデマルチプレクサ 3 2は、 伝送メディァ 2を介して 伝送されたトランスポ一トス 卜リームを、 ビデオバケツタイズドエレメ ンタリス トリ一ムとォ一ディォパケッタイズドエレメ ンタリストリ一ムとプライべ一トパ ケッタイズドエレメ ンタリストリームとに分離 （デマルチプレクス） し、 ビデオ パケッタイズドエレメンタリス トリームをデパケッタイザ 3 3に出力し、 オーデ ィォパケッタイズドエレメ ンタリストリ一ムをォ一ディォデコーダ 3 7に出力し 、 プライべ一トバケツタイズドエレメンタリストリームを A C 3デコーダに出力 する。
デパケッタイザ 3 3は、 ビデオパケッタイズドエレメ ンタリストリ一ムをデパ ケッ トイ匕して、 ビデオエレメ ンタリストリ一ムをビデオデコーダ 3 6に出力し、 デバケツタイザ 3 4は、 オーディオバケツタイズドエレメ ンタリストリ一ムをデ バケツ トイ匕して、 オーディォエレメ ンタリストリームをォ一ディォデコーダ 3 7 に出力し、 デバケツタイザ 2 6は、 プライべ一トバケツタイズドエレメ ンタリス トリームをデバケツ トイ匕して、 プライべ一トエレメ ンタリストリームを A C 3デ コーダ 3 8に出力する。
ビデオデコーダ 3 6は、 まず、 供給されたビデオエレメ ンタリストリ一ムを復 号化する前に、 ビデオエレメ ンタリス ト リームのシンタックスを解析する。 符号 化ストリ一ムのシンタックスを解析することによって、 ストリ一ムのピクチャレ ィャゃマクロプロックレイヤをデータエレメ ントとしてストリ一ム中に記述され たピクチャタイプ、 予測モード、 動きベク トル、 量子化ステップ、 及び D C Tモ ―ド等の符号化パラメ一タを、 符号化ストリ一ム中から抽出する。 このように符 号化ス トリームのシンタックスを解析する理由は、 エンコーダにおける符号化処 理に対応した復号化処理を行なう必要があるからである。 本発明の実施例におい ては、 このように符号化ストリームのシンタックスを解析する際に、 ピクチャレ ィャのュ一ザデ一タエリアにピクチャ毎に記述されているタイムコ一ドを抽出す る。 ビデオデコーダ 3 6は、 ス ト リームから抽出された各種の符号化パラメータ に従って、 符号化ス ト リームを復号化し、 復号化されたビデオデータ D v をルー タ 3 9に供給する。 さらに、 ビデオデコーダ 3 6は、 符号化ストリーム中から抽 出したフレ一ム毎のタイムコ一ド T Cを C P U 3 1に供給する。
ォ一ディォデコーダ 3 7は、 まず、 供給されたオーディォエレメ ンタリストリ —ムを復号化する前に、 オーディォエレメンタリストリ一ムのシン夕ックスを解 析する。 このように、 符号化ストリームのシンタックスを解析することによって 、 ストリーム中に記述された符号化パラメ一タをストリーム中から抽出する。 本 発明の実施例においては、 この符号化ストリ一ムのシンタックスを解析する際に 、 符号化ストリ一ム中に記述されているタイムコ一ド情報をフレーム毎に抽出す る。 オーディオデコーダ 3 6は、 ストリームから抽出された符号化パラメ一夕に 従って、 符号化オーディオストリームを復号化し、 復号化されたオーディオデー タ D A をルータ 3 9に供給する。 さらに、 オーディォデコーダ 3 7は、 符号化ス トリ一ム中から抽出したフレーム毎のタイムコード T Cを C P U 3 1に供給する
A C 3デコーダ 3 8は、 まず、 供給されたプライべ一トエレメンタリストリー ムを復号化する前に、 プライべ一トエレメンタリストリ一ムのシンタックスを解 析する。 このように、 符号化ストリームのシンタックスを解析することによって 、 ストリーム中に記述された符号化パラメータをストリーム中から抽出する。 本 発明の実施例においては、 この符号化ストリ一ムのシンタックスを解析する際に 、 符号化スト リーム中に記述されているタイムコード情報を抽出する。 プライべ ―トデコーダ 3 6は、 ストリ一ムから抽出された符号化パラメータに従って、 符 号化プライべ一トストリ一ムを復号化し、 復号化されたオーディォデータ D A を ルータ 3 9に供給する。 さらに、 A C 3デコーダ 3 8は、 符号化ストリ一ム中か ら抽出したフレーム毎のタイムコ一ド T Cを C P U 3 1に供給する。
ビデオデコーダ 3 6、 オーディオデコーダ 3 7及び A C 3デコーダ 3 8から出 力されたべ一スバンドのビデオデータ D V 又はべ一スバンドのォ一ディォデータ D A は、 ルータ 3 9を介して V T R 4 0又は A Z Vサーバ 4 1に供給される。
C P U 3 1は、 ビデオデコーダ 3 6から出力されるビデオデータ D V の各フレ —ムに対応したタイムコード T Cを、 ビデオデコーダ 3 6から受取り、 オーディ ォデコーダ 3 7から出力されるオーディオデータ D A の各フレームに対応したタ ィムコード T Cを、 オーディオデコーダ 3 7カヽら受取り、 また、 A C 3デコ一—ダ 3 8から出力されるオーディオデータ D A の各フレームに対応したタイムコード T Cを、 A C 3デコーダ 3 8から受取る。 さらに、 C P U 3 1は、 ビデオデコー ダ 3 6、 オーディオデコーダ 3 7及び AC 3デコーダ 3 8から受取ったタイムコ ―ド TCに基づいて、 VTR 4 0又は AZVサーバ 4 1に供給されるべ一スバン ドのビデオデータ Dv 及びべ一スバンドのオーディオデータ DA に対応したタイ ムコード TCを、 VTR 4 0及び A/Vサーバ 4 1に供給する。
VTR 4 0又は A/Vサーバ 4 1は、 ルータ 3 9から供給されたべ一スバンド のビデオデータ Dv 及びベースバンドのオーディオデータ DA を記録媒体上に記 録する際に、 C PU 3 1から供給されたタイムコード TCとビデオデータ Dv 及 びオーディオデータ DA の各フレームとを関連付けて記録する。 例えば、 VTR 4 0において、 ビデオデータ Dv とオーディオデータ DA を、 テープ上に記録す る場合には、 C PU 3 1から供給されたタイムコ一ド TCに含まれる V I TCを 、 ビデオデータ Dv のブランキング区間に挿入して、 それをテープ上の傾斜トラ ックに記録すると共に、 C PU 3 1から供給されたタイムコード TCに含まれる LTCを、 テープ上の長手トラックに記録する。
従って、 VTR 4 0及び A/Vサーバ 4 1の記録媒体には、 送信システム 1の VTR 1 2の記録媒体及び A/Vサーバの記録媒体に記録されていたオリジナル ビデオデータ、 オリジナルオーディオ及びオリジナルタイムコードと、 全く同じ ビデオデータ、 オーディオ及びタイムコ一ドが記録されることになる。
編集機 4 2は、 送信システム 1の編集機 1 4から電話回線等によって伝送され た編集リストを受取り、 その編集リストに従って、 VTR 4 0及び AZVサーバ 4 2に記録されたビデオデータ Dv 及びオーディオデータ DA を編集する。 もち ろん、 送信システム 1の編集機 1 4から供給される編集リス卜がなかったとして も、 VTR 4 0及び A/Vサーバ 4 1の記録媒体には、 送信システム 1の VTR 1 2の記録媒体及び AZVサ-バの記録媒体に記録されていたォリジナルビデオ データ、 オリジナルオーディォ及びオリジナルタイムコ一ドと、 全く同じビデオ データ、 オーディオ及びタイムコードが記録されているので、 そのタイムコード を使用して送信システム 1の編集機 1 4における編集処理と同じ編集処理を行な うことができる。
以上のように、 従来の MP E Gを用いた伝送システムでは、 伝送された符号化 ストリームには各フレーム毎にタイムコ一ドが重畳されていなかったので、 符号 化ストリ一ムと共に受信側に各フレーム毎のタイムコ一ドを伝送することはでき なかったが、 第 1図に示されたデジタルデータ伝送システムによれば、 送信側に おいてオリジナル素材に付与されたオリジナルタイムコ一ドを符号化ストリーム において各フレーム毎に重畳するようにしたので、 受信側においてもオリジナル 素材に付与されていたオリジナルタイムコードを再現できる。 その結果、 送信側 においてォリジナル素材とそのォリジナル素材の各フレームに関連付けられたォ リジナルタイムコードが記録された記録媒体と全く同じタイムコ一ドが記録され た記録媒体を受信側において作成することができる。
従って、 受信側の記録媒体に記録されたオリジナルタイムコ一ドを使用すれば 、 送信側の編集処理と全く同じ編集処理を受信側においても実現することができ る。 また、 送信側の記録媒体と受信側の記録媒体とは全く同じ記録媒体であるの で、 送信側にいてォリジナル素材に対して生成された編集リストを使用すれば、 受信側においては自動的に編集処理を実行することができる。
第 2図は、 本発明の他の実施の形態に係るデジタルデータ処理システムの構成 を示すプロック図である。 第 1図において説明したデジタルデータ伝送システム と第 2図に開示されたデジタルデータ処理システムと異なる点は、 第 1図のデジ タル伝送システムでは、 受信システム 3側において、 伝送された符号化ストリー ムをデコードした後、 ベースバンドのビデオデータ及びベースバンドのォ一ディ ォデータを編集するようにしているのに対して、 この第 2図に開示されたデジ夕 ルデ一タ処理システムでは、 復号化されたベースバンドのビデオデータ及びォ一 ディォデータを編集するのでは無く、 符号化ストリームの状態で編集するように している点が異なる。
第 2図に示されたデジタルデータ処理システムは、 ベースバンドビデオデータ 及びべ一スバンドォ一ディォデータを処理し、 取り扱うためのベースバンドシス テム 5 0 Aと、 符号化された符号化ストリ一ムを取り扱う符号化システム 5 0 B とから構成される。
図 2に示されたデジタルデータ処理システムにおけるべ一スバンドシステム 5 0 Aは、 ランダムアクセス可能な記録媒体からベースバンドのォリジナル素材を 再生するための A Z Vサーバ 5 2と、 A Z Vサーバ 5 2の記録媒体に記録された オリジナル素材を使用して編集リスト E D Lを生成する編集機 5 3とを備えてい る 0
また、 第 2図に示されたデジタルデータ処理システムにおける符号化システム 5 0 Bは、 A/Vサーバ 5 2から再生されたべ一スバンドのビデオデータ DV を MP E G規格に基づいて符号化し、 ビデオエレメンタリストリ一ムを出力するビ デォエンコーダ 5 と、 AZVサーバ 5 2から再生されたべ一スバンドのオーデ ィォデータ DA を MP E G規格に基づいて符号化し、 オーディォエレメンタリス トリームを出力するオーディオエンコーダ 5 5と、 AZVサーバ 5 2から再生さ れたベースバンドのオーディオデータ DA を A C 3規格に基づいて符号化し、 ォ —ディォエレメンタリストリームを出力する A C 3エンコーダ 5 6と、 ビデオェ ンコーダ 5 4、 オーディオエンコーダ 5 5及び A C 3エンコーダ 5 6から出力さ れたエレメンタリストリ一ムのシンタックスをそれぞれ解析し、 エレメンタリス トリ一ム中に記述されたタイムコ一ド情報を抽出するストリ一ム解析部 5 7と、 ビデオエンコーダ 5 4、 オーディォエンコーダ 5 5及び A C 3エンコーダ 5 6か ら出力されたエレメンタリストリ一ムを、 それぞれランダムアクセス可能な記録 媒体に記録するストリームサーバ 5 9とを有している。
さらに、 第 2図に示されたデジタルデータ処理システムは、 これらのベースバ ンドシステム 5 0 A及び符号化システム 5 0 Bの各プロックを制御及び管理する ための C P U 5 1を備えている。 この C P U 5 1は、 A/Vサーバ 5 2から再生 されたビデオデータ及びオーディオデータの各フレームに対応付けられている夕 ィムコード T Cを受取り、 このタイムコード T Cを所定のフォーマツ トに変換し て、 ビデオエンコーダ 5 4、 オーディオエンコーダ 5 5及び A C 3エンコーダ 5 6に供給する。
A/Vサーバ 5 2には、 AZVサーバ 1 3と同じように、 オリジナルソース素 材としてのベースバンドのビデオデータ及びオーディォデータが記録されており 、 さらに、 ビデオデータ及びオーディオデータは、 各フレーム毎にオリジナルタ ィムコ一ドと関連付けられて記録媒体に記録されている。 また、 A/Vサーバ— 5— 2には、 共に L T Cと V I T Cの 2種類のタイムコードが所定のフォーマツ 卜で 記録されており、 AZVサーバ 5 2からオリジナルビデオデータ及びオリジナル オーディォデ一夕が再生される場合には、 そのォリジナルビデオデータ及びォリ ジナルオーディォデータの各フレームに対応したォリジナルタイムコ一ド T C力く 出力される。
編集機 5 3は、 A Z Vサーバ 5 2に記録されたオリジナルビデオデータ及びォ リジナルオーディォデータにアクセスし、 ィン点ゃァゥト点から構成される編集 点を、 オリジナルビデオデータ及びオリジナルオーディオデータに対して設定す る。 編集オペレータがこの編集機 1 4を操作することによって、 オリジナルビデ ォデータ及びォリジナルオーディォデータに対して、 編集オペレータが必要と思 われる所望のシーンのみを選択するように、 複数のィン点及びァゥト点によって 定義される編集区間を設定すると、 その設定したィン点及びァゥト点に従って編 集リスト （E D L ) が生成される。 尚、 A / Vサーバ 5 2から出力されるビデオ データ D v 及びオーディオデータ D A は、 この編集リストに従って編集されたビ デォデータ及びオーディォデータでは無く、 編集されていないォリジナルのビデ ォデータ及びオーディオデータである。 本発明の実施例においては、 この編集機 5 2によつて生成された編集リストに従つてォリジナルビデオデータ及びォリジ ナルオーディオデータを実際に編集し、 編集されたビデオデータ及び編集された オーディオを生成する編集処理は、 編集機 5 8によって行われる。
ビデオエンコーダ 5 4は、 供給されたオリジナルビデオデータ D v を M P E G 規格に従って圧縮符号化することによって符号化ストリーム （ビデオエレメンタ リストリームとも言う） を生成する回路である。 また、 ビデオエンコーダ 5 4は 、 C P U 5 1から、 オリジナルビデオデータ D v に対応したオリジナルタイムコ ―ド T Cを各フレーム毎に受取り、 そのタイムコ一ド T Cを、 符号化ストリ一ム のピクチャレイヤのデータエレメントとして記述する。 符号化ストリ一ムのどの 場所にこのオリジナルタイムコ一ドを記述するかについては詳しくは後述する。 オーディォエンコーダ 5 5は、 供給されたォリジナルオーディォデータ D A を M P E G規格に従つて圧縮符号化することによつて符号化ォ一ディォストリ： r Λ (オーディオエレメンタリストリームとも言う） を生成する回路である。 また、 オーディォエンコーダ 5 5は、 C P U 5 1から、 ォリジナルオーディォデータ D A に対応したオリジナルタイムコード T Cを各フレーム毎に受取り、 そのタイム コ一 ド T Cを、 符号化ストリ一ム中に記述する。
A C 3エンコーダ 5 6は、 供給されたオリジナルオーディオデータ D A を A C 3規格に従って圧縮符号化することによって符号化プライべ一トストリーム （プ ライべ一トエレメ ンタリストリ一ムとも言う） を生成する回路である。 また、 A C 3エンコーダ 5 6は、 C P U 5 1から、 オリジナルオーディォデータ D A に対 応したォリジナルタイムコ一ド T Cを各フレーム毎に受取り、 そのタイムコード T Cを、 符号化ス トリ一ム中に各フレーム毎に記述する。
ストリ一ム解析部 5 7は、 ビデオエンコーダ 5 4、 オーディォエンコーダ 5 5 及び A C 3エンコーダ 5 6からそれぞれ供給されたエレメ ンタリストリ一ムのシ ンタックスを解析する。 ストリーム解析部 5 7は、 それぞれ供給されたエレメ ン タリス トリ一ムのシンタックスを解析することによって、 ピクチャレイヤのュ一 ザデ一タエリアに記述されているタイムコ一ド情報をフレーム毎 （ピクチャ毎） に抽出する。 ス トリ一ム解析部 5 7は、 ストリ一ムサーバ 5 9に供給されるエレ メ ンタリストリームの各フレーム （ピクチャ） に対応するタイムコード T Cを編 集機 5 8に供給する。
編集機 5 8は、 ストリ一ムサーバ 5 9の記録再生タイミング及び記録媒体上に おけるデータの記録アドレスを管理するための機能を有している。 編集機 5 8は 、 ストリ一ム解析部 5 8によってエレメ ンタリストリ一ムから抽出されたタイム コ一ド T Cを受取り、 このタイムコ一ド T Cに対応した書込みァドレスを生成し 、 その書込みアドレスをストリームサーバ 5 9に供給する。 すなわち、 この編集 機 5 8は、 ストリームサーバ 5 9の記録媒体に記録された符号化ストリームと、 そのフレームに付与されているタイムコ一ドとを関連付けるためのテーブル状の メモリを有している。 従って、 このテーブルを参照することによって、 所望の夕 ィムコ一ドに対応する符号化ストリ一ムがストリ一ムサーバ 5 9における記録媒 体のどのアドレスに記憶されいるのかを判断することができる。 また、 編集機 5 8は、 ベースバンドシステム内の編集機 5 3から編集リストを受取り、 上述-した メモリ内の記録ァ ドレスとこの編集リス卜に基づいて、 ストリームサーバ 5 9の 再生を制御する。 具体的には、 編集リストによって指定されたイン点とアウト点 の区間のストリ一ムをス トリームサーバ 5 9から再生するようにストリ一ムサ一 バの記録再生を制御する。 従って、 ス トリームサーバ 5 9から出力された編集ス トリ一ムは、 編集機 5 3において生成された編集リス卜に対応したストリ一ムと なる。
以上のように、 第 2図に示されたデジタルデータ処理システムによれば、 ベー スバンドシステム 5 0 Aにおいて生成した編集リス卜に従って、 符号化ストリ一 ムをストリームの状態のまま編集することができる。 例えば、 第 1図に示された デジタルデータ伝送システムの A / Vサーバ 4 1から出力された編集されたビデ ォデータ及び編集されたオーディオデータを含んだ編集プログラムはべ一スバン ドデータであるので、 この編集プログラムを他の伝送路に伝送する場合には、 再 びこの編集プログラムを符号化する必要がある。 しかしながら、 第 2図に示され たデジタルデータ処理システムによれば、 ストリームサーバ 5 9から出力された 編集ストリームは符号化ストリームの状態のままであるので、 再度符号化処理す ること無く、 伝送媒体に伝送することができる。 よって、 第 2図に示されたデジ タルデータ処理システムによれば、 再符号化処理による画質劣化を防止すること ができるという効果を有している。
第 3図は、 ビデオエンコーダ 1 6、 5 6の構成の一例を示すブロック図である 。 このビデオエンコーダ 1 6、 5 6は、 ビデオエンコーダ内の全てのブロックを 制御及び管理するためのェンコ一ドコントロ一ラ 6 0と、 ベ一スパンドのビデオ データ D v を受取り、 符号化する順番に従ってピクチャ （ I ピクチャ （intra co ded picture , Ρヒクチャ predictive coded picture) ， Bヒクナヤ (bidi rectionally predictive coded picture) ) の順番を並べ替える画像並べ替え回 路 6 1と、 この画像並べ替え回路 6 1の出力データを入力し、 フレーム構造かフ ィ一ルド構造かを判別し、 判別結果に応じた走査変換及び 1 6 X 1 6画素のマク ロブロック化を行う走査変換 ·マクロブロック化回路 6 2と、 この走査変換 .マ クロブロック化回路 6 2の出力データに基づいて、 動きべク トルを検出して、 動 きべクトルデータを出力する動き検出回路 6 3と、 走査変換 ·マクロブロック化 回路 6 2の出力データと予測画像データとの差分をとる減算回路 6 4と、 この減 算回路 6 4の出力データに対して、 D C T (離散コサイン変換） ブロック単位で D C Tを行い、 D C T係数を出力する D C T回路 6 5と、 この0〇丁回路6 5の 出力データを量子化する量子化回路 6 6と、 この量子化回路 6 6の出力データを 可変長符号化する可変長符号化回路 6 7と、 この可変長符号化回路 6 7の出力デ —タを一旦保持し、 ビデオエレメンタリストリーム （E S ) として出力するバッ ファメモリ 6 8とを備えている。
ビデオエンコーダ 1 6、 5 4は、 さらに、 量子化回路 6 6の出力データを逆量 子化する逆量子化回路 6 9と、 この逆量子化回路 6 9の出力データに対して逆 D C Τを行う逆 D C Τ回路 7 0と、 この逆 D C T回路 7 0の出力データと予測画像 データとを加算して出力する加算回路 7 1と、 この加算回路 7 1の出力データを 保持し、 動きべク トルに基づいて動き補償を行って予測画像データを減算回路 6 4及び加算回路 7 1に出力する動き補償回路 7 2と、 可変長符号化回路 6 7から の発生ビッ ト量データに基づいて、 量子化回路 6 6における量子化特性を制御す ることによって目標符号量を制御するビッ トレ一トコントロール部 4 3とを備え ている。
画像並べ替え回路 6 1は、 ベースバンドのビデオデータ D v を受取り、 ェンコ —ダコントローラ 6 0の制御に従って、 符号化する順番に従ってピクチャの順番 の並べ替えを行なう。 ピクチャの順番が並べ替えられたデータは、 走査変換 ·マ クロブロック化回路 6 2に供給される。 走査変換 ·マクロブロック化回路 6 2は 、 供給されたデータの予測モ一ドに基づいてフレーム フィ一ルド等の走査変換 及びマクロブロック化が行われる。 動き検出回路 6 3は、 走査変換 ·マクロプロ ック化回路 6 2の出力デ一夕から動きべク トルを検出し、 その検出した動きべク トルデータを出力する。
供給されたビデオデータを I ピクチャとして符号化する場合には、 減算回路 6 4において予測画像データとの差分をとることなく、 走査変換 ·マクロプロック 化回路 6 2の出力データをそのまま D C T回路 6 5に入力して D C Tを行い、 量 子化回路 6 6によって D C T係数を量子化し、 可変長符号化回路 6 7に供給する 供給されたビデオデータを Pピクチヤとして符号化する場合には、 動き補償回 路 7 2によって、 保持している過去の I ピクチャまたは Pピクチャに対応する画 像データと動き検出回路 6 3からの動きべク トルとに基づいて予測画像データを 生成し、 予測画像データを減算回路 6 4及び加算回路 7 1に出力する。 また、 減 算回路 6 4によって、 走査変換.マクロブロック化回路 6 2の出力データと動き 補償回路 7 2からの予測画像データとの差分をとり、 D C T回路 6 5にょって13 C Tを行い、 量子化回路 6 6によって D C T係数を量子化し、 その量子化された データを可変長符号化回路 6 7に供給する。
供給されたビデオデータを Bピクチヤとして符号化する場合には、 動き補償回 路 7 2によって、 保持している過去及び未来の I ピクチャまたは Pピクチャに対 応する 2つの画像データと動き検出回路 6 3からの 2つの動きべク トルとに基づ いて予測画像データを生成し、 予測画像データを減算回路 6 4及び加算回路 7 1 に出力する。 また、 減算回路 6 4によって、 走査変換 ·マクロブロック化回路 6 2の出力データと動き補償回路 7 2からの予測画像データとの差分をとり、 D C T回路 6 5によって D C Tを行い、 量子化回路 6 6によって D C T係数を量子化 し、 量子化されたデータを可変長符号化回路 6 7に供給する。
エンコードコントローラ 6 0は、 ピクチャタイプ、 予測モード、 動きべク トル 、 量子化ステップ、 及び D C Tモード等の M P E G規格において定義されている 各種の符号化パラメータを可変長符号化回路 6 7に供給すると共に、 C P U 1 1 から供給されたタイムコ一ド T Cを可変長符号化回路 6 7に供給する。 この符号 化パラメータとは、 シーケンスレイヤ、 G O Pレイヤ、 ピクチャレイヤ、 スライ スレイヤ、 マクロブロックレイヤ、 及びプロックレイヤとして記述すべきデータ エレメ ントのことである。
可変長符号化回路 6 7は、 量子化回路 6 6において量子化されたデータを可変 長符号化すると共に、 その可変長符号化された符号化データとェンコ一ドコン卜 ローラ 6 0から供給された各種の符号化パラメータとに従って、 シ一ケンスレイ ャ、 G O Pレイヤ、 ピクチャレイヤ、 マクロブロックレイヤに適切なデータ及び データエレメ ン トを記述することによって、 符号化ストリームを生成する。 この 符号化ストリ一ムを生成する際に、 可変長符号化回路 6 7は、 ェンコ一ドコン b ローラ 6 0から供給されるタイムコ一ド T Cを、 ピクチャレイヤのユーザデータ エリアに記述することによって、 各ピクチャ毎にタイムコ一ド情報が付加 （重畳 ) された符号化ストリームを生成する。
以上のようにして、 オリジナルビデオデータに付随するォリジナルタイムコ一 ドが各フレーム毎に付加された符号化ビデオエレメンタリストリ一ムが生成され る。
第 4図は、 第 1図及び第 2図に示したオーディオエンコーダ 1 7、 5 5の構成 の一例を示すブロック図である。 このオーディオエンコーダ 1 7、 5 5は、 ベー スバンドのオーディオデータ D A を入力し、 3 2帯域のサブバンド信号に分割し て出力するサブバンド分析フィルタバンク 8 1 と、 このサブバンド分析フィルタ バンク 8 1の各出力信号を量子化する線形量子化器 8 2と、 この線形量子化器 8 2の各出力信号に基づいて、 符号化されたオーディォデータを生成すると共に、 この符号化されたオーディオデータに、 C R C (巡回冗長チヱック） のためのェ ラ一チヱックや、 後述する符号化されたサイ ド情報や、 C P U 1 1からのタイム コードデータ T C等を付加して、 所定のデータ構造のビッ トストリ一ムを形成し 、 オーディォエレメンタリストリーム （E S ) として出力するビッ トストリ一ム 形成部 8 3とを備えている。
オーディオエンコーダ 1 7、 5 5は、 更に、 入力されるオーディオデータ D A を高速フーリエ変換 （F F T ) する F F T部 8 4と、 サブバンド分析フィルタバ ンク 8 1の各出力信号よりスケールファクタを抽出するスケールファクタ抽出部 8 5と、 F F T部 8 4の出力信号とスケールファクタ抽出部 8 5によって抽出さ れたスケールファクタとを用いて、 心理聴覚分析のための心理聴覚モデルを形成 する心理聴覚モデル形成部 8 6 と、 この心理聴覚モデル形成部 8 6によって形成 された心理聴覚モデルに基づいて、 動的にビッ ト割り当てを行い、 ビッ ト害 ljり当 て情報を線形量子化器 8 2に与えて、 線形量子化器 8 2における量子化特性を制 御する動的ビッ ト割当部 8 7 と、 スケールファクタ抽出部 8 5によって抽出され たスケールファクタ及び動的ビッ ト割当部 8 7からのビッ ト割り当て情報を、 サ ィ ド情報として符号化し、 符号化されたサイ ド情報をビッ トストリ一ム形成部 8 3に与えるサイ ド情報符号化部 8 8とを備えている。 —―― サブバンド分析フィルタバンク 8 1は、 供給されたべ一スバンドのオーディオ データ D A を受取り、 このオーディオデータ D A を 3 2帯域のサブバンド信号に 分割し、 このサブバンド信号を、 線形量子化器 8 2に出力する。 また、 F F T部 8 4は、 供給されたべ一スバンドのォ一ディォデータ D A を受取り、 オーディオ データ D A を高速フーリエ変換し、 そのフーリエ変換された信号を心理聴覚モデ ル形成部 8 6に供給する。
スケールファクタ抽出部 8 5は、 サブバンド分析フィルタバンク 8 1の各出力 信号からスケールファクタを抽出し、 その抽出したスケースファクタ情報を心理 聴覚モデル形成部 8 6に供給する。 心理聴覚モデル形成部 8 6は、 F F T部 8 4 からの出力信号とスケールファクタ抽出部 8 5によって抽出されたスケールファ クタ情報とを用いて、 心理聴覚分析のための心理聴覚モデルを形成する。
動的ビッ ト割当部 8 7は、 この心理聴覚モデル形成部 8 6によって生成された 心理聴覚モデルに基づいて、 動的にビッ ト割り当てが行われ、 線形量子化器 8 2 における量子化特性を制御するための制御信号を生成する。 線形量子化器 8 2は 、 動的ビッ ト割当部 8 7からの量子化特性制御信号によって量子化特性が制御さ れる。 この線形量子化器 8 2の出力信号は、 ビッ トストリーム形成部 8 3に供給 される。
サイ ド情報符号化部 8 8は、 スケールファクタ抽出部 8 5によって抽出された スケールファクタ及び動的ビッ ト割当部 8 7からのビッ ト割り当て情報を、 サイ ド情報として符号化し、 ビッ トストリ一ム形成部 8 3に供給する。
ビッ トストリーム形成部 8 3は、 線形量子化器 8 2の各出力信号を使用して、 符号化されたオーディォデータが生成されると共に、 この符号化されたオーディ ォデータに、 エラ一チヱックや、 サイ ド情報符号化部 8 8によって符号化された サイ ド情報を付加する。 さらに、 このビッ トストリーム形成部 8 3は、 この符号 化されたオーディオデータに、 C P U 1 1からのタイムコ一ドデータ T C等を付 加し、 所定のデータ構造のビッ トストリームを形成する。 このようにして、 タイ ムコ一ドが付加されたオーディォェレメンタリス卜リ一ムが生成される。
第 5図は、 第 1図及び第 2図に示した A C 3エンコーダ 1 8、 5 9の構成の一 例を示すブロック図である。 この A C 3エンコーダ 1 8、 5 9は、 ベースバン のオーディオデータ D A を受取り、 周波数領域に変換して、 指数部と仮数部から なる周波数係数を出力する周波数領域変換部 9 1を備えている。 周波数係数の指 数部は、 オーディオデータのスぺク トラルエンベロープ （Spectral envelope ) を示している。 A C 3エンコーダ 1 8、 5 9は、 更に、 周波数領域変換部 9 1よ り出力される周波数係数の指数部を符号化するスぺク トラルェンベロ一プ符号化 部 9 2と、 周波数領域変換部 9 1より出力される周波数係数の仮数部を量子化す る量子化部 9 3と、 スぺク トラルエンベロープ符号化部 9 2の出力データに基づ いてビッ ト割り当てを行い、 ビッ ト割り当て情報を量子化部 9 3に与えて、 量子 化部 9 3における量子化特性を制御するビッ ト割当部 9 4と、 スぺク トラルェン ベロ一プ符号化部 9 2の出力データ及び量子化部 9 3の出力データに、 C P U 1 1からのタイムコードデータ D TC等を付加して、 これらによって、 所定のデータ 構造のビッ トストリ一ムを形成し、 プライべ一トエレメンタリストリーム （E S ) として出力するビッ トストリーム形成部 9 5とを備えている。
周波数領域変換部 9 1は、 供給されたべ一スバンドのオーディオデータ D A を 、 周波数領域に変換すると共に、 その周波数領域に変換されたデータを指数部と 仮数部からなる周波数係数に分解し、 周波数係数の仮数部を量子化部 9 3に出力 し、 周波数係数の指数部をスぺク トラルエンベロープ符号化部 9 2に出力する。 スぺク 卜ラルエンベロープ符号化部 9 2は、 周波数領域変換部 9 1から供給さ れた周波数係数の指数部を符号化し、 その符号化されたデータを、 ビッ ト割当部 9 4とビッ トストリ一ム形成部 9 5とに出力する。
量子化部 9 3は、 周波数領域変換部 9 1から供給された周波数係数の仮数部を 量子化し、 その量子化したデータを、 ビッ トストリーム形成部 9 5に出力する。 ビッ ト割当部 9 は、 スぺク トラルエンベロープ符号化部 9 2の出力データに 基づいてビッ ト割り当てを行い、 ビッ ト割り当て情報を量子化部 9 3に与える。 このビッ ト割当部 9 4からのビッ ト割り当て情報に基づいて量子化部 9 3におけ る量子化特性が制御される。
ビッ トストリ一ム形成部 9 5は、 C P U 1 1からタイムコードデータ T Cを受 取り、 スぺク トラルエンベロープ符号化部 9 2の出力データ及び量子化部 9 3の 出力データに、 そのタイムコードデータ T Cを付加する。 これらによって、 所定のデータ構造のビッ トストリ一ムが形成され、 プライべ —トエレメンタリストリーム （E S ) として出力される。 このようにして、 タイ ムコ一ドが付加されたプライべ一トェレメンタリストリ一ムが生成される。
次に、 M P E G規格に基づいて符号化された符号化ストリ一ムに対してタイム コ一ドを付加したときの符号化ストリームの構造について説明する。
第 6図は、 M P E Gのビデオストリ一ムのシンタックスを表わした図である。 ビデオエンコーダ 1 6、 5 4は、 この図に示されたシンタックスに従った符号化 ス トリームを生成すると共に、 ビデオデコーダ 3 6は、 この図に示されたシン夕 ックスに従って符号化ストリームを解析することによって、 符号化ビッ トストリ —ムから意味のある複数のデータ項目 （データエレメント） を抽出する。 図では 、 以下に説明するシンタックスのうち、 関数や条件文は細活字で表わされ、 デ一 タエレメントは、 太活字で表されている。 データ項目は、 その名称、 ビッ ト長及 びそのタイプ ·伝送順序を示す二一モニック （Mnemonic) で記述されている。 まず、 この第 6図に示されているシンタックスにおいて使用されている関数に ついて説明する。 実際には、 この第 6図に示されているシンタックスは、 ビデオ デコーダ側において伝送された符号化ストリームから所定の意味のあるデータを 抽出するために使用されるシン夕ックスである。 ビデオエンコーダ側において使 用されるシンタックスは、 第 6図に示されたシンタックスから if文や while文等 の条件文を省略したシンタックスである。
video sequesceOにおいて最初に記述されている next_start— code( ) 関数は、 ビッ トストリ一ム中に記述されているスタートコ一ドを探すための関数である。 この第 6図に示されたシンタックスに従って生成された符号化ストリ一ムには、 まず展初に、 sequence header () 関数と sequence extension()¾致によって定義 されたデータエレメントが記述されている。 この sequence— header〇 関数は、 M P E Gビッ トストリームのシーケンスレイヤのヘッダデータを定義するための関 数であって、 sequence— extensionO関数は、 M P E Gビッ トストリ一ムのシ一ケ ンスレイヤの拡張データを定義するための関数である。 „— - sequence— extension〇関数の次に配置されている do {} while構文は、 whil e 文によって定義されている条件が真である間、 do文の {} 内の関数に基づいて 記述されたデータエレメン卜が符号化デ一タストリ一ム中に記述されていること を示す構文である。 この while文に使用されている nextbits〇関数は、 ビッ トス トリ一ム中に記述されているビッ ト又はビッ ト列と、 参照されるデータエレメン トとを比較するための関数である。 この第 6図に示されたシンタックスの例では 、 nextbits〇関数は、 ビッ トストリ一ム中のビッ ト列とビデオシーケンスの終わ りを示す sequence end code とを比較し、 ビッ トストリ一ム中のビッ ト歹 ijと sequ ence一 end code とが一致しないときに、 この while文の条件が真となる。 従って 、 sequence一 extension〇関数の次に配置されている do {} while構文は、 ビッ トストリ一ム中に、 ビデオシーケンスの終わりを示す sequence— end— code が現れ ない間、 do文中の関数によって定義されたデータエレメントが符号化ビッ トス卜 リーム中に記述されていることを示している。
符号化ビッ トストリ一ムにおいて、 sequence一 extension〇関数によって定義さ れた各デ一タエレメン卜の次には、 extension— and一 user— data(O)関数によって定 義されたデ一タエレメン卜が記述されている。 この extension— and— user— data(O) 関数は、 M P E Gビッ トストリ一ムのシーケンスレイヤにおける拡張データとュ —ザデータを定義するための関数である。
この extension— and— user— data(O)関数の次に配置されている do {} while構 文は、 while 文によって定義されている条件が真である間、 do文の {} 内の関数 に基づいて記述されたデータエレメントが、 ビッ トストリ一ムに記述されている ことを示す関数である。 この while 文において使用されている nextbitsO関数は 、 ビッ トストリ一ム中に現れるビッ ト又はビッ ト歹 ijと、 picture— start— code又は group— start— codeとの一致を判断するための関数であって、 ビッ トストリーム中 に現れるヒッ 卜又はビッ 卜歹 'Jとヽ picture start code又は group— start codeと力く 一致する場合には、 while文によって定義された条件が真となる。 よって、 この do {} while 構文は、 符号化ビッ トストリーム中において、 picture_start— code 又は group— start— codeが現れた場合には、 そのスタートコードの次に、 do文中の 関数によって定義されたデータエレメン卜のコ一ドが記述されていることを示し ている。
この do文の最初に記述されている if文は、 符号化ビッ 卜ストリーム中に group —start— code が現れた場合、 という条件を示している。 この if文による条件は真 である場合には、 符号化ビッ トストリーム中には、 この group— start— codeの次に group of picture— header O 関数及び extension and user data (： u関数によって 定義されているデータエレメントが順に記述されている。
この group— of_picture—header〇 関数は、 M P E G符号化ビッ トストリ一ムの G O Pレイヤのヘッダデータを定義するための関数であって、 extension— and一 us er— data(l)関数は、 M P E G符号化ビッ トストリ一ムの G O Pレイヤの拡張デ一 夕及びユーザデータを定義するための関数である。
さらに、 この符号化ビッ トストリームにおいて、 group— of— picture_header〇 関数及び extension— and_user一 data( 1 )関数によつて定義されているデータエレメ ン卜の次には、 icture headerO関数と picture一 coding extensionO関数によつ て定義されたデータエレメントが記述されている。 もちろん、 先に説明した if文 の条件が真とならない場合には、 group— of— picture— header〇関数及び extensio n一 andjiser— data(l)関数によって定義されているデ一タエレメントは記述されて いないので、 extension— and— user data(O) 関数によって定義されているデータ エレメ ン卜の次にヽ picture headerO a picture coding extensionO関数及 び extension一 and— user— data(2)関数によって定義されたデータエレメン卜が記述 されている。
この picture— header〇関数は、 M P E G符号化ビッ トストリ一ムのピクチャ レ ィャのヘッダァ一タ 定義するための関数であって、 icture coding extension 〇関数は、 M P E G符号化ビッ トストリ一ムのピクチャ レイヤの第 1の拡張デ一 夕を定義するための関数である。 extension— and一 user一 data(2)関数は、 M P E G 符号化ビッ トストリ一ムのピクチャレイヤの拡張データ及びユーザデータを定義 するための関数である。 この extension— and— user_data(2)関数によつて定義され るユーザデータは、 ピクチャレイヤに記述されているデータであって、 各ピクチ ャ毎に記述することのできるデータであるので、 本発明においては、 この extens ion一 and一 user— data(2)関数によって定義されるユーザデータとして、 タイム； ド情報を記述するようにしている。
符号化ビッ トストリ一ムにおいて、 ピクチャレイヤのユーザデータの次には、 picture一 data〇関数によって定義されるデータエレメントが記述されている。 こ の picture— data〇関数は、 スライスレイヤ及びマクロブロックレイヤに関するデ —タエレメントを記述するための関数である。
この picture一 data〇関数の次に記述されている while文は、 この while文によ つて定義されている条件が真である間、 次の if文の条件判断を行うための関数で ある。 この while 文において使用されている nextbitsO関数は、 符号化ビッ トス 卜リ一ム中に、 picture— start code又は group start code力く d述されてレヽるカヽ否 かを判断するための関数であって、 ビッ トストリ一ム中に picture— start— code又 は group— start— codeが記述されている場合には、 この while 文によって定義され た条件が真となる。
次の if文は、 符号化ビッ トストリ—ム中に sequence一 end一 code が記述されてい るか否かを判断するための条件文であって、 sequence— end— code が記述されてい ないのでめれば、 sequence header 0 関数と sequence extensionOfe效とによつ て定義されたデータエレメン卜が記述されていることを示している。 sequence_e nd code は符号化ビデオストリ一ムのシ一ケンスの終わりを示すコ一ドであるの で、 符号化ストリ一ムが終了しない限り、 符号化ストリ一ム中には sequence— hea der() 関数と sequence— extension〇関数とによって定義されたデータエレメン卜 が記述されている。
この sequence header () 関数と sequence extension( )関数によって g己述されこ データエレメントは、 ビデオストリ一ムのシ一ケンスの先頭に記述された sequen ce header 0 関数と sequence extension()関数によって己; ^されたテ一タエレメ ントと全く同じである。 このように同じデータをストリ一ム中に記述する理由は 、 ビッ トストリ一ム受信装置側でデ一タストリームの途中 （例えばピクチャレイ ャに対応するビッ トストリ一ム部分） から受信が開始された場合に、 シーケンス レイヤのデータを受信できなくなり、 ストリームをデコ一ドできなくなることを 防止するためである。
この最後の sequence header u 関数と sequence extensionO関数とによって定 義されたデータエレメントの次、 つまり、 デ一タストリームの最後には、 シ一ケ ンスの終わりを示す 3 2ビッ トの sequence end code が記述されている。 以下、 sequence— headerO 関数、 sequence— extensionO関数、 extension一 and _user_data(0) 関数ヽ group— of— picture header 0 関数及び extension一 and一 user — data(l)関数について詳細に説明する。
sequence— header () 関数によって定義されたデ一タエレメントは、 sequence— h eader— codeヽ sequence— header present_f lag horizontal size value 、 vertic al— size— value、 aspect一 ratio— information、 frame— rate— code 、 bit一 rate— val ue、 marker— bit、 丽— buffer— size— value、 constrained— parameter一 flag、 load _intra_quantizer_matrix、 intra— quantizer matrixヽ load— non— intra auantiz er matrix 、 及び non— intra— quantizerjnatrix等である 0
sequence header codeは、 シーケンスレイヤのスタ一ト同期コ一ドを表すデ一 タでめる。 sequence header present ； lagは、 sequence header 内のテ一夕が有 効か無効かを示すデータである。 horizontal_size— valueは、 画像の水平方向の 画素数の下位 12ビッ 卜から成るデータである。 vertical一 size— value は、 画像の 縦のラィン数の下位 12ビッ 卜からなるデ一タである。 aspect— ratio— information は、 画素のァスぺク ト比 （縦横比） または表示画面ァスぺク ト比を表すデータで ある。 frame— rate— code は、 画像の表示周期を表すデータである。 bit— rate— val ueは、 発生ビッ ト量に対する制限のためのビッ ト · レートの下位 18ビッ ト（400bs P単位で切り上げる） データである。 marker— bitは、 スタートコ一ドエミュレ一 シヨンを防止するために挿入されるビッ トデータである。 VBV— buffer— size— valu e は、 発生符号量制御用の仮想バッファ （ビデオバッファべリファイャ一） の大 きさを決める値の下位 10ビッ トデータである。 constrained— parameter— flagは、 各パラメ一タが制限以内であることを示すデ一タである。 load一 intra— quantizer —matrix は、 ィントラ M B用量子化マトリ ックス .データの存在を示すデータで ある。 intra quantizer matrixは、 ィントラ M B用量子ィ匕マトリックスの値を示 すデータである。 load non intra quantizer matrix は、 非イントラ M B用量子 ィ匕マ卜リ ックス ·ァ一夕の存在を示すデータである 匪— intra— quantizer matr ixは、 非ィントラ M B用量子化マトリッタスの値を表すデータである。 ―― sequence extensionO関数によって疋義されたァ一タエレメントとは、 extens ion start code、 extension start code identifier、 sequence— extension pre sent— flag 、 profile— and— level—indicatioru progressive— sequenceヽ chroma一 f ormat 、 horizontal— size— extension 、 vertical— size— extension 、 bit— rate— e xtensioru vbv— buffer— size extension ヽ low— delay ヽ frame一 rate extension n ヽ 及び frame— rate— extension— d等のデ一タエレメン卜である 0
extension— start— codeは、 ェクステンションデータのスタート同期コ一ドを表 すデータである extension start code identifier は、 どの te テ一夕が送ら れるかを示すデータである sequence— extension— present— flag は、 シーケンス ェクステンション内のデータが有効であるか無効であるかを示すスデータである proiile_and— level— indicationは、 ビデオデータのプロファイルとレベルを指 定するためのデータである。 progressive— sequenceは、 ビデオデータが順次走査 であることを示すデータである。 chroma— format は、 ビデオデータの色差フォー マツ 卜 指定するためのテ一タである。 horizontal size extension は、 シ一ケ ンスヘッダの horizntal size valueにカロ; る上位 2ヒッ 卜の 一夕である。 vert ical size extension は、 シーケンスへッタの vertical size value にカロんる上 位 2 ビッ 卜のデータである。 bit— rate— extensionは、 シーケンスヘッダの bit— ra te valueに力 tlえる上位 1 2ヒッ 卜の： r—タである。 vbv buffer size extension は、 シーケンスヘッダの vbv— buffer— size— value に加える上位 8ビッ 卜のデータ である。 low— delay は、 Bピクチャを含まないことを示すデータである。 frame rate extension n はヽ シーケンスヘッダの frame— rate— code と組み合わせてフ レ一ムレ一トを得るためのデ一夕である。 frame— rate— extension— dは、 シ一ケン スへッダの frame— rate— code と組み合わせてフレ一ムレ一トを得るためのデ一夕 である。
extension— and user data i 関数は、 ι i」 力 2 以外のときは、 extension da ta〇関数によって定義されるデータエレメントは記述せずに、 user_data( ) 関数 によって定義されるデータエレメントのみを記述する。 よって、 extension— and一 user— data(O)関数は、 user— dataO 関数によって定義されるデータエレメ ン トの みを言己述する。 一― group一 of—picture— headerO 関数によって定義されたデータエレメン卜は、 gr oup start codeヽ group of picture header— present flagヽ time— code 、 closed — gop、 及び broken一 link から構成される 0
group— start— codeは、 G 0 Pレイヤの開始同期コードを示すデータである。 gr oup of picture header— present flagはヽ group of picture header 内のァ一タ エレメントが有効であるか無効であるかを示すデータである。 time一 code は、 G 0 Pの先頭ピクチャのシ一ケンスの先頭からの時間を示すタイムコ一ドである。 closed— gopは、 G 0 P内の画像が他の G 0 Pから独立再生可能なことを示すフラ グデータである。 broken— link は、 編集などのために G 0 P内の先頭の Bピクチ ャが正確に再生できないことを示すフラグデータである。
extension and—user data(l)関数は、 extension and user data(O 関数と同じ ように、 user一 dataO 関数によって定義されるデ一夕エレメントのみを記述する ための関数である。
次に、 符号化ストリ一ムのピクチャレイヤに関するデータエレメントを記述す るための picture headerり関数ヽ picture coding extensionO関数ヽ extensions — and— user— data(2) 及び picture— data〇について説明する。
picture— headerO関数によって定義されたデータエレメントは、 picture— star t code temporal— reference icture coding type vbv— delay full pel f orward— vector forward f code full pel— backward— vector backward— f— cod e extra— bit— picture ヽ 及び extra— information— picture である。
具体的には、 picture— start— codeは、 ピクチャレイヤの開始同期コードを表す データである。 temporal— referenceは、 ピクチャの表示順を示す番号で G 0 Pの 先頭でリセッ トされるデータである。 picture— coding— type は、 ピクチャタイプ を示すデータである。 vbv— delay は、 ランダムアクセス時の仮想バッファの初期 状態を示すデータである。 full— pel— forward— vector は、 順方向動きべク トルの 精度が整数単位か半画素単位かを示すデータである。 forward一 f— codeは、 順方向 動きべク トル探索範囲を表すデータである。 full— pel— backward一 vectorは、 逆方 向動きべク トルの精度が整数単位か半画素単位かを示すデータである。 backward — f— code は、 逆方向動きべク トル探索範囲を表すデータである。 extra_bit_pic± ure は、 後続する追加情報の存在を示すフラグである。 この extra— bit一 picture が 「1」 の場合には、 次に extra information picture 力く存在し、 extra bit pi cture 力 「0」 の場合には、 これに続くデータが無いことを示している。 extra— information—picture は、 規格において予約された情報である。
この picture— coding— extensionO関数によって定義されたデータエレメントと は、 extension start code、 extension start code identifier、 f code [0] [0] 、 f code [0] [l]、 f— code [l] [0]、 f— code [l] [1]、 intra_dc_precision> picture— structure、 top一 field— first、 frame— predictive— frame—dct、 concealment— mo tion一 vectors、 q— scale type、 intra— vie— forma；、 alternate一 scan、 repeat fir st field、 chroma_ 20 type、 progressive— frame、 composite— display— flag、 v_axiSs field— sequence、 sub— carrier、 burst— amplitude ヽ 及び sub carrier— phase カヽら構成される 0
extension start— codeは、 ピクチャレイャのェクステンショ ンデ一夕のスタ一 トを示す開始コードである。 extension— start— code identifier は、 どの拡張デ —夕が送られるかを示すコードである。 f— code [0] [0]は、 フォワード方向の水平 動きべク トル探索範囲を表すデータである。 f— code [0] [l]は、 フォワード方向の 垂直動きべク トル探索範囲を表すデータである。 f— code [l] [0]は、 バックワード 方向の水平動きべク トル探索範囲を表すデータである。 f— code [l] [l]は、 バック ワード方向の垂直動きべク トル探索範囲を表すデータである。 intra— dc—precisi onは、 D C係数の精度を表すデータである。 picture— structure は、 フレームス トラクチャかフィ一ルドストラクチャかを示すデータである。 フィ一ルドストラ クチャの場合は、 上位フィ一ルドか下位フィ一ルドかも併せて示すデータである top— field— first は、 フレームストラクチャの場合、 最初のフィールドが上位 か下位カヽを示すテ一夕である frame一 predictive frame dctは、 フレーム · ス卜 ラクチャの場合、 フレーム · モ一ド D C Tの予測がフレーム · モードだけである こと ¾:不すァ一夕である concealment motion vectorsはヽ ン卜ラマクロブロ ックに伝送エラ一を隠蔽するための動きべク トルがついていることを示すデータ である。 q— scale一 typeは、 線形量子化スケールを利用するか、 非線形量子化スケ —ルを利用するかを示すデータである。 intra_vlc— formatは、 イントラマク ブ ロックに、 別の 2次元 V L Cを使うかどうかを示すデータである。 alternate— sc anは、 ジグザグスキヤンを使う力、、 オルタネ一ト ·スキヤンを使うかの選択を表 すデータである。 repeat— first— fieldは、 2 ： 3プルダウンの際に使われるデ一 タである。 chroma— 420— type は、 信号フォーマツ 卜が 4 ： 2 ： 0の場合には、 次 の progressive— frame と同じ値であり、 そうでない場合は 0を表すデータである progressive— frame は、 このピクチャ力^ 順次走査でできているかどうかを示 すデータである。 composite— display— flagは、 ソ一ス信号がコンポジッ ト信号で あつたかどうかを示すデータである。 V一 axisは、 ソース信号が、 P A Lの場合に 使われるデータである。 field— sequenceは、 ソース信号が、 P A Lの場合に使わ れるデータである。 sub— carrier は、 ソース信号が、 P A Lの場合に使われるデ —夕である。 burst— amplitude は、 ソース信号が、 P A Lの場合に使われるデ一 タである。 sub— carrier— phase は、 ソース信号が、 P A Lの場合に使われるデ一 夕である。
extension— and— user— data( 2)関数は、 第 7図に示したように、 符号化ビッ トス トリ一ム中にエクステンションスタ一トコ一ド extension— start_codeが存在する 場合には、 extension_data〇関数によって定義されるデータエレメン卜が記述さ れている。 但し、 ビッ トストリ一ム中にェクステンションスタートコ一ドが存在 しない場合には extension— data() 関数によって定義されるデータエレメントは ビッ トストリ一ム中には記述されていない。 この extension— dataO関数によって 定義されているデータエレメン卜の次には、 ビッ トストリ一ム中にユーザデータ スタートコード user— data— start_codeが存在する場合には、 user— data〇 関数に よって定義されるデータエレメン卜が記述されている。
user dataO 関数は、 第 8図に不されたよつに、 user data— start code、 time — code〇 関数、 user— data等のデータエレメントを記述するための関数である。 user— data— start— codeは、 M P E Gビッ トストリ一ムのピクチャレイヤのュ一 ザデ一タエリアの開始を示すためのスタートコ一ドである。 この user— data— star t— codeの次に記述されている while構文は、 符号化ビッ トストリーム中に、 2 3 個の ' 0 ' とそれに続く ' Γ から構成される 2 4ビッ トのデータが現れない J艮 り真となる。 この 2 3個の ' 0 ' とそれに続く ' Γ から構成される 2 4ビッ ト のデータは、 全てのスタートコ一ドの先頭に付与されるデータであって、 全ての スタートコ—ドは、 この 2 4ビッ 卜の後ろに設けられることによって、 符号化ビ ッ トストリ一ム中において各スタートコ一ドの位置を見つけることができる。 time一 codeO 関数は、 タイムコードを記述するための関数である。 具体的には 、 第 9図に示されるように、 time— code〇 関数によって記述されるデータエレメ ントは、 ピクチャレイヤのユーザデ一タエリアにおいてタイムコ一ドが記述され ている位置を認識するためのスタートコ一ドを示す time— code— start— codeと、 そ のスタートコ一ドに続くデータの識別コ一ドを示す data—IDと、 そのデータ識別 コ一ドに対応するタイムコ一ドデ一タ等である。
本発明の特徴である time一 codeO 関数においては、 第 1 1 A図及び第 1 1 B図 に示されるように、 このデータ識別コ一ド data— ID が V I T Cを示す識別コ一ド であれば、 その次には 7 2ビッ トの V I T Cが記述され、 また、 このデータ識別 コ一ド data— ID が V I T Cを示す識別コ一ドであれば、 その次には 7 2ビッ トの L T Cが記述されるようになっている。 尚、 この time— codeO 関数によって記述 されるデータエレメントについては、 詳しくは後述する。
picture— dataO関数によって定義されるデータエレメントは、 sliceO 関数に よって定義されるデータエレメントである。 但し、 ビッ トストリ一ム中に、 slic e() 関数のスタートコードを示す slice— start— codeが存在しない場合には、 この sliceO 関数によって定義されるデータエレメントはビッ トストリ一ム中に記述 されていない。
sliceO 関数は、 スライスレイヤに関するデータエレメントを記述するための 関数であってヽ 具体的にはヽ slice start codeヽ slice auantiser scale codeヽ intra slice— flagヽ intra一 slice ヽ reserved一 bits 、 extra— bit— slice ヽ extra information— slice、 及び extra— bit— slice 等のデ一タエレメントと、 macroblo ck〇関数によって定義されるデータエレメントを記述するための関数である。 slice— start_codeは、 sliceO 関数によって定義されるデータエレメ ントのス タ一卜を示すスタ一卜コ一ト 'である slice quantiser scale codeはヽ このスラ イスレイヤに存在するマクロブロックに対して設定された量子化ステツプサイ— を示すデータである。 し力、し、 各マクロブロック毎に、 quantiser— scale_codeが 設定されている場合には、 各マクロブロックに対して設定された macroblock qua ntiser— scale_code のデータが優先して使用される。 intra_slice_flagは、 ビッ トストリーム中に intra— slice及び reserved bits が存在するか否かを示すフラ グである。 intra— slice は、 スライスレイヤ中にノンイントラマクロブロックが 存在するか否かを示すデータである。 スライスレイヤにおけるマクロプロックの いずれかがノンイントラマクロブロックである場合には、 intra— slice は 「0」 となり、 スライスレイヤにおけるマクロプロックの全てがノンイントラマクロブ ロックである場合には、 intra— slice は 「1」 となる。 reserved— bits は、 7ビ ッ 卜のデータであって 「0」 の値を取る。 extra bit— slice は、 符号化ストリ一 ムとして追加の情報が存在することを示すフラグであって、 次に extra— informat ion slice が存在する場合には 「1」 に設定される。 追加の情報が存在しない場 合には 「0」 に設定される。
macrobloc )関数は、 マクロプロックレイヤに関するデータエレメントを記述 するための関数でめってヽ 具体的には、 macroblock escape ヽ macroblock addre ss increments 及ひ macroblock auantiser scale— code 等のテ一タエレメン卜と 、 macroblock— modesO関数、 及び macroblock— vectors(s)関数によって定義され たデータエレメントを記述するための関数である。
macroblock— escape は、 参照マクロブロックと前のマクロブロックとの水平方 向の差が 3 4以上であるか否かを示す固定ビッ ト列である。 参照マクロブロック と前のマクロブロックとの水平方向の差が 3 4以上の場合には、 macroblock— add ress— incrementの jこ 3 3 ·2τプラスする。 macroblock address incrementは、 参 照マクロプロックと前のマクロプロックとの水平方向の差を示すデータである。 もし、 この macroblock— address incrementの 」に macroblock escape が 1つ存在 するのであれば、 この macroblock_address incrementの値に 3 3をプラスした値 が、 実際の参照マクロプロックと前のマクロプロックとの水平方向の差分を示す テ一タとなる。 macroblock auantiser scale code は、 各マクロフロック毎に設 定された量子化ステップサイズである。 各スライスレイヤには、 スライスレイヤ の量子化ステツプサイズを示す slice— quantiser— scale— codeが設定されているが 、 参照マクロブロックに対して macroblock auantiser— scale code が設定されて いる場合には、 この量子化ステツプサイズを選択する。 次に、 第 6図から第 9図によって説明したシンタックスによって生成されるス トリ一ムの構造を、 第 1 0図を参照してよりわかりやすく説明する。
第 1 0図は、 M P E G符号化ストリームのデータ構造を示す説明図である。 こ の図に示したように、 ビデオエレメンタリストリ一ムのデータ構造は、 少なくと もシーケンスレイヤ、 G O Pレイヤ及びピクチャレイヤを含んでいる。
シーケンスレイャはヽ next start codeO 関数 1 0 1、 sequence header 0 数 1 0 2、 extention— start— code 1 0 3、 sequence— extentionO関数 1 0 4、 ex tention— and— user— data(0)関数 1 0 5によって定義されるデータエレメントから 構成されている。 G O Pレイヤは、 group— start— code 1 0 6、 group— o picture s— headerO関数 1 0 7、 extention_and— user_data(l)関数 1 0 8によって定義さ れるデータエレメントから構成されている。 ピクチャレイヤは、 picture— header ^) Wi 1 0 9、 picture coding extentionO S¾ 1 1 0、 extention and user d ata(2)関数 1 1 1、 picture— data〇関数 1 1 2によって定義されるデータエレメ ントを含んでいる。 ビデオシーケンスの最後には、 sequence— end— code 1 1 3が 記述されている。
extention一 and— user— data( 2)関数 1 1 1は、 既に第 7図において説明したシン タックスカヽらも理解できるように、 user—data— start— code 1 1 4、 user dataO 関数 1 1 5、 next— start— code 1 1 6によって定義されるデータエレメントを含 んでいる。
user_data() 関数 1 1 5は、 既に第 8図において説明したシンタックスからも 理解できるように、 time— code〇 関数 1 1 7と user— data 1 1 8によって定義さ れるデ一タエレメントを含んでいる。
次に、 第 1 1 A図、 第 1 1 B図を参照して、 time— code〇 関数によって記述さ れるデ一タエレメン卜について詳細に説明する。
第 1 1 A図は、 time— code〇 関数によって、 ピクチャレイヤのユーザエリアに V I T C、 L T C及びアンシラリデータが記述されている例を示している図である 。 第 1 1 B図は、 この 7 2ビッ トの V I T C又は L T Cの詳細なデータ構造を示 している図である。
第 1 1 A図に示されるように、 3 2ビッ 卜の time code start codeの次には、 このユーザデ一タエリアに記録されるデータの識別コ一ド data— ID が記述されて いる。 この識別コード data_ID は、 第 1 2図のように予め設定されており、 例え ば、 data— ID '03， を示すデータであれば、 その次の 7 2ビッ 卜には V I T C が記述され、 data一 ID力 < '04' を示すデータであれば、 その次の 7 2ビッ 卜には L T Cが記述されるようになっている。
第 1 1 B図において、 第 1ビッ ト目の ' C F ' は、 カラ一フレームを表わし、 次の第 2ビッ ト目の ' D F ' はドロップフレームを表わしている。 次の 3ビッ ト 目から 8ビッ ト目までの 6ビッ トは、 タイムコードの 'フレーム' の部分を表わ し、 9ビッ ト目は、 フェイズコレクションを表わし、 1 0ビッ ト目から 1 6ビッ ト目までの 7ビッ トは、 タイムコードの '秒' の部分を表わしている。 1 7ビッ ト目、 3 4ビッ ト目、 5 1ビッ ト目及び 6 8ビッ ト目の ' Γ は、 前述したよう に 0が 2 3個連続しないようにするためのマ一力一ビッ 卜であって、 このように 所定間隔でマ一力一ビッ トを揷入することによって、 スタートコードエミユレ一 ションを防止することができる。
1 8ビッ ト目、 2 6ビッ ト目及び 2 7ビッ ト目の ' B G ' は、 バイナリグルー プを表わし、 1 9ビッ ト目から 2 5ビッ ト目の 7ビッ トは、 タイムコードの '分 ' の部分を表わし、 2 8ビッ ト目から 3 3ビッ ト目の 6ビッ トは、 タイムコード の '時' の部分を表わしている。
3 5ビッ ト目から 5 0ビッ ト目の 1 6ビッ ト及び、 5 2ビッ ト目から 6 7ビッ ト目までの 1 6日とは、 ユーザの任意のユーザデータを記述することはできるよ うにリザーブされている。 尚、 最後の 4ビッ トは、 バイ ト整列 （Byte Array) す るためのスタッフビッ トである。
次に、 M P E G規格に基づいて符号化された符号化ストリ一ムに対してタイム コ一ドを付加する方法について説明する。
ビデオエレメンタリストリ一ムでは、 符号化の都合上、 ピクチャが並べ替えら れている。 そのため、 ビデオエレメンタリストリームに対するタイムコードの付 加の方法には、 次の 2通りが考えられる。 なお、 以下の説明では、 I ピクチャ-ま たは Pピクチャの現れる周期 （M) を 3とする。
第 1 3図は、 ビデオエレメンタリストリ一ムに対するタイムコ一ドの付加の第 1の方法を説明するための説明図である。 第 1 3図において、 （a ) は、 ビデオ エンコーダ 1 6の入力ビデオデータにおけるピクチャタイプを表している。 符号
Iは I ピクチャ、 Pは Pピクチヤ、 Bは Bピクチャを表し、 付随する数字は各ピ クチャタイプ毎のピクチヤの順番を表している。 また、 （b ) は、 各ピクチャに 付随するタイムコ一ドを簡略化して表したものである。 第 1の方法は、 ビデオェ レメン夕リストリ一ムに対するタイムコードの付加の際には、 ピクチャの並べ替 えを考慮せずにタイムコ一ドを付加し、 再生時にタイムコ一ドを付け替える方法 である。 より具体的に説明すると、 第 1図における C P U 1 1は、 タイムコ一ド を取得したら、 ュ一ザデータ 1 1 5へのタイムコ一ドの記録までのディ レイを考 慮して、 そのままタイムコードを記録する。 この第 1の方法によってタイムコ一 ドを付加した場合におけるビデオデコーダ 3 6の入力時のピクチャタイプとタイ ムコードとを第 1 3図 （c ) , ( d ) に示す。 第 1の方法によってタイムコ一ド を付加した場合には、 ビデオデコーダ 3 6では、 I ピクチャまたは Pピクチャが 来たら、 それに付随して入力されたタイムコードを、 次の最初の Bピクチャに付 け、 その Bピクチャに付随して入力されたタイムコードを、 更に次の 2番目の B ピクチャに付ける。 そして、 2番目の Bピクチャに付随して入力されたタイムコ —ドを、 I ピクチャまたは Pピクチャに付ける。 この場合のビデオデコーダ 2 3 の出力ビデオデータにおけるピクチャタイプとタイムコードとを図 1 3 ( e ) ，
( f ) に示す。
第 1 4図は、 ビデオエレメンタリストリ一ムに対するタイムコ一ドの付加の第 2の方法を説明するための説明図である。 第 1 4図において、 （a ) は、 ビデオ エンコーダ 1 6の入力ビデオデータにおけるピクチャタイプを表し、 （b ) は、 各ピクチャに付随するタイムコ一ドを簡略化して表したものである。 第 2の方法 は、 ビデオエレメンタリストリームに対するタイムコ一ドの付加の際に、 ピクチ ャの並べ替えを考慮してタイムコ一ドを付加し、 再生時にはタイムコ一ドの付け 替えを行わない方法である。 より具体的に説明すると、 第 1図における C P U 1 1は、 タイムコ一ドを取得したら、 ユーザデータ 1 1 5へのタイムコ一ドの言 までのディ レイを考慮して、 ピクチャの並べ替え前後においてピクチャとタイム コードとの対応関係が一致するように、 ピクチャの並べ替えに合わせてタイムコ ―ドを並べ替えて記録する。 この第 2の方法によってタイムコ一ドを付加した場 合におけるビデオデコーダ 2 3の入力時のピクチャタイプとタイムコ一ドとを第 1 4 0 ( c ) , ( d ) に示す。 第 2の方法によってタイムコードを付加した場合 には、 ビデオデコーダ 3 6では、 ピクチャの並べ替えと同様にタイムコードを並 ベ替えて、 各ピクチャにタイムコードを対応させる。 この場合のビデオデコーダ 3 6の出力ビデオデータにおけるピクチャタイプとタイムコ一ドとを第 1 4図 （ e ) , ( f ) に示す。
次に、 タイムコ一ドをォ一ディォエレメンタリストリ一ムに付加する方法につ いて説明する。
第 1 5図は、 M P E Gオーディォ規格によるオーディォエレメンタリストリ一 ムのデータ構造を示す説明図である。 この図に示したように、 オーディオエレメ ンタリストリームは、 先頭から順に、 へッダ （header) 1 2 1、 エラ一チヱック (error— check ) 1 2 2、 オーディオデータ （audio— data) 1 2 3、 アンシラリ データ （ancillary— data) 1 2 4によって定義されるデータエレメントから構成 アンシラリデータ 1 2 4の領域は、 第 1 5図に示したオーディォストリ一ムの データ構造において復号再生の単位としての 1フレーム （オーディオフレーム） 毎に存在可能で且つ任意のデータを記録可能な領域である。
オーディオ符号化ストリームでは、 ビデオストリームと異なり、 ビッ トレート によって 1フレームの大きさが決まっている。 1フレームのデータ量は、 例えば 3 8 4 Xビッ トレ一ト ÷サンプリング周波数である。 アンシラリデータ 1 2 4の 領域のデータ量は、 1フレームのデータ量から、 ヘッダ 1 2 1、 エラ一チヱック 1 2 2およびオーディオデータ 1 1 3の各領域で実際に使用されるデ一タ量を引 いたデータ量となる。
本実施の形態では、 第 1 5図に示したォ一ディォエレメンタリストリ一ムのァ ンシラリデータ 1 2 4の領域に、 タイムコ一ドを記録する。 アンシラリデータ 1 2 4におけるタイムコードの記述方法は、 第 1 1 A図及び第 1 1 B図において説 明したユーザデータエリァにおけるタイムコ一ドの記述の仕方と同じである。 ォ 一ディォ符号化ストリームのアンシラリデータ 1 2 の領域には、 V I T Cや L T C等のタイムコ一ドの他に、 必ず 1 6ビッ 卜の audio_phase (オーディオ位相 情報） が記述される。 アンシラリデータ 1 2 4において、 time— code— start— code の後に、 data— ID がオーディオ位相情報を示す識別コードであれば、 その次の 2 バイ 卜には Audio— phase が記述されている。 このオーディオ位相情報は、 オーデ ィオフレームがビデオストリームにおけるフレーム （以下、 ビデオフレームとい う。 ） とは同期していないため、 オーディオフレームとビデオフレームとの位相 差を示すためのデータである。
第 1 6 A図及び第 1 6 B図は、 ビデオフレームとオーディオフレームとの位相 差を説明するための説明図である。 この図において、 第 1 6 A図は、 ビデオフレ ームを表し （ 1ブロックが 1 ビデオフレームを表している。 ） 、 図中の数字は、 各ビデオフレームに対応するタイムコードを表している。 また、 第 1 6 B図は、 オーディオフレームを表し （ 1ブロックが 1オーディオフレームを表している。 ) 、 図中の数字は、 各オーディオフレームに対応して記録されるタイムコードを 表している。 第 1 6 A図、 第 1 6 B図から分かるように、 ォ一ディオフレームは 、 ビデオフレームとは同期していない。 そこで、 本実施の形態では、 各オーディ オフレームに記録されるタイムコ一ドと実際のオーディオフレームの開始点との 時間のずれを位相差 （第 1 6 B図では符号 A〜Fで表している。 ） とし、 各ォ一 ディオフレーム毎の位相差をオーディォ位相情報としてタイムコ一ドと共に符号 化ス トリーム中に記述するようにしている。 なお、 このオーディオ位相情報は、 オーディォデータのサンプル数で表される。
次に、 タイムコードをプライべ一トエレメンタリストリ一ムである A C 3スト リームに付加する方法について説明する。 第 1 7図は、 A C 3規格による A C 3 ストリームのデータ構造を示す説明図である。 この図に示したように、 A C 3ス トリ一ムのデ一タ構造は、 先頭から順に、 シンク情報 （syncinfo) 1 3 1、 ビッ トストリ一ム情報 （B S I ) 1 3 2、 オーディオブロック （audblk) 1 3 3、 補 助データ （auxdata ) 1 3 4、 エラ—チヱック （errorcheck) 1 3 5の各領域を 有している。 —― 捕助データ 1 3 4の領域は、 第 1 7図に示した A C 3ストリームのデータ構造 において復号再生の単位としての 1フレーム （シンクフレーム （syncframe ) ) 毎に存在可能で且つ任意のデータを記録可能な領域である。 補助データ 1 3 4の 領域のデータ量は、 1 フレームのデータ量から、 補助データ 1 3 4の領域を除く 領域で実際に使用されるデータ量を引いたデータ量となる。
本実施の形態では、 第 1 7図に示した A C 3ストリームのデータ構造における 捕助データ 1 3 4の領域に、 タイムコード （ユーザビッ トを含む） を記録する。 補助データ 1 3 4におけるタイムコードの記述方法は、 オーディオ符号化ストリ —ムのアンシラリデータ 1 2 におけるタイムコ一ドの記述方法と全く同じであ る。
以上説明したように、 本実施の形態では、 ス トリームのデ一タ構造において復 号再生の単位毎に存在可能で且つ任意のデ—タを記録可能な領域にタイムコード を記録するようにしている。 具体的には、 ビデオエレメンタリストリームに対し ては、 ユーザデータ 1 1 5の領域にタイムコ一ドを記録し、 オーディォストリ一 ムに対しては、 アンシラリデータ 1 2 4の領域にタイムコ一ドを記録し、 A C 3 ストリームに対しては補助データ 1 3 4の領域にタイムコ一ドを記録するように している。 これにより、 本実施の形態によれば、 素材データに付随するタイムコ 一ドを、 復号再生の単位毎のストリ一ムに対応させて確実に伝達することができ る
また、 本実施の形態によれば、 ビデオストリーム、 オーディオストリームおよ び A C 3ストリームにそれぞれタイムコ一ドを付加するようにしたので、 受信シ ステム 3側で、 各ストリ一ムを分離した後でも、 いずれのストリ一ムでもタイム コードの情報が欠落することがない。 このことは、 各ストリームを例えばハード ディスク等に蓄積して、 各ストリームを再利用する （例えば、 加工して使用する ) ような場合でも、 時間情報が失われないので、 非常に有益である。
さらに、 本実施の形態によれば、 ュ一ザビッ トを含むタイムコードを、 ビデオ ストリ一ム、 オーディォストリ一ムおよび A C 3ストリ一ムに、 それぞれ記録す ることができるので、 ユーザビッ トとして記録された任意の情報も、 各ストリ一 ムに対応させて確実に伝達することができる。 ―― なお、 本発明は、 上記実施の形態に限定されず、 例えば、 タイムコードの情報 を、 ビデオエレメンタリストリ一ム、 オーディォエレメンタリストリ一ムおよび プライべ一トエレメ ンタリストリ一ム （A C 3ストリーム） に付加する際のフォ 一マツ トは、 実施の形態に示したフォーマツ 卜に限らず、 適宜に設定可能である 以上説明したように、 本発明の符号化ストリ一ム生成装置または本発明の符号 化ストリーム生成方法によれば、 素材データに付随するタイムコードを、 符号化 ストリームのデータ構造において復号再生の単位毎に存在可能で且つ任意のデ一 タを記録可能な領域に記録するようにしたので、 素材データに付随するタィムコ ―ドを、 復号単位毎の符号化ストリームに対応させて確実に伝達することができ るという効果を奏する。
また、 本発明の他の符号化ストリーム生成装置または本発明の他の符号化スト リ一ム生成方法によれば、 符号化ストリ一ムの複数のレイヤのうちのピクチヤレ ィャに、 ソースビデオデータの各フレームに付随しているタイムコ一ドを記述し た符号化ストリームを生成するようにしたので、 オリジナル素材データに付随す るタイムコ一ドが各ピクチャに対応するように記述された符号化ストリームを生 成することができるという効果を奏する。
また、 本発明のさらに他の符号化ストリ一ム生成装置または本発明のさらに他 の符号化ストリ一ム生成方法によれば、 符号化ストリ一ムのピクチャレイヤのュ —ザデータエリァに、 ソースビデオデータに付随するタイムコードを示すデータ エレメン卜が記述された符号化ストリ一ムを生成するようにしたので、 ォリジナ ル素材デ一タに付随するタイムコ一ドが各ピクチャに対応するように記述された 符号化ストリ一ムを生成することができるという効果を奏する。
また、 本発明のデータ伝送システムまたは本発明のデータ伝送方法によれば、 送信側では、 複数のレイヤのうちのピクチヤレイヤに、 ソースビデオデータの各 フレームに付随しているタイムコ一ドが記述された符号化ストリ一ムを生成し、 この符号化ストリームを伝送し、 受信側では、 伝送された符号化ストリームを復 号化すると共に、 符号化ストリームのシンタックスを解析することによって符号 化ストリ一ムのピクチャレイヤからタイムコ一ドを抽出し、 復号化された復号化 データと抽出されたタイムコ一ド情報とを関連付けて記録媒体に記録することに よって、 データ供給元の記録媒体と同じデータが記録された記録媒体を得るよう にしたので、 オリジナル素材データに付随するタイムコードが各ピクチャに対応 するように記述された符号化ストリームを生成して伝送でき、 且つ、 受信側にお いて、 オリジナル素材データと、 このオリジナル素材データの各フレームに付随 するタイムコードとが記録された記録媒体を得ることができるという効果を奏す る。
また、 本発明の編集システムまたは本発明の編集方法によれば、 送信側では、 ソースビデオデ一タに対して設定された編集点に基づいて編集リストを生成し、 複数のレイヤのうちのピクチヤレイヤに、 ソースビデオデータの各フレームに付 随しているタイムコードが記述された符号化ストリ一ムを生成し、 この符号化ス トリ一ムを伝送し、 受信側では、 伝送された符号化ストリームを復号化すると共 に、 符号化ストリームのシンタックスを解析することによって符号化ストリーム のピクチャレイヤからタイムコ一ドを抽出し、 このタイムコ一ドと編集リストと に基づいて、 復号化ソースビデオデータを編集するようにしたので、 ソースビデ ォデータの各フレームに付随しているタイムコ一ドを使用して、 送信側における 編集処理と全く同じ編集処理を受信側において実現することができるという効果 を奏する。
また、 本発明の他の編集システムまたは本発明の他の編集方法によれば、 ソ一 スビデオデータに対して設定された編集点に基づいて編集リストを生成し、 符号 化ストリ一ムの複数のレイヤのうちのピクチヤレイヤに、 ソ一スビデオデータの 各フレームに付随しているタイムコ一ドが記述された符号化ストリ一ムを生成し 、 符号化ストリ一ムのシンタックスを解析することによって得られたタイムコ一 ドと編集リストとに基づいて、 符号化ストリームを編集するようにしたので、 ソ —スビデオデータの各フレームに付随しているタイムコ一ドを使用して、 符号化 ストリ一ムの編集を実現することができるという効果を奏する。
また、 本発明のさらに他の編集システムまたは本発明のさらに他の編集方法に よれば、 ベ一スパンドのソースビデオデータを処理することによって設定された 編集点に基づいて編集リストを生成し、 ソースビデオデータを符号化する とに よって生成された複数のレイヤから成る階層構造の符号化ストリ一ムの複数のレ ィャのうちのピクチャレイヤに、 ソースビデオデータの各フレームに付随してい るタイムコードが記述された符号化ストリ一ムを生成し、 符号化ストリ一ムのシ ンタックスを解析することによって得られたタイムコ一ドと編集リストとに基づ いて、 符号化ストリームをストリ一ムレベルで編集するようにしたので、 符号化 ストリ一ムをストリ一ムレベルで編集することができ、 画質の劣化を防止するこ とができるという効果を奏する。
以上の説明に基づき、 本発明の種々の態様や変形例を実施可能であることは明 らかである。 従って、 以下のクレームの均等の範囲において、 上記の詳細な説明 における態様以外の態様で本発明を実施することが可能である。

Claims

請求の範囲
1 . 素材データを符号化することによって得られる符号化ストリ一ムを生成す る符号化ストリ一ム生成装置において、
上記素材データに付随するタイムコードを、 符号化ストリームのデータ構造に おいて復号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録 して、 符号化ストリームを生成する符号化ストリ一ム生成手段
を備えたことを特徴とする符号化ストリーム生成装置。
2 . 上記符号化ストリーム生成手段は、 上記タイムコードを、 ビデオデータ用 の符号化ストリ一ムのデータ構造において、 復号再生の単位としての 1ピクチャ 毎に存在可能で且つ任意のデータを記録可能なユーザデータ領域に記録すること を特徴とする請求の範囲第 1項記載の符号化ストリーム生成装置。
3 . 上記符号化ストリーム生成手段は、 上記タイムコードを、 オーディオデ— タ用の符号化ストリ一ムのデータ構造において、 復号再生の単位としての 1フレ —ム毎に存在可能で且つ任意のデータを記録可能な補助領域に記録することを特 徵とする請求の範囲第 1項記載の符号化ストリーム生成装置。
4 . 上記符号化ストリーム生成手段は、 上記タイムコードと任意の情報とを所 定のフォーマッ トにして上記領域に記録することを特徴とする請求の範囲第 1項 記載の符号化ス トリ—ム生成装置。
5 . 素材データを符号化することによって得られる符号化ストリームを生成す る符号化ストリ一ム生成方法において、
素材データに付随するタイムコ一ドを、 符号化ストリ一ムのデータ構造におい て復号再生の単位毎に存在可能で且つ任意のデータを記録可能な領域に記録して 、 符号化ストリームを生成することを特徴とする符号化ストリーム生成方法。
6 . 上記タイムコードを、 ビデオデータ用の符号化ストリームのデータ構造に おいて、 復号再生の単位としての 1 ピクチャ毎に存在可能で且つ任意のデータを 記録可能なュ一ザデ一タ領域に記録することを特徴とする請求の範囲第 5項記載 の符号化ストリ一ム生成方法。 ― -
7 . 上記タイムコードを、 オーディオデータ用の符号化ストリームのデータ構 造において、 復号再生の単位としての 1フレーム毎に存在可能で且つ任意のデー タを記録可能な補助領域に記録することを特徴とする請求の範囲第 5項記載の符 号化ストリーム生成方法。
8 . 上記タイムコードと任意の情報とを所定のフォーマツ トにして上記領域に 記録することを特徴とする請求の範囲第 5項記載の符号化ストリーム生成方法。
9 . 符号化ストリームを生成する符号化ストリーム生成装置において、 ソースビデオデータを符号化することによって得られる複数のレイヤから成る 階層構造の符号化ス卜リ一ムであって、 上記複数のレイヤのうちのピクチヤレイ ャに、 上記ソースビデオデータの各フレームに付随しているタイムコ一ドが記述 された符号化ストリ一ムを生成する符号化ストリ一ム生成手段
を備えたことを特徴とする符号化ストリ一ム生成装置。
1 0 . 上記符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロブロックレイャ及びプロッ クレイヤから構成されることを特徴とする請求の範囲第 9項記載の符号化ストリ ーム生成装置。
1 1 . 上記シーケンスレイヤには、 sequence— header ( ) 関数によって定義され るデータエレメントと、 sequence_extention()関数によって定義されるデ一タエ レメン卜と、 extention— and— user— data(0)によって定義されるデータエレメント とが記述され、
上記 G O Pレイヤには、 group— of— picture— headerO 関数によって定義される デ一タエレメン卜と、 extention— and— user— data( 1 )によつて定義されるデ一タエ レメントとが記述され、
上記ピクチャレイヤには、 picture— header〇関数によって定義されるデ一タエ レメン卜と、 picture— coding— extentionO関数によって定義されるデータエレメ ントと、 extention— and— user— data(2)によって定義されるデータエレメントが記 述され、
上記タィムコ一ドは、 上記 extent ion— and— user— data( 2)関数によつて示される user— data〇 関数によって示される time— code() 関数によって定義されるデータ エレメントであることを特徴とする請求の範囲第 1 0項記載の符号化ストリ一ム 生成装置。
1 2 . 上記タイムコ一ドは、 上記ピクチャレイヤのユーザデータエリアに記述 されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのュ一ザデ一タエリァに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデ一タエリアに記述されるタイムコードには、 所定ビッ ト毎にマ一力 ビッ トが揷入されていることを特徴とする請求の範囲第 9項記載の符号化ストリ —ム生成装置。
1 3 . 上記ソースビデオデータに対応するソースオーディオデータを符号化す ることによって得られる符号化オーディォストリ一ムであって、 上記符号化ォ一 ディォストリ一ムの補助データエリァに、 上記ソースオーディォデータの各フレ —ムに付随しているタイムコードが記述された符号化オーディォストリ一ムを生 成する符号化ォ一ディォストリ一ム生成手段をさらに備えていることを特徴とす る請求の範囲第 9項記載の符号化ストリ—ム生成装置。
1 . 上記符号化オーディオストリームの補助デ一タエリアには、 上記ソース オーディォデータに対応するタイムコードに加え、 上記ソースビデオデータのフ レームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 1 3項記載の符号化ストリーム生成
1 5 . 上記タイムコ一ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 9項記載の符号化ストリーム生成装置。
1 6 . 符号化ストリームを生成する符号化ストリーム生成方法において、 ソースビデオデータを符号化することによって得られる複数のレイヤから成る 階層構造の符号化ストリ一ムであって、 上記複数のレイヤのうちのピクチヤレイ ャに、 上記ソースビデオデータの各フレームに付随しているタイムコ一ドが記述 された符号化ストリ一ムを生成することを特徴とする符号化ストリーム生 方法
1 7 . 上記符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロブロックレイヤ及びプロッ クレイヤから構成されることを特徴とする請求の範囲第 1 6項記載の符号化スト リ—ム生成方法。
1 8 . 上記シーケンスレイヤには、 sequence— header ( ) 関数によって定義され るデータエレメントと、 sequence— extention( )関数によって定義されるデータェ レメン卜と、 extention— and— user_data(0)によって定義されるデータエレメント とが記述され、
上記 G 0 Pレイヤには、 group— of— picture— headerO 関数によって定義される データエレメントと、 extention— and— user— data(l)によって定義されるデ一タエ レメントとが記述され、
上記ピクチャレイヤには、 picture— header ( )関数によつて定義されるデ一タエ レメントと、 picture— coding— extention〇関数によって定義されるデータエレメ ントと、 extention— and— user— data(2)によって定義されるデータエレメントカ <記 述され、
上記タィムコードは、 上記 extention— and— user_data( 2 )関数によつて示される user— dataO 関数によって示される time— codeO 関数によって定義されるデータ エレメ ントであることを特徴とする請求の範囲第 1 7項記載の符号化ストリーム 生成方法。
1 9 . 上記タイムコードは、 上記ピクチャレイヤのユーザデ一タエリアに記述 されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのユーザデ一タエリアに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデ一タエリアに記述されるタイムコードには、 所定ビッ ト毎にマーカ ビッ トが揷入されていることを特徴とする請求の範囲第 1 6項記載の符号化スト リーム生成方法。
2 0 . さらに、 上記ソースビデオデータに対応するソースオーディオデータを 符号化することによって得られる符号化オーディォストリームであって、 上記符 号化オーディォストリ一ムの補助データエリァに、 上記ソースオーディォデータ の各フレームに付随しているタイムコードが記述された符号化オーディォストリ —ムを生成することを特徴とする請求の範囲第 1 6項記載の符号化ストリーム生 成方法。
2 1 . 上記符号化オーディオス トリームの補助デ一タエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 2 0項記載の符号化ストリーム生成 方法。
2 2 . 上記タイムコ一ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 1 6項記載の符号化ストリ—ム生成方法。
2 3 . 符号化ストリ一ムを生成する符号化ストリーム生成装置において、 ソースビデオデータを M P E G規格に基づいて符号化することによって生成さ れる符号化ストリ一ムであって、 上記符号化ストリ一ムのピクチャ レイヤのユー ザデータエリアに、 上記ソースビデオデータに付随しているタイムコ一ドを示す データエレメン卜が記述された符号化ス卜リ一ムを生成する符号化ストリ一ム生 成手段
を備えたことを特徴とする符号化ストリ一ム生成装置。
2 4 . 上記符号化ストリームは、 複数のレイヤから成る階層構造をなし、 上記 符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレイヤ、 上記ピ クチャレイヤ、 スライスレイヤ、 マクロブロックレイヤ及びブロックレイヤから 構成されることを特徴とする請求の範囲第 2 3項記載の符号化ス卜リ一ム生成装
2 5 . 上記シーケンスレイヤには、 sequence— header〇 関数によって定義され るデータエレメントと、 sequence— extention〇関数によって定義されるデ一タエ レメン卜と、 extention— and— user— data(O)によつて定義されるデータエレメント とが記述され、
上記 G 0 Pレイヤには、 group— of— picture— header 0 関数によつて定義さ _れ—る データエレメントと、 extention— and— user— data( 1 )によつて定義されるデ一タエ レメントとが記述され、 上記ピクチャレイヤには、 picture— header〇関数によって定義されるデ一タエ レメントと、 picture_coding— extention〇関数によつて定義されるデータエレメ ントと、 extention— and— user— data(2)によって定義されるデ一タエレメン卜が記 述され、
上記タイムコ一ドは、 上記 extention— and— user— data(2)関数によって示される user一 data〇 関数によって示される time— codeO 関数によって定義されるデータ エレメントであることを特徴とする請求の範囲第 2 4項記載の符号化ストリ一ム
2 6 . 上記タイムコ一ドは、 上記ピクチャレイヤのユーザデ一タエリアに記述 されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのユーザデータエリアに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデ一タエリアに記述されるタイムコードには、 所定ビッ 卜毎にマーカ ビッ トが揷入されていることを特徴とする請求の範囲第 2 3項記載の符号化スト リーム生成装置。
2 7 . 上記ソースビデオデータに対応するソースオーディオデータを符号化す ることによって得られる符号化オーディォストリ一ムであって、 上記符号化ォ一 ディォストリ一ムの補助データエリアに、 上記ソースオーディォデータの各フレ —ムに付随しているタイムコ一ドが記述された符号化オーディォストリ一ムを生 成する符号化ォ一ディォストリ一ム生成手段をさらに備えていることを特徴とす る請求の範囲第 2 3項記載の符号化ストリーム生成装置。
2 8 . 上記符号化オーディオストリームの補助デ一タエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記ォ一ディォビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 2 7項記載の符号化ストリーム生成
2 9 . 上記タイムコ一ドは、 L T C (Longitudinal Time Code I Linear——Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 2 3項記載の符号化ストリ—ム生成装置。
3 0 . 符号化ストリ一ムを生成する符号化ストリ—ム生成方法において、 ソースビデオデータを M P E G規格に基づいて符号化することによって生成さ れる符号化ストリ一ムであって、 上記符号化ストリ一ムのピクチャレイヤのュ一 ザデ一タエリアに、 上記ソースビデオデータに付随しているタイムコ一ドを示す データエレメン卜が記述された符号化ストリームを生成することを特徴とする符 号化ストリーム生成方法。
3 1 . 上記符号化ストリームは、 複数のレイヤから成る階層構造をなし、 上記 符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレイヤ、 上記ピ クチャレイヤ、 スライスレイヤ、 マクロブロックレイヤ及びブロックレイヤから 構成されることを特徴とする請求の範囲第 3 0項記載の符号化ストリ一ム生成方 法。
3 2 . 上記シーケンスレイヤには、 sequence— header〇 関数によって定義され るデータエレメントと、 sequence— extention〇関数によって定義されるデ一タエ レメン卜と、 extention— and— user— data(O)によって定義されるデータエレメント とが記述され、
上記 G O Pレイヤには、 group— of— picture— header 0 関数によって定義される データエレメントと、 extention— and— user— data(l)によって定義されるデ一タエ レメントとが記述され、
上記ピクチャレイヤには、 picture— header〇関数によって定義されるデ一タエ レメン卜と、 picture— coding— extention( )関数によつて定義されるデータエレメ ントと、 extention— and— user— data( 2)によって定義されるデータエレメントカ <記 述され、
上記タイムコ—ドは、 上記 extention— and— user— data(2)関数によって示される user— data〇 関数によって示される time— codeO 関数によって定義されるデータ エレメ ントであることを特徴とする請求の範囲第 3 1項記載の符号化ストリーム 生成方法。
3 3 . 上記タイムコードは、 上記ピクチャレイヤのユーザデータエリアに記述 されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのユーザデ一タエリアに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデータエリアに記述されるタイムコードには、 所定ビッ ト毎にマ一力 ビッ トが揷入されていることを特徴とする請求の範囲第 3 0項記載の符号化スト リ—ム生成方法。
3 4 . さらに、 上記ソースビデオデータに対応するソースオーディオデータを 符号化することによって得られる符号化オーディオストリームであって、 上記符 号化オーディオストリ一ムの補助データエリァに、 上記ソースオーディォデータ の各フレームに付随しているタイムコ一ドが記述された符号化オーディォストリ —ムを生成することを特徴とする請求の範囲第 3 0項記載の符号化ス卜リーム生 成方法。
3 5 . 上記符号化オーディオス トリームの補助データエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記ォ一ディォビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 3 4項記載の符号化ストリ一ム生成 方法。
3 6 . 上記タイムコ一ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 3 0項記載の符号化ストリーム生成方法。
3 7 . ソースビデオデータを伝送するデータ伝送システムにおいて、 上記ソースビデオデータと上記ソースビデオデータに付随しているタイムコー ドとが関連付けられて記憶された記録媒体を備え、 上記記録媒体から上記ソース ビデオデータと上記ソースビデオデータに関連する上記タイムコ一ドを出力する データ供給手段と、
ソースビデオデータを符号化することによって生成される複数のレイヤから成 る階層構造の符号化ストリ一ムであって、 上記複数のレイヤのうちのピクチヤレ ィャに、 上記ソースビデオデータの各フレームに付随しているタイムコ一ドが記 述された符号化ストリ一ムを生成する符号化手段と、 ―― 上記符号化ストリ—ムを伝送する伝送手段と、
上記伝送手段を介して伝送された符号化ストリームを復号化すると共に、 上記 符号化ス トリ一ムのシンタックスを解析することによつて上記符号化ストリ一ム のピクチャレイヤから上記タイムコ一ドを抽出する復号化手段と、
上記復号化手段によって復号化された復号化データと上記復号化手段によって 抽出されたタイムコード情報とを関連付けて記録媒体に記録することによって、 上記デ—タ供給手段の記録媒体と同じデータが記録された記録媒体を得るデータ 記録手段と
を備えたことを特徴とするデータ伝送システム。
3 8 . 上記符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロブロックレイヤ及びプロッ クレイヤから構成されることを特徴とする請求の範囲第 3 7項記載のデータ伝送 システム。
3 9 . 上記シーケンスレイヤには、 sequence headerO 関数によって定義され るデータエレメントと、 sequence— extention( )関数によつて定義されるデ一タエ レメ ン卜と、 extention— and— user— data(O)によって定義されるデータエレメ ント とが記述され、
上記 G O Pレイヤには、 group— of— picture— header 0 関数によって定義される データエレメントと、 extention— and— user— data(l)によって定義されるデータェ レメントとが記述され、
上記ピクチャレイヤには、 picture— header〇関数によって定義されるデ一タエ レメン卜と、 picture— coding_extention〇関数によって定義されるデータエレメ ントと、 extention— and— user— data(2)によつて定義されるデ一タエレメントが記 述され、
上記タィムコードは、 上記 extention— and_user—data(2)関数によつて示される user dataO 関数によって示される time_code() 関数によって定義されるデータ エレメントであることを特徴とする請求の範囲第 3 8項記載のデータ伝送システ ム。
4 0 . 上記タイムコ一ドは、 上記ピクチャレイヤのユーザデータエリァに されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのユーザデ一タエリアに記述されたタイムコ一ドを、 上記符号化ストリーム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデ一タエリアに記述されるタイムコードには、 所定ビッ ト毎にマ一力 ビッ トが揷入されていることを特徴とする請求の範囲第 3 7項記載のデータ伝送 システム。
4 1 . 上記ソースビデオデータに対応するソースオーディオデータを符号化す ることによって得られる符号化オーディォストリ一ムであって、 上記符号化ォー ディォストリ一ムの補助デ一タエリアに、 上記ソースオーディォデータの各フレ —ムに付随しているタイムコ一ドが記述された符号化オーディォストリームを生 成する符号化オーディオストリーム生成手段をさらに備えていることを特徴とす る請求の範囲第 3 7項記載のデータ伝送システム。
4 2 . 上記符号化オーディオストリームの補助データエリアには、 上記ソース オーディォデ一夕に対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 4 1項記載のデータ伝送システム。
4 3 . 上記タイムコ一ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 3 7項記載のデータ伝送システム。
4 4 . ソースビデオデータを伝送するデータ伝送方法において、
上記ソースビデオデ一夕と上記ソースビデオデータに付随しているタイムコ一 ドとが関連付けられて記憶された記録媒体から、 上記ソースビデオデータと上記 ソースビデォデータに関連する上記タイムコードを出力するデータ供給手順と、 ソースビデオデータを符号化することによって生成される複数のレイヤから成 る階層構造の符号化ストリ一ムであって、 上記複数のレイヤのうちのピクチヤレ ィャに、 上記ソースビデオデータの各フレームに付随しているタイムコードが記 述された符号化ストリ一ムを生成する符号化手順と、 ―― 上記符号化ストリ一ムを伝送する伝送手順と、
上記伝送手順によって伝送された符号化ストリ—ムを復号化すると共に、 上記 符号化ストリ一ムのシンタックスを解析することによって上記符号化ストリ一ム のピクチャレイヤから上記タイムコードを抽出する復号化手順と、
上記復号化手順によって復号化された復号化データと上記複号化手順によって 抽出されたタイムコ一ド情報とを関連付けて記録媒体に記録することによって、 上記デ一タ供給手順によって出力するデータが記録された記録媒体と同じデータ が記録された記録媒体を得るデ一タ記録手順と
を含むことを特徴とするデータ伝送方法。
4 5 . 上記符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロブロックレイヤ及びブロッ クレイヤから構成されることを特徴とする請求の範囲第 4 4項記載のデータ伝送 方法。
4 6 . 上記シーケンスレイヤには、 sequence— header () 関数によって定義され るデータエレメントと、 sequence— extentionO関数によって定義されるデ一タエ レメントと、 extention— and— user_data(0)によって定義されるデータエレメント とが記述され、
上記 G O Pレイヤには、 group— of— picture— header 0 関数によって定義される デ一タエレメン卜と、 extention— and— user— data( l)によって定義されるデ一タエ レメントとが記述され、
上記ピクチャレイヤには、 picture—headerO関数によって定義されるデ一タエ レメン卜と、 picture— coding— extention〇関数によって定義されるデ一タエレメ ントと、 extention— and— user_data(2)によつて定義されるデータエレメントが記 述され、
上記タイムコ一ドは、 上記 extention— and— user— data(2)関数によって示される user— dataO 関数によって示される time— code( ) 関数によって定義されるデータ エレメントであることを特徴とする請求の範囲第 4 5項記載のデータ伝送方法。
4 7 . 上記タイムコードは、 上記ピクチャレイヤのユーザデータエリアに されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのユーザデータエリァに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデータエリアに記述されるタイムコードには、 所定ビッ ト毎にマ一力 ビッ トが揷入されていることを特徴とする請求の範囲第 4 4項記載のデータ伝送 方法。
4 8 . さらに、 上記ソースビデオデータに対応するソースオーディオデータを 符号化することによって得られる符号化オーディォストリ一ムであって、 上記符 号化オーディオストリームの補助デ一タエリアに、 上記ソースオーディォデ一タ の各フレームに付随しているタイムコ一ドが記述された符号化オーディォス卜リ -ムを生成することを特徴とする請求の範囲第 4 4項記載のデータ伝送方法。
4 9 . 上記符号化オーディオストリームの補助デ一タエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 4 8項記載のデータ伝送方法。
5 0 . 上記タイムコ一ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 4 4項記載のデータ伝送方法。
5 1 . ソースビデオデータを編集する編集システムにおいて、
上記ソースビデオデータに対して設定された編集点に基づいて、 編集リストを 生成する手段と、
ソースビデオデータを符号化することによって生成される複数のレイヤから成 る階層構造の符号化ストリ一ムであって、 上記複数のレイヤのうちのピクチヤレ ィャに、 上記ソースビデオデータの各フレームに付随しているタイムコ一ドが記 述された符号化ストリームを生成する符号化手段と、
上記符号化ストリ一ムを伝送する伝送手段と、
上記伝送手段を介して伝送された符号化ストリームを復号化すると共に、 上記 符号化ストリ一ムのシンタックスを解析することによって上記符号化ストリーム のピクチャレイヤから上記タイムコードを抽出する複号化手段と、 ―― 上記符号化ストリームのシンタックスを解析することによって得られたタイム コ—ドと上記編集リストとに基づいて、 上記復号化手段によって復号化された復 号化ソースビデオデータを編集する編集手段と
を備えたことを特徴とする編集システム。
5 2 . 上記符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロブロックレイヤ及びプロッ クレイヤから構成されることを特徴とする請求の範囲第 5 1項記載の編集システ ム。
5 3 . 上記シーケンスレイヤには、 sequence— headerO 関数によって定義され るァ一タエレメントと、 sequence extention()関数によつて定 feされるァータエ レメン卜と、 extention— and— user— data(O)によって定義されるデ一タエレメン卜 とが記述され、
上記 G O Pレイヤには、 group— of— picture— header () 関数によって定義される データエレメントと、 extention— and— user— data(l)によって定義されるデ一タエ レメントとが記述され、
上記ピクチャレイヤには、 picture— header〇関数によって定義されるデ一タエ レメン卜と、 picture— coding— extentionO関数によって定義されるデ一タエレメ ントと、 extention— and— user— data(2)によって定義されるデ一タエレメントカ記 述され、
上記タィムコードは、 上記 extention— and一 user— data( 2)関数によつて示される user— dataO 関数によって示される time— code() 関数によって定義されるデータ エレメントであることを特徴とする請求の範囲第 5 2項記載の編集システム。
5 4 . 上記タイムコードは、 上記ピクチャレイヤのユーザデ一夕エリアに記述 されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのユーザデータエリァに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデータエリアに記述されるタイムコードには、 所定ビッ ト毎にマーカ ビッ トが揷入されていることを特徴とする請求の範囲第 5 1項記載の編集システ ム。 —――
5 5 . 上記ソースビデオデータに対応するソースオーディオデータを符号化す ることによって得られる符号化オーディォストリ一ムであって、 上記符号化ォ一 ディォストリ一ムの補助デ一タエリアに、 上記ソースオーディォデータの各フレ ームに付随しているタイムコ一ドが記述された符号化ォ一ディォストリ一ムを生 成する符号化オーディォストリ一ム生成手段をさらに備えていることを特徴とす る請求の範囲第 5 1項記載の編集システム。
5 6 . 上記符号化オーディオストリームの補助デ一タエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 5 5項記載の編集システム。
5 7 . 上記タイムコ一ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 5 1項記載の編集システム。
5 8 . ソースビデオデータを編集する編集方法において、
上記ソースビデオデータに対して設定された編集点に基づいて、 編集リストを 生成する手順と、
ソースビデオデータを符号化することによつて生成される複数のレイヤから成 る階層構造の符号化ストリ一ムであって、 上記複数のレイヤのうちのピクチヤレ ィャに、 上記ソースビデオデータの各フレームに付随しているタイムコ一ドが記 述された符号化ストリ一ムを生成する符号化手順と、
上記符号化ストリ一ムを伝送する伝送手順と、
上記伝送手順によって伝送された符号化ストリームを復号化すると共に、 上記 符号化ストリームのシンタックスを解析することによって上記符号化ストリーム のピクチャレイヤから上記タイムコ一ドを抽出する復号化手順と、
上記符号化ストリ一ムのシンタックスを解析することによって得られたタイム コードと上記編集リス卜とに基づいて、 上記復号化手順によって復号化された復 号化ソースビデオデータを編集する編集手順と
を含むことを特徴とする編集方法。
5 9 . 上記符号化ス トリームの複数のレイヤは、 シーケンスレイヤ、 G OJ レ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロブロックレイヤ及びブロッ クレイヤから構成されることを特徴とする請求の範囲第 5 8項記載の編集方法。
6 0 . 上記シーケンスレイヤには、 sequence— header〇 関数によって定義され るデータエレメントと、 sequence— extentionO関数によって定義されるデ一タエ レメントと、 extention and user data(0)によつて定義されるデータエレメント とが記述され、
上記 G O Pレイヤには、 group— of picture— header ( ) 関数によって定義される データエレメントと、 extention— and_user_data(l)によって定義されるデ一タエ レメントとが記述され、
上記ピクチャレイヤには、 picture— header ( )関数によつて定義されるデ一タエ レメン卜と、 picture— coding— extention()関数によって定義されるデ一タエレメ ントと、 extention— and_user—data( 2)によつて定義されるデータエレメントが記 述され、
上記タイムコ一ドは、 上記 extention— and— user— data(2)関数によって示される user dataO 関数によって示される time— code〇 関数によって定義されるデータ エレメントであることを特徴とする請求の範囲第 5 9項記載の編集方法。
6 1 . 上記タイムコ一ドは、 上記ピクチャレイヤのユーザデ一タエリアに記述 されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのユーザデータエリァに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデ一タエリアに記述されるタイムコードには、 所定ビッ 卜毎にマーカ ビッ トが揷入されていることを特徴とする請求の範囲第 5 8項記載の編集方法。
6 2 . さらに、 上記ソースビデオデータに対応するソースオーディオデータを 符号化することによって得られる符号化オーディォストリ一ムであって、 上記符 号化オーディォストリ一ムの捕助デ一タエリアに、 上記ソースオーディォデータ の各フレームに付随しているタイムコ一ドが記述された符号化オーディォストリ —ムを生成することを特徴とする請求の範囲第 5 8項記載の編集方法。 ―—
6 3 . 上記符号化オーディオス トリームの補助デ一タエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記オーディォビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 6 2項記載の編集方法。
6 4 . 上記タイムコ一ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 5 8項記載の編集方法。
6 5 . ソースビデオデータを符号化することによって得られた符号化ストリ一 ムを編集する編集システムにおいて、
上記ソースビデオデータに対して設定された編集点に基づいて、 編集リストを 生成する手段と、
上記ソースビデオデータを符号化することによって生成される複数のレイヤか ら成る階層構造の符号化ストリ一ムであって、 上記複数のレイヤのうちのピクチ ャレイヤに、 上記ソースビデオデータの各フレームに付随しているタイムコ一ド が記述された符号化ストリ一ムを生成する符号化手段と、
上記符号化ストリ一ムのシンタックスを解析することによって得られたタイム コードと上記編集リストとに基づいて、 上記符号化ストリームを編集するストリ ーム編集手段と
を備えたことを特徴とする編集システム。
6 6 . 上記符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロプロックレイヤ及びプロッ クレイヤから構成されることを特徴とする請求の範囲第 6 5項記載の編集システ ム。
6 7 . 上記シーケンスレイヤには、 sequence— header〇 関数によって定義され るデータエレメン卜と、 sequence— extention〇関数によって定義されるデ一タエ レメン卜と、 extention— and— user— data(O)によって定義されるデータエレメント とが記述され、
上記 G O Pレイヤには、 group— of— picture— headerO 関数によって定義される デ一タエレメントと、 extention— and— user— data(l)によって定義されるデ 夂ェ レメントとが記述され、
上記ピクチャレイヤには、 picture headerO関数によって定義されるデ一タエ レメン卜と、 picture— coding— extentionO関数によつて定義されるデータエレメ ントと、 extention— and一 user— data(2)によつて定義されるデータエレメントが記 述され、
上記タイムコ一ドは、 上記 extention— and— user一 data(2)関数によって示される user— data〇 関数によって示される time— code() 関数によって定義されるデータ エレメントであることを特徴とする請求の範囲第 6 6項記載の編集システム。
6 8 . 上記タイムコ一ドは、 上記ピクチャレイヤのユーザデータエリァに記述 されるデータであって、 上記符号化ス ト リームを解析する際に、 上記ピクチャレ ィャのユーザデータエリァに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデータエリアに記述されるタイムコードには、 所定ビッ ト毎にマ一力 ビッ トが揷入されていることを特徴とする請求の範囲第 6 5項記載の編集システ ム。
6 9 . 上記ソースビデオデータに対応するソースオーディオデータを符号化す ることによって得られる符号化オーディォストリ一ムであって、 上記符号化ォ一 ディォストリ一ムの補助デ一タエリアに、 上記ソースオーディォデータの各フレ —ムに付随しているタイムコ一ドが記述された符号化オーディォストリ一ムを生 成する符号化オーディォストリ一ム生成手段をさらに備えていることを特徴とす る請求の範囲第 6 5項記載の編集システム。
7 0 . 上記符号化オーディオス ト リームの補助デ一タエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 6 9項記載の編集システム。
7 1 . 上記タイムコ—ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 6 5項記載の編集システム。
7 2 . ソースビデオデータを符号化することによって得られた符号化ス] 'J— ムを編集する編集方法において、
上記ソースビデオデータに対して設定された編集点に基づいて、 編集リストを 生成する手順と、
上記ソースビデォデータを符号化することによつて生成される複数のレイヤか ら成る階層構造の符号化ストリ一ムであって、 上記複数のレイヤのうちのピクチ ャレイヤに、 上記ソースビデオデータの各フレームに付随しているタイムコ一ド が記述された符号化ス卜リ一ムを生成する符号化手順と、
上記符号化ストリ一ムのシンタックスを解析することによって得られたタイム コードと上記編集リス卜とに基づいて、 上記符号化ストリームを編集するス卜リ ーム編集手順と
を含むことを特徴とする編集方法。
7 3 . 上記符号化ス トリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロプロックレイヤ及びプロッ クレイヤから構成されることを特徴とする請求の範囲第 7 2項記載の編集方法。
7 4 . 上記シーケンスレイヤには、 sequence— header〇 関数によって定義され るデータエレメントと、 sequence— extentionO関数によって定義されるデ一タエ レメン卜と、 extention— and— user— data(O)によつて定義されるデ一タエレメント とが記述され、
上記 G O Pレイヤには、 group— of— picture— headerO 関数によって定義される デ一タエレメン卜と、 extention— and— user— data(l)によって定義されるデ一タエ レメントとが記述され、
上記ピクチャレイヤには、 picture— header ()関数によって定義されるデ一タエ レメン卜と、 picture— coding— extention( )関数によつて定義されるデ一タエレメ ントと、 extention— and— user— data(2)によって定義されるデータエレメン卜が記 述され、
上記タィムコードは、 上記 extention_and— user— data(2)関数によつて示される user一 data〇 関数によって示される time一 code〇 関数によって定義されるデータ エレメントであることを特徴とする請求の範囲第 7 3項記載の編集方法。 ――
7 5 . 上記タイムコ一ドは、 上記ピクチャレイヤのユーザデータエリアに記述 されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのユーザデ一タエリアに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデ一タエリアに記述されるタイムコードには、 所定ビッ ト毎にマーカ ビッ トが揷入されていることを特徴とする請求の範囲第 7 2項記載の編集方法。
7 6 . さらに、 上記ソースビデオデータに対応するソースオーディオデータを 符号化することによって得られる符号化オーディオストリームであって、 上記符 号化オーディォストリ一ムの補助デ一タエリアに、 上記ソースオーディォデ一夕 の各フレームに付随しているタイムコードが記述された符号化オーディォストリ —ムを生成することを特徴とする請求の範囲第 7 2項記載の編集方法。
7 7 . 上記符号化オーディオストリームの補助データエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 7 6項記載の編集方法。
7 8 . 上記タイムコ—ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 7 2項記載の編集方法。
7 9 . 符号化ストリ一ムを編集する編集システムにおいて、
ベ一スパンドのソースビデオデータを処理することによって設定された編集点 に基づいて、 編集リストを生成するベースバンドシステムと、
上記ソースビデオデータを符号化することによって生成される複数のレイヤか ら成る階層構造の符号化ストリ一ムであって、 上記複数のレイヤのうちのピクチ ャレイヤに、 上記ソースビデオデータの各フレームに付随しているタイムコ一ド が記述された符号化ストリームを生成し、 上記符号化ストリ一ムのシンタックス を解析することによって得られたタイムコ一ドと上記べ一スバンドシステムにお いて生成された編集リス卜とに基づいて、 上記符号化ストリームをストリ一ムレ ベルで編集する符号化システムと - - を備えたことを特徴とする編集システム。
8 0 . 上記符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロプロックレイヤ及びプロッ クレイヤから構成されることを特徴とする請求の範囲第 7 9項記載の編集システ ム。
8 1 . 上記シーケンスレイヤには、 sequence一 header 0 関数によって定義され るデータエレメントと、 sequence— extentionO関数によって定義されるデータェ レメ ン卜と、 extention— and— user— data(O)によって定義されるデ一タエレメント とが記述され、
上記 G O Pレイヤには、 group— of— picture— headerO 関数によって定義される デ一タエレメントと、 extention— and— user— data(l)によって定義されるデ一タエ レメントとが記述され、
上記ピクチャレイヤには、 picture— header 0関数によつて定義されるデ一タエ レメントと、 picture— coding extentionO関数によって定義されるデ一夕エレメ ントと、 extention and user data(2)によって定義されるデ一タエレメン卜力記 述され、
上記タイムコ一ドは、 上記 extention— and— user— data(2)関数によって示される user— dataO 関数によって示される time— code( ) 関数によって定義されるデータ エレメ ントであることを特徴とする請求の範囲第 8 0項記載の編集システム。
8 2 . 上記タイムコ一ドは、 上記ピクチャレイヤのユーザデータエリアに記述 されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのユーザデータエリアに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデ一タエリアに記述されるタイムコードには、 所定ビッ ト毎にマ一力 ビッ 卜が挿入されていることを特徴とする請求の範囲第 7 9項記載の編集システ ム。
8 3 . 上記ソースビデオデータに対応するソースオーディオデータを符号化す ることによって得られる符号化オーディォストリ一ムであって、 上記符号化ォ一 ディォストリ一ムの補助データエリアに、 上記ソースオーディォデータの各: Zレ —ムに付随しているタイムコ一ドが記述された符号化オーディォストリ一ムを生 成する符号化オーディォストリーム生成手段をさらに備えていることを特徴とす る請求の範囲第 7 9項記載の編集システム。
8 4 . 上記符号化オーディオストリームの補助デ一タエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 8 3項記載の編集システム。
8 5 . 上記タイムコ一ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 7 9項記載の編集システム。
8 6 . 符号化ストリームを編集する編集方法において、
ベースバンドのソースビデオデータを処理することによって設定された編集点 に基づいて、 編集リス トを生成する手順と、
上記ソースビデオデータを符号化することによつて生成される複数のレイヤか ら成る階層構造の符号化ス トリームであって、 上記複数のレイヤのうちのピクチ ャレイヤに、 上記ソースビデオデータの各フレームに付随しているタイムコ一ド が記述された符号化ストリ一ムを生成し、 上記符号化ス トリームのシンタックス を解析することによって得られたタイムコードと上記編集リストを生成する手順 によって生成された編集リス卜とに基づいて、 上記符号化ストリ一ムをストリ一 ムレベルで編集する符号化手順と
を含むことを特徴とする編集方法。
8 7 . 上記符号化ストリームの複数のレイヤは、 シーケンスレイヤ、 G O Pレ ィャ、 上記ピクチャレイヤ、 スライスレイヤ、 マクロブロックレイャ及びブ口ッ クレイヤから構成されることを特徴とする請求の範囲第 8 6項記載の編集方法。
8 8 . 上記シーケンスレイヤには、 sequence— header〇 関数によって定義され るデータエレメントと、 sequence— extention〇関数によって定義されるデ一タエ レメン卜と、 extention and user data(O)によつて定義されるデ一タエレメント とが記述され、 一 _ 上記 G O Pレイヤには、 group— of— picture— headerO 関数によって定義される デ一タエレメントと、 extention and user data(l)によって定義されるデ一タエ レメントとが記述され、
上記ピクチャレイヤには、 picture— header (；)関数によつて定義されるデ一タエ レメン卜と、 picture一 coding— extention( )関数によつて定義されるデータエレメ ントと、 extention— and— user— data(2)によって定義されるデ一タエレメン卜が記 述され、
上記タィムコードは、 上記 extention一 and一 user一 data(2)関数によつて示される user— dataO 関数によって示される time— codeO 関数によって定義されるデータ エレメントであることを特徴とする請求の範囲第 8 7項記載の編集方法。
8 9 . 上記タイムコ一ドは、 上記ピクチャレイヤのユーザデータエリアに記述 されるデータであって、 上記符号化ストリームを解析する際に、 上記ピクチャレ ィャのュ一ザデータエリァに記述されたタイムコ一ドを、 上記符号化ストリ一ム に含まれる特有のスタートコ一ドと誤って判断しないように、 上記ピクチャレイ ャのュ一ザデータエリアに記述されるタイムコードには、 所定ビッ ト毎にマ一力 ビッ 卜が挿入されていることを特徴とする請求の範囲第 8 6項記載の編集方法。
9 0 . さらに、 上記ソースビデオデータに対応するソースオーディオデータを 符号化することによって得られる符号化オーディォストリ一ムであって、 上記符 号化ォ一ディォストリ一ムの補助データエリアに、 上記ソースオーディォデータ の各フレームに付随しているタイムコ一ドが記述された符号化オーディォストリ —ムを生成することを特徴とする請求の範囲第 8 6項記載の編集方法。
9 1 . 上記符号化オーディオストリームの補助デ一タエリアには、 上記ソース オーディォデータに対応するタイムコ一ドに加え、 上記ソースビデオデータのフ レームと上記オーディオビデオデータのフレームとの位相差を示す位相情報が記 述されていることを特徴とする請求の範囲第 9 0項記載の編集方法。
9 2 . 上記タイムコ—ドは、 L T C (Longitudinal Time Code I Linear Time Code ) と V I T C (Vertical Interval Time Code)とを含むことを特徴とする 請求の範囲第 8 6項記載の編集方法。 ――
PCT/JP1998/004292 1997-09-25 1998-09-25 Device and method for generating encoded stream, system and method for transmitting data, and system and method for edition WO1999016196A1 (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP51882199A JP4150083B2 (ja) 1997-09-25 1998-09-25 符号化ストリーム生成装置及び方法、ならびに編集システム及び方法
KR1019997004625A KR100750520B1 (ko) 1997-09-25 1998-09-25 부호화 스트림 생성 장치 및 방법, 데이터 전송 시스템 및 방법, 편집 시스템 및 방법
US09/317,329 US6438317B1 (en) 1997-09-25 1999-05-24 Encoded stream generating apparatus and method, data transmission system and method, and editing system and method
US09/734,214 US6453112B2 (en) 1997-09-25 2000-12-11 Encoded stream generating apparatus and method, data transmission system and method, and editing system and method
US09/924,915 US6594439B2 (en) 1997-09-25 2001-08-08 Encoded stream generating apparatus and method, data transmission system and method, and editing system and method
US10/463,099 US7209636B2 (en) 1997-09-25 2003-06-17 Encoded stream generating apparatus and method, data transmission system and method, and editing system and method
US11/606,505 US8891937B2 (en) 1997-09-25 2006-11-30 Encoded stream generating apparatus and method, data transmission system and method, and editing system and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP9/260033 1997-09-25
JP26003397 1997-09-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US09/317,329 Continuation US6438317B1 (en) 1997-09-25 1999-05-24 Encoded stream generating apparatus and method, data transmission system and method, and editing system and method

Publications (1)

Publication Number Publication Date
WO1999016196A1 true WO1999016196A1 (en) 1999-04-01

Family

ID=17342377

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1998/004292 WO1999016196A1 (en) 1997-09-25 1998-09-25 Device and method for generating encoded stream, system and method for transmitting data, and system and method for edition

Country Status (4)

Country Link
US (5) US6438317B1 (ja)
JP (2) JP4150083B2 (ja)
KR (1) KR100750520B1 (ja)
WO (1) WO1999016196A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002125192A (ja) * 2000-08-10 2002-04-26 Sony Corp ビデオ信号処理装置、ビデオ信号処理方法、ビデオデータ処理装置、ビデオデータ処理方法、ビデオデータ編集装置およびビデオデータ編集方法。
EP1613088A1 (en) * 1999-09-29 2006-01-04 Sony Corporation Transport stream recording apparatus and method, transport stream reproducing apparatus and method, and program recording medium
JPWO2008146483A1 (ja) * 2007-05-28 2010-08-19 パナソニック株式会社 メタデータ記録装置及びメタデータ記録方法
JP2012249190A (ja) * 2011-05-30 2012-12-13 Toshiba Corp ビデオサーバ、ｍｘｆファイル再生方法

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100750520B1 (ko) * 1997-09-25 2007-08-21 소니 가부시끼 가이샤 부호화 스트림 생성 장치 및 방법, 데이터 전송 시스템 및 방법, 편집 시스템 및 방법
US6754439B1 (en) * 1998-04-06 2004-06-22 Seachange International, Inc. Method and apparatus for using multiple compressed digital video and audio signals
JPH11353790A (ja) * 1998-06-08 1999-12-24 Yamaha Corp ディジタルビデオ信号送信装置及び受信装置
US7272556B1 (en) * 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
KR100523943B1 (ko) * 1998-12-23 2005-12-21 주식회사 코오롱 울팩용 포지
WO2000046989A1 (fr) * 1999-02-05 2000-08-10 Sony Corporation Dispositifs de codage et de decodage et methodes correspondantes, systeme de codage et procede correspondant
US20040161032A1 (en) * 1999-04-06 2004-08-19 Amir Morad System and method for video and audio encoding on a single chip
US7589789B2 (en) * 1999-05-08 2009-09-15 Lg Electronics Inc. Video converting device and method for digital TV
JP3550509B2 (ja) * 1999-05-26 2004-08-04 松下電器産業株式会社 画像記録再生装置と画像再生装置と不正利用防止方法
US6754276B1 (en) * 1999-09-20 2004-06-22 Matsushita Electric Industrial Co., Ltd. System stream creating apparatus which adjusts system clock reference based on total number of pictures to be stored and decoded during certain time period
US6882793B1 (en) 2000-06-16 2005-04-19 Yesvideo, Inc. Video processing system
TW540248B (en) * 2000-07-19 2003-07-01 Koninkl Philips Electronics Nv Method and device for generating a multiplexed MPEG signal
JP3825615B2 (ja) * 2000-08-11 2006-09-27 株式会社東芝 動画像符号化装置および動画像符号化方法およびプログラムを記録した媒体
US6738427B2 (en) * 2000-09-15 2004-05-18 International Business Machines Corporation System and method of processing MPEG streams for timecode packet insertion
US7177520B2 (en) * 2000-09-15 2007-02-13 Ibm Corporation System and method of timecode repair and synchronization in MPEG streams
KR100769375B1 (ko) 2001-05-12 2007-10-22 엘지전자 주식회사 스크립트 파일이 포함 기록된 기록매체와, 그 재생장치 및방법
KR100769371B1 (ko) * 2001-05-12 2007-10-22 엘지전자 주식회사 스크립트 파일이 포함 기록된 기록매체와, 그 재생장치 및방법
KR100771264B1 (ko) * 2001-05-12 2007-10-29 엘지전자 주식회사 스크립트 파일이 포함 기록된 기록매체와, 그 재생장치 및방법
US6862592B1 (en) * 2001-12-21 2005-03-01 Adobe Systems Incorporated Document processing in a cross-platform environment
US20030131362A1 (en) * 2002-01-09 2003-07-10 Koninklijke Philips Electronics N.V. Method and apparatus for multimodal story segmentation for linking multimedia content
DE60332175D1 (de) * 2002-01-22 2010-05-27 Microsoft Corp Verfahren und System zur Verhinderung von Startkode-Emulation und Stopfdaten
US7072402B2 (en) * 2002-05-13 2006-07-04 General Instrument Corporation Methods and apparatus for dynamically adjusting f-codes for a digital picture header
US20040006627A1 (en) * 2002-05-13 2004-01-08 Eran Sarfaty Content delivery system
US7136417B2 (en) 2002-07-15 2006-11-14 Scientific-Atlanta, Inc. Chroma conversion optimization
JP4806888B2 (ja) * 2002-07-19 2011-11-02 ソニー株式会社 復号化装置及び復号化方法
US20120203363A1 (en) * 2002-09-27 2012-08-09 Arbitron, Inc. Apparatus, system and method for activating functions in processing devices using encoded audio and audio signatures
US8959016B2 (en) 2002-09-27 2015-02-17 The Nielsen Company (Us), Llc Activating functions in processing devices using start codes embedded in audio
US20130138231A1 (en) * 2011-11-30 2013-05-30 Arbitron, Inc. Apparatus, system and method for activating functions in processing devices using encoded audio
US9711153B2 (en) 2002-09-27 2017-07-18 The Nielsen Company (Us), Llc Activating functions in processing devices using encoded audio and detecting audio signatures
US20040067042A1 (en) * 2002-10-07 2004-04-08 Hughes Robert K. Extended time-code for multimedia presentations
JP3896949B2 (ja) * 2002-11-08 2007-03-22 日本電気株式会社 ビデオ編集装置及びビデオ編集プログラム
US7489362B2 (en) 2003-03-04 2009-02-10 Broadcom Corporation Television functionality on a chip
US7715482B2 (en) * 2003-08-14 2010-05-11 Broadcom Corporation System and method for generating pseudo MPEG information from digital video information
US20050013274A1 (en) * 2003-03-05 2005-01-20 Harri Pekonen System and method for data transmission and reception
TWI258935B (en) * 2003-03-05 2006-07-21 Nokia Corp System and method for data transmission and reception
JP3912536B2 (ja) * 2003-03-25 2007-05-09 ソニー株式会社 記録方法、記録装置、記録媒体、撮像装置および撮像方法
GB0306973D0 (en) * 2003-03-26 2003-04-30 British Telecomm Transmitting video
WO2004088990A2 (en) * 2003-04-04 2004-10-14 Bbc Technology Holdings Limited Media storage control
ES2347788T3 (es) * 2003-04-10 2010-11-04 Panasonic Corporation Medio de registro de datos y aparato y metodo para registrar datos usando el medio de registro de datos.
WO2004114200A2 (en) * 2003-06-20 2004-12-29 Sarnoff Corporation Method and apparatus for creating multiple unique copies of content
JP2005109829A (ja) * 2003-09-30 2005-04-21 Toshiba Corp トランスポートストリーム記録編集装置及び記録編集方法
US8427494B2 (en) * 2004-01-30 2013-04-23 Nvidia Corporation Variable-length coding data transfer interface
GB0406901D0 (en) * 2004-03-26 2004-04-28 British Telecomm Transmitting recorded material
US8131134B2 (en) 2004-04-14 2012-03-06 Microsoft Corporation Digital media universal elementary stream
US7590059B2 (en) * 2004-05-21 2009-09-15 Broadcom Corp. Multistandard video decoder
US20050259735A1 (en) * 2004-05-21 2005-11-24 Qin-Fan Zhu System and method for video error masking using standard prediction
JP4586429B2 (ja) * 2004-06-11 2010-11-24 ソニー株式会社 データ処理装置およびデータ処理方法、並びに、プログラムおよびプログラム記録媒体
US20070058723A1 (en) * 2005-09-14 2007-03-15 Chandramouly Ashwin A Adaptively adjusted slice width selection
US7589796B2 (en) * 2006-02-06 2009-09-15 Vixs Systems Inc. Video display device, video encoder, and methods for use therewith
AU2007236534B2 (en) * 2006-02-13 2012-09-06 Vividas Technologies Pty Ltd Method, system and software product for streaming content
WO2007114107A1 (ja) * 2006-03-30 2007-10-11 Pioneer Corporation コンテンツ送信システムにおけるサーバー装置およびコンテンツ送信方法
US8880571B2 (en) * 2006-05-05 2014-11-04 Microsoft Corporation High dynamic range data format conversions for digital media
WO2007131342A1 (en) * 2006-05-12 2007-11-22 Gill Barjinderpal S Edit decision list for media product distribution
US20080037956A1 (en) * 2006-06-30 2008-02-14 Scientific-Atlanta, Inc. Systems and Methods of Generating Encapsulated MPEG Program Streams
US8725504B1 (en) 2007-06-06 2014-05-13 Nvidia Corporation Inverse quantization in audio decoding
US8726125B1 (en) 2007-06-06 2014-05-13 Nvidia Corporation Reducing interpolation error
US8477852B2 (en) * 2007-06-20 2013-07-02 Nvidia Corporation Uniform video decoding and display
EP2034485A1 (en) 2007-09-07 2009-03-11 Thomson Licensing System and method for generating linear time code data
US8356321B2 (en) 2007-09-11 2013-01-15 The Directv Group, Inc. Method and system for monitoring and controlling receiving circuit modules at a local collection facility from a remote facility
US9300412B2 (en) * 2007-09-11 2016-03-29 The Directv Group, Inc. Method and system for operating a receiving circuit for multiple types of input channel signals
US20090070829A1 (en) * 2007-09-11 2009-03-12 The Directv Group, Inc. Receiving circuit module for receiving and encoding channel signals and method for operating the same
US8472871B2 (en) * 2007-09-11 2013-06-25 The Directv Group, Inc. Method and system for monitoring and switching between a primary and diverse site in a satellite communication system
US9756290B2 (en) 2007-09-11 2017-09-05 The Directv Group, Inc. Method and system for communicating between a local collection facility and a remote facility
US9473751B2 (en) * 2007-09-11 2016-10-18 The Directv Group, Inc. Method and system for operating a monitoring system for a satellite communication system
US8804499B2 (en) * 2007-09-11 2014-08-12 The Directv Group, Inc. Method and system for monitoring and switching between a first uplink signal processing circuit and a secondary uplink signal processing circuit
US8165060B2 (en) 2007-09-11 2012-04-24 The Directv Group, Inc. Method and system for monitoring and switching between primary and back-up uplink signal processing circuits in a satellite communication system
US8973058B2 (en) * 2007-09-11 2015-03-03 The Directv Group, Inc. Method and system for monitoring and simultaneously displaying a plurality of signal channels in a communication system
US9313457B2 (en) * 2007-09-11 2016-04-12 The Directv Group, Inc. Method and system for monitoring a receiving circuit module and controlling switching to a back-up receiving circuit module at a local collection facility from a remote facility
US8424044B2 (en) * 2007-09-11 2013-04-16 The Directv Group, Inc. Method and system for monitoring and switching between a primary encoder and a back-up encoder in a communication system
US8792336B2 (en) * 2007-09-11 2014-07-29 The Directv Group, Inc. Method and system for monitoring and switching between primary and back-up receiver decoder circuits in a communication system
US8479234B2 (en) 2007-09-12 2013-07-02 The Directv Group, Inc. Method and system for monitoring and controlling a local collection facility from a remote facility using an asynchronous transfer mode (ATM) network
US8849051B2 (en) * 2007-09-17 2014-09-30 Nvidia Corporation Decoding variable length codes in JPEG applications
US8502709B2 (en) * 2007-09-17 2013-08-06 Nvidia Corporation Decoding variable length codes in media applications
US9049037B2 (en) * 2007-10-31 2015-06-02 The Directv Group, Inc. Method and system for monitoring and encoding signals in a local facility and communicating the signals between a local collection facility and a remote facility using an IP network
US8687875B2 (en) * 2007-12-03 2014-04-01 Nvidia Corporation Comparator based acceleration for media quantization
US8704834B2 (en) * 2007-12-03 2014-04-22 Nvidia Corporation Synchronization of video input data streams and video output data streams
US8934539B2 (en) 2007-12-03 2015-01-13 Nvidia Corporation Vector processor acceleration for media quantization
US9876599B2 (en) * 2007-12-17 2018-01-23 Avago Technologies General Ip (Singapore) Pte. Ltd. System(s), method(s), and apparatus for accurate detection of the end of stream
TWI357263B (en) * 2008-02-22 2012-01-21 Novatek Microelectronics Corp Method and related device for converting transport
EP2101503A1 (en) * 2008-03-11 2009-09-16 British Telecommunications Public Limited Company Video coding
KR101230691B1 (ko) * 2008-07-10 2013-02-07 한국전자통신연구원 공간정보 기반의 다객체 오디오 부호화에서의 오디오 객체 편집 방법 및 그 장치
EP2338278B1 (en) 2008-09-16 2015-02-25 Intel Corporation Method for presenting an interactive video/multimedia application using content-aware metadata
US9762973B2 (en) * 2008-11-04 2017-09-12 The Directv Group, Inc. Method and system for operating a receiving circuit module to encode a channel signal into multiple encoding formats
EP2200319A1 (en) 2008-12-10 2010-06-23 BRITISH TELECOMMUNICATIONS public limited company Multiplexed video streaming
US9307267B2 (en) 2008-12-11 2016-04-05 Nvidia Corporation Techniques for scalable dynamic data encoding and decoding
US8542749B2 (en) 2008-12-17 2013-09-24 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for measuring audiovisual synchronisation
EP2219342A1 (en) 2009-02-12 2010-08-18 BRITISH TELECOMMUNICATIONS public limited company Bandwidth allocation control in multiple video streaming
US8879895B1 (en) 2009-03-28 2014-11-04 Matrox Electronic Systems Ltd. System and method for processing ancillary data associated with a video stream
US8665949B1 (en) * 2009-09-09 2014-03-04 Marvell International Ltd. Methods and apparatus for transmission of data at different modulation and/or coding rates
US8743178B2 (en) * 2010-01-05 2014-06-03 Dolby Laboratories Licensing Corporation Multi-view video format control
US8782803B2 (en) 2010-04-14 2014-07-15 Legitmix, Inc. System and method of encrypting a derivative work using a cipher created from its source
US8925102B2 (en) * 2010-10-14 2014-12-30 Legitmix, Inc. System and method of generating encryption/decryption keys and encrypting/decrypting a derivative work
US9831971B1 (en) 2011-04-05 2017-11-28 The Directv Group, Inc. Method and system for operating a communication system encoded into multiple independently communicated encoding formats
US9998750B2 (en) 2013-03-15 2018-06-12 Cisco Technology, Inc. Systems and methods for guided conversion of video from a first to a second compression format
JPWO2015107925A1 (ja) * 2014-01-16 2017-03-23 ソニー株式会社 データ処理装置、及び、データ処理方法
US10271069B2 (en) 2016-08-31 2019-04-23 Microsoft Technology Licensing, Llc Selective use of start code emulation prevention

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04107084A (ja) * 1990-08-28 1992-04-08 Nec Home Electron Ltd 画像圧縮装置
JPH04332991A (ja) * 1991-05-02 1992-11-19 Matsushita Electric Ind Co Ltd タイムコード自動判別切り換え装置
JPH08168042A (ja) * 1994-12-15 1996-06-25 Sony Corp データ復号化装置およびデータ復号化方法
JPH08205170A (ja) * 1995-01-23 1996-08-09 Matsushita Electric Ind Co Ltd 動画像復号化装置及び動画像符号化装置
JPH098763A (ja) * 1995-06-16 1997-01-10 Hitachi Denshi Ltd データ伝送システム
JPH09163304A (ja) * 1995-12-12 1997-06-20 Sony Corp 符号化方法及びその装置、並びにオーサリングシステム
JPH09161456A (ja) * 1995-12-13 1997-06-20 Sony Corp データ処理装置及びデータ処理方法
JPH1098677A (ja) * 1996-09-25 1998-04-14 Matsushita Electric Ind Co Ltd 映像情報編集装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8416495D0 (en) * 1984-06-28 1984-08-01 King R A Encoding method
US5164839A (en) * 1988-12-27 1992-11-17 Explore Technology, Inc. Method for handling audio/video source information
JP2965320B2 (ja) 1990-05-28 1999-10-18 日本電信電話株式会社 映像編集方法
JPH05101609A (ja) * 1990-09-28 1993-04-23 Digital Fx Inc ビデオテープエデイテイングシステムとビデオテープデータエデイテイング方法
US5493339A (en) * 1993-01-21 1996-02-20 Scientific-Atlanta, Inc. System and method for transmitting a plurality of digital services including compressed imaging services and associated ancillary data services
JPH06295566A (ja) 1993-04-09 1994-10-21 Matsushita Electric Ind Co Ltd 動画像編集装置
US5701153A (en) * 1994-01-14 1997-12-23 Legal Video Services, Inc. Method and system using time information in textual representations of speech for correlation to a second representation of that speech
JPH0879703A (ja) 1994-07-05 1996-03-22 Sony Corp 画像情報処理方法及び装置
TW377935U (en) * 1994-08-10 1999-12-21 Gen Instrument Corp Dram mapping for a digital video decompression processor
JPH08205082A (ja) 1995-01-25 1996-08-09 Sony Corp データ処理装置
US5721952A (en) * 1995-02-17 1998-02-24 Acer Incorporated Method and apparatus for automatic detection of disk type in a computer system
JP3635710B2 (ja) 1995-04-05 2005-04-06 ソニー株式会社 ニュース素材を伝送する方法及び装置
US5699124A (en) * 1995-06-28 1997-12-16 General Instrument Corporation Of Delaware Bandwidth efficient communication of user data in digital television data stream
JP3701051B2 (ja) 1995-07-04 2005-09-28 パイオニア株式会社 情報記録装置及び情報再生装置
US5598415A (en) * 1995-08-04 1997-01-28 General Instrument Corporation Of Delaware Transmission of high rate isochronous data in MPEG-2 data streams
US5703859A (en) * 1995-09-01 1997-12-30 Sony Corporation Digital video copy protection system
US5959672A (en) * 1995-09-29 1999-09-28 Nippondenso Co., Ltd. Picture signal encoding system, picture signal decoding system and picture recognition system
US5844594A (en) * 1995-10-05 1998-12-01 Microsoft Corporation Method and apparatus for MPEG encoding
JPH09116860A (ja) 1995-10-19 1997-05-02 Matsushita Electric Ind Co Ltd 動画範囲選択方法及びビデオ編集装置
US5822547A (en) * 1996-05-31 1998-10-13 Texas Instruments Incorporated Method and apparatus for providing a portable computer with hot pluggable modular bays
US5920709A (en) * 1996-06-04 1999-07-06 Exabyte Corporation Bus interface for IDE device
US5844615A (en) * 1997-01-16 1998-12-01 General Instrument Corporation Communication of VBI data in digital television data streams
KR100750520B1 (ko) * 1997-09-25 2007-08-21 소니 가부시끼 가이샤 부호화 스트림 생성 장치 및 방법, 데이터 전송 시스템 및 방법, 편집 시스템 및 방법
US6182162B1 (en) * 1998-03-02 2001-01-30 Lexar Media, Inc. Externally coupled compact flash memory card that configures itself one of a plurality of appropriate operating protocol modes of a host computer
WO2000046989A1 (fr) * 1999-02-05 2000-08-10 Sony Corporation Dispositifs de codage et de decodage et methodes correspondantes, systeme de codage et procede correspondant
DE20006458U1 (de) * 2000-04-07 2000-06-15 Key Technology Corp RAID-Vorrichtung mit anpassungsfähiger Befehlsverarbeitung und Datenübertragung

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04107084A (ja) * 1990-08-28 1992-04-08 Nec Home Electron Ltd 画像圧縮装置
JPH04332991A (ja) * 1991-05-02 1992-11-19 Matsushita Electric Ind Co Ltd タイムコード自動判別切り換え装置
JPH08168042A (ja) * 1994-12-15 1996-06-25 Sony Corp データ復号化装置およびデータ復号化方法
JPH08205170A (ja) * 1995-01-23 1996-08-09 Matsushita Electric Ind Co Ltd 動画像復号化装置及び動画像符号化装置
JPH098763A (ja) * 1995-06-16 1997-01-10 Hitachi Denshi Ltd データ伝送システム
JPH09163304A (ja) * 1995-12-12 1997-06-20 Sony Corp 符号化方法及びその装置、並びにオーサリングシステム
JPH09161456A (ja) * 1995-12-13 1997-06-20 Sony Corp データ処理装置及びデータ処理方法
JPH1098677A (ja) * 1996-09-25 1998-04-14 Matsushita Electric Ind Co Ltd 映像情報編集装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1613088A1 (en) * 1999-09-29 2006-01-04 Sony Corporation Transport stream recording apparatus and method, transport stream reproducing apparatus and method, and program recording medium
US7778518B2 (en) 1999-09-29 2010-08-17 Sony Corporation Transport stream recording apparatus and method, transport stream reproducing apparatus and method, and program recording medium
JP2002125192A (ja) * 2000-08-10 2002-04-26 Sony Corp ビデオ信号処理装置、ビデオ信号処理方法、ビデオデータ処理装置、ビデオデータ処理方法、ビデオデータ編集装置およびビデオデータ編集方法。
JP4506053B2 (ja) * 2000-08-10 2010-07-21 ソニー株式会社 ビデオ信号処理装置、ビデオ信号処理方法、ビデオデータ処理装置、ビデオデータ処理方法、ビデオデータ編集装置およびビデオデータ編集方法。
JPWO2008146483A1 (ja) * 2007-05-28 2010-08-19 パナソニック株式会社 メタデータ記録装置及びメタデータ記録方法
US8509590B2 (en) 2007-05-28 2013-08-13 Panasonic Corporation Metadata recording device and method thereof
JP2012249190A (ja) * 2011-05-30 2012-12-13 Toshiba Corp ビデオサーバ、ｍｘｆファイル再生方法

Also Published As

Publication number Publication date
US6438317B1 (en) 2002-08-20
JP4150083B2 (ja) 2008-09-17
US6453112B2 (en) 2002-09-17
US20010048803A1 (en) 2001-12-06
US20030215215A1 (en) 2003-11-20
US6594439B2 (en) 2003-07-15
JP4816667B2 (ja) 2011-11-16
KR20000069135A (ko) 2000-11-25
US20070076798A1 (en) 2007-04-05
KR100750520B1 (ko) 2007-08-21
JP2008263601A (ja) 2008-10-30
US20010001023A1 (en) 2001-05-10
US8891937B2 (en) 2014-11-18
US7209636B2 (en) 2007-04-24

Similar Documents

Publication Publication Date Title
JP4150083B2 (ja) 符号化ストリーム生成装置及び方法、ならびに編集システム及び方法
KR100420740B1 (ko) 인코딩 장치, 인코딩 방법, 디코딩 장치, 디코딩 방법,코딩 시스템, 코딩 방법
US20090028514A1 (en) After-recording apparatus
US20080044157A1 (en) MPEG picture data recording apparatus, MPEG picture data recording method, MPEG picture data recording medium, MPEG picture data generating apparatus, MPEG picture data reproducing apparatus, and MPEG picture data reproducing method
JP2003169295A (ja) Ｍｐｅｇ記録装置、記録媒体、再生装置及び伝送装置
JP3748234B2 (ja) Ｍｐｅｇデータ記録方法
JP2005198350A (ja) アフレコ信号再生方法
JP3792770B2 (ja) 記録再生装置
JP3748243B2 (ja) Ｍｐｅｇデータ記録装置
JP3748241B2 (ja) Ｍｐｅｇデータ記録方法
JP3748242B2 (ja) Ｍｐｅｇデータ記録方法
JP3748240B2 (ja) Ｍｐｅｇデータ記録方法
JP3748244B2 (ja) Ｍｐｅｇデータ記録装置
JP3748245B2 (ja) Ｍｐｅｇデータ記録装置
JP2007325304A (ja) Ｍｐｅｇデータ記録再生方法
JP2008005520A (ja) Ｍｐｅｇデータ記録再生装置
JP2005198349A (ja) 記録媒体
JP2008005521A (ja) Ｍｐｅｇデータ記録再生方法
JP2008005522A (ja) Ｍｐｅｇデータ記録再生方法
JP2005245006A (ja) アフレコ信号再生装置
JP2005260979A (ja) アフレコ信号伝送方法
JP2007336574A (ja) Ｍｐｅｇデータ記録再生装置
JP2005253093A (ja) アフレコ信号伝送装置
JP2005260978A (ja) アフレコ信号生成用プログラム
JP2008005519A (ja) Ｍｐｅｇデータ記録再生装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP KR US

WWE Wipo information: entry into national phase

Ref document number: 09317329

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1019997004625

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 1019997004625

Country of ref document: KR