WO1998042132A1 - Method of processing, transmitting and receiving dynamic image data and apparatus therefor - Google Patents

Method of processing, transmitting and receiving dynamic image data and apparatus therefor Download PDF

Info

Publication number
WO1998042132A1
WO1998042132A1 PCT/JP1998/001084 JP9801084W WO9842132A1 WO 1998042132 A1 WO1998042132 A1 WO 1998042132A1 JP 9801084 W JP9801084 W JP 9801084W WO 9842132 A1 WO9842132 A1 WO 9842132A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
time
processing
priority
information
Prior art date
Application number
PCT/JP1998/001084
Other languages
English (en)
French (fr)
Inventor
Takao Yamaguchi
Minoru Etoh
Hiroshi Arakawa
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP98907236A priority Critical patent/EP0905976A4/en
Priority to US09/194,008 priority patent/US6674477B1/en
Publication of WO1998042132A1 publication Critical patent/WO1998042132A1/ja
Priority to US10/626,271 priority patent/US7502070B2/en
Priority to US10/626,075 priority patent/US7436454B2/en
Priority to US11/742,810 priority patent/US20070201563A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1829—Arrangements specially adapted for the receiver end
    • H04L1/1854—Scheduling and prioritising arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867—Arrangements specially adapted for the transmitter end
    • H04L1/1887—Scheduling and prioritising arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4381—Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6137—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a telephone network, e.g. POTS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal

Definitions

  • the present invention relates to an image / sound transmitting device, an image / sound receiving device, a data processing device, and a data processing method, and a waveform data transmitting method, a device, and a waveform data receiving method, a device, and a moving image transmission.
  • the present invention relates to a method, an apparatus, and a moving image receiving method and apparatus. Background art
  • (A1)-Data and control information are created using a plurality of logical transmission lines that are softly constructed on one or more actual transmission lines.
  • ( ⁇ 2) A method for dynamically changing header information (corresponding to the data management information of the present invention) added to image and audio data, and
  • (A3) moving header information (corresponding to the transmission management information of the present invention) added for transmission.
  • methods for dynamically adjusting the amount of data transmitted to the network include a method of changing the encoding method and a method of discarding data in frame units according to the video frame type.
  • the designated time is a time required for transmitting a bit stream obtained by encoding one image. If decoding cannot be performed within this time, the excess time will be delayed, and if it accumulates and increases, the delay from the sender to the receiver will increase, making it unsuitable for use as a videophone. This situation must be avoided. In addition, there was another problem that the video could not be transmitted if the decoding process could not be completed within the specified time because the communication partner generated a non-standard bit stream. The above problem is a problem that occurs not only in moving images but also in audio data.
  • the same software can be executed on computers with different device configurations such as CPU, bus width, presence / absence of an accelerator, etc., so it is difficult to consider in advance the upper limit of the required performance. In some cases, the image cannot be decrypted in time.
  • the current decoded image may be generated based on the previous decoded image (such as a P-picture). There is also a problem that the image quality deteriorates over time as the image is not completely restored.
  • the frame rate of an image is determined by the time required for one encoding process, so if the frame rate specified by the user exceeds the processing limit of the computer, it can respond to the specification. I could't.
  • the present invention considers the problems (A 1) to (A 6) of the first prior art, and solves at least one of those problems by providing an image / speech transmission device, an image / speech reception device, It is an object to provide a data processing device and a data processing method. Further, the present invention considers the problems (B 1) to (B 2) of the second conventional technique, and solves at least any one of the problems, and a data processing device and a data processing method. The aim is to provide a method.
  • the present invention considers the problems (C 1) to (C 3) of the last related art described above, and provides a method and an apparatus for transmitting waveform data which solve at least one of those problems. It is an object of the present invention to provide a method and apparatus for receiving waveform and waveform data, and a method and apparatus for transmitting a moving image, and a method and apparatus for receiving a moving image.
  • the present invention according to claim 1 provides a transmission path which is the same as the transmission path of the data to be transmitted, as transmission format information, with regard to the transmission method and Z or the content relating to the structure of the data to be transmitted, as transmission format information. Or transmission means for transmitting using a transmission path different from the transmission path,
  • the transmitted data is image data and / or audio data It is a transmitting device.
  • the transmission format information includes: data management information added to the data to manage the data; and transmission management information added to the data to transmit the data.
  • the image / audio transmitting apparatus according to claim 1, wherein the apparatus is included in at least one piece of information for controlling processing on a terminal side.
  • the data is divided into a plurality of packets, and the data management information or the transmission management information is different from the first packet of the plurality of divided packets. 4.
  • Image and audio transmission device
  • the transmission format information is structure information of the data
  • the transmission unit transmits corresponding data to the receiving device after a signal indicating receivable output from a receiving device that has received the transmitted structure information of the data is confirmed.
  • the described image ⁇ audio transmission device The described image ⁇ audio transmission device.
  • the transmission format information includes: (1) an identifier for identifying a program or data to be used at a later stage in a receiving device; To know when it will be used or for how long it is valid for use. 2.
  • the present invention according to claim 8 is characterized in that the point of time when the data is to be used is a power transmitted by using a transmission serial number for identifying a transmission order relationship as transmission management information, or a data transmitted.
  • the transmitting apparatus transmits the information as information for controlling processing on the terminal side in another packet.
  • the present invention according to claim 9, further comprising: storage means for storing a plurality of types of contents relating to the transmission method and the structure of data to be transmitted or an identifier thereof, wherein the identifier is the data management information, and the transmission management. 4.
  • the present invention according to claim 11, wherein a default identifier indicating whether or not to change the content regarding the transmission method and the content of Z or the structure of data to be transmitted is added to the invention according to claim 1, 2 or 3. Image and audio transmission device.
  • the present invention according to claim 12 wherein the identifier or the default identifier is added to a predetermined fixed-length area of the information to be transmitted or to the predetermined position.
  • the present invention according to claim 13 is a receiving unit that receives the transmission format information transmitted from the image / sound transmitting device according to any one of claims 1 to 12, and the received transmission format. This is an image-sound receiving device provided with transmission information interpreting means for interpreting information.
  • the present invention further comprising: storage means for storing a plurality of types of contents relating to the transmission method and / or the structure of data to be transmitted and identifiers thereof, wherein the storage format is interpreted when interpreting the transmission format information.
  • storage means for storing a plurality of types of contents relating to the transmission method and / or the structure of data to be transmitted and identifiers thereof, wherein the storage format is interpreted when interpreting the transmission format information.
  • the present invention according to claim 15, further comprising information multiplexing means for controlling start / end of multiplexing of information of a plurality of logical transmission paths for transmitting data and / or control information,
  • information multiplexing means for controlling start / end of multiplexing of information of a plurality of logical transmission paths for transmitting data and / or control information
  • control information regarding the start and end of the multiplexing by the information multiplexing means is transmitted as multiplexing control information
  • the data is an image / audio transmission device that is image data and / or audio data.
  • the present invention according to claim 16, wherein the multiplexing control information is arranged and transmitted without multiplexing before the data and / or control information, or the multiplexing control information is 16.
  • the multiplexing control information transmitted from the image / audio transmitting device according to the fifteenth aspect, and the multiplexed data and Z or control information are received.
  • the multiplexed data and / or control An image / sound receiving device including a separating unit for separating information.
  • the present invention according to claim 18 is characterized in that: main viewing means for viewing a program;
  • Sub-viewing means for periodically detecting the status of programs other than the program being viewed by the main viewing means
  • the detection is performed so that a program and a program or data required when the program viewed by the main viewing means is switched to another program can be processed smoothly.
  • the data is an image / sound receiving device that is image data and / or sound data.
  • ⁇ Voice transmission device
  • the present invention according to claim 20 is a receiving means for receiving encoded information to which information relating to the priority of processing in an overload state is added in advance,
  • Priority determining means for determining a threshold as a reference for selecting whether or not the information received by the receiving means should be processed
  • the time at which the received information should be output and the elapsed time from the start of the processing, or the time at which the received information should be decoded and the time elapsed from the start of the processing are compared, and based on the comparison result, Changing the threshold value,
  • An image / sound receiving device including image data and / or sound data is to be encoded.
  • Retransmission request priority determining means for determining a threshold as a criterion for determining whether or not the priority is determined, the determined threshold is the priority managed by the priority determining means, the number of retransmissions, the information loss rate, the frame 20.
  • a retransmission priority determining unit for determining a reference threshold value wherein the determined threshold value is a priority, a retransmission count, and information managed by the priority determining unit of the image / voice receiving apparatus according to claim 20.
  • This is a video / audio transmission device that is determined based on at least one of the following: loss rate, insertion interval of intra-coded frames, and priority granularity.
  • the present invention described in claim 23 is characterized in that (1) the case where the actual transfer rate exceeds the target transfer rate of image or audio information, or (2) the elapsed time from the start of the transfer processing, and When it is determined that the writing of the encoded information to the transmission buffer is delayed as a result of comparing with the time to be decoded or to be output, which is added to the obtained information,
  • An image / sound transmitting apparatus for thinning out the transmission of the information by using the priority added to the encoded information.
  • the present invention includes: (1) time-series data of audio or moving image; (2) a priority between time-series data indicating a priority of processing of the time-series data ⁇ ; Receiving means for classifying the time-series data and receiving a data series including a plurality of priorities in the time-series data indicating a processing priority among the classified data; When a plurality of the time-series data are present at the same time, the data processing device includes a data processing unit that performs processing using both the priority between the time-series data and the priority within the time-series data. is there.
  • the present invention according to claim 27 includes: (1) time-series data such as audio or moving image; (2) time-series data priority indicating processing priority between the time-series data; Accepting means for classifying the time-series data and receiving a data series including a plurality of priorities in the time-series data indicating processing priorities among the classified data;
  • the processing capability for each of the time-series data is allocated according to the priority between the time-series data, and the time-series data is further classified based on the priority within the time-series data so as to fall within the allocated processing capability.
  • a data processing means for adaptively deteriorating the processing quality of the data segmented in the time-series data is allocated according to the priority between the time-series data, and the time-series data is further classified based on the priority within the time-series data so as to fall within the allocated processing capability.
  • a data processing means for adaptively deteriorating the processing quality of the data segmented in the time-series data.
  • time-series data priority for the moving image is added in units of frames of the moving image, and when the moving image in the frame unit is divided into a plurality of buckets,
  • a data processing apparatus for adding the priority in time-series data only to a header portion of a bucket for transmitting a leading portion of a frame of the moving image which can be accessed as independent information.
  • the present invention according to claim 31 is the data according to any one of claims 25, 27, or 29, wherein the priority in the time-series data is described in a header of a bucket and priority processing is performed. Data processing device.
  • the present invention according to claim 33, wherein the range of values in which the priority in the time-series data can be expressed is made variable, and priority processing is performed, wherein the priority processing is performed.
  • Re a data processing device according to any of the above.
  • the present invention according to claim 34, wherein a data sequence including time-series data such as a voice or a moving image and a priority between time-series data indicating a priority of processing of the time-series data query is input,
  • time-series data such as voice or moving image is divided, and the time-series data and a plurality of priorities in the time-series data indicating a processing priority between the divided data.
  • the present invention provides:
  • a moving image is output as the waveform data.
  • the present invention provides:
  • the present invention provides:
  • the processing time required for video encoding is predicted using the execution time, and the processing time can be used to process a single image determined by a frame rate given as a user instruction. It is a special feature to calculate the number of executions of each group that does not exceed a short time.
  • the number of executions of each of the essential processing and the non-essential processing is determined by the above configuration, transmitted to the receiving side, and the time required for each processing is estimated based on the number of executions and the decoding time.
  • the decoding process time is kept below the specified time and the delay is kept small. Can be.
  • the execution time of the essential processing and the non-essential processing estimated at the receiving side is transmitted to the transmitting side, and the number of executions is determined at the transmitting side based on each execution time.
  • the execution time can be set to a specified time or less.
  • the execution times of the essential processing and the non-essential processing are estimated, and the execution time and By determining the number of executions based on the user-specified time determined by the frame rate instructed by the user, the estimated execution time of the encoding process can be made shorter than the user-specified time.
  • FIG. 1 is a schematic configuration diagram of an image / audio transmitting / receiving apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing a reception management unit and a separation unit.
  • FIG. 3 is a diagram showing a method of transmitting and controlling images and sounds using a plurality of logical transmission paths.
  • FIG. 4 is a diagram showing a method of dynamically changing header information to be added to data of an image or sound to be transmitted.
  • FIGS. 5 (a) to 5 (b) are diagrams showing a method of adding AL information.
  • FIGS. 6 (a) to 6 (d) are diagrams showing an example of a method for adding AL information.
  • FIG. 7 is a diagram illustrating a method of transmitting information by dynamically multiplexing and demultiplexing a plurality of logical transmission paths.
  • FIG. 8 is a diagram showing a transmission procedure of a broadcast program.
  • Fig. 9 (a) is a diagram illustrating a method of transmitting images and audio in consideration of program and data reading and startup time when programs and data are stored in the receiving terminal.
  • FIG. 9 (b) is a diagram showing a method of transmitting an image and a sound in consideration of a program and data reading and start-up time when a program and data are transmitted.
  • FIG. 10 (a) is a diagram showing a method of responding to subbing.
  • FIG. 10 (b) is a diagram showing a method of responding to the rubbing.
  • FIG. 11 (a) is a diagram showing a specific example of a protocol actually transmitted and received between terminals.
  • FIG. 11 (b) is a diagram showing a specific example of a protocol actually transmitted and received between terminals.
  • FIG. 12 is a diagram showing a specific example of a protocol actually transmitted and received between terminals.
  • FIG. 13 (a) is a diagram showing a specific example of a protocol actually transmitted and received between terminals.
  • FIG. 13 (b) is a diagram showing a specific example of a protocol actually transmitted and received between terminals.
  • FIG. 13 (c) is a diagram showing a specific example of a protocol actually transmitted and received between terminals.
  • FIG. 14 is a diagram showing a specific example of a protocol actually transmitted and received between terminals.
  • FIG. 15 is a diagram showing a specific example of a protocol actually transmitted and received between terminals.
  • FIG. 16 (a) is a diagram showing a specific example of a protocol actually transmitted and received between terminals.
  • FIG. 16 (b) is a diagram showing a specific example of a protocol actually transmitted and received between terminals.
  • FIG. 17 is a diagram showing a specific example of a protocol actually transmitted and received between terminals.
  • FIG. 18 is a diagram showing a specific example of a protocol actually transmitted and received between terminals.
  • FIG. 19 (a) is a diagram showing a specific example of a protocol actually transmitted and received between terminals.
  • FIG. 19 (b) is a diagram showing a specific example of a protocol actually transmitted and received between terminals.
  • FIG. 20 (a) to FIG. 20 (c) are configuration diagrams of the CGD demonstration system of the present invention.
  • FIG. 21 is a diagram showing a method of adding priorities at the time of overload in the encoder.
  • FIG. 22 is a diagram illustrating a method of determining the priority at the receiving terminal at the time of overload.
  • FIG. 23 is a diagram showing a temporal change of the priority.
  • FIG. 24 is a diagram showing stream priorities and object priorities.
  • FIG. 25 is a schematic configuration diagram of an image encoding / decoding apparatus according to an embodiment of the present invention.
  • FIG. 26 is a schematic configuration diagram of a speech encoding / decoding apparatus according to an embodiment of the present invention.
  • FIGS. 27 (a) to 27 (b) are diagrams showing a priority adding unit and a priority determining unit for managing the priority of processing at the time of overload.
  • FIGS. 28 (a) to 28 (c) are diagrams showing the granularity at which the priority is added.
  • FIG. 29 is a diagram showing a method of assigning priorities to multi-resolution image data.
  • FIG. 30 is a diagram showing a configuration method of a communication payload.
  • FIG. 31 is a diagram showing a method of associating data with a communication payload.
  • FIG. 32 is a diagram showing correspondence between object priorities, stream priorities, and communication packet priorities.
  • FIG. 33 is a configuration diagram of a transmission device according to the first embodiment of the present invention.
  • FIG. 34 is an explanatory diagram of the first embodiment.
  • FIG. 35 is a configuration diagram of a receiving device according to a third embodiment of the present invention.
  • FIG. 36 is a configuration diagram of a receiving device according to a fifth embodiment of the present invention.
  • FIG. 37 is an explanatory diagram of the fifth embodiment.
  • FIG. 38 is a configuration diagram of a transmission device according to a sixth embodiment of the present invention.
  • FIG. 39 is a configuration diagram of a transmission device according to an eighth embodiment of the present invention.
  • FIG. 40 is a flowchart of a transmission method according to the second embodiment of the present invention.
  • FIG. 41 is a flowchart of a receiving method according to a fourth embodiment of the present invention.
  • FIG. 42 is a flowchart of a transmission method according to the seventh embodiment of the present invention.
  • FIG. 43 is a flowchart of a transmission method according to a ninth embodiment of the present invention.
  • FIG. 44 is a block diagram showing an example of the image / sound transmitting apparatus of the present invention.
  • FIG. 45 is a configuration diagram showing an example of the image / sound receiving device of the present invention.
  • FIG. 46 is a diagram for explaining a priority adding means for adding a priority to video and audio of the image-audio transmitting apparatus of the present invention.
  • FIG. 47 is a diagram for explaining the priority determining means for interpreting the priority added to the video and audio of the image / audio receiving apparatus of the present invention and determining whether or not decoding processing is possible.
  • the embodiment described here mainly solves any of the problems (A1) to (A6) described above.
  • the “image” used in the present invention includes both still images and moving images.
  • the target image may be three-dimensional image data composed of a two-dimensional image such as computer graphics (CG) and a one-frame model.
  • CG computer graphics
  • FIG. 1 is a schematic configuration diagram of an image / audio transmitting / receiving apparatus according to an embodiment of the present invention.
  • a reception management unit 11 for receiving information and a transmission unit 13 for transmitting information are means for transmitting information such as a coaxial cable, a CATV, a LAN, and a modem.
  • the communication environment may be a communication environment in which a plurality of logical transmission paths can be used without being aware of multiplexing means, such as the Internet, or multiplexing means, such as analog telephones and satellite broadcasting. Even in a communication environment that must be done.
  • terminal connection forms include two-way transmission and reception of video and audio between terminals, such as videophone and video conference systems, and broadcast-type video and audio broadcasting over satellite broadcasting, CATV, and the Internet. Form. In the present invention, such a connection form of the terminal is considered.
  • the separation unit 12 shown in FIG. 1 is a means for analyzing received information and separating data and control information. Specifically, transmission header information added to data for transmission and It is a means for decomposing data and decomposing the contents of data and the header for data control added to the data itself.
  • the image decompression unit 14 is a means for decompressing a received image. For example, standardized moving images and still images such as H.261, H.263, MPEG1 / 2, and JPEG may or may not be compressed images.
  • the image expansion management unit 15 shown in FIG. 1 is a means for monitoring the expansion state of an image. For example, by monitoring the image expansion status, if the reception buffer is about to overflow, the image can be expanded without reading the image without expanding the image. The image expansion can be resumed from the point where In the figure, an image synthesizing unit 16 is a means for synthesizing an expanded image.
  • an image synthesizing unit 16 is a means for synthesizing an expanded image.
  • the compositing method using script languages such as JAVA, VRML, and MHEG, image and image structure information (display position and display time (may include display period)), grouping method of images, and image display
  • the image composition method can be defined by describing the relationship between the layer (depth), the object ID (S SRC described later), and these attributes. Scripts describing the synthesis method enter and exit from the network or local storage.
  • the output unit 17 is a display or a printer that outputs a result of synthesizing images.
  • the terminal control section 18 is a means for controlling these sections. It should be noted that even a configuration in which audio is expanded instead of an image is supported (the image expansion unit is changed to the audio expansion unit, the image expansion management unit is changed to the audio expansion management unit, and the image synthesis unit is changed to the audio synthesis unit. Yes, but it is also possible to have a configuration in which both images and sound are decompressed and synthesized and displayed while maintaining temporal synchronization.
  • An image compression unit that compresses the image an image compression management unit that manages the image compression unit
  • an audio compression unit that compresses audio By providing an audio compression unit that compresses audio and an audio compression management unit that manages the audio compression unit, it becomes possible to transmit images and audio.
  • FIG. 2 is a diagram showing a reception management unit and a separation unit.
  • the data is transmitted to the data receiving unit 101 that receives data at the reception management unit 11 shown in FIG. 1, the control information receiving unit 102 that receives control information for controlling data, and the demultiplexing unit 12.
  • Interpret the transmission contents based on the transmission format storage unit 103 that stores the transmission structure for interpreting the contents (details will be described later) and the transmission structure stored in the transmission format storage unit 103
  • the transmission information interpreting unit 104 it is possible to receive data and control information independently.For example, it is easy to delete or move a received image or sound while receiving it. Become.
  • the communication environment targeted by the reception management unit 11 is a communication environment such as the Internet where multiple logical transmission paths can be used without being aware of multiplexing means.
  • the communication environment has a plurality of logical transmission paths (logical channels) (for example, in a communication environment where TCP and IP can be used, the expression “communication port” is used. Commonly used).
  • the information received by the reception management unit 11 includes one or more types of data transmission paths and a control logical transmission path for controlling data to be transmitted. It is assumed that there are at least one type of transmission route. Multiple transmission paths for data transmission may be prepared, and only one transmission path for data control may be prepared. Also, like RTPZRTCP, which is also used in H.323, a transmission line for data control may be prepared for each data transmission.
  • a single communication port multiple (Communication address).
  • FIG. 3 is a diagram illustrating a method of transmitting and controlling images and sounds using a plurality of logical transmission paths.
  • the transmitted data itself is called ES (Elementary Stream), and ES is image information for one frame if it is an image, or image information for a GOB or macroblock that is smaller than one frame. You may. For audio, it may be of a fixed length determined by the user.
  • the header information for data control added to the data to be transmitted overnight is called AL (Adaptation Layer Information).
  • the AL information includes information indicating whether the start position is at which data can be processed, information indicating data reproduction time, information indicating the priority of data processing, and the like.
  • the data management information of the present invention corresponds to the AL information. It should be noted that ES and AL used in the present invention do not necessarily have to match the contents defined in MPEG1-2.
  • the information indicating whether or not it is the start position where data can be processed includes two types of information.
  • One is a flag for random access, and is information indicating that the image can be read and reproduced independently of the preceding and following data, such as an intra frame (I picture) for an image.
  • an access flag can be defined simply as a flag to indicate that it can be read by itself. For example, in the case of an image, this is information indicating that it is the beginning of an image in GOB units or macroblock units. Therefore, if there is no access flag, it is in the middle of data. It is not always necessary to use both the random access flag and the access flag as information indicating whether or not the data can be processed.
  • the information indicating the data playback time indicates the time synchronization information when the image and the sound are played back, and is referred to as PTS (presentation time stamp) in MEPG12.
  • PTS presentation time stamp
  • the information needed may be the time interval between encoded frames. Adjusting the time interval on the receiving side prevents large fluctuations in the frame interval, but adjusting the playback interval may cause a delay. Therefore, in some cases, it can be determined that the time information indicating the frame interval of the encoder is not necessary.
  • the information indicating the data playback time means PTS, frame interval, or whether the data playback time is not added to the data itself before the data transfer via the communication path, and determines the receiving terminal
  • the data may be transmitted together with the determined data management information.
  • the information indicating the priority of data processing includes the load on the receiving terminal, the load on the receiving terminal, and the processing of the data or the transmission of the data by stopping or canceling the transmission if the processing or transmission cannot be performed due to the load on the network. Can be reduced.
  • the image can be processed by the image decompression management unit 15, and in the network, it can be processed by a media terminal or router.
  • a numerical expression flag may be used.
  • the information indicating the priority of the data processing may be added in units of a stream composed of a set of a plurality of video or audio frames, or may be added in units of a video or audio frame.
  • Well may be added in units of a stream composed of a set of a plurality of video or audio frames, or may be added in units of a video or audio frame.
  • FIG. 46 is a diagram for explaining the priority adding means 5201 for adding priority to video and audio.
  • the encoded video and audio data (which are processed by the video encoding means 5202 and the audio encoding means 5203, respectively) are determined in advance.
  • Priority is added based on specified rules.
  • the rule for adding the priority is stored in the priority addition rule 5204.
  • the rules are that I-frames (intra-coded video frames) have a higher priority than ⁇ frames (inter-coded video frames), and that video has lower priority than audio.
  • the rule is to add a degree. This rule may be changed dynamically according to the user's instruction.
  • the priority can be added to, for example, a scene change for an image, an image frame or stream specified by an editor or a user, or a voiced section for audio. And a silent section.
  • the method of adding the priority of each image or audio frame that defines the priority of processing at the time of overload is based on the method of adding it to the communication header and the header of the encoded bit stream of video and audio at the time of encoding.
  • An embedding method is conceivable. The former can obtain information about the priority without decoding, and the latter can be handled independently by the bitstream alone without depending on the system.
  • one image frame for example, intra-frame coded I frame, inter-frame coded P, B frame
  • Power When divided into multiple transmission buckets
  • priority is added only to the communication header that transmits the head of the accessible image frame as single information (if the priority is equal in the same image frame, the next accessible image frame is added). The priority should remain the same until the beginning of the program appears.
  • the range of values in which the priority can be expressed (for example, if the time information is expressed in 16 bits or 32 bits, the power is made variable so that it can be configured with control information. You can.
  • the decoding device is provided with priority determining means for determining the processing method in the receiving terminal device according to the priority at the time of overload of the various encoded information received (see FIG. 47).
  • FIG. 47 is a diagram for explaining a priority determining means 5301 that interprets the priority added to video and audio and determines whether or not decoding processing is possible.
  • the priority is a priority added to each video or audio stream, and a priority added to each video or audio frame. These priorities may be used independently, or the frame priorities and the stream priorities may be correlated. May be used.
  • the priority determining means 5301 determines a stream / frame to be decoded according to these priorities.
  • Determining the priority of the process when the terminal is overloaded Performs the decoding process using two types of priorities.
  • the stream priority (Stream Priority) defining the relative priority between bit streams such as video and audio, and the relative priority between the video frame in the same stream and the decoding processing unit.
  • the frame priority Frae Priority; priority in time series
  • the former stream priority makes it possible to handle multiple videos and audios.
  • the latter frame priority enables different priorities to be added to the same intra-frame encoded video frame (I frame) according to the intention of the video scene change editor.
  • the stream priority can be managed by associating it with the time allocated to the coding or decoding of images or audio, or the priority assigned to the processing. Can manage the processing time. For example, Microsoft's Windows 95 / NT allows you to define priorities at five OS levels. If the encoding and decoding methods are implemented in units of threads using software, it is possible to determine the OS-level priority assigned to each thread from the stream priority of the stream to be processed. it can.
  • the frame priority and the stream priority described here can be applied to transmission media and data recording media.
  • priority of a packet to be transmitted is defined as an access unit priority (Access Unit Priority)
  • Access Unit Priority Stre am Priority — F r ame P riority
  • the present invention can be applied to an image or audio relay device such as a router or a gateway that relays data.
  • the priority determining means for determining the priority threshold of the coded information to be processed is replaced by the image expansion management unit or the audio expansion.
  • the management unit prepares and compares the time to be displayed (PTS) with the elapsed time from the start of processing up to the present, or the time to be decoded (DTS) and the elapsed time from the start of processing up to the present, and the comparison result
  • the threshold of the priority of the coded information to be processed by is changed (the information for changing the threshold may refer to the I-frame insertion interval and the granularity of the priority).
  • An image of IF size is encoded by the encoder (H.263), and the encoded information is decoded, the decoding time (DTS), the time stamp (PTS) indicating the image display time, and the overload processing Priority information (CGD, Computational Graceful Degradation), frame type (SN), and sequence number indicating the order of the sequence are output.
  • DTS decoding time
  • PTS time stamp
  • CCD overload processing Priority information
  • SN frame type
  • sequence number indicating the order of the sequence
  • audio is also recorded through a microphone,
  • DTS time to decode
  • PTS time stamp
  • CCD priority information
  • SN sequence number
  • the image and the audio are passed to separate buffers, respectively, and the image and the audio are each D-D S (decoding time) and the elapsed time from the start of the current processing. If the DTS is not delayed, the video and audio are passed to the respective decoders (H.263, G.721).
  • I-frames Intra-coded image frames
  • the P frame has a priority of “2” and is assigned a lower priority than the I frame. Since I-frames are assigned two levels of priority, when the load on the terminal to be decoded is high, only I-frames with priority “0” can be played back. Note that it is necessary to adjust the I-frame insertion interval according to the priority addition method.
  • FIG. 22 is a diagram describing a method of determining the priority at the receiving terminal at the time of overload. Set the priority of discarded frames to be greater than cutOffPriority. That is, all image frames are processed. The maximum value of the priority added to the image frame can be known in advance by notifying the transmitting side to the receiving side when the terminal is connected (step 101).
  • the threshold of the priority of the image and audio to be processed is set If the time elapsed since the start of the process is shorter (when the decoding process is in time), the processing target is reduced. Raise the priority threshold to increase the number of images and sounds (step 103).
  • Step 104 If the previous image frame is skipped by a P frame, no processing is performed. Otherwise, add a priority offset value to the priority of the image frame (or audio frame) and compare it with the priority threshold. If not, pass the data to be decoded to the decoder ( Step 104).
  • the priority offset can be determined by checking the machine's performance in advance and notifying the receiving terminal of the offset (the user may instruct the receiving terminal). It can be used to change the priority of each stream (for example, the background at the bottom is offset to increase the offset value to reduce the processing).
  • H.263 3 Temporal Reference
  • Figure 23 shows the result of implementing the above algorithm and examining the temporal change in priority.
  • the figure shows a change in the priority added to the video frame.
  • This priority is a priority for determining whether or not decoding is possible when the terminal is overloaded, and is added for each frame. As the priority is smaller, the priority is higher. In the example shown in the figure, 0 has the highest priority.
  • the priority threshold is 3, frames with a priority greater than 3 are discarded without decoding, and frames with a priority less than 3 are added. Is decrypted. Selective frames by priority By discarding, it is possible to reduce the load on the terminal.
  • This priority threshold may be dynamically determined from the relationship between the current processing time and the decoding processing time (DTS) added to each frame. This method can be applied not only to video frames but also to audio in a similar manner.
  • DTS decoding processing time
  • a retransmission request priority determination unit that determines the priority threshold of the coded information to be retransmitted In the reception management unit, the priority determined by the priority determination unit, the number of retransmissions, the loss rate of information, the insertion interval of intra-coded frames, and the granularity of priority (for example, five levels of priority
  • the priority threshold value added to the coded information to be requested for retransmission based on the information in (1), it is possible to request only the image and audio required by the receiving terminal.
  • the transmitting terminal when the actual transfer rate exceeds the target transfer rate of the information of the transmitting terminal, or when the encoded information is written to the transmission buffer, the transfer processing from the current transfer processing start By comparing the elapsed time of the information with the time of decoding or display added to the encoded information, if the writing of information to the transmission buffer is delayed, it is added to the encoded information,
  • the terminal used in the priority determination unit of the receiving terminal uses the priority at the time of overload and thins out the information transmission, so that the image and audio at the target rate can be transmitted.
  • the transmitting terminal can suppress the failure due to the overload of the transmitting terminal by introducing the function of skipping the processing at the time of overload as performed by the receiving terminal.
  • the data management information to be added to the data itself is determined in advance by the transmitting terminal before data transmission, and the data management information used by the receiving terminal is controlled by control information (for example, if only the random access flag is used, the In addition to the notification, the receiving terminal rewrites the information on the transmission structure stored in the transmission format storage unit 103 (indicating which AL information is used) based on the obtained control information. , AL information used on the sending side
  • FIG. 4 is a diagram for explaining a method of dynamically changing header information added to image and audio data to be transmitted.
  • the data to be transmitted (ES) is decomposed into data pieces, and the obtained data pieces have identification information to indicate the order of data.
  • Sequence number information (marker bit) indicating whether or not the start position of the data piece can be processed
  • time information time stamp related to the transfer of the data piece correspond to the transmission management information of the present invention. To do this, it is added to the data piece in the form of a communication header.
  • RTP Realtime Transfer Protocol
  • RFC 1889 uses the above sequence number, one bit per bit, timestamp, object ID (referred to as SSRC), Information such as one region number is used as a communication header.
  • the header information items can be extended, but the above items are always added as fixed items. However, in a communication environment in which multiple images and voices with different encodings are transmitted simultaneously, real-time communication like videophone and transmission of storage media like video on demand are mixed. If there is, the meaning of the communication header is different, and a means for identification is required.
  • the time stamp information indicates the PTS, which is the playback time in the case of MPEG 1/2 as described above, but indicates the encoded time interval in H.261 and H.263.
  • the time stamp is PTS information. Because, in the case of H.263, the time stamp information indicates the time interval between encoded frames, and the time stamp of the first frame is defined by RTP as being random. Because there is.
  • RTP header information As RTP header information, a marker bit indicating whether or not the start position of the data piece can be processed is added. As described above, AL information is also used for data. In some cases, it may be desirable to have an access flag indicating that the access is started, and a random access flag indicating that data can be accessed at random. Since it is inefficient to provide the header in the communication redundantly, a method of replacing the AL flag with the flag prepared in the communication header is also conceivable.
  • a flag is added to the communication header to indicate that the flag of the AL should be used instead of the flag added to the communication header without adding a flag to the AL, or a marker of the communication header.
  • the problem is solved by defining the bits to be the same as those in the AL (it can be expected to be faster to interpret than to have them in the AL). In other words, This flag indicates whether the -bit has the same meaning as the AL flag. In this case, it is conceivable to improve the communication header or describe it in the extension area.
  • the meaning of the most significant bit in the communication header may be interpreted to mean that at least either the random access flag or the access flag is present in AL.
  • the version number of the communication header can be used to know that the meaning of the interpretation has changed from the past.
  • the processing is simple if an access flag or a random access flag is provided only in the communication header or AL header. (In the former case, both flags may be provided. A new extension of the header is required).
  • the information indicating the priority of data processing is added as AL information
  • the addition of the priority of data processing to the communication header makes it possible to determine the priority of data processing even on a network. This can be done without interpreting the contents of the data.
  • IPv6 it is possible to add in a layer lower than the level of RTP.
  • FIGS. 5 (a) to 5 (b) and FIGS. 6 (a) to 6 (d) are diagrams for explaining a method of adding AL information. Either add AL to the beginning of the data to be transmitted, as shown in Fig. 5 (a), or add one data (ES) to be transmitted, as shown in Fig. 5 (b). By sending control information for notifying whether to add to each of the data pieces decomposed into the above data pieces to the receiving terminal, it becomes possible to select the handling and granularity of the transmission information. Adding an AL to subdivided data is effective when access delay becomes a problem.
  • the flag, counter 1 and timer 1 By using such an expression method and providing it as AL information or preparing it as a communication header and notifying it to the receiving terminal, it is possible to smoothly handle the receiving terminal.
  • the communication header and AL information define the format as a packet separate from these communication header and AL information, and transmit.
  • the AL information defines only one marker bit, time stamp, and object ID, and the communication header also defines only the sequence number.
  • the payload information is defined as a different transmission packet (second packet) from this information. It is also possible to define and transmit data processing priority information and timer information. (See Fig. 6 (d))
  • the communication header, AL information, and data are transmitted separately according to the application. It is desirable to be able to freely define (customize) the packet (second packet).
  • FIG. 7 is a diagram for explaining a method of transmitting information by dynamically multiplexing and demultiplexing a plurality of logical transmission paths. Multiplexing of information on logical transmission lines to transmit multiple data or control information according to user instructions or the number of logical transmission lines to save the number of logical transmission lines This can be realized by providing an information multiplexing unit capable of starting and ending the transmission in the transmission unit and an information separation unit for separating the multiplexed information in the reception management unit.
  • the information multiplexing unit is called “Group MUX”, and specifically, a multiplexing method such as H.223 may be used.
  • This G roup MU X may be provided in the transmitting and receiving terminals, or provided in relay routers and terminals to support narrowband communication paths and to realize G roup MU X in H.223. Can be interconnected with H.324.
  • control information multiplexing control information
  • another logic without duplication is used.
  • the delay due to multiplexing can be reduced.
  • whether to transmit control information related to the information multiplexing unit multiplexed with data or to transmit it on another logical transmission path without multiplexing instead of multiplexing it with data and transmitting is reduced.
  • the multiplexing control information related to the information multiplexing unit is information indicating the multiplexing content, for example, what kind of multiplexing is performed on each data of the information multiplexing unit.
  • the notification of the transmission method is transmitted in the form of flags, counters, and timers as control information or as data management information together with data to the receiving terminal, so that the setup time on the receiving side can be reduced. Can be shortened.
  • the items expressing flags, counters, and timers are RT
  • control information (multiplexing control information) is transmitted together with an identifier for identifying the information multiplexing unit and the information demultiplexing unit
  • the control information ( Multiplexing control information).
  • the control information (multiplex control information) includes a multiplex pattern.
  • the identifier of the information multiplexing unit and the information demultiplexing unit can be determined between terminals using random numbers, so that the identifier of the information multiplexing unit can be generated. For example, a random number in a range determined between the transmitting and receiving terminals may be generated, and the larger value may be used as the identifier (identification number) of the information multiplexing unit.
  • the data multiplexed in the information multiplexing unit is different from the media type defined in the RTP conventionally, information indicating that the information is multiplexed in the information multiplexing unit is added to the RTP payload-type ( Define a new media type, H.223).
  • FIG. 8 is a diagram for explaining a transmission procedure of a broadcast program.
  • the control information as the information of the broadcast program based on the correspondence between the identifier of the logical transmission path and the identifier of the broadcast program
  • a information data management information
  • the relationship between the data identifier (SSRC in RTP) and the identifier of the logical transmission path (for example, the port number of LAN) is transmitted to the receiving terminal as control information and can be received by the receiving terminal. After confirming that there is (AckZReject), by transmitting the corresponding data, the correspondence between the data can be obtained even if the control information and data are transmitted on independent transmission paths.
  • control information In the case of communication without a back channel, it is necessary to transmit control information before the data, so that the receiving terminal can know the data structure information.
  • control information should be transmitted on a highly reliable transmission channel with no packet loss, but when using a less reliable transmission channel, control information having the same transmission sequence number is periodically transmitted. It must be transmitted repeatedly. This is not limited to sending control information about the setup time.
  • the transmitting side decides whether to transmit the data along with the data transmitted along a logical transmission path separate from the data together with the data (ALC information) along with the SRC), and the control information is transmitted to the receiving side.
  • ALC information data-related information
  • the transmitting side decides whether to transmit the data along with the data transmitted along a logical transmission path separate from the data together with the data (ALC information) along with the SRC), and the control information is transmitted to the receiving side.
  • FIGS. 9 (a) and 9 (b) are diagrams showing a method of transmitting images and sounds in consideration of the time for reading and starting up programs and data. This is necessary especially when there is no return channel and the terminal resources are limited, as in the case of satellite broadcasting and mobile terminals, and when the program data exists at the receiving terminal and is used. program
  • the storage destination for example, hard disk or memory
  • the time required for startup and reading the time required for startup and reading
  • the type of terminal and the storage destination the time required for startup and reading
  • FIG. 10 (a) to FIG. 10 (b) are diagrams for explaining a method of responding to subbing (TV channel switching).
  • a sub-viewing unit that allows the receiving terminal to periodically view programs other than the program that the user is viewing when it exists in the terminal.
  • control information information transmitted in a packet separate from data and used to control terminal processing
  • a information data management information
  • the second solution is to set up a broadcast channel that broadcasts only the title image of the image that is broadcast on multiple channels, and switch the program to be watched so that the necessary programs and data can be read. If it exists in a storage device that takes a long time, it temporarily selects the title image of the program that you want to view and presents it to the viewer, the ability to read it, and shows that the program is being read, as well as the necessary program data from the storage device. By reading the data and restarting the program that the viewer wants to watch after the reading is completed, the screen stoppage that occurs during setup can be prevented.
  • the headline image here refers to a broadcast image obtained by sampling a program that is periodically broadcast on a plurality of channels.
  • the timer is a time expression that indicates, for example, at what point in time the program needed to decode the data stream sent from the sender is needed from now.
  • the counter only has to be information indicating the number of times in the basic time unit determined between the transmitting and receiving terminals.
  • the flag is transmitted and notified together with data to be sent before the time required for setup or control information (information that controls terminal processing, which is transmitted in a separate bucket from the data).
  • Both timers and counters may be embedded in data and transmitted, or transmitted as control information.
  • the transmitting terminal notifies the receiving terminal of the point in time when the receiving terminal needs a program or data. Therefore, using the transmission serial number to identify the order of transmission as transmission management information, and notifying data to the receiving terminal together with data as data management information or as control information, the time at which setup is performed Predictions become possible. If the transmission time fluctuates due to jitter delay as in the Internet, RTCP (Internet media It is sufficient to add the setup delay by taking into account the propagation delay of the transmission from the jitter and delay time by means already implemented in the transmission protocol.
  • RTCP Internet media
  • FIGS. 11 (a) to 19 (b) are diagrams showing specific examples of protocols actually transmitted and received between terminals.
  • each object ID is a broadcast program identifier (Prog amI It has attributes of D) and object ID (S SRC), and the structure information between images and the composition method are described in script languages such as Java and VRML.
  • FIG. 11 (a) is a diagram showing an example of the relationship between objects.
  • objects are media such as video, audio, CG, and text.
  • the objects have a hierarchical structure.
  • Each object has a program number (corresponding to a TV channel, "ProgramID”) and an object identifier "ObjectID" for identifying the object.
  • ProgramID Program Number
  • object identifier object identifier
  • RTP Media Transfer Protocol used on the Internet, Real Time Transfer Protocol
  • the object identifier can be easily set to correspond to the SSRC (synchronization source identifier).
  • the object can be identified at the same time.
  • the structural description between objects can be described in a description language such as J AVA or VRML.
  • RTP can be used as the transmission method for the Internet.
  • the control information is transmitted using a transmission channel called LC NO in the videophone standard.
  • LC NO transmission channel
  • a plurality of transmission channels are used for transmission, and these channels are assigned the same program channel (Program ID).
  • FIG. 11 (b) is a diagram for explaining a method of realizing a protocol for realizing the functions described in the present invention.
  • the explanation is made using the transmission protocol (H.245) used in the videophone standard (H.324, H.323).
  • the functions described in the present invention are realized by extending H.245.
  • the description method shown in the example of the figure is a protocol description method called ASN.1.
  • “Terminal CaabilitySet” expresses the performance of the terminal.
  • the function described as "mpeg4Capability" is extended to the conventional H.245.
  • "mp eg 4 Capability” indicates the maximum number of images that can be processed simultaneously by the terminal ("Max Number Of Video”) and the maximum number of audios (Max Number OfS ounds "), and the maximum number of multiplexing functions that can be realized by the terminal (" Max Num- berOfMux "). In the figure, these are combined and the maximum number of objects that can be processed ( "Number Of Process Object") Also, a flag is written to indicate whether the communication header (expressed as AL in the figure) can be changed. In some cases, it is possible to change the communication header.
  • Fig. 13 (a) in order to use one transmission channel (in this example, LAN transmission channel) shared by multiple logical channels, multiple logical channels are combined into one transmission channel. It shows how to write a protocol for using the above-mentioned Group MUX for multiplexing.
  • LAN transmission channel in this example, LAN transmission channel
  • a multiplexing means (Group MUX) is associated with the transmission channel ("LAN Port Number") of (Locale Area Network). “Group Up ID” is an identifier for identifying a multiplexing unit.
  • the demultiplexing means which is a means for performing the reverse operation of the multiplexing means, can be realized in a similar manner.
  • FIG. 13 (b) describes the case where the already generated multiplexing means is deleted.
  • Figure 13 (c) describes the relationship between LAN transmission channels and multiple logical channels.
  • the LAN transmission channel is described as "LAN Port Number", and multiple logical channels are described as "Logica 1 Port Number”. In the example shown in the figure, up to 15 logical It is possible to associate channels.
  • the Group Up Mux ID is unnecessary.
  • Grouup Mux ID is required for each command of H.223.
  • a flag may be provided for notifying the correspondence of ports used between the multiplexing and separation means.
  • a command may be provided so that the user can select whether control information is multiplexed or transmitted via another logical transmission path.
  • the transmission channel is a LAN in the description of FIG. 13 (a) to FIG. 13 (c)
  • a system that does not use the Internet protocol such as H.223 and MPEG2 may be used.
  • OpEnLogicalChannel indicates a protocol description for defining the attributes of the transmission channel.
  • FIG. 15 the program number (corresponding to the TV channel) and the name of the program are associated with the LAN transmission channel ("MP EG 4 Logistic Channel Parameters").
  • “Broadcast Channel El Program” is a description method when the correspondence between the LAN transmission channel and the program number is transmitted in a broadcast format. In the example shown in the figure, it is possible to send the correspondence between a maximum of 1023 transmission channels and the program numbers. It is necessary to transmit this information periodically in consideration of the loss during transmission.
  • Figure 16 (a) describes the characteristics of objects (eg, video, audio, etc.) transmitted as a program ("MPEG 4 Object C 1 assdefinition"). Program identifier ("Progr am
  • the object information includes the LAN transmission channel (“LAN Port Number”), A flag (“Scramble Flag”) indicating whether or not scrambling is used, and a field (“CGD”) defining an offset value for changing a processing priority when a terminal is overloaded.
  • the AL here, one frame of video is decoded
  • ES here, defined as a data sequence equivalent to one frame of video. Is defined as additional information necessary to perform this function).
  • RandomAccessCssFla (flag indicating whether or not it can be played alone, true if the frame is a coded video frame)
  • CGD Priority (priority value for determining the processing priority when the terminal is overloaded) is defined.
  • An example is shown in which a data sequence for one frame is transmitted using RTP (Reliable Time Transfer Protocol, a protocol for transmitting continuous media over the Internet).
  • RTP Real Time Transfer Protocol, a protocol for transmitting continuous media over the Internet.
  • AL R econfiguration can be expressed by the above AL This is a transmission expression for changing the maximum value.
  • a maximum of 2 bits can be expressed as "RadomomAccessCssFlagMaxBit". For example, if 0, Ra n d om
  • Access F1 ag is not used. If it is 2, the maximum value is 3.
  • the real part and the mantissa may be represented (for example, 3 to 6). When not set, it may be operated in the state determined by default.
  • the execution permission flag is associated with the transmission channel number, and a counter ("counter") indicating how many times the Setup Request is to be executed after receiving the request, and It may be a timer value (t1mer) indicating how long it takes to execute.
  • Examples of the request to be requested include rewriting of the AL information and securing of the rising time of the Group Up.
  • FIG. 18 is a diagram for explaining a transmission expression for notifying the presence or absence of the use of the AL described in FIG. 16 (b) from the transmitting terminal to the receiving terminal ("Controll ALdeiniiniotn").
  • This AL change notification may be transmitted as control information on a transmission channel different from data, or may be transmitted along with data on the same transmission channel.
  • the program to be executed includes a decoder program and the like.
  • the setup request can be used for both broadcasting and communication. Also, the request is instructed to the receiving terminal as to which item to use as the control information and which item to use as the AL information. Similarly, it is possible to instruct the receiving terminal which item is to be used in the communication header, which item is to be used as AL information, and each item is to be used as control information.
  • header information data management information, transmission management information, control information
  • header ID information framework identifier
  • classEShade err distinguishes data management information transmitted on the same transmission channel as data and the structure of the information transmitted by the transmission management information between the transmitting and receiving terminals based on the information framework identifier.
  • FIG. 19 (b) "AL con figu ra tio n" shows an example in which the structure of control information transmitted on a transmission channel different from data is changed between the transmitting and receiving terminals according to the application.
  • the usage of the information framework identifier and the default identifier is the same as in Fig. 19 (a).
  • a method for dynamically changing header information (AL information) to be added to image and audio data to be transmitted (2) A method for dynamically changing header information (AL information) to be added to image and audio data to be transmitted.
  • An image and audio transmission method that takes into account the time required to read and start up programs and data. Described how to reduce the apparent setup time for various functions and applications. (6) Image and audio transmission method for zapping.
  • the present invention is not limited to only two-dimensional image synthesis.
  • An expression form combining a two-dimensional image and a three-dimensional image may be used, or an image combining method of combining a plurality of images such that they are adjacent to each other, such as a wide-field image (panoramic image), may be included.
  • the communication modes targeted by the present invention are not limited to wired two-way CATV and B-ISDN.
  • the transmission of video and audio from the center terminal to the home terminal is by radio waves (for example, VHF band and UHF band) and satellite broadcasting, and the information transmission from the home terminal to the center terminal is an analog telephone line.
  • N-I SDN video, audio, and data need not necessarily be multiplexed).
  • the target terminal may be a portable terminal such as a portable information terminal, or may be a desktop terminal such as a set-top BOX or a personal computer.
  • the application field is T
  • the present invention includes not only a receiving terminal but also a server or relay device connected to the receiving terminal.
  • the previous examples described how to avoid duplication of RTP (communication) header and AL information, and how to extend RTP communication header and AL information.
  • the present invention does not necessarily need to be RTP.
  • a unique communication header or AL information may be newly defined using UDP or TCP.
  • the Internet profile may use RTP, but the Raw profile does not define a multifunctional header like RTP.
  • the framework of each information of data management information, transmission management information, and control information used by the transmitting terminal and the receiving terminal for example, the first is the random access flag
  • the information framework can be changed according to the application, and can be changed according to the application and transmission path.
  • each information may be the one already shown in Fig. 6 (a) to Fig. 6 (d).
  • the data management information (AL) is the header for each medium.
  • Information for example, H.263-specific video header information for H.263 or pay-head header information
  • transmission management information is RTP header information
  • control information May be information that controls RTP, such as RTCP.
  • a default identifier for indicating whether or not to transmit and receive information and to process the information in a well-known information framework preset between the transmitting and receiving terminals includes data management information, transmission management information, control information (data and Is transmitted in another packet, the information that controls terminal processing), so that it is possible to know whether or not the information framework has been changed, and only when the change has been made.
  • the control information information framework control information
  • the information framework in the data management information is changed
  • the default identifier provided in the control information is set.
  • the information framework is updated. Transmit the changed data. Changing the information framework of the transmission management information and control information itself can also be realized by the above two methods (Fig. 19).
  • the MPEG-2 header information is fixed, but a program map that associates a video 'stream, audio' stream of MPEG2-TS (transport.stream).
  • a default identifier is set in the table (defined by the PSI) and a configuration stream that describes how to change the information framework of the video 'stream, audio' stream is defined. If so, it can first interpret the configuration stream and then interpret the video and audio stream headers according to the configuration stream content.
  • the configuration stream may have the contents shown in Fig. 19.
  • the contents (transmission format information) relating to the transmission method and the structure of the data to be transmitted according to the present invention correspond to, for example, the information framework in the above embodiment.
  • a configuration in which only the identifier of the content is transmitted may be used. In this case, for example, as shown in FIG.
  • the transmitting apparatus may: (1) transmit the contents relating to the transmission method and Z or the structure of the data to be transmitted, or an identifier indicating the contents, to the transmission format information; A transmission means 5001 for transmitting by using the same transmission path as the transmission path of the data to be transmitted, or a transmission path different from the transmission path; (2) relating to the transmission method, and Storage means 5002 for storing a plurality of types of contents relating to the structure of data to be transmitted and identifiers thereof, wherein the identifier is used for controlling data management information, transmission management information, or terminal-side processing.
  • An image / audio transmitting device included in at least one piece of information may be used. Further, as the receiving device, for example, as shown in FIG.
  • a plurality of information frameworks are determined and prepared in advance by the transmitting and receiving terminals, and identification of the plurality of types of information frameworks and a plurality of types of data management information, transmission management information, control information (information By transmitting an information framework identifier for identifying (framework control information) together with data or as control information, multiple types of data management information, transmission management information, and control information can be identified. It is possible to freely set the information framework of each information according to the type of media to be transmitted and the thickness of the transmission path. Can be selected. Incidentally, the identifier of the present invention corresponds to the framework identifier of the above information.
  • These information framework identifiers and default identifiers are added to a predetermined fixed-length area or location of the information to be transmitted, so that they can be read and interpreted even if the information framework is changed at the receiving terminal. can do.
  • a broadcasting channel that broadcasts only a headline image of an image that is broadcasted on a plurality of channels is provided, and a viewer can switch a program to be watched. If it takes time to set up the data, a configuration may be adopted in which the headline image of the program to be viewed is once selected and presented to the viewer.
  • an information framework according to a situation is provided. Can be changed, and can be changed according to the application and transmission path.
  • default identifiers for indicating whether or not information is transmitted and received and processed in a known information framework preset between the transmitting and receiving terminals are included in data management information, transmission management information, and control information, respectively. In this way, it is possible to know whether or not the information framework has been changed, and only when a change has been made, the default identifier is set and the content of the change is notified. Even if it is not changed, there is no need to send unnecessary configuration information.
  • a plurality of information frameworks are determined and prepared in advance by the transmitting and receiving terminals, and an information framework identifier for identifying a plurality of types of data management information, transmission management information, and control information is provided together with the data or control.
  • an information framework identifier for identifying a plurality of types of data management information, transmission management information, and control information is provided together with the data or control.
  • These information framework identifiers and default identifiers can be read and interpreted even if the information framework is changed at the receiving terminal by adding it to a predetermined fixed-length area or location of the transmitted information. can do.
  • the present invention mainly solves any one of the problems (B1) to (B3) described above.
  • FIG. 25 is a schematic configuration diagram of an image encoding / decoding apparatus according to an embodiment of the present invention.
  • the transmission management unit 4011 for transmitting or recording various types of encoded information is means for transmitting information such as a coaxial cable, CATV, LAN, and modem.
  • the image encoding device 4101 includes an image encoding unit 4012 for encoding image information such as H.263, MPEG1 / 2, JPEG, or Huffman encoding, and the transmission management unit 4011. It is.
  • the image decoding device 4102 includes a reception management unit 4013 that receives various coded information, an image decoding unit 4014 that decodes the received various image information, and one of the decoded ones. This is a configuration including an image synthesizing unit 4015 that synthesizes the above images, and an output unit 4016 that includes a display and a printer that output images.
  • FIG. 26 is a schematic diagram of an audio encoding and audio decoding apparatus according to an embodiment of the present invention. It is a block diagram.
  • the audio encoding device 4201 has a configuration including a transmission management unit 4021 for transmitting or recording various types of encoded information, and an audio encoding unit 4022 for encoding audio information such as G.721 and MPEG-1 audio. is there. Also, the audio decoding device 4202 includes a reception management unit 4023 that receives various types of encoded information, an audio decoding unit 4024 that decodes the various types of audio information, and one or more decoded audios.
  • the configuration includes a voice synthesis unit 4025 for synthesizing and output means 4026 for outputting voice.
  • the time-series data of audio and moving images is encoded or decoded by each of the above devices.
  • the communication environment may be a communication environment such as the Internet where multiple logical transmission paths can be used without being aware of multiplexing means. In this way, the communication environment must be aware of multiplexing means.
  • Terminals can be connected in two ways, such as video phones and video conferencing systems, in which video and audio are transmitted and received bidirectionally, and broadcast video and audio over satellite broadcasting, CATV, and the Internet. A form of broadcasting is given.
  • the method of synthesizing images and voices using image, voice, and image and voice structure information (display position and display time), and grouping method between images and voices in the scribing languages such as JAVA, VRML, and MHEG.
  • image display layer depth
  • object ID ID for identifying individual objects such as images and sounds
  • the script describing the synthesis method can be obtained from a network or a local storage device.
  • a transmitting and receiving terminal may be configured by an arbitrary number of image encoding devices, image decoding devices, audio encoding devices, and audio decoding devices, and in any combination.
  • FIG. 27 (a) is a diagram for explaining a priority adding unit and a priority determining unit that manage the priority of processing at the time of overload.
  • the encoding method such as H.263G.723 is used to determine the priority of the process at the time of overload of the encoded information according to a predetermined criterion, and is determined as the encoded information.
  • a priority adding section 31 for associating the priorities is provided in the image encoding device 4101 and the audio encoding device 4201.
  • the criteria for adding the priority are, for example, a scene change for an image, an image frame / stream specified by an editor or a user, and a sound section and a silent section for sound.
  • the priority addition method that defines the priority of the processing at the time of overload can be added to the communication header or embedded in the header of the bit stream to be encoded for video or audio during encoding. Can be considered.
  • the former can obtain information about the priority without decoding, and the latter can be handled independently by the bitstream alone without depending on the system.
  • Fig. 27 (b) when the priority information is added to the communication header, one image frame (for example, intra-coded I frame, frame-coded P, B
  • the priority is added only to the communication header that transmits the head of the image frame that can be accessed as single information (within the same image frame). If the priorities are the same, the priorities need not change until the beginning of the next accessible image frame appears).
  • a priority determining unit 32 that determines a processing method according to the degree is provided in the image decoding device 4102 and the audio decoding device 4202.
  • FIG. 28 (a) to FIG. 28 (c) are diagrams for explaining the granularity for adding the priority. Determining the priority of processing when the terminal is overloaded Performs decoding using two types of priority.
  • the stream priority (stream priority; priority between time-series data) that defines the priority of processing in the event of overload in units of bit streams such as video and audio, and the priority within the same stream
  • the frame priority (Frame Priority; time-series data ⁇ priority) that defines the priority of processing in the event of an overload in frame units such as video frames (see Fig. 28 (a)).
  • the latter frame priority enables different priorities to be added to the same intra-coded video frame (I frame) according to the scene change of the video or the editor's intention.
  • the value expressed by the stream priority can be considered as a relative value or an absolute value (see Fig. 28 (b) and Fig. 28 (c)).
  • Stream priority and frame priority are handled on the network by relay terminals such as routers and gate toys, and by terminals, transmitting terminals and receiving terminals.
  • the absolute value priority means that the editor or mechanically added image stream / audio stream is processed (or should be processed) when overloaded.
  • This value represents the order (not a value that takes into account actual network and terminal load fluctuations).
  • the relative priority is a value for changing the absolute priority according to the terminal or network load.
  • the original values can be changed by changing only the relative values on the transmission side or relay device according to fluctuations in the network load.
  • recording on a hard disk or VTR became possible while retaining the absolute priority added to the image and audio streams. If the absolute priority value is recorded in this way, video and audio can be played back without being affected by network load fluctuations.
  • the relative priority and the absolute priority may be transmitted through the control channel independently of the data.
  • the granularity is made finer than the stream priority, and the frame priority that defines the priority of the processing of the frame when overloaded is treated as a relative priority value. It can also be used as an absolute priority value.
  • the absolute frame priority is described in the encoded image information, and in order to reflect the fluctuation due to the load on the network terminal, relative to the absolute priority added to the previous video alarm.
  • the relative priority may be transmitted by describing the correspondence with the frame using a control channel independently of the data instead of the communication header. As a result, it is possible to record on the hard disk VTR while retaining the absolute priority originally added to the image or audio stream.
  • the absolute value and the relative value are separated by the receiving terminal. It is not necessary to calculate the absolute priority value and the relative priority value before transmission even at both the frame and stream levels. Only the value may be sent.
  • the absolute value priority is a value uniquely determined between frames obtained from the relationship between StreamPriority and FramePriority.
  • Relative value priorities are values that indicate the order in which editors and mechanically added image and audio streams are (or should be) processed when overloaded.
  • the video and audio streams are assigned a frame priority (relative; relative value) and a stream priority is added for each stream. .
  • Absolute frame priorities are mainly used in networks. This is a relay device such as a router gateway.
  • relative frame priority is expected to be applied to storage systems that mainly record and edit.
  • the editing work it is possible to handle multiple video and audio streams simultaneously. is there. In such a case, the number of video streams / frames that can be played may be limited due to the load of the terminal or network.
  • the stream priority value is used as a relative value or as an absolute value, it is possible to express the priority that is effective both during transmission and when storing.
  • a flag ⁇ identifier is provided along with the stream priority to indicate whether the value expressed by the stream priority is an absolute value or a relative value.
  • a relative value is described in the communication header, and an absolute value is described in the encoded frame, so the flag ⁇ identifier is not required.
  • the frame priority may be expressed as a subordinate priority since the stream priority is subtracted.
  • data processing may be managed by associating one or more stream priorities with the processing priority of data flowing through the TCP / IP logical channel (LAN port number).
  • FIG. 29 is a diagram for explaining a method of assigning priorities to multi-resolution image data.
  • the stream priority is added to the sub-stream, and the sub-stream is described by describing the logical sum or logical product at the time of accumulation or transmission. It is possible to define the processing method of the ream.
  • one video frame can be decomposed into video frames of different resolutions. Further, even in the DCT-based coding method, it is possible to decompose the image into video frames having different resolutions by coding by dividing into high-frequency components and low-frequency components.
  • the discarding process may be performed at the transmitting / receiving terminal or at the relay terminal.
  • the user may play back the latter based on the priority, or the user may select the latter without following the priority.
  • FIG. 30 is a diagram for explaining a configuration method of a communication payload.
  • the transmission packets are configured in accordance with the stream priority added to the substreams, for example, in descending order of priority, thereby facilitating discarding at the transmission packet level. Further, even if the granularity is reduced and information of objects having high frame priority is combined into one to form a communication bucket, discarding at the communication bucket level becomes easy.
  • the image slice structure refers to a unit of image information such as GOB and MB.
  • FIG. 31 is a diagram for explaining a method of associating data with a communication payload.
  • an arbitrary data format can be generated according to the communication state and application.
  • RTP Rea1timeTransfrErrProtocol
  • a pay-per-use RTP is defined for each encoding to be handled.
  • the current RTP format is fixed.
  • three data formats, Mode A to Mode C, are defined as shown in FIG. H.263 does not define a communication port for multi-resolution video format.
  • the L a y e r No. and the relational description (AND, OR) described above are additionally defined in the data format of the Mode A.
  • FIG. 32 is a diagram for explaining the correspondence between the frame priority, the stream priority, and the communication packet priority.
  • FIG. 11 shows an example in which the priority added to the communication bucket on the transmission path is the communication bucket priority, and the stream priority and the frame priority correspond to the communication packet priority.
  • priority is given to frames added to image and audio data. It is necessary to transmit the data by associating the stream priority with the priority of the lower IP bucket and the bucket. Since image and audio data are divided and transmitted after being divided into IP buckets, it is necessary to associate priorities.
  • the stream priority takes a value from 0 to 3 and the frame priority takes a value from 0 to 5, so that higher data can take a priority from 0 to 15.
  • priority (4 bits) from ⁇ to 7 are reserved for congestion-controlled traffic, and priority from 8 to 15 are real-time communication traffic or congestion-controlled. Not reserved for traffic.
  • Priority 15 is the highest priority, and Priority 8 is the lowest priority. This is a priority at the IP packet level.
  • the correspondence may be a method of clipping a part of the higher priority, or may be provided by an evaluation function.
  • the correspondence between the higher-level data and the lower-level IP priority is managed by the relay node (router / gateway, etc.) and the transmitting / receiving terminal.
  • the transmission means is not limited to IP only, and may be a transmission packet having a flag indicating whether it can be discarded or not, such as an ATM or a TS (transport stream) of MPEG2.
  • the frame priority and the stream priority described above can be applied to transmission media and data recording media. This can be performed using a floppy disk, an optical disk, or the like as a data recording medium.
  • the recording medium is not limited to this, and any other recording medium such as an IC card, a ROM cassette, or the like can be used in the same manner.
  • data relay A video / audio relay device such as a router / gateway that performs the above may be targeted.
  • the priority is determined by determining the time-series data to be retransmitted based on the information of Stream am Priority (priority between time-series data) and Frame Priority (priority within time-series data). Retransmission processing is possible. For example, when decoding is performed at the receiving terminal based on the priority information, it is possible to prevent retransmission of a stream / frame that is not a processing target.
  • a stream / frame of a priority to be retransmitted may be determined from the relationship between the number of retransmissions and the number of successful transmissions, separately from the priority currently being processed.
  • the transmitting terminal should also transmit the time series based on information such as Stream Priority (priority between time-series data) and Frame Priority (priority in time-series data).
  • priority transmission processing becomes possible. For example, by determining the priority of the stream to be transmitted based on the average transfer rate and the number of retransmissions, adaptive video and audio transmission is possible even when the network is overloaded. Become.
  • the above embodiment is not limited to only two-dimensional image synthesis.
  • An expression format combining two-dimensional and three-dimensional images may be used, or an image synthesis method such as wide-field image (panorama image) that synthesizes multiple images adjacent to each other may be included.
  • the communication modes targeted by the present invention are not limited to wired two-way CATV and B-I SDN.
  • the transmission of video and audio from the center terminal to the home terminal is by radio waves (for example, VHF band and UHF band) and satellite broadcasting.
  • the information transmission from the home terminal to the center terminal is performed by analog telephone lines or N—I SD N may be used (video, audio and data need not be multiplexed) c Also, such as IrDA, PHS (personal 'handy' phone) and wireless LAN A communication form using wireless communication may be used.
  • the target terminal may be a portable terminal such as a portable information terminal, or a desktop terminal such as a set-top BOX or a personal computer.
  • the embodiment described here mainly solves any of the problems (C1) to (C3) described above.
  • FIG. 33 shows the configuration of the transmitting apparatus according to the first embodiment.
  • An image input terminal 2101 has an image size of, for example, 144 pixels vertically and 176 pixels horizontally.
  • Reference numeral 2102 denotes a moving picture coding apparatus, which is composed of four components 10 21, 1022, 1023, and 1024 (Recommn d a t i on
  • 1021 is a switch that divides an input image into macro blocks (square area of 16 pixels vertically and 16 pixels horizontally), and determines whether to encode the block by intra or inter.
  • a motion compensation unit that creates a motion compensation image based on a local decoded image that can be calculated from the previous encoding result, calculates a difference between the image and an input image, and outputs the result in macroblock units.
  • 1 023 is orthogonal transform means for performing DCT transform on each macroblock
  • 1 024 is entropy coding for this DCT transform result and other encoded information. This is a variable length encoding means for performing the encoding.
  • Numeral 210 denotes a counting means, which counts the number of executions of the four components of the moving picture coding apparatus 210 and outputs the result to the converting means for each input image. At this time, the motion compensating means 102 counts the number of executions for each of the half pel and the full pel.
  • Reference numeral 2104 is a conversion means, which outputs a data string as shown in FIG.
  • Reference numeral 2105 denotes a transmitting unit, which multiplexes the variable-length code from the video encoding device 210 and the data sequence from the converting unit 210 into one data sequence, Output to data output terminal 210.
  • the receiving apparatus is required to perform essential processing (switching unit 1021, orthogonal transformation means 10023, variable length coding means 100224) and non-essential processing (motion compensation means 102222). Convey each execution count of essential processing (switching unit 1021, orthogonal transformation means 10023, variable length coding means 100224) and non-essential processing (motion compensation means 102222). Convey each execution count of essential processing (switching unit 1021, orthogonal transformation means 10023, variable length coding means 100224) and non-essential processing (motion compensation means 102222). Convey each execution count of essential processing (switching unit 1021, orthogonal transformation means 10023, variable length coding means 100224) and non-essential processing (motion compensation means 102222). Convey each execution count of essential processing (switching unit 1021, orthogonal transformation means 10023, variable length coding means 100224) and non-essential processing (motion compensation means 102222). Convey each execution count of essential processing (switching unit 1021, orthogonal transformation means 10023
  • the transmitting device corresponds to claim 68.
  • FIG. 40 is a flowchart of a transmission method according to the second embodiment. Since the operation of this embodiment is similar to that of the first embodiment, the corresponding elements are added.
  • an image is input (image input terminal 2101), and at 800, the image is divided into macroblocks. Thereafter, the processing from 803 to 806 is repeated until the processing for all macroblocks is completed by the 807 conditional branch.
  • the corresponding variable is incremented by one.
  • the macroblock to be processed is marked with either intra or inter. It is determined whether or not to perform the conversion (switch 1021). In the case of an interchange, motion compensation is performed at 804 (motion compensation means 1022). After that, DCT conversion and variable length coding are performed at 805 and 806 (orthogonal transforming means 1023, variable length coding means 1024).
  • motion compensation is performed at 804 (motion compensation means 1022).
  • DCT conversion and variable length coding are performed at 805 and 806 (orthogonal transforming means 1023, variable length coding means 1024).
  • the processing for all the macroblocks is completed (Yes at 807), at 808, read the variable indicating the number of executions corresponding to each processing, and read the data as shown in Fig. 2. Generate a sequence, multiplex this data sequence with the code, and output.
  • the above processing from 801 to 808 is repeatedly executed as long as the input image continues. With the above configuration, the number of executions of each process can be transmitted.
  • the transmission method according to the second embodiment corresponds to claim 67.
  • FIG. 35 shows a configuration of a receiving apparatus according to the third embodiment.
  • reference numeral 307 denotes an input terminal for inputting an output of the transmission device of the first embodiment
  • reference numeral 301 denotes a variable length code based on the output of the transmission device of the first embodiment.
  • the receiving means extracts and outputs the data sequence by demultiplexing. At this time, it is assumed that the time required to receive one data piece is measured and output.
  • Reference numeral 303 denotes a moving picture decoding apparatus that receives a variable length code as input, and is composed of five constituent elements.
  • 3031 is a variable length decoding means for extracting DCT coefficients and other coded information from the variable length code
  • 30032 is an inverse orthogonal transform means for performing an inverse DCT transform process on the DCT coefficients
  • Reference numeral 303 denotes a switch, which performs an operation of sorting the output up and down for each macroblock based on the coding information indicating whether the coding is performed by the intra interface.
  • Reference numeral 3304 denotes a motion compensating unit which creates a motion compensated image by using the previous decoded image and the motion coding information, and adds the output of the inverse orthogonal transforming unit 3302 to this image. Output.
  • Numeral 303 denotes an execution time measuring means, which is used after the variable length code is input to the decoding device 303 until decoding and output of the image are completed. Measures the execution time at and outputs this.
  • Reference numeral 302 denotes each element from the data stream from the receiving means 301 (variable-length decoding means 31031, inverse orthogonal transform means 30032, switcher 303103, motion compensation means 300). This is an estimating unit that receives the number of executions of 3 4) and the execution time from the execution time measurement unit 30 35, and estimates the execution time of each element.
  • the estimated execution time may be set as the objective variable y, and the number of executions of each element may be set as the explanatory variable x—i.
  • the regression parameters ai can be considered as the execution time of each element.
  • the observation value is the execution time
  • the execution time of each element is the internal state variable
  • the observation matrix C changes step by step according to the number of executions of each element.
  • Numeral 304 denotes a number reducing means for changing the number of executions of each element so as to reduce the number of executions of full pel motion compensation and increase the number of executions of half pel motion compensation by a considerable number. The method of calculating this considerable number is as follows.
  • the number of executions of each element and the estimated execution time are received from the estimation means 302, and the execution time is estimated. If this time exceeds the time required to receive the data from the receiving means 301, the number of executions of the full pel motion compensation is reduced and the number of executions of the half pel motion compensation is reduced until the time does not exceed the time required.
  • Reference numeral 36 denotes an output terminal for the decoded image.
  • the motion compensating means 30 34 is a case in which it is instructed to perform half-pel motion compensation from the coded information, but if the predetermined number of times of half-pel motion compensation is exceeded, Round the movement, as a full pel movement, full pel Perform motion compensation.
  • the execution time of the decryption processing is predicted from the estimated execution time of each element, and this is used to receive data for one sheet. If it takes longer than the time (specified time) to perform, the motion compensation of the half-pel with long execution time is replaced with the full-pel motion compensation. As a result, the execution time can be prevented from exceeding the designated time, and the problem (C1) can be solved (corresponding to claims 68 and 74).
  • Claims 66 and 72 consider the essential and non-essential processing parts as two groups.
  • Claim 64 and Claim 72 refer to the case where the moving image part is regarded as the waveform guitar. Each corresponds to claim 70.
  • the processing time for IDCT calculation can be reduced by not using high-frequency components in the IDCT calculation in the receiver.
  • the calculation of the low frequency component may be regarded as an essential process
  • the calculation of the high frequency component may be regarded as a non-essential process, so that the number of times of the IDCT calculation of the high frequency component may be reduced.
  • FIG. 41 is a flowchart of a receiving method according to the fourth embodiment. Since the operation of the present embodiment is similar to that of the third embodiment, the corresponding elements are added.
  • step 901 variables ai representing the execution time of each element are initialized (estimating means 302).
  • multiplexed data is input and the time required for this is measured (receiving means 301).
  • the multiplexed data is separated into a variable length code and a data string and output (receiving means 301).
  • a data string (Fig. 2) is obtained.
  • the number of executions is extracted and these are set to x-i.
  • the actual number of executions is calculated from the execution time a-1 of each element and the number of executions x—i (number reduction means 304).
  • start measuring the execution time of the decryption process Then, the decryption processing routine described later is started in 907, and then the measurement of the execution time of the decryption processing is ended in 908 (the moving image decoding apparatus 303, execution time measurement). Means 30 35).
  • the execution time of each element is estimated from the execution time of the decoding processing in 908 and the actual number of executions of each element in 905, and a—i is updated. 3 0 2). The above processing is executed for each input multiplexed data.
  • variable-length decoding is performed at 910 (variable-length decoding means 30031), and inverse orthogonal transform is performed at 911 (inverse The orthogonal transform means 3 0 3 2) and 9 12 branch based on the intra / inter information extracted in the processing of 9 10 (switch 3 0 3 3).
  • motion compensation is performed at 913 (motion compensation means 30334).
  • the number of executions of the half-pel motion compensation is counted, and if this exceeds the actual number of executions determined at 955, the half-pel motion compensation is replaced with the full-pel motion compensation and executed. I do.
  • the execution time of the decryption processing is predicted from the estimated execution time of each element, and this is used to receive data for one sheet. If it takes longer than the time (specified time) to perform, the motion compensation of the half-pel with long execution time is replaced with the full-pel motion compensation. As a result, the execution time can be prevented from exceeding the specified time, and the problem (C 1) can be solved (corresponding to claims 67 and 73).
  • Claims and non-essential processing parts are considered as two groups in Claims 65 and 71. Each corresponds to claim 69.
  • FIG. 36 shows the configuration of the receiving apparatus according to the fifth embodiment. Most of the components of the present embodiment are the same as those described in the second embodiment. Only two components are added and only one component is modified, so that point will be described.
  • Reference numeral 402 denotes a modification in which the execution time of each element obtained by the estimation means 302 described in the second embodiment is output separately from the output to the number-of-times limiting means 304. It is.
  • Reference numeral 408 denotes a transmission means for generating a data string as shown in FIG. 37 from the execution time of each element and outputting this. The execution time will be sufficient if it is expressed in 16 bits in units of microseconds, and approximately 65 milliseconds can be expressed.
  • Reference numeral 409 denotes an output terminal for sending this data string to the transmitting means.
  • FIG. 38 shows the configuration of the transmitting apparatus according to the sixth embodiment.
  • Reference numeral 606 denotes an input terminal for receiving a data string output from the receiving apparatus according to the third embodiment
  • 607 denotes a receiving means for receiving the data string and outputting the execution time of each element
  • Reference numeral 608 denotes a determining means for determining the number of executions of each element, and the procedure is as follows.
  • the processing of the switch 1021 is performed for all the macroblocks in the image, and the number of executions of the switch 1021 at this time is obtained. Further, the number of executions by the motion compensating means 102, the orthogonal transforming means 102, and the variable length coding means 102 24 can be uniquely determined by the processing results up to this point. Thus, using the number of executions and the execution time from the receiving means 607, decoding on the receiving device side is performed. Predict the required execution time. The predicted decoding time is obtained as the sum of the product of the execution time of each element and the number of executions for each element.
  • the predicted decoding time is the time required to transmit the code amount (for example, 16 kbits) to be generated in the current image specified by the rate controller (for example, 25 O msec if the transmission speed is 64 kbit Z sec) If this is the case, increase the number of executions of full pel motion compensation and decrease the number of executions of half pel motion compensation so that the decoding time does not exceed the time required for transmission. (Since full-pel motion compensation has a shorter execution time, the execution time can be shortened by reducing the number of times.)
  • the moving picture coding apparatus 210 performs each processing based on the number of executions designated by the determining means 608. For example, the motion compensator 102 completes the execution of the half-pel motion compensation for the designated number of times of the half-pel motion compensation, and thereafter executes only the full-pel motion compensation.
  • the selection method may be devised so that the half-pel motion compensation is evenly distributed in the image. For example, first, all macroblocks that require half-pel motion compensation are obtained, and this number (for example, 1 2) is calculated as the number of half-pel motion compensation executions.
  • the quotient (3) divided by (for example, 4) is found, and the order from the beginning of the macroblock that requires half-pel motion compensation is the only one that can be divided by this quotient (0, 3, 6, 9).
  • a method of performing half-pel motion compensation may be used.
  • the estimated execution time of each element is transmitted to the transmission side, and the execution time of the decoding process is predicted on the transmission side. Then, it replaces the long-period half-pel motion compensation with the full-pel motion compensation so that this does not exceed the time (specified time) required to receive one piece of data.
  • the half-pel motion compensation information in the transmitted encoded information is The execution time does not exceed the specified time without being discarded, and the problem (C2) can be solved (corresponding to claims 76 and 78).
  • the inter macroblock coding may be divided into three parts: normal motion compensation, 8 ⁇ 8 motion compensation, and overlap motion compensation.
  • FIG. 42 is a flowchart of a transmission method according to the seventh embodiment. Since the operation in this embodiment is similar to that of the sixth embodiment, the corresponding elements will be added.
  • an initial value of the execution time of each process is set.
  • the image is input at 801 (input terminal 2101), and the image is divided into macro blocks at.
  • it is determined whether to encode all macroblocks using the intra Z-interconnect (switch 1021). As a result, the number of executions of each process from 1005 to 806 is known. In 1003, the actual number of executions is calculated from the number of executions and the execution time of each process (decision means 608).
  • the corresponding variable is incremented by one so that the number of processes from 1005 to 806 can be recorded in a specific variable.
  • branching is performed based on the judgment result at 1002 (switch 1021).
  • motion compensation is performed in 804 (motion compensation means 1022).
  • the number of half-bell motion compensations is counted, and if this exceeds the actual number of executions obtained in step 1003, full-level motion compensation is performed instead of performing half-pel motion compensation.
  • DCT conversion and variable length coding are performed in 805 and 806 (orthogonal transform means 1023, variable length coding means 1024).
  • a variable indicating the number of times of execution corresponding to each process is read, a data string as shown in FIG. 2 is generated, and the data string and a code are multiplexed and output.
  • the data sequence is received, and the execution time of each process is extracted and set from this.
  • the processing from 801 to 1004 is repeated as long as the input image continues.
  • the estimated execution time of each element is transmitted to the transmitting side.
  • the transmission side predicts the execution time of the decryption process at the transmission side, and a half-pel with a long execution time is used so that it does not exceed the time (designated time) required to receive one piece of data.
  • Replace motion compensation with full-pel motion compensation This makes it possible to prevent the execution time from exceeding the specified time without discarding the half-pel motion compensation information among the transmitted encoded information, and to solve the problem (C 2) (Corresponds to Claim 75 and Claim 77).
  • FIG. 39 shows a configuration of a transmitting apparatus according to an eighth embodiment.
  • Most of the components of the present embodiment are the same as those described in the first embodiment, and only four components are added.
  • the execution time measuring means 7001 measures an execution time from when an image is input to the encoding device 210 until completion of image encoding and code output, and outputs the result. I do.
  • Reference numeral 7 06 denotes each element from the data string from the counting means 2 1 0 3 (switch 1 0 2 1, motion compensation means 1 0 2 2, orthogonal transformation means 1 0 2 3, variable length decoding means 1 ⁇
  • This is an estimating means that receives the number of executions of 2) and the execution time from the execution time measuring means 7 0 10 and estimates the execution time of each element.
  • the estimating method may be the same as that described in the estimating means 302 of the second embodiment.
  • 707 is a frame frame from the user.
  • the input terminal for inputting the default value, 708, is a means for determining the number of executions of each element, and the procedure is as follows.
  • the processing in the switch 1021 is performed for all macroblocks in the image, and the number of executions of the switch 1021 at this point is obtained.
  • the number of executions by the motion compensating means 102, the orthogonal transform means 102, and the variable-length coding means 102 24 is uniquely determined by the processing results up to this point. it can.
  • the sum of the product of the number of execution times and the estimated execution time of each element from the estimating means 706 is calculated for each element, and the predicted encoding time is calculated. If the predicted encoding time is equal to or longer than the time available for encoding one image obtained from the reciprocal of the frame rate from 707, the number of executions of full-pel motion compensation is increased and the half-pel motion compensation Reduce the number of executions.
  • the number of executions is determined by repeating the increase / decrease processing and the calculation of the predicted encoding time until the predicted encoding time becomes equal to or less than the usable time.
  • the moving picture coding apparatus 210 performs each processing based on the number of executions designated by the determining means 608. For example, the motion compensator 102 completes the execution of the half-pel motion compensation for the designated number of times of the half-pel motion compensation, and thereafter executes only the full-pel motion compensation.
  • the selection method may be devised so that the half-pel motion compensation is evenly distributed in the image. For example, first, all macroblocks that require half-pel motion compensation are obtained, and this number (for example, 1 2) is calculated as the number of half-pel motion compensation executions.
  • the quotient (3) divided by (for example, 4) is found, and the order from the beginning of the macroblock that requires half-pel motion compensation is only the order (0, 3, 6, 9) that can be divided by this quotient.
  • a method of performing half-pel motion compensation may be used.
  • the execution time of each process is estimated, and the execution time required for encoding is predicted in advance based on the estimated execution time.
  • the problem (C3) can be solved by determining the number of executions so as to be less than the time that can be used for encoding the image determined from the data (corresponding to claim 80).
  • the motion compensation means 1022 minimizes the SAD (sum of the absolute value of the difference for each pixel) among the vectors in the range of 15 pixels in the left, right, up and down directions in order to detect the motion vector.
  • SAD sum of the absolute value of the difference for each pixel
  • There is a full search motion vector detection method that detects the motion vector but there is also a 3-step motion vector detection method (described in anne X. in H.261). This selects 9 points with the same arrangement relation in the above search range, and selects the minimum point of SAD. Next, within the shrinking range near this point, select 9 points again and select the point with the smallest SAD. Re-executing such a process is the 3 step motion vector detection method.
  • the execution time is estimated respectively, the execution time required for encoding is estimated based on the estimated execution time, and the predicted execution time is set to be less than the time specified by the user.
  • the number of executions of the full search motion vector detection method may be reduced, and the number of executions of the 3-step motion vector detection method may be increased instead.
  • a motion vector detection method using a fixed number of searches which further simplifies the processing, and a motion vector that returns only the (0, 0) motion vector as a result Detection methods may be used together.
  • FIG. 43 is a flowchart of the transmission method according to the ninth embodiment. Since the operation of this embodiment is similar to that of the eighth embodiment, the corresponding elements Is added. For the detailed operation in each flow, refer to the description of the corresponding element. Also, since it is almost the same as the second embodiment, only different points will be described.
  • the initial value of the execution time of each process is set to a variable a_i.
  • the frame rate is input at 1102 (input terminal 707).
  • 1 0 3 is the actual execution number from the frame rate at 110 2, the execution time ai of each processing, the number of executions of each processing obtained from the intra / inter determination result at 100 2, and Decide (decision means 708).
  • 1105 and 1106 are for measuring the execution time of the encoding process.
  • 1104 estimates the execution time of each process from the execution time at 1106 and the actual number of executions of each process, and updates the variable a_i (estimating means 706).
  • the execution time of each process is estimated, and the execution time required for encoding is predicted in advance based on the estimated execution time.
  • the problem (C 3) can be solved by determining the number of executions so that the time becomes shorter than the time available for encoding the image determined by the task (corresponding to claim 79).
  • the code length is extracted from the two-byte area, and the code length obtained from the code length and the code transmission rate is determined.
  • the transmission time may be used for calculating the number of executions in 905 (reducing the number of executions of half-pel motion compensation so as not to exceed the transmission time of the code). This corresponds to claims 81 and 83.
  • the code length is extracted from the two-byte area, and the code length and the code transmission rate obtained from the code transmission rate are extracted.
  • the transmission time may be used for calculating the number of executions in 304 (reduce the number of executions of half-pel motion compensation so as not to exceed the transmission time of the code). This corresponds to claims 82 and 84.
  • the number of actual executions of the half-pel motion compensation is recorded immediately after 909, and the maximum value thereof is calculated. If the maximum value is smaller than a sufficiently small value (for example, 2 or 3), a data string (a data string composed of a specific bit pattern) indicating that half-pel motion compensation is not used is generated. May be sent. Further, in the second embodiment, immediately after 808, it is checked whether or not this data sequence has been received. If a data sequence indicating that half-pel motion compensation is not used is received, 808 The motion compensation process may always be full-pel motion compensation. This corresponds to claims 93 and 91.
  • this idea can be applied to other than motion compensation. For example, avoiding the use of high-frequency components in DCT calculations can reduce the processing time of DCT calculations. That is, if the ratio of the execution time of the IDCT calculation to the entire execution time exceeds a certain value in the receiving method, a data string indicating that fact is transmitted to the transmission side. On the transmitting side, when this data string is received, only the low frequency components may be calculated in the DCT calculation, and all the high frequency components may be set to zero. This corresponds to claim 89.
  • the actual number of executions of half-pel motion compensation is recorded at 304 and the maximum value thereof is calculated. If the maximum value is less than a sufficiently small value (for example, 2 and 3), a data string (a data string composed of a specific bit pattern) indicating that half-pel motion compensation is not used is generated. You may send this. Furthermore, in the first embodiment, when a data string indicating that half-pel motion compensation is not used is received, the motion compensation process in 1022 may always be full-pel motion compensation. good. This corresponds to claim 94 and claim 92.
  • this idea can be applied to other than motion compensation. For example, by avoiding the use of high-frequency components in the DC calculation, the processing time of the DC calculation can be reduced. That is, if the ratio of the execution time of the IDCT calculation to the entire execution time exceeds a certain value in the receiving method, a data string indicating that fact is transmitted to the transmission side.
  • the estimated execution time of each element is The execution time of the decoding process is predicted from this, and if this exceeds the time required for receiving one piece of data (specified time), half-pel motion compensation with a long execution time is replaced with full-pel motion compensation. Replace with As a result, the execution time can be prevented from exceeding the designated time, and the problem (C 1) can be solved.
  • the estimated execution time of each element is transmitted to the transmitting side, and the transmitting side transmits the estimated execution time.
  • the execution time of each process is estimated, and the execution time required for encoding is predicted in advance based on the estimated execution time.
  • the problem (C 3) can be solved by determining the number of executions so that the time is equal to or less than the time available for encoding an image determined from the frame rate.
  • a recording medium such as a magnetic recording medium or an optical recording medium on which is recorded, and the same operation as described above is performed by a computer using the recording medium. good. Industrial applicability
  • the present invention for example, by dynamically determining each information framework of data management information, transmission management information, and control information used by a transmitting terminal and a receiving terminal, It is possible to change the information framework, and make changes according to the application and transmission path. In addition, it is easy to use multiple video streams and multiple audio streams, and to synchronize important scene cuts together with audio, focusing on important scene cuts, reflecting the editor's intention. .
  • the execution time of the decoding process is predicted from the estimated execution time of each element, and if this exceeds the time required for receiving one piece of data (specified time), the execution time is calculated. By replacing long half-pel motions with full-pel motion compensation, the execution time can be prevented from exceeding the specified time.

Description

明 細 書
動画像データの処理及び送受信方法、 並びに装置
技術分野
本発明は、 画像 ·音声送信装置、 画像 ·音声受信装置、 データ処理装置、 及び データ処理方法、 並びに、 波形データの送信方法、 装置、 及び波形データの受信 方法、 装置、 並びに、 動画像の送信方法、 装置、 及び動画像の受信方法、 装置に 関する。 背景技術
従来より、 自分が居る空間の風景の画像中から、 例えば人物画像を抽出し、 そ の画像と相手側から送られてきた人物画像と予め記憶されている相手側と共通的 に表示する仮想的な空間の画像と重畳して表示することにより、 相手が自分の前 にいるという実在感を充足し、 臨場感のある映像通信を目指したものがある （特 公平 4— 2 4 9 1 4号公報） 。
特に、 従来の技術では画像合成を行うための高速化、 メモリーを低減する方法 に関する発明が行われている （例えば、 特公平 5— 4 6 5 9 2号公報：画像合成 装置） 。
この様な従来の技術では、 2次元の静止画や 3次元の C Gデータを合成する画 像合成を利用した通信システムが提案されていたが、 複数の動画や音声を同時に 合成して表示させるシステムの実現方法について、 下記の観点からの具体的な議 論が行われていなかった。
即ち、 （A1) —つあるいは二 ό以上の現実の伝送路上においてソフ ト的に構 築される複数の論理的な伝送路を用いて、 データと制御情報 （デ一タとは別のパ ケットで伝送される、 端末側の処理を制御するための情報） とが独立して伝送さ れる環境下での画像や音声の伝送 （通信と放送） 及び、 その制御方法、 （Α2) 送信すべき画像や音声のデータに付加するヘッダ情報 （本発明のデータ管理情報 に対応） の動的な変更方法、 （A3) 送信のために付加するヘッダ情報 （本発明 の伝送管理情報に対応） の動的な変更方法、 （Α4) 複数の論理的な伝送路を動 的に多重化、 分離して情報の伝送を行う方法、 （Α5) プログラムやデータの読 み込み、 立ち上げ時間を考慮した画像や音声の伝送方法、 及ぴ （Α6) ザッピン グを考慮した画像や音声の伝送方法等の観点からの具体的な議論が行われていな かったという課題があつた。
一方、 従来より、 ネットワークへの伝送量を動的に調整する方法としては、 ェ ンコードの方式を変更する方式や、 映像のフレームタイプに応じて、 フレーム単 位でデータを廃棄する方式が提案されている （秦泉寺 （じんぜんじ） 浩史、 田尻 哲男、 分散適応型 VODシステムの一検討、 D— 81、 電子情報通信学会システ ムソサイエティ （1 995) ) 。
エンコーダ側で処理量を調整する方式としては、 処理時間拘束のもとで画質の 高い映像を提供できる動的演算量スケーラブルアルゴリズムが提案されている (大迫 史典， 矢島 由幸， 小寺博， 渡辺裕， 島村和典：動的演算量スケーラブ ルアルゴリズムによるソフ トウェア画像符号化， 電子情報通信学会論文誌 D— 2, Vol.80-D-2, No.2, pp.444-458(1997) . ) 。 また、 動画と音声の同期再生を実現した例としては、 MPEG 1ZMPEG2 のシステムがある。
この様な従来の技術における、 （B 1) 従来方式の映像のフレームタイプに応 じて映像を廃棄する方式では、 扱える情報の粒度が、 単一のストリーム内である ため、 複数のビデオス トリームや複数のオーディオス トリームの取り扱いや、 編 集者の意図を反映させて、 重要なシーンカツトを重点的にオーディオとともに同 期再生をさせることは困難であるという課題があった。 （B 2) また、 MPEG 1ZMPEG 2では、 ハードウェアでの実現が前提であるため、 デコーダは与え られたビットストリームをすベてデコードできることが前提となる。 したがって、 デコーダの処理能力を超えた場合の対応方法が不定となる課題が有る。
又一方、 従来、 動画像の伝送においては、 H. 26 1 (I TU-T R e c o mm e n d a t i o n H. 26 1— V i d e o c o d e c f o r a u d i o v i s u a l s e r v i c e s a t p x 64) などの方式.を用レ、たも のがあり、 これまで、 ハードウェアにより実装されていた。 このため、 ハードウ ユア設計時に、 必要な性能の上限を考慮しているため指定時間以内に複号化処理 を完了できないという場合は、 生じなかった。
なお、 ここで、 指定時間とは、 一枚の画像を符号化したビットス トリームの伝 送に要する時間である。 この時間内に複号化できないと、 超過した時間が遅延と なり、 これが蓄積して大きくなると、 送信側から受信側までの遅延が大きくなり テレビ電話としての使用に適しなくなる。 このような状況は避けねばならない。 また、 通信相手が規格外のビットストリ一ムを生成しているために復号化処理 を指定時間内に完了できなレ、場合には、 動画像の伝送ができないという課題があ つた。 上記の課題は、 動画像だけではなく、 音声データにおいても発生する課題であ る。
ところが近年、 インタネットゃ I S D Nの普及という形でパーソナルコンビュ ータ （P C ) でのネットワーク環境が整備された結果、 伝送速度が速くなり、 P Cとネットワークを利用した動画像の伝送が可能になってきた。 ユーザからの動 画像伝送に対する要求も、 とみに高まってきている。 また、 C P U性能の向上に より、 ソフトウェアによる動画像の復号化が充分可能となってきている。
しかしながら、 パーソナルコンピュータにおいては同じソフトウェアを、 C P U、 バス幅、 ァクセラレ一タの有無など、 装置構成の異なるコンピュータで実行 可能であるため、 必要な性能の上限を予め考慮することが困難であり、 指定時間 内に画像を複号化できない場合が生じる。
また、 受信装置の処理能力を越える長さの動画像の符号化データが伝送された 場合には指定時間内の符号化が不可能となる。
課題 （C 1 ) ：指定時間内に画像を復号化し、 遅延を小さく抑える。
また、 この課題 1の解決手段として、 例えば、 本発明の請求項 C 1記載の波形 データとして動画像を入力する場合、 又は本発明の請求項 C 7記載の波形データ として動画像を出力する場合であれば、 伝送されたビットストリ一ムのうち一部 を使用しないため、 伝送路の実質使用効率が悪い、 という問題が残る場合もある。 また、 符号化方式によっては、 前回の復号画像をもとに今回の復号画像を生成す るものがあるが （Pピクチャなど） 、 上記のような課題 1の解決手段では、 前回 の復号画像を完全に復元しない場合があるため、 画質劣化が、 時間とともに波及 的に大きくなるという問題もある。
課題 （C 2 ) ：課題 1解決手段では、 伝送路の実質使用効率が悪い。 また、 画質 劣化が波及する。
また、 ソフトウェアによる実装では、 一回の符号化処理に要する時問で画像の フレームレートが決まるため、 ユーザの指定したフレームレー卜が計算機の処理 限界を越えた場合には、 指定に応えることができなかつた。
課題 （C 3 ) ：ユーザの指示したフレームレートが、 計算機の処理限界を越え ると指定に応えられない。 発明の開示
本発明は、 上記第 1の従来技術の （A 1 ) 〜 （A 6 ) の課題を考慮し、 それら の課題の少なくとも何れか一つを解決する画像 ·音声送信装置、 画像 ·音声受信 装置、 データ処理装置、 及びデータ処理方法を提供することを目的とする。 又、 本発明は、 上記第 2の従来技術の ( B 1 ) 〜 （B 2 ) の課題を考慮し、 そ れらの課題の少なくとも何れか一^ 5を解決するデータ処理装置、 及びデータ処理 方法を提供することを目的とする。
又、 本発明は、 上記最後の従来技術の （C 1 ) 〜 ( C 3 ) の課題を考慮し、 そ れらの課題の少なくとも何れか一つを解決する波形データの送信方法、 装置、 及 び波形データの受信方法、 装置、 並びに、 動画像の送信方法、 装置、 及び動画像 の受信方法、 装置を提供することを目的とする。
請求項 1記載の本発明は、 伝送方法に関する及び Z又は伝送するデータの構造 に関する内容、 又はその内容を示す識別子を、 伝送フォーマット情報として、 前 記伝送するデータの伝送路と同一の伝送路、 又は、 前記伝送路とは別の伝送路を 用いて伝送する伝送手段を備え、
前記伝送されるデータは、 画像デ一タ及び/又は音声データである画像 ·音声 送信装置である。
請求項 2記載の本発明は、 前記伝送フォーマット情報が、 前記データを管理す るために前記データに付加されるデータ管理情報と、 前記データを伝送するため にデータに付加される伝送管理情報と、 端末側の処理を制御するための情報の内、 少なくとも一つの情報に含まれている請求項 1記載の画像 ·音声送信装置である。 請求項 3記載の本発明は、 前記データ管理情報、 前記伝送管理情報、 及び前記 端末側の処理を制御するための情報の内、 少なくとも一^ ^が動的に変更される請 求項 2記載の画像 ·音声送信装置である。
請求項 4記載の本発明は、 前記データは、 複数のパケットに分割されており、 前記データ管理情報、 又は前記伝送管理情報は、 それら分割された複数のパケ ットの先頭のバケツトの他に、 途中のバケツトにも付加されている請求項 3記載 の画像 ·音声送信装置である。
請求項 5記載の本発明は、 前記データに関する時間情報を、 そのデータの再生 時刻を示す情報として利用するか否かを示す識別子が、 前記伝送フォーマツト情 報に含まれている請求項 1記載の画像 ·音声送信装置である。
請求項 6記載の本発明は、 前記伝送フォーマッ ト情報は、 前記データの構造情 報であり、
伝送されてきた前記データの構造情報を受信した受信装置により出力される受 信可能である旨の信号が確 された後、 前記伝送手段が、 対応するデータを前記 受信装置に伝送する請求項 1記載の画像 ·音声送信装置である。
請求項 7記載の本発明は、 前記伝送フォーマット情報は、 （1 ) 受信装置にお いて時間的に後の段階で使用されることになるプログラム又はデータを識別する 識別子と、 （2 ) 前記使用されることになる時点又は使用の有効期間を知る.ため の情報として、 フラグ、 カウンタ、 又はタイマーのうち少なくとも 1つとを含む ものである請求項 1に記載の画像 ·音声送信装置である。
請求項 8記載の本発明は、 前記使用されることになる時点は、 伝送管理情報と して伝送の順序関係を識別するための送信シリアル番号を用いることにより伝送 される力、 又は、 データとは別のパケットで伝送される、 端末側の処理を制御す るための情報として伝送されるものである請求項 7記載の画像 ·音声送信装置で ある。
請求項 9記載の本発明は、 前記伝送方法に関する及びノ又は伝送するデータの 構造に関する内容と、 その識別子とを複数種類格納する格納手段を備え、 前記識別子が、 前記データ管理情報、 前記伝送管理情報又は前記端末側の処理 を制御するための情報の内、 少なくとも一つの情報の中に前記伝送フォーマツト 情報として含まれている請求項 2又は 3記載の画像■音声送信装置である。 請求項 1 0記載の本発明は、 前記伝送方法に関する及び Z又は伝送するデータ の構造に関する内容を複数種類格納する格納手段を備え、
前記内容が、 前記データ管理情報、 前記伝送管理情報又は前記端末側の処理を 制御するための情報の内、 少なくとも一つの情報の中に前記伝送フォーマツト情 報として含まれている請求項 2又は 3記載の画像 ·音声送信装置である。
請求項 1 1記載の本発明は、 前記伝送方法に関する及び Z又は伝送するデータ の構造に関する内容の変更を行うか否かを示すデフオルト識別子が付加されてい る請求項 1、 2又は 3に記載の画像 ·音声送信装置である。
請求項 1 2記載の本発明は、 伝送される情報の予め決められた固定長の領域、 若しくは前記予め決められた位置に前記識別子、 又は、 前記デフォルト識別子が 付加される請求項 9、 1 0または 1 1記載の画像 ·音声送信装置である。 請求項 1 3記載の本発明は、 請求項 1 〜 1 2の何れか一つに記載の画像 ·音声 送信装置から送信されてくる前記伝送フォーマツト情報を受信する受信手段と、 前記受信した伝送フォーマット情報を解釈する伝送情報解釈手段とを備えた画 像-音声受信装置である。
請求項 1 4記載の本発明は、 前記伝送方法に関する及び 又は伝送するデータ の構造に関する内容と、 その識別子とを複数種類格納する格納手段を備え、 前記伝送フォーマツト情報を解釈する際に、 前記格納手段に格納されている内 容を利用する請求項 1 3記載の画像 ·音声受信装置である。
請求項 1 5記載の本発明は、 データ及び 又は制御情報を伝送するための複数 の論理的な伝送路の情報の多重化の開始 ·終了を制御する情報多重化手段を備え、 前記情報多重化手段により多重化された前記データ及びノ又は制御情報の他に、 前記情報多重化手段による上記多重化の開始 ·終了に関する制御内容を多重化制 御情報として送信するものであり、
前記データは、 画像データ及び/又は音声データである画像 ·音声送信装置で ある。
請求項 1 6記載の本発明は、 前記多重化制御情報を、 前記データ及び/又は制 御情報より前に多重化せずに配置し伝送するか、 又は、 前記多重化制御情報を、 前記データ及び 制御情報が伝送される伝送路とは別の伝送路により伝送するか を、 選択することが出来る請求項 1 5記載の画像 ·音声送信装置である。
請求項 1 7記載の本発明は、 請求項 1 5に記載の画像 ·音声送信装置から送信 されてくる前記多重化制御情報と、 前記多重化された前記データ及び Z又は制御 情報とを受信する受信手段と、
前記多重化制御情報に基づいて、 前記多重化された前記データ及び 又は制御 情報を分離する分離手段とを備えた画像 ·音声受信装置である。
請求項 1 8記載の本発明は、 番組を視聴するための主視聴手段と、
前記主視聴手段により視聴されている前記番組以外の番組の状況を周期的に検 出する副視聴手段とを備え、
前記主視聴手段により視聴される前記番組が他の番組に切り替えられた際に必 要となるプログラム及びノ又はデ一タをスムーズに処理できる様に前記検出を行 うものであり、
前記データは、 画像データ及び/又は音声データである画像 ·音声受信装置で ある。
請求項 1 9記載の本発明は、 前記データの処理の優先度を示す情報のオフセッ ト値を伝送することで、 優先度の値を状況に応じて変化させることができる請求 項 1記載の画像 ·音声送信装置である。
請求項 2 0記載の本発明は、 過負荷状態の場合の処理の優先度に関する情報が 予め付加されている、 符号化された情報を受信する受信手段と、
前記受信手段により受信される前記情報の内で処理すべきものか否かを選定す る基準となる閾値を決定する優先度決定手段とを備え、
前記受信した情報を出力すべき時期と処理開始からの経過時間とを、 又は、 前 記受信した情報を復号すべき時期と処理開始からの経過時間とを比較し、 その比 較結果に基づいて、 前記閾値を変化させるものであり、
前記符号化の対象として、 画像データ及び 又は音声データを含む画像 ·音声 受信装置である。
請求項 2 1記載の本発明は、 伝送途中で紛失されたために、 前記受信されなか つた前記情報の再送が必要な場合、 前記紛失されたものの中で再送要求すべきも のか否かを選定する基準となる閾値を決定する再送要求優先度決定手段を備え、 前記決定される閾値が、 前記優先度決定手段が管理する優先度、 再送回数、 情 報の損失率、 フレーム内符号化されたフレームの挿入間隔、 及び優先度の粒度の 内、 少なくとも一つに基づいて決定されるものである請求項 2 0記載の画像-音 声受信装置である。
請求項 2 2記載の本発明は、 伝送途中で紛失されたために、 前記受信されなか つた前記情報の再送要求があつた場合、 前記紛失されたものの中で再送すベぎも のか否かを選定する基準となる閾値を決定する再送優先度決定手段を備え、 前記決定される閾値が、 請求項 2 0記載の画像 ·音声受信装置の前記優先度決 定手段が管理する優先度、 再送回数、 情報の損失率、 フレーム内符号化されたフ レームの挿入間隔、 及び優先度の粒度の内、 少なくとも一つに基づいて決定され るものである画像 ·音声送信装置である。
請求項 2 3記載の本発明は、 （ 1 ) 画像または音声の情報の目標転送レ一トを 実際の転送レートの方が超える場合又は、 （2 ) 転送処理開始からの経過時間と、 符号化された前記情報に付加されている、 復号化されるべき若しくは出力される べき時期とを比較した結果、 送信バッファへの符号化された情報の書き込みが遅 れていると判定した場合、
前記符号化された情報に付加されている優先度を用いて、 前記情報の送信を間 引いて行う画像 ·音声送信装置である。
請求項 2 5記載の本発明は、 （1 ) 音声または動画像の時系列データと、 （2 ) 前記時系列データ閒の処理の優先度を示す時系列データ間優先度と、 （3 ) 前記 時系列データを区分し、 区分されたデータ間の処理優先度を示す複数の時系列デ ータ内優先度とを含むデータ系列を受け付ける受付手段と、 前記時系列デ一タが複数同時に存在する場合は、 前記時系列データ間優先度と 前記時系列データ内優先度とを併用して処理を行うデータ処理手段とを備えたデ —タ処理装置である。
請求項 2 7記載の本発明は、 （1 ) 音声または動画像などの時系列データと、 ( 2 ) 前記時系列データ間の処理の優先度を示す時系列データ間優先度と、 （3 ) 前記時系列データを区分し、 区分されたデ一タ間の処理優先度を示す複数の時系 列データ内優先度とを含むデータ系列を受け付ける受付手段と、
前記時系列データ間優先度により、 前記各時系列データに対する処理能力を配 分し、 さらに前記各時系列データについて、 配分された処理能力内に収まるよう に、 前記時系列データ内優先度に基づいて、 適応的に前記時系列データ内の区分 されたデ一タの処理品質を劣化させるデータ処理手段とを備えたデータ処理装置 である。
請求項 2 9記載の本発明は、 動画像に対する時系列データ內優先度が、 動画像 のフレーム単位で付加されており、 前記フレーム単位の動画像が複数個のバケツ 卜に分割される場合、
単独の情報としてアクセス可能な前記動画像のフレームの先頭部分を伝送する バケツトのヘッダ部のみに前記時系列データ内優先度を付加するデータ処理装置 である。
請求項 3 1記載の本発明は、 前記時系列データ内優先度はバケツトのヘッダ内 に記述し、 優先度処理を行う請求項 2 5、 2 7、 又は 2 9のいずれかに記載のデ —タ処理装置である。
請求項 3 3記載の本発明は、 前記時系列データ内優先度が表現できる値の範囲 を可変にし、 優先度処理を行うことを特徴とする請求項 2 5、 2 7、 又は 2 9の レ、ずれかに記載のデータ処理装置。
請求項 3 4記載の本発明は、 音声または動画像などの時系列データと、 前記時 系列データ問の処理の優先度を示す時系列データ間優先度とを含むデータ系列を 入力とし、
前記時系列データ間優先度を相対的な優先度の値又は、 絶対的な優先度の値と して優先処理を行うデータ処理方法である。
請求項 3 6記載の本発明は、 音声または動画像などの時系列データを区分し、 前記時系列データと、 前記区分されたデータ間の処理優先度を示す複数の時系 列データ内優先度とを含むデータ系列を入力とし、
前記時系列データ内優先度を相対的な優先度の値又は、 絶対的な優先度の値と して優先処理を行うデータ処理方法である。
又、 課題 ( C 1 ) を解決するために本発明は、
請求項 6 3記載の波形データの送信方法において、 例えば、 波形データとして 動画像を入力することを特徴し、
また、 請求項 6 9記載の波形データの受信方法において、 例えば、 波形データ として動画像を出力することを特徴とするものである。
また、 課題 （C 2 ) を解決するために本発明は、
請求項 6 9記載の波形データの受信方法において、 例えば、
( d ) 推定により求めた各グループの各実行時間を出力することを特徴とし、 また、 請求項 6 3記載の波形データの送信方法において、 例えば、
( d ) 各グループの各実行時間から構成されるデータ列を入力し、
( e ) レートコントローラなどの指示により決まる符号長を伝送するのに必 要な時間内に複号化を完了するための 各グループの各実行回数を、 前記受信手 段の各実行時間により算出することを特徴とするものである。
また、 課題 （C 3 ) を解決するために本発明は、
請求項 6 7の波形データの送信方法において、 例えば、
( d ) 動画像の符号化に要する処理時間と計数手段の出力する各実行回数と を基に、 各グループの各実行時間を推定し、
( e ) 前記実行時間を用い動画像符号化に要する処理時間を予測し、 前記処 理時間が、 ュ一ザの指示として与えられるフレームレートにより決まる一枚の画 像を処理するのに利用可能な時間を越えない各グループの各実行回数を算出する ことを特¾ [とするものである。
本発明は上記の構成により、 必須処理と非必須処理のそれぞれの実行回数を求 め、 これを受信側に伝送し、 この実行回数と復号化時間により各処理に要する時 間を推定する。
この各処理の推定時間に基づき 復号化に要する時間が指定時間を下回るよう に非必須処理の各実行回数を削減することで、 復号化処理の時間を指定時間以下 に抑え、 遅延を小さく保つことができる。
尚、 課題 （C 1 ) を解決する発明として、 主に請求項 6 7， 請求項 7 3があげ られる。
また、 受信側で推定した 必須処理と非必須処理の各実行時間を送信側に伝送 し、 送信側にて、 各実行時間をもとに各実行回数を決定することにより、 複号化 処理の実行時間を指定時間以下となるようにできる。
尚、 課題 （C 2 ) を解決する発明として、 主に請求項 7 5， 請求項 7 7があげ られる。
また、 必須処理と非必須処理の各実行時間 を推定し、 各実行時間及び ュ一 ザの指示したフレームレートにより決まるユーザ指定時間をもとに各実行回数を 決定することにより、 符号化処理の推定実行時問を、 ユーザ指定時間以下となる ようにできる。
尚、 課題 （C3) を解決する発明として、 主に請求項 79があげられる。 図面の簡単な説明
第 1図は、 本発明の実施例における画像音声送受信装置の概略構成図である。 第 2図は、 受信管理部と分離部とを示す図である。
第 3図は、 複数の論理的な伝送路を用いて画像や音声の伝送、 制御する方法を 示す図である。
第 4図は、 送信すべき画像や音声のデ一タに付加するへッダ情報の動的な変更 方法を示す図である。
第 5 (a) 図〜第 5 (b) 図は、 A L情報の付加方法を示す図である。
第 6 (a) 図〜第 6 (d) 図は、 A L情報の付加方法の例を示す図である。 第 7図は、 複数の論理的な伝送路を動的に多重化、 分離して情報の伝送を行う 方法を示す図である。
第 8図は、 放送番組の伝送手順を示す図である。
第 9 (a) 図は、 プログラム、 データが受信端末にある場合における、 プログ ラムやデータの読み込み、 立ち上げ時間を考慮した画像や音声の伝送方法を示す 図である。
第 9 (b) 図は、 プログラム、 データが送信される場合における、 プログラム やデータの読み込み、 立ち上げ時間を考慮した画像や音声の伝送方法を示す図で ある。 第 1 0 (a) 図は、 ザッビングに対する対応方法を示す図である。
第 10 (b) 図は、 ザッビングに対する対応方法を示す図である。
第 1 1 (a) 図は、 実際に端末間で送受信されるプロ トコルの具体例を示す図 である。
第 1 1 (b) 図は、 実際に端末間で送受信されるプロトコルの具体例を示す図 である。
第 1 2図は、 実際に端末間で送受信されるプロトコルの具体例を示す図である。 第 1 3 (a) 図は、 実際に端末間で送受信されるプロ トコルの具体例を示す図 である。
第 1 3 (b) 図は、 実際に端末間で送受信されるプロ トコルの具体例を示す図 である。
第 1 3 (c) 図は、 実際に端末間で送受信されるプロ トコルの具体例を示す図 である。
第 14図は、 実際に端末間で送受信されるプロトコルの具体例を示す図である。 第 1 5図は、 実際に端末間で送受信されるプロトコルの具体例を示す図である。 第 1 6 (a) 図は、 実際に端末間で送受信されるプロ トコルの具体例を示す図 である。
第 1 6 (b) 図は、 実際に端末間で送受信されるプロ トコルの具体例を示す図 である。
第 1 7図は、 実際に端末問で送受信されるプロトコルの具体例を示す図である。 第 1 8図は、 実際に端末間で送受信されるプロトコルの具体例を示す図である。 第 1 9 (a) 図は、 実際に端末問で送受信されるプロ トコルの具体例を示す図 である。 第 1 9 (b) 図は、 実際に端末間で送受信されるプロ トコルの具体例を示す図 である。
第 20 (a) 図〜第 20 (c) 図は、 本発明の CGDのデモシステム構成図で ある。
第 21図は、 エンコーダでの過負荷時の優先度の付加方法を示す図である。 第 22図は、 過負荷時の受信端末での優先度の決定方法について記した図であ る。
第 23図は、 優先度の時間変化を示す図である。
第 24図は、 ストリーム優先度とォブジヱク ト優先度を示す図である。
第 25図は、 本発明の実施例における画像符号化、 画像複号化装置の概略構成 図である。
第 26図は、 本発明の実施例における音声符号化、 音声複号化装置の概略構成 図である。
第 27 (a) 図〜第 27 (b) 図は、 過負荷時の処理の優先度を管理する優先 度付加部、 優先度決定部を示す図である。
第 28 (a) 〜第 28 (c) 図は、 優先度を付加する粒度を示す図である。 第 29図は、 多重解像度の画像データへ優先度の割り当て方法を示す図である。 第 30図は、 通信ペイロードの構成方法を示す図である。
第 3 1図は、 データを通信ペイロードへ対応づける方法を示す図である。
第 32図は、 ォブジュク ト優先度、 ス トリーム優先度と通信パケット優先度と の対応を示す図である。
第 33図は、 本発明の第 1の実施の形態である、 送信装置の構成図である。 第 34図は、 第 1の実施の形態の説明図である。 第 3 5図は、 本発明の第 3の実施の形態である、 受信装置の構成図である。 第 3 6図は、 本発明の第 5の実施の形態である、 受信装置の構成図である。 第 3 7図は、 第 5の実施の形態の説明図である。
第 3 8図は、 本発明の第 6の実施の形態である、 送信装置の構成図である。 第 3 9図は、 本発明の第 8の実施の形態である、 送信装置の構成図である。 第 4 0図は、 本発明の第 2の実施の形態である、 送信方法のフローチャートで ある。
第 4 1図は、 本発明の第 4の実施の形態である、 受信方法のフローチャートで ある。
第 4 2図は、 本発明の第 7の実施の形態である、 送信方法のフローチャートで ある。
第 4 3図は、 本発明の第 9の実施の fl^態である、 送信方法のフロ一チャートで ある。
第 4 4図は、 本発明の画像 ·音声送信装置の一例を示す構成図である。
第 4 5図は、 本発明の画像 ·音声受信装置の一例を示す構成図である。
第 4 6図は、 本発明の画像■音声送信装置の映像と音声に優先度を付加する優 先度付加手段について説明する図である。
第 4 7図は、 本発明の画像 ·音声受信装置の映像と音声に付加された優先度を 解釈し、復号処理の可否を決定する優先度決定手段について説明する図である。
(符号の説明）
1 1 受信管理部
1 2 分離部
1 3 伝送部 14 画像伸長部
15 画像伸長管理部
16 画像合成部
17 出力部
18 端末制御部
401 1 送信管理部
4012 画像符号部
4013 受信管理部
4014 画像復号部
401 5 画像合成部
4016 出力部
4101 画像符号化装置
4102 画像復号化装置
301 受信手段
302 推定手段
303 動画像の復号化装置
304 回数削減手段
306 出力端子
307 入力端子
3031 可変長複号化手段
3032 逆直交変換手段
3033 切替器
3034 動き補償手段 3 0 3 5 実行時間計測手段 発明を実施するための最良の形態
以下、 本発明の実施の形態について図面を参照しながら説明する。
尚、 ここで述べる実施の形態は、 主に、 上述した課題 (A 1 ) 〜 （A 6 ) の何 れかを解決するものである。
本発明で使用する 「画像」 としては、 静止画と動画の両方を含む。 また、 対象 とする画像は、 コンピュータ . グラフィ ックス （C G ) のような 2次元画像とヮ ィャ一フレーム ·モデルから構成されるような 3次元の画像データであってもよ い。
第 1図は、 本発明の実施の形態における画像音声送受信装置の概略構成図であ る。
同図において、 情報を受信する受信管理部 1 1と情報を送信する伝送部 1 3は、 同軸ケーブル、 C AT V、 L AN, モデム等の情報を伝送する手段である。 通信 環境としては、 インターネットのように、 多重化手段を意識せずに複数の論理的 な伝送路が利用できる通信環境であってもよいし、 アナログ電話や衛星放送のよ うに多重化手段を意識しなければならない通信環境であってもよレ、。
また、 端末の接続形態としては、 T V電話や T V会議システムのように端末間 で双方向で映像や音声を送受信する形態や、 衛星放送や C A T V、 インターネッ ト上での放送型の映像や音声放送の形態が挙げられる。 本発明では、 このような 端末の接続形態について考慮している。
第 1図に示す分離部 1 2は受信情報を解析し、 データと制御情報を分離する手 段である。 具体的には、 送信のためにデータに付加された送信用のヘッダ情報と データとを分解したり、 データ自身に付加されたデータ制御用のヘッダとデータ の中身を分解するための手段である。 画像伸張部 14は受信した画像を伸張する 手段である。 たとえば、 H. 261、 H. 263、 MPEG 1/2、 J PEGと いった標準化された動画や静止画の圧縮画像であってもよいし、 そうでなくても よい。
第 1図に示す画像伸張管理部 15は画像の伸張状態を監視する手段である。 た とえば、 画像の伸張状態を監視することで、 受信バッファがオーバーフローを起 こしそうになった場合に、 画像の伸張を行わずに、 受信バッファを空読みし、 画 像の伸張ができる状態になった時点から、 画像の伸張を再開させることができる。 又、 同図において、 画像合成部 16は、 伸張された画像を合成する手段である。 合成方法に関しては、 JAVA、 VRML, MHEGといったスクリプト言語で、 画像と画像の構造情報 （表示位置と表示時間 （表示期間を含めてもよい） ） 、 画 像同士のグルーピングの方法、 画像の表示のレイヤ （深さ） 、 そして、 オブジェ ク ト I D (後述する S SRC) と、 これらの属性の関係を記述することによって 画像の合成方法が定義できる。 合成方法を記述したスクリプトはネットワークや ローカルの記憶装置から入出する。
又、 出力部 17は、 画像の合成結果を出力するディスプレイやプリンターなど である。 端末制御部 18はこれら各部を制御する手段である。 なお、 画像の代わ りに音声を伸張する構成であっても （画像伸張部を音声伸張部に、 画像伸張管理 部を音声伸張管理部に、 画像合成部を音声合成部に変更することで対応できる） 、 画像と音声の両方を伸張し、 時間的に同期を保ちながら合成、 表示する構成であ つてもよレヽ。
さらに、 画像を圧縮する画像圧縮部、 画像圧縮部を管理する画像圧縮管理部、 音声を圧縮する音声圧縮部、 音声圧縮部を管理する音声圧縮管理部を備えること により、 画像や音声の伝送も可能になる。
第 2図は受信管理部と分離部とを示す図である。
第 1図に示した受信管理部 1 1にデータを受信するデータ受信部 1 0 1とデー タを制御するための制御情報を受信する制御情報受信部 1 0 2と、 分離部 1 2に 伝送内容を解釈するための伝送構造 （詳細は後述する） について記憶する伝送フ ォーマツト記憶部 1 0 3と、 伝送フォ一マツト記憶部 1 0 3に記憶された伝送構 造に基づき伝送内容を解釈する伝送情報解釈部 1 0 4で各部を構成することで、 データと制御情報を独立して受信することが可能になるので、 例えば、 受信しな がらの受信画像や音声の削除や移動が容易になる。
前述したが、 受信管理部 1 1が対象とする通信環境としては、 インターネット のように、 多重化手段を意識せずに複数の論理的な伝送路が利用できる通信環境
(インタ一ネット ·プロファイル） であってもよいし、 アナログ電話や衛星放送 のように多重化手段を意識しなければならない通信環境 （R a wプロファイル） であってもよい。 しかし、 利用者から見れば、 論理的な伝送路 （ロジカルチャン ネル） が複数個用意されている通信環境を前提としている （たとえば、 T C P , I Pが使える通信環境では 「通信ポート」 と呼ばれる表現が一般に使われる） 。 また、 第 2図に示すように、 受信管理部 1 1が受信する情報としては 1種類以 上のデータ用の伝送路と、 伝送するデ一タを制御するための制御用の論理的な伝 送路を 1種類以上を想定している。 データ伝送用の伝送路を複数用意し、 データ 制御用の伝送路を 1本だけ用意してもよい。 また、 H . 3 2 3でも利用されてい る R T P Z R T C Pのように、 データ伝送毎にデータ制御用の伝送路を用意して もよレ、。 さらに、 U D Pを使った放送を考慮した場合、 単一の通信ポート （マル チキャストァドレス） を使った通信形態であってもよい。
第 3図は、 複数の論理的な伝送路を用いて画像や音声の伝送、 制御する方法に ついて説明する図である。 伝送するデータ自身を E S (エレメンタリー ·ストリ ーム） と呼び、 E Sとしては、 画像であれば 1フレーム分の画像情報や 1フレー ムょりも小さい G O B単位やマクロプロック単位の画像情報であってもよい。 音声であれば、 利用者が決めた固定長の長さであってよい。 また、 伝送するデ 一夕に付加するデータ制御用のヘッダ情報を A L (ァダプテーシヨン · レイヤ情 報） と呼ぶ。 A L情報としては、 データの処理可能な開始位置であるかどうかを 示す情報、 データの再生時刻を示す情報、 データの処理の優先度を示す情報など があげられる。 本発明のデータ管理情報は、 A L情報に対応する。 なお、 本発明 で用いられる E Sと A Lは M P E G 1ノ2で定義されている内容と必ずしも合致 しなくてもよい。
データの処理可能な開始位置であるかどうかを示す情報は、 具体的には 2種類 の情報があげられる。 1つはランダムアクセスのためのフラグであり、 例えば、 画像ならイントラフレーム （ Iピクチャ） といったように前後のデータに関係な く単独に読みとつて再生できることを示すための情報である。 2つ目としては、 単に単独で読みとりが可能であることを示すためのフラグとして、 アクセスフラ グが定義できる。 たとえば、 画像ならば G O B単位やマクロブロック単位の画像 の先頭であることを示す情報である。 従って、 アクセスフラグがなければデータ の途中である。 必ずしもデータの処理可能な開始位置であるかどうかを示す情報 としてランダムアクセスのフラグと、 アクセスフラグの両方が必要ではない。
T V会議システムのようなリアルタイム通信では両方のフラグを付加しなくて も問題が起こらない場合もあるし、 編集を簡単に行えるようにするためにはラン ダムアクセスフラグは必要である。 フラグが必要である力、 必要な場合でもどの フラグが必要かを通信路を介してデータ転送前に決定しておいてもよい。
データの再生時刻を示す情報は、 画像と音声の再生される時の時間同期の情報 を示し、 ME P G 1 2では P T S (プレゼンテーション · タイムスタンプ） と 呼ばれる。 T V会議システムのようなリアルタイム通信では通常、 時間同期に関 しては考慮されていないため、 必ずしも再生時刻を意味する情報は必要ない。 必 要な情報としては、 エンコードされたフレームの時間間隔になるかもしれない。 時間間隔を受信側で調整させることによって、 フレーム間隔の大きな変動は防 げるが、 再生間隔を調整させることで遅延になる可能性もある。 従って、 ェンコ 一ドのフレーム間隔を示す時間情報も必要ないと判断できる場合もある。
データの再生時刻を示す情報は、 P T Sを意味するのか、 フレーム間隔を意味 するのか、 データの再生時刻をデータ自身には付加しないということを通信路を 介してデータ転送前に決定して受信端末に通知して、 決定されたデ一タ管理情報 とともにデータを伝送してもよい。
データの処理の優先度を示す情報は、 受信端末の負荷ゃネットワークの負荷に よって処理もしくは伝送できない場合に、 データの処理を中止させたり、 伝送を 取りやめることによって受信端末の負荷ゃネントワークの負荷を低減させること ができる。
受信端末では画像伸張管理部 1 5で、 ネットワークでは、 中維の端末やルータ などで処理することができる。 優先度の表現方法としては数値による表現ゃフラ グであってもよい。 なお、 データの処理の優先度を示す情報のオフセッ ト値を制 御情報、 もしくはデータとともにデータ管理情報 （A Lの情報） として伝送する ことで、 受信端末の負荷やネットワークの負荷の急激な変動に対して、 あらかじ め画像や音声に割り当てている優先度にオフセット値を加えることで、 システム の動作状況に応じた動的な優先度の設定が可能になる。
さらに、 スクランブルの有無、 コピーライ トの有無、 オリジナルかコピーかを 識別するための情報をデータとは別に、 データの識別子 （S S R C ) とともに制 御情報として送信することで、 中継ノ一ドでのスクランブルの解除などが容易に なる。
なお、 データの処理の優先度を示す情報は、 複数のビデオやオーディオのフレ ームの集合から構成されるストリーム単位で付加してもよいし、 ビデオやオーデ ィォのフレーム単 に付加してもよレ、。
Η . 2 6 3ゃ。. 7 2 3などの符号化方法で、 符号化された情報の過負荷時の 処理の優先度を予め決められた基準で決定し、 符号化された情報と決定された優 先度を対応づける優先度付加手段を送信端末装置に備える （第 4 6図参照） 。 第 4 6図は、映像と音声に優先度を付加する優先度付加手段 5 2 0 1について説 明する図である。
即ち、 同図に示す様に、 符号化された映像と音声の各データ （それぞれ映像符 号化手段 5 2 0 2と音声符号化手段 5 2 0 3が処理する） に対して、 予め決めら れた規則に基づき優先度を付加する。 優先度を付加する規則は、 優先度付加規則 5 2 0 4に規則が格納されている。 規則とは、 I フレーム （フレーム内符号化さ れた映像フレーム） は、 Ρフレーム （フレーム間符号化された映像フレーム） よ りも高い優先度付加するという規則や、 映像は音声よりも低い優先度を付加する という規則である。 また、 この規則は利用者の指示により動的に変更しても良い。 優先度を付加する対象となるものは、 たとえば、 画像であればシーンチェンジ、 編集者や利用者が指示した画像フレームやス トリーム、 音声であれば、 有音区間 と無音区間である。
過負荷時の処理の優先度を定義する画像や音声フレーム単位の優先度の付加方 法は、 通信へッダへ付加する方法と符号化時にビデオやオーディォの符号化され たビットストリームのヘッダに埋め込む方法が考えられる。 前者は、 復号せずに 優先度に関する情報が得ることが可能であり、 後者はシステムに依存せずにビッ トス トリーム単体で独立に扱うことが可能である。
通信ヘッダに優先度情報を付加する場合、 1つの画像フレーム （たとえば、 フ レーム内符号化された Iフレーム、 フレーム間符号化された P、 Bフレーム） 力 複数個の送信バケツトに分割される場合、 画像であれば単独の情報としてァクセ ス可能な画像フレームの先頭部分を伝送する通信ヘッダのみに優先度を付加する (同一の画像フレーム内で優先度が等しい場合、 次のァクセス可能な画像フレー ムの先頭が現れるまで、 優先度は変わらないものとすればよい） 。
なお、 用途に合わせて、 優先度が表現できる値の範囲 （たとえば、 時間情報を 1 6ビットで表現するとか、 3 2ビットで表現すると力 を可変にして、 制御情 報でコンフィグレーションできるようにしてもよレ、。
また、 復号化装置では、 受信された種々の符号化された情報の過負荷時の優先 度に従って、 処理の方法を決定する優先度決定手段を受信端末装置に備える （第 4 7図参照） 。
第 4 7図は、映像と音声に付加された優先度を解釈し、復号処理の可否を決定す る優先度決定手段 5 3 0 1について説明する図である。
即ち、 同図に示す様に、 優先度は映像、音声毎のス トリーム毎に付加される優先 度、 映像もしくは音声のフレーム毎に付加される優先度である。 これらの優先度 はそれぞれ独立に用いてもよいし、フレーム優先度とストリーム優先度とを対応付 けて用いてもよい。 優先度決定手段 5301は、これら優先度に応じて復号すべき ストリ一ムゃフレームを決定する。
端末での過負荷時の処理の優先度を決定する 2種類の優先度を用いて、 デコー ド処理を行なう。
すなわち、 映像、 音声といったビットス トリーム間の相対的優先度を定義する ストリーム優先度 （Stream Priority；時系列間優先度） と、 同一ストリーム内の 映像フレームといつた復号処理単位間の相対的優先度を定義するフレーム優先度 (Frame Priority；時系列内優先度）を定義する （第 24図） 。
前者のストリーム優先度により複数のビデオやオーディオの取り扱いが可能に なる。 後者のフレーム優先度により映像のシーンチヱンジゃ編集者の意図に応じ て、 同一のフレーム内符号ィヒされた映像フレーム （Iフレーム） でも異 なる優先 度の付加が可能になる。
なお、 ス トリーム優先度を、 画像や音声の符号化もしくは復号化処理のォべレ —ティング ·システム （OS) での割り当て時間もしく処理の優先度に対応付け て管理することで、 OSレベルでの処理時間の管理が可能となる。 たとえば、 マ イクロソフト社の Wi n d o w s 95 /NTでは 5段階の O Sレベルでの優先度 の定義ができる。 符号化、 復号化の手段をソフトウエアでスレツドの単位で実現 した場合、 処理対象となるス トリームのス トリーム優先度から、 各スレッ ドに割 り当てる OSレベルでの優先度を決定することができる。
ここで述べた、 フレーム優先度とス トリーム優先度は、 伝送媒体やデータ記録 媒体へ適用が可能である。 例えば、 伝送するパケットの優先度をアクセスュニッ ト優先度 （Ac c e s s Un i t P r i o r i t y) と定義すると、 Ac c e s s Un i t P r i o r ι t y=S t r e am P r i o r i t y — F r ame P r i o r i t y
といった、 フレーム優先度と、 ス トリーム優先度の関係式から、 パケットの伝送 に関する優先度、 若しくは、 端末による過負荷時の処理の優先度を決定すること が出来る。
又、 データ記録媒体としてフロッピーディスク、 光ディスクなどを用いて行う ことができる。 また、 記録媒体はこれに限らず、 I Cカード、 ROMカセット等、 プログラムを記録できるものであれば同様に実施することができる。 さらに、 デ ータの中継を行うルータゃゲートウエイといった画像や音声の中継装置を対象と してもよレ、。
具体的な優先度に関する利用方法としては、 受信端末が過負荷である場合に、 処理すべき符号化された情報の優先度の閾値を決定する優先度決定手段を画像伸 長管理部や音声伸長管理部に具備し、 表示されるべき時刻 （PTS) と現在まで の処理開始かちの経過時刻もしくは、 復号されるべき時刻 （DTS) と現在まで の処理開始からの経過時刻を比較し、 比較結果により処理すべき符号化された情 報の優先度の閾値を変化させる （閾値を変化させるための情報としては、 Iフレ ームの挿入間隔、 優先度の粒度を参考にしてもよい） 。
第 20 (a) 図に示す例では、 エンコード時には、 取り込まれた QC I F、 C
I Fのサイズの画像をエンコーダ （H. 263) により、 エンコードを行い、 ェ ンコードされた情報とともに、 復号する時刻 (DTS) 、 画像を表示する時刻を 示すタイムスタンプ （PTS〉 、 過負荷時の処理の順序を示す優先度情報 （CG D、 Comp u t a t i o n a l G r a c e f u l De g r a d a t i o n) 、 フレームタイプ （SN) 、 シーケンス番号を出力する。
また、 第 20 (b) 図に示す例では、 音声もマイクを通して録音され、 ェンコ ーダ （G. 721) により、 エンコードを行い、 エンコードされた情報とともに、 復号する時刻 （DTS) 、 音声を再生する時刻を示すタイムスタンプ （PTS) 、 優先度情報 （CGD) 、 シーケンス番号 （SN) を出力する。
デコード時には、 第 20 (c) 図に示す様に、 画像と音声は、 それぞれ別々の バッファに渡され、 画像と音声はそれぞれの D丁 S (復号時刻） と現在の処理開 始からの経過時刻とを比較して、 DTSの方が遅れていなければ、 画像と音声は それぞれのデコーダ （H. 263、 G. 721) に渡される。
第 21図の例では、 エンコーダでの過負荷時の優先度の付加方法について記し ている。 画像は Iフレーム （フレーム内符号化された画像フレーム） は優先度が 「0」 と 「1」 で高い優先度を割り当てている （数字が小さいほど優先度が低レ、） 。 Pフレームは優先度が 「2」 で Iフレームよりも低い優先度を割り当てている。 Iフレームは、 2段階の優先度を割り当てているため、 デコードする端末の負荷 が高い場合、 優先度が 「0」 の Iフレームのみを再生するといつたことができる。 なお、 優先度の付加方法に応じて、 Iフレームの挿入間隔を調整する必要がある。 第 22図の例は、 過負荷時の受信端末での優先度の決定方法について記した図 である。 廃棄するフレームの優先度を cutOffPriorityよりも大きいと設定する。 つまり、 すべての画像フレームを処理の対象とする。 画像フレームに付加される 優先度の最大値は端末接続時に送信側から受信側へ通知することにより、 あらか じめ知ることができる （ステップ 101) 。
DTSと現在の処理開始からの経過時間を比較して、 経過時間の方が大きい場 合 （復号処理が間に合つていない場合） 、 処理対象とすべき画像、 音声の優先度 の閾値を引き下げ、 処理を間引く （ステップ 102) 、 逆に処理開始からの経過 時間の方が小さい場合 （復号処理が間に合つている場合） は、 処理できる対象の 画像や音声を増やすために、 優先度の閾値を引き上げる （ステップ 1 0 3 ) 。
1つ前の画像フレームが Pフレームでスキップされているならば処理は行わな レ、。 そうでなければ、 画像フレーム （もしくは音声のフレーム） の優先度に優先 度のオフセット値を付加し、 優先度の閾値と比較し、 閾値をこえていなければ、 デコーダに復号すべきデータを渡す （ステップ 1 0 4 ) 。
なお、 優先度のオフセッ トは、 マシンの性能をあらかじめ調べ、 受信端末へォ フセッ トを通知しておくという使い方 （利用者が受信端末で指示してもよい） 、 複数のビデオとサウンドストリームのストリーム単位の優先度を変更するという 使い方 （例えば、 一番後ろの背景はオフセッ ト値をあげて処理を間引くようにす る） ができる。
マルチス トリームを対象とする場合、 ス トリーム毎の優先度を付加し、 画像や 音声のデコードのスキップの判定してもよい。 加えて、 リアルタイム通信におい ても H. 2 6 3の了1 (テンポラリ一リファレンス） を D T Sと同様にして取り 扱い利用することで、 端末でのデコード処理が進んでいるか、 遅れているかを判 定でき、 上記で述べた同様のスキップ処理を実現することができる。
第 2 3図は先のアルゴリズムを実装して、 優先度の時間変化を調べたものであ る。
同図では、 映像フレームに付加される優先度の変化を示している。 この優先度 は端末が過負荷である際の復号の可否を決定するための優先度であり、 各フレー ム毎に付加される。 優先度は値が小さいほど優先度が高い。 同図の例では 0が最 も優先度が高い。 優先度の閾値が 3であるとき、 3よりも大きな値が付加されて いる優先度のフレームは復号されずに廃棄され、 3以下の値が付加されている優 先度が付加されているフレームは復号される。 優先度による選択的なフレームの 廃棄を行うことで、 端末の負荷を押さえることが可能である。 この優先度の閾値 は、 現在の処理時刻と各フレームに付加される復号処理時間 （D T S ) との関係 から動的に決定してもよい。 本手法は映像フレームだけでなく、 音声に対しても 同様な要領で適用が可能である。
インターネットのような伝送路を考えた場合、 伝送途中で紛失した符号化され た情報の再送が必要な場合、 再送すべき符号化された情報の優先度の閾値を決定 する再送要求優先度決定部を受信管理部に備え、 優先度決定部が管理する優先度 や、 再送回数、 情報の損失率、 フレーム内符号化されたフレームの挿入間隔、 優 先度の粒度 （たとえば、 5段階の優先度など） の情報をもとに、 再送要求すべき 符号化された情報に付加された優先度の閾値を決定することで、 受信端末で必要 とする画像や音声のみを再送要求することができる。 再送回数や情報の損失率が 大きければ、 再送すべき対象とする情報の優先度を引き上げて、 再送や損失率を 低下させる必要がある。 また、 優先度決定部で使用されている優先度を知ること で、 処理対象外の情報の伝送をなくすことができる。
送信側端末に関しては、 送信端末の情報の目標転送レートよりも実際の転送レ ートが超える場合や、 送信バッファへの符号化された情報の書き込みが、 現在ま での転送処理開!台からの経過時刻と符号化された情報に付加されている復号もし くは表示される時刻とを比較して、 送信バッファへの情報の書き込みが遅れてい る場合、 符号化された情報に付加され、 受信端末の優先度決定部で利用される端 末が過負荷時の優先度を用いて、 情報の送信を間引くことで、 目標レートにあつ た画像や音声の伝送が可能となる。 また、 送信側端末でも受信側端末で行ってい るような過負荷時の処理のスキップ機能を導入することで送信側端末の過負荷に よる破綻を押さえることができる。 上記で 明した A Lの情報を必要に応じて、 必要な情報だけを伝送できるよう にすることによって、 アナログ電話回線のような狭帯域の通信路には伝送情報量 を調節できるので有効である。 実現方法としては、 送信側端末でデータ自身に付 加するデータ管理情報を予めデータ送信前に決定し、 受信端末に使用するデータ 管理情報を制御情報 （たとえば、 ランダムアクセスフラグだけを使用すると力 として通知するとともに、 受信側端末では得られた制御情幸艮をもとに、 前記伝送 フォーマツト記憶部 103で記憶する伝送構造に関する情報 （どの A Lの情報を 使用するか表している） を書き換えることにより、 送信側で使用する A Lの情報
(データ管理情報） の組み替えが可能になる （第 16図参照） 。
第 4図は、 送信すべき画像や音声のデータに付加するへッダ情報の動的な変更 方法について説明する図である。 図の例では、 伝送すべきデータ （ES) をデー タ片に分解し、 得られたデータ片に、 データの順序関係を示すための識別情報
(シーケンス番号） と、 データ片の処理可能な開始位置であるかどうかを示す情 報 （マーカービット） と、 データ片の転送に関する時間情報 （タイムスタンプ） とを、 本発明の伝送管理情報に対応するものとして、 通信ヘッダの形でデ一タ片 に付加している。
具体的な例としては、 RTP ( Re a l t ime T r a n s f e r P r o t o c o l、 RFC 1889) では上記のシーケンス番号、 マ一力一ビッ ト、 タイムスタンプ、 オブジェク ト ID (S SRCと呼ばれている） 、 バ一ジョ ン番号などの情報を通信ヘッダとして使用している。 ヘッダ情報の項目の拡張は 可能であるが、 上記の項目は固定の項目として必ず付加される。 しカゝし、 複数の 異なる符号化の画像や音声を複数、 同時に伝送する通信環境で、 TV電話のよう にリアルタイム通信とビデオ■オン 'デマンドのように蓄積メディアの伝送が混 在する場合、 通信ヘッダの持つ意味合いが異なり、 識別する手段が必要である。 例えば、 タイムスタンプの情報は、 MPEG 1/2の場合は前述したように再 生時刻である PTSを示すが、 H. 261や H. 263ではエンコードされた時 間間隔を表す。 し力 し、 H. 263を音声と同期をとつて処理を行いたい場合、 タイムスタンプが PTSの情報であることを示す必要がある。 なぜならば、 H. 263の場合、 タイムスタンプの情報は、 エンコードされたフレーム間の時閒間 隔を示すのであって、 1枚目のフレームのタイムスタンプはランダムであると R TPで定義されているからである。
そこで、 （a) タイムスタンプが PTSであるかないかを示すフラグを通信へ ッダ情報 （通信ヘッダの拡張が必要になる） もしくは、 （b) H. 263ゃ11. 261のペイロードのヘッダ情報 （つまり、 ALの情報） として付加する必要が ある （この場合、 ペイ口一ド情報の拡張が必要になる） 。
R T Pのへッダ情報として、 デ一タ片の処理可能な開始位置であるかどうかを 示す情報であるマーカビットが付加されているが、 ALの情報としても前述した ように、 データに対してアクセスできる開始時点であることを示すアクセスフラ グ、 ランダムにデータに対してアクセスすることができることを示すランダムァ クセスフラグを持たせたい場合がある。 重複して、 通信ヘッダに持たせるのは効 率が悪くなるため、 ALのフラグを通信へッダで用意しているフラグで代用させ る方法も考えられる。
(c) ALにフラグを付加せずに通信ヘッダに付加しているへンダで ALのフ ラグを代用させることを示すフラグを通信へッダに新たに設けるか、 通信へンダ のマ一カービットは ALのものと同じであると定義することで、 問題は解決され る （ALに持たせるよりも解釈が早くできことが期待できる） 。 つまり、 マ一力 ービットが A Lのフラグと同じ意味を持つかどうかを示すフラグである。 この場 合、 通信ヘッダの改良もしくは、 拡張領域に記述することが考えられる。
逆に、 （d ) 通信ヘッダのマ一力ビットの意味を A Lに少なくともランダムァ クセスフラグもしくは、 アクセスフラグのいずれかが存在することを意味するよ うに解釈するようにしてもよレ、。 この場合、 従来とは解釈の意味が変わったこと を知るには通信ヘッダのバージョン番号で対応できる。 これ以外に、 単純な方法 としては、 通信ヘッダもしくは A Lのヘッダにのみアクセスフラグやランダムァ クセスフラグを設ければ処理は簡単である （前者の場合、 フラグを両方とも設け る場合も考えられるが、 通信ヘッダの新たな拡張が必要になる） 。
データ処理の優先度を示す情報を A Lの情報として付加することは述べたが、 通信ヘッダにデータの処理の優先度を付加することによって、 データ処理の優先 度の処理の判定がネットワーク上においてもデータの中身を解釈せずに行うこと が可能となる。 なお、 I P v 6の場合、 R T Pのレベルより下位のレイヤーで付 加することが可能である。
R T Pの通信ヘッダにデータの処理の有効期間を示すためのタイマ一もしくは カウンタを付加することで、 伝送されてくるバケツ卜のある状態変化がどのよう に変化しているかを判断することができる。 たとえば、 必要となるデコーダソフ トウエアが、 アクセス速度の遅い記憶装置に記億されている場合、 デコーダが必 要になるという情報と、 タイマーやカウンタ一により、 いつの時点で必要になる かが判断することが可能になる。 この場合、 用途によっては A Lの情報にタイマ 一やカウンター、 データの処理の優先度の情報は不要である。
第 5 ( a ) 図〜第 5 ( b ) 図、 と第 6 ( a ) 図〜第 6 ( d ) 図は、 A L情報の 付加方法について説明する図である。 第 5 (a) 図に示した様に、 ALを伝送すべきデータの先頭にのみ付加するか、 あるいは、 第 5 (b) 図に示した様に、 伝送すべきデータ （ES) を 1つ以上の データ片に分解した後のデータ片のそれぞれに付加するかを通知する制御情報を、 受信端末へ送付することにより伝送情報の取り扱 、粒度を選択できるようにする ことが可能になる。 ALを細分化されたデータに対してつけることで、 アクセス 遅延が問題になるような場合には有効である。
前述したように、 受信側でのデータ管理情報の組み替えや、 データ管理情報の データへの配置方法の変更が行われることを予め受信側端末に通知するために、 フラグ、 カウンタ一、 タイマ一のような表現方法を用いて、 ALの情報として用 意したり、 通信ヘッダとして用意して受信端末に通知することで、 受信端末対応 がスムーズにできる。
これまでの例では R TPのヘッダ （又は、 通信ヘッダ） と ALの情報の重複を 回避する方法や、 R T Pの通信へッダゃ A Lの情報を拡張する方法について述べ た。 しかし、 本発明は、 必ずしも RTPである必要はない。 たとえば、 UDPや TC Pを使って独自の通信ヘッダや A L情報を新たに定義してもよい。 インタ一 ネットプロファイルでは RT Pを使うことはあるが、 R a wプロファイルでは R T Pのような多機能なへッダは定義されていない。 A L情報と通信へッダに関す る考え方としては、 次の 4通りの考え方ができる （第 6 (a) 図〜第 6 (d) 図 参照） 。
(1) RTPと ALで、 既に割り当てられているヘッダ情報が重複しないよう に、 RTPのヘッダ情報もしくは ALの情報を修正、 拡張する （とくにタイムス タンプの情報が重複、 タイマーやカウンター、 データの処理の優先度情報が拡張 情報となる） 。 あるいは、 RTPのヘッダも拡張せず、 ALの情報も RTPのも のと重複していても考盧しない方法でもよい。 これらに関してはこれまでに示し た内容に相当する。 RTPは既に一部、 H. 323で実用化されているので、 互 換性を保った R TPの拡張は有効である。 （第 6 (a) 図参照）
(2) RTPにこだわらずに、 通信ヘッダを簡略にして （たとえば、 シ一ケン ス番号だけにすると力 、 残りを AL情報に多機能な制御情報として持たせる。 また、 A L情報で使用する項目を通信前に可変に設定できるようにすることで、 柔軟な伝送フォーマットが規定できる。 （第 6 (b) 図参照）
(3) RTPにこだわらずに、 A Lの情報を簡略にして （極端な例では、 AL には情報を付加しない） 、 通信ヘッダにすべての制御情報を持たせる。 通信へッ ダとして頻繁によく参照されうるシーケンス番号、 タイムスタンプ、 マーカービ ット、 ペイロードタイプ、 オブジェク ト I Dに関しては固定のヘッダ情報として おき、 データ処理の優先度情報、 タイマー情報に関しては拡張情報として、 拡張 情報が存在するどうかを示す識別子を設けておいて、 拡張情報が定義されていれ ば参照するようにしてもよい。 （第 6 (c) 図参照）
(4) RTPにこだわらず、 通信ヘッダ、 A Lの情報を簡略にして、 これら通 信ヘッダや AL情報とは、 別のパケットとして、 フォーマットを定義して、 伝送 する。 例えば、 ALの情報はマーカ一ビット、 タイムスタンプ、 オブジェク ト I Dだけ定義し、 通信ヘッダもシーケンス番号だけを定義し、 これらの情報とは別 の伝送パケッ ト （第 2のパケット） として、 ペイロード情報、 データ処理の優先 度情報、 タイマ一情報などを定義し、 伝送する方法も考えられる。 （第 6 (d) 図参照）
上記に示したように、 用途や、 既に画像や音声に付加されているヘッダ情報を 考慮すれば、 用途にあわせて、 通信ヘッダ、 ALの情報、 データとは別に伝送す るパケット （第 2のパケット） を自由に定義できる （カスタイマイズできる） よ うにするのが望ましい。
第 7図は、 複数の論理的な伝送路を動的に多重化、 分離して情報の伝送を行う 方法について説明する図である。 論理的な伝送路の数を節約するために、 利用者 の指示もしくは論理的な伝送路の数に応じて、 複数のデータもしくは制御情報を 伝送するための論理的な伝送路の情報の多重化を開始したり、 終了させること 可能な情報多重部を伝送部に、 多重化された情報を分離する情報分離部を受信管 理部に設けることにより実現できる。
なお、 第 7図では情報多重部を " G r o u p MU X" とよんでおり、 具体的 には H . 2 2 3のような多重化方式を用いればよい。 この G r o u p MU X は送受信端末で設けても よいし、 中継のルータや端末に設けることによって、 狭帯域への通信路への対応や、 G r o u p MU Xを H. 2 2 3で実現すれば H . 3 2 4と相互接続できる。
情報多重部に関する制御情報 （多重化制御情報） を素早く取り出すために、 情 報多重部の制御情報を情報多重部でデータと多重化して送信するのではなく、 多 重化せずに別の論理的な伝送路で伝送することで、 多重化による遅延を低減する ことができる。 これに伴って、 情報多重部に関する制御情報をデータと多重化し て伝送するのか、 データと多重化して送信するのではなく、 多重化せずに別の論 理的な伝送路で伝送するのかを通知して伝送することで、 従来の多重化と整合性 を保たせたり、 多重化による遅延を低減させるかを利用者で選択することが可能 になる。 ここで、 情報多重部に関する多重化制御情報とは、 例えば、 情報多重部 力 各データに対して、 どの様な多重化を行っているのかという、 多重化の内容 を示す情報である。 前述したように、 同様に、 少なくとも多重化の開始と終了を通知する情報、 多 重化すべき論理的な伝送路の組合せを通知するための情報、 多重化に関する制御 情報 （多重化制御情報） の伝送方法の通知を、 フラグ、 カウンタ、 タイマーのよ うな表現方法で、 制御情報として伝送、 もしくはデータ管理情報としてデータと ともに、 受信側端末に伝送することで、 受信側でのセットアツプの時間を短縮で きる。 また、 前述したようにフラグ、 カウンタ、 タイマーを表現する項目は R T
Pの送信ヘッダに設けてもよい。
複数個の情報多重部や情報分離部が存在する場合、 情報多重部や情報分離部を 識別するための識別子とともに制御情報 （多重化制御情報） を伝送すれば、 どの 情報多重部に関する制御情報 （多重化制御情報） かを識別することができる。 制 御情報 （多重化制御情報） としては、 多重化のパターンなどがあげられる。 また、 情報多重部や情報分離部の識別子を乱数を用いて、 端末間で決定することで情報 多重部の識別子を生成することができる。 たとえば、 送受信端末間で決められた 範囲での乱数を発生させ、 大きい方の値を情報多重部の識別子 （識別番号） とす ればよい。
情報多重部で多重化されたデータは、 従来、 R T Pで定義されているメディア タイプとは異なるため、 R T Pのペイロード -タイプに、 情報多重部で多重化さ れた情報であることを示す情報 （新たなメディアタイプ、 H. 2 2 3を定義） を 定義すればよい。
多重化されたデータに対するアクセス速度を向上させる方法として、 情報多重 部で伝送もしくは記録する情報を制御情報、 データ情報の順に配置することで多 重化された情報の解析を早くできることが期待できる。 また、 制御情報に付加す るデータ管理情報で記述する項目は固定にし、 データとは異なる識別子 （ュニー クなパターン） を付加して多重化することでヘッダ情報の解析を早くできる。 第 8図は放送番組の伝送手順について説明するための図である。 論理的な伝送 路の識別子と放送番組の識別子の対応関係を放送番組の情報として制御情報を伝 送する力 放送番組の識別子をデータ管理情報 （A L情報） としてデータに付加 して伝送することで複数の伝送路で伝送されるデータがどの番組のために放送さ れているのかを識別することが可能となる。 また、 データの識別子 （R T Pでは S S R C ) と論理的な伝送路の識別子 （たとえば、 L ANのポート番号） との関 係を制御情報として受信側端末に伝送して、 受信側端末では受信可能であること を確認後 （AckZReject) 、 対応するデータを伝送することにより、 制御情報とデ —タを独立した伝送路で伝送しても、 データ間の対応関係がとれる。
放送番組やデータに対して伝送の順序関係を示す識別子と、 放送番組やデータ が情報として利用できる有効期限を示すためのカウンタもしくはタイマーの情報 とを組み合わせて、 放送番組やデータに付加して伝送することで、 戻りチャンネ ルなしで放送が実現できる （有効期限が過ぎそうになったら、 不足の情報があつ ても放送番組の情報やデータの再生を開始する） 。 単一の通信ボートのアドレス (マルチキャス トア ドレス） を使って、 制御情報とデータに分離せずに放送する 方法も考えられる。
なお、 バックチャンネルを持たない通信の場合、 データの構造情報を受信端末 が知ることができるように、 制御情報はデータよりも十分、 前もって伝送してお く必要がある。 また、 制御情報は一般には、 パケットロスのない信頼性の高い伝 送チャンネルで伝送すべきであるが、 信頼性の低い伝送チャネルを用いる場合は 周期的に同じ伝送シーケンス番号を持った制御情報を繰り返し伝送する必要があ る。 これはセッ卜アップ時間に関する制御情報を送る場合に限った話ではない。 また、 データ管理情報として付加可能な項目 （たとえば、 アクセスフラグ、 ラ ンダムアクセスフラグ、 データの再生時刻 （PTS) 、 データ処理の優先度情報 など） を選択して、 制御情報としてデータの識別子 （S SRC) とともにデータ とは別の論理的な伝送路で伝送する力 データとともにデータ管理情報 （ALの 情報） として伝送するかを、 データ送信前に送信側で決定して、 受信側に制御情 報として通知して伝送することで柔軟なデータの管理と伝送が可能となる。 これにより、 A Lには情報を付加せずにデータ情報の伝送を行うことができる ので、 RTPを用いて画像や音声のデータを伝送する際に、 従来から定義されて いるペイロードの定義を拡張する必要がなくなる。
第 9 (a) 図〜第 9 (b) 図は、 プログラムやデータの読み込み、 立ち上げ時 間を考慮した画像や音声の伝送方法を示す図である。 特に、 衛星放送や携帯端末 のように戻りチャンネルがなく一方向で、 端末の資源が限られている場合で、 プ ログラムゃデ一タが受信側端末に存在して利用する場合、 必要となるプログラム
(例えば、 H. 263, MPEG 1/2, 音声のデコーダのソフ トウェアなど） やデータ （たとえば、 画像データや音声のデータ） 力';、読み込みに時間がかかる 記憶装置 （たとえば、 DVD、 ハードディスク、 ネットワーク上のファイルサー バなど） に存在する場合に、 予め必要となるプログラムやデータを識別する識別 子と、 伝送されるス トリームの識別子 （たとえば、 S SRCや、 Lo g i c a l Ch a n n e I N umb e r) 、 受信端末で必要となる時点を推定するためのフ ラグ、 カウンタ （カウントアップ、 ダウン） 、 タイマーのような表現方法で、 制 御情報として受信、 もしくはデータ管理情報としてデータとともに受信すること で、 必要となるプログラムやデータのセットアップ時間の短縮が可能となる （第 18図） 。 一方、 プログラムやデータが送信される場合、 プログラムやデータの受信端末 での記憶先 （たとえば、 ハードディスク、 メモリー） 、 起動や読み込みにかかる 時間、 端末の種類や記憶先と起動や読みとりにかかる時間の対応関係 （例えば、
C P Uパワー、 記憶デバイスと平均的な応答時問の関係） 、 利用順序を示す情報 とともにプログラムやデータを送信側から伝送することで、 受信側端末で必要と なるプログラムゃデ一タを実際に必要となる場合、 プ口グラムゃデ一タの記憶先 や読み出す時間に関してスケジューリングが可能となる。
第 1 0 ( a ) 図〜第 1 0 ( b ) 図は、 ザッビング （T Vのチャンネル切り替え） に対する対応方法について説明する図である。
従来からある映像を受信するだけの衛星放送とは異なり、 プログラムを受信端 末で実行しなければならないとき、 プログラムの読み込みや立ち上がるまでのセ ットアップの時間が大きな問題となる。 これは、 携帯端末のように利用資源が限 られる場合でも同じことがいえる。
解決策の 1つとして、 （a ) 利用者が視聴するための主視聴部と、 利用者が視 聴している以外の番組で、 必要となるプログラムやデータが、 読み込みに時間が かかる記憶装置に存在する場合に、 利用者が視聴している番組以外の番組を受信 端末が周期的に視聴する副視聴部を備え、 予め必要となるプログラムやデータを 識別する識別子と、 受信端末で必要となる時点を推定するためのフラグ、 カウン タ、 タイマ一といった情報と、 番組との対応関係を、 制御情報 （データとは別の パケットで伝送される、 端末処理を制御するための情報） として受信、 もしくは データ管理情報 （A Lの情報） としてデータとともに受信して、 プログラムゃデ ータの読み込みを準備しておくことで、 受信側端末でのセットアップ時間が短縮 できることが期待できる。 解決策の 2つ目としては、 複数個のチャンネルで放送される画像の見出し画像 だけを放送する放送チャンネルを設け、 視聴者が視聴番組を切り替えることで、 必要となるプログラムやデータが、 読み込みに時間がかかる記憶装置に存在した 場合、 一旦、 視聴したい番組の見出し画像を選択して視聴者に提示する力、 読み 込み中であることを提示するとともに、 記憶装置から必要となるプログラムゃデ ータを読み込み、 読み込み終了後、 視聴者が視聴したい番組を再開することで、 セットアップ時に発生する画面の停止が防止できる。 ここでいう見出し画像は、 周期的に複数個のチャンネルで放送される番組をサンプリングした放送画像を指 す。
また、 タイマーは時間表現で、 たとえば、 送信側から送られてくるデータスト リームをデコードするのに必要なプログラムは現在からレ、つの時点で必要となる かを示す。 カウンタは送受信端末間で決めた基本時間単位で、 何回目かを示す情 報であればよい。 フラグは、 セットアップに必要な時間前に送出するデータもし くは、 制御情報 （データとは別のバケツ 卜で伝送される、 端末処理を制御する情 報） とともに伝送して通知する。 タイマー、 カウンターともデータの中に埋め込 んで伝送してよいし、 制御情報として伝送してもよレ、。
さらに、 セットアップ時間の決定方法としては、 例えば、 クロックベースで動 作している I S D Nのような伝送路を用いた場合、 送信側端末から受信端末でプ ログラムやデータが必要となる時点を通知するために、 伝送管理情報として伝送 の順序関係を識別するための送信シリアノレ番号を用いて、 データ管理情報として データとともに、 もしくは、 制御情報として受信端末に通知することで、 セット アップが行われる時刻の予測が可能になる。 また、 インターネットのようにジッ タゃ遅延により、 伝送時間が変動する場合は、 R T C P (インターネッ トのメデ ィァ伝送プロ トコル） で既に実現されているような手段で、 ジッタや遅延時間か ら、 伝送の伝播遅延を加味してセットアップ時間に付加しておけばよい。
第 11 (a) 図から第 19 (b) 図は、 実際に端末間で送受信されるプロ トコ ルの具体例を示す図である。
伝送フォーマッ トや伝送手続きは ASN. 1で記述した。 又、 本伝送フォーマ ットは、 I TUの H. 245をベースに拡張を行った。 第 1 1 (a) 厘にもある ように、 画像や音声のオブジェク トは階層構造をなしていてもよく、 ここの例で は、 各ォブジ-ク ト I Dは放送番組の識別子 （P r o g r amI D) とオブジェ ク ト I D (S SRC) の属性をもち、 画像間の構造情報、 合成方法は J a V a, VRMLといったスクリプト言語で記述する。
第 11 (a) 図は、 オブジェク ト間の関係についての例を示す図である。
同図において、 オブジェク トは、 映像、 音声、 CG、 テキストなどのメディア である。 同図の例では、 オブジェクトは階層構造を成している。 各オブジェク ト は、 プログラム番号 （TVのチャンネルに相当、 "P r o g r am I D" ) と ォブジェク トを識別するオブジェク ト識別子 "Ob j e c t I D" を持つ。 R TP (インターネットで用いられるメディア伝送のプロトコル、 Re a 1 t im e T r a n s f e r P r o t o c o l ) で各ォブジェク トを伝送する場合は、 オブジェク ト識別子は S SRC (同期ソース識別子） に対応させることで容易に オブジェク トの識別が可能である。 なお、 オブジェク ト間の構造記述は J AVA、 V R M Lといった記述言語で記述することが可能である。
これらのォブジヱク 卜の伝送方法は 2通り考えられる。 1つは放送型であり、 送信側端末から一方的に伝送する形態である。 もう 1つは送受信端末間 （端末 A、 端末 B) でオブジェク 卜の伝送を行う形態 （通信型） も考えられる。 例えば、 伝送方法としてはインタ一ネッ卜の場合は RTPを用いることができ る。 制御情報は、 TV電話の規格では LC NOと呼ばれる伝送チャンネルを用い て伝送する。 同図の例では伝送に複数の伝送チャンネルを用いているが、 これら のチャンネルは同一の番組チャンネル （P r o g r am I D) が割り当てられ ている。
第 11 (b) 図は、 本発明で述べた機能を実現するためのプロ トコルの実現方 法について説明する図である。 ここでは TV電話の規格 （H. 324, H. 32 3) で用いられる伝送プロ トコル （H. 245) を用いて説明する。 H. 245 の拡張を行うことで本発明で述べた機能を実現する。
同図の例で示した記述方法は、 ASN. 1と呼ばれるプロ トコル記述方式であ る。 "Te rmi n a l C a a b i l i t y S e t" は端末の性能を表現 する。 同図の例では、 "mp e g 4 Ca p a b i l i t y" と記した機能を従 来からある H. 245に対して拡張している。
第 12図では、 "mp e g 4 C a p a b i l i t y" は端末で同時に処理で きる最大の映像の数 ( "Ma x Numb e r O f V i d e o" ) 、 最大の 音声の数 （Ma x Numb e r O f S o u n d s " ) 、 端末で実現できる最 大の多重化機能の数 （ "Ma x Numb e r O f Mu x" ) を記している。 同図では、 これらをまとめて、 処理できる最大のォブジェク ト数 （ "Number Of P r o c e s s Ob j e c t" ) として表現している。 また、 通信へッ ダ （同図では ALと表現） の変更が可能であるかを記すフラグが記されている。 この値が真であるとき通信ヘッダの変更が可能である。 "MPEG4 Ca p a b i 1 i t yを用いて端末間で処理できるオブジェク ト数をお互いに通知する場 合に、 通知された側が受け入れ （処理） 可能であれば "MEPG4 C a p a b i 1 i t y A c k" を、 そうでなければ "ME PG 4 Ca p a b i l i t y Re i e c t" を、 "MEPG4 C a p a b i 1 i t y " を送信してきた端 末に返す。
第 13 (a) 図では、 1つの伝送チャンネル （この例では LANの伝送チャン ネル） を複数の論理的なチヤンネルで共有して使用するために複数の論理的なチ ヤンネルを 1つの伝送チャンネルに多重化する前述の G r o u p MUXを使用 するためのプロ トコルの記述方法について示している。 同図の例では、 LAN
(ローカノレエリアネトワーク） の伝送チャンネノレ （ "LAN P o r t Number " ) に多重化手段 （Gr o up MUX) を対応づけている。 "Gr o u p M u X ID" は、 多重化手段を識別するための識別子である。 "C r e a t e G r o up Mu x" を用いて端末間で多重化手段を使用する場合にお互いに通 知する場合に、 通知された側が受け入れ （使用） 可能であれば "C r e a t e Gr o u p Mu x A c k" を、 そうでなければ "C r e a t e Gr o u p
Mu x Re j e c t" を、 "C r e a t e Gr ou p Mu x" を达信し てきた端末に返す。 多重化手段の逆の動作を行う手段である分離手段は、 同様な 方法で実現出来る。
第 13 (b) 図では、 既に生成した多重化手段を消去する場合について記述し ている。
第 13 (c) 図では、 LANの伝送チャンネルと複数の論理的なチャンネルの 関係について記述している。
LANの伝送チャンネルは "LAN P o r t Numb e r" で、 複数の論 理的なチャンネルは " L o g i c a 1 P o r t N u m b e r " で記述する。 同図の例では、 1つの LANの伝送チャンネルに対して最大 15個の論理的な チャンネルを対応づけることが可能である。
尚、 同図において、 使用できる MUXの数が、 1個だけの場合は、 G r o u p Mu x I Dは、 不要である。 又、 Mu Xを複数使用する場合は、 H. 223 の各コマンドに対して G r o u p Mu x I Dが必要である。 又、 多重化と分 離手段との間で用いられるポー卜の対応関係を通知するためのフラグを設けても 良い。 又、 制御情報も多重化するか、 別の論理的な伝送路を介して伝送するかを 選択出来るようにするためのコマンドを設けても良い。
第 1 3 (a) 図〜第 1 3 (c) 図の説明では伝送チャンネルは LANであるが、 H. 223、 MP EG 2のようにインタ一ネットプロ トコルを使わない方式でも よい。
第 14図では、 "Op e n L o g i c a l Ch a nn e l " は伝送チヤン ネルの属性を定義するためのプロトコル記述を示している。 同図の例では、 H. 245のプロトコルに対して、 "MPEG 4 L o g i c a l Ch a nn e l
P a r a me t e r s " を拡張定義している。
第 1 5図では、 LANの伝送チャンネルに対して、 プログラム番号 （TVのチ ヤンネルに相当） と、 プログラムの名前とを対応づけている （ " MP EG 4 L o g i c a l C a n n e l P a r ame t e r s ) ことを示している。 又、 同図において、 "B r o a d c a s t Ch a nn e l P r o g r am " は、 LANの伝送チャンネルとプログラム番号との対応付けを放送型で送信す る場合の記述方法である。 同図の例では、 最大 1 023個の伝送チャンネルとプ 口グラム番号の対応関係を送付することが可能である。 放送の場合は送信側から 受信側へ一方的に送信するだけであるため、 これらの情報を伝送中の損失を考慮 して周期的に伝送する必要がある。 第 1 6 (a) 図では、 プログラムとして伝送されるオブジェク ト （例えば、 映 像、 音声など） の厲性について記述している （ " MP EG 4 Ob j e c t C 1 a s s d e f i n i t i o n" ) 。 プログラムの識別子 （ "P r o g r am
I D" ) に対してオブジェクトの情報 （ "Ob j e c t S t r u c t u r e
E l eme n t " ) を対応付けている。 最大で 1023個のオブジェクトを対 応付けることが可能である。 オブジェク トの情報としては、 LANの伝送チャン ネル （ "LAN P o r t Numb e r" ) , スクランブルが使用されている か否かのフラグ （ "S c r amb l e F l a g" ) , 端末が過負荷である場合 の処理の優先度を変更するためのオフセッ ト値を定義するフィールド （ "CGD
O f f s e t " ) 、 そして、 伝送するメディア （映像、 音声など） のタイプを 識別するための識別子 （Me d i a Ty p e) を記述する。
第 1 6 (b) 図の例では、 E S (ここでは 1フレーム分の映像に相当するデー タ列と定義する） の復号処理を管理するために A L (ここでは 1フレーム分の映 像を復号するために必要な付加情報と定義する） が付加されている。 ALの情報 としては、
(1) R a n d om Ac c e s s F l a (単独で再生可能であるかどうか を示すフラグ、 フレーム內符号化された映像フレームであれば真である） 、
(2) P r e s e n t a t i o n T i me S t amp (フレームの表示時刻） 、
(3) CGD P r i o r i t y (端末が過負荷時に処理の優先度を決定するた めの優先度の値） が定義されている。 これらの 1フレーム分のデータ列を、 RT P (インターネッ トで連続メディアを伝送するためのプロトコル， R e a 1 t i me T r a n s f e r P r o t o c o l ) を用いて伝送する場合の例を示し ている。 "AL R e c o n f i g u r a t i o n" は、 上記の ALで表現でき る最大値を変更するための伝送表現である。
同図の伊 jでは、 "Ra n d om Ac c e s s F l a g Ma x B i t" ととして、 最大で 2ビッ トの表現が可能である。 例えば 0ならば、 Ra n d om
Ac c e s s F 1 a gは使用しない。 2ならば最大値は 3である。
尚、 実数部と仮数部による表現を行っても良い （例えば、 3 ~ 6) 。 又、 非設 定時は、 デフオルトで決められた状態で動作することにしても良い。
第 17図では、 "S e t u p R e q u e s ' は、 セットアップ時間を送信 するための伝送表現を示している。 プログラムを送信する前に " S e t u p R e q u e s t " は送信され、 伝送される伝送チャンネル番号 （ "L o g i c a 1 Ch a nn e l N u m b e r " ) と、 実行するプログラム I D ( "excute
P r o g r am Numb e r" ) 、 使用するデータ I D ( " d a t a Numb e r" ) 、 実行するコマンドの ID ( "e x e c u t e Co mm a n d Numb e r" ) を対応付けて受信端末へ送付する。 また、 別の表現方法と して、 伝送チャンネル番号と対応付けて、 実行の許可のフラグ （ "f l a g" ) 、 あと何回 S e t u p Re q u e s tを受信したら実行するかを記したカウンタ ( "c o un t e r" ) 、 あとどれくらいの時間で実行するかを示すタイマー値 ( t 1 m e r ) であってもよい。
尚、 要求予定のリクエス トの例としては、 A L情報の書き換え、 Gr o u p Mu xの立ち上がり時間の確保などがあげられる。
第 18図は、 第 16 (b) 図で説明した ALの使用の有無を送信端末から受信 端末へ通知するための伝送表現について説明する図である （ "Co n t r o l AL d e i i n i t i o n ) 。
同図において、 "Ra n d om Ac c e s s F l a g U s e" が真なら ば R a n d om Ac c e s s F l a gは使用する。 そうでなければ使用しな い。 この ALの変更通知は制御情報としてデータとは別の伝送チャンネルで伝送 してもよいし、 データとともに同一の伝送チャンネルで伝送してもよい。
尚、 実行するプログラムとしては、 デコーダプログラムなどがあげられる。 又、 セッ トアップのリクエス トは、 放送であっても通信であっても利用出来る。 又、 制御情報としての項目を、 A Lの情報としてどの項目を使用するかを上記のリク ェス トで受信端末に指示する。 又、 同様に通信ヘッダにどの項目を、 ALの情報 としてどの項目を、 制御情報としてごの項目を使用するかを受信端末に指示出来 る。
第 1 9 (a) 図では、 情報枠組み識別子 （ "h e a d e r I D" ) を用いて、 伝送するヘッダ情報 （データ管理情報、 伝送管理情報、 制御情報） の構造を送受 信端末間で用途に応じて変更するための伝送表現の例を示している。
同図において、 "c l a s s E S h e a d e r " は、 データと同じ伝送チ ヤンネルで伝送されるデータ管理情報や、 伝送管理情報の伝送される情報の構造 を、 情報枠組み識別子により送受信端末間で区別している。
例えば "h e a d e r I D" の値が 0ならば、 b u f f e r S i z e E Sの項目だけ用い、 "h e a d e r I D" の値が 1ならば " r e s e r v e d " の項目を加えて用いる。
又、 デフオノレト識別子 （ "u s e H e a d e r Ex t e n s i o n" ) を 用いることでデフオル卜の形式の情報の枠組みを用いるか、 用いないかを判定す る。 "u s e He a d e r Ex t e n s i o n" が真であれば、 i f 文の内 部の項目が用いられる。 これらの構造情報に関しては予め送受信端末間で取り決 められているものとする。 なお、 情報枠組み識別子とデフォルト識別子は、 何れ か一方を使用する構成であってもよい。
第 19 (b) 図では、 "AL c o n f i g u r a t i o n" は、 データとは 異なる伝送チャンネルで伝送される制御情報の構造を送受信端末間で用途に応じ て変更する場合の例を示している。 情報枠組み識別子とデフォルト識別子の使用 方法は第 19 (a) 図の場合と同じである。
本発明では、 複数の動画や音声を同時に合成して表示させるシステムの実現方 法について、 下記の観点から具体的に述べた。
(1) 複数の論理的な伝送路を用いて画像や音声の伝送 （通信と放送） 及び、 それらを制御する方法。 特に、 制御情報とデータをそれぞれ、 伝送する論理的な 伝送路を独立させて伝送する方法について述べた。
(2) 送信すべき画像や音声のデータに付加するヘッダ情報 （ALの情報） の 動的な変更方法。
(3) 送信のために付加する通信用のヘッダ情報の動的な変更方法。
具体的には、 （2) と （3) に関しては、 A Lの情報と通信用ヘッダで重複し ている情報について統合して管理する方法や、 ALの情報を制御情報として伝送 する方法について述べた。
(4) 複数の論理的な伝送路を、 動的に多重化、 分離して情報の伝送を行う方 法。
伝送路のチャンネル数を節約する方法、 効率的な多重化を実現する方法につい て述べた。
(5) プログラムやデータの読み込み、 立ち上げ時間を考慮した画像や音声の 伝送方法。 様々な機能、 用途で見かけ上のセットアップ時間の短縮方法について 述べた (6) ザッピングに対する画像や音声の伝送方法。
尚、 本発明は、 2次元の画像合成だけに限定されない。 2次元の画像と 3次元 の画像を組み合わせた表現形式でもよいし、 広視野画像 （パノラマ画像） のよう に複数の画像を隣接するように画像合成するような画像合成方法も含めてもよい。 また、 本発明で対象としている通信形態は、 有線の双方向 CATVや B— I S DNだけではない。 例えば、 センター側端末から家庭側端末への映像や音声の伝 送は電波 （例えば、 VHF帯、 UHF帯） 、 衛星放送で、 家庭側端末からセンタ —側端末への情報発信はアナログの電話回線や N— I SDNであってもよい （映 像、 音声、 データも必ずしも多重化されている必要はない） 。
また、 I rDA、 PHS (パーソナル■ハンディー 'ホン） や無線 LANのよ うな無線を利用した通信形態であってもよい。 さらに、 対象とする端末は、 携帯 情報端末のように携帯型の端末であっても、 セットトップ BOX、 パーソナルコ ンピュ一タのように卓上型の端末であってもよい。 なお、 応用分野としては、 T
V電話、 多地点の監視システム、 マルチメディアのデータベース検索システム、 ゲームなどが挙げられ、 本発明は受信端末だけではなく、 受信端末に接続される サ―バや中継の機器なども含まれる。 さらに、 これまでの例では RTPの （通信） ヘッダと ALの情報の重複を回避 する方法や、 RTPの通信ヘッダや ALの情報を拡張する方法について述べた。 しかし、 本発明は、 必ずしも RTPである必要はない。 たとえば、 UDPや TC Pを使って独自の通信ヘッダや A L情報を新たに定義してもよい。 インターネッ トプロファイルでは R TPを使うことはあるが、 R a wプロファイルでは RTP のような多機能なヘッダは定義されていない。 AL情報と通信ヘッダに関する考 え方としては、 前述したように 4通りの考え方ができる。 このように、 送信端末と受信端末で使用するデータ管理情報、 伝送管理情報、 制御情報の各情報の枠組み （例えば、 1番最初は、 ランダムアクセスのフラグで
1ビッ卜のフラグ情報として割り当て、 2番めはシーケンス番号で 1 6ビット割 り当てるといった、 付加する情報の順序とビット数をともなつた情報の枠組み） を動的に決定することで、 状況に応じた情報の枠組みの変更が可能になり、 用途 や伝送路に応じた変更ができる。
尚、 各情報の枠組みとしては、 第 6 ( a ) 図〜第 6 ( d ) 図において既に示し たものあってもよいし、 R T Pならば、 データ管理情報 （A L ) はメディア毎の へッダ情報 （例えば、 H . 2 6 3なら H . 2 6 3固有のビデオのへッダ情報や、 ペイ口一ドのへッダ情報） 、 伝送管理情報は R T Pのへッダ情報で、 制御情報は R T C Pのような R T Pを制御するような情報であってもよい。
また、 送受信端末間で予め設定されている公知の情報の枠組みで、 情報の送受 信して処理するか、 否かを示すためのデフォルト識別子をデータ管理情報、 伝送 管理情報、 制御情報 （データとは別のパケットで伝送される、 端末処理を制御す る情報） に、 それぞれ設けることで、 情報の枠組みの変更が行われているかどう かを知ることができ、 変更が行なわれている時だけ、 デフォルト識別子をセット し、 前述の第 1 6図に示したような方法で変更内容 （たとえば、 タイムスタンプ 情報を 3 2ビッ卜から 1 6ビッ卜に変更する） を通知することで、 情報の枠組み 情報を変更しなレ、場合でも不要にコンフィグレーション情報を送信しなくても済 む。
たとえば、 データ管理情報の情報の枠組みを変更したいときには、 次の 2つの 方法が考えられる。 まず、 データ自身にデータ管理情報の情報の枠組みの変更方 法を記述する場合、 データ管理情報の情報の枠組みに関して記述されたデータ內 に存在する情報のデフォルト識別子 （固定の領域、 位置に書き込む必要がある） をセットし、 そのあとに情報の枠 *aみの変更内容に関して記述する。
もう 1つの方法として制御情報 （情報枠組み制御情報） にデータの情報の枠組 みの変更方法を記述して、 データ管理情報における情報の枠組みを変更する場合、 制御情報に設けられたデフオルト識別子をセットし、 変更するデータ管理情報の 情報の枠組みの内容を記述し、 A C K R e 〕 e c tで受信端末にデータ管理情 報の情報の枠組みが変更されたことを通知、 確認してから、 情報の枠組みが変更 されたデーダを伝送する。 伝送管理情報、 制御情報自身の情報の枠組みを変更す る場合も、 同様に上記の 2つの方法で実現できる （第 1 9図） 。
より具体的な例としては、 例えば、 M P E G 2のヘッダ情報は固定であるが、 MP E G 2 - T S (トランスポート . ス トリーム） のビデオ ' ス トリーム、 ォー ディォ ' ストリームを関係づけるプログラム ·マップテーブル （P S Iで定義さ れる） にデフォルト識別子を設け、 ビデオ 'ストリーム、 オーディオ 'ストリー ムの情報の枠組みの変更方法を記述したコンフィグレーション · ストリームを定 義しておくことで、 デフォルト識別子がセットされていれば、 まず、 コンフィグ レ一ション ' ス トリ一ムを解釈してから、 コンフィグレーション ' ス トリ一ムの 内容に応じて、 ビデオとオーディオのストリームのヘッダーを解釈することがで きる。 コンフィグレーションス トリームは第 1 9図で示した内容でよい。
尚、 本発明の、 伝送方法に関する及びノ又は伝送するデータの構造に関する内 容 （伝送フォーマッ ト情報） は、 上記実施の形態では、 例えば、 情報の枠組みに 対応している。
又、 上記実施の形態では、 変更しょうとする、 伝送方法に関する及び Z又は伝 送するデータの構造に関する内容を伝送する場合を中心に述べたが、 これに限ら ず例えば、 その内容の識別子のみを伝送する構成でも勿論良い。 この場合、 送信 装置としては、 例えば、 第 4 4図に示す様に、 （1 ) 伝送方法に関する及び Z又 は伝送するデータの構造に関する内容、 又はその内容を示す識別子を、 伝送フォ 一マット情報として、 前記伝送するデータの伝送路と同一の伝送路、 又は、 前記 伝送路とは別の伝送路を用いて伝送する伝送手段 5 0 0 1と、 （2 ) 前記伝送方 法に関する及びノ又は伝送するデータの構造に関する内容と、 その識別子とを複 数種類格納する格納手段 5 0 0 2とを備え、 前記識別子が、 データ管理情報、 伝 送管理情報又は、 端末側の処理を制御するための情報の内、 少なくとも一つの情 報の中に含まれている画像 ·音声送信装置であってもよい。 又、 受信装置として は、 例えば、 第 4 5図に示す様に、 上記画像 ·音声送信装置から送信されてくる 前記伝送フォーマツト情報を受信する受信手段 5 1 0 1と、 前記受信した伝送フ ォ一マツト情報を解釈する伝送情報解釈手段 5 1 0 2とを備えた画像 ·音声受信 装置であってもよい。 更に、 この画像 ·音声受信装置は、 前記伝送方法に関する 及び Z又は伝送するデータの構造に関する内容と、 その識別子とを複数種類格納 する格納手段 5 1 0 3を備え、 前記伝送フォーマツト情報として前記識別子を受 信した場合には、 前記識別子の内容を解釈する際に、 前記格納手段に格納されて いる内容を利用する構成であっても良い。
さらに、 具体的には、 予め情報の枠組みを複数、 送受信端末で取り決めて用意 しておき、 それら複数種類の情報の枠組みの識別と、 複数種のデータ管理情報、 伝送管理情報、 制御情報 （情報枠組み制御情報） を識別するための情報枠組み識 別子をデータとともに、 もしくは、 制御情報として伝送することで、 複数種のデ ータ管理情報、 伝送管理情報、 制御情報の各情報を識別することが可能となり、 伝送すべきメディァの形式や伝送路の太さに応じて各情報の情報の枠組みを自由 に選択することができる。 尚、 本発明の識別子は、 上記情報の枠組み識別子に対 応する。
これら情報の枠組み識別子、 デフォルト識別子は、 伝送される情報の予め決め られた固定長の領域もしくは、 位置に付加することで、 受信側端末で、 情報の枠 組みが変更されていても読み取り、 解釈することができる。
又、 上述した実施の形態で述べた構成以外に、 複数個のチャンネルで放送さ れる画像の見出し画像だけを放送する放送チヤンネルを設け、 視聴者が視聴番組 を切り替えることで、 必要となるプログラムやデータのセットアップに時間がか かる場合、 一旦、 視聴したい番組の見出し画像を選択して視聴者に提示する構成 としても良い。
以上のように本発明によれば、 送信端末と受信端末で使用するデータ管理情報 、 伝送管理情報、 制御情報の各情報の枠組みを動的に決定することで、 状況に応 じた情報の枠組みの変更が可能になり、 用途や伝送路に応じた変更ができる。 また、 送受信端末間で予め設定されている公知の情報の枠組みで、 情報の送受 信して処理するか、 否かを示すためのデフォルト識別子をデータ管理情報、 伝送 管理情報、 制御情報に、 それぞれ設けることで、 情報の枠組みの変更が行われて いるかどうかを知ることができ、 変更が行なわれている時だけ、 デフォルト識別 子をセットし、 変更内容を通知することで、 情報の枠組み情報を変更しない場合 でも不要にコンフィグレーション情報を送信しなくても済む。
さらに、 予め情報の枠組みを複数、 送受信端末で取り決めて用意しておき、 複 数種のデータ管理情報、 伝送管理情報、 制御情報を識別するための情報枠組み識 別子をデータとともに、 もしくは、 制御情報として伝送することで、 複数種のデ ータ管理情報、 伝送管理情報、 制御情報の各情報を識別することが可能となり、 伝送すべきメディァの形式や伝送路の太さに応じて各情報の情報の枠組みを自由 に選択することができる。
これら情報枠組み識別子、 デフォルト識別子は、 伝送される情報の予め決めら れた固定長の領域もしくは、 位置に付加することで、 受信側端末で、 情報の枠組 みが変更されていても読み取り、 解釈することができる。
以下、 本発明の実施の形態について図面を参照して説明する。
尚、 ここでは、 主に上述した課題 （B 1) 〜 （B 3) の何れか一つを解決する ものである。
本発明で使用する 「画像」 の意味は静止画と動画の両方を含む。 また、 対象と する画像は、 コンピュータ 'グラフィックス （CG) のような 2次元画像とワイ ヤーフレーム ·モデルから構成されるような 3次元の画像データであってもよい。 第 25図は、 本発明の実施の形態における画像符号化、 画像復号化装置の概略 構成図である。
符号化された種々の情報を送信もしくは記録する送信管理部 401 1は、 同軸 ケ一ブル、 CATV、 LAN, モデム等の情報を伝送する手段である。 画像符号 化装置 4101は、 H. 263、 MPEG 1/2, J PEG, あるいは、 ハフマ ン符号化といった画像情報の符号化を行う画像符号部 4012と、 上記送信管理 部 401 1とを具備する構成である。 又、 画像復号化装置 4102は、 符号化さ れた種々の情報を受信する受信管理部 4013と、 その受信された種々の画像情 報の復号を行う画像復号部 4014と、 復号された 1つ以上の画像を合成する画 像合成部 4015と、 画像を出力するディスプレイやプリンターなどから構成さ れる出力部 4016とを備えた構成である。
第 26図は、 本発明の実施の形態における音声符号化、 音声復号化装置の概略 構成図である。
音声符号化装置 4201は、 符号化された種々の情報を送信もしくは記録する 送信管理部 4021と、 G. 721、 MPEG 1オーディオといった音声情報の 符号化を行う音声符号部 4022とを具備する構成である。 又、 音声復号化装置 4202は、 符号化された種々の情報を受信する受信管理部 4023と、 前記種 々の音声情報の復号を行う音声復号部 4024と、 復号された 1つ以上の音声を 合成する音声合成部 4025と、 音声を出力する出力手段 4026とを備えた構 成である。
音声や動画像の時系列データは、 具体的には上記の各装置で、 符号化、 又は復 号化される。
第 25図、 第 26図とも、 通信環境としてはインターネットのように多重化の 手段を意識せずに複数の論理的な伝送路が利用できる通信環境であってもよし、 アナログ電話や衛星放送のように多重化手段を意識しなければならない通信環境 であってもよい。 また、 端末の接続形態としては、 TV電話や TV会議システム のように端末間で双方向で映像や音声を送受信する形態や、 衛星放送や CATV、 ィンターネット上での放送型の映像や音声放送の形態が挙げられる。
同様に、 画像や音声の合成方法に関しては、 JAVA、 VRML, MHEGと いったスクリブト言語で、 画像 ·音声と画像 ·音声の構造情報 （表示位置や表示 時間） 、 画像'音声同士のグルーピングの方法、 画像の表示のレイヤ （深さ） 、 そして、 オブジェクト I D (画像、 音声といった個々のォブジェクトを識別する ための I D) と、 これらの属性の関係を記述することによって画像や音声の合成 方法が定義できる。 合成方法を記述したスクリプトはネットワークや口一カルの 記憶装置から得られる。 尚、 画像符号化装置、 画像復号化装置、 音声符号化装置、 音声複号化装置を、 それぞれ任意の個数で、 任意の組み合わせで送受信の端末を構成してもよい。 第 2 7 ( a ) 図は、 過負荷時の処理の優先度を管理する優先度付加部、 優先度 決定部について説明する図である。 H. 2 6 3 G . 7 2 3などの符号化方法で、 符号化された情報の過負荷時の処理の優先度を予め決められた基準で決定し、 符 号化された情報と決定された優先度を対応づける優先度付加部 3 1を画像符号化 装置 4 1 0 1や音声符号化装置 4 2 0 1に備える。
優先度の付加の基準は、 たとえば、 画像であればシーンチェンジ、 編集者や利 用者が指示した画像フレームゃストリーム、 音声であれば、 有音区間と無音区間 である。
過負荷時の処理の便先度を定義する優先度の付加方法は、 通信ヘッダへ付加す る方法と符号化時にビデオやオーディオの符号化されるビッ トス トリ一ムのへッ ダに埋め込む方法が考えられる。 前者は、 復号せずに優先度に関する情報が得る ことが可能であり、 後者はシステムに依存せずにビットストリーム単体で独立に 扱うことが可能である。
第 2 7 ( b ) 図に示したように、 通信ヘッダに優先度情報を付加する場合、 1 つの画像フレーム （例たとえば、 フレーム内符号化された I フレーム、 フレーム 問符号化された P、 Bフレーム） が複数個の送信パケットに分割される場合、 画 像であれば単独の情報としてアクセス可能な画像フレームの先頭部分を伝送する 通信ヘッダのみに優先度を付加する （同一の画像フレーム内で優先度が等しい場 合、 次のアクセス可能な画像フレームの先頭が現れるまで、 優先度は変わらない ものとすればよい） 。
また、 複号化装置では、 受信された種々の符号化された情報の過負荷時の優先 度に従って、 処理の方法を決定する優先度決定部 32を画像複号化装置 41 02 や音声復号化装置 4202に備える。
第 28 (a) 図〜第 28 (c) 図は、 優先度を付加する粒度について説明する 図である。 端末での過負荷時の処理の優先度を決定する 2種類の優先度を用いて、 デコード処理を行なう。
すなわち、 映像、 音声といったビットス トリーム単位での過負荷時の処理の優 先度を定義するストリ一ム優先度 （S t r e am P r i o r i t y ;時系列デ ータ間優先度） と、 同一ス トリーム内の映像フレームといったフレーム単位での 過負荷時の処理の優先度を定義するフレーム優先度 （F r a me P r i o r i t y ；時系列データ內優先度） を定義する （第 28 (a) 図参照） 。
前者のス トリーム優先度により複数のビデオやオーディオの取り扱いが可能に なる。 後者のフレーム優先度により映像のシーンチェンジや編集者の意図に応じ て、 同一のフレーム内符号化された映像フレーム （ Iフレーム） でも異なる優先 度の付加が可能になる。
ストリ一ム優先度が表現する値の意味としては、 相対的な値として扱う場合と、 絶対的な値として扱う場合が考えられる （第 28 (b) 図、 第 28 (c) 図参照） ， ストリーム優先度とフレーム優先度の取り扱いが行なわれるのはネットワーク 上であれば、 ルータやゲートゥユイといった中継端末、 端末であれば、 送信端末 と受信端末があげられる。
絶対的な値と、 相対的な値の表現方法は 2通り考えられる。 1つは、 第 28 (b) 図で示した方法であり、 もう 1つは第 28 (c) 図で示した方法である。 第 28 (b) 図では、 絶対的な値の優先度とは、 編集者や機械的に付加された 画像ストリームゃ音声ストリ一ムが過負荷時に処理.される （又は、 処理されるべ き） 順序をあらわす値である （実際のネットワークや端末の負荷変動を考慮した 値ではない） 。 相対的な値の優先度は、 端末やネットワークの負荷に応じて、 絶 対的な優先度の値を変更するための値である。
優先度を相対的な値と、 絶対的な値に分離して管理することで、 ネットワーク の負荷の変動などに応じて、 送信側や中継装置で相対的な値だけを変更すること で、 元来、 画像や音声ストリームに付加されていた絶対的な優先度を残したまま で、 ハードディスクや V T Rへの記録が可能となる。 このように絶対的な優先度 の値が記録されていれば、 ネットワークの負荷変動などの影響を受けていない形 での映像や音声の再生が可能となる。 なお、 相対的な優先度や絶対的な優先度は データとは独立に制御チヤンネルを通して伝送してもよい。
同様に、 第 2 8 ( b ) 図では、 ストリーム優先度よりも粒度を細かくして、 過 負荷時のフレームの処理の優先度を定義するフレーム優先度を、 相対的な優先度 の値として扱ったり、 絶対的な優先度の値として极うことも可能である。 たとえ ば、 絶対的なフレーム優先度を符号化された画像の情報内に記述し、 ネットヮー クゃ端末の負荷で変動を反映させるために、 先の映像ァレームに付加した絶対的 な優先度に対する相対的なフレーム優先度を符号化された情報を伝送するための 通信パケットの通信ヘッダに記述することで、 フレームレベルでも、 オリジナル の優先度を残しながらも、 ネットワークや端末の負荷に応じた優先度の付加が可 能である。
なお、 相対的な優先度は、 通信へッダではなくデータとは独立して制御チヤネ ルでフレームとの対応関係を記述して伝送してもよい。 これにより、 元来、 画像 や音声ストリームに付加されていた絶対的な優先度を残したままで、 ハードディ スクゃ V T Rへの記録が可能となる。 一方、 第 28 (b) 図において、 受信端末で記録を行なわずに、 ネットワーク を介して伝送しながら受信端末で再生を行なう場合、 受信端末で絶対的な値と相 対的な値を分離して管理する必要がないため、 送信側で予め、 フレーム、 ストリ ームの両方のレベルの場合においても、 絶対値な優先度の値と相対的な優先度の 値を送信前に計算して絶対値のみを送ってもよい。
第 28 (c) 図において、 絶対的な値の優先度とは、 S t r e am P r i o r i t yと、 F r ame P r i o r i t yの関係から求められるフレーム間で 一意に決定される値である。 相対的な値の優先度は、 編集者や機械的に付加され た画像ス トリームや音声ス トリームが過負荷時に処理される （又は、 処理される べき） 順序をあらわす値である。 第 28 (c) 図の例では、 映像、 音声の各ス ト リ一ムのフ I ム優先度 （r e l a t i v e ;相対値） とス トリ一ム毎にス トリ ーム優先度が付加されている。
絶対的なフ L ム優先度 （a b s o l u t e ；絶対値） は相対的なフレーム優 先度と、 ス トリーム優先度の和から求められる （即ち、 絶対的なフレーム優先度 =相対的なフレーム優先度 +ス トリーム優先度） 。 なお、 この算出方法は減算し たり、 定数を掛け合わせるような方法でもよい。
絶対的なフレーム優先度は主としてネットワークで用いる。 これはルータゃゲ ィ トウェイといった中継装置で、 S t r e am P r i o r i t yと F r ame
P r i o r i t yとを加味してフレーム毎の優先度を決定する必要が絶対値に よる表現では不要になるからである。 この絶対的なフレーム優先度を用いること で中継装置でのフレームの廃棄などの処理が容易になる p
一方、 相対的なフレーム優先度は主として記録、 編集を行なう蓄積系への応用 が期待できる。 編集作業では、 複数の映像、 音声ストリームを同時に扱うことが ある。 そのような場合に、 端末やネットワークの負荷により再生できる映像ス ト リームゃフレームの数には限界が生じる可能性がある。
そのような場合に、 S t r e am P r i o r i t yと、 F r ame P r i
0 r i t yとを分離して管理しておくだけで、 例えば、 編集者が、 優先的に表示 させたい、 あるいは、 ユーザが、 見たいス卜リ一ムの S t r e a m P r i o r
1 t yを変更するだけで、 絶対値の表現を行なっている時とは違い、 F r ame P r i o r i t yをすベて計算し直す必要がない。 このように用途に応じて、 絶対的な表現、 相対的な表現を使い分ける必要がある。
また、 ス トリーム優先度の値を相対的な値として用いるか、 絶対的な値として 用いるかを記述することで、 伝送時にも、 蓄積する場合にも有効な優先度の表現 が可能となる。
第 28 (b) 図の例では、 ストリーム優先度に付随して、 ストリーム優先度が 表現する値が絶対値であるか、 相対値であるかを表現するフラグゃ識別子を設け て区別する。 フレーム優先度の場合は、 通信ヘッダに相対的な値が記述され、 符 号化されたフレーム内に絶対的な値が記述されるため、 フラグゃ識別子は不要で ある。
第 28 (c) 図の例では、 フレーム優先度が絶対値であるか相対値であるかを 識別するためのフラグもしくは識別子を設けている。 絶対値であれば、 ストリー ム優先度と相対的なフレーム優先度から算出されている優先度であるから、 算出 の処理を中継装置や端末で行なわない。 また、 受信端末では、 算出式が端末間で 既知である場合、 絶対的なフレーム優先度とストリ一ム優先度から相対的なフレ ーム優先度を逆算することが可能である。 例えば、 伝送するパケッ トの絶対的な 優先度 （Ac c e s s Un i t P r i o r i t y) を、 A c c e s s U n i t P r i o r i t y =ス トリーム優先度一フレーム優 先度、
という関係式から求めても良い。 ここで、 フレーム優先度は、 ストリーム優先度 を減算することから、 劣後優先度と表現しても良い。
さらに、 1つ以上のス トリーム優先度を T C P Z I Pの論理チャンネル （L A Nのポート番号） を流れるデータの処理の優先度に対応付けて、 データの処理を 管理してもよい。
加えて、 画像や音声は、 文字もしくは制御情報よりも低いストリーム優先度や フレーム優先度を割り当てることで再送処理の必要が低減できることが期待でき る。 これは画像や音声は一部分が失われても、 問題が発生しない場合も多いから である。
第 2 9図は、 多重解像度の画像データへ優先度の割り当て方法について説明す る図である。
1つのストリームが 2つ以上の複数のサブストリ一ムから構成される場合、 サ ブストリ一ムにストリーム優先度の付加を行い、 蓄積時もしくは伝送時に論理和 もしくは論理積の記述を行うことでサブス卜リームの処理方法の定義を行うこと が可能である。
ウェーブレツ 卜の場合、 1つの映像フレームを複数の異なる解像度の映像フレ ームに分解することが可能である。 また、 D C Tベースの符号化方式でも高周波 の成分と低周波の成分に分割して符号化することで異なる解像度の映像フレーム への分解は可能である。
分解された一連の映像フレームから構成される複数個の映像ストリームに付加 されるストリーム優先度のほかに、 映像のストリーム間の関係を記述するために AN D (論理積） と O R (論理和） で関係を定義する。 具体的な使用方法は、 ス トリーム Aのス トリーム優先度が 5であり、 ス トリーム Bのス トリーム優先度が 1 0である場合 （数字の少ない方が優先度が高い） 、 優先度によりス トリームデ ータの廃棄ならば、 ストリーム Bの方は廃棄されるが、 ストリーム間の関係記述 を行なうことで、 AN Dの場合にはストリ一ム Bの優先度が閾値の優先度よりも 低くても、 廃棄せずに伝送、 処理するように定義しておく。
これにより、 関連のあるストリームは廃棄されずに処理できるようになる。 O Rの場合には逆に、 廃棄可能であると定義する。 これまでと同様に、 廃棄処理は 送受信端末でも行なっても、 中継端末で行なってもよい。
なお、 関係記述のための演算子として、 おなじビデオクリップを 2 4 K b p s と 4 8 K b p sの別のストリ一ムに符号化した場合、 どちらかを再生すれば良い という場合がある （関係記述として排他的論理和 E X— O R) 。
前者の優先度を 1 0、 後者を 5としてある場合、 ユーザは優先度に基づいて後 者を再生してもよいし、 優先度に従わずュ一ザは後者を選んでもよい。
第 3 0図は通信ペイロードの構成方法について説明する図である。
複数のサブストリームから構成される場合、 サブストリームに付加したストリ —ム優先度に応じて、 たとえば優先度の高い順に、 送信パケットを構成すること で送信パケットレベルでの廃棄が容易になる。 また、 粒度を細かくして、 フレー ム優先度の高いオブジェク ト同士の情報をひとつにまとめて通信バケツトを構成 しても通信バケツ卜レベルでの廃棄が容易になる。
なお、 画像のスライス構造を通信パケットに対応付けることでバケツト落ちし たときの復帰が容易である。 つまり、 動画像のスライス構造をパケットの構造に 対応付けることで、 再同期のためのリシンクマ一カーが不要になる。 スライス構 造と通信バケツ卜の構造が一致していなければ、 パケット落ちなどで情報が損失 した場合、 再同期ができるようにリシンクマーカー （復帰する位置を知らせるた めの印） を付加する必要がある。
これにあわせて、 優先度の高い通信バケツトには高いエラ一プロテクションを かけることが考えられる。 なお、 画像のスライス構造とは GOBや MBといった まとまった画像情報の単位をさす。
第 31図はデータを通信ペイロードへ対応づける方法について説明する図であ る。 ストリームゃォブジェク トの通信バケツトへの対応付けの方法を制御情報も しくはデータとともに伝送することで、 通信状況や用途に応じて任意のデータフ ォーマットが生成できる。 たとえば、 RTP (R e a 1 t ime Tr a n s f e r P r o t o c o l) では、 扱う符号化毎に R T Pのペイ口一ドが定義さ れている。 現行の RTPの形式は固定である。 H. 263の場合、 同図に示した ように、 Mo d e Aから Mo d e Cの 3つのデータ形式が定義されている。 H. 263では、 多重解像度の映像フォ一マツトを対象とした通信ペイ口一ドは定義 されていない。
同図の例では、 L a y e r No. と前述の関係記述 （ AND、 OR ) を、 Mo d e Aのデータフォーマツトに追加して定義している。
第 32図は、 フレーム優先度、 ス トリーム優先度と通信パケット優先度との対 応について説明する図である。
又、 同図は、 伝送路で通信バケツトに付加される優先度を通信バケツト優先度 とし、 ス トリーム優先度やフレーム優先度を、 通信パケット優先度に対応させる 例である。
通常、 I Pを利用した通信では、 画像や音声データに付加されたフレーム優先 度ゃストリーム優先度を下位の I Pバケツトの優先度にバケツトに対応付けてデ ータを伝送する必要がある。 画像や音声データは分割され、 I Pのバケツ卜に分 割されて伝送されるため優先度の対応付けが必要がある。 図の例では、 ス トリー ム優先度は 0から 3までの値をとり、 フレーム優先度は 0から 5までの値をとる ため、 上位のデータでは 0から 1 5までの優先度を取りうる。
I P v 6では優先度 （4ビット） のうち◦から 7までは輻輳制御されたトラフ イツクのために予約されている、 優先度のうち 8から 1 5までは実時間通信トラ フィックまたは輻輳制御されていないトラフィックのために予約されている。 優 先度 1 5は最も優先度が高く、 優先度 8が最も優先度が低い。 これは I Pのパケ ッ卜のレベルでの優先度になる。
I Pを使ったデータの伝送では上位の 0から 1 5までの優先度を下位の I Pの 優先度である 8から 1 5までの優先度に対応付ける必要がある。 対応付けは上位 の優先度の一部をクリッビングする方式でもよいし、 評価関数をもうけて対応付 けてもよい。 上位のデータと下位の I Pの優先度の対応付けは、 中継ノード （ル ータゃゲートウェイなど） 、 送受信端末で管理を行う。
なお、 伝送手段は I Pだけに限定されるわけではなく、 A TMや M P E G 2の T S (トランスポート 'ストリーム） のように廃棄可能かそうでないかのフラグ をもった伝送パケットを対象としてもよい。
これまでに述べた、 フレーム優先度とス トリーム優先度は、 伝送媒体やデータ 記録媒体へ適用が可能である。 データ記録媒体としてフロッピーディスク、 光デ イスクなどを用いて行うことができる。
また、 記録媒体はこれに限らず、 I Cカード、 R OMカセット等、 プログラム を記録できるものであれば同様に実施することができる。 さらに、 データの中継 を行うルータゃゲートウェイといった画像音声中継装置を対象としてもよい。
加えて、 S t r e am P r i o r i t y (時系列データ間優先度） や、 F r a me P r i o r i t y (時系列データ内優先度） の情報に基づいて再送すベ き時系列データを決定することで、 優先的な再送処理が可能となる。 たとえば、 優先度情報に基づいて受信端末でデコ一ドを行なっている場合、 処理の対象外で あるス トリームゃフレームの再送を防止することができる。
また、 現在の処理対象となっている優先度とは別に、 再送回数と送信成功回数 の関係から再送すべき優先度のストリ一ムゃフレームを決定してもよい。
—方、 送信側の端末においても、 S t r e am P r i o r i t y (時系列デ ータ間優先度） や F r ame P r i o r i t y (時系列データ内優先度） の情 報に基づいて送信すべき時系列データを決定することで、 優先的な送信処理が可 能となる。 たとえば、 平均転送レートや、 再送回数に基づいて送信すべきス トリ —ムゃフレームの優先度を決定することで、 ネットワークが過負荷である際にも 適応的な映像や音声の伝送が可能になる。
なお、 上記実施の形態は、 2次元の画像合成だけに限定したものではない。 2 次元の画像と 3次元の画像を組み合わせた表現形式でもよいし、 広視野画像 （パ ノラマ画像） のように複数の画像を隣接するように画像合成するような画像合成 方法も含めてもよい。 また、 本発明で対象としている通信形態は、 有線の双方向 CATVや B— I SDNだけではない。 たとえば、 センター側端末から家庭側端 末への映像や音声の伝送は電波 （例えば、 VHF帯、 UHF帯） 、 衛星放送で、 家庭側端末からセンター側端末への情報発信はアナログの電話回線や N— I SD Nであってもよい （映像、 音声、 データも必ずしも多重化されている必要はない） c また、 I rDA、 PHS (パーソナル 'ハンディー 'ホン） や無線 LANのよう な無線を利用した通信形態であってもよい。
さらに、 対象とする端末は、 携帯情報端末のように携帯型の端末であっても、 セットトップ BOX、 パーソナルコンピュータのように卓上型の端末であっても 良い。
以上のように本発明によれば、 複数のビデオストリ一ムゃ複数のオーディオス トリ一ムの取り扱いや、 編集者の意図を反映させて、 重要なシーンカットを重点 的にオーディオとともに同期再生をさせることが容易となる。
以下に本発明の実施の形態を図面を参照しながら説明する。
尚、 ここで述べる実施の形態は、 主に、 上述した課題 （C 1) 〜 （C 3) の何 れかを解決するものである。
第 33図は第 1の実施の形態である送信装置の構成を示すものである。
2101は画像入力端子であって、 一枚の画像サイズは例えば縦 144画素、 横 176画素である。 2102は動画像符号化装置であって、 4つの構成要素 10 21, 1022, 1023, 1024力 ら成る （Re c omme n d a t i on
H. 261参照） 。
1021は入力された画像をマクロプロック （縦 16画素、 横 16画素の正方 形領域） に分割し、 このブロックの符号化を、 イントラ/インタどちらで符号化 するかを決定する切替器、 1022は前回の符号化結果から計算できるローカル デコード画像をもとに動き補償画像を作成し、 これと入力画像との差分を計算し、 結果をマクロブロック単位に出力する動き補償手段であって、 動き補償には、 処 理時間の長いハーフペル動き補償と処理時間の短いフルペル動き補償がある。 1 023はそれぞれのマクロブロックに対して DC T変換を施す直交変換手段、 1 024はこの DC T変換結果及び他の符号化情報に対してエントロピー符号化を 施すための可変長符号化手段である。
2 1 0 3は計数手段であって、 動画像符号化装置 2 1 0 2の 4つの構成要素の 実行回数を計数し、 入力画像ごとに、 結果を変換手段に出力する。 この時、 動き 補償手段 1 0 2 2からは、 ハーフペルとフルペルの 2通りについてそれぞれの実 行回数を計数する。
2 1 0 4は変換手段であって、 第 3 4図に示すようなデータ列を出力する。 2 1 0 5は送信手段であって、 動画像符号化装置 2 1 0 2からの可変長符号と、 変 換手段 2 1 0 4からのデータ列を多重化して、 一本のデータ列とし、 データ出力 端子 2 1 0 9に出力するものである。
以上の構成により、 受信装置に、 必須処理 （切替器 1 0 2 1， 直交変換手段 1 0 2 3 , 可変長符号化手段 1 0 2 4 ) と非必須処理 （動き補償手段 1 0 2 2 ) の 各実行回数を伝達する
ことができる。
なお、 この第 1の実施の形態である送信装置は、 請求項 6 8に対応する。
次に、 第 4 0図は、 第 2の実施の形態である送信方法のフローチャートである。 本実施の形態における動作が第 1の実施の形態と似ているので、 対応する要素 を付記しておく。 8 0 1にて、 画像を入力し （画像入力端子 2 1 0 1 ) 、 8 0 2 にて画像をマクロブロックに分割する。 以降、 8 0 7の条件分岐により、 すべて のマクロブロックに対する処理を完了するまで、 8 0 3から 8 0 6までの処理を 操りかえす。 なお、 8 0 3から 8 0 6までの処理の回数を、 特定の変数に記録で きるように、 それぞれの処理を実行した場合には、 対応する変数を 1だけインク リメントする。
まず、 8 0 3にて、 処理対象のマクロブロックをイントラ/インタどちらで符 号化するかを判定する （切替器 1 0 2 1 ) 。 インタの場合は、 8 0 4にて動き補 償を行う （動き補償手段 1 0 2 2 ) 。 その後、 8 0 5， 8 0 6にて、 D C T変換、 可変長符号化を、 行う （直交変換手段 1 0 2 3， 可変長符号化手段 1 0 2 4 ) 。 すべてのマクロブロックに対する処理を完了したら ( 8 0 7にて Y e sの時） 、 8 0 8にて、 それぞれの処理に対応する実行回数を示す変数を読み、 第 2図に示 すようなデータ列を生成し、 このデータ列と符号とを多重化し、 出力する。 以上 の 8 0 1から 8 0 8までの処理を、 入力画像が続くかぎり、 繰り返し実行する。 以上の構成により、 各処理の実行回数を送信することができる。
なお、 この第 2の実施の形態である送信方法は、 請求項 6 7に対応する。
次に、 第 3 5図は第 3の実施の形態である受信装置の構成を示すものである。 同図において、 3 0 7は第 1の実施の形態の送信装置の出力を入力するための 入力端子、 3 0 1は第 1の実施の形態の送信装置の出力をもとに可変長符号とデ 一タ列を逆多重化により取り出し出力する受信手段であって、 この時、 一枚分の デ一タを受信するのに要した時間を計測しておき、 これも出力するものとする。
3 0 3は可変長符号を入力とする動画像の復号化装置であって、 5つの構成要 素から成る。 3 0 3 1は可変長符号から D C T係数及び他の符号化情報を取り出 すための可変長復号化手段、 3 0 3 2は D C T係数に対して逆 D C T変換処理を 施す逆直交変換手段、 3 0 3 3は切替器であって、 マクロブロックごとに、 イン トラ インタどちらで符号化されているかの符号化情報に基づき、 出力を上下に 振りわける動作をする。 3 0 3 4は動き補償手段であって、 前回の復号画像と動 きの符号化情報とを用い、 動き補償画像を作成し、 この画像に逆直交変換手段 3 0 3 2の出力を加算して出力する。 3 0 3 5は実行時間計測手段であって、 復号 化装置 3 0 3に可変長符号が入力されてから画像の復号化及び出力を完了するま での実行時間を計測し、 これを出力する。
3 0 2は、 受信手段 3 0 1からのデータ列から各要素 （可変長複号化手段 3 0 3 1 , 逆直交変換手段 3 0 3 2， 切替器 3 0 3 3 , 動き補償手段 3 0 3 4 ) の実行 回数と、 実行時間計測手段 3 0 3 5から実行時間とを受け取り、 各要素の実行時 間を推定する推定手段である。
推定方法は、 例えば、 線型回帰を用いれば、 推定実行時間を目的変数 y、 各要 素の実行回数を説明変数 x—iとすれば良い。 この場合、 回帰パラメタ a— iは、 各要素の実行時間とみなせるであろう。 また、 線型回帰の場合、 過去のデータを 充分多く蓄積しておく必要があり、 メモリを沢山消費することになるが、 これを 嫌う場合には、 カルマンフィルタによる内部状態変数の推定を利用しても良い。 この場合、 観測値が実行時間、 各要素の実行時間を内部状態変数とし、 観測行列 Cが各要素の実行回数でステップごとに変化する場合、 と考えれば良い。 3 0 4 は、 フルペル動き補償の実行回数を減らし、 相当数だけハーフペル動き補償の実 行回数を増やすように、 各要素の実行回数を変更する回数削減手段である。 この 相当数の計算方法は、 以下の通りである。
まず、 推定手段 3 0 2から各要素の実行回数と推定実行時間とを受けとり、 実 行時間を予想する。 この時間が、 受信手段 3 0 1からのデータを受信するのに要 した時問を越える場合に、 越えなくなるまで、 フルペル動き補償の実行回数を增 やし、 ハーフペル動き補償の実行回数を減らす。 3 0 6は復号化画像の出力端子 である。
なお、 動き補償手段 3 0 3 4は、 符号化情報からハーフペル動き補償を行うよ う指示されている場合であるが、 ハーフペル動き補償の所定実行回数を越えてし まった場合には、 ハーフペルの動きを丸めて、 フルペルの動きとして、 フルペル 動き補償を実行する。
以上にて説明した第 1の実施の形態、 第 3の実施の形態によれば、 推定された 各要素の実行時間から複号化処理の実行時間を予測し、 これが一枚分のデータを 受信するのに要した時間 （指定時間） を越えるようであれば、 実行時間の長いハ ーフペルの動き補償を、 フルペルの動き補償で置き替える。 これによつて、 実行 時間が指定時間を越えないようにでき、 課題 (C 1) を解決することができる (請求項 68 , 請求項 74に対応） 。
また、 必須、 非必須処理の部分を、 2つのグループと見なしたものが請求項 6 6, 請求項 72に、 動画の部分を波形ギ一タと見なした場合が、 請求項 64， 請 求項 70に、 それぞれ対応する。
なお、 受信装置での I DCT計算において、 高周波成分を使用しないようにす ることで、 IDCT計算の処理時間を減らすことができる。 つまり、 I DCT計 算のうち、 低周波成分の計算を必須処理、 高周波成分の計算を非必須処理とみな して、 I DCT計算の高周波成分の計算回数を削減するようにしても良い。
次に、 第 41図は、 第 4の実施の形態である受信方法のフローチャートである。 本実施の形態における動作が第 3の実施の形態と似ているので、 対応する要素 を付記しておく。 ステップ 901にて各要素の実行時間を表現する変数 a— iを 初期化する （推定手段 302) 。 902にて多重化データの入力と、 これに要す る時間の計測を行う （受信手段 301) 。 903にてこの多重化データを、 可変 長符号とデータ列とに分離し、 出力する （受信手段 301) 。 904にてデータ 列 （第 2図） 力 ^各実行回数を取り出し、 これらを x—iに設定する。 905に て、 各要素の実行時間 a一 i と各実行回数 x—iとから、 実際の実行回数を算出 する （回数削減手段 304) 。 906にて、 復号化処理の実行時間の計測を開始 し、 9 0 7にて後述する複号化処理ルーチンを起動し、 その後、 9 0 8にて復号 化処理の実行時間の計測を終了する （動画像の復号化装置 3 0 3， 実行時間計測 手段 3 0 3 5 ) 。 9 0 8では、 9 0 8での復号化処理の実行時間と 9 0 5での各 要素の実際の実行回数とから各要素の実行時間を推定し、 a— iを更新する （推 定手段 3 0 2 ) 。 以上の処理を入力される多重化データごとに実行する。
また、 復号化処理ル一チン 9 0 7では、 9 1 0にて可変長複号化を行い （可変 長複号化手段 3 0 3 1 ) 、 9 1 1にて逆直交変換を行い （逆直交変換手段 3 0 3 2 ) 、 9 1 2にて、 9 1 0での処理で取り出されたイントラ/インタの情報で分 岐する （切替器 3 0 3 3 ) 。 インタの場合は、 9 1 3にて動き補償を施す （動き ネ翁償手段 3 0 3 4 ) 。 この 9 1 3にて、 ハーフペル動き補償の実行回数を計数し ておき、 これが 9 0 5で求めた実際の実行回数を越えた場合には、 ハーフペル動 き補償をフルペル動き補償で置き替えて実行する。 以上の処理を、 すべてのマク ロブロックについて完了後 （ステップ 9 1 4 ) 、 このルーチンを終了する。 以上にて説明した第 2の実施の形態、 第 4の実施の形態によれば、 推定された 各要素の実行時間から複号化処理の実行時間を予測し、 これが一枚分のデータを 受信するのに要した時間 （指定時間） を越えるようであれば、 実行時間の長いハ ーフペルの動き補償を、 フルペルの動き補償で置き替える。 これによつて、 実行 時間が指定時間を越えないようにでき、 課題 （C 1 ) を解決することができる (請求項 6 7 , 請求項 7 3に対応） 。
また、 必須、 非必須処理の部分を、 2つのグループと見なしたものが請求項 6 5 , 請求項 7 1に、 動画の部分を波形データと見なした場合が、 請求項 6 3， 請 求項 6 9に、 それぞれ対応する。
次に、 第 3 6図は第 5の実施の形態である受信装置の構成を示すものである。 本実施の形態のほとんどの構成要素は、 第 2の実施の形態で説明したのと同じ であり、 2つの構成要素の追加と、 1つの構成要素の修正のみであるのでその点 を説明する。
4 0 2は第 2の実施の形態で説明した推定手段 3 0 2に推定の結果得た各要素 の実行時間を、 回数制限手段 3 0 4への出力とは別に、 出力するよう修正したも のである。 4 0 8は送信手段であって、 各要素の実行時間から第 3 7図に示すよ うなデータ列を生成し、 これを出力するものである。 実行時間は、 マイクロセコ ンドを単位として、 1 6 b i tで表現すれば最大で、 約 6 5ミリセコンドを表現 できるので、 充分であろう。 4 0 9はこのデータ列を送信手段に送るための出力 端子である。
また、 この第 5の実施の形態に対応する受信方法は、 第 3 7図に示すようなデ —タ列を生成するステップを第 4 0図の 8 0 8の直後に追加したもので良い。 次に、 第 3 8図は第 6の実施の形態である送信装置の構成を示すものである。 本実施の形態のほとんどの構成要素は、 第 1の実施の形態で説明したのと同じ であり、 2つの構成要素の追加のみであるのでその点を説明する。 6 0 6は第 3 の実施の形態の受信装置の出力するデータ列を受信するための入力端子、 6 0 7 はこのデータ列を受信し、 各要素の実行時間を出力する受信手段である。 6 0 8 は、 各要素の実行回数を求める決定手段であって、 その手順は以下の通りである。 まず、 画像中のすべてのマクロブロックについて、 切替器 1 0 2 1での処理を行 レ、、 この時点での切替器 1 0 2 1の実行回数を求める。 また、 このあとの、 動き 補償手段 1 0 2 2、 直交変換手段 1 0 2 3， 可変長符号化手段 1 0 2 4での実行 回数は、 この時点までの処理結果によって、 一意に決定できる。 そこで、 これら 実行回数と、 受信手段 6 0 7からの実行時問を用いて、 受信装置側での復号化に 要する実行時間を予測する。 この予測復号化時間は、 各要素の実行時間と実行回 数の積の、 要素ごとの総和として、 求まる。 そして、 予測復号化時間が、 レート コントローラなどが指定した今回の画像で発生すべき符号量 （例えば 1 6 k b i t s ) の伝送に要する時間 （例えば、 伝送速度が 6 4 k b i t Z s e cなら 2 5 O m s e c ) 以上であれば、 復号化時間が伝送に要する時間を越えないように、 フルペル動き補償の実行回数を増やし、 ハーフペル動き補償の実行回数を減らす。 (フルペル動き補償のほうが、 実行時間が短いので、 これの回数を減らすことで 実行時間を小さくすることができる。 ）
なお、 動画像の符号化装置 2 1 0 2は、 決定手段 6 0 8の指定した実行回数に 基づき、 各処理を行う。 例えば、 動き補償手 1 0 2 2は、 指定されたハーフペル の動き補償実行回数分だけ、 ハーフペル動き補償を実行完了すれば、 その後は、 フルペルの動き補償だけを実行するようになる。
また、 ハーフペルの動き補償が、 画像中に一様にちらばるように、 選択方法を 工夫しても良い。 たとえば、 まず、 ハーフペルの動き補償を必要とするマクロブ ロックをすベて求め、 この数 （例えば 1 2 ) をハーフペルの動き補償実行回数
(例えば 4 ) で割った商 （3 ) を求め、 ハーフペルの動き補償を必要とするマク ロブロックの始めからの順序が、 この商で割りきれるもの （0， 3， 6， 9 ) だ けにハーフペルの動き補償を施す、 という方法でも良い。
以上にて説明した第 5の実施の形態、 第 6の実施の形態によれば、 推定された 各要素の実行時問を送信側に伝送し、 送信側にて復号化処理の実行時間を予測し、 これが一枚分のデータを受信するのに要するであろう時間 （指定時間） を越えな いように実行時間の長いハーフペルの動き補償を、 フルペルの動き補償で置き替 える。 これによつて、 送られた符号化情報のうち、 ハーフペル動き補償の情報が 捨てられることなく、 実行時間が指定時間を越えないようにでき、 課題 （C2) を解決することができる （請求項 76， 請求項 78に対応） 。
なお、 非必須処理において、 インターマクロブロック符号化を普通の動き補償、 8 X 8動き補償、 オーバラップ動き補償の 3つに分割しても良い。
次に、 第 42図は、 第 7の実施の形態である送信方法のフローチャートである。 本実施の形態における動作が第 6の実施の形態と似ているので、 対応する要素 を付記しておく。 1001にて、 各処理の実行時間の初期値を設定する。 801 にて画像を入力し （入力端子 2101) 、 にて画像をマクロブロックに分割する。 1002にて、 すべてのマクロブロックについて、 イントラ Zインタどちらで符 号化するかを判定する （切替器 1021) 。 この結果、 1005から 806まで の各処理の実行回数がわかるので、 1003では、 この実行回数と、 各処理の実 行時間とから、 実際の実行回数を算出する （決定手段 608) 。
以降、 807の条件分岐により、 すべてのマクロブロックに対する処理を完了 するまで、 1005から 806までの処理を繰りかえす。
なお、 1005から 806までの処理の回数を、 特定の変数に記録できるよう に、 それぞれの処理を実行した場合には、 対応する変数を 1だけインクリメント する。 まず、 1005にて、 1002での判定結果に基き、 分岐する （切替器 1 021) 。 インタの場合は、 804にて動き補償を行う （動き補償手段 1022) 。 ここで、 ハーフベル動き補償の回数を計数しておき、 これが 1003で求めた実 際の実行回数を越えた場合には、 ハーフペル動き補償を実行せずかわりにフルべ ル動き補償を実行する。 その後、 805， 806にて、 DCT変換、 可変長符号 化を、 行う （直交変換手段 1023, 可変長符号化手段 1024) 。 すべてのマ クロブロックに対する処理を完了したら （807にて Ye sの時） 、 808にて、 それぞれの処理に対応する実行回数を示す変数を読み、 第 2図に示すようなデ一 タ列を生成し、 このデータ列と符号とを多重化し、 出力する。 1 0 0 4では、 デ 一タ列を受信し、 これから各処理の実行時間を取り出し、 設定する。
以上の 8 0 1から 1 0 0 4までの処理を、 入力画像が続くかぎり、 繰り返し実 行する。
以上にて説明した、 第 5の実施の形態の説明部分の最後の 「また」 で始まるパ ラグラフと、 第 7の実施の形態とによれば、 推定された各要素の実行時間を送信 側に伝送し、 送信側にて複号化処理の実行時間を予測し、 これが一枚分のデータ を受信するのに要するであろう時間 （指定時間） を越えないように実行時間の長 いハーフペルの動き補償を、 フルペルの動き補償で置き替える。 これによつて、 送られた符号化情報のうち、 ハーフペル動き補償の情報が捨てられることなく、 実行時間が指定時間を越えないようにでき、 課題 （C 2 ) を解決することができ る （請求項 7 5， 請求項 7 7に対応） 。
次に、 第 3 9図は第 8の実施の形態である送信装置の構成を示すものである。 本実施の形態のほとんどの構成要素は、 第 1の実施の形態で説明したのと同じ であり、 4つの構成要素の追加のみであるのでその点を説明する。
7 0 1 0は実行時間計測手段であって、 符号化装置 2 1 0 2に画像が入力され てから画像の符号化及び符号の出力を完了するまでの実行時問を計測し、 これを 出力する。 7 0 6は、 計数手段 2 1 0 3からのデータ列からの各要素 （切替器 1 0 2 1、 動き補償手段 1 0 2 2、 直交変換手段 1 0 2 3， 可変長復号化手段 1◦ 2 4 ) の実行回数と、 実行時間計測手段 7 0 1 0からの実行時間とを受け取り、 各要素の実行時問を推定する推定手段である。 推定方法は、 第 2の実施の形態の 推定手段 3 0 2で説明したものと同じで良い。 7 0 7はュ一ザからのフレームレ —ト値を入力するための入力端子、 7 0 8は、 各要素の実行回数を求める決定手 段であって、 その手順は以下の通りである。
まず、 画像中のすべてのマクロブロックについて、 切替器 1 0 2 1での処理を 行い、 この時点での切替器 1 0 2 1の実行回数を求める。 また、 このあとの、 動 き補償手段 1 0 2 2、 直交変換手段 1 0 2 3， 可変長符号化手段 1 0 2 4での実 行回数は、 この時点までの処理結果によって、 一意に決定できる。 つぎに、 この 実行回数と推定手段 7 0 6からの各要素の推定実行時間との積の、 要素ごとの総 和を求め予測符号化時間を算出する。 そして、 予測符号化時間が、 7 0 7からの フレームレートの逆数から求まる一枚の画像の符号化に使用可能な時間以上であ れば、 フルペル動き補償の実行回数を増やし、 ハーフペル動き補償の実行回数を 減らす。
この増減処理と予測符号化時間の算出とを、 予測符号化時間が使用可能な時間 以下になるまで、 繰り返すことで、 それぞれの実行回数を決定する。
なお、 動画像の符号化装置 2 1 0 2は、 決定手段 6 0 8の指定した実行回数に 基づき、 各処理を行う。 例えば、 動き補償手 1 0 2 2は、 指定されたハーフペル の動き補償実行回数分だけ、 ハーフペル動き補償を実行完了すれば、 その後は、 フルペルの動き補償だけを実行するようになる。
また、 ハーフペルの動き補償が、 画像中に一様にちらばるように、 選択方法を 工夫しても良い。 たとえば、 まず、 ハーフペルの動き補償を必要とするマクロブ ロックをすベて求め、 この数 （例えば 1 2 ) をハーフペルの動き補償実行回数
(例えば 4 ) で割った商 （3 ) を求め、 ハーフペルの動き補償を必要とするマク ロブロックの始めからの順序が、 この商で割りきれるもの （0， 3， 6 , 9 ) だ けにハーフペルの動き補償を施す、 という方法でも良い。 以上示した第 8の実施の形態によれば、 各処理の実行時間を推定し、 この推定 実行時間に基き、 符号化に要する実行時間を予め予測し、 この予測符号化時間が、 フレ一ムレー卜から決まる画像の符号化に使用可能な時問以下になるように、 実 行回数を決定することにより、 課題 ( C 3 ) を解決することができる （請求項 8 0に対応） 。
なお、 動き補償手段 1 0 2 2では、 動きべク トルを検出するために、 左右上下 1 5画素の範囲のベク トルのうち、 もっとも S AD (画素ごとに差の絶対値の和） を小さくするものを検出するフルサーチ動きべク トル検出方法存在するが、 これ 以外に、 3 s t e p動きベク トル検出方法というものもある （H. 2 6 1の a n n e X . に記述がある） 。 これは、 上記の探索範囲にて均等な配置関係の 9点を 選び、 これの S A D最小の点を選ぶ。 次に、 この点の近傍のせばめた範囲にて、 再度、 9点を選び、 S AD最小の点を選ぶ。 このような処理をもう一度実行する のが、 3 s t e p動きべク トル検出方法である。
これら 2つの方法を、 非必須処理方法とみなし、 実行時間をそれぞれ推定し、 推定実行時間にもとづき、 符号化に要する実行時間を予測し、 この予測実行時間 がユーザ指定時問以下になるように、 適宜、 フルサーチ動きべク トル検出方法の 実行回数を減らし、 かわりに 3 s t e p動きべク トル検出方法の実行回数を増や すようにしても良い。
さらに、 3 s t e p動きべク トル検出方法以外に、 もっと処理を簡略化した固 定探索回数による動きべク トル検出方法や、 （0， 0 ) 動きべク トルのみを結果 として返す動きべク トル検出方法を併用しても良い。
次に、 第 4 3図は、 第 9の実施の形態である送信方法のフローチャートである。 本実施の形態における動作が第 8の実施の形態と似ているので、 対応する要素 を付記しておく。 各フローでの詳しい動作は、 対応する要素の説明を参照のこと。 また、 第 2の実施の形態とほぼ同じであるので、 異なる点のみを説明する。
1 1 0 1にて各処理の実行時間の初期値を変数 a_iに設定する。 また、 1 1 0 2 にてフレームレートを入力する （入力端子 7 0 7 ) 。 1ュ 0 3は、 1 1 0 2での フレームレート、 各処理の実行時間 a— i、 1 0 0 2でのイントラ/インタ判定結果 から求まる各処理の実行回数、 とから実際の実行回数を決定する （決定手段 7 0 8 ) 。 1 1 0 5， 1 1 0 6は、 符号化処理の実行時間を計測するためのものであ る。 1 1 0 4は、 1 1 0 6での実行時間と各処理の実際の実行回数とから各処理 の実行時間を推定し、 変数 a_iを更新する （推定手段 7 0 6 ) 。
以上示した第 9の実施の形態によれば、 各処理の実行時間を推定し、 この推定 実行時間に基き、 符号化に要する実行時間を予め予測し、 この予測符号化時間が、 フレームレ一トから決まる画像の符号化に使用可能な時間以下になるように、 実 行回数を決定することにより、 課題 （C 3 ) を解決することができる （請求項 7 9に対応） 。
なお、 第 2の実施の形態において、 8 0 8でのデータ列生成時に、 第 2図に示 すスタートコードの直後に、 2バイ トの領域を追加し、 ここに、 符号の長さの二 進表現を追加しても良い。
さらに、 第 4の実施の形態において、 9 0 2での多重化データの入力時にこの 2バイ トの領域から符号の長さを抽出し、 この符号長さと、 符号の伝送速度とか ら求まる符号の伝送時間を、 9 0 5での実行回数計算に用いるようにしても良い (符号の伝送時間を越えないように、 ハーフペル動き補償の実行回数を減らす） 。 これは、 請求項 8 1 , 請求項 8 3に対応する。
なお、 第 1の実施の形態において、 2 1 0 4でのデータ列生成時に、 第 2図に 示すスタートコードの直後に、 2バイ トの領域を追加し、 ここに、 符号の長さの 二進表現を追加しても良い。
さらに、 第 3の実施の形態において、 3 0 1での多重化データの入力時にこの 2バイ トの領域から符号の長さを抽出し、 この符号長さと、 符号の伝送速度とか ら求まる符号の伝送時間を、 3 0 4での実行回数計算に用いるようにしても良い (符号の伝送時閒を越えないように、 ハーフペル動き補償の実行回数を減らす） 。 これは、 請求項 8 2， 請求項 8 4に対応する。
また、 第 4の実施の形態において、 9 0 9直後に、 ハーフペル動き補償の実際 の実行回数を記録し、 これの最大値を算出する。 そして、 この最大値が充分小さ な値 （例えば、 2とか 3 ) 以下の場合には、 ハーフペル動き補償を使用しないこ とを示すデータ列 （特定のビットパターンから成るデータ列） を生成し、 これを 送信しても良い。 さらに、 第 2の実施の形態において、 8 0 8直後にて、 このデ ータ列の受信有無を確認し、 ハーフペル動き補償を使用しないことを示すデータ 列を受信した場合には、 8 0 8にて動き捕償の処理を常にフルペル動き補償とす るようにしても良い。 これは、 請求項 9 3、 請求項 9 1に対応する。
さらに、 動き補償以外にも、 この考えを適用できる。 たとえば、 D C T計算で、 高周波成分を使用しないようにすることで、 D C T計算の処理時間を減らすこと ができる。 つまり、 受信方法にて、 I D C T計算の実行時間の全体の実行時間に 占める割合が一定値を越える場合には、 その旨を示すデータ列を送信側に伝送す る。 送信側では、 このデータ列を受信した場合には、 D C T計算において低周波 成分のみを計算し、 高周波成分はすべて 0にしても良い。 これは、 請求項 8 9に 対応する。
さらに、 ここでは、 画像を用いて実施の形態を説明したが、 画像以外の音声な どに、 上記の各方法を適用しても良い。 これは、 請求項 8 5， 請求項 8 7に対応 する。
また、 第 3の実施の形態において、 3 0 3 4にて、 ハーフペル動き補償の実際 の実行回数を記録し、 これの最大値を算出する。 そして、 この最大値が充分小さ な値 （例えば、 2とカゝ 3 ) 以下の場合には、 ハーフペル動き補償を使用しないこ とを示すデータ列 （特定のビットパターンから成るデータ列） を生成し、 これを 送信しても良い。 さらに、 第 1の実施の形態において、 ハーフペル動き補償を使 用しないことを示すデータ列を受信した場合には、 1 0 2 2での動き補償の処理 を常にフルペル動き補償とするようにしても良い。 これは、 請求項 9 4、 請求 ¾ 9 2に対応する。
さらに、 動き補償以外にも、 この考えを適用できる。 たとえば、 D C丁計算で、 高周波成分を使用しないようにすることで、 D C丁計算の処理時間を減らすこと ができる。 つまり、 受信方法にて、 I D C T計算の実行時間の全体の実行時間に 占める割合が一定値を越える場合には、 その旨を示すデータ列を送信側に伝送す る。
送信側では、 このデータ列を受信した場合には、 D C T計算において低周波成 分のみを計算し、 高周波成分はすべて 0にしても良い。 これは、 請求項 9 0に対 応する。
さらに、 ここでは、 画像を用いて実施の形態を説明したが、 画像以外の音声な どに、 上記の方法を適用しても良い。 これは、 請求項 8 6， 請求項 8 8に対応す る。
以上説明したところから明らかなように、 請求項 6 8， 請求項 7 4 (例えば第 1の実施の形態、 第 3の実施の形態） によれば、 推定された各要素の実行時間か ら復号化処理の実行時間を予測し、 これが一枚分のデータを受信するのに要した 時間 （指定時間） を越えるようであれば、 実行時間の長いハーフペルの動き補償 を、 フルペルの動き補償で置き替える。 これによつて、 実行時間が指定時間を越 えないようにでき、 課題 （C 1 ) を解決することができる。
また、 請求項 7 5 , 請求項 7 7 (例えば第 5の実施の形態、 第 7の実施の形態） によれば、 推定された各要素の実行時間を送信側に伝送し、 送信側にて復号化処 理の実行時間を予測し、 これが一枚分のデータを受信するのに要するであろう時 間 （指定時間） を越えないように実行時間の長いハーフペルの動き補償を、 フル ペルの動き補償で置き替える。 これによつて、 送られた符号化情報のうち、 ハ一 フペル動き補償の情報が捨てられることなく、 実行時間が指定時間を越えないよ うにでき、 課題 （C 2 ) を解決することができる。
また、 請求項 7 9 (例えば第 9の実施の形態） によれば、 各処理の実行時間を 推定し、 この推定実行時間に基き、 符号化に要する実行時間を予め予測し、 この 予測符号化時間が、 フレームレ一卜から決まる画像の符号化に使用可能な時間以 下になるように、 実行回数を決定することにより、 課題 （C 3 ) を解決すること ができる。
このように、 本発明により、 計算負荷が増大してもゆるやかに品質を落とす機 能 （C G D ： Computational Graceful Degradation)を実現出来、 実施に伴う利益 は非常に大である。
又、 以上述べてきた実施の形態の何れか一つに記載の各ステップ （又は、 各手 段） の全部又は一部のステップ （又は、 各手段の動作） をコンピュータに実行さ せるためのプログラムを記録した磁気記録媒体や、 光記録媒体などの記録媒体を 作成し、 その記録媒体を用いてコンピュータにより上記と同様の動作を行っても 良い。 産業上の利用可能性
以上説明したように、 本発明によれば、 例えば、 送信端末と受信端末で使用す るデータ管理情報、 伝送管理情報、 制御情報の各情報の枠組みを動的に決定する ことで、 状況に応じた情報の枠組みの変更が可能になり、 用途や伝送路に応じた 変更ができる。 又、 複数のビデオス トリームや複数のオーディオス ト リームの取 り极いや、 編集者の意図を反映させて、 重要なシーンカットを重点的にォ一ディ ォとともに同期再生をさせることが容易となる。 又、 推定された各要素の実行時 問から復号化処理の実行時間を予測し、 これが一枚分のデータを受信するのに要 した時間 （指定時間） を越えるようであれば、 実行時間の長いハーフペルの動き 補憤を、 フルペルの動き補償で置き替えることによって、 実行時間が指定時間を 越えないようにできる。

Claims

請 求 の 範 囲
【請求項 1】 伝送方法に関する及び Z又は伝送するデータの構造に関する內 容、 又はその内容を示す識別子を、 伝送フォーマット情報として、 前記伝送する データの伝送路と同一の伝送路、 又は、 前記伝送路とは別の伝送路を用いて伝送 する伝送手段を備え、
前記伝送されるデータは、 画像データ及び Z又は音声データであることを特徴 とする画像 ·音声送信装置。
【請求項 2】 前記伝送フォーマッ ト情報が、 前記データを管理するために前 記デ一タに付加されるデータ管理情報と、 前記データを伝送するためにデ一タに 付加される伝送管理情報と、 端末側の処理を制御するための情報の内、 少なくと も一つの情報に含まれていることを特徴とする請求項 1記載の画像 ·音声送信装 置。
【請求項 3】 前記データ管理情報、 前記伝送管理情報、 及び前記端末側の処 理を制御する.ための情報の內、 少なくとも一つが動的に変更されることを特徴と する請求項 2記載の画像 ·音声送信装置。
【請求項 4】 前記データは、 複数のパケッ トに分割されており、
前記データ管理情報、 又は前記伝送管理情報は、 それら分割された複数のパケ ッ卜の先頭のバケツ卜の他に、 途中のバケツトにも付加されていることを特徴と する請求項 3記載の画像，音声送信装置。
【請求項 5】 前記データに関する時間情報を、 そのデータの再生時刻を示す 情報として利用するか否かを示す識別子が、 前記伝送フォーマツ ト情報に含まれ ていることを特徴とする請求項 1記載の画像■音声送信装置。
【請求項 6】 前記伝送フォーマッ ト情報は、 前記データの構造情報であり、 伝送されてきた前記データの構造情報を受信した受信装置により出力される受 信可能である旨の信号が確認された後、 前記伝送手段が、 対応するデータを前記 受信装置に伝送することを特徴とする請求項 1記載の画像 ·音声送信装置。
【請求項 7】 前記伝送フォーマット情報は、 （1 ) 受信装置において時間的 に後の段階で使用されることになるプログラム又はデータを識別する識別子と、
( 2 ) 前記使用されることになる時点又は使用の有効期間を知るための情報とし て、 フラグ、 カウンタ、 又はタイマ一のうち少なくとも 1つとを含むものである ことを特徴とする請求項 1に記載の画像 ·音声送信装置。
【請求項 8】 前記使用されることになる時点は、 伝送管理情報として伝送の 順序関係を識別するための送信シリアル番号を用いることにより伝送される力 又は、 データとは別のパケットで伝送される、 端末側の処理を制御するための情 報として伝送されるものであることを特徴とする請求項 7記載の画像 ·音声送信
【請求項 9】 前記伝送方法に関する及び/又は伝送するデ一タの構造に関す る内容と、 その識別子とを複数種類格納する格納手段を備え、
前記識別子が、 前記データ管理情報、 前記伝送管理情報又は前記端末側の処理 を制御するための情報の内、 少なくとも一つの情報の中に前記伝送フォーマツ ト 情報として含まれていることを特徴とする請求項 2又は 3記載の画像 ·音声送信
【請求項 1 0】 前記伝送方法に関する及びノ又は伝送するデータの構造に関 する內容を複数種類格納する格納手段を備え、
前記内容が、 前記データ管理情報、 前記伝送管理情報又は前記端末側の処理を 制御するための情報の内、 少なくとも Dの情報の中に前記伝送フォーマツト情 報として含まれていることを特徴とする請求項 2又は 3記載の画像 ·音声送信装 置。
【請求項 1 1】 前記伝送方法に関する及び 又は伝送するデータの構造に関 する内容の変更を行う力否かを示すデフォルト識別子が付加されていることを特 徴とする請求項 1、 2又は 3に記載の画像 ·音声送信装置。
【請求項 1 2】 伝送される情報の予め決められた固定長の領域、 若しくは前 記予め決められた位置に前記識別子、 又は、 前記デフォルト識別子が付加される ことを特徴とする請求項 9、 1 0または 1 1記載の画像 ·音声送信装置。
【請求項 1 3】 請求項〗〜 ] 2の何れか一^ ^に記載の画像 .音声送信装置か ら送信されてくる前記伝送フォーマツト情報を受信する受信手段と、
前記受信した伝送フォーマット情報を解釈する伝送情報解釈手段と、
を備えたことを特徴とする画像 ·音声受信装置。
【請求項 1 4】 前記伝送方法に関する及びノ又は伝送するデータの構造に関 する内容と、 その識別子とを複数種類格納する格納手段を備え、
前記伝送フォーマツ ト情報を解釈する際に、 前記格納手段に格納されている内 容を利用することを特徴とする請求項 1 3記載の画像 ·音声受信装置。
【請求項 1 5】 データ及びノ又は制御情報を伝送するための複数の論理的な 伝送路の情報の多重化の開始 ·終了を制御する情報多重化手段を備え、
前記情報多重化手段により多重化された前記データ及びノ又は制御情報の他に、 前記情報多重化手段による上記多重化の開始 ·終了に関する制御内容を多重化制 御情報として送信するものであり、
前記データは、 画像データ及び Z又は音声データであることを特徴とする画像 •音声送信装置。 【請求項 1 6】 前記多重化制御情報を、 前記データ及び/又は制御情報より 前に多重化せずに配置し伝送するか、 又は、 前記多重化制御情報を、 前記データ 及びノ制御情報が伝送される伝送路とは別の伝送路により伝送するかを、 選択す ることが出来ることを特徴とする請求項 1 5記載の画像 ·音声送信装置。
【請求項 1 7】 請求項 1 5に記載の画像 ·音声送信装置から送信されてくる 前記多重化制御情報と、 前記多重化された前記データ及び Z又は制御情報とを受 信する受信手段と、
前記多重化制御情報に基づいて、 前記多重化された前記データ及び 又は制御 情報を分離する分離手段と、
を備えたことを特徴とする画像 ·音声受信装置。
【請求項 1 8】 番組を視聴するための主視聴手段と、
前記主視聴手段により視聴されている前記番組以外の番組の状況を周期的に検 出する副視聴手段とを備え、
前記主視聴手段により視聴される前記番組が他の番組に切り替えられた際に必 要となるプログラム及び 又はデータをスムーズに処理できる様に前記検出を行 うものであり、
前記データは、 画像データ及び 又は音声データであることを特徴とする画像 -音声受信装置。
【請求項 1 9】 前記データの処理の優先度を示す情報のオフセット値を伝送 することで、 優先度の値を状況に応じて変化させることができることを特徴とす る請求項 1記載の画像 ·音声送信装置。
【請求項 2 0】 過負荷状態の場合の処理の優先度に関する情報が予め付加さ れている、 符号化された情報を受信する受信手段と、 前記受信手段により受信される前記情報の内で処理すべきものか否かを選定す る基準となる閾値を決定する優先度決定手段とを備え、
前記受信した情報を出力すべき時期と処理開始からの経過時間とを、 又は、 前 記受信した情報を復号すべき時期と処理開始からの経過時間とを比較し、 その比 較結果に基づいて、 前記閾値を変化させるものであり、
前記符号化の対象として、 画像データ及び 又は音声データを含むことを特徴 とする画像，音声受信装置。
【請求項 2 1】 伝送途中で紛失されたために、 前記受信されなかった前記情 報の再送が必要な場合、 前記紛失されたものの中で再送要求すべきものか否かを 選定する基準となる閾値を決定する再送要求優先度決定手段を備え、
前記決定される閾値が、 前記優先度決定手段が管理する優先度、 再送回数、 情 報の損失率、 フレーム内符号化されたフレームの挿入間隔、 及び優先度の粒度の 内、 少なくとも一つに基づいて決定されるものであることを特徴とする請求項 2 0記載の画像 ·音声受信装置。
【請求項 2 2】 伝送途中で紛失されたために、 前記受信されなかった前記情 報の再送要求があった場合、 前記紛失されたものの中で再送すべきものか否かを 選定する基準となる閾値を決定する再送優先度決定手段を備え、
前記決定される閾値が、 請求項 2 0記載の画像 ·音声受信装置の前記優先度決 定手段が管理する優先度、 再送回数、 情報の損失率、 フレーム内符号化されたフ レームの挿入間隔、 及び優先度の粒度の内、 少なくとも一つに基づいて決定され るものであることを特徴とする画像 ·音声送信装置。
【請求項 2 3】 （1 ) 画像または音声の情報の目標転送レートを実際の転送 レートの方が超える場合又は、 （2 ) 転送処理開始からの経過時間と、 符号化さ れた前記情報に付加されている、 復号化されるべき若しくは出力されるべき時期 とを比較した結果、 送信バッファへの符号化された情報の書き込みが遅れている と判定した場合、
前記符号化された情報に付加されている優先度を用レ、て、 前記情報の送信を間 引いて行うことを特徴とする画像 ·音声送信装置。
【請求項 2 4】 （1 ) 音声または動画像の時系列データと、 （2 ) 前記時系 列データ間の処理の優先度を示す時系列データ間優先度と、 （3 ) 前記時系列デ —タを区分し、 区分されたデータ間の処理優先度を示す複数の時系列デ一タ内優 先度とを含むデータ系列を入力とし、
前記時系列データが複数同時に存在する場合は、 前記時系列データ間優先度と 前記時系列データ内優先度とを併用して処理を行うことを特徴とするデータ処理 方法。
【請求項 2 5】 （1 ) 音声または動画像の時系列データと、 （2 ) 前記時系 列データ間の処理の優先度を示す時系列データ間優先度と、 （3 ) 前記時系列デ ータを区分し、 区分されたデータ間の処理優先度を示す複数の時系列データ内優 先度とを含むデータ系列を受け付ける受付手段と、
前記時系列データが複数同時に存在する場合は、 前記時系列デ一タ間優先度と 前記時系列データ内優先度とを併用して処理を行うデータ処理手段と、 を備えたことを特徴とするデータ処理装置。
【請求項 2 6】 （1 ) 音声または動画像などの時系列データと、 （2 ) 前記 時系列データ間の処理の優先度を示す時系列データ間優先度と、 （3 ) 前記時系 列データを区分し、 区分されたデ一タ間の処理優先度を示す複数の時系列データ 内優先度とを含むデ一タ系列を入力とし、 前記時系列データ間優先度により、 前記各時系列データに対する処理能力を配 分し、 さらに前記各時系列データについて、 配分された処理能力内に収まるよう に、 前記時系列データ内優先度に基づいて、 適応的に前記時系列データ內の区分 されたデ一タの処理品質を劣化させることを特徴とするデータ処理方法。
【請求項 2 7】 （1 ) 音声または動画像などの時系列データと、 （2 ) 前記 時系列データ間の処理の優先度を示す時系列データ問優先度と、 （3 ) 前記時系 列データを区分し、 区分されたデ一タ間の処理優先度を示す複数の時系列デ一タ 内優先度とを含むデータ系列を受け付ける受付手段と、
前記時系列データ間優先度により、 前記各時系列データに対する処理能力を配 分し、 さらに前記各時系列データについて、 配分された処理能力内に収まるよう に、 前記時系列データ内優先度に基づいて、 適応的に前記時系列データ内の区分 されたデータの処理品質を劣化させるデータ処理手段と、
を備えたことを特徴とするデータ処理装置。
【請求項 2 8】 動画像に対する時系列データ内優先度が、 動画像のフレーム 単位で付加されており、 前記フレーム単位の動画像が複数個のバケツ卜に分割さ れる場合、
単独の情報としてアクセス可能な前記動画像のフレームの先頭部分を伝送する バケツトのヘッダ部のみに前記時系列データ内優先度を付加することを特徴とす るデータ処理方法。
【請求項 2 9】 動画像に対する時系列データ内優先度が、 動画像のフレーム 単位で付加されており、 前記フレーム単位の動画像が複数個のパケットに分割さ れる場合、
単独の情報としてアクセス可能な前記動画像のフレームの先頭部分を伝送する パケットのへッダ部のみに前記時系列データ内優先度を付加することを特徴とす るデータ処理装置。
【請求項 3 0】 前記時系列データ内優先度はバケツトのヘッダ内に記述し、 優先度処理を行うことを特徴とする請求項 2 4、 2 6、 又は 2 8のいずれかに記 載のデータ処理方法。
【請求項 3 1】 前記時系列データ内優先度はバケツトのヘッダ内に記述し、 優先度処理を行うことを特徴とする請求項 2 5、 2 7、 又は 2 9のいずれかに記 載のデータ処理装置。
【請求項 3 2】 前記時系列データ内優先度が表現できる値の範囲を可変にし、 優先度処理を行うことを特徴とする請求項 2 4、 2 6、 又は 2 8のいずれかに記 載のデータ処理方法。
【請求項 3 3】 前記時系列データ内優先度が表現できる値の範囲を可変にし、 優先度処理を行うことを特徴とする請求項 2 5、 2 7、 又は 2 9のいずれかに記 載のデータ処理装置。
【請求項 3 4】 音声または動画像などの時系列データと、 前記時系列データ 間の処理の優先度を示す時系列データ問優先度とを含むデータ系列を入力とし、 前記時系列データ間優先度を相対的な優先度の値又は、 絶対的な優先度の値と して優先処理を行うことを特徴とするデータ処理方法。
【請求項 3 5】 音声または動画像などの時系列データと、 前記時系列データ 間の処理の優先度を示す時系列データ問優先度とを含むデータ系列を入力とし、 前記時系列データ間優先度を相対的な優先度の値又は、 絶対的な優先度の値と して優先処理を行うことを特徴とするデータ処理装置。
【請求項 3 6】 音声または動画像などの時系列データを区分し、 前記時系列データと、 前記区分されたデータ間の処理優先度を示す複数の時系 列データ內優先度とを含むデータ系列を入力とし、
前記時系列データ内優先度を相対的な優先度の値又は、 絶対的な優先度の値と して優先処理を行うことを特徴とするデータ処理方法。
【請求項 3 7】 音声または動画像などの時系列データを区分し、
前記時系列データと、 前記区分されたデータ間の処理優先度を示す複数の時系 列データ内優先度とを含むデータ系列を入力とし、
前記時系列データ内優先度を相対的な優先度の値又は、 絶対的な優先度の値と して優先処理を行うことを特徴とするデータ処理装置。
【請求項 3 8】 音声または動画像などの時系列データを区分し、
前記区分されたデ一タを符号化し、
絶対的な優先度の値である時系列データ内優先度を、 前記符号化された情報内 に記述した、 且つ、 相対的な優先度の値である時系列データ内優先度を、 前記符 号化された情報から構成されるパケットのヘッダ部に記述したデータ系列を入力 とし、
優先度処理を行うことを特徴とするデータ処理方法。
【請求項 3 9】 音声または動画像などの時系列データを区分し、
前記区分されたデータを符号化し、
絶対的な優先度の値である時系列デ一タ内優先度を、 前記符号化された情報内 に記述した、 且つ、 相対的な優先度の値である時系列データ内優先度を、 前記符 号化された情報から構成されるパケットのへッダ部に記述したデータ系列を入力 とし、
優先度処理を行うことを特徴とするデータ処理装置。 【請求項 4 0】 音声または動画像などの時系列データと、 時系列データ間の 処理の優先度を示す時系列デ一タ間優先度とを含むデータ系列を入力とし、
1つ以上の前記時系列データ間優先度を T C P Z I Pの論理チャンネルと対;^ 付けて優先度処理を行うことを特徴とするデータ処理方法。
【請求項 4 1】 音声または動画像などの時系列データと、 時系列データ間の 処理の優先度を示す時系列データ間優先度とを含むデータ系列を入力とし、
1つ以上の前記時系列データ間優先度を T C P I Pの論理チャンネルと対応 付けて優先度処理を行うことを特徴とするデータ処理装置。
【請求項 4 2】 （1 ) 前記時系列データ間優先度を蓄積して使用する際には 相対的な優先度の値として、 又、 （2 ) 前記時系列データ間優先度を伝送する際 には絶対的な優先度の値として、 前記優先度処理を行うことを特徴とする請求項 3 4または 3 6記載のデ一タ処理方法。
【請求項 4 3】 （ 1 ) 前記時系列データ間優先度を蓄積して使用する際には、 その時系列データ間優先度を相対的な優先度の値として表現し、 又、 （2 ) 前記 時系列データ間優先度を伝送する際には、 その時系列データ間優先度を絶対的な 優先度の値として表現し、 前記優先度処理を行うこと特徴とする請求項 3 5また は 3 7記載のデータ処理装置。
【請求項 4 4】 前記優先度の値を相対的な値として表現するか、 又は、 絶対 的な値として表現するかを識別子により区別することを特徴とする請求項 3 4ま たは 3 6記載のデータ処理方法。
【請求項 4 5】 前記優先度の値を相対的な値として表現する力 又は、 絶対 的な値として表現するかを識別子により区別することを特徴とする請求項 3 5ま たは 3 7記載のデータ処理装置。 【請求項 4 6】 1つの時系列データが、 複数のサブ時系列データを含む場合、 前記サブ時系列データ間の関係記述を行うことにより、 前記サブ時系列データの 処理方法の定義を行い、 優先度処理を行うことを特徴とするデータ処理方法。
【請求項 4 7】 1つの時系列データが、 複数のサブ時系列デ一タを含む場合、 前記サブ時系列データ間の関係記述を行うことにより、 前記サブ時系列データの 処理方法の定義を行い、 優先度処理を行うことを特徴とするデータ処理装置。
【請求項 4 8】 前記時系列データ間優先度、 又は前記時系列データ内優先度、 又は前記時系列データ間の関係記述の内、 何れか一つに基づき、 バケツ トの構成 方法を決定することを特徴とする請求項 3 4、 3 6、 又は 4 6の何れか一つに記 載のデータ処理方法。
【請求項 4 9】 前記時系列データ間優先度、 又は前記時系列データ内優先度、 又は前記時系列データ間の関係記述の内、 何れか一つに基づき、 パケットの構成 方法を決定することを特徴とする請求項 3 5、 3 7、 又は 4 7の何れか一^ Dに記 載のデータ処理装置。
【請求項 5 0】 動画像のスライス構造をバケツ卜の構造に対応付けることで、 再同期するためのリシンクマーカーを不要にすることを特徴とするデータ処理方 法。
【請求項 5 1】 動画像のスライス構造をバケツトの構造に対応付けることで、 再同期するためのリシンクマ一カーを不要にすることを特徴とするデータ処理装 置。
【請求項 5 2】 音声または動画像の時系列データをバケツトへ対応づける方 法を、 制御情報又は前記時系列データとともに伝送することにより、 前記パケッ トへの前記時系列デ一タの前記対応付けを定義することを特徴とするデータ処理 装置。
【請求項 5 3】 前記時系列データ内優先度又は、 前記時系列データ問優先度 の高い情報を含むバケツ卜に対しては、 高いエラ一プロテクションを施すことを 特徴とする請求項 4 8記載のデータ処理方法。
【請求項 5 4】 前記時系列データ内優先度又は、 前記時系列データ間優先度 の高い情報を含むバケツ卜に対しては、 高いエラープロテクションを施すことを 特徴とする請求項 4 9記載のデータ処理装置。
【請求項 5 5】 バケツ卜に付加される優先度をバケツト優先度とし、 少なくとも前記時系列データ內優先度又は、 前記時系列データ問優先度のいず れかの値を前記バケツト優先度に対応させて、 前記優先度処理を行うことを特徴 とする請求項 3 4または 3 6記載のデータ処理方法。
【請求項 5 6】 バケツトに付加される優先度をバケツト優先度とし、 少なくとも前記時系列データ内優先度又は、 前記時系列データ間優先度のいず れかの値を前記バケツト優先度に対応させて、 前記優先度処理を行うことを特徴 とする請求項 3 5または 3 7記載のデータ処理装置。
【請求項 5 7】 前記時系列データに対しては、 前記時系列データ内優先度又 は前記時系列データ間優先度の値として、 文字又は制御情報よりも低い値を割り 当てて、 前記優先度処理を行うことを特徴とする請求項 3 4または 3 6記載のデ —タ処理方法。
【請求項 5 8】 前記時系列データに対しては、 前記時系列データ内優先度又 は前記時系列データ間優先度の値として、 文字又は制御情報よりも低い値を割り 当てて、 前記優先度処理を行うことを特徴とする請求項 3 5または 3 7記載のデ ータ処理装置。 【請求項 5 9】 区分された時系列データと、 その優先度情報とを対にして逐 次入力とし、
( 1 ) 前記区分された時系列データの情報が損なわれた場合は、 その損なわれ たデータの再送を要求するために再送要求処理を行い、 又、 （2 ) 前記区分され た時系列データが連続的に、 又は高頻度で失われた場合は、 優先度の高いデータ についてのみ前記再送要求処理を行うことを特徴とするデータ処理方法。
【請求項 6 0】 区分された時系列データと、 その優先度情報とを対にして逐 次入力とし、
( 1 ) 前記区分された時系列データの情報が損なわれた場合は、 その損なわれ たデータの再送を要求するために再送要求処理を行い、 又、 （2 ) 前記区分され た時系列データが連続的に、 又は高頻度で失われた場合は、 優先度の高いデータ についてのみ前記再送要求処理を行うことを特徴とするデータ処理装置。
【請求項 6 1】 区分された時系列データと、 その優先度情報とを対にして逐 次出力とし、
前記区分された時系列データの伝送量に応じて、 前記優先度の高いデ一タを優 先して伝送することを特徴とするデータ処理方法。
【請求項 6 2】 区分された時系列データと、 その優先度情報とを対にして逐 次出力とし、
前記区分された時系列データの伝送量に応じて、 前記優先度の高レ、データを優 先して伝送することを特徴とするデータ処理装置。
【請求項 6 3】 （a ) 波形データの復号化処理を構成する複数の復号化処 理単位を品質維持のための重要度に応じて複数のグループに分け、 各グノ I ^一プに 属する復号化処理単位に対応する符号化処理単位について実行回数を計数し、 ( b ) 所定期問の波形データの符号化完了時点で、 前記計数結果を受け取 りデータ列に変換し、
( C ) 波形データの符号化結果である符号と前記データ列とを出力し、 受 信装置に、 複数のグループ毎に各処理単位の各実行回数を伝達することを特徴と する波形データの送信方法。
【請求項 6 4】 （a ) 波形データの複号化処理を構成する複数の複号化処 理単位を品質維持のための重要度に応じて複数のグループに分け、 各グループに 属する 復号化処理単位に対応する符号化処理単位について実行回数を計数する 計数手段と、
( b ) 所定期間の波形データの符号化完了時点で、 前記計数手段の計数結 果を受け取りデータ列に変換する変換手段と、
( c ) 波形データの符号化結果である符号と前記データ列とを出力する送 信手段と、 を備え、 受信装置に、 複数のグループ毎に各処理単位の各実行回数を 伝達することを特徴とする波形データの送信装置。
【請求項 6 5】 波形データの複号化処理を構成する複数の複号化処理単位を 少なくとも一つ以上の必須処理と少なくとも つ以上の非必須処理 （この処理を 省いた場合、 波形劣化は生じるが波形の復号は可能な処理） に分け、 前記必須処 理と前記非必須処理のそれぞれについて、 その実行回数を計数し、 前記受信装置 に、 前記必須処理と前記非必須処理との各処理単位の各実行回数を伝達すること を特徴とする請求項 6 3記載の波形データの送信方法。
【請求項 6 6】 波形データの複号化処理を構成する複数の複号化処理単位を 少なくとも一^ D以上の必須処理と少なくとも一つ以上の非必須処理 （この処理を 省いた場合、 波形劣化は生じるが波形の復号は可能な処理） に分け、 前記必須処 理と前記非必須処理のそれぞれについて、 その実行回数を計数する計数手段を備 え、 前記受信装置に、 前記必須処理と前記非必須処理との各処理単位の各実行回 数が伝達されることを特徴とする請求項 6 4記載の波形データの送信装置。
【請求項 6 7】 前記波形データとして動画像を入力することを特徴とする請 求項 6 3記載の動画像の波形データの送信方法。
【請求項 6 8】 前記波形データとして動画像を入力することを特徴とする請 求項 6 4記載の動画像の波形データの送信装置。
【請求項 6 9】 （a ) 波形データの符号と前記符号から復号化される波形 データの品質維持のための重要度に応じて グループ分けされた 復号化処理の 各処理単位の実行回数とを含むデータ列を受信し、 前記符号と前記実行回数とを 出力し、
( b ) 前記符号を複号化し波形を得るまでの処理時間と前記データ列から得 た前記各実行回数とを基に、 各グル一プごとの各実行時間を推定し、
( c ) 前記実行回数と前記実行時間を用レ、て波形の複号化に要する処理時間 を予測し、 前記処理時間が、 前記符号の受信に要した時間または受信開始から次 の符号の受信開始までの時間 （これを指定時間と呼ぶ） を越えない 各グループ の各実行回数の削減数を、 前記受信手段の出力する各実行回数と前記推定手段の 出力する各実行時問とから算出し、 推定した各実行時間に基き、 復号化に要する 時間を予測し、 前記指定時間内に復号化処理を終えるように 各グループの各実 行回数を減らすことを特徴とする波形データの受信方法。
【請求項 7 0】 （a ) 波形データの符号と前記符号から複号化される波形 データの品質維持のための重要度に応じて グループ分けされた 復号化処理の 各処理単位の実行回数とを含むデータ列を受信し、 前記符号と 前記実行回数と を出力する受信手段と、
( b ) 前記符号を復号化し波形を得るまでの処理時問と前記データ列から得 た前記各実行回数とを基に、 各グループごとの各実行時問を推定する 推定手段 と、
( C ) 前記実行回数と前記実行時間を用いて波形の複号化に要する処理時間 を予測し、 前記処理時間が、 前記符号の受信に要した時間または受信開始から次 の符号の受信開始までの時間 （これを指定時間と呼ぶ） を越えないような各ダル 一プの各実行回数の削減数を、 前記受信手段の出力する各実行回数と前記推定手 段の出力する各実行時間とから算出する回数削減手段と、 を備え、 推定した各実 行時間に基き、 複号化に要する時間を予測し、 前記指定時間内に復号化処理を終 えるように 各グループの各実行回数を減らすことを特徴とする波形データの受
【請求項 7 1】 （a ) 波形データの符号と復号化の必須処理と非必須処理 の各実行回数とを含むデータ列を受信し、 前記符号と前記実行回数とを出力し、
( b ) 前記符号を複号化し波形を得るまでの処理時間と前記データ列から得 た前記各実行回数とを基に、 前記必須処理と前記非必須処理の各実行時間を推定 し、
( c ) 前記実行回数と前記実行時間を用いて波形の復号化に要する処理時間 を予測し、 前記処理時間が、 前記符号の受信に要した時間または受信開始から次 の符号の受信開始までの時間 （これを指定時間と呼ぶ） を越えないような 前記 非必須処理の各実行回数の削減数を、 前記受信手段の出力する各実行回数と前記 推定手段の出力する各実行時問とから算出し、 推定した各実行時間に基き、 復号 化に要する時問を予測し、 前記指定時間内に複号化処理を終えるように前記非必 須処理の実行回数を減らすことを特徴とする波形データの受信方法。
【請求項 7 2】 （a ) 波形データの符号と復号化の必須処理と非必須処理 の各実行回数とを含むデ一タ列を受信し、 前記符号と前記実行回数とを出力する 受信手段と、
( b ) 前記符号を復号ィヒし波形を得るまでの処理時問と前記データ列から得 た前記各実行回数とを基に、 前記必須処理と前記非必須処理の各実行時間を推定 する推定手段と、
( c ) 前記実行回数と前記実行時間を用いて波形の復号化に要する処理時間 を予測し、 前記処理時間が、 前記符号の受信に要した時間または受信開始から次 の符号の受信開始までの時間 （これを指定時間と呼ぶ） を越えないような前記非 必須処理の各実行回数の削減数を、 前記受信手段の出力する各実行回数と前記推 定手段の出力する各実行時間とから算出する回数削減手段と、 を備え、
推定した各実行時間に基き、 復号化に要する時間を予測し、 前記指定時間内に 復号化処理を終えるように前記非必須処理の実行回数を減らすことを特徴とする 波形データの受信装置。
【請求項 7 3】 前記波形データとして動画像を出力することを特徴とする請 求項 6 9記載の動画像の波形データの受信方法。
【請求項 7 4】 前記波形データとして動画像を出力することを特徴とする請 求項 7 0の動画像の波形データの受信装置。
【請求項 7 5】 （d ) 推定により求めた各グループの各実行時間を出力する 請求項 6 9記載の動画像の波形データの受信方法。
【請求項 7 6】 （d ) 推定手段の求めた各グループの各実行時問を出力する ことを特徴とする請求項 7 0記載の動画像の波形データの受信装置。 【請求項 7 7】 （d ) 各グループの各実行時間を含むデータ列を入力し、 ( e ) レートコントローラなどの指示により決まる符号長を伝送するのに必 要な時間内に複号化を完了するための 各グループの各実行回数を、 前記受信手 段の各実行時間により算出することを特徴とする請求項 6 3記載の波形データの 送信方法。
【請求項 7 8】 （d ) 各グループの各実行時間から構成されるデータ列を 入力とする受信手段と、
( e ) レートコントローラなどの指示により決まる符号を伝送するのに必要 な時間内に複号化を完了するための 各グループの各実行回数を、 前記受信手段 の各実行時間により算出する決定手段と、 を備えたことを特徴とする請求項 6 4 記載の波形データの送信装置。
【請求項 7 9】 （d ) 動画像の符号化に要する処理時間と前記各実行回数 とを基に、 各グループの各実行時間を推定し、
( e ) 前記実行時間を用い動画像符号化に要する処理時間を予測し、 前記処 理時間が、 ユーザの指示として与えられるフレームレ一トにより決まる一枚の画 像を処理するのに利用可能な時間を越えない各グループの各実行回数を算出する ことを特徴とする請求項 6 7記載の動画像の波形データの送信方法。
【請求項 8 0】 （d ) 動画像の符号化に要する処理時間と計数手段の出力 する各実行回数とを基に、
各グループの各実行時間を推定する 推定手段と、
( e ) 前記実行時間を用い動画像符号化に要する処理時問を予測し、 前記処 理時間が、 ユーザの指示として与えられるフレームレー卜により決まる一枚の画 像を処理するのに利用可能な時間を越えない各グループの各実行回数を算出する 決定手段と、 を備えたことを特徴とする請求項 6 8記載の動画像の波形データの
【請求項 8 1】 所定期間の波形データに相当する符号の生成完了時点で、 前 記計数結果と前記符号の長さとを受け取りデータ列に変換することを特徴とする 請求項 6 3記載の動画像の波形データの送信方法。
【請求項 8 2】 所定期間の波形データに相当する符号の生成完了時点で、 前 記計数手段の計数結果と前記符号の長さとを受け取りデータ列に変換する変換手 段を備えたことを特徴とする請求項 6 3記載の動画像の波形データの送信装置。
【請求項 8 3】 所定期間の波形データに相当する符号と前記符号から複号化 される波形データの品質維持のための重要度に応じて グループ分けされた 復 号化処理の各処理単位の実行回数と符号の長さとを含むデータ列を受信し、 前記 符号、 実行回数、 符号の長さを出力し、 復号化に要する時間が、 前記符号の長さ と伝送速度から求まる符号の伝送時間を越えないように非必須処理の実行回数を 減らすことを特徴とする請求項 6 9記載の波形データの受信方法。
【請求項 8 4】 所定期間の波形データに相当する符号と前記符号から復号化 される波形データの品質維持のための重要度に応じて グループ分けされた 復 号化処理の各処理単位の実行回数と符号の長さとを含むデータ列を受信し、 前記 符号、 実行回数、 符号の長さを出力する受信手段を備え、 復号化に要する時間が、 前記符号の長さと伝送速度から求まる 符号の伝送時間を越えないように非必須 処理の実行回数を減らすことを特徴とする請求項 7 0記載の波形データの受信装 置。
【請求項 8 5】 波形データの符号を受信し、 波形を復号化し、 出力する波形 データの受信方法において、 ( a ) 波形の復号化に要する処理時間が、 前記符号の受信に要した時間また は受信開始から次の符号の受信開始までの時間 （これを指定時間と呼ぶ） を越え ないように、 復号化処理を構成する処理単位に対応する符号化処理単位ごとに、 今回の符号に含まれている符号化処理単位より実行時間の短い処理単位を選択す る指示を含むデータ列を構成し、
( b ) 前記データ列を 送信し、 前記指定時間内に復号化処理を完了する符 号を送信することを送信側に伝達することを特徴とする波形データの受信方法。
【請求項 8 6】 波形データの符号を受信し、 波形を複号化し、 出力する波形 データの受信装置において、
( a ) 波形の復号化に要する処理時間が、 前記符号の受信に要した時間また は受信開始から次の符号の受信開始までの時間 （これを指定時間と呼ぶ） を越え ないように、 復号化処理を構成する処理単位に対応する符号化処理単位ごとに、 今回の符号に含まれている符号化処理単位より実行時間の短い処理単位を選択す る指示を含むデータ列を構成する指示データ構成手段と、
( b ) 前記データ列を 送信する送信手段とを備え、
前記指定時間内に 複号化処理を完了する符号を送信することを送信側に伝達 することを特徴とする波形データの受信装置。
【請求項 8 7】 波形を符号化し、 前記符号を出力する波形データの送信方法 において、
( a ) 符号化処理を構成する処理単位ごとの、 選択すべき処理単位の指示を 含むデータ列を受信し、
( b ) 前記データ列から、 前記指示を抽出し、 前記指示に基き指定された処 理単位を用い、 波形の符号化を実行し、 符号を出力することを特徴とする波形デ ータの送信方法。
【請求項 8 8】 波形を符号化し、 前記符号を出力する 波形データの送信装 置において、
( a ) 符号化処理を構成する処理単位ごとの、 選択すべき処理単位の指示を 含むデータ列を受信する受信手段と、
( b ) 前記データ列から、 前記指示を抽出する抽出手段とを備え、
前記指示に基き指定された処理単位を用い、 波形の符号化を実行し、 符号を出 力することを特徴とする波形データの送信装置。
【請求項 8 9】 波形データの符号を受信し、 波形を復号化し、 出力する波形 データの受信方法において、
( a ) 波形の複号化処理を構成する処理単位ごとに、 その実行回数を計数し、
( b ) 前記実行回数と、 波形の復号化に要した処理時間とから各処理単位ご との実行時間を推定し、
( c ) 波形の複号化に要する処理時間が、 前記符号の受信に要した時間また は受信開始から次の符号の受信開始までの時間 （これを指定時間と呼ぶ） を越え ないように、 復号化処理を構成する処理単位に対応する符号化処理単位ごとに、 今回の符号に含まれている符号化処理単位より実行時間の短い処理単位を選択す る指示を含むデータ列を構成し、
( d ) 前記データ列を送信し、
前記指定時間内に 復号化処理を完了する符号を送信することを送信方法に伝 達することを特徴とする波形データの受信方法。
【請求項 9 0】 波形データの符号を受信し、 波形を複号化し、 出力する波形 データの受信装置において、 ( a ) 波形の復号化処理を構成する処理単位ごとに、 その実行回数を計数す る計数手段と、
( b ) 前記実行回数と、 波形の複号化に要した処理時間とから各処理単位ご との実^^時間を推定する推定手段と、
( c ) 波形の復号化に要する処理時間が、 前記符号の受信に要した時問また は受信開始から次の符号の受信開始までの時間 （これを指定時間と呼ぶ） を越え ないように、 復号化処理を構成する処理単位に対応する符号化処理単位ごとに、 今回の符号に含まれている符号化処理単位より実行時間の短い処理単位を選択す る指示を含むデ一タ列を構成する 指示データ構成手段と、
( d ) 前記データ列を 送信する送信手段とを備え、
前記指定時間内に 復号化処理を完了する符号を送信することを送信側に伝達 することを特徴とする波形データの受信装置。
【請求項 9 1】 動画像の符号を受信し、 動画像を復号化し、 出力する動画像 の受信方法において、
( a ) 動画像の復号化に要する処理時間が、 前記符号の受信に要する時間ま たは受信開始から次の符 の受信開始までの時間 （これを指定時間と呼ぶ） を越 えないように、
動画像の符号化にて使用する動き補償方式を、 今回の符号に含まれている動き 補償処理より実行時間の短い動き補償処理で、 置き替える指示を含むデータ列を 構成し、
( b ) 前記データ列を送信し、
前記指定時間内に 複号化処理を完了する符号を送信することを送信側に伝達 することを特徴とする動画像の波形データの受信方法。 【請求項 9 2】 動画像の符号を受信し、 動画像を復号化し、 出力する動画像 の受信装置において、
( a ) 動画像の復号化に要する処理時間が、 前記符号の受信に要する時間ま たは受信開始から次の符号の受信開始までの時間 （これを指定時間と呼ぶ） を越 えないように、
動画像の符号化にて使用する動き補償方式を、 今回の符号に含まれている動き 補償処理より実行時間の短い動き補償処理で、 置き替える指示を含むデータ列を 構成する指示データ構成手段と、
( b ) 前記データ列を 送信する送信手段とを備え、
前記指定時間内に 復号化処理を完了する符号を送信することを送信側に伝達 することを特徴とする動画像の受信装置。
【請求項 9 3】 動画像を符号化し、 前記符号を出力する 動画像の送信方法 において、
( a ) 復号化処理を構成する動き補償処理の、 選択すべき処理の指示を含む データ列を受信し、
( b ) 前記データ列から、 前記指示を抽出し、
前記指示に基き指定された動き補償処理を用い、 動画像の符号化を実行し、 符 号を出力することを特徴とする動画像の送信方法。
【請求項 9 4】 動画像を符号化し、 前記符号を出力する 動画像の送信装置 において、
( a ) 復号化処理を構成する動き補償処理の、 選択すべき処理の指示 を含むデータ列を受信する受信手段と、
( b ) 前記データ列から、 前記指示を抽出する抽出手段とを備え、 前記指示に基き指定された動き補償処理を用い、 動画像の符号化を実行し、 符 号を出力することを特徴とする動画像の送信装置。
PCT/JP1998/001084 1997-03-17 1998-03-13 Method of processing, transmitting and receiving dynamic image data and apparatus therefor WO1998042132A1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP98907236A EP0905976A4 (en) 1997-03-17 1998-03-13 METHOD FOR PROCESSING, TRANSMITTING AND RECEIVING DATA OF DYNAMIC IMAGES AND RELATED DEVICE
US09/194,008 US6674477B1 (en) 1997-03-17 1998-03-13 Method and apparatus for processing a data series including processing priority data
US10/626,271 US7502070B2 (en) 1997-03-17 2003-07-24 Method and apparatus for processing a data series including processing priority data
US10/626,075 US7436454B2 (en) 1997-03-17 2003-07-24 Method and apparatus for transmitting encoded information based upon piority data in the encoded information
US11/742,810 US20070201563A1 (en) 1997-03-17 2007-05-01 Method and apparatus for processing a data series including processing priority data

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
JP9/62667 1997-03-17
JP6266797 1997-03-17
JP9064097 1997-04-09
JP9/90640 1997-04-09
JP17934297 1997-07-04
JP9/179342 1997-07-04
JP9/226027 1997-08-22
JP22602797 1997-08-22
JP22604597 1997-08-22
JP9/226045 1997-08-22
JP9/332101 1997-12-02
JP33210197 1997-12-02

Related Child Applications (5)

Application Number Title Priority Date Filing Date
US09194008 A-371-Of-International 1998-03-13
US09/194,008 A-371-Of-International US6674477B1 (en) 1997-03-17 1998-03-13 Method and apparatus for processing a data series including processing priority data
US10/626,271 Division US7502070B2 (en) 1997-03-17 2003-07-24 Method and apparatus for processing a data series including processing priority data
US10/626,060 Division US20040212729A1 (en) 1997-03-17 2003-07-24 Method and apparatus for processing a data series including processing priority data
US10/626,075 Division US7436454B2 (en) 1997-03-17 2003-07-24 Method and apparatus for transmitting encoded information based upon piority data in the encoded information

Publications (1)

Publication Number Publication Date
WO1998042132A1 true WO1998042132A1 (en) 1998-09-24

Family

ID=27550897

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1998/001084 WO1998042132A1 (en) 1997-03-17 1998-03-13 Method of processing, transmitting and receiving dynamic image data and apparatus therefor

Country Status (5)

Country Link
US (5) US6674477B1 (ja)
EP (4) EP1439704A3 (ja)
KR (2) KR100557103B1 (ja)
CN (3) CN100334880C (ja)
WO (1) WO1998042132A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1006689A2 (en) * 1998-11-30 2000-06-07 Matsushita Electric Industries Co., Ltd. Packet retransmission control using priority information
WO2005101832A1 (fr) * 2004-04-14 2005-10-27 Yan Feng Procede d'affichage dynamique d'image reçue sur un ecran de telephone
US7860366B2 (en) 2002-05-21 2010-12-28 Sony Corporation Information processing device and method, recording medium, and program
CN102883152A (zh) * 2011-07-14 2013-01-16 Nxp股份有限公司 具有适应性的媒体流传输

Families Citing this family (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100393007C (zh) * 1997-06-13 2008-06-04 皇家菲利浦电子有限公司 循环发送多个互相关目标的发射机及包括该发射机的通信系统
EP0986267A3 (de) * 1998-09-07 2003-11-19 Robert Bosch Gmbh Verfahren zur Einbindung von audiovisueller codierter Information in einen vorgegebenen Übertragungsstandard sowie Endgeräte hierzu
US20030001880A1 (en) * 2001-04-18 2003-01-02 Parkervision, Inc. Method, system, and computer program product for producing and distributing enhanced media
US9123380B2 (en) 1998-12-18 2015-09-01 Gvbb Holdings S.A.R.L. Systems, methods, and computer program products for automated real-time execution of live inserts of repurposed stored content distribution, and multiple aspect ratio automated simulcast production
US11109114B2 (en) * 2001-04-18 2021-08-31 Grass Valley Canada Advertisement management method, system, and computer program product
US6636481B1 (en) 1999-01-26 2003-10-21 Matsushita Electric Industrial Co., Ltd. Data connecting method, data connecting apparatus, program recording medium
US7869462B2 (en) * 1999-06-03 2011-01-11 Panasonic Corporation Broadcast system and method therefor
US7120167B1 (en) * 1999-06-03 2006-10-10 Matsushita Electric Industrial Co., Ltd. Broadcasting system and its method
JP3938824B2 (ja) * 1999-10-29 2007-06-27 松下電器産業株式会社 通信装置および通信方法
EP1361690B1 (en) 2000-03-02 2006-01-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for retransmitting data packets based on channel conditions
IT1319973B1 (it) * 2000-03-17 2003-11-12 Cselt Centro Studi Lab Telecom Procedimento e sistema per temporizzare la trasmissione di flussiinformativi, ad esempio flussi audiovisivi o multimediali, relativi
JP2001292164A (ja) * 2000-04-06 2001-10-19 Nec Corp パケット・スイッチおよびその切替方法
US6823324B2 (en) * 2000-04-21 2004-11-23 Matsushita Electric Industrial Co., Ltd. Data broadcast program producing apparatus, a computer program for producing data broadcast programs, and a computer-readable recording medium storing the computer program
US7191242B1 (en) 2000-06-22 2007-03-13 Apple, Inc. Methods and apparatuses for transferring data
US7111163B1 (en) 2000-07-10 2006-09-19 Alterwan, Inc. Wide area network using internet with quality of service
US7062557B1 (en) * 2000-07-10 2006-06-13 Hewlett-Packard Development Company, L.P. Web server request classification system that classifies requests based on user's behaviors and expectations
JP3590949B2 (ja) 2000-08-17 2004-11-17 松下電器産業株式会社 データ伝送装置およびデータ伝送方法
JP2002074853A (ja) * 2000-08-31 2002-03-15 Toshiba Corp 情報記録装置、情報記録方法、情報再生装置、情報再生方法、情報記録媒体、及び電子配信システム
WO2002030067A1 (fr) * 2000-10-05 2002-04-11 Mitsubishi Denki Kabushiki Kaisha Systeme de retransmission de paquets, dispositif de transmission de paquets, dispositif de reception de paquets, procede de retransmission de paquets, procede de transmission de paquets et procede de reception de paquets
JP2002141945A (ja) * 2000-11-06 2002-05-17 Sony Corp データ送信装置、およびデータ送信方法、並びにプログラム記憶媒体
WO2002071736A2 (en) * 2001-03-05 2002-09-12 Intervideo, Inc. Systems and methods of error resilience in a video decoder
US8107524B2 (en) * 2001-03-30 2012-01-31 Vixs Systems, Inc. Adaptive bandwidth footprint matching for multiple compressed video streams in a fixed bandwidth network
US20070053428A1 (en) * 2001-03-30 2007-03-08 Vixs Systems, Inc. Managed degradation of a video stream
JP3516929B2 (ja) * 2001-04-11 2004-04-05 シャープ株式会社 送信装置、受信装置、およびこれらを備えた通信システム
US7958532B2 (en) * 2001-06-18 2011-06-07 At&T Intellectual Property Ii, L.P. Method of transmitting layered video-coded information
JP2003152544A (ja) * 2001-11-12 2003-05-23 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
GB2384932B (en) * 2002-01-30 2004-02-25 Motorola Inc Video conferencing system and method of operation
WO2003077561A1 (fr) * 2002-03-08 2003-09-18 France Telecom Procédé de transmission de flux de données dependants
US7404001B2 (en) * 2002-03-27 2008-07-22 Ericsson Ab Videophone and method for a video call
US20030233464A1 (en) * 2002-06-10 2003-12-18 Jonathan Walpole Priority progress streaming for quality-adaptive transmission of data
JP2004021996A (ja) 2002-06-12 2004-01-22 Sony Corp 記録装置、サーバ装置、記録方法、プログラム、記憶媒体
US7533398B2 (en) * 2002-07-26 2009-05-12 The Associated Press Automatic selection of encoding parameters for transmission of media objects
JP3971984B2 (ja) * 2002-10-15 2007-09-05 松下電器産業株式会社 通信装置および通信方法
FR2846179B1 (fr) 2002-10-21 2005-02-04 Medialive Embrouillage adaptatif et progressif de flux audio
AU2003291193A1 (en) * 2002-11-27 2004-06-23 Rgb Media, Inc. Apparatus and method for dynamic channel mapping and optimized scheduling of data packets
EP1432196A1 (en) * 2002-12-20 2004-06-23 Matsushita Electric Industrial Co., Ltd. Control traffic compression method in media data transmission
JP3888307B2 (ja) * 2003-01-15 2007-02-28 船井電機株式会社 光ディスク再生装置
FR2849980B1 (fr) * 2003-01-15 2005-04-08 Medialive Procede pour la distribution de sequences video, decodeur et systeme pour la mise en oeuvre de ce prodede
FR2853786B1 (fr) * 2003-04-11 2005-08-05 Medialive Procede et equipement de distribution de produits videos numeriques avec une restriction de certains au moins des droits de representation et de reproduction
KR100586101B1 (ko) * 2003-05-12 2006-06-07 엘지전자 주식회사 동영상 코딩 방법
US7885870B2 (en) * 2003-06-24 2011-02-08 Lg Uplus Corp. System for providing banking services by use of mobile communication
US8250622B2 (en) * 2003-10-30 2012-08-21 Panasonic Corporation Method and apparatus for broadcasting to a portable terminal
EP1684450A4 (en) * 2003-10-30 2009-04-29 Panasonic Corp DEVICE AND METHOD FOR RECEIVING BROADCAST WAVES IN WHICH MULTIPLEXES ARE MULTIPLE SERVICES
US7379608B2 (en) * 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
JP3891174B2 (ja) * 2003-12-08 2007-03-14 株式会社日立製作所 制御方法
US7599435B2 (en) * 2004-01-30 2009-10-06 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video frame encoding and decoding
US7675939B2 (en) * 2004-01-30 2010-03-09 Sony Corporation Transmission apparatus and method, reception apparatus and method, communication system, recording medium, and program
US7586924B2 (en) 2004-02-27 2009-09-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
CN100345164C (zh) 2004-05-14 2007-10-24 腾讯科技（深圳）有限公司 一种动态虚拟形象的合成方法
JP2006025281A (ja) * 2004-07-09 2006-01-26 Hitachi Ltd 情報源選択システム、および方法
US7937484B2 (en) 2004-07-09 2011-05-03 Orb Networks, Inc. System and method for remotely controlling network resources
US9077766B2 (en) 2004-07-09 2015-07-07 Qualcomm Incorporated System and method for combining memory resources for use on a personal network
US8787164B2 (en) 2004-07-09 2014-07-22 Qualcomm Incorporated Media delivery system and method for transporting media to desired target devices
US8195744B2 (en) 2004-07-09 2012-06-05 Orb Networks, Inc. File sharing system for use with a network
US8738693B2 (en) 2004-07-09 2014-05-27 Qualcomm Incorporated System and method for managing distribution of media files
US8819140B2 (en) 2004-07-09 2014-08-26 Qualcomm Incorporated System and method for enabling the establishment and use of a personal network
US7620068B2 (en) * 2004-11-08 2009-11-17 Harris Corporation Adaptive bandwidth utilization for telemetered data
JP2008526077A (ja) * 2004-12-22 2008-07-17 エヌエックスピー ビー ヴィ ビデオストリーム変更装置
US7706262B2 (en) * 2005-09-30 2010-04-27 Alcatel-Lucent Usa Inc. Identifying data and/or control packets in wireless communication
JP3928807B2 (ja) * 2005-01-14 2007-06-13 船井電機株式会社 光ディスク再生装置
WO2006075302A1 (en) * 2005-01-17 2006-07-20 Koninklijke Philips Electronics N.V. System, transmitter, receiver, method and software for transmitting and receiving ordered sets of video frames
DE102005012668B4 (de) * 2005-03-17 2012-02-16 Bernhard Blöchl Rahmenfehlererkennungs- und -korrekturverfahren für digitales Video
JP5105458B2 (ja) * 2005-10-04 2012-12-26 任天堂株式会社 ゲームシステムおよびゲームプログラム
JP4479650B2 (ja) * 2005-11-29 2010-06-09 ソニー株式会社 コミュニケーションシステム、端末装置及びコンピュータプログラム
GB2432985A (en) * 2005-12-05 2007-06-06 Univ Robert Gordon Encoder control system based on a target encoding value
US7852853B1 (en) * 2006-02-07 2010-12-14 Nextel Communications Inc. System and method for transmitting video information
US20080019398A1 (en) * 2006-07-20 2008-01-24 Adimos Systems Ltd. Clock recovery in wireless media streaming
JP4707623B2 (ja) * 2006-07-21 2011-06-22 富士通東芝モバイルコミュニケーションズ株式会社 情報処理装置
WO2008026896A1 (en) * 2006-08-31 2008-03-06 Samsung Electronics Co., Ltd. Video encoding apparatus and method and video decoding apparatus and method
US8973072B2 (en) 2006-10-19 2015-03-03 Qualcomm Connected Experiences, Inc. System and method for programmatic link generation with media delivery
EP1936908A1 (en) * 2006-12-19 2008-06-25 Deutsche Thomson OHG Method, apparatus and data container for transferring high resolution audio/video data in a high speed IP network
EP2096439A4 (en) * 2006-12-21 2011-01-05 Ajinomoto Kk METHOD, APPARATUS, METHOD, SYSTEM AND SOFTWARE FOR EVALUATING COLORECTAL CANCER, AND RECORDING MEDIUM
CA2673208C (en) * 2007-01-15 2014-03-11 Research In Motion Limited Fragmenting large packets in the presence of high priority packets
US20080187291A1 (en) * 2007-02-05 2008-08-07 Microsoft Corporation Prioritization for video acquisition
US8176386B1 (en) 2007-04-10 2012-05-08 Marvell International Ltd. Systems and methods for processing streaming data
JP2009021837A (ja) * 2007-07-12 2009-01-29 Panasonic Corp 復号化システム
JP5051228B2 (ja) * 2007-07-30 2012-10-17 富士通株式会社 電子機器、情報処理システム、電子機器の障害通知方法、および障害通知プログラム
US9203445B2 (en) 2007-08-31 2015-12-01 Iheartmedia Management Services, Inc. Mitigating media station interruptions
US8260230B2 (en) * 2007-08-31 2012-09-04 Clear Channel Management Services, Inc. Radio receiver and method for receiving and playing signals from multiple broadcast channels
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
JP2009124510A (ja) * 2007-11-15 2009-06-04 Canon Inc 表示制御装置及びその方法、プログラム、記録媒体
JP5092897B2 (ja) * 2008-05-26 2012-12-05 富士通株式会社 データ移行処理プログラム、データ移行処理装置およびデータ移行処理方法
KR101066830B1 (ko) * 2008-08-20 2011-09-26 삼성전자주식회사 통화 송수신 방법 및 이를 이용하는 통화 장치
JP2010056964A (ja) * 2008-08-28 2010-03-11 Canon Inc 受信装置及びその制御方法、プログラム、記録媒体
JP2010103969A (ja) * 2008-09-25 2010-05-06 Renesas Technology Corp 画像復号方法、画像復号装置、画像符号化方法及び画像符号化装置
US9154942B2 (en) * 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
JP5004309B2 (ja) * 2009-02-18 2012-08-22 ソニーモバイルコミュニケーションズ， エービー 動画出力方法および動画出力装置
CN101510299B (zh) * 2009-03-04 2011-07-20 上海大学 基于视觉显著性的图像自适应方法
WO2010109918A1 (ja) * 2009-03-26 2010-09-30 パナソニック株式会社 復号化装置、符号化復号化装置および復号化方法
JP5332854B2 (ja) * 2009-04-20 2013-11-06 ソニー株式会社 無線送信機、無線送信方法、無線受信機および無線受信方法
JP5141633B2 (ja) * 2009-04-24 2013-02-13 ソニー株式会社 画像処理方法及びそれを用いた画像情報符号化装置
EP2434757B1 (en) * 2009-05-22 2016-11-23 MegaChips Corporation Video playback system and video playback method
US8837453B2 (en) * 2009-05-28 2014-09-16 Symbol Technologies, Inc. Methods and apparatus for transmitting data based on interframe dependencies
WO2011084304A1 (en) 2009-12-16 2011-07-14 Dow Global Technologies Llc Production of epoxy resins using improved ion exchange resin catalysts
WO2011099273A1 (ja) * 2010-02-15 2011-08-18 パナソニック株式会社 コンテンツ通信装置及びコンテンツ加工装置並びにコンテンツ通信システム
US20110255631A1 (en) * 2010-04-20 2011-10-20 Samsung Electronics Co., Ltd. Methods and apparatus for fast synchronization using tail biting convolutional codes
JP2011254442A (ja) 2010-05-06 2011-12-15 Ricoh Co Ltd 遠隔通信端末、遠隔通信方法、及び遠隔通信用プログラム
US8356109B2 (en) * 2010-05-13 2013-01-15 Canon Kabushiki Kaisha Network streaming of a video stream over multiple communication channels
US9538128B2 (en) * 2011-02-28 2017-01-03 Cisco Technology, Inc. System and method for managing video processing in a network environment
US8880978B2 (en) * 2011-04-01 2014-11-04 Cleversafe, Inc. Utilizing a local area network memory and a dispersed storage network memory to access data
JP5801614B2 (ja) * 2011-06-09 2015-10-28 キヤノン株式会社 画像処理装置、画像処理方法
JP5839848B2 (ja) 2011-06-13 2016-01-06 キヤノン株式会社 画像処理装置、画像処理方法
US9420307B2 (en) 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set
US20130094518A1 (en) * 2011-10-13 2013-04-18 Electronics And Telecommunications Research Institute Method for configuring and transmitting mmt payload
GB2496414A (en) * 2011-11-10 2013-05-15 Sony Corp Prioritising audio and/or video content for transmission over an IP network
PL3624447T3 (pl) * 2012-01-19 2021-11-22 Vid Scale, Inc. Sposób i urządzenie do sygnalizowania i tworzenia list obrazów referencyjnych kodowania wideo
US9848217B2 (en) * 2012-01-20 2017-12-19 Korea Electronics Technology Institute Method for transmitting and receiving program configuration information for scalable ultra high definition video service in hybrid transmission environment, and method and apparatus for effectively transmitting scalar layer information
US9979958B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
CN103379360B (zh) * 2012-04-23 2015-05-27 华为技术有限公司 一种视频质量评估方法和装置
JP5963540B2 (ja) * 2012-05-30 2016-08-03 キヤノン株式会社 情報処理装置、プログラム及び制御方法
KR20140002447A (ko) * 2012-06-29 2014-01-08 삼성전자주식회사 멀티미디어 시스템에서 적응적 미디어 구조 송수신 방법 및 장치
US9479776B2 (en) 2012-07-02 2016-10-25 Qualcomm Incorporated Signaling of long-term reference pictures for video coding
US9794143B1 (en) * 2012-09-14 2017-10-17 Arris Enterprises Llc Video delivery over IP packet networks
US9515941B2 (en) 2012-11-09 2016-12-06 Aruba Networks, Inc. Dynamic determination of transmission parameters based on packet priority and network conditions
US10341047B2 (en) 2013-10-31 2019-07-02 Hewlett Packard Enterprise Development Lp Method and system for controlling the forwarding of error correction data
US9571404B2 (en) * 2012-11-09 2017-02-14 Aruba Networks, Inc. Method and system for prioritizing network packets
CN103338103A (zh) * 2013-06-04 2013-10-02 中联重科股份有限公司 一种数据的加密方法、系统以及手持设备
JP6652320B2 (ja) * 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
US9722808B2 (en) 2014-01-22 2017-08-01 Ricoh Company, Limited Data transmission system, a terminal device, and a recording medium
JP6500890B2 (ja) * 2014-03-03 2019-04-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2016021365A1 (ja) * 2014-08-07 2016-02-11 ソニー株式会社 送信装置、送信方法および受信装置
US9774650B2 (en) * 2014-09-23 2017-09-26 Cisco Technology, Inc. Frame priority system
US9838571B2 (en) 2015-04-10 2017-12-05 Gvbb Holdings S.A.R.L. Precision timing for broadcast network
US10555033B2 (en) 2015-06-12 2020-02-04 Nec Corporation Relay device, terminal device, communication system, PDU relay method, PDU reception method, and program
WO2017164595A1 (ko) * 2016-03-21 2017-09-28 엘지전자(주) 방송 신호 송수신 장치 및 방법
US20180109469A1 (en) * 2016-10-17 2018-04-19 International Business Machines Corporation Systems and methods for controlling process priority for efficient resource allocation
FR3070566B1 (fr) * 2017-08-30 2020-09-04 Sagemcom Broadband Sas Procede de recuperation d'un fichier cible d'un logiciel d'exploitation et dispositif d'utilisation
US11606528B2 (en) * 2018-01-03 2023-03-14 Saturn Licensing Llc Advanced television systems committee (ATSC) 3.0 latency-free display of content attribute
NZ771914A (en) 2018-07-17 2023-04-28 Icu Medical Inc Updating infusion pump drug libraries and operational software in a networked environment
EP3824383B1 (en) * 2018-07-17 2023-10-11 ICU Medical, Inc. Systems and methods for facilitating clinical messaging in a network environment
CN109089067A (zh) * 2018-09-12 2018-12-25 深圳市沃特沃德股份有限公司 可视电话及其摄像方法、装置和计算机可读存储介质
EP4055742A1 (en) * 2019-11-07 2022-09-14 Telefonaktiebolaget LM Ericsson (publ) Method and device for determining transmission priority
GB2598701B (en) * 2020-05-25 2023-01-25 V Nova Int Ltd Wireless data communication system and method
CN112233606B (zh) * 2020-12-15 2021-06-01 武汉华星光电技术有限公司 显示装置、显示系统及分布式功能系统
CN113709510A (zh) * 2021-08-06 2021-11-26 联想(北京)有限公司 高速率数据实时传输方法及装置、设备、存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6373786A (ja) * 1986-09-16 1988-04-04 Nippon Telegr & Teleph Corp <Ntt> 階層化バ−スト通信方式
JPH0530138A (ja) * 1991-07-25 1993-02-05 Nippon Telegr & Teleph Corp <Ntt> マルチメデイア転送方式
JPH0564167A (ja) * 1991-08-28 1993-03-12 Hitachi Ltd テレビジヨン放送方式
JPH05137125A (ja) * 1991-11-13 1993-06-01 Victor Co Of Japan Ltd 文字多重放送受信装置
JPH05244435A (ja) * 1992-02-28 1993-09-21 Fujitsu Ltd 画像の階層符号化方法および画像符号化装置
JPH05327758A (ja) * 1992-05-25 1993-12-10 Fujitsu Ltd 画像符号化データのパケット化方式
JPH0670307A (ja) * 1992-08-17 1994-03-11 Nec Corp 動画像符号化復号化装置
JPH06276480A (ja) * 1993-03-18 1994-09-30 Nec Corp 画像圧縮装置及び画像再生装置
JPH06350649A (ja) * 1993-06-02 1994-12-22 Sony Corp ブロックデータの伝送方法及び同期方法
JPH07312756A (ja) * 1994-03-25 1995-11-28 Sanyo Electric Co Ltd 圧縮動画像符号信号の情報量変換回路、装置、及び方法
JPH08294123A (ja) * 1995-04-24 1996-11-05 Kokusai Electric Co Ltd 動画像データ伝送装置
JPH0998430A (ja) * 1995-10-02 1997-04-08 Fujitsu Ltd 動画像データ格納方式および動画像データ復号方式

Family Cites Families (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6036145B2 (ja) 1978-06-23 1985-08-19 株式会社東芝 信号伝送方式
US5659653A (en) * 1978-09-11 1997-08-19 Thomson Consumer Electronics, S.A. Method for programming a recording device and programming device
US4593194A (en) * 1983-10-05 1986-06-03 Quantum Corporation Optical encoder with digital gain compensation controlling source intensity
NL8402364A (nl) * 1984-07-27 1986-02-17 Philips Nv Werkwijze, station en systeem voor de overdracht van uit datapakketten bestaande berichten.
US4706121B1 (en) * 1985-07-12 1993-12-14 Insight Telecast, Inc. Tv schedule system and process
CA1256984A (en) * 1985-12-28 1989-07-04 Kunio Hakamada Television receiver
JPS62159582A (ja) * 1986-01-06 1987-07-15 Sony Corp テレビジヨン受像機
EP0255107B1 (en) * 1986-08-01 1994-04-20 Sanyo Electric Co., Ltd. Program mode setting apparatus
JP2545851B2 (ja) * 1987-04-16 1996-10-23 ソニー株式会社 Ｖｔｒ一体型のテレビ受像機
ES2110944T3 (es) * 1987-07-20 1998-03-01 Koninkl Philips Electronics Nv Sistema de transmision de television.
JPH01101718A (ja) * 1987-10-14 1989-04-19 Clarion Co Ltd 弾性表面波装置
JPH0286241A (ja) 1988-09-21 1990-03-27 Nippon Telegr & Teleph Corp <Ntt> 可変レート画像階層符号化伝送方式
US4918531A (en) * 1988-10-25 1990-04-17 Thomson Consumer Electronics, Inc. Commercial message timer
US4959719A (en) * 1988-12-21 1990-09-25 North American Philips Corporation Picture-in-picture television receiver control
JP2736092B2 (ja) * 1989-01-10 1998-04-02 株式会社東芝 バッファ装置
DE69032361T2 (de) * 1989-03-16 1998-10-29 Fujitsu Ltd Video/audiomultiplexübertragungssystem
US4903129A (en) * 1989-04-06 1990-02-20 Thomson Consumer Electronics, Inc. Audio signal section apparatus
US5047867A (en) * 1989-06-08 1991-09-10 North American Philips Corporation Interface for a TV-VCR system
US5038211A (en) * 1989-07-05 1991-08-06 The Superguide Corporation Method and apparatus for transmitting and receiving television program information
US5353121A (en) * 1989-10-30 1994-10-04 Starsight Telecast, Inc. Television schedule system
WO1991007050A1 (en) * 1989-10-30 1991-05-16 Insight Telecast, Inc. Cable television decoder to television accessory interfacing
JPH03234139A (ja) 1990-02-08 1991-10-18 Oki Electric Ind Co Ltd 画像パケット多重化システム
JPH03276941A (ja) 1990-03-27 1991-12-09 Mitsubishi Electric Corp パケット通信端末装置
JPH043684A (ja) 1990-04-20 1992-01-08 Matsushita Electric Ind Co Ltd 可変レート動画像符号化装置
JPH0424914A (ja) 1990-05-16 1992-01-28 Kawasaki Steel Corp レジスト膜中の光強度分布の評価方法
JP2690180B2 (ja) 1990-08-08 1997-12-10 沖電気工業株式会社 パケット補間方式
US5111292A (en) 1991-02-27 1992-05-05 General Electric Company Priority selection apparatus as for a video signal processor
JPH04314278A (ja) * 1991-04-12 1992-11-05 Sony Corp 映像信号受信装置
JPH04320174A (ja) * 1991-04-19 1992-11-10 Sony Corp 映像信号処理装置
EP0527632B1 (en) * 1991-08-13 1998-04-08 Canon Kabushiki Kaisha Image transmission apparatus
JP2515643B2 (ja) 1991-08-15 1996-07-10 新日本製鐵株式会社 帯状体の蛇行挙動解析方法
JPH05122692A (ja) * 1991-10-28 1993-05-18 Pioneer Electron Corp Ｃａｔｖ端末装置およびｃａｔｖシステム
US5404505A (en) * 1991-11-01 1995-04-04 Finisar Corporation System for scheduling transmission of indexed and requested database tiers on demand at varying repetition rates
JPH0614049A (ja) 1992-03-19 1994-01-21 Fujitsu Ltd Ａｔｍにおけるセル廃棄制御装置及びその方法
US5432561A (en) * 1992-03-27 1995-07-11 North American Philips Corporation System for automatically activating picture-in-picture when an auxiliary signal is detected
JP3110137B2 (ja) 1992-04-03 2000-11-20 積水化学工業株式会社 家庭内ワイヤレス通信ネットワークにおける通信方法
US5223924A (en) * 1992-05-27 1993-06-29 North American Philips Corporation System and method for automatically correlating user preferences with a T.V. program information database
US5289276A (en) * 1992-06-19 1994-02-22 General Electric Company Method and apparatus for conveying compressed video data over a noisy communication channel
US5287178A (en) * 1992-07-06 1994-02-15 General Electric Company Reset control network for a video signal encoder
US5412416A (en) * 1992-08-07 1995-05-02 Nbl Communications, Inc. Video media distribution network apparatus and method
US5420801A (en) * 1992-11-13 1995-05-30 International Business Machines Corporation System and method for synchronization of multimedia streams
US5657414A (en) * 1992-12-01 1997-08-12 Scientific-Atlanta, Inc. Auxiliary device control for a subscriber terminal
EP0627112B1 (en) * 1992-12-17 1998-08-19 Samsung Electronics Co., Ltd. Disk recording medium and reproduction method and apparatus thereof
JP3240017B2 (ja) * 1993-01-11 2001-12-17 ソニー株式会社 Ｍｐｅｇ信号記録方法およびｍｐｅｇ信号再生方法
US5524195A (en) * 1993-05-24 1996-06-04 Sun Microsystems, Inc. Graphical user interface for interactive television with an animated agent
JPH06339137A (ja) 1993-05-31 1994-12-06 Nippon Telegr & Teleph Corp <Ntt> 映像パケット通信方式
US5594509A (en) * 1993-06-22 1997-01-14 Apple Computer, Inc. Method and apparatus for audio-visual interface for the display of multiple levels of information on a display
DE69430617T2 (de) * 1993-07-12 2002-12-05 Sony Corp Dekoder und verfahren zur dekodierung
US5610841A (en) * 1993-09-30 1997-03-11 Matsushita Electric Industrial Co., Ltd. Video server
US5703908A (en) * 1993-10-08 1997-12-30 Rutgers University Fixed reference shift keying modulation for mobile radio telecommunications
JPH07202820A (ja) * 1993-12-28 1995-08-04 Matsushita Electric Ind Co Ltd ビットレート制御システム
CA2135681C (en) * 1993-12-30 2000-01-18 Srinivas V. Makam System and method for directly accessing long-term memory devices
US5461415A (en) 1994-03-15 1995-10-24 International Business Machines Corporation Look-ahead scheduling to support video-on-demand applications
US5512939A (en) * 1994-04-06 1996-04-30 At&T Corp. Low bit rate audio-visual communication system having integrated perceptual speech and video coding
ATE261227T1 (de) * 1994-04-15 2004-03-15 Koninkl Philips Electronics Nv Verfahren und vorrichtung zum empfang von digitalen videosignalen
JPH07322248A (ja) * 1994-05-30 1995-12-08 Matsushita Electric Ind Co Ltd 動画像データの伝送方法および伝送装置
JPH0818524A (ja) 1994-06-28 1996-01-19 Sofuitsuku:Kk データのスクランブル装置
US5487072A (en) * 1994-06-30 1996-01-23 Bell Communications Research Inc. Error monitoring algorithm for broadband signaling
US6004028A (en) * 1994-08-18 1999-12-21 Ericsson Ge Mobile Communications Inc. Device and method for receiving and reconstructing signals with improved perceived signal quality
JP3644455B2 (ja) * 1994-09-29 2005-04-27 ソニー株式会社 番組情報放送方式、番組情報表示方法および受信装置
US6021432A (en) * 1994-10-31 2000-02-01 Lucent Technologies Inc. System for processing broadcast stream comprises a human-perceptible broadcast program embedded with a plurality of human-imperceptible sets of information
JP3603364B2 (ja) * 1994-11-14 2004-12-22 ソニー株式会社 ディジタルデータ記録／再生装置及び方法
US5510844A (en) 1994-11-18 1996-04-23 At&T Corp. Video bitstream regeneration using previously agreed to high priority segments
US5535216A (en) * 1995-01-17 1996-07-09 Digital Equipment Corporation Multiplexed gapped constant bit rate data transmission
DE19501517C1 (de) * 1995-01-19 1996-05-02 Siemens Ag Verfahren, Sendegerät und Empfangsgerät zur Übertragung von Sprachinformation
US5689439A (en) * 1995-03-31 1997-11-18 Lucent Technologies, Inc. Switched antenna diversity transmission method and system
JPH08279923A (ja) * 1995-04-07 1996-10-22 Sony Corp 情報信号伝送方式
US5959980A (en) * 1995-06-05 1999-09-28 Omnipoint Corporation Timing adjustment control for efficient time division duplex communication
EP0836777B1 (de) * 1995-07-05 2004-09-22 Siemens Aktiengesellschaft Einrichtung (iwf) zum bidirektionalen verbinden eines elan und eines cls-weitverkehrsnetzes
JP3597267B2 (ja) * 1995-09-26 2004-12-02 富士通株式会社 冗長性を有する光中継器
US6732369B1 (en) * 1995-10-02 2004-05-04 Starsight Telecast, Inc. Systems and methods for contextually linking television program information
JPH09191453A (ja) 1995-11-07 1997-07-22 Sony Corp データ送受信、データ記録再生のための装置及びその方法並びに記録媒体
JPH09139937A (ja) * 1995-11-14 1997-05-27 Fujitsu Ltd 動画ストリーム変換装置
FI956360A (fi) * 1995-12-29 1997-06-30 Nokia Telecommunications Oy Menetelmä yhteydenmuodostuspurskeen havaitsemiseksi ja vastaanotin
JP3165635B2 (ja) 1996-02-07 2001-05-14 三洋電機株式会社 多重放送受信装置
US6025837A (en) * 1996-03-29 2000-02-15 Micrsoft Corporation Electronic program guide with hyperlinks to target resources
DE19614737A1 (de) * 1996-04-15 1997-10-16 Bosch Gmbh Robert Fehlerrobustes Multiplexverfahren mit möglicher Retransmission
US6469753B1 (en) * 1996-05-03 2002-10-22 Starsight Telecast, Inc. Information system
US6088360A (en) * 1996-05-31 2000-07-11 Broadband Networks Corporation Dynamic rate control technique for video multiplexer
US5752166A (en) * 1996-09-04 1998-05-12 Motorola, Inc. Method and apparatus for controlling how a receiver responds to a message
US5928330A (en) * 1996-09-06 1999-07-27 Motorola, Inc. System, device, and method for streaming a multimedia file
US6324694B1 (en) * 1996-09-06 2001-11-27 Intel Corporation Method and apparatus for providing subsidiary data synchronous to primary content data
JP3431465B2 (ja) 1996-09-11 2003-07-28 松下電器産業株式会社 データの提示を制御するデータ提示制御装置、データの提示を制御するために用いる情報を送信するデータ送信装置
US6674958B2 (en) * 1996-12-16 2004-01-06 Thomson Licensing S.A. Television apparatus control system
US6088064A (en) * 1996-12-19 2000-07-11 Thomson Licensing S.A. Method and apparatus for positioning auxiliary information proximate an auxiliary image in a multi-image display
JPH10232658A (ja) 1996-12-20 1998-09-02 Fujitsu Ltd 表示切替システムおよび記録媒体
US5931908A (en) * 1996-12-23 1999-08-03 The Walt Disney Corporation Visual object present within live programming as an actionable event for user selection of alternate programming wherein the actionable event is selected by human operator at a head end for distributed data and programming
US6038256A (en) * 1996-12-31 2000-03-14 C-Cube Microsystems Inc. Statistical multiplexed video encoding using pre-encoding a priori statistics and a priori and a posteriori statistics
US5850304A (en) * 1997-01-08 1998-12-15 Scottsdale Technologies, Inc. Optically programmable controller
US6097878A (en) * 1997-02-25 2000-08-01 Sony Corporation Automatic timer event entry
JPH10243374A (ja) 1997-02-27 1998-09-11 Hitachi Ltd 画像音声情報配信システム
US5918002A (en) * 1997-03-14 1999-06-29 Microsoft Corporation Selective retransmission for efficient and reliable streaming of multimedia packets in a computer network
US6292834B1 (en) * 1997-03-14 2001-09-18 Microsoft Corporation Dynamic bandwidth selection for efficient transmission of multimedia streams in a computer network
US6038545A (en) * 1997-03-17 2000-03-14 Frankel & Company Systems, methods and computer program products for generating digital multimedia store displays and menu boards
US6208799B1 (en) * 1997-04-29 2001-03-27 Time Warner Entertainment Company L.P. VCR recording timeslot adjustment
US6108706A (en) * 1997-06-09 2000-08-22 Microsoft Corporation Transmission announcement system and method for announcing upcoming data transmissions over a broadcast network
US6215762B1 (en) * 1997-07-22 2001-04-10 Ericsson Inc. Communication system and method with orthogonal block encoding
US6351467B1 (en) * 1997-10-27 2002-02-26 Hughes Electronics Corporation System and method for multicasting multimedia content
US6990680B1 (en) * 1998-01-05 2006-01-24 Gateway Inc. System for scheduled caching of in-band data services
US6008802A (en) * 1998-01-05 1999-12-28 Intel Corporation Method and apparatus for automatically performing a function based on the reception of information corresponding to broadcast data
JP3276941B2 (ja) 1999-06-30 2002-04-22 三洋電機株式会社 空気調和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6373786A (ja) * 1986-09-16 1988-04-04 Nippon Telegr & Teleph Corp <Ntt> 階層化バ−スト通信方式
JPH0530138A (ja) * 1991-07-25 1993-02-05 Nippon Telegr & Teleph Corp <Ntt> マルチメデイア転送方式
JPH0564167A (ja) * 1991-08-28 1993-03-12 Hitachi Ltd テレビジヨン放送方式
JPH05137125A (ja) * 1991-11-13 1993-06-01 Victor Co Of Japan Ltd 文字多重放送受信装置
JPH05244435A (ja) * 1992-02-28 1993-09-21 Fujitsu Ltd 画像の階層符号化方法および画像符号化装置
JPH05327758A (ja) * 1992-05-25 1993-12-10 Fujitsu Ltd 画像符号化データのパケット化方式
JPH0670307A (ja) * 1992-08-17 1994-03-11 Nec Corp 動画像符号化復号化装置
JPH06276480A (ja) * 1993-03-18 1994-09-30 Nec Corp 画像圧縮装置及び画像再生装置
JPH06350649A (ja) * 1993-06-02 1994-12-22 Sony Corp ブロックデータの伝送方法及び同期方法
JPH07312756A (ja) * 1994-03-25 1995-11-28 Sanyo Electric Co Ltd 圧縮動画像符号信号の情報量変換回路、装置、及び方法
JPH08294123A (ja) * 1995-04-24 1996-11-05 Kokusai Electric Co Ltd 動画像データ伝送装置
JPH0998430A (ja) * 1995-10-02 1997-04-08 Fujitsu Ltd 動画像データ格納方式および動画像データ復号方式

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIROSHI FUJIWARA: "Sashin MPEG kyokashoK, PASSAGE", LATEST MPEG HANDBOOK, XX, XX, 12 December 1995 (1995-12-12), XX, pages 236/237 - 102, XP002917332 *
See also references of EP0905976A4 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7356750B2 (en) 1998-11-30 2008-04-08 Matsushita Electric Industrial Co., Ltd Data transmission method and data transmission apparatus
EP1006689A3 (en) * 1998-11-30 2003-10-29 Matsushita Electric Industries Co., Ltd. Packet retransmission control using priority information
US6732313B2 (en) 1998-11-30 2004-05-04 Matsushita Electric Industrial Co., Ltd. Data transmission method
US6918077B2 (en) 1998-11-30 2005-07-12 Matsushita Electric Industrial Co., Ltd. Data transmission method and data transmission apparatus
US7124333B2 (en) 1998-11-30 2006-10-17 Matsushita Electric Industrial Co., Ltd. Retransmission packet structure having multiple sequence numbers
EP1006689A2 (en) * 1998-11-30 2000-06-07 Matsushita Electric Industries Co., Ltd. Packet retransmission control using priority information
EP1919117A2 (en) * 1998-11-30 2008-05-07 Matsushita Electric Industrial Co., Ltd. Packet retransmission control using priority information
EP1919117A3 (en) * 1998-11-30 2011-08-24 Panasonic Corporation Packet retransmission control using priority information
US8261147B2 (en) 1998-11-30 2012-09-04 Panasonic Corporation Data transmission method and data transmission apparatus
US8516326B2 (en) 1998-11-30 2013-08-20 Panasonic Corporation Data transmission method and data transmission apparatus
US7860366B2 (en) 2002-05-21 2010-12-28 Sony Corporation Information processing device and method, recording medium, and program
WO2005101832A1 (fr) * 2004-04-14 2005-10-27 Yan Feng Procede d'affichage dynamique d'image reçue sur un ecran de telephone
CN102883152A (zh) * 2011-07-14 2013-01-16 Nxp股份有限公司 具有适应性的媒体流传输

Also Published As

Publication number Publication date
US20040212729A1 (en) 2004-10-28
CN100334880C (zh) 2007-08-29
EP1835745A2 (en) 2007-09-19
US20070201563A1 (en) 2007-08-30
EP1835745A3 (en) 2010-09-29
EP1439704A2 (en) 2004-07-21
US7502070B2 (en) 2009-03-10
KR20050052484A (ko) 2005-06-02
CN1190081C (zh) 2005-02-16
KR100557103B1 (ko) 2006-03-03
EP0905976A1 (en) 1999-03-31
KR20050052483A (ko) 2005-06-02
EP1439704A3 (en) 2011-08-10
EP1439705A2 (en) 2004-07-21
CN1227031A (zh) 1999-08-25
US7436454B2 (en) 2008-10-14
US20040237122A1 (en) 2004-11-25
US20040120345A1 (en) 2004-06-24
CN1533176A (zh) 2004-09-29
CN1545322A (zh) 2004-11-10
CN100525443C (zh) 2009-08-05
EP0905976A4 (en) 2010-09-29
US6674477B1 (en) 2004-01-06
EP1439705A3 (en) 2011-09-14

Similar Documents

Publication Publication Date Title
WO1998042132A1 (en) Method of processing, transmitting and receiving dynamic image data and apparatus therefor
JP3516585B2 (ja) データ処理装置及びデータ処理方法
KR0167798B1 (ko) 주화상에 부화상을 중첩하기 위한 다중화/디멀티플렉싱하는 방법
KR100248427B1 (ko) 압축 영역에서의 엠펙 부호 영상의 화면 분할 장치 및 그 방법
ZA200208713B (en) Video error resilience.
KR20090051042A (ko) 디지털 비디오의 가변 해상도 인코딩 및 디코딩 기법
JPWO2008142948A1 (ja) 動画像配信システム、変換装置および動画像配信方法
US20060161676A1 (en) Apparatus for IP streaming capable of smoothing multimedia stream
JP4102223B2 (ja) データ処理装置及びデータ処理方法
KR100530919B1 (ko) 동화상 데이터의 처리 및 송수신 방법 및 장치
JP2007221826A (ja) 受信端末および受信方法
JP3448047B2 (ja) 送信装置及び受信装置
JP3519722B2 (ja) データ処理方法及びデータ処理装置
JP6641344B2 (ja) 符号化装置
KR100530920B1 (ko) 화상 · 음성 송신장치 및 수신장치
JP2001359071A (ja) データ配信装置及び方法、データ配信システム
JP2006304309A (ja) 送信装置、受信装置および通信システム
CN100473159C (zh) 发送和接收动态图像数据的方法
JP2004048657A (ja) 画像・音声受信装置
JP7003308B2 (ja) 復号装置
Murugan Multiplexing H. 264/AVC Video with MPEG-AAC Audio
JP2020061773A (ja) 復号装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 98800657.X

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE

REEP Request for entry into the european phase

Ref document number: 1998907236

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1998907236

Country of ref document: EP

Ref document number: 1019980709277

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 09194008

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1998907236

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1019980709277

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1019980709277

Country of ref document: KR