DE60118493T2

DE60118493T2 - Datenübertragungssystem und -Verfahren

Info

Publication number: DE60118493T2
Application number: DE60118493T
Authority: DE
Inventors: c/o Kabushiki Kaisha Toshiba Takeshi Minato-ku Nagai; c/o Kabushiki Kaisha Toshiba Yoshihiro Minato-ku Kikuchi; c/o Kabushiki Kaisha Toshiba Tadaaki Minato-ku Masuda
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-10-31
Filing date: 2001-10-31
Publication date: 2006-09-14
Anticipated expiration: 2021-11-01
Also published as: DE60118493D1; EP1202487B1; US6993689B2; US20060015783A1; US7287201B2; US20070223503A1; US20020053053A1; US20070223584A1; US7193973B2; JP3699910B2; US7496807B2; EP1202487A2; US7502975B2; US20070223449A1; US20050257111A1; JP2002204278A; US20060085725A1; EP1202487A3; US7437628B2; US7500159B2

Description

Die vorliegende Erfindung bezieht sich auf ein Datenübertragungsverfahren zum Übertragen kodierter beweglicher/stiller Bilder durch Verwenden eines drahtgebundenen Kommunikationsnetzes, wie etwa ISDN (dienstintegrierendes digitales Netz, Integrated Services Digital Network) oder eines drahtlosen Kommunikationsnetzes, wie etwa PHS (persönliches Handyphone-System, Personal handy-phone System) oder Satellitenkommunikation, und eine Datenübertragungsvorrichtung, auf die ein derartiges Verfahren angewendet wird.
In den letzten Jahren wurde mit dem Fortschritt digitaler Kodierungstechnologie einer Vielfalt von Information, wie etwa Bild, und einer Breitbandnetz-Technologie die Entwicklung von Anwendungen aktiv, die diese Technologien verwenden, und es wird ein System zum Übertragen eines kompressionskodierten Bildes durch Nutzen eines Kommunikationsnetzes entwickelt.
Z.B. wird ein eingegebenes Videosignal in einem Videokodierer kodiert, die erhaltenen kodierten Daten werden einem Kodierungsdatensender bereitgestellt, und Übertragungsdaten werden zu einem Übertragungskanal übertragen. Auf diese Weise wird ein Video kodiert und übertragen. In den letzten Jahren hat sich mit der Verbreitung von Internet/Intranet eine Anwendung oder ein System zum Übertragen/Empfangen eines Paketes von Daten erhöht. Bereitstellung von Daten als ein Paket ist ein sehr effektives Mittel für eine effiziente gemeinsame Nutzung einer Bandbreite eines Kommunikationskanals durch eine Vielzahl von Benutzern.
Unterdessen existiert als ein Protokoll zum Übertragen/Empfangen von Paketdaten über Internet/Intranet TCP/IP (Übertragungssteuerprotokoll/Internetprotokoll, Transmission Control Protocol/Internet Protocol) oder UDP/IP (Benutzerdatagrammprotokoll/Internetprotokoll, User Datagram Protocol/Internet Protocol) und dergleichen.
Unter ihnen ist TCP/IP ein Internet-Standardprotokoll. Dieses Protokoll wird als das in der Welt am besten bekannte Protokoll auf Intranet oder LAN ebenso wie Internet angewendet. TCP arbeitet in einer Transportschicht, die eine vierte Schicht eines OSI-Basisreferenzmodells ist, und IP arbeitet in einer Netzschicht, die eine dritte Schicht ist.
Außerdem ist UDP/IP eines der TCP/IP-Suite-Transportschichtprotokolle. TCP ist ein Protokoll vom Verbindungstyp. UDP ist ein Protokoll vom Trennungstyp. Wie bei TCP wird eine Hostanwendung durch Verwenden einer Portnummer identifiziert. Dieses Protokoll wird häufig verwendet, um kurze Daten für Monitorsteuerung eines Netzes oder Echtzeit-orientierte Daten, wie etwa Audiodaten oder Videodaten, zu übertragen.
TCP/IP inkorporiert einen Rahmen, wie etwa Neuübertragung. Somit ist dieses Protokoll gegenüber Fehlern oder dergleichen stark. Selbst wenn eine große Zeitdauer erforderlich ist, ist dieses Protokoll für Anwendungen vom Herunterladungstyp effektiv, falls ein Versuch unternommen wird, Daten gültig zu empfangen. Dieses Protokoll ist jedoch für Anwendungen nicht leistungsfähig, die Echtzeiteigenschaften erfordern.
Obwohl UDP/IP einen Neuübertragungsrahmen nicht hat, tritt im Gegensatz dazu eine Verzögerung nicht auf, die mit Neuübertragung in Verbindung steht. Somit ist dieses Protokoll für Anwendungen sehr effektiv, die Echtzeitverarbeitung erfordern.
Übertragung eines beweglichen Bildes wird als ein typisches Beispiel einer Anwendung veranschaulicht, die Echtzeitverarbeitung erfordert. In dem Fall einer allgemeinen Videokommunikation haben jedoch Videodaten einen sehr großen Umfang von Daten, und überlaufen in den meisten Fällen eine Netzbandbreite. In diesem Fall wird eine Technik zum Kodieren eines Videodatensignals, und Übertragen eines reduzierten Umfangs von Daten verwendet. Techniken, wie etwa Bewegungskompensation, diskrete Kosinustransformation (DCT, discrete cosine transform), Teilbandkodierung, Pyramidenkodierung und Kodierung variabler Länge oder eine Kombination dieser Techniken, werden als Komprimierungskodierung eines Videosignals entwickelt.
Als ein internationales Standardsystem für Kodierung beweglicher Bilder gibt es ISO MPEG-1, MPEG-2, ITU-T H.261, H.262 und H.263. Außerdem gibt es als ein internationales Standardsystem zum Multiplizieren eines kodierten Datenstroms mit einem komprimierten Sprach-/Audiosignal oder anderen Daten ein ISO-MPEG-System, ITU-T H.221 und H.223.
Das Internet oder dergleichen ist über eine unendliche Zahl von Netzen umspannt. Gewöhnlich weiß niemand, welches Netz verwendet wird oder in welchem Zustand es ist. Außerdem ändert sich von Zeit zu Zeit ein Umfang von Daten, die durch ein Netz fließen. Somit ist ein System zum Beurteilen erforderlich, welcher Umfang von Daten in Echtzeit kommuniziert werden kann.
Deshalb haben sich mit dem weiteren Fortschritt von Echtzeitanwendungen, die UDP/IP nutzen, Anwendungen zahlenmäßig erhöht, die ein Paketformat, das RTP (Echtzeit-Transportprotokoll, Real-time Transport Protocol) genannt wird, zum Hinzu fügen und übertragen von Zeitinformation oder dergleichen zu einem Paket verwenden.
Dieses RTP ist ein Protokoll zum Transferieren eines Audiodatensignals oder Videodatensignals in Echtzeit, was in RFC 1889 geregelt wird. Gewöhnlich werden Daten in UDP (Benutzerdatagrammprotokoll) übertragen. Von diesem Protokoll wird angenommen, auf ein Multimediasystem, wie etwa Videokonferenz, angewendet zu werden, und Daten können in einem interaktiven Echtzeitschema ausgetauscht werden. Das Protokoll hat jedoch keine Funktion zum Sicherstellen von Klangqualität oder Bildqualität. Sequenzielle Nummern oder Zeitstempeldaten sind in einen RTP-Header (Kopf) zugewiesen, wobei dadurch eine Echtzeitoperation unterstützt wird.
RFC ist eine Abkürzung für Anforderung nach Kommentaren (Request for Comments), und bezeichnet ein Dokument, wie etwa einen technischen Vorschlag oder Kommentare, offenbart durch TETF (Internet Engineering Task Force). Viele de-facto Standards, wie etwa eine Vielfalt von Protokollen der TCP/IP-Suite, sind in RFC beschrieben.
Durch Nutzung dieses RTP werden Zeitinformation und eine Paketnummer einem Paket hinzugefügt, sodass ein Empfänger eine Stimme oder ein Bild durch Verwenden richtiger Zeitinformation anzeigen kann, ein Paket oder dergleichen bestimmen kann, dessen Reihenfolge in einem Netz ausgetauscht wird, und durch Verweis auf eine Paketnummer erfassen kann, dass ein Paket verloren gegangen ist.
Außerdem stellt das RTP ein System (RTCP) zum Mitteilen von Netzzustandsinformation, wie etwa Jitter oder Paketverlustrate, von einem Sender zu einem Empfänger bereit.
Wie diese RTCP-Information genutzt wird, hängt jedoch von Anwendungen ab, und wird nicht in Standards bestimmt.
Außerdem kann in dem Fall eines Bildes eine Bandbreite entsprechend Videoübertragung in einer Netzbandbreite nicht zugeordnet werden, was es somit notwendig macht, ein Videosignal in einem Kodierungssystem, wie etwa MPEG, wie zuvor beschrieben, zu komprimieren und abzugeben. Obwohl dieses Kodierungssystem in einem verringerten Umfang von Daten effektiv ist, wird dieses System gegenüber einem Paketverlust oder Fehlereintrag durch Zuführen von Daten zu einem instabilen Internet sehr fragil. Dies ist so, da ein Kodierungssystem beweglicher Bilder nur eine Differenz zwischen einem aktuellen Rahmen und einem vorherigen Rahmen überträgt. Somit verursachen fehlende Teildaten ein sehr ernsthaftes Problem. In dem Fall einer Verwendung des UDP oder RTP wird Datenneuübertragung nicht grundsätzlich ausgeführt, was es somit notwendig macht, diesem Problem entgegenzuwirken.
Allgemein existieren zwei Modi in Bildkodierung, d.h. einer ist ein Interrahmen-Kodierungsmodus zum Übertragen einer Differenz zwischen dem aktuellen Rahmen und dem vorherigen Rahmen, und ein Intrarahmen-Kodierungsmodus zum Ausführen von Kodierung in einem Rahmen. Im allgemeinen werden intrarahmen-kodierte Bilder in einer richtigen Zeitsteuerung bereitgestellt, und interrahmen-kodierte Bilder werden zwischen ihnen bereitgestellt. Ein Intervall zwischen den Rahmen, die in einem Intrarahmen-Kodierungsmodus kodiert sind, wird ein GOP-(Gruppe von Bild, Group of Picture)Intervall genannt.
Wenn ein kodiertes Bild während einer Übertragung zu dem Decoder fehlt, wird das dekodierte Bild entsprechend dem fehlenden kodierten Bild zerstört. Danach werden die intra-kodierten Bilder folgend dem fehlenden kodierten Bild basierend auf dem zerstörten Bild dekodiert. Somit werden alle an schließenden Dekodierungsbilder durch das zerstörte Bild beeinflusst, und Dekodierung kann nicht richtig ausgeführt werden. Deshalb wird ein intrarahmen-kodiertes Bild in dem Verlauf eines Stroms von Rahmen eingefügt, um eine Ausbreitung eines Verlustfehlers abzuschneiden und adäquate Dekodierung wiederzuerlangen.
In einer konventionellen Technologie kann bestimmt werden, dass Fehler in einem Netz auftreten. Wie das Bestimmungsergebnis zu nutzen ist, war jedoch unbekannt. Auch wird ein System zum Mitteilen der Netzinformation zu dem Sender in einem eindeutigen Format konzipiert. Das System basiert jedoch auf der Spezifikation von zugehörigen Anwendungen und ihm fehlt Allzweckverwendung. Das System empfängt Übertragungsdaten unter Verwendung eines Informationsempfängers, und steuert einen Videokodierer innerhalb eines Bereichs der Information, die von dem Netz über einen Übertragungskanal empfangen wird.
Eine konventionelle Netzbedingungsbestimmung wird auf einer Annahme von Netzverstopfung konzipiert. Da jedoch das Internet in einer mobilen Umgebung popularisiert wird, ist es erforderlich, einen Fehler oder dergleichen in einer drahtlosen Umgebung zu betrachten. Gegenwärtige Technik nimmt Gegenmaßnahmen gegen einen derartigen Fehler nicht an.
In dem Fall einer Behandlung des Fehlers wird ferner ein Fall, in dem sich eine Netzbedingung ändert, und eine Fehlerrate nicht konstant ist, nicht betrachtet. Falls ein kurzes GOP-Intervall eingestellt ist, um einem Fall entgegenzuwirken, in dem Fehler häufig auftreten, erhöht sich die Intrarahmenkodierung, was zu einer Beeinträchtigung der Kodierungseffizienz führt. Wenn Fehler häufig qualitativ auftreten, kann es erforderlich sein, einen derartigen Zustand herzustellen, in dem derartige Fehler häufig auftreten. In dem Fall eines Netzes jedoch, in dem ein Fehler in einem normalen Zustand kaum auftritt, und ein Fehler nur in einem Moment auftritt, ist diese Einstellung sehr verschwenderisch. Wenn umgekehrt ein langes GOP-Intervall eingestellt ist, ist es störend, dass ein großer Einfluss auftritt, wenn ein Fehler auftritt.
Somit wird eine Echtzeitübertragung erwähnt, die RTP verwendet. Wie oben beschrieben, werden durch Nutzung des RTP, das ein Protokoll zum Transferieren von Daten eines Audiodatensignals oder Videodatensignals in Echtzeit ist, Zeitinformation und eine Paketnummer einem Paket hinzugefügt, wodurch der Empfänger eine Stimme oder ein Bild durch Verwenden richtiger Zeitinformation anzeigen kann, ein Paket oder dergleichen bestimmen kann, dessen Reihenfolge in einem Netz ausgetauscht ist, oder durch Verweisen auf eine Paketnummer erfassen kann, dass ein Paket verloren gegangen ist.
Außerdem wird in dem RTP ein System (RTCP) zum Mitteilen von Netzzustandsinformation, wie etwa Jitter oder Paketverlustrate, von dem Sender oder Empfänger bereitgestellt.
US-6,085,252 beschreibt eine Einrichtung für Echtzeit-Strömung (streaming) von Multimediadaten, die in einem entfernten Server gespeichert sind, über ein Paketnetz zu einem Client, der mit dem gleichen Netz über eine Verbindung geringer Geschwindigkeit verbunden ist. Das System bestimmt ein Bandbreitebudget für die Verknüpfung im voraus. Es überwacht dann die Strömungsdatenrate und die Zahl von Kopien von neu übertragenen Daten um sicherzustellen, dass die gesamte Bitrate das vorbestimmte Bandbreitebudget nicht überschreitet.
EP-A-1011245 offenbart eine Funkkommunikationsvorrichtung, die einen Kodierer zum Bereitstellen von Kodierung für eine Fehlererfassung auf Übertragungssignale, einen Datenpuffer zum zeitweiligen Speichern der kodierten Übertragungssignale, einen hierarchischen Modulator zum hierarchischen Modulieren der kodierten Signale, einen Verstärker zum Verstärken der hierarchisch modulierten Signale, eine Antenne, einen Verstärker zum Verstärken eines Neuübertragungsanforderungssignals von der empfangenden Seite und einen Demodulator umfasst.
Die vorliegende Erfindung zielt auf eine Bereitstellung einer Datenübertragungsvorrichtung, die fähig ist zum Abstimmen einer Übertragungsrate durch Verwenden der RTP-Charakteristika in Übereinstimmung mit einem Übertragungszustand eines Übertragungskanals basierend auf Mitteilung von Netzzustandsinformation, wie etwa Jitter oder Paketverlustrate, erhalten von dem Empfänger in dem Sender, oder fähig zum Ausführen von Steuerungen, wie etwa Ändern von Fehlerbelastbarkeit, wobei es dadurch möglich gemacht wird, Daten zu dem Maximum effizient zu übertragen, und Übertragung vollständig zu nutzen, die Echtzeiteigenschaften erfordert.
Die Erfindung sieht eine Bildübertragungsvorrichtung vor, wie in Anspruch 1 definiert.
Die Erfindung kann aus der folgenden detaillierten Beschreibung vollständiger verstanden werden, wenn in Verbindung mit den begleitenden Zeichnungen aufgenommen, in denen:
1 eine Ansicht ist, die eine Basiskonfiguration einer Datenübertragungsvorrichtung gemäß einem ersten Beispiel der vorliegenden Erfindung zeigt;
2 eine Ansicht ist, die eine andere Konfiguration zeigt;
3 eine Ansicht ist, die eine Konfiguration einer Netzbedingungsbestimmungseinrichtung zeigt;
4 eine Ansicht ist, die eine Konfiguration eines Videokodierers zeigt;
5 eine Ansicht ist, die eine Konfiguration einer Kodierungsparameterbestimmungseinrichtung zeigt;
6 eine Ansicht ist, die eine Basiskonfiguration einer Datenübertragungsvorrichtung in einer Ausführungsform der vorliegenden Erfindung zeigt;
7 eine Ansicht ist, die eine Konfiguration einer Kodierungsdatenschalteinrichtung zeigt;
8 eine Ansicht ist, die eine Zeitsteuerung zum Schalten kodierter Daten in einer Kodierungsdatenschalteinrichtung veranschaulicht;
9 eine Ansicht ist, die eine Zeitsteuerung zum Schalten kodierter Daten mit ihrem unterschiedlichen Rahmenintervall in der Kodierungsdatenschalteinrichtung veranschaulicht;
10 ein Flussdiagramm ist, das ein Basisbeispiel des Netzbedingungsbestimmungsverfahrens in der Netzbedingungsbestimmungseinrichtung zeigt;
11 ein Flussdiagramm ist, das ein Basisbeispiel zeigt, wenn ein Auftritt einer Verzögerung erzwungen wird, durch Verwenden des Netzbedingungsbestimmungsverfahrens in der Netzbedingungsbestimmungseinrichtung;
12 ein Flussdiagramm ist, das ein Basisbeispiel zeigt, das eine Zeitrichtungsänderung mit dem Netzbedingungsbestimmungsverfahren in der Netzbedingungsbestimmungseinrichtung betrachtet;
13 eine Ansicht ist, die eine beispielhafte Konfiguration zeigt;
14 ein Flussdiagramm ist, das ein Beispiel eines GOP-Intervallkalkulationsverfahrens in einem GOP-Intervallkalkulator zeigt;
15 ein Flussdiagramm ist, das ein anderes Beispiel eines GOP-Intervallkalkulationsverfahrens in einem GOP-Intervallkalkulator zeigt; und
16 ein Flussdiagramm ist, das noch ein anderes Beispiel eines GOP-Intervallkalkulationsverfahrens in einem GOP-Intervallkalkulator zeigt.
Hierin nachstehend werden Ausführungsformen der vorliegenden Erfindung mit Bezug auf die begleitenden Zeichnungen beschrieben.
Die vorliegende Erfindung nutzt RTP oder RTCP, das ein Protokoll zum Transferieren eines Audiodatensignals oder Videodatensignals in Echtzeit ist. Der Sender führt Steuerungen, wie etwa Abstimmen einer Übertragungsrate oder Ändern von Fehlerbelastbarkeit, in Übereinstimmung mit einem Übertragungszustand eines Übertragungskanals basierend auf einer Mitteilung von Netzzustandsinformation durch, die von dem Empfänger erlangt wird, wie etwa Jitter (Jitter-Information) oder Paketverlustrate. Auf diese Art und Weise kann Datenübertragung effizient zu dem Maximum ausgeführt werden. Hierin nachstehend werden Ausführungsformen der vorliegenden Erfindung detailliert beschrieben.
(Erstes Beispiel)
1 zeigt eine Basiskonfiguration einer Bildübertragungsvorrichtung gemäß einem ersten Beispiel der vorliegenden Erfindung. In 1 wird ein Videosignal 131, das von einer Bildeingabeeinrichtung 101 eingegeben wird, verarbeitet, um kodiert zu werden. D.h. ein Kodierungsdatensender 103 verarbeitet kodierte Daten 132, die durch einen Videodecoder 102 kodiert wurden, in der Form, die einem Netz entspricht, und überträgt die kodierten Daten zu einem Empfänger. Ein Netzinformationsempfänger 104 empfängt Netzinformation 134, die von dem Empfänger abgegeben wird, und gibt die empfangene Information zu einer Netzbedingungsbestimmungseinrichtung 105 aus. Diese Netzbedingungsbestimmungseinrichtung 105 hat eine Funktion, die eine Netzbedingung aus Netzinformation 135 bestimmt, die von dem Netzinformationsempfänger 104 ausgegeben wird, und das Ergebnis als Netzbedingungsinformation 136 dem Videokodierer 102 mitteilt.
Der Videokodierer 102 kodiert das Videosignal 131 unter Verwendung der Netzbedingungsinformation 136. Diese Kodierung wird wie folgt ausgeführt. D.h. in dem Fall von RTP oder RTCP wird eine Paketverlustrate oder Jitter-Information der Netzbedingungsbestimmungseinrichtung 105 bereitgestellt. Die Netzbedingungsbestimmungseinrichtung 105 bestimmt, dass falls eine Paketverlustrate nicht "0" ist, oder falls eine Verzögerungszeit länger als ein vorbestimmter Wert ist, eine beliebige Last an ein Netz angelegt ist, und ein vorausgesetzter Betrag von Daten nicht zugeführt werden kann. Dann ist die Netzbedingungsbestimmungseinrichtung 105 so konfiguriert, um Verarbeitung so auszuführen, um eine Instruktion (Netzbedingungsinformation 136) zum Absenken einer Bitrate zu dem Videokodierer 102 auszugeben, und eine Zielbitrate bei Kodierung tief einzustellen.
Gemäß der so konfigurierten Vorrichtung wird, wenn das Videosignal 131 von der Bildeingabeeinrichtung 101 eingegeben wird, das eingegebene Videosignal 131 durch den Videokodierer 102 kodiert. Kodierte Daten 132, die durch den Videokodierer 102 kodiert sind, werden zu dem Kodierungsdatensender 103 eingegeben.
Der Kodierungsdatensender 103 verarbeitet die kodierten Daten in der Form, die für ein Netz geeignet ist, und empfängt die verarbeiteten Daten zu einem Empfänger. Der Netzinformationsempfänger 104 empfängt die Netzinformation 134, die von dem Empfänger abgegeben wird, und gibt die empfangene Information zu der Netzbedingungsbestimmungseinrichtung 105 aus.
Die Netzbedingungsbestimmungseinrichtung 105 bestimmt eine Netzbedingung aus der Netzinformation 135, die von einem Netzinformationsempfänger ausgegeben wird, und meldet das Ergebnis als die Netzbedingungsinformation 136 dem Videokodierer 102.
Der Videokodierer 102 kodiert das Videosignal 131 unter Verwendung der so mitgeteilten Netzbedingungsinformation 136.
10 zeigt ein sehr einfaches Beispiel eines Verfahrens zum Bestimmen einer Netzbedingung in der Netzbedingungsbestimmungseinrichtung 105 als ein Flussdiagramm.
Gemäß diesem Flussdiagramm wird in dem Schritt S1001 eine Paketverlustrate von Netzinformation geprüft um zu sehen, ob die Rate "0" ist oder nicht. Als das Ergebnis dieser Prüfung wird, falls der Paketverlust nicht "0" ist, eine effektive Bitrate aus der Paketverlustrate in Übereinstimmung mit dem Schritt S1002 kalkuliert. Diese Bitrate kann durch die nachstehend gezeigte Formel (1) kalkuliert werden. b' = b × (1 – r) (1) wobei "b" eine aktuelle Bitrate bezeichnet, b' eine neue Bitrate bezeichnet und "r" eine Paketverlustrate bezeichnet.
Als Nächstes wird in dem Schritt S1003 ein Parameter (Kodierungsparameter), der in dem Schritt S1002 erhalten wird, dem Videokodierer 102 mitgeteilt. Hier wird der obige Parameter verwendet, um einen Ratensteuerungs- oder Fehlerbelastbarkeitsgrad für Kodierungsverarbeitung in dem Bildkodierer 102 zu bestimmen. Dieser Parameter wird auch für Abstimmungen verwendet, wie etwa Abstimmen und Steuern der Kodierungsverarbeitungsgeschwindigkeit des eingegebenen Bildsignals 131 zu diesem Parameter, wobei dadurch eine Bitrate, ein Rahmenintervall oder ein Fehlerbelastbarkeitsgrad geändert werden.
Andererseits tritt in dem Schritt S1001, wenn die Paketverlustrate "0" ist, keine Parameteränderung in dem Schritt S1004 auf. Dieses Bestimmungsverfahren ist lediglich als ein Beispiel vorgesehen. Es ist möglich, ein beliebiges anderes Verfahren zum Erhalten einer Bitrate basierend auf einem Fall einzusetzen, in dem das Kriterium des Schrittes S1001 durch Schwellen bestimmt wird, ohne auf "0" gesetzt zu sein, oder anderen oder basierend auf einer anderen als der obigen Formel (1).
Deshalb ist es gemäß dem ersten Beispiel, selbst wenn eine Übertragungsnetzbandbreite unbekannt ist oder wenn sich die Bandbreite auf halbem Weg geändert, möglich, einen Parameter oder dergleichen basierend auf der Netzinformation des Empfängers zurückzusetzen, und dann ein Bild in Übereinstimmung mit dem Parameter, der für ein aktuelles Netz geeignet ist, zu kodieren und zu übertragen. Auf diese Art und Weise ist es selbst in dem Fall einer Netzverstopfung, obwohl eine Bitrate automatisch abgesenkt wird, und eine Bildqualität abgesenkt ist, möglich, ein Bild ohne Auftreten einer Erscheinung zu kommunizieren, dass ein Bild wegen einem derartigen Paketver lust zerstört wird. Dieses Verfahren ist in Bildübertragung in Echtzeit sehr effektiv.
Das erste Beispiel kann durch sein Modifizieren wie folgt ausgeführt werden. Wie z.B. in 11 gezeigt, wird ein Verfahren mit Ausnahme dessen, das in 10 gezeigt wird, als ein Verfahren zum Bestimmen einer Netzbedingung in der Netzbedingungsbestimmungseinrichtung 105 eingesetzt. D.h. in dem Flussdiagramm, das in 10 gezeigt wird, wird ein Parameter in nur einer Paketverlustrate gesetzt. Im Gegensatz dazu wird in dem Verfahren, das in 11 gezeigt wird, selbst wenn kein Paketverlust in dem Schritt S1104 auftritt, eine Verzögerungsgröße geprüft. Als ein Ergebnis dieser Prüfung wird, falls eine Verzögerung über einen vorbestimmten Wert hinaus auftritt, bestimmt, dass ein Netz verstopft ist. Wenn bestimmt wird, dass ein Netz verstopft ist, wird eine Bitrate kalkuliert, und es wird ein neuer Parameter durch Verwenden z.B. einer nachstehenden Formel (2) in dem Schritt S1105 gesetzt. b' = b × {(TN – TS) + (d – dth)}/(TN – TS) (2)wobei "b" eine Verzögerungszeit bezeichnet, b' eine neue Bitrate bezeichnet, TN eine aktuelle Zeit bezeichnet, TS eine Startzeit bezeichnet, "d" eine Verzögerungszeit bezeichnet und "dth" Verzögerungszeitschwellen bezeichnet.
2 zeigt ein Beispiel, wenn die Netzbedingungsbestimmungseinrichtung 105 mit einer Funktion zum Generieren der Netzbedingungsinformation 136 so versehen ist, um die Information dem Bildkodierer 102 bereitzustellen, durch Erweitern der in 1 gezeigten Konfiguration.
Gemäß einer in 2 gezeigten Konfiguration ist die Netzbedingungsbestimmungseinrichtung 105 mit einer Funktion zum Er langen eines aktuellen Parameters in dem aktuellen Bildkodierer 102 und einer Funktion zum Generieren der Netzbedingungsinformation 136 darüber, welcher Parameter als Nächstes aus dem so erlangten aktuellen Parameter und Netzinformation 135 gesetzt werden sollte, versehen, wobei dadurch der Parameter dem Bildkodierer 102 bereitgestellt wird.
In dem Fall dieses Aufbaus kann die Netzbedingungsbestimmungseinrichtung 105 einen Zustand eines Videoparameters erkennen, d.h. einen Zustand der Kodierungsverarbeitung, die gegenwärtig in dem Videokodierer 102 geschieht, wobei es somit für die Netzbedingungsbestimmungseinrichtung möglich gemacht wird, eine Bitrate oder dergleichen zu kalkulieren und zu erfassen. Dieser Aufbau ist in dem Fall einer Bestimmung einer Netzbedingung durch Vergleichen der Netzinformation 135 mit Parameterinformation 137 von Vorteil. Somit wird ein System realisiert, das so fähig ist zum Ändern eines Parameters, um eine optimale Bitrate in Übereinstimmung mit der Netzbedingung einzustellen, und Bereitstellen des Parameters dem Videokodierer 102, wobei dadurch die Kodierungsverarbeitung abgestimmt wird.
Auf diese Weise wird gemäß der vorliegenden Erfindung Übertragung in Übereinstimmung mit einem Übertragungszustand eines Übertragungskanals oder Fehlerbeständigkeit geändert. Der Übertragungszustand wird durch Ändern einer Bitrate oder Ändern eines Rahmenintervalls abgestimmt. Mit Bezug auf eine Änderung in der Qualität eines Übertragungskanals wird die Fehlerbeständigkeit gemäß dem Übertragungszustand des Übertragungskanals geändert (z.B. wird die Fehlerbeständigkeit durch Ändern eines Intervalls eines MPEG4-Synchronsignals geändert). Deshalb kann Datenübertragung zu dem Maximum effizient ausgeführt werden, wobei dadurch Datenübertragung ermöglicht wird, die es möglich macht, Übertragung vollständig zu nutzen, die Echtzeitverarbeitung erfordert.
3 zeigt eine Konfiguration, wenn die in 2 gezeigte Konfiguration weiterentwickelt wird. Diese Netzbedingungsbestimmungseinrichtung 105 umfasst eine Netzinformationsspeichereinrichtung 301, die vergangene Netzinformation speichert, und eine Kodierungsparameter-Informationsspeichereinrichtung 302, die Kodierungsparameterinformation speichert, die dem aktuellen Videokodierer 102 zugeführt wird. Eine Netzbedingungsbestimmungseinrichtung 303 erkennt die vergangene Netzinformation und den aktuellen kodierten Parameter aus diesen Elementen, entscheidet über einen Ablauf einer Zeit in einer Netzbedingung aus diesen Elementen, um einen optimalen Parameter zu bestimmen, der dem Videokodierer 102 zugewiesen wird, und stellt den Parameter dem Videokodierer 102 bereit.
Mit diesem Aufbau ist es möglich, eine Netzbedingung durch Verweisen auf einen Ablauf der Zeit, die für Netzinformation relevant ist, genauer zu bestimmen. 12 zeigt ein Flussdiagramm eines Netzbedingungsbestimmungsverfahrens in dem Fall einer Verwendung dieses Systems. Die Verarbeitung in der Netzbedingungsbestimmungseinrichtung 303 wird in Übereinstimmung mit diesem Flussdiagramm beschrieben. Zuerst bestimmt die Netzbedingungsbestimmungseinrichtung 303 in dem Schritt S1201, ob ein Paketverlust "0" ist oder nicht. Als ein Ergebnis dieser Bestimmung wird, wenn der Paketverlust vorhanden ist, durch den Schritt S1202 bestimmt, ob der vergangene Paketverlust auftritt oder nicht. Als ein Ergebnis wird, wenn der vergangene Paketverlust auftritt, die Verlustrate mit der aktuellen Rate verglichen. Falls die aktuelle Paketverlustrate höher als die vergangene Paketverlustrate ist, kann bestimmt werden, dass die vergangene Korrektur ungültig war.
Aus dieser Bestimmung wird verstanden, dass der Bandbreiteüberlauf von Übertragungsdaten, wie etwa Netzverstopfung, nicht störend ist, aber eine Wahrscheinlichkeit, dass ein Rauschen oder dergleichen über einem Kanal auftritt, was zu einer Zerstörung führt, hoch ist. Deshalb ändert die Netzbedingungsbestimmungseinrichtung 303 eine Bitrate in dem Schritt S1204 nicht, und führt Parametereinstellung aus, um zuverlässige Fehlerkorrektur sicherzustellen, und übermittelt die Tatsache dem Videokodierer 102 in dem Schritt S1205.
Falls die aktuelle Paketverlustrate geringer als die vergangene Paketverlustrate in dem Schritt S1203 ist, bestimmt die Netzbedingungsbestimmungseinrichtung 303, dass die vergangene Änderung effizient arbeitet, und kalkuliert eine gültige Bitrate aus der Paketverlustrate in dem Schritt S1206 neu. Wenn der vergangene Paketverlust in dem Schritt S1202 nicht auftritt, wird der letzte Verlust als ein Kanalrauschen bestimmt, und die Verarbeitung geht zu dem Schritt S1204.
Wenn andererseits in dem Schritt S1201 kein Paketverlust auftritt, prüft die Netzbedingungsbestimmungseinrichtung 303 eine Verzögerungsgröße in dem Schritt S1207. Als ein Ergebnis wird, wenn die Verzögerungsgröße Schwellen "Th" überschreitet, eine gültige Bitrate aus der Verzögerungsgröße in dem Schritt S1208 kalkuliert, und das Kalkulationsergebnis wird dem Videokodierer 102 in dem Schritt S1205 mitgeteilt.
Wenn die Verzögerungsgröße die Schwellen "Th" nicht überschreitet, bestimmt die Netzbedingungsbestimmungseinrichtung 303 schließlich, dass erfolgreiche Kommunikation hergestellt ist, und ändert einen Parameter in dem Schritt S1209 nicht.
Durch Veranlassen der Netzbedingungsbestimmungseinrichtung 303, eine derartige Verarbeitung auszuführen, kann die Netzbedingungsbestimmungseinrichtung 105 eine Funktion haben, die zum Bestimmen fähig ist, ob ein Paketverlust in einem Übertragungskanal wegen Netzverstopfung auftritt oder ob ein Rau schen generiert wird, und der Verlust wegen der Beeinträchtigung eines Kanalzustands auftritt, wie etwa Funkausrüstung.
Diese Funktion ist nur als ein Beispiel vorgesehen. Wenn z.B. der vergangene Paketverlust in dem Schritt S1202 nicht auftritt, kann eine Steuerung zum Absenken einer Bitrate durch Bestimmen von Netzverstopfung an Stelle einer Bestimmung von Rauschen durchgeführt werden. Falls die aktuelle Paketverlustrate in dem Schritt 1203 merklicher als die vergangene Paketverlustrate verbessert wird, kann eine ähnliche Parameteränderung nach einer Prüfung durchgeführt werden, wie die vergangene Änderung durchgeführt wurde. Auf diese Weise kann in diesem System eine Vielfalt von Bestimmungssystemen gemäß einem Netz eingestellt werden.
In dem Vorangehenden kann, obwohl ein Beispiel gezeigt wurde, in dem der Videokodierer 102 Kodierungsverarbeitung ausführt basierend auf kodierten Parametern, bestimmt und zugewiesen in der Netzbedingungsbestimmungseinrichtung 105, eine Konfiguration für den Videokodierer 102, um einen Parameter zu bestimmen, bereitgestellt werden, ohne auf die Netzbedingungsbestimmungseinrichtung 115 begrenzt zu sein. Ein Beispiel wird in 4 gezeigt.
4 ist ein Blockdiagramm, das eine eingeschlossene Konfiguration darstellt, wenn der Videokodierer 102 einen kodierten Parameter bestimmt. In dem Fall dieses Beispiels umfasst der Videokodierer 102 eine Kodierungsparameter-Bestimmungseinrichtung 401 und einen Signalprozessor 402.
In dem Fall dieser Konfiguration ist die Netzbedingungsbestimmungseinrichtung 105 konfiguriert, die Netzbedingungsinformation 136 von der Netzbedingungsbestimmungseinrichtung 303 auszugeben, und dann die Information dem Videokodierer 102 bereitzustellen.
In einer derartigen Konfiguration stellt die Netzbedingungsbestimmungseinrichtung 105 die Netzbedingungsinformation 136, die von der Netzbedingungsbestimmungseinrichtung 303 abgegeben wird, dem Videokodierer 102 bereit. Dann gibt der Videokodierer 102 zuerst die Netzbedingungsinformation 136 zu einer Kodierungsparameter-Bestimmungseinrichtung 401 ein. Dann erkennt die Kodierungsparameter-Bestimmungseinrichtung 401 eine Netzbedingung aus dieser Netzbedingungsinformation 136, und generiert einen kodierten Parameter 431 in der Form, die für die Netzbedingung geeignet ist.
Der so generierte kodierte Parameter 431 wird zu einem Signalprozessor 402 eingegeben. Dann kodiert dieser Signalprozessor 402 das Videosignal 131, das von der Videoeingabeeinrichtung 101 eingegeben wird, durch Verwenden dieses kodierten Parameters 431.
Kodierungsinformation 432, wie etwa die Zahl von kodierten Bits nach Kodierung, wird zu der Kodierungsparameter-Bestimmungseinrichtung 401 eingegeben, und wird für die nächste Kodierungsparameterbestimmung verwendet. Kodierte Daten 132, die in dem Signalprozessor 402 kodiert werden, werden zu dem Kodierungsdatensender 103 ausgegeben.
5 ist ein Blockdiagramm, das eine Konfiguration darstellt, die eine Intrarahmen-Kodierungsbestimmungseinrichtung 501 einschließt, die Intrarahmenkodierung in der Kodierungsparameter-Bestimmungseinrichtung 401, die in 4 gezeigt wird, zwangsweise einstellt. Wie in der Figur gezeigt, umfasst die Kodierungsparameter-Bestimmungseinrichtung 401 eine Intrarahmen-Kodierungs-/Bestimmungseinrichtung 501 und eine Kodierungsparameter-Bestimmungseinrichtung 502.
In dem Fall dieser Konfiguration wird die Netzbedingungsinformation 136, die von der Netzbedingungsbestimmungseinrichtung 105 ausgegeben wird, zu der Kodierungsparameter-Bestimmungseinrichtung 502 eingegeben, die im Besitz durch die Kodierungsparameter-Bestimmungseinrichtung 401 ist. Dann wird Kodierungsparameterinformation 531 entsprechend der Netzbedingungsinformation 136 von der Kodierungsparameter-Bestimmungseinrichtung 502 ausgegeben.
Die Kodierungsparameterinformation 531 wird zu der Intrarahmen-Kodierungsbestimmungseinrichtung 501 eingegeben, und es wird bestimmt, ob Interrahmenkodierung ausgeführt wird wie sie ist oder Intrarahmenkodierung zwangsweise ausgeführt wird. Wenn sie als Intrarahmenkodierung bestimmt wird, wird die Kodierungsparameterinformation 531 so aktualisiert, um Intrarahmenkodierung auszuführen, und wird als die Kodierungsparameterinformation 431 zu dem Signalprozessor 402 des Videokodierers 102 ausgegeben.
Dadurch kann, selbst wenn die vergangenen Daten nicht richtig zu einem Empfänger übertragen werden, wenn die Daten nach einer Parameteränderung richtig empfangen werden können, ein richtiges Bild reproduziert werden.
Es ist möglich, einen Videokodierer zu konfigurieren, der zum Bestimmen einer Netzbedingung fähig ist, der Funktionen des Videokodierers 102 und der Netzbedingungsbestimmungseinrichtung 105 hat, wobei es dadurch möglich gemacht wird, die zuvor beschriebene Funktion in einem Block bereitzustellen.
Die Kodierungsparameter-Bestimmungseinrichtung 401 oder Netzbedingungsbestimmungseinrichtung 105 führt eine Bestimmung betreffend die nächste Kodierungsparametereinstellung durch. Falls jedoch eine Bildqualität wegen zeitweiliger Instabilität des Netzes plötzlich geändert wird, kann ein unklares Bild erzeugt werden. Um eine derartige Erscheinung zu unterdrücken, ist es möglich, einen Mechanismus einzubeziehen, in dem eine Änderung in einem kodierten Parameter innerhalb seines vorbestimmten Bereichs unterdrückt wird. Unter den oben beschriebenen Umständen funktioniert dieser Mechanismus effizient.
Obwohl eine Bitrate oder ein Fehlerbeständigkeitsparameter als sein kalkulierter Wert eingestellt werden kann, ist es möglich, ein Verfahren zum vorherigen Bestimmen einiger Muster, und dann Auswählen des engsten Musters von ihnen einzusetzen. An Stelle des engsten Musters ist es auch möglich, eine Auswahl der engsten Bitrate durchzuführen, die geringer als die kalkulierte Bitrate ist. Dies macht es möglich, die Generierung eines Videobildes mit seiner unerwarteten Bildqualität wegen einer Kombination einer Vielfalt von Parametern zu verhindern, und macht es möglich, eine Kombination von kodierten Parametern vorzubereiten, die zu einem gewissen Ausmaß getestet wurden.
In dem vorangehenden Beispiel wurde, wenn die Paketverlustrate nicht "0" ist oder wenn eine Verzögerung die Schwellen überschreitet, eine Steuerung derart durchgeführt, dass Parameter, wie etwa Bitrate oder Fehlerbeständigkeit, geändert werden, und die Änderung zu der zurückgesetzt wird, die für den aktuellen Zustand geeignet ist.
Nach Wiederherstellung einer Netzbedingung, wenn kein Paketverlust auftritt oder wenn eine kleine Verzögerung auftritt, ist es jedoch möglich, eine Steuerung zum Erhöhen einer Bitrate oder Verringern eines Fehlerbeständigkeitsparameters durchzuführen.
Das vorangehende Beispiel wird nachstehend gemäß einer zweiten Ausführungsform beschrieben.
(Ausführungsform der Erfindung)
6 ist eine Ansicht, die eine Basiskonfiguration einer Bildübertragungsvorrichtung gemäß der Ausführungsform der vorliegenden Erfindung zeigt. Die in 6 gezeigte Bildübertragungsvorrichtung umfasst eine Vielzahl von Medien 601, eine Kodierungsdaten-Schalteinrichtung 602, einen Kodierungsdatenselektor 603, einen Kodierungsdatensender 103, einen Netzinformationsempfänger 104 und eine Netzbedingungsbestimmungseinrichtung 105.
Die Speichermedien 601 werden verwendet, um kodierte Daten 631 über Inhalt zu speichern, der im voraus kodiert wurde. Die Speichermedien 601 speichern jedes kodierte Daten über den gleichen Inhalt, der jeweils durch unterschiedliche kodierte Parameter kodiert wurde.
Die Kodierungsdaten-Schalteinrichtung 602 wählt eines aus einer Vielzahl von Speichermedien 601, und stellt Kodierungsdaten 631, die in dem so ausgewählten Speichermedium 601 gespeichert sind, dem Kodierungsdatensender 103 bereit. Eine Auswahl der Speichermedien wird in Übereinstimmung mit Schaltinformation 632 von dem Kodierungsdatenselektor 603 ausgeführt.
Der Netzinformationsempfänger 104 hat eine Funktion, die Netzinformation 134 empfängt, wie etwa Paketverlustrate oder Jitter-Information, die von einem Empfänger oder einem Netz abgegeben wird, und die empfangene Information als Netzinformation 135 der Netzbedingungsbestimmungseinrichtung 105 bereitstellt.
Die Netzbedingungsbestimmungseinrichtung 105 bestimmt eine Netzbedingung aus der eingegebenen Netzinformation 135, und gibt das Ergebnis als Netzbedingungsinformation 136 zu dem Kodierungsdatenselektor 603 aus. Der Kodierungsdatenselektor 603 hat eine Funktion zum Schätzen, aus dieser Netzbedingungsinformation 136, welche der kodierten Daten in Kodierungsparameter für das aktuelle Netz optimal sind, und dann Ausgeben zu der Kodierungsdaten-Schalteinrichtung 603 der Schaltinformation 632, die zum Schalten verwendet wird, um kodierte Daten auszuwählen, die durch den geschätzten optimalen Kodierungsparameter veranlasst werden, als eine Ausgabe.
Die Kodierungsdaten-Schalteinrichtung 602 wählt ein Element von kodierten Daten aus den eingegebenen kodierten Daten 631 aus, und gibt kodierte Daten 132 aus.
Mit einer derartigen Konfiguration werden die kodierten Daten 631, die im voraus kodiert und in dem Speichermedium 601 oder dergleichen gespeichert sind, zu einer Kodierungsdaten-Schalteinrichtung 602 eingegeben, wenn die Daten von dem Speichermedium 601 reproduziert werden. D.h. jeweilige kodierte Daten, die durch die differenziellen Kodierungsparameter kodiert sind, werden in einer Vielzahl von Speichermedien 601 unterhalten. Als ein Ergebnis von Reproduktion dieser Elemente von Daten werden die kodierten Daten, die jeweils durch die unterschiedlichen Kodierungsparameter kodiert sind, eingegeben. Die Kodierungsdaten-Schalteinrichtung 602 wählt eines von diesen Elementen von Daten aus, und gibt es zu dem Kodierungsdatensender 103 aus.
Diese Auswahl wird in Übereinstimmung mit Schaltinformation 632 von dem Kodierungsdatenselektor 603 ausgeführt.
Andererseits wird Netzinformation 134, wie etwa Paketverlustrate oder Jitter-Information von einem Empfänger in dem Netzinformationsempfänger 104 empfangen, und dann wird die empfangene Information zu der Netzbedingungsbestimmungseinrich tung 105 abgegeben. Die Netzbedingungsbestimmungseinrichtung 105 bestimmt eine Netzbedingung aus der eingegebenen Netzinformation 135, und gibt das Ergebnis als Netzbedingungsinformation 136 zu einem Kodierungsdatenselektor 603 aus.
Der Kodierungsdatenselektor 603 schätzt, aus der Netzbedingungsinformation 136, welche der kodierten Daten der Kodierungsparameter für das aktuelle Netz optimal sind, und gibt die Schaltinformation 632 zu der Kodierungsdaten-Schalteinrichtung 602 aus.
Die Kodierungsdaten-Schalteinrichtung 602 wählt ein Element der kodierten Daten aus den eingegebenen kodierten Daten 631 aus, und gibt kodierte Daten 132 aus.
Die vorliegende Ausführungsform wird auf dem Weg eines spezifischen Beispiels beschrieben.
Angenommen nun, dass fünf Speichermedien 601a bis 601e existieren, wobei jedes darin fünf Elemente von kodierten Daten gespeichert hat, die bei 384 kbps, 128 kbps, 64 kbps, 32 kbps und 16 kbps kodiert sind.
D.h. z.B., ein Speichermedium, das darin kodierte Daten über Inhalt gespeichert hat, kodiert bei 384 kbps, ist als ein Speichermedium 601a definiert; ein Speichermedium, das darin kodierte Daten über Inhalt gespeichert hat, kodiert bei 128 kbps, ist als ein Speichermedium 601b definiert; ein Speichermedium, das darin kodierte Daten über Inhalt gespeichert hat, kodiert bei 64 kbps, ist als ein Speichermedium 601c definiert; ein Speichermedium, das darin kodierte Daten über Inhalt gespeichert hat, kodiert bei 32 kbps, ist als ein Speichermedium 601d definiert; und ein Speichermedium, das darin kodierte Daten über Inhalt gespeichert hat, kodiert bei 16 kbps, ist als ein Speichermedium 601e definiert.
In dem Fall einer Verwendung eines Übertragungskanals mit seiner Qualität, die fähig ist, bei 384 kbps übertragen zu werden, werden zuerst reproduzierte kodierte Daten durch das Speichermedium 601a ausgewählt, das ein Speichermedium ist, das darin kodierte Daten über Inhalt gespeichert hat, kodiert bei 384 kbps; eine Übertragung wird bei 384 kbps gestartet, und Empfang von Netzinformation von dem Empfänger beginnt zur gleichen Zeit.
Obwohl Netzinformation in einem vorbestimmten Intervall empfangen wird, wird, falls ein Problem mit einem Netz basierend auf der empfangenen Information auftritt, eine gültige Bitrate in einer Stufe kalkuliert, in der ein Paketverlust oder eine Verzögerung auftritt. Der Kodierungsdatenselektor 603 wählt kodierte Daten in einer Bitrate nahe zu der kalkulierten Bitrate, und die Kodierungsdaten-Schalteinrichtung 602 schaltet und überträgt die ausgewählten Daten.
Z.B. ist die kalkulierte Bitrate 140 kbps, ein Wert nahe zu dieser Bitrate ist 128 kbps. In diesem Fall wählt und schaltet die obige Schalteinrichtung kodierte Daten, die von dem Speichermedium 601b reproduziert werden, das darin kodierte Daten über Inhalt gespeichert hat, kodiert bei 128 kbps. Falls außerdem die kalkulierte Bitrate 100 kbps ist, ist ein Wert nahe zu der Bitrate, geringer als die kalkulierte Bitrate 64 kbps. In diesem Fall wählt und schaltet die Schalteinrichtung kodierte Daten, die von dem Speichermedium 601c reproduziert werden, das darin kodierte Daten über Inhalt gespeichert hat, kodiert bei 64 kbps.
Auf diese Weise wird in der vorliegenden Ausführungsform Inhalt nach Kodierung im voraus für einen Typ von Übertragungsbitrate vorbereitet, und es wird eine aktuelle optimale Übertragungsrate basierend auf Netzinformation, wie etwa Paket verlustrate oder Jitter-Information von einem Empfänger, was eine Funktion im Besitz von RTP ist, erhalten. Ein Speichermedium, das darin kodierte Daten gespeichert hat, die bei der Bitrate entsprechend dieser Übertragungsrate erhalten werden, wird durch den Schalter 602 ausgewählt, und es werden reproduzierte kodierte Daten, die von dem Speichermedium ausgegeben werden, übertragen. Auf diese Art und Weise gibt es keine Notwendigkeit für einen Server, Kodierungsverarbeitung in Echtzeit auszuführen, was es möglich macht, eine Last in dem Server zu reduzieren. Dies ist bei Verteilung eines vorher produzierten Videos, wie etwa insbesondere eine Rundsendung, sehr effektiv.
Nun wird ein modifiziertes Beispiel der Ausführungsform der Erfindung hier beschrieben. 7 ist ein Blockdiagramm, das ein Verfahren zum Ausführen einer Steuerung für eine Schaltzeitsteuerung von kodierten Daten darstellt, die in der Kodierungsdaten-Schalteinrichtung 602 einzugeben sind.
Kodierte Daten 631 werden zu der Schaltpositionserfassungseinrichtung 701 und einer Schalteinrichtung 702 eingegeben. Schaltinformation 632 wird zu der Schaltpositionserfassungseinrichtung 701 eingegeben. Falls eine Notwendigkeit auftritt, Schalten von den aktuellen kodierten Daten zu den anderen kodierten Daten gemäß der Schaltinformation 632 auszuführen, analysiert die Schaltpositionserfassungseinrichtung 701 kodierte Daten, und erfasst eine Schaltfreigabeposition.
Dies bedeutet, dass eine Suche nach einem Rahmen durchgeführt wird, der durch Intrarahmenkodierung kodiert ist (I-Bild).
Wenn die Schaltfreigabeposition eingestellt ist, wird eine Instruktion zum Schalten kodierter Daten der Schalteinrichtung 702 durch Verwenden der Schaltinstruktionsinformation 731 zugeführt. 8 zeigt ein Beispiel dieser Instruktion.
Es wird angenommen, dass gegenwärtig kodierte Daten A ausgewählt sind, und eine Notwendigkeit auftritt, Schalten zu kodierten Daten B gemäß der Schaltinformation 632 auszuführen.
In dieser Stufe wird angenommen, dass ein Rahmen zur Zeit von "Schaltinstruktion" verarbeitet wird, die in 8 gezeigt wird. Falls in einem derartigen Fall kodierte Daten geschaltet werden, tritt ein nicht angepasstes Bild auf. Dies geschieht, da eine Differenz von dem vorherigen Bild in Intrarahmenkodierung (P-Bild) kodiert ist. Falls kodierte Daten zur Zeit eines P-Bildes geschaltet werden, wird deshalb ein Versuch unternommen, das nächste Bild (Bild P11 von kodierten Daten (B)) durch Verwenden eines unmittelbar vorangehenden Bildes (dekodiertes Bild I11 von Kodierungsdaten (A)) zu reproduzieren. Dies stellt ein Problem dar, dass ein richtiges dekodiertes Bild nicht erhalten werden kann, und ein Bild zerstört wird. Somit tritt eine Notwendigkeit auf, Schalten in einer Zeitsteuerung eines Bildes von Intrarahmenkodierung (I-Bild) auszuführen, das Kodierung durch nur diesen Rahmen unterzogen wird. Diese Zeitsteuerung ist als eine Zeitsteuerung in einer Position definiert, die mit "Schalten ausführen" markiert ist.
Wie in 9 wird ein Fall betrachtet, in dem die Zahl von Rahmen oder Zeitposition abhängig von kodierten Daten differiert. In diesem Fall wird ebenso eine Schaltfreigabeposition von kodierten Daten in einem Schaltziel erfasst, und Schalten von kodierten Daten wird ausgeführt, wenn die Schaltfreigabeposition eingestellt ist.
In der Schaltpositionserfassungseinrichtung 701, die in 7 gezeigt wird, ist es möglich, wenn eine Notwendigkeit auftritt, Schalten gemäß der Schaltinformation 632 auszuführen, ein Verfahren zum zeitweiligen Stoppen einer Ausgabe 132 zu dem Kodierungsdatensender 103, und dann Ausgeben neuer ko dierter Daten zu dem Kodierungsdatensender 103 in einer Stufe, in der die Schaltposition eingestellt ist, einzusetzen.
Dieses Verfahren ist effektiv, wenn es notwendig ist, einen Pufferüberlauf oder dergleichen durch Schalten von kodierten Daten zu unterdrücken. Wenn ein Unterlauf problematisch ist, wird ein Füllbit zwangsweise eingefügt, wobei es dadurch möglich gemacht wird, einem derartigen Unterlauf entgegenzuwirken.
(Zweites Beispiel)
Nun wird hier ein zweites Beispiel gemäß der vorliegenden Erfindung beschrieben.
Das vorliegende Beispiel beschreibt eine beispielhafte Konfiguration einer Kodierungsparameter-Bestimmungseinrichtung 401 des Videokodierers 102, der in 4 gezeigt wird, gemäß dem ersten Beispiel, wenn ein Zeitintervall (GOP-Intervall) zwischen Rahmen, die in einem Intrarahmen-Kodierungsmodus kodiert sind, basierend auf der Netzbedingungsinformation 136 abgestimmt wird, die von der Netzzustandsbestimmungseinrichtung 105 ausgegeben wird. Hier wird eine Beschreibung gegeben, die sich auf Unterschiede zu der ersten Ausführungsform konzentriert.
13 zeigt eine beispielhafte Konfiguration der Kodierungsparameter-Bestimmungseinrichtung 401. Diese Einrichtung umfasst einen GOP-Intervallkalkulator (GOP-Intervallkalkulator) 1501 und eine Kodierungsparameter-Bestimmungseinrichtung 502.
Die Netzbedingungsinformation 136, die von der Netzbedingungsbestimmungseinrichtung 105 ausgegeben wird (einschließlich mindestens Paketverlustrateninformation) wird zu einer Kodierungsparameter-Bestimmungseinrichtung 502 eingegeben. Die Parameterbestimmungseinrichtung 502 gibt Paketverlustrateninformation 1531 der Netzbedingungsinformation 136 zu dem GOP-Intervallkalkulator 1501 ein. Der GOP-Intervallkalkulator 1501 kalkuliert ein GOP-Intervall aus der Paketverlustrateninformation 1531. Die GOP-Intervallinformation 1532 wird der Kodierungsparameter-Bestimmungseinrichtung 401 mitgeteilt. Die Kodierungsparameter-Bestimmungseinrichtung 401 gibt Kodierungsparameterinformation 431 aus, die die eingegebene GOP-Intervallinformation 1532 enthält. Wenn intern generierte Parameterinformation existiert, gibt die Kodierungsparameter-Bestimmungseinrichtung 401 GOP-Intervallinformation 1532 und Kodierungsparameterinformation 431 aus, die die intern generierte Parameterinformation enthält.
14 zeigt ein Beispiel eines Verfahrens zum Bestimmen eines GOP-Intervalls in dem GOP-Intervallkalkulator.
In dem Schritt S1601 wird bestimmt, ob ein Paketverlust auftritt oder nicht, aus der Netzbedingungsinformation 136. Wenn ein derartiger Paketverlust auftritt, wird das GOP-Intervall durch die nachstehende Formel (3) z.B. in dem Schritt 1602 geschätzt. Gop = (TN – TL)/{(FN – FL)·r} (3)wobei "gop" ein GOP-Intervall bezeichnet, "r" eine Paketverlustrate bezeichnet, FN eine Gesamtzahl von aktuellen Rahmen bezeichnet, FL eine Gesamtzahl von Rahmen während einer vergangenen Kalkulation bezeichnet, TN eine Zeit bezeichnet und TL eine Zeit während einer vergangenen Kalkulation bezeichnet.
Das GOP-Intervall, das in dem Schritt S1602 erhalten wird, wird dem Signalprozessor 402 in dem Schritt S1603 mitgeteilt, und Kodierung wird basierend auf dem mitgeteilten Wert ausgeführt.
Wenn andererseits in dem Schritt S1601 kein Paketverlust aufgetreten ist, werden die Vorgabe-GOP-Schwellen in dem Schritt S1604 ausgelesen. In dem Schritt S1603 wird dieser Wert dem Signalprozessor 402 mitgeteilt.
Gemäß dem vorliegenden Beispiel ist es möglich, das GOP-Intervall zu einem Wert dynamisch zu ändern, der für ein Netz geeignet ist. Auf diese Art und Weise wird, wenn eine kleine Zahl von Fehlern auftritt, das GOP-Intervall erhöht, wobei es dadurch möglich gemacht wird, verschwenderische Intrarahmenkodierungsmodi in der Zahl zu reduzieren. Wenn im Gegensatz dazu eine große Zahl von Fehlern auftritt, wird das GOP-Intervall verringert, und ein Rahmen in dem Intrarahmen-Kodierungsmodus erscheint schnell, wobei es dadurch möglich gemacht wird, Wiedergewinnung zu beschleunigen. In dem vorliegenden Beispiel ist es möglich, einen Intrarahmen-Kodierungsmodus effizient auszuwählen.
15 zeigt ein anderes Beispiel eines Verfahrens zum Bestimmen eines GOP-Intervalls in dem GOP-Intervallkalkulator in Übereinstimmung mit einem Flussdiagramm.
Selbst wenn in in diesem Beispiel Paketverlust geringer als der in dem in 14 gezeigten System ist, wird die Netzbedingung aus der vergangenen Historie von Paketverlust in dem Schritt 1704 geschätzt, und es wird ein optimales GOP-Intervall kalkuliert. Diese Technik macht es möglich zu schätzen, ob ein Netz vollständig frei von einem Fehler ist oder einem Fehler auftreten kann, durch Prüfen der vergangenen Historie, an Stelle eines Rücksetzens des GOP-Intervalls auf den Vorgabewert durch Bestimmen, dass in einem Moment kein Paketver lust auftritt. Auf diese Art und Weise ist es möglich, die Netzbedingung genauer zu bestimmen.
16 zeigt noch ein anderes Beispiel eines Verfahrens zum Bestimmen eines GOP-Intervalls in dem internen GOP-Kalkulator in Übereinstimmung mit einem Flussdiagramm.
In diesem Beispiel wird das GOP-Intervall durch ein eindeutiges Kalkulationssystem an Stelle einer Bestimmung basierend auf der Anwesenheit/Abwesenheit eines Paketverlustes bestimmt. Dieses System kann verwendet werden, um das GOP-Intervall aus der aktuellen Paketverlustrate in Übereinstimmung mit einer einzelnen Formel zu bestimmen oder das am meisten geeignete GOP-Intervall durch Prüfen der vergangenen Historie zu bestimmen.
Die folgende Formel (4) zeigt ein Beispiel einer Kalkulationsformel zum Bestimmen des GOP-Intervalls. Gop = [(TN – TL)/{(FN – FL)·r}]·α (4)wobei "gop" ein GOP-Intervall bezeichnet, "r" eine Paketverlustrate bezeichnet, α einen Empfindlichkeitskoeffizienten bezeichnet, FN eine Gesamtzahl von aktuellen Rahmen bezeichnet, FL eine Gesamtzahl von Rahmen während einer vergangenen Kalkulation bezeichnet, TN eine aktuelle Zeit bezeichnet und TL eine Zeit während einer vergangenen Kalkulation bezeichnet.
In diesem Beispiel wird das GOP-Intervall, das aus einem tatsächlichen Wert kalkuliert wird, mit einem Empfindlichkeitskoeffizienten multipliziert, wobei es dadurch möglich gemacht wird, eine Anforderung zum Beschleunigen von Wiedergewinnung durch Opfern von Effizienz oder eine Anforderung, wenn es nicht wichtig ist, selbst wenn ein Effekt eines Fehlers etwas ausgedehnt wird, zu erfüllen. Falls z.B. der Empfindlichkeitskoeffizient α eingestellt ist, kleiner als 1 zu sein, wird ein GOP-Intervall, das kleiner als das ist, das aus einem tatsächlich gemessenen Wert kalkuliert wird, ausgegeben. Obwohl die Effizienz geopfert wird, wenn ein Fehler auftritt, ist es auf diese Art und Weise möglich, Wiedergewinnung schneller zu schätzen.
Das vorliegende Beispiel ist nicht auf Formeln (3) und (4) begrenzt. Zum Beispiel wird in diesen Formeln ein Wert durch Verwenden eines Inkrementes während vergangener Kalkulation kalkuliert, und anschließend ist es möglich, den Wert durch Nehmen eines Spielraums, wie etwa das n vorangehende Inkrement, zu kalkulieren. Auf diese Art und Weise ist es möglich, eine allmähliche Änderung zu bewältigen, die in einer Änderung in einem detaillierten Zustand verborgen ist, oder eine zeitweilige Änderung zu einem gewissen Ausmaß zu beseitigen. Ähnlich sind Algorithmen nicht auf jene in der vorliegenden Ausführungsform gezeigten begrenzt.
Die vorangehende Ausführungsform hat eine beispielhafte Konfiguration beschrieben, wenn ein Zeitintervall (GOP-Intervall) abgestimmt wird, wobei das Zeitintervall zwischen den Rahmen ist, die in dem Intrarahmen-Kodierungsmodus kodiert sind, basierend auf der Netzbedingungsinformation 136 in der Kodierungsparameter-Bestimmungseinrichtung 401 des in 4 gezeigten Videokodierers 102 gemäß der ersten Ausführungsform. Alternativ kann eine Konfiguration vorgesehen werden, in der die Netzbedingungsbestimmungseinrichtung 105 gemäß dem ersten Beispiel (1, 2 oder 3) ein Zeitintervall (GOP-Intervall) bestimmt, kodiert in dem Intrarahmen-Kodierungsmodus basierend auf Information von der Netzinformation oder Information von dem Netzinformationsempfänger 104 und Information von dem Videokodierer 102, und das kodierte Zeitintervall dem Bildkodierer 102 bereitstellt.
Wie in dem ersten Beispiel beschrieben, ist es möglich, einen Videokodierer zu konfigurieren, der zum Bestimmen einer Netzbedingung fähig ist, wobei der Videokodierer Funktionen des Videokodierers 102 und der Netzbedingungsbestimmungseinrichtung 105 hat, wobei dadurch die zuvor beschriebenen Funktionen in einem Block bereitgestellt werden.
In dem vorangehenden nutzt kurz gesagt die vorliegende Erfindung, obwohl eine Vielfalt von Beispielen beschrieben wurde, Charakteristika von RTP, und umfasst ein System (RTCP) zum Mitteilen von Netzzustandsinformation, wie etwa Jitter oder Paketverlustrate, von einem Sender oder Empfänger. In dem Sender wird eine Bitrate von Übertragungsdaten in dem Sender abgestimmt gemäß einem Übertragungszustand eines Übertragungskanals basierend auf der Mitteilung von Netzzustandsinformation, die von dem Empfänger erlangt wird, in dem Sender, wie etwa Jitter oder Paketverlustrate, sodass eine Steuerung, wie etwa eine Änderung des Fehlerbeständigkeitsgrades, ausgeführt werden kann. Gemäß der oben beschriebenen vorliegenden Erfindung können deshalb Daten effizient zu dem Maximum so übertragen werden, um ebenso eine Datenübertragung zu erreichen, die es möglich macht, Übertragung vollständig zu nutzen, die Echtzeiteigenschaften erfordert.
Die in den Beispielen der vorliegenden Erfindung beschriebenen Techniken können verteilt werden, um als ein computerlesbares Programm in einem Aufzeichnungsmedium gespeichert zu sein, wie etwa einer magnetischen Platte (wie etwa einer flexiblen Platte oder einer Festplatte); einer optischen Platte (wie etwa CD-ROM, CD-R, CD-RW, DVD oder MO), und einem Aufzeichnungsmedium, wie etwa einem Halbleiterspeicher. Ferner kann das obige Programm mittels Übertragung über ein Netz verteilt werden.
Gemäß der vorliegenden Erfindung ist es möglich, eine Netzbedingung zu bestimmen, und dann einen Kodierungsparameter optimal einzustellen. Wenn ein Paketverlust, der durch Verstopfung verursacht wird, und ein Verlust eines Kanalfehlers gemeinsam in einem Netz existieren, ist es außerdem möglich, den Verlust zu bestimmen, und dann einen Parameter einzustellen.
Deshalb kann gemäß der vorliegenden Erfindung eine Datenübertragungsvorrichtung bereitgestellt werden, in der Daten effizient zu dem Maximum so übertragen werden können, um Datenübertragung zu erreichen, die es möglich macht, Übertragung vollständig zu nutzen, die Echtzeiteigenschaften erfordert.

Claims

Bildübertragungsvorrichtung, umfassend: eine Vielzahl von Medien (601), angeordnet, jeweils viele video-kodierte Daten zu speichern, die vielen video-kodierten Daten jeweils generiert durch Kodieren des gleichen Inhalts in unterschiedlichen Bitraten durch Verwenden unterschiedlicher Kodierungsparameter; eine Kodierungsdatenschalteinrichtung (602), angeordnet, die Vielzahl von Speichermedien (601) selektiv umzuschalten, um eines der Speichermedien auszuwählen und video-kodierte Daten (631) vorzusehen, die auf dem ausgewählten Speichermedium (601) gespeichert sind, wobei die Auswahl von Netzbedingungsinformation abhängig ist, die sie angeordnet ist zu empfangen; und einen Kodierungsdatensender (103) zum Übertragen der video-kodierten Daten, die durch die Kodierungsdatenschalteinrichtung (602) ausgewählt sind.
Bildübertragungsvorrichtung nach Anspruch 1, in der die Kodierungsdatenschalteinrichtung (602) angeordnet ist, die Medien (601) zu einem umzuschalten, das Daten speichert, die in einer Bitrate kodiert sind, die für die Netzbedingung optimal ist, wenn sie die Netzbedingungsinformation empfängt.
Bildübertragungsvorrichtung nach Anspruch 1 oder 2, in der die Kodierungsdatenschalteinrichtung (602) angeordnet ist, die Medien (601) in einer Zeitsteuerung eines Bildes von Intrarahmenkodierung umzuschalten.
Bildübertragungsvorrichtung nach einem beliebigen vorangehenden Anspruch, ferner enthaltend einen Kodierungsdatenselektor (603) zum Schätzen, aus der Netzbedingungsinformation (136), welche der video-kodierten Daten der Kodierungsparameter optimal für das aktuelle Netz sind, um Schaltinformation (632) zu der Kodierungsdatenschalteinrichtung (602) auszugeben.
Bildübertragungsvorrichtung nach Anspruch 4, ferner enthaltend eine Netzbedingungsbestimmungseinrichtung (105) zum Bestimmen einer Netzbedingung aus Netzinformation (135), um ein Schätzungsergebnis als die Netzbedingungsinformation (136) zu dem Kodierungsdatenselektor (603) auszugeben.
Bildübertragungsvorrichtung nach Anspruch 3, in der die Kodierungsdatenschalteinrichtung (602) eine Schaltpositionserfassungseinrichtung (701) zum Analysieren der video-kodierten Daten enthält, um eine Schaltfreigabeposition zu erfassen, in der ein Rahmen, der durch Intrarahmenkodierung kodiert ist, gesucht wird und Schaltinstruktionsinformation (731) auszugeben, und eine Schalteinrichtung (702) zum Umschalten der kodierten Daten gemäß der Schaltinstruktionsinformation (731).