DE69727100T2

DE69727100T2 - Vorrichtung und Verfahren zur Indexierung zwischen Videodatenfolgen mit Trick- und Normalwiedergabe in einem Videoverteilsystem

Info

Publication number: DE69727100T2
Application number: DE1997627100
Authority: DE
Inventors: Michael A. Los Gatos Demoney
Original assignee: Sun Microsystems Inc
Current assignee: Sun Microsystems Inc
Priority date: 1996-06-05
Filing date: 1997-06-04
Publication date: 2004-11-18
Anticipated expiration: 2017-06-05
Also published as: EP0812112A2; EP0812112A3; US6065050A; JPH1075436A; EP0812112B1; DE69727100D1; JP4589466B2

Description

TECHNISCHER HINTERGRUND DER ERFINDUNG
Technisches Gebiet der Erfindung
Die vorliegende Erfindung betrifft im allgemeinen die Videobelieferungs- und Video-On-Demand-Systeme und insbesondere ein Videoserversystem und ein Verfahren für die Indexierung zwischen Videoströmen mit unterschiedlichen Darstellungsgeschwindigkeiten, d. h. Videoströme mit normaler Abspielgeschwindigkeit, schnellem Vorlauf und schnellem Rücklauf.
Beschreibung des relevanten Standes der Technik
Video-On-Demand- oder Videobelieferungssysteme ermöglichen es einer Mehrzahl von Benutzern oder Zuschauern, selektiv Filme oder andere Audio-/Videosequenzen zu sehen, die auf einem oder mehreren Videoservern oder Medienservern abgelegt sind. Die Videoserver sind über Datentransferkanäle, wie z. B. ein Ausstrahlungskabelsystem oder ein Satellitenausstrahlungssystem, mit der Mehrzahl von Benutzern oder Teilnehmern verbunden. Die Videoserver speichern eine Mehrzahl von Filmen oder andere Audio-/Videosequenzen und jeder Benutzer kann einen oder mehrere Filme von dem Videoserver für die Betrachtung auswählen. Jeder Benutzer bezieht einen Fernseher oder eine andere Betrachtungseinrichtung ein sowie eine verknüpfte Decodierungslogik für das Auswählen und Betrachten der gewünschten Filme. Wenn ein Benutzer einen Film auswählt, wird der ausgewählte Film auf einem der Datentransferkanäle zu dem Fernseher des entsprechenden Benutzers übertragen.
Ein digitales Full-Motion-Video erfordert einen großen Speicherplatz und eine große Datenübertragungsbandbreite. Somit verwenden Video-On-Demand-Systeme verschiedene Typen von Videokomprimierungsalgorithmen, um den notwendigen Speicherplatz und die Datenübertragungsbandbreite zu reduzieren. Im allgemeinen existieren unterschiedliche Videokomprimierungsverfahren für stillstehende Grafikbilder und für Full-Motion-Videos. Videokomprimierungsverfahren für stillstehende Grafikbilder oder einzelne Videobilder werden als Intraframe- bzw. Intraeinzelbildkomprimierungsverfahren bezeichnet und Komprimierungsverfahren für bewegtes Video werden als Interframe- bzw. Intereinzelbildkomprimierungsverfahren bezeichnet.
Beispiele für die Datenkomprimierung für stillstehende Grafikbilder sind die RLE-(Lauflängencodierung) und die JPEG-(Joint Photographic Experts Group)Komprimierung. Das RLE-Komprimierungsverfahren funktioniert durch Suchen nach duplizierten Pixeln in einer einzelnen Zeile der Bitmap und durch Speichern der Anzahl von aufeinanderfolgenden duplizierten Pixeln statt den Daten für das Pixel selbst. Die JPEG-Komprimierung ist eine Gruppe von in Beziehung stehenden Normen, die entweder verlustfreie (keine Bildqualitätverschlechterung) oder verlustbehaftete (eine starke Verschlechterung ist nicht wahrnehmbar) Komprimierungstypen zur Verfügung stellen. Obgleich die JPEG-Komprimierung ursprünglich für die Komprimierung von stehenden Bildern anstelle von Video konstruiert wurde, wird die JPEG-Komprimierung in einigen bewegten Videoapplikationen verwendet.
Im Gegensatz zu den Komprimierungsalgorithmen für stillstehende Bilder sind die meisten Videokomprimierungsalgorithmen dafür vorgesehen, Full-Motion-Videos zu komprimieren. Die Videokomprimierungsalgorithmen für bewegtes Video verwenden ein Konzept, das als Interframe- bzw. Intereinzelbildkomprimierung bezeichnet wird, was die Speicherung nur der Unterschiede zwischen aufeinanderfolgenden Einzelbildern in dem Datenfile beinhaltet. Die Interframekomprimierung speichert das gesamte Bild eines Schlüsseleinzelbildes oder eines Referenzeinzelbildes im allgemeinen in einem mittelgradig komprimierten Format. Nachfolgende Einzelbilder werden mit dem Schlüsseleinzelbild verglichen und nur die Unterschiede zwischen dem Schlüsseleinzelbild und den nachfolgenden Einzelbildern werden gespeichert. Periodisch werden, wenn z. B. neue Szenen angezeigt werden, neue Schlüsseleinzelbilder gespeichert und die darauffolgenden Vergleiche beginnen von diesem Referenzpunkt. Es sei bemerkt, daß das Interframekomprimierungsverhältnis konstant gehalten werden kann, während die Videoqualität variiert. Alternativ können die Interframekomprimierungsverhältnisse inhaltsabhängig sein, d. h. wenn der zu komprimierende Videoclip viele abrupte Szenenübergänge von einem Bild zu einem anderen Bild beinhaltet, ist die Komprimierung weniger effizient. Beispiele der Videokomprimierung, die eine Interframekomprimierungstechnik verwenden, sind u. a. MPEG, DVI und Indeo.
MPEG-Hintergrund
Ein Komprimierungsstandard, der als MPEG-(Moving Pictures Experts Group)Komprimierung bezeichnet wird, ist ein Satz von Verfahren für die Komprimierung und Dekomprimierung von Full-Motion-Videobildern, die die oben beschriebene Interframekomprimierungstechnik verwenden. Die MPEG-Komprimierung verwendet sowohl Bewegungskompensationsprozesse als auch diskrete Kosinustranformationsprozesse (DCT) und kann Komprimierungsverhältnisse von mehr als 200 : 1 erzielen.
Ein allgemeiner Hintergrund hierzu und mehr Informationen über MPEG kann in der ISO/IEC-MPEG-Beschreibung gefunden werden, die als ISO/IEC 13818 bezeichnet wird. Der MPEG-Standard erfordert, daß Ton simultan mit den Videodaten aufgezeichnet ist, und die Video- und Audiodaten werden in einem einzigen File verschachtelt (interleaved), um Video und Audio während des Abspielens synchronisiert zu halten. Typischerweise sind die Audiodaten ebenso komprimiert und der MPEG-Standard spezifiziert ein Audiokomprimierungsverfahren, wie z. B. MPEG Layer II, was ebenso bekannt ist durch den Handelsnamen "MUSICAM" von Philips.
Ein MPEG-Strom beinhaltet drei Bildtypen, bezeichnet als das Intraframe bzw. Intraeinzelbild (I), das vorhergesagte Frame bzw. vorhergesagte Einzelbild (P) und das bidirektional interpolierte Frame bzw. Einzelbild (B). Die I- oder Intraeinzelbilder enthalten die Videodaten für das gesamte Videoeinzelbild und werden typischerweise alle 10 bis 15 Einzelbilder plaziert. Intraframes stellen Einfügepunkte in das File für den Direktzugriff zur Verfügung und werden im allgemeinen nur mittelgradig komprimiert. Vorhergesagte Einzelbilder werden unter Bezug auf ein vergangenes Einzelbild, d. h. ein vorheriges Intraframe oder vorhergesagtes Frame, codiert. Die P-Frames beinhalten somit nur Veränderungen relativ zu vorherigen I- oder P-Frames. Im allgemeinen enthalten vorhergesagte Einzelbilder eine ziemlich hohe Komprimierung und werden als Referenzen für zukünftige vorhergesagte Einzelbilder verwendet. Somit werden sowohl I- als auch P-Einzelbilder als Referenzen für nachfolgende Einzelbilder verwendet. Bidirektionale Bilder beinhalten die größte Komprimierungsmenge und erfordern sowohl eine Referenz in die Vergangenheit als auch in die Zukunft, um codiert zu werden. Bidirektionale Einzelbilder werden nicht als Referenzen für andere Einzelbilder verwendet.
Nachdem die I-Einzelbilder erzeugt wurden, teilt der MPEG-Codierer jedes I-Frame in ein Gitter einer geeigneten Größe auf, z. B. 16 × 16 Pixelquadrate, die Makroblöcke genannt werden. Das entsprechende I-Frame wird in Makroblöcke unterteilt, um die Bewegungskompensation durchzuführen. Jedes der nachfolgenden Bilder nach dem I-Frame wird ebenso in diese gleichen Makroblöcke unterteilt. Der Codierer sucht dann nach einer exakten oder nahezu exakten Übereinstimmung zwischen dem Makroblock des Referenzbildes und denjenigen in nachfolgenden Bildern. Wenn eine Übereinstimmung gefunden wird, überträgt der Codierer einen Vektorbewegungscode oder einen Bewegungsvektor. Der Vektorbewegungscode oder der Bewegungsvektor beinhaltet nur Information über den Unterschied zwischen dem Referenzeinzelbild und den entsprechenden nachfolgenden Bildern. Die Blöcke in nachfolgenden Bildern, die keine Veränderung relativ zu dem Block in dem Referenzbild oder Frame haben, werden ignoriert. Im allgemeinen unterscheiden sich für das Einzelbild (die Einzelbilder), die einem Referenzeinzelbild folgen, d. h. P- und B-Frames, die einem I- oder P-Referenzframe folgen, nur kleine Abschnitte dieser Einzelbilder bzw. Frames von den entsprechenden Abschnitten des jeweiligen Referenzeinzelbildes. Somit werden für diese Einzelbilder nur die Unterschiede festgehalten, komprimiert und gespeichert. Somit ist die Datenmenge, die tatsächlich für diese Einzelbilder gespeichert wird, signifikant reduziert.
Nachdem die Bewegungsvektoren erzeugt wurden, verfolgt der Codierer die Veränderungen unter Verwendung der örtlichen Redundanz. Somit reduziert der MPEG-Algorithmus nach dem Auffinden der Veränderungen an dem Ort der Makroblöcke die Daten weiter durch Beschreiben des Unterschiedes zwischen entsprechenden Makroblöcken. Dies wird verwirklicht durch einen mathematischen Prozeß, der als diskrete Kosinustransformation oder DCT bezeichnet wird. Dieser Prozeß unterteilt den Makroblock in eine geeignete Anzahl von Unterblöcken, z. B. vier Unterblöcke, was Veränderungen in der Farbe und Helligkeit ausfindig macht. Das menschliche Wahrnehmungsvermögen ist empfindlicher gegenüber Helligkeitsveränderungen als gegenüber Farbveränderungen. Somit widmet der MPEG-Algorithmus der Reduktion des Farbraumes mehr Anstrengung als der Helligkeit.
Jedes Bild oder Einzelbild beinhaltet ebenso eine Bildkopfzeile, die das Einzelbild identifiziert und Informationen für dieses Einzelbild enthält. MPEG-Standard beinhaltet ebenso Sequenzkopfzeilen, die den Beginn einer Videosequenz identifizieren. Sequenzkopfzeilen werden nur einmal vor dem Beginn einer Videosequenz benötigt. Der MPEG-2-Standard erlaubt es jedoch, daß eine Sequenzkopfzeile vor jedem I-Einzelbild oder P-Einzelbild übertragen wird. Die Sequenzkopfzeile bein haltet Informationen, die für die Videosequenz relevant sind, einschließlich der Einzelbildrate und der Bildgröße und anderer Information. MPEG-Videoströme, die in digitalen Fernsehanwendungen verwendet werden, beinhalten im allgemeinen eine Sequenzkopfzeile vor jedem I-Frame und P-Frame. Dies ist notwendig, um das Kanalsurfen zwischen unterschiedlichen Videokanälen zu erleichtern, was eine wichtige Benutzeranforderung ist. Im allgemeinen kann, wenn ein Benutzer zu einem neuen Kanal wechselt, das Video für den neuen Kanal nicht angezeigt werden, bis die nächste Sequenzkopfzeile in dem Strom erscheint. Dies liegt daran, daß die Sequenzkopfzeile wichtige Information über die Videosequenz beinhaltet, die der Decoder benötigt, bevor die Sequenz angezeigt werden kann. Wenn eine Sequenzkopfzeile nicht vor jedem I-Frame und/oder P-Frame eingefügt wäre, könnte, wenn der Benutzer zu einem neuen Kanal wechseln würde, das Video für den neuen Kanal möglicherweise nicht sofort angezeigt werden, d. h. das Video könnte bis zur nächsten Sequenzkopfzeile nicht angezeigt werden.
Die Sequenzkopfzeilen in einem MPEG-codierten Strom beinhalten Darstellungszeitstempel oder eine Zeitbasis innerhalb des codierten Stromes. Zeitstempel stellen einem Benutzer eine Zeitreferenz relativ zu dem Beginn eines Filmes zur Verfügung, was es dem Benutzer erlaubt, eine Sequenz, die mitten im Film lokalisiert ist, genau auszuwählen oder zu identifizieren, ohne Bezug auf den Filmbeginn zu nehmen.
Trick-Play-Ströme
In einem interaktiven Video-On-Demand-(VOD-) oder nahezu Video-On-Demand-(NVOD-)System ist es für den Benutzer sehr wünschenswert, in der Lage zu sein, selektiv einen schnellen Vorlauf und/oder einen schnellen Rücklauf durch den Film, der betrachtet wird, zu initiieren. Daher beinhalten einige Video-On-Demand-Systeme für jeden Film schnelle Vorlauf- und schnelle Rücklaufströme, die als Trick-Play-Ströme bezeichnet werden. Wenn der Benutzer wünscht, sich in einem Film mit schnellem Vorlauf oder schnellem Rücklauf zu bewegen, wählt der Benutzer die schnelle Vorlauf- oder schnelle Rücklaufoption. Der entsprechende schnelle Vorlauf- oder schnelle Rücklauf-Trick-Play-Strom wird dann zu dem Benutzer an dem geeigneten Punkt übertragen, wo der Benutzer den Film betrachtete, anstelle des normalen Abspielstroms, wodurch somit ein schneller Vorlauf oder ein schneller Rücklauf des betrachteten Films simuliert wird. Typischerweise wird ein einzelner Videostrom, wie z. B. ein Film, mit unterschiedlichen Darstellungsgeschwindigkeiten codiert, um es dem Videofile zu erlauben, zusätzlich zu der normalen Abspieldarstellungsgeschwindigkeit in der schnellen Vorlauf- oder schnellen Rücklaufgeschwindigkeit zu arbeiten.
Indexierung
Interaktive Video-On-Demand-Systeme, die Trick-Play-Ströme beinhalten, erfordern Verfahren für die Indexierung zwischen dem normalen Abspielstrom und den Trick-Play-Strömen sowie auch für die Indexierung zwischen den Trick-Play-Strömen. Mit anderen Worten, wenn ein Benutzer sich einen Film ansieht und auswählt, für eine bestimmte Zeitperiode einen schnellen Vorlauf zu aktivieren, wird ein Mechanismus für den Videoserver benötigt, um von dem normalen Abspielstrom zu dem geeigneten Punkt oder Einzelbild in dem schnellen Vorlaufstrom zu wechseln. Wenn der Benutzer dann wünscht, das Ansehen mit normaler Abspielgeschwindigkeit wiederaufzunehmen, wird ebenso ein Mechanismus für den Videoserver benötigt, von dem in dem schnellen Vorlaufstrom angesehenen Einzelbild zu dem entsprechenden Punkt oder Einzelbild in dem normalen Abspielstrom zu wechseln. Der Videoserver muß somit in der Lage sein, die geeigneten Positionen innerhalb der Videofiles zu bestimmen, wenn eine Schaltung bei der Ausgabe eines ersten Videofiles bei einer ersten Darstellungsrate zu einem zweiten Videofile mit einer zweiten Darstellungsrate auftritt.
Ein Ansatz für die Indexierung zwischen normalem Abspielstrom und Trick-Play-Strom beinhaltet die Verwendung von Nachschlagtabellen, um eine Indexierung zwischen den verschiedenen Strömen durchzuführen. Die Nachschlagtabellen beinhalten jeweils eine Mehrzahl von Indizes, die auf entsprechende Positionen oder I-Frames in den verschiedenen Strömen Bezug nehmen. Beispielsweise kann die Indexnachschlagtabelle unter Verwendung der MPEG-Darstellungszeitstempel von den Sequenzkopfzeilen des normalen Abspielstroms erzeugt werden.
Ein Nachteil dieses Ansatzes ist der, daß die MPEG-Darstellungszeitstempel nicht immer verfügbar sein müssen. Beispielsweise gibt es keine Anforderung, daß die MPEG-Darstellungszeitstempel kontinuierlich sind; z. B. könnte es Abbrüche oder Lücken in den Darstellungszeitstempeln geben.
Ein anderes Problem ist es, daß Darstellungszeitstempel darstellungsbasiert sind. Somit werden, wenn ein schneller Vorlaufstrom, der fünfmal so schnell ist, abgespielt wird, die Darstellungszeitstempel nicht fünfmal schneller vorrücken, sondern mit derselben Geschwindigkeit vorrücken, wie sie es im normalen Abspielstrom tun. Somit ist es in diesem Verfahren für den Server erforderlich, Berechnungen auf den Darstellungszeitstempeln durchzuführen, um den entsprechenden Ort in einem anderen Strom zu bestimmen. Dies erhöht die Echtzeitverarbeitungsbelastung auf dem Medienserver.
Dieser Ansatz erfordert ebenso, daß jeder Decoder intelligent ist, und weiterhin erfordert es, daß der Medienserver mit dem Decoder wechselwirkt, um die Wechsel zwischen den Strömen zu verwirklichen. Beispielsweise wird es, wenn der Benutzer die schnelle Vorlauf- oder schnelle Rücklaufoption auswählt, in diesem Verfahren erforderlich sein, daß der Decoder Information hinsichtlich des jeweiligen Darstellungszeitstempels zu dem Medienserver zurückgibt, betreffend die Positionen, wo der Decoder seine Abspielung beendete sowie auch die Darstellungsgeschwindigkeit des abgespielten Stromes betreffend. Der Medienserver verwendet dann diese Information, um den geeigneten Darstellungszeitstempelort zu bestimmen, um das Abspielen in dem neuen Strom zu beginnen. Diese Anforderung, daß der Decoder mit dem Medienserver wechselwirkt, um Stromschaltungen zu verwirklichen sowie die Berechnungen, die von dem Medienserver durchgeführt werden müssen, erhöhen den Overhead des Systems. Die Wechselwirkung zwischen dem Medienserver und dem Decoder erfordert ebenso, daß jeder Decoder intelligent ist, was die Kosten jedes Decoders erhöht.
Ein solcher Ansatz basierend auf den MPEG-Darstellungszeitstempeln ist das "Picture Number, Presentation Time Stamp, File Offset"-Format von HP für jeden Tabelleneintrag. Leider sind nicht alle Codierungsformate MPEG-basiert. Weiterhin kann die genaue Abbildung zwischen Dar stellungsraten nur verwirklicht werden, wenn die zugrundeliegende Annahme, daß die Darstellungsrate ein konstantes Verhältnis ist, d. h. man nimmt an, daß der codierte Videostrom eine gleichförmige Einzelbildrate hat, zutreffend ist. Umgekehrt deaktiviert eine gleichförmige Einzelbildrate bei allen Darstellungsraten Techniken, wie z. B. den "schnellen Szenenvorlauf".
Daher ist ein verbessertes System und ein Verfahren wünschenswert für die effiziente Indexierung zwischen normalen Abspielströmen und Trick-Play-Videoströmen in einem Videoliefersystem. Ein verbessertes System und ein Verfahren ist weiterhin wünschenswert, das die Verarbeitungsbelastungen des Medienservers reduziert.
Die US 5,479,303 beschreibt ein Verfahren und eine Vorrichtung für die visuelle Suchsteuerung von digitalen Videofiles, das ein hochqualitatives Bild selbst in den schnellen Vorlauf- und schnellen Rücklaufmodi bereitstellt, während ein schnelles Umschalten zwischen dem normalen Abspielmodus und dem schnellen Vorlauf-/schnellen Rücklaufmodus erleichtert. Jeder Videofile enthält normale Abspieldaten für den normalen Abspielmodus und schnelle Vorlauf- und Rücklaufdaten für den schnellen Vorlauf/Rücklaufmodus. Jeder Videofile enthält weiterhin Einzelbildverwaltungsinformation, die einen Eintrag von jedem Einzelbild in den normalen Abspieldaten und den schnellen Vorlauf-/Rücklaufdaten enthält, wobei jeder Eintrag eine Einzelbildnummer von jedem Einzelbild erfaßt, und eine Schaltzieleinzelbildnummer eine Einzelbildnummer eines nächsten Einzelbildes anzeigt, das auszulesen ist, wenn eine Modusschaltung auftritt.
ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung weist ein System und ein Verfahren auf für das Indexieren zwischen in Bezug stehenden Videoströmen in einem interaktiven Videoliefersystem. Das interaktive Videoliefersystem weist vorzugsweise zumindest einen Medienserver auf, der Videoströme mit unterschiedlichen Darstellungsgeschwindigkeiten speichert. In der bevorzugten Ausführungsform speichert das System einen normalen Abspielstrom und einen oder mehrere entsprechende Trick-Play-Ströme. Die Trick-Play-Videoströme sind schnelle Vorlauf- und/oder schnelle Rücklaufvideoströme. Die vorliegende Erfindung erzeugt Indexnachschlagtabellen (ILUTs) zwischen dem normalen Abspiel- und Trick-Play-Videostrom, die die Indexierung zwischen den Strömen ermöglichen und die vorliegende Erfindung verwendet diese ILUTs, um zwischen den Strömen hin- und herzuschalten.
In der bevorzugten Ausführungsform speichert der Medienserver normale Abspielvideoströme, die vorzugsweise unter Verwendung von irgendeinem von verschiedenen Typen von Videokomprimierungsverfahren, vorzugsweise einem MPEG-Verfahren, komprimiert sind. Bei der Erzeugung der ILUTs analysiert das System als erstes den normalen Abspielstrom und erzeugt einen normalen Abspielzeitstandard basierend auf den Darstellungszeitstempeln, die der normale Abspielstrom aufweist. Das System erzeugt dann vorzugsweise eine Indexnachschlagtabelle für jeden der normalen Abspiel- und Trick-Play-Videoströme unter Verwendung des normalen Abspielzeitstandards. Jede Indextabelle weist eine Anordnung von Zwei-Tupeln auf, wobei die Zwei-Tupel der normale Abspielzeitstandard und ein Index oder ein Offsetwert in dem entsprechenden Strom sind. Die Indextabellen ermöglichen die Indexierung zwischen den Strömen.
Während der Videolieferung verwendet das System der vorliegenden Erfindung die jeweiligen Indextabellen, um zwischen dem normalen Abspielvideostrom und den Trick-Play-Videoströmen hin- und herzuschalten. Wenn ein Benutzer beispielsweise den normalen Abspielstrom betrachtet und es wünscht, per schnellem Vorlauf durch den Videostrom zu laufen, untersucht der Medienserver die gegenwärtige normale Abspielzeit und den Offsetwert des normalen Abspielstroms, der ausgegeben wird, um den normalen Abspielstrom bei einem geeigneten Punkt anzuhalten. Der Medienserver verwendet ebenso die gegenwärtige normale Abspielzeit, um den geeigneten Offsetwert in der Indextabelle des schnellen Vorlaufstroms abzurufen. Dieser Offsetwert wird dann verwendet, um das Abspielen des schnellen Vorlaufstroms an dem geeigneten Punkt oder Einzelbild zu beginnen, wenn der normale Abspielstrom angehalten wird. Wenn der Benutzer den schnellen Vorlauf unterbricht und das normale Abspielen auswählt, untersucht der Medienserver die gegenwärtige normale Abspielzeit und den Offsetwert des ausgegebenen schnellen Vorlaufstroms, um den schnellen Vorlaufstrom bei einem geeigneten Punkt anzuhalten. Der Medienserver verwendet ebenso die gegenwärtige normale Abspielzeit des schnellen Vorlaufstroms, um den geeigneten Offsetwert in der Indextabelle des normalen Abspielstroms abzurufen. Dieser Offsetwert wird dann verwendet, um das Abspielen des normalen Abspielstroms an dem Ort, wo der schnelle Vorlaufstrom angehalten wurde, zu beginnen. Ähnliche Operationen treten auf, wenn der Benutzer mittels schnellem Rücklauf sich durch den Videostrom bewegt. Die vorliegende Erfindung stellt ebenso einen glatten Übergang zwischen den unterschiedlichen Darstellungsgeschwindigkeiten zur Verfügung durch Sicherstellen, daß das Stoppen und das Initiieren der Ausgabe der unterschiedlichen Ströme, d. h. das Schalten des Ausgangs zwischen den unterschiedlichen Strömen nur an gut definierten Direktzugriffspunkten erfolgt.
Die vorliegende Erfindung erlaubt daher effizient die Indexierung zwischen dem normalen Abspielstrom und den Trick-Play-Strömen. Die vorliegende Erfindung erzeugt einen normalen Abspielzeitstandard, der als eine gemeinsame Referenz verwendet wird, was somit den Indexierungsprozeß vereinfacht. Dies eliminiert die Anforderung an eine Intelligenz in dem Decoder und reduziert die Verarbeitungsanforderungen des Videoservers.
BESCHREIBUNG DER FIGUREN
Ein besseres Verständnis der vorliegenden Erfindung kann erhalten werden, wenn die folgende detaillierte Beschreibung der bevorzugten Ausführungsform in Verbindung mit den folgenden Zeichnungen in Betracht gezogen wird, in denen:
1 ein Videoliefersystem darstellt einschließlich eines oder mehreren Medienservern und einem oder mehreren Teilnehmern,
2 den Medienserver von 1 darstellt,
3 ein Blockdiagramm ist, das das Medienservercomputersystem von 2 darstellt,
4 ein Flußdiagramm ist, das die Erzeugung von Indexnachschlagtabellen für normale Abspielströme und Trick-Play-Ströme gemäß der vorliegenden Erfindung darstellt,
5 Indexnachschlagtabellen für normale Abspielströme und Trick-Play-Ströme gemäß der vorliegenden Erfindung darstellt und
6 ein Flußdiagramm ist, das die Funktion des Medienservers darstellt und das Indexieren zwischen einem normalen Abspielstrom und Trick-Play-Strömen gemäß der vorliegenden Erfindung.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORM
Videoliefersystem
In 1 ist ein Videoserver oder ein Videoliefersystem 30 für das Speichern und Übertragen von Videoströmen gezeigt. Das System ist vorzugsweise ein Video-On-Demand-(VOD-) oder ein Near-Video-On-Demand-(NVOD-)System oder irgendein anderer Typ eines Videoliefersystems, der in der Lage ist, Video- oder Multimediaströme zu einem oder mehreren Benutzern, vorzugsweise einer Mehrzahl von Benutzern, zu übertragen oder abzuspielen. In der vorliegenden Beschreibung wird der Begriff "Videostrom" verwendet, um einen File oder eine Sequenz von Daten für die Darstellung einer Videoanzeige zu bezeichnen. Der Begriff "Videostrom" beinhaltet ebenso einen Multimediastrom, der sowohl Video- als auch Audiokomponenten enthält.
Wie gezeigt, weist in einer Ausführungsform das Videoliefersystem 30 einen oder mehrere Medienserver oder Videoserver 30 auf, die über ein Breitbandnetzwerk 40 mit einer Mehrzahl von Teilnehmern 52 verbunden sind. Wie unten erörtert wird, beinhaltet jeder Medienserver 50 vorzugsweise ein Allzweckcomputersystem 60 (2). Das Breitbandnetzwerk 40 ist vorzugsweise ein Netzwerk, das für Multimediainhalt geeignet ist, wie z. B. ein ATM-(asynchroner Übertragungsmodus)Netzwerk. Die Teilnehmer 52 enthalten vorzugsweise Anzeigeeinrichtungen, wie z. B. Fernseher, Computer usw.
Der Medienserver 50 ist in der Lage, Video- oder Multimediaströme zu übertragen und mit unterschiedlichen Darstellungsraten abzuspielen. In der bevorzugten Ausführungsform ist das System 50 in der Lage, entweder einen normalen Abspielstrom oder einen oder mehrere Trick-Play-Ströme zu übertragen oder abzuspielen. Die Trick-Play-Ströme können einen oder mehrere schnelle Vorlauf- und/oder schnelle Rücklaufströme aufweisen. In der vorliegenden Beschreibung bezeichnet daher der Begriff "Trick-Play-Ströme" schnelle Vorlauf- und/oder schnelle Rücklaufvideoströme, vorzugsweise komprimierte Ströme, die aus einem normalen Abspielstrom erzeugt werden und die eine andere Darstellungsgeschwindigkeit haben als der normale Abspielstrom.
Wie oben bemerkt wurde, sind die normalen Abspielströme und Trick-Play-Ströme vorzugsweise komprimierte Videoströme. Eine Ausführungsform der Erfindung arbeitet unabhängig von dem Typ oder dem Format der Videoströme. Die Videoströme können somit in einem von verschiedenen Typen von Formaten komprimiert sein, einschließlich MPEG-1, MPEG-2, Motion-JPEG, Quicktime usw. Weiterhin arbeitet eine Ausführungsform der Erfindung unabhängig von der Einzelbildgeschwindigkeit und anderen Darstellungsmerkmalen.
2 – Medienserver
In 2 weist in dieser Ausführungsform der Medienserver oder Videoserver 50 ein Computersystem 60 auf. 3 ist ein Blockdiagramm, das die Komponenten darstellt, die in dem Medienservercomputersystem 60 von 2 enthalten sind. Das Medienservercomputersystem 60 beinhaltet verschiedene Standardkomponenten einschließlich eines oder mehrerer Prozessoren, eines oder mehrerer Busse, eines Festplattenlaufwerks und Speicher. Es wird bemerkt, daß die 3 nur illustrativ ist und andere Computerarchitekturen verwendet werden können, so wie es gewünscht wird. Wie gezeigt, beinhaltet das Computersystem 60 zumindest einen Prozessor 80, der über die Chipsatzlogik 82 mit einem Systemspeicher 84 verbunden ist. Der Chipsatz 82 beinhaltet eine PCI-Brücke (periphere Komponenten-Zwischenverbindung) für das Bilden einer Schnittstelle zu dem PCI-Bus 86. Das Computersystem 60 beinhaltet eine RAID-(redundante Anordnung von kostengünstigen Platten)Plattenanordnung 90 oder ein anderes Speichermedium für das Speichern der normalen Abspielströme und der entsprechenden Trick-Play-Ströme. Das Computersystem 60 kann ebenso entweder einen MPEG-Decoder 74 oder einen MPEG-Codierer 76 oder beides beinhalten, die mit dem PCI-Bus 86 verbunden gezeigt sind. Das Computersystem 60 kann ebenso einen Videoschaltkreis 88 enthalten, wie gezeigt ist.
Unter erneuter Bezugnahme auf 2 beinhaltet das Computersystem 60 eine oder mehrere digitale Speichereinrichtungen oder Medienspeichereinrichtungen oder ist hiermit verbunden. Beispielsweise koppelt in der Ausführungsform von 2 das Computersystem 60 mit einer Medienspeichereinheit 62 über das Kabel 64. Die Medienspeichereinheit 62 kann zusätzlich oder anstelle des Plattenspeichersystems in dem Computersystem 60 sein. Die Medienspeichereinheit 62 beinhaltet ein oder mehrere RAID-Verbundlaufwerke für das Speichern der normalen Abspielströme und der entsprechenden Trick-Play-Ströme. Alternativ dazu kann die Medienspeichereinheit 62 ein oder mehrere CD-ROM-Laufwerke und/oder ein oder mehrere digitale Videodisk-(DVD-)Speichereinheiten oder andere Medientypen für das Speichern von digitalem Video beinhalten. Das Computersystem 60 kann ebenso ein oder mehrere interne CD-ROM-Laufwerke haben oder kann mit einem oder mehreren separaten digitalen Videodisk-(DVD-)Speichereinheiten verbunden sein. Das Computersystem 60 kann ebenso mit anderen Typen von digitalen oder analogen Speichereinrichtungen verbunden sein, wie es gewünscht wird.
Die komprimierten normalen Abspiel- und Trick-Play-Ströme können auf einem Speichermedium in dem Medienserver 50 enthalten sein, wie z. B. einer RAID-Plattenanordnung, einer CD-ROM oder einer digitalen Videodisk (DVD). Der Medienserver 50 liest den entsprechenden normalen Abspiel- oder Trick-Play-Strom von dem Speichermedium und stellt die Daten nach außen zu einer oder mehreren Anzeigeeinheiten oder Betrachtern (Teilnehmern) 52 zur Verfügung. Der Medienserver 50 kann die Videodaten ausgeben unter Verwendung verschiedener Kommunikationsmedien, wie z. B. ATM (asynchroner Übertragungsmodus), ISDN (Dienste integrierendes digitales Telekommunikationsnetz) oder über Satellit. Wie oben erwähnt wurde, können die Teilnehmeranzeigeeinheiten Fernseher, Computersysteme oder andere Systeme mit einem Anzeigeschirm für das Anzeigen von Videoinhalt aufweisen.
Wie oben erwähnt wurde, indexiert oder schaltet der Medienserver 50 zwischen dem normalen Abspielstrom und den Trick-Play-Videoströmen im allgemeinen basierend auf den Benutzerselektionen. Wie unten weiter erläutert wird, erzeugt der Medienserver 50 Indextabellen für die verschiedenen Ströme und verwendet diese Tabellen, um zwischen den verschiedenen Strömen umzuschalten. In dieser Ausführungsform werden die Indextabellenerzeugungs- und -indexierungsfunktionen von dem Medienserver 50 mittels Software durchgeführt, wobei die Software durch die Disketten 72 dargestellt wird. In einer anderen Ausführungsform beinhaltet das Computersystem 60 eine dedizierte Hardware, die die Indextabellenerzeugungsfunktion oder die Indexierungsfunktion oder beides durchführt.
Es sei bemerkt, daß der Medienserver 50 zwei oder mehrere miteinander verbundene Computer aufweisen kann, so wie es gewünscht wird. Es sei erwähnt, daß irgendeines von verschiedenen Typen von Videoliefersystemen verwendet werden kann gemäß der vorliegenden Erfindung, so wie es gewünscht wird.
4 – Erzeugung von Indexnachschlagtabellen
In 3 ist ein Diagramm gezeigt, das die Erzeugung von Indexnachschlagtabellen (LUTs) entsprechend der vorliegenden Erfindung zeigt. Hier wird vorausgesetzt, daß ein normaler Abspielstrom und einer oder mehrere Trick-Play-Ströme in dem System gespeichert sind. Die unterschiedlichen Ströme codieren vorzugsweise denselben Inhalt für die Darstellung mit unterschiedlichen Geschwindigkeiten.
Wie in Schritt 102 gezeigt ist, empfängt der Server 50 einen normalen Abspielvideostrom oder Multimediastrom oder untersucht ihn. Wie oben erörtert wurde, weist der normale Abspielstrom einen Strom von Videodaten auf, die verwendet werden, um eine Videosequenz darzustellen, wie z. B. einen Fernsehausschnitt oder einen Film auf einem Schirm, wie z. B. einem Fernseher oder einem Computersystem. In dieser Ausführungsform ist der normale Abspielstrom ein komprimierter Strom, vorzugsweise ein MPEG-2-komprimierter Strom, obgleich andere Komprimierungstypen verwendet werden können, so wie es gewünscht wird. Folglich werden die Index-LUTs unter Verwendung des existierenden MPEG-codierten Videostroms erzeugt.
In Schritt 104 analysiert der Server 50 die Zeitstempel innerhalb des Stroms. In dieser Ausführungsform, wo der Strom ein MPEG-Strom ist, analysiert das System die Darstellungszeitstempel aus den Sequenzkopfzeilen in dem Strom. Wie oben erwähnt wurde, werden die Darstellungszeitstempel verwendet, um eine Zeitbasis für die Videosequenz bereitzustellen. Wie oben erörtert wurde, beinhaltet ein MPEG-codierter Strom eine Mehrzahl von I-Frames bzw. I-Einzelbildern, die intracodierte Bilder sind, und eine Mehrzahl von B- und P-Frames, die intercodierte Einzelbilder sind. Die I-Frames enthalten jeweils Videodaten für ein gesamtes Videoeinzelbild und werden periodisch in der Sequenz plaziert. Die P- und B-Frames beinhalten Veränderungsinformation relativ zu vorherigen oder nachfolgenden Einzelbildern. Jedes Bild oder Einzelbild beinhaltet ebenso eine Bildkopfzeile, die das Einzelbild identifiziert und Informationen für dieses Einzelbild beinhaltet. Ein MPEG-codierter Strom beinhaltet weiterhin eine oder mehrere Sequenzkopfzeilen, die verschiedene Infor mation betreffend die Videosequenz beinhalten, einschließlich u. a. der Einzelbildgeschwindigkeit und der Bildgröße. Die Sequenzkopfzeilen beinhalten Darstellungszeitstempel, die die Abspielzeit der Videosequenz anzeigen.
In Schritt 106 bildet der Server 50 die Darstellungszeitstempel auf einen "normale Abspielzeit"-(NPT-)Standard ab. Der Server 50 definiert somit einen Multimediaindex basierend auf dem Konzept der NPT, die mit einer "Position" innerhalb eines Multimediatitels verknüpft sein kann. Positionen werden als äquivalent zwischen den Multimedia- oder Videoströmen mit unterschiedlichen Darstellungsgeschwindigkeiten definiert, wenn der Inhalt, der an der entsprechenden Position vorhanden ist, im wesentlichen konzeptuell äquivalent ist. Somit wird für Videodaten die Position als äquivalent definiert, wenn dasselbe oder im wesentlichen dasselbe Bild in der Sequenz dargestellt wird, was Unterschiede in der Auflösung und anderen Codierungsparametern erlaubt, die für den Strom speziell sein können.
In einer Ausführungsform der Erfindung stellt NPT eine Anzeige der kontextuellen Position innerhalb eines komprimierten Videostroms oder irgendeinem anderen Multimediafile zur Verfügung durch Zuweisen eines ansteigenden numerischen Wertes zu nachfolgenden Elementen, z. B. Einzelbildern oder Sequenzen, in dem Strom. Im Ergebnis erlaubt NPT, daß der Ort eines bestimmten Inhaltseintrags innerhalb des Videostroms ungeachtet der Darstellungsgeschwindigkeit, des Codierungsschemas oder des Speichermediums bestimmt wird.
Bei der Erzeugung des normalen Abspielzeitstandards untersucht der Server 50 die Darstellungszeitstempel und beobachtet den ursprünglichen oder Basisdarstellungszeitstempel zu Beginn des Filmes. Der Server 50 subtrahiert dann den Basis- oder ursprünglichen Darstellungszeitstempel von nachfolgenden Zeitstempeln, um die normalen Abspielzeitwerte für den normalen Abspielstrom zu bestimmen, wodurch ein Basisdarstellungszeitstempel von nicht Null kompensiert wird. Mit anderen Worten subtrahiert das System, um die normale Abspielzeit für einen gegebenen Punkt in dem normalen Abspielstrom zu berechnen, den Basisdarstellungszeitstempel von einem zukünftigen Darstellungszeitstempel an einem entsprechenden Punkt oder Ort in dem normalen Abspielstrom, um den normalen Abspielzeitwert für diesen Ort zu bestimmen.
In dieser Ausführungsform ist die normale Abspielzeit (NPT) für eine Position in einem Multimediastrom die Zeit von dem Beginn des Titels bis zu der entsprechenden Position, wenn sie durch die Darstellung des Vorlaufstroms mit normaler Geschwindigkeit oder des normalen Abspielstroms gemessen wird. Daher wird das Konzept der normalen Abspielzeit verwendet. Die normale Abspielzeit entspricht der Geschwindigkeit des normalen Abspielstroms und hat eine 1 : 1-Korrespondenz mit der Taktzeit. Somit tickt mit jeder Sekunde, die der normale Abspielfilm vorwärtstickt, die normale Abspielzeit eine Sekunde vorwärts. In einem schnellen Vorlauffile oder schnellen Vorlauf-Trick-Play-Strom ist die normale Abspielzeit, wenn der schnelle Vorlaufstrom 5 × schneller ist, 5 × schneller als der Benutzer den Film betrachtet.
Im allgemeinen wird jede bestimmte Szene in dem Film durch eine normale Abspielzeit identifiziert.
Wenn somit eine bestimmte Szene bei X Minuten in dem Film in der normalen Abspielzeit auftritt, dann wird diese Position oder Szene als X Minuten bezeichnet bzw. hierdurch darauf Bezug genommen. Diese bestimmte Szene wird ebenso in jedem der anderen Trick-Play-Ströme als X Minuten normale Abspielzeit lokalisiert. Somit tritt in dem schnellen Vorlauf- und schnellen Rücklaufstrom, obgleich die Zeit viel schneller verstreicht, bei X Minuten normaler Abspielzeit die betreffende Szene auf.
In Schritt 108 erzeugt der Server 50 eine Indexnachschlagtabelle für jeden der Multimediaströme, d. h. für den normalen Abspielstrom und jeden der Trick-Play-Ströme. Die Indexnachschlagtabelle für den Multimediastrom mit normaler Abspieldauer weist einen Index oder eine Anordnung von Zwei-Tupeln auf. Die Indexnachschlagtabellen für einen normalen Abspiel-, schnellen Vorlauf- und schnellen Rücklaufstrom sind in 5 gezeigt. Wie gezeigt, weist jedes Tupel einen normalen Abspielzeitwert und einen entsprechenden File-Offsetwert innerhalb des Stroms auf.
Es sei bemerkt, daß die Einträge in jedem NPT-Index durch Anforderungen des Codierungsschemas beschränkt sein können. Beispielsweise können einige Codierungsschemata nur die wahlfreie Positionierung in dem codierten Strom bei bestimmten nicht-linearen Intervallen erlauben. Im Falle eines MPEG-2-Transportstroms wird der "Random Access Indicator" bzw. Indikator mit Direktzugriff innerhalb der Transportpaketkopfzeile eingestellt, um die File-Offsetwerte der entsprechenden codierten Datenpakete anzuzeigen und die resultierenden NPT-Indizes sind "wahlfrei zugreifbar".
Für den normalen Abspielstrom weisen die normalen Abspielzeiteinträge die normalen Abspielzeitwerte auf, die in Schritt 106 berechnet wurden. Für die skalierten Ströme, z. B. die schnellen Vorlauf- und schnellen Rücklaufströme, wird ein Skalierungsfaktor in die normalen Abspielzeitwerte der Indexnachschlagtabelle eingefügt, um die unterschiedlichen Darstellungsgeschwindigkeiten zu kompensieren. Die Skalierung der Darstellungszeitstempel kann verwirklicht werden durch Multiplizieren des komprimierten Darstellungszeitstempelwertes mit dem Verhältnis der Darstellungsgeschwindigkeit zu der normalen Darstellungsgeschwindigkeit.
Es sei bemerkt, daß äquivalente Positionen in den Multimediaströmen mit unterschiedlichen Darstellungsgeschwindigkeiten gleiche NPT-Werte haben werden, obgleich die tatsächliche Zeitdarstellung von dem Beginn des Stromes zu der Position sich für die unterschiedlichen Ströme unterscheiden wird. Es sei ebenso bemerkt, daß äquivalente Positionen in Multimediaströmen mit unterschiedlichen Darstellungsgeschwindigkeiten, obwohl sie gleiche NPT-Werte haben, unterschiedliche Byte-Offsetwerte haben werden aufgrund einer vermutlichen Längendifferenz der Ströme mit unterschiedlichen Darstellungsgeschwindigkeiten.
Die Indexnachschlagtabellen spezifizieren Indizes oder Einträge, die jeweils auf einer normalen Abspielzeit und einem File-Offsetwert basieren, um es dem Multimediaserver 50 zu erlauben, das Abspielen zu einem bestimmten normalen Abspielzeitpunkt in dem Multimediastrom zu initiieren oder zu stoppen. Die Indexnachschlagtabellenindizes erlauben es dem Multimediaserver 50 ebenso, zu und zwischen äquivalenten Positionen zwischen Strömen von unterschiedlichen Darstellungsgeschwindigkeiten zu übertragen, d. h. zwischen normalen Abspiel- und Trick-Play-Strömen. Die In dexnachschlagtabelle beinhaltet nur Tupel, die gültige Positionen für das Starten, Stoppen oder Transferieren zwischen den Strömen darstellen.
Die Erzeugung der Nachschlagtabellen ist unabhängig von irgendeinem bestimmten Typ der Videokomprimierung oder MPEG-Darstellung. Wo somit MPEG-Komprimierung verwendet wird, werden die Indexnachschlagtabellen erzeugt durch Scannen durch den MPEG-File, Notieren der Direktzugriffspunkte in dem MPEG-File, um die Darstellungszeitstempeldiskontinuitäten zu kompensieren, und dann Umwandeln von dem Darstellungszeitstempel in dem MPEG-File in den normalen Abspielzeitstandard. Konzeptuell weist jede Indextabelle eine Anordnung von normaler Abspielzeit gegenüber Szenen auf und jedes bestimmte Bild in dem Film kann durch den normalen Abspielzeitwert identifiziert werden. Wie oben erwähnt wurde, wird eine Indextabelle für jede Darstellungsgeschwindigkeit erzeugt, z. B. für den schnellen Vorlauf, den schnellen Rücklauf und das normale Abspielen. Jeder der in der Indextabelle gespeicherten Offsetwerte ist ein Index von der normalen Abspielzeit zu einem Byte-Offsetwert in diesem MPEG-File, wo die bestimmte Szene beginnt.
Der Server 50 verwendet somit einen normalen Abspielzeitstandard, anstatt Zeitstempel in dem Videostrom zu verwenden. Wie oben erwähnt wurde, sind die Darstellungszeitstempel in einer MPEG-Sequenz typischerweise nicht immer verfügbar. Beispielsweise gibt es keine Anforderung, daß die Zeitstempel kontinuierlich sind, z. B. könnte es Abbrüche oder Lücken in den Darstellungszeitstempeln geben. Daher verwendet im Gegensatz zu Verfahren des Standes der Technik eine Ausführungsform der Erfindung nicht die Darstellungszeitstempel als eine Basis für das Erzeugen der Indextabellen. Stattdessen bildet eine Ausführungsform der Erfindung die Darstellungszeitstempel auf einen normalen Abspielzeitstandard ab und dieser normale Abspielzeitstandard wird dann als Basis für das Erzeugen der Indextabellen verwendet.
6 – Übertragen zwischen den Strömen
In 6 ist ein Flußdiagramm gezeigt, das den Betrieb des Systems der vorliegenden Erfindung, der Ausgänge zwischen Multimediaströmen mit unterschiedlichen Darstellungsgeschwindigkeiten überträgt, darstellt. Hier wird angenommen, daß ein gegenwärtiger Video- oder Multimediastrom von dem Medienserver 50 ausgegeben wird und daß der Medienserver 50 eine Benutzereingabe empfangen hat, die anzeigt, daß ein anderer Strom ausgegeben werden sollte. Beispielsweise kann der Medienserver den normalen Abspiel-Multimediastrom bereitstellen und der Medienserver 50 empfängt eine Benutzereingabe einer schnellen Vorlauf- oder schnellen Rücklaufauswahl, die anzeigt, daß entweder der schnelle Vorlauf- oder der schnelle Rücklauf-Trick-Play-Strom an einem geeigneten Punkt ausgegeben werden sollte.
Wenn eine Benutzereingabe empfangen wird, die eine gewünschte Veränderung in der Darstellungsgeschwindigkeit anzeigt, dann findet in Schritt 202 der Medienserver 50 ein Tupel in der Indextabelle des gegenwärtigen Stroms oder Files, der einen Offsetwert hinter dem gegenwärtigen Ausgabeoffset enthält. Mit anderen Worten findet der Medienserver 50 in Schritt 202 unter der Annahme, daß der gegenwärtige Strom abgespielt wird und an einem bestimmten Punkt oder Offset innerhalb des Stromes ist, das Tupel oder den Eintrag in der Indextabelle des gegenwärtigen Stroms, das einen Offsetwert enthält, der an oder gerade hinter dem gegenwärtigen Ausgabeoffsetwert ist. Der gegenwärtige Ausgabeoffsetwert wird vorzugsweise durch die Medienfilesystemsoftware (MFS), die in dem Medienserver 50 ausgeführt wird, bereitgestellt. In Schritt 202 empfängt der Medienserver 50 diesen Byte-Offsetwert der gegenwärtigen Ausgabe des Stroms und sucht in der Indextabelle nach dem nächsten Offsetwert, der größer oder gleich dem Byte-Offsetwert der gegenwärtigen Ausgabe des Stroms ist.
In Schritt 204 plant der Medienserver 50, bei dem gegenwärtigen Strom die Ausgabe an diesem Offsetwert, der in Schritt 202 bestimmt wird, zu beenden. Somit findet der Medienserver 50 vorzugsweise, um einen gegenwärtig ausgegebenen Strom zu beenden, das Tupel für die nächste nachfolgende normale Abspielzeit oder den nächsten Offsetwert des Ortes, der gegenwärtig abgespielt wird, und verwendet den verknüpften Offsetwert dieses Typs, um das Abspielen des gegenwärtigen Videostroms an diesem Offsetwert zu beenden.
In Schritt 206 bestimmt der Medienserver 50 die normale Abspielzeit für den gegenwärtigen Strom. Es wird bemerkt, daß die normale Abspielzeit für den gegenwärtigen Strom vorher in Schritt 202 bestimmt worden sein kann. Mit anderen Worten kann der gegenwärtige normale Abspielzeitwert in diesem Tupel, wenn der nächste Offsetwert größer als der Byte-Offsetwert des gegenwärtigen Ausgabestroms in Schritt 202 bestimmt wurde, als normale Abspielzeit für den gegenwärtigen Strom verwendet werden.
In Schritt 208 findet der Medienserver 50 das Tupel in der Indextabelle des neuen Stroms, d. h. den auszugebenden Strom mit der nächsten normalen Abspielzeit zu der normalen Abspielzeit des gegenwärtigen Stroms. In Schritt 210 verwendet der Medienserver 50 den Offsetwert des in Schritt 208 gefundenen Tupels, um die Ausgabe des neuen Stroms an diesem Offsetwert zu initiieren. Die Ausgabe des neuen Stroms wird vorzugsweise initiiert, nachdem der gegenwärtige Strom beendet wird, wobei der gegenwärtige Strom für die Beendigung in Schritt 204 terminiert wird, wie oben beschrieben wurde.
Die Initiierung und die Beendigung der Ausgabe eines entsprechenden auszugebenden Stroms bei einer gegebenen normalen Abspielzeit wird daher verwirklicht durch Auffinden des Tupels für die nächstliegende normale Abspielzeit in der entsprechenden Indextabelle und durch Verwenden des verknüpften File-Offsetwertes als dem Punkt, um das Abspielen des Stroms zu initiieren oder zu beenden. Das Übertragen zwischen verschiedenen Multimediadatenströmen mit unterschiedlichen Darstellungsgeschwindigkeiten wird verwirklicht durch Verwenden der Einträge in jeder der entsprechenden Tabellen des gegenwärtigen Stroms und der neue Strom wird abgespielt, um die Beendigung der Ausgabe des gegenwärtigen Stroms und des Beginns des Abspielens des neuen Stroms erneut zu terminieren.
Zusammenfassend stellt die vorliegende Erfindung ein System und ein Verfahren für die Indexierung zwischen normalen Abspielvideoströmen und Trick-Play-Videoströmen zur Verfügung. Eine Ausführungsform der Erfindung untersucht die Darstellungszeitstempel in den Sequenzkopfzeilen des normalen Abspielstroms und erzeugt einen normalen Abspielzeitstandard, der für alle Ströme verwendet wird. Das System erzeugt dann Indextabellen oder Nachschlagtabellen für den Strom. Die Indextabellen für die Ströme weisen normale Abspielzeitwerte und entsprechende Offsetwerte in den entsprechenden Strömen auf. Während des Abspielens verwendet das Videoliefersystem diese Indextabelle, um intelligent zwischen dem normalen Abspielstrom und den Trick-Play-Strömen hin- und herzuspringen oder zwischen diesen zu indexieren. Dieser Ansatz erlaubt ebenso nicht-konstante Darstellungsgeschwindigkeiten, wie z. B. Szenen-Vorwärtsgeschwindigkeiten oder Darstellungsgeschwindigkeiten basierend auf der Komplexität des Inhalts.
Andere Modifikationen können verwendet werden, um einen normalen Abspielzeitstandard für den normalen Abspielstrom zu erzeugen, ohne von der vorliegenden Erfindung abzuweichen. Beispielsweise können die NPT-Index-LUTs ebenso vor der Codierung der Videoströme codiert werden durch die Verwendung von Framezahlen oder Sequenzzahlen. Alternativ können die NPT-Indizes gleichzeitig mit der Videoinhaltscodierung erzeugt werden. In beiden Fällen können die NPT-Indizes durch Multiplizieren der Framezahl mit der Framegeschwindigkeit erzeugt werden. Diese NPT-Position kann dann mit dem File-Offsetwert des codierten Frames verknüpft sein.
In noch einer anderen beispielhaften Ausführungsform wird der Videoinhalt mit einer konstanten Bitgeschwindigkeit codiert. Folglich können die NPT-Einträge für irgendeine Untergruppe (möglicherweise echte Untergruppe) des Direktzugriffspunktes, der durch den codierten Videostrom spezifiziert wird, unter Verwendung der folgenden Gleichungen erzeugt werden:
Für die Vorwärtsdarstellungen (d. h. einen positiven Darstellungsgeschwindigkeitsskalierungsfaktor) kann der NPT-Wert für jeden File-Offsetwert, bei dem ein Direktzugriftspunkt auftritt, unter Verwendung der Gleichung berechnet werden: NPT = (PresentationRateScaleFactor*FileBitOffset)/ConstantBitRate
Im Gegensatz dazu kann für die Rückwärtsdarstellungen (d. h. einen negativen Darstellungsgeschwindigkeitsskalierungsfaktor) der NPT-Wert für jeden File-Offsetwert unter Verwendung der Gleichung berechnet werden: NPT = TotalNPT + ((PresentationRateScaleFactor*FileBitOffset)/ConstantBitRate)
Wobei:
PresentationRateScaleFactor = Verhältnis der Darstellungsgeschwindigkeit in Bezug auf die normale Darstellungsgeschwindigkeit (z. B. zeigt ein Wert von 7 einen 7 × schnelleren Vorlauf an, ein Wert von –5 zeigt einen 5 × schnelleren Rücklauf an),
FileBitOffset = die Anzahl von Bits von dem Beginn der Codierung zu dem File-Offsetwert, der als Direktzugriffspunkt spezifiziert ist,
ConstantBitRate = die konstante Bitgeschwindigkeit, mit der beabsichtigt ist, die Codierung abzuspielen und
TotalNPT = die Gesamtzeitdauer der Normalgeschwindigkeitsdarstellung (d. h. was gemeinhin als die Länge des Films erachtet wird).
Obgleich das System und das Verfahren der vorliegenden Erfindung in Verbindung mit den beschriebenen Ausführungsformen beschrieben wurden, ist es nicht beabsichtigt, die Erfindung auf die spezifische Form zu begrenzen, die hier ausgeführt wurde, sondern im Gegenteil ist es beabsichtigt, solche Alternativen, Modifikationen und Äquivalente abzudecken, soweit sie vernünftig innerhalb des Schutzbereiches der Erfindung aufgenommen werden können, wie er durch die angefügten Ansprüche definiert wird.

Claims

Computerimplementiertes Verfahren für das Indexieren zwischen einem ersten und einem zweiten in Bezug stehenden Videostroms mit unterschiedlichen Darstellungsraten, wobei das Verfahren den Schritt aufweist des Erzeugens von Index-Nachschlagtabellen (LUTs) für jeden der betroffenen Videoströme unter Verwendung eines Zeitstandards für das normale Abspielen, wobei jede der Index-LUTs eine Mehrzahl von Einträgen beinhaltet, die einen Zeitwert für das normale Abspielen und einen entsprechenden Offsetwert in dem entsprechenden Videostrom aufweist.
Verfahren nach Anspruch 1, wobei die Videoströme einen normalen Abspielstrom beinhalten, wobei das Erzeugen der Index-Nachschlagtabellen für den ersten und den zweiten Videostrom beinhaltet: Empfangen des normalen Abspielstroms, wobei der normale Abspielstrom eine Mehrzahl von Zeitstempeln beinhaltet, und Abbilden der Mehrzahl von Zeitstempeln auf den Zeitstandard für das normale Abspielen, wobei das Erzeugen der Index-Nachschlagtabellen für den ersten und zweiten Videostrom den Zeitstandard für das normale Abspielen verwendet.
Verfahren nach Anspruch 2, wobei die Videoströme verschiedene Darstellungsraten haben, die MPEG-komprimierte Ströme aufweisen, wobei das Abbilden der Mehrzahl von Zeitstempeln auf einen Zeitstandard für das normale Abspielen das Untersuchen einer Kopfzeilensequenz in dem MPEG-komprimierten normalen Abspielstrom für die Mehrzahl von Zeitstempeln aufweist.
Verfahren nach einem der vorherigen Ansprüche, wobei die Videoströme Trickspielströme bzw. Trickplayströme beinhalten einschließlich einem schnellen Vorlaufstrom und einem schnellen Rücklaufstrom.
Verfahren nach einem der vorherigen Ansprüche, wobei die normale Abspielzeit eine 1 : 1 Korrespondenz zur Taktzeit hat.
Verfahren nach einem der vorherigen Ansprüche, das weiterhin aufweist: Übertragen von Videodaten von dem ersten Videostrom zu einem Ausgang des Computers und Umherschalten zwischen dem ersten Videostrom und dem zweiten Videostrom unter Verwendung der Index-Nachschlagtabellen.
Verfahren nach Anspruch 6, wobei das Umschalten zwischen dem ersten und dem zweiten Strom beinhaltet: Bestimmen der normalen Abspielzeit des ersten Videostroms, Bestimmen eines Offsetwertes in dem zweiten Videostrom, basierend auf der normalen Abspielzeit des ersten Videostroms und Initiieren der Ausgabe des zweiten Videostroms bei dem bestimmten Offsetwert in dem zweiten Videostrom.
Verfahren nach Anspruch 7, wobei das Bestimmen eines Offsetwertes in dem zweiten Videostrom, basierend auf der normalen Abspielzeit des ersten Videostroms aufweist: Auffinden eines Eintrags in einer Index-Nachschlagtabelle des zweiten Videostroms mit einem normalen Abspielzeitwert nahe der normalen Abspielzeit des ersten Videostroms und Bestimmen des Offsetwertes in dem gefundenen Eintrag in der Index-Nachschlagtabelle des zweiten Videostroms.
Verfahren nach Anspruch 7, wobei das Umschalten zwischen dem ersten und zweiten Videostrom weiterhin aufweist: Bestimmen eines Eintrags in einer Indextabelle für den ersten Videostrom, der einen Offsetwert enthält, der über den Datenoffset, der gegenwärtig von dem zweiten Videostrom ausgegeben wird, hinausgeht und Einteilen der Ausgabe des gegenwärtigen Stroms, so daß er an dem Offset, der über den Datenoffset, der gegenwärtig von dem ersten Videostrom ausgegeben wird, hinausgeht, endet.
Verfahren nach Anspruch 7, das weiterhin aufweist: Übertragen von Videodaten von dem ersten Videostrom zu einem Ausgang des Computers, Bezugnehmen auf die Index-Nachschlagtabelle (LUT) für jeden Videostrom, wobei jede LUT mit einem der Videoströme verknüpft ist und eine Mehrzahl von Einträgen aufweist, die einen normalen Abspielzeitwert (NPT) für den verknüpften Videostrom und einen entsprechenden Offsetwert in dem verknüpften Videostrom aufweist, Umschalten von dem ersten Videostrom zu dem zweiten Strom unter Verwendung der Index-LUTs und Übertragen der Videodaten von dem zweiten Videostrom zu dem Ausgang des Computers.
Verfahren nach Anspruch 10, wobei das Umschalten zwischen dem ersten und dem zweiten Strom beinhaltet: Bestimmen der normalen Abspielzeit des ersten Videostroms, Bestimmen des Offsetwertes in dem zweiten Videostrom, basieren auf der normalen Abspielzeit des ersten Videostroms und Initiieren der Ausgabe des zweiten Videostroms an dem bestimmten Offsetwert in dem zweiten Videostrom.
Verfahren nach einem der vorherigen Ansprüche, wobei die Videoströme einen schnellen Vorlaufstrom und einen schnellen Rücklaufstrom beinhalten, wobei die LUT für den schnellen Vorlaufstrom eine Mehrzahl von Einträgen aufweist, die jeweils einen normalen Abspielzeitwert und einen entsprechenden Offsetwert in dem schnellen Vorlaufstrom beinhaltet, wobei die LUT für den schnellen Rücklaufstrom eine Mehrzahl von Einträgen beinhaltet, die jeweils einen normalen Abspielzeitwert und einen entsprechenden Offsetwert in dem schnellen Rücklaufstrom aufweist.
Verfahren nach Anspruch 12, wobei die Videoströme einen normalen Abspielstrom, einen schnellen Vorlaufstrom und einen schnellen Rücklaufstrom beinhalten, wobei die LUT für den normalen Abspielstrom eine Mehrzahl von Einträgen beinhaltet, die jeweils einen normalen Abspielzeitwert und einen entsprechenden Offsetwert in dem normalen Abspielstrom aufweist, wobei die LUT für den schnellen Vorlaufstrom eine Mehrzahl von Einträgen aufweist, die jeweils einen normalen Abspielzeitwert und einen entsprechenden Offsetwert in dem schnellen Vorlaufstrom aufweisen, wobei die LUT für den schnellen Rücklaufstrom eine Mehrzahl von Einträgen beinhaltet, die jeweils einen normalen Abspielzeitwert und einen entsprechenden Offsetwert in dem schnellen Vorlaufstrom aufweisen.
Speichermedium, das Programmbefehle für das Durchführen der Verfahren nach einem der Ansprüche 1 bis 13 aufweist.
Videoserver (50), der Videoströme bereitstellt mit unterschiedlichen Darstellungsgeschwindigkeiten, wobei der Videoserver zwischen den Videoströmen mit unterschiedlichen Darstellungsgeschwindigkeiten indexiert, wobei der Videoserver aufweist: einen Videospeicher (62), der derart konfiguriert ist, daß er die Videoströme mit unterschiedlichen Darstellungsgeschwindigkeiten speichert, eine Index-Nachschlagtabelle (LUT) für jeden der Videoströme, wobei die Index-Nachschlagtabelle auf einem Zeitstandard für das normale Abspielen basiert, wobei jede der Index-Nachschlagtabellen eine Mehrzahl von Einträgen beinhaltet, die einen normalen Ab spielzeitwert des verknüpften Videostroms und einen entsprechenden Offsetwert in dem verknüpften Videostrom aufweisen, ein oder mehrere Ausgangsanschlüsse, die mit dem Videospeicher verbunden sind, für das Übertragen von Videodaten aus einem der Videoströme und einen Schalter, der mit dem Videospeicher und der Index-LUT verknüpft ist und derart konfiguriert ist, daß er zwischen den Videoströmen an dem einen oder mehreren Ausgangsanschlüssen umschaltet, wobei der Schalter die Index-Nachschlagtabellen bei dem Umschalten zwischen den Videoströmen verwendet.
Videoserver nach Anspruch 15, wobei die Videoströme einen normalen Abspielstrom beinhalten und der Videoserver weiterhin derart konfiguriert ist, daß er Indizes für die LUTs erzeugt durch Untersuchen des normalen Abspielstroms, der eine Mehrzahl von Zeitstempeln beinhaltet, und durch Abbilden der Mehrzahl von Zeitstempeln auf den normalen Abspielzeitstandard.
Videoserver nach Anspruch 16, wobei die Videoströme MPEG-komprimierte Ströme beinhalten und das Abbilden der Mehrzahl von Zeitstempeln auf dem normalen Abspielzeitstandard verwirklicht wird durch Untersuchen der Abfolgekopfzeilen in einem MPEG-komprimierten normalen Abspielstrom für die Mehrzahl von Zeitstempeln.
Videoserver nach einem der Ansprüche 15 bis 17, der weiterhin derart konfiguriert ist, daß er die normale Abspielgeschwindigkeitszeit eines gegenwärtigen Stroms, der abgespielt wird, bestimmt, daß er einen Offsetwert in einem neuen Strom, basierend auf der normalen Abspielgeschwindigkeitszeit des gegenwärtigen Stroms bestimmt, und daß er die Ausgabe des neuen Stroms bei dem bestimmten Offsetwert in dem neuen Strom anzeigt.
Videoserver nach Anspruch 18, der weiterhin derart konfiguriert ist, daß er einen Eintrag in der Index-Nachschlagtabelle des neuen Stroms mit einem normalen Abspielgeschwindigkeitszeitwert nahe der normalen Abspielzeit des gegenwärtigen Stroms lokalisiert, und den Offsetwert in dem gefundenen Eintrag in der Index-Nachschlagtabelle des neuen Stroms bestimmt.
Videoserver nach Anspruch 18, der weiterhin derart konfiguriert ist, daß er einen Eintrag in einer Indextabelle für den gegenwärtigen Strom bestimmt, der einen Offsetwert enthält, der über einen Offsetwert von Daten, die gegenwärtig von dem gegenwärtigen Strom ausgegeben werden, hinausgeht, und die Ausgabe des gegenwärtigen Stroms derart einteilt, daß er bei dem Offsetwert, der über dem Offsetwert der Daten, die gegenwärtig von dem gegenwärtigen Strom ausgegeben werden, hinausgeht, endet.
Videoserver nach einem der Ansprüche 15 bis 20, wobei die Videoströme unterschiedliche Darstellungsraten haben, einschließlich Trickplayströmen, die einen schnellen Vorlaufstrom und einen schnellen Rücklaufstrom beinhalten.
Videoserver nach einem der Ansprüche 15 bis 21, wobei die normale Abspielzeit eine 1 : 1 Korrespondenz zu der Taktzeit hat.