DE19544094B4

DE19544094B4 - Progressive Bildübertragung mittels diskreter Wellentransformationen

Info

Publication number: DE19544094B4
Application number: DE19544094A
Authority: DE
Inventors: Philippe Redmond Ferriere
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 1994-12-05
Filing date: 1995-11-27
Publication date: 2007-10-18
Anticipated expiration: 2015-11-28
Also published as: US5880856A; DE19544094A1; GB9523746D0; FR2727817A1; US20050100234A1; FR2727817B1; GB2295936A; JPH08242379A; US20030137704A1; US6847468B2; US7092118B2; JP3847828B2; GB2295936B

Abstract

Verfahren zum Übertragen eines Standbildes, das durch eine Anzahl von Zerlegungsstufen wiedergeben wird, wobei jede Zerlegungsstufe eine Anzahl von Unterbildern umfaßt, die eine Rekonstruktion einer Bildwiedergabe des Standbildes ermöglichen, wobei die Unterbilder Zeilen mit Unterbildwerten aufweisen, die Zeilen der Bildwiedergabe entsprechen, ferner die Zerlegungsstufen zunehmend höhere Auflösungsgrade bereitstellen, wobei das Verfahren die folgenden Schritte umfaßt:
aufeinanderfolgendes Übertragen der Zerlegungsstufen, beginnend mit einer Basiszerlegungsstufe, die eine geringe Bildauflösung bereitstellt, und fortsetzend mit Zerlegungsstufen, die zunehmend höhere Auflösungsgrade bereitstellen;
gekennzeichnet durch
Übertragen der Unterbildwerte von jeder jeweiligen Zerlegungsstufe als Zeilenblöcke, worin jeder Zeilenblock eine Zeile mit Unterbildwerten von verschiedenen Unterbildern der jeweiligen Zerlegungsstufe enthält, und worin die Unterbildwerte von jedem Zeilenblock einer gemeinsamen Bildwiedergabezeile entsprechen.

Description

Die vorliegende Erfindung betrifft Verfahren und Datenstrukturen zum Übertragen von Standbildern über relativ langsame Kommunikationskanäle, um ein Zeile-für-Zeile-Betrachten der Bilder mit zunehmenden Auflösungsgraden während der Bildübertragung zu ermöglichen. Insbesondere betrifft die vorliegende Erfindung ein Verfahren zum Übertragen eines Standbildes gemäß dem Oberbegriff von Anspruch 1. Ein derartiges Verfahren ist aus der WO 91/03 902 A1 bekannt.
Digital formatierte Standgrafikbilder sind beliebte Objekte unter Nutzern von öffentlichen Online-Informationsdiensten. Diese Dienste ermöglichen es Nutzern, aus einer großen Anzahl von digitalisierten Bildern auszuwählen und die ausgewählten Bilder zum Betrachten auf dem eigenen Computer des Nutzers herunterzuladen. Die Verfügbarkeit und weit verbreitete Verwendung von hochauflösenden Computerbildschirmen hat den Bedarf an digitalisierten Bildern hoher Qualität erhöht.
Trotz der weitverbreiteten Verfügbarkeit von digitalisierten Bildern zum Herunterladen kann ein Auffinden und Erhalten von nützlichen Bildern eine frustrierende Erfahrung sein. Dies liegt in erster Linie an der großen Menge von erforderlichen Daten, um ein hochauflösendes Computerbild wiederzugeben, und an der entsprechenden Zeitdauer, die erforderlich ist, um ein derartiges Bild auf einen Rechner eines einzelnen unter Verwendung von herkömmlichen Telekommunikationstechniken herunterzuladen. Obwohl eine Datenkomprimierung üblich ist, können hochauflösende Bilder trotzdem mehrere Minuten für die Übertragung benötigen.
Zum Beispiel benötigt ein Echtfarben-640 × 480 Pixel-Bild, das durch 24 Datenbits pro Bildpunkt (Pixel) wiedergegeben wird, wenigstens 12 Minuten für die Übertragung mittels eines 9600 Baud-Modems. Übliche Datenkomprimierungstechniken können diese Zeit auf vielleicht 1 bis 2 Minuten verringern. Sogar diese Verzögerung kann jedoch sehr frustrierend sein. Verbunden mit der Frustration ist die sehr wahrscheinliche Möglichkeit, daß das Bild, nachdem es einmal übertragen und angesehen worden ist, sich als etwas herausstellen wird, das recht verschieden ist von dem, was der Nutzer erwartete oder erwünschte. Herunterladen und Sichten einer Anzahl von Bildern kann leicht Stunden dauern.
Die progressive Bildübertragung ist eine Technik, die verwendet wird, um diese Frustration zu einem gewissen Grad zu verringern. Sie ermöglicht einem Empfangscomputer, eine sehr niedrigauflösende Wiedergabe des Bildes, das gerade heruntergeladen wird, schnell anzuzeigen. Da mehr und mehr Daten durch den Computer des Nutzers erhalten werden, wird das Bild mit immer zunehmenden Auflösungsgraden angezeigt. Der Nutzer kann zu jedem Zeitpunkt die Übertragung beenden, wenn das Bild unbrauchbar erscheint.
Die diskrete Wellentransformation (discrete wavelet transformation) ist eine kürzlich entwickelte Technik, die verwendet wird, um Standbilddaten zu komprimieren und auch die progressive Bildübertragung zu erleichtern. Mehrere Autoren haben Verfahren zum Komprimieren und Übertragen von Standbilddaten mittels diskreter Wellentransformation beschrieben. Siehe, z.B., die folgenden Aufsätze, auf die hiermit Bezug genommen wird:

A. Mallat, Stephane G., "A Theory for Multiresolution Signal Decomposition: The Wavelet Representation" IEEE Transactions on Pattern Analysis and Machine Intelligence, Bd. 11, Nr. 7, S. 674–692 (Juli 1989)
B. Zettler, William R., et al., "Application of Compactly Supported Wavelets to Image Compression" Aware Technical Report AD900119, S. 1–9 (1991)
C. Antonini, Marc, et al., "Image Coding Using Wavelet Transform", IEEE Transactions On Image Processing, Bd. 1, Nr. 3, S. 205–220 (April 1992)
D. Shapiro, Jerome M., "An Embedded Hierarchical Image Coder Using Zerotrees of Wavelet Coefficients", IEEE Proceedings of Data Compression Conference, S. 214– 223 (1993)
E. Blanford, Ronald P., "Wavelet Encoding and Variable Resolution Progressive Transmission", NASA Space and Earth Science Data Compression Workshop, S. 25–35 (1993)

Zusätzlich zu den oben zitierten Aufsätzen liefern die folgenden Aufsätze, auf die auch Bezug genommen wird, allgemeinere Beschreibungen von diskreten Wellentransformationen:

A. Baaziz, Nadia, et al., "Laplacian Pyramid Versus Wavelet Decomposition for Image Sequence Coding", IEEE International Conference On Acoustics Speech and Signal Processing, S. 1965–1968 (1990)
B. Vetterli, Martin, et al., "Wavelets and Filter Banks: Relationships and New Results", IEEE International Conference on Acoustics Speech and Signal Processing, S. 1723–1726 (1990)
C. Press, William H., "Wavelet Transforms: A Primer", Center for Astrophysics, Preprint Series No. 3184, S. 1–24
D. Cody, Mac A., "The Fast Wavelet Transform-Beyond Fourier Transforms", Dr. Dobb's Journal, S. 16–28; 100–101 (April 1992)
E. Rioul, Olivier, et al., "Wavelets and Signal Proces sing", IEEE Signal Processing Magazine, pp. 14–38, (Oktober 1991)
F. Mallat, Stephane G., "A Compact Multiresolution Representation: The Wavelet Model", IEEE Proceedings of Workshop on Computer Vision, S. 2–7, (1987)
G. Mallat, S.G., "Multiresolution Approach To Wavelets In Computer Vision", Proceedings of the International Conference, Marseille, France, pp. 313–327 (Dezember 1987)
H. Daubechies, Ingrid; Vetterling, William T.; Teukolsky, Saul A.; Society for Industrial and Applied Mathematics, "The What, Why, and How of Wavelets", Ten Lectures on Wavelets, Kapitel 1, S. 1–16 (1992)

Wie von Zettler et al. auf den Seiten 2 bis 4 ihres Aufsatzes mit dem Titel "Application of Compactly Supported Wavelets to Image Compression" erklärt, bezieht sich der Begriff Welle (wavelet) auf eine orthonormale Basis für L²(R), die quadratintegrierbare Funktion auf der reellen Achse, die rekursiv aus einem Satz von Skalierfunktionskoeffizienten {ak: k∊{0, ..., 2N – 1}, N∊Z+, ak∊R}definiert ist, die die folgenden Bedingungen erfüllen Σak = 2 Σa2k = 2und allgemeiner Σakak+2l = 2δol.
Wie außerdem von Zettler et al. erklärt, gibt es unendlich viele Sätze a_k für N ≥ 2, die diese Bedingungen erfüllen. Diese Koeffizienten definieren implizit eine Skalierfunktion ϕ(x), die die folgende Rekursion erfüllt: ϕ(x) = Σakϕ(2x – k)k∊{0, ..., 2N – 1}
Die Skalierfunktionen, ihre Translationen, die assoziierte Basiswellenfunktion ψ(x) und skalierten Translationen von ψ bilden eine orthonormale Basis für L²(R). Die Wellenfunktion ψ ist definiert in Termen der Skalierfunktion als ψ(x) = Σ(–1)kak+1ϕ(2x + k)k∊{–1, ..., 2N – 2}.
In einer Dimension erzeugt die diskrete Wellentransforma tion aus einer Eingabefolge X = {x_i} zwei Ausgabefolgen (mit k∊{0, ..., 2N – 1}): Φ = {ϕi} = (1/√2){Σakx2i+k} Ψ = {ψi} = (1/√2){Σ(–1)ka2N–1–kx2i+k}.
Da die diskrete Wellentransformation umkehrbar ist, liefert sie eine vollständige Rekonstruktion. Mehrere Variationen von Wellentransformationen unter Verwendung der oben beschriebenen allgemeinen Prinzipien sind in den zitierten Aufsätzen beschrieben worden.
Eine Bilddatenkomprimierung mittels diskreter Wellentransformationen beginnt mit einem Zerlegen oder Transformieren eines Bildes in vier Unterbändern (subbands) oder Unterbildern unter Verwendung der obigen Gleichungen. Jedes Unterbild weist nur ein Viertel der Größe des Originalbildes auf und enthält ein Viertel der Datenpunkte des Originalbildes. Die Bildzerlegung bringt als erstes die Durchführung einer eindimensionalen Wellenfaltung (wavelet convolution) an jeder horizontalen Bildpunktspalte des Originalbildes mit sich, wodurch das Bild in zwei Unterbilder geteilt wird, die jeweils Niederfrequenz- bzw. Hochfrequenzinformation enthalten. Die selbe oder ähnliche Faltung wird dann auf jede vertikale Bildpunktreihe jedes Unterbildes angewandt, wodurch jedes der vorher erzielten Unterbilder in zwei weitere Unterbilder geteilt wird, die wieder Nieder- und Hochfrequenzbildinformation entspre chen. Bei den resultierenden vier Unterbildern kann man von LL-, LH-, HL- und HH-Unterbildern sprechen. Das LL-Unterbild ist ein Bild, das Niederfrequenzinformation von sowohl der vertikalen als auch der horizontalen Wellenfaltung enthält. Das LH-Unterbild ist ein Bild, das Niederfrequenzinformation von der horizontalen Wellenfaltung und Hochfrequenzbildinformation von der vertikalen Wellenfaltung enthält. Das HL-Unterbild ist ein Bild, das Hochfrequenzinformation von der horizontalen Wellenfaltung und Niederfrequenzbildinformation von der vertikalen Wellenfaltung enthält. Das HH-Unterbild ist ein Bild, das Hochfrequenzinformation von sowohl der vertikalen als auch der horizontalen Wellenfaltung enthält.
Das Ergebnis dieses Verfahrens ist graphisch in den 1 und 2 dargestellt. 1 zeigt ein ursprüngliches, unkomprimiertes Standbild 10. 2 zeigt eine erste Zerlegungsstufe 12 desselben Bildes. Die Zerlegungsstufe 12 ist das Ergebnis des Transformierens des Standbildes von 1 mittels vertikaler und horizontaler Durchgänge einer diskreten Wellentransformation wie oben beschrieben. Die Zerlegungsstufe 12 schließt vier Unterbilder ein, die für Darstellungszwecke zusammengesetzt gruppiert sind. Die Unterbänder oder Unterbilder dieser ersten Zerlegungsstufe sind bezeichnet als die LL1-, LH1-, HL1- und HH1-Unterbilder gemäß der bereits angegebenen Nomenklatur, wobei das Suffix 1 die erste Zerlegungsstufe kennzeichnet. Das LL1-Unterbild enthält die Niederfrequenzinformation von dem Originalbild. Es ist zu beachten, daß das Unterbild LL1, wenn es auf einem Bildschirmanzeigegerät wiedergegeben wird, wie das Originalbild erscheint, mit Ausnahme einer geringeren Auflösung oder Größe. Das LH1-Unterbild enthält Hochfrequenzinformation, die in einer vertikalen Richtung auftritt. Das HL1-Unterbild enthält Hochfrequenzinformation, die in einer horizontalen Richtung auftritt. Das HH1-Unterbild enthält Hochfrequenzinformation, die in einer diagonalen Richtung auftritt. In Kombination enthalten die vier Unterbilder die gesamte zum Rekonstruieren des Originalbildes notwendige Information.
Die erste Zerlegungsstufe kann weiter zerlegt werden, um eine zweite Zerlegungsstufe 14, wie in 3 gezeigt, einzuschließen. Diese weitere Zerlegung wird nur an Unterbild LL1 der ersten Zerlegungsstufe 12 durchgeführt. Um das Unterbild LL1 zu zerlegen, werden horizontale und vertikale Wellenfaltungen an dem Unterbild LL1 in derselben Weise durchgeführt, wie dieselben Operationen bereits an dem Originalbild durchgeführt worden sind. Dieser Schritt unterteilt das Unterbild LL1 in LL2-, LH2, HL2- und HH2-Unterbilder. Das Unterbild LL2 sieht wieder wie das Originalbild aus, mit Ausnahme, daß es eine viel geringere Auflösung aufweist. Speziell weist das LL-Unterbild auf jeder Zerlegungsstufe ein Viertel der Datenpunkte des LL-Unterbildes der nächsthöheren Zerlegungsstufe auf.
Die oben beschriebenen Wellentransformationen werden rekursiv an jedem aufeinanderfolgend erzielten LL-Unterbild durchgeführt. Für praktische Zwecke, die durch die unten beschriebene Erfindung bewerkstelligt werden sollen, hat es sich allgemein herausgestellt, daß ein Berechnen von vier oder fünf Zerlegungsstufen ausreichend ist.
Um das Originalbild zu rekonstruieren, wird die inverse Wellentransformation rekursiv auf jeder Zerlegungsstufe durchgeführt. Unter der Annahme eines zweistufigen Komprimierungschemas enthält die zweite Zerlegungsstufe ein Unterbild LL2, das eine niedrigaufgelöste oder Basiswiedergabe des Originalstandbildes ist. Um eine höhere Auflösung zu erzielen, wird ein Unterbild LL1 durch Durchführen einer inversen Wellentransformation unter Verwendung der Unterbilder der zweiten Zerlegungsstufe rekonstruiert. Das Originalbild mit der höchsten erzielbaren Auflösung kann nachfolgend durch Durchführung der inversen Transformation unter Verwendung der Unterbilder der ersten Zerlegungsstufe (aber nur nach Erhalt eines Unterbildes LL1 durch eine inverse Transformation der zweiten Zerlegungsstufe) erhalten werden.
Die Attraktivität der Wellennäherung für eine Bildübertragung besteht darin, daß die Unterbilder LH, HL und HH Daten enthalten, die effektiv auf sehr hohe Komprimierungsverhältnisse durch derartige Methoden wie Lauflängen(run-length)- und Huffman-Verschlüsselung komprimiert werden können. Die bevorzugten Ausführungsformen der Erfindung behalten diesen Vorteil bei. Zusätzlich liefert die Erfindung effiziente Verfahren zum Speichern und Übertragen von Standbilddaten, um zu ermöglichen, daß das Bild schnell rekonstruiert und angezeigt werden kann, bei zunehmenden Auflösungen für eine frühe Bewertung durch einen Nutzer. Wenn der Nutzer zu irgendeinem Zeitpunkt feststellt, daß das Standbild nicht akzeptabel ist, kann die Übertragung und Rekonstruktion abgebrochen werden, bevor erhebliche Zeit vergeudet worden ist.
Die bevorzugte Ausführungsform der Erfindung schließt einen Schritt des Transformierens eines Standbildes derart, daß es günstigerweise während der Übertragung des Bildes über eine relativ langsame Datenkommunikationsverbindung, wie z.B. Telefonleitungen, vorher angesehen werden kann, ein. Die Verfahren der Erfindung schließen ein Transformieren des Bildes in eine Mehrzahl von Zerlegungsstufen unter Verwendung eines hierarchischen Unterband-Verschlüsselungschemas, wie z.B. die diskrete Wellentransformation, ein. Jede Zerlegungsstufe umfaßt eine Mehrzahl von Unterbildern, die eine Rekonstruktion einer Bildwiedergabe des Standbildes ermöglichen. Die Zerlegungsstufen werden beginnend mit einer Basiszerlegungsstufe oder -bildwiedergabe, was einen geringen Bildauflösungsgrad liefert, und dann voranschreitend mit Zerlegungsstufen, die zunehmend höhere Bildauflösungsgrade liefern, übertragen. Jede Zerlegungsstufe kann invers transformiert werden, um eine Bildwiedergabe mit einem höheren Auflösungsgrad zu liefern. Innerhalb jeder Zerlegungsstufe sind Zeilen der verschiedenen Unterbilder zusammen in zusammenhängenden Blöcken angeordnet oder verschachtelt, so daß alle Daten einer einzelnen Zeile auf einer einzelnen Zerlegungsstufe zusammen übertragen werden. Auf der Empfangsseite der Übertragung werden die Zeilenblöcke rekonstruiert und angezeigt, während sie empfangen werden. Die bevorzugte Ausführungform der Erfindung ermöglicht die anfängliche Anzeige eines niedrigaufgelösten Bildes, das allmählich aktualisiert und schärfer wird, auf einer Zeile-für-Zeile-Basis, bis eine gewünschte hohe Auflösung erzielt ist. Der Nutzer kann die Übertragung zu jedem Zeitpunkt beenden, wenn das Bild nicht das gewünschte ist.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus den Ansprüchen und aus der nachstehenden Beschreibung, in der Ausführungsbeispiele anhand der Zeichnungen im einzelnen erläutert sind, in denen
1–3 ein Standbild auf verschiedenen Zerlegungsstufen gemäß den Verfahren der vorliegenden Erfindung zeigen;
4 ein Flußdiagramm ist, das bevorzugte Schritte des Übertragens eines Standbildes gemäß der Erfindung zeigt;
5 ein Flußdiagramm ist, das bevorzugte Schritte des Empfangens und Anzeigens eines Standbildes gemäß der Erfindung zeigt;
6 und 7 bildliche Wiedergaben der bevorzugten Schritte der Erfindung sind;
8–12 ein Beispiel dafür zeigen, wie das Standbild von 1 erscheinen kann, wenn es mit zunehmenden Auflösungsgraden empfangen und angezeigt wird;
13 eine Datendatei, in schematischer Form, zum Speichern eines Standbildes gemäß einer bevorzugten Ausführungsform der Erfindung zeigt.
Die unten beschriebene Erfindung ist nützlich zum Speichern, Übertragen, Empfangen und Betrachten von Standbildern. Die Erfindung ist insbesondere nützlich in Kombination mit Übertragen von Bildern über serielle Übertragungsmedien, wie z.B. öffentliche Fernsprechtelefonleitungen oder ISDN (integrated services digital network)-Kommunikationskanäle. Die bevorzugte Ausführungsform wird unter Bezugnahme auf Grauwert- oder RGB-Standbilder be schrieben. Ein Grauwert-Bild umfaßt eine einzige Farbebene mit einer Matrix von Bildpunkt- oder Intensitätswerten, die Bildpunktintensitäten entsprechen. Ein RGB-Bild umfaßt drei diskrete Farbebenen, wobei jede eine Matrix von Bildpunkt- oder Intensitätswerten enthält, die Bildpunktintensitäten entsprechen. Eine "R"-Farbebene enthält Intensitäten für die roten Komponenten von Bildpunkten. Eine "G"-Farbebene enthält Intensitäten für die grünen Komponenten von Bildpunkten. Eine "B"-Farbebene enthält Intensitäten für die blauen Komponenten von Bildpunkten. Andere Standbildwiedergaben könnten auch unter Verwendung der Verfahren der Erfindung übertragen werden.
Die bevorzugten Schritte des Übertragens eines Originalbildes sind in 4 gezeigt. Ein erster Schritt 20 umfaßt das Konvertieren der Farbebenen des RGB-Bildes in Leuchtdichte- und Chrominanz (YUV)-Ebenen mittels bekannter Techniken. Ein nachfolgender Schritt 21 umfaßt das Transformieren des konvertierten Originalbildes in eine Mehrzahl von Zerlegungsstufen mittels eines hierarchischen Unterbandverschlüsselungsschemas, wie z.B. das oben beschriebene Wellentransformationsverfahren. Jede Zerlegungsstufe umfaßt eine Mehrzahl von Unterbildern, die eine Rekonstruktion einer Bildwiedergabe des Originalstandbildes ermöglichen: Der Transformationsschritt 21 schließt das Berechnen eines separaten Satzes von Unterbändern oder Unterbildern auf jeder Zerlegungsstufe für jede Leuchtdichte- und Chrominanz-Ebene ein. Mit anderen Worten wird jede YUV-Ebene separat transformiert, und jede Zerlegungsstufe umfaßt eine Mehrzahl oder einen Satz von Unterbildern für jede YUV-Ebene. Obwohl die verschiedenen Schritte unter Bezugnahme auf ein Farb-YUV-Bild angegeben werden, arbeiten die Verfahren genauso gut mit Grauwertbildern, die nur eine einzige Farb-, Intensität- oder Leuchtdichte-Ebene einschließen.
Der Schritt 21 umfaßt vorzugsweise das Erzeugen von wenigstens drei und vorzugsweise vier oder mehr Zerlegungsstufen. Unter der Annahme von vier Zerlegungsstufen für Erklärungszwecke wird die vierte Zerlegungsstufe als eine niedrigaufgelöste "Basis"-Zerlegungsstufe betrachtet. Sie schließt Unterbilder YLL4, YLH4, YHL4 und YHH4 für die Y-Ebene; ULL4, ULH4, UHL4 und UHH4 für die U-Ebene, und VLL4, VLH4, VHL4 und VHH4 für die V-Ebene ein.
Die vierte Zerlegungsstufe ist innerhalb einer dritten Zerlegungsstufe mit einer relativ höheren Auflösung verschachtelt. Die dritte Zerlegungsstufe enthält, zusätzlich zu der vierten Zerlegungsstufe, Unterbilder YLH3, YHL3, YHH3, ULH3, UHL3, UHH3, VLH3, VHL3 und VHH3. Es ist zu beachten, daß die Basiszerlegungsstufe die einzige ist, die ein explizit spezifiziertes LL-Unterbild enthält. Die LL-Unterbilder der höheraufgelösten Unterbilder werden durch die niedrigeren oder verschachtelten Zerlegungsstufen wiedergegeben und müssen aus den niedrigeren oder verschachtelten Verlegungsstufen berechnet oder invers transformiert werden. Die zweite Zerlegungsstufe, mit einer sogar höheren Auflösung als die Dritte, enthält die dritte Zerlegungsstufe und Unterbilder YLH2, YHL2, YHH2, ULH2, UHL2, UHH2, VLH2, VHL2 und VHH2. Die erste Zerlegungsstufe enthält die zweite Zerlegungsstufe und Unterbilder YLH1, YHL1, YHH1, ULH1, UHL1, UHH1, VLH1, VHL1 und VHH1.
Jedes Unterband oder Unterbild enthält Zeilen von Unterbildwerten, die Zeilen der Bildwiedergabe entsprechen, die durch die entsprechende Zerlegungsstufe bereitgestellt wird. Wie bereits beschrieben, enthält jedes Unterbild auf einer gegebenen Zerlegungsstufe Information in Bezug auf verschiedene Frequenzkomponenten des Originalbildes oder des LL-Unterbildes der nächst höheren Zerlegungsstufe. Die verschiedenen Zerlegungsstufen liefern zunehmend höhere Bildauflösungsgrade.
Die Schritte 22 und 23 von 4 umfassen die jeweilige Durchführung einer skalaren Quantisierung (scalar quantization) und Entropieverschlüsselung (entropy coding). Das transformierte Bild ist skalar quantisiert auf einer Stufe-für-Stufe-Basis. Die quantisierten Werte sind auch vorzugsweise komprimiert oder unter Verwendung der Huffman- und Lauflängen-Verschlüsselung verschlüsselt. Verschiedene Formen von Lauflängen-Verschlüsselung können für diesen Zweck verwendet werden, sowie die anderen Formen von Datenkomprimierung, die in der zitierten Literatur vorgeschlagen werden.
Die Zerlegungsstufen werden aufeinanderfolgend übertragen, beginnend mit der Basiszerlegungsstufe, die nur eine geringe Auflösung liefert, und fortsetzend mit Zerlegungsstufen, die zunehmend höhere Bildauflösungsgrade liefern. Die Zerlegungsstufen werden gemäß den Schritten 24 bis 28 von 4 übertragen. Wie durch den Schritt 24 gekennzeichnet, werden die Unterbilder als zusammenhängende Zeilenblöcke übertragen. Ein bestimmter Zeilenblock enthält alle Unterbildwerte, die notwendig sind, um eine Rekon struktion einer einzelnen Zeile einer Bildwiedergabe mit der Auflösung einer bestimmten Zerlegungsstufe zu ermöglichen. Diese rekonstruierte Zeile bildet eine Zeile des LL-Unterbildes der nächsthöheren Zerlegungsstufe.
Für ein Grauwertbild umfaßt ein Zeilenblock eine einzelne Bildpunktzeile von jedem Unterbild der gewählten Zerlegungsstufe. Für ein Farb-YUV-Bild umfaßt der Zeilenblock eine einzelne Bildpunktzeile von jedem Unterbild jeder Farbebene der gewählten Zerlegungsstufe. Zum Beispiel könnte ein Zeilenblock eine Bildpunktzeile von jedem der Unterbilder YLH, YHL, YHH, ULH, UHL, UHH, VLH, VHL und VHH der gewählten Zerlegungsstufe umfassen.
Der Schritt 24 wird für aufeinanderfolgende Zeilenblöcke einer einzelnen Zerlegungsstufe wiederholt, bis alle Zeilen der Unterbilder von der gegenwärtigen Zerlegungsstufe ausgewählt und übertragen worden sind. Dies ist durch die Blöcke 25 und 26 in Fig. gekennzeichnet. Das Verfahren wird dann für nachfolgende Zerlegungsstufen, wie durch Blöcke 27 und 28 gekennzeichnet, wiederholt. Dieses Verfahren setzt sich fort, bis alle Zeilenblöcke aller Zerlegungsstufen übertragen worden sind.
Als ein spezielles Beispiel beginnt die Übertragung mit einer vierten oder Basiszerlegungsstufe. Die Übertragung der Basiszerlegungsstufe beginnt mit nur ihren LL-Unterbildern, um eine sofortige Anzeige einer sehr groben Bildwiedergabe zu ermöglichen. Für das hierin beschriebene Farbbild schließt dies die Unterbilder YLL4, ULL4 und VLL4 ein. Die Übertragung beginnt mit einem Zeilenblock, der die erste Zeile von YLL4, die erste Zeile von ULL4 und die erste Zeile VLL4 von umfaßt. Die Übertragung setzt sich fort mit einem nachfolgenden Zeilenblock, der die zweite Zeile von YLL4, dann die zweite Zeile ULL4 und dann die zweite Zeile von VLL4 umfaßt. Die verbleibenden Zeilen der Unterbilder YLL4, ULL4 und VLL4 folgen, angeordnet in weiteren Zeilenblöcken.
Die Übertragung der verbleibenden Unterbilder der vierten Zerlegungsstufe setzt sich dann fort, beginnend mit einem Zeilenblock, der die erste Zeile von jedem der Unterbilder YLH4, YHL4, YHH4, ULH4, UHL4, UHH4, VLH4, VHL4 und VHH4 enthält. Der nächste Zeilenblock enthält die zweite Zeile von jedem der Unterbilder YLH4, YHL4, YHH4, ULH4, UHL4, UHH4, YLH4, VHL4 und VHH4. Die verbleibenden Zeilen von Unterbildern YLH4, YHL4, YHH4, ULH4, UHL4, UHH4, VLH4, VHL4 und VHH4 werden ähnlich angeordnet und in aufeinanderfolgenden Zeilenblöcken übertragen.
Die Übertragung setzt sich dann mit der dritten Zerlegungsstufe fort, beginnend mit einem Zeilenblock, der die erste Zeile von jedem der Unterbilder YLH3, YHL3, YHH3, ULH3, UHL3, UHH3, VLH3, VHL3 und VHH3 enthält. Es ist zu beachten, daß diese Zerlegungsstufe nicht LL-Unterbilder enthält, da die LL-Unterbilder der Zerlegungsstufe von der bereits übertragenen vierten Zerlegungsstufe rekonstruiert werden können. Der nächste Zeilenblock enthält die zweite Zeile von jedem der Unterbilder YLH3, YHL3, YHH3, ULH3, UHL3, UHH3, VLH3, VHL3 und VHH3. Die verbleibenden Zeilen der Unterbilder der YLH3, YHL3, YHH3, ULH3, UHL3, UHH3, VLH3, VHL3 und VHH3 werden ähnlich angeordnet und in auf einanderfolgenden Zeilenblöcken übertragen.
Die zweite und dann die erste Zerlegungsstufe werden mit derselben Anordnung oder Verschachtelung von Zeilen von den verschiedenen Unterbildern übertragen.
Somit wird, gemäß den Verfahren von 4, ein Bild als eine Aufeinanderfolge von Zerlegungsstufen übertragen, wodurch eine progressive Rekonstruktion des Originalbildes mit ständig zunehmender räumlicher Auflösung ermöglicht wird. Außerdem wird die Information auf einer Linie-für-Linie- oder Zeile-für-Zeile-Basis übertragen. Innerhalb einer gegebenen Zerlegungsstufe wird die gesamte Information für die erste Zeile einschließlich der Zeileninformation von allen Unterbildern und von allen Farbebenen als ein einzelner Zeilenblock übertragen. Dies ermöglicht es, daß das Bild Linie für Linie, wie es empfangen wird, rekonstruiert werden kann. Ein Nutzer kann somit die Gelegenheit wahrnehmen, die Übertragung zu jedem Zeitpunkt abzubrechen, nachdem er das Bild mit einer groben Auflösung gesehen hat.
5 stellt die bevorzugten Schritte des Empfangens und Rekonstruierens eines Bildes dar. Block 40 kennzeichnet eine Stufe des Empfangens der Zeilenblöcke, wie oben diskutiert. Die Schritte 41 bis 45 umfassen das Rekonstruieren von aufeinanderfolgenden Bildpunktzeilen, die dem Standbild mit zunehmenden Auflösungsgraden entsprechen, durch inverse Transformation und Anzeigen jedes Zeilenblocks. Diese Schritte werden an jedem Zeilenblock, wenn er empfangen wird, durchgeführt. Der Schritt 41 umfaßt Entropie-Entschlüsselung; Schritt 42 umfaßt skalare Entquantisierung; Schritt 43 umfaßt die inverse Wellentransformation; und Schritt 44 umfaßt YUV -> RGB-Konvertierung. Diese Schritte werden an jeder Zeile der gegenwärtigen Zerlegungsstufe durchgeführt und rekonstruieren somit die entsprechende(n) Zeile oder Zeilen der nächsthöheren Zerlegungsstufe. Diese Rekonstruktion schafft eine Folge von rekonstruierten Bildern mit zunehmenden Größen, die den zunehmenden Auflösungsgraden entsprechen.
Der Schritt 45 umfaßt das Anzeigen jeder aufeinanderfolgenden Bildpunktzeile von jeder Zerlegungsstufe, wenn sie empfangen und rekonstruiert wird. Dies ermöglicht es einem Nutzer, ein Bild während seines Empfangs zu bewerten, ohne auf die vollständige Übertragung eines Bildes oder sogar auf die vollständige Übertragung einer Zerlegungsstufe warten zu müssen. Der Schritt 45 schließt vorzugsweise einen Schritt des Vergrößerns von jedem aufeinanderfolgend rekonstruierten Bild auf eine gemeinsame Größe vor dem tatsächlichen Anzeigen ein. Eine derartige Vergrößerung wird vorzugsweise mit einer bilinearen Interpolation oder einer Bildpunktmittelwertbildung gemäß bekannten Techniken bewerkstelligt. Der Anzeigeschritt 45 kann auch ein geeignetes Schwanken (dithering) einschließen, wenn das Bild darzustellen ist, wobei eine Farbpalette benutzt wird, die kleiner ist als diejenige, die verwendet wird, um das Orginalbild herzustellen.
Die Übertragung und Rekonstruktion von einzelnen Zeilenblöcken ist bildlich in den 6 und 7 dargestellt. 6 zeigt Y-, U- und V-LL-Unterbilder 51, 52 und 53 einer Basiszerlegungsstufe, wobei eine einzelne Bildpunktzeile x aus jedem LL-Unterbild ausgewählt ist. Die ausgewählten Bildpunktzeilen werden kombiniert, um einen Zeilenblock 54 zu bilden. Der einzelne Zeilenblock wird als ein Block übertragen. Nach einer derartigen Übertragung werden Entropie-Entschlüsselung, Entquantisierung, inverse Transformation und YUV -> RGB-Umwandlungsschritte 55 bis 58 durchgeführt. Dies liefert eine einzelne Zeile x eines rekonstruierten Bildes 59. Aufeinanderfolgende Zeilen der LL-Unterbilder werden in Blöcken gefaßt, übertragen und rekonstruiert, um alle Bildpunktzeilen des Bildes 59 auf der Basiszerlegungsstufe zu liefern.
7 zeigt Y-, U- und V-Unterbilder 61, 62 und 63 einer Zerlegungsstufe, die eine Basiszerlegungsstufe sein kann oder auch nicht. Die Übertragung schließt in diesem Fall nicht LL-Unterbilder ein. Wieder wird eine einzelne Bildpunktzeile x von jedem Unterbild ausgewählt. Die ausgewählten Bildpunktzeilen werden kombiniert, um einen einzelnen zusammenhängenden Zeilenblock 64 zu bilden, der als ein Block übertragen wird. Nach einer derartigen Übertragung werden Entropie-Entschlüsselung, Entquantisierung, inverse Transformation und YUV -> RGB-Umwandlungsschritte 65 bis 68 durchgeführt. Dies liefert eine einzelne Zeile x des rekonstruierten Bildes 59 mit einer höheren Auflösung als vorher verfügbar. Aufeinanderfolgende Zeilen der Unterbilder werden in Blöcken gefaßt, übertragen und rekonstruiert, um alle Bildpunktzeilen des Bildes 59 mit der Auflösung der gegenwärtigen Zerlegungsstufe zu liefern. Dieser Vorgang wird auf jeder Zerlegungsstufe wiederholt, so daß das Bild 59 mit zunehmenden Auflösungsgraden ange zeigt wird.
Die besondere Anordnung und zeitliche Regulierung der Bildübertragung ermöglicht es einem Nutzer, jeden Teil eines Bildes zu dem frühestmöglichen Moment zu betrachten. Das Bild wird erst mit einer Basis oder geringen Auflösung entsprechend den LL-Unterbildern der Basiszerlegungsstufe gezeichnet, beginnend mit der oberen Zeile und nach unten vorschreitend. Während des Empfangs der verbleibenden Unterbilder der Basiszerlegungsstufe wird die Anzeige aktualisiert, wieder Zeile für Zeile. Der Nutzer wird eine leichte Schärfezunahme wahrnehmen, die allmählich von dem oberen Ende zu dem unteren Ende des Bildes auftritt. Eine weitere Schärfe wird während des Empfangs der nachfolgenden Zerlegungsstufen bereitgestellt werden, bis das Bild vollständig mit seiner ursprünglichen Auflösung rekonstruiert ist. Die Übertragung kann zu jedem Zeitpunkt von dem Nutzer abgebrochen werden.
Das Ergebnis ist durch die Folge der in den 8 bis 12 gezeigten Anzeigen dargestellt. Eine anfängliche Bildwiedergabe erscheint mit einer sehr geringen Auflösung, wie in 8 gezeigt. Es ist zu beachten, daß diese Wiedergabe die Verwendung einer bilinearen Interpolation wiederspiegelt. Dies verbessert erheblich die Erkennbarkeit des Bildes. Das grobe Bild von 8 wird allmählich aktualisiert, Zeile für Zeile, von unten nach oben, wenn Zeilenblöcke der nächsthöheren Zerlegungsstufe empfangen und invers transformiert werden, um eine durch 9 gezeigte Bildwiedergabe zu erzielen. Der Empfang und die inverse Transformation von weiteren Zerlegungsstufen erzielt die wiedergaben von 10 und 11. Der Empfang der letzten Zerlegungsstufe führt zu dem hochaufgelösten Bild von 12. Die visuelle Wirkung für einen Nutzer ist erfreulich. Anstatt eine Aufeinanderfolge von unzusammenhängenden Bildern in zunehmenden, in keinem Zusammenhang stehenden Größen zu sehen, sieht der Nutzer ein einzelnes Bild in einer festen Größe, das allmählich, Zeile für Zeile auf eine sehr hohe Auflösung an Schärfe zunimmt.
Wenn der Empfangscomputer relativ langsam ist, können die Rekonstruktionsschritte 41 bis 45 von 5 implementiert werden, um nur die Leuchtdichte (Y)-Ebene des empfangenen YUV-Bildes zu rekonstruieren und anzuzeigen. Die Leuchtdichte-Ebene erscheint als eine Grauwertwiedergabe eines ursprünglichen Farbbildes und wird in vielen Fällen für eine Voransicht von einem Bild akzeptabel sein. Eine weitere Rekonstruktion der Chrominanz (UV)-Ebenen kann verschoben werden, bis der Nutzer eine Vollfarbanzeige des Originalbildes fordert.
Es ist vorteilhaft, Standbilder in dem oben beschriebenen zerlegten, komprimierten und geordneten Format abzuspeichern. Dies minimiert den Speicherplatz und minimiert auch die sich wiederholenden Verarbeitungskosten, die andernfalls notwendig sein würden, um die Bilddaten vor oder während jeder Übertragung zu transformieren und anzuordnen. Die Erfindung schließt somit eine wie in 13 gezeigt angeordnete Datendatei zum Speichern eines Standbildes ein. Die Datendatei ist allgemein mit dem Bezugszeichen 70 bezeichnet. Sie umfaßt eine Mehrzahl von Zerlegungsstufen, die das ursprüngliche Standbild mit zunehmend höheren Auflösungsgraden darstellen. Die Zerlegungsstufen sind innerhalb der Datendatei in der Zeilenfolge der zunehmenden Auflösungsgrade (von oben nach unten in 13 gezeigt) angeordnet. Zum Beispiel sind die LL-Daten von einer vierten oder Basiszerlegungsstufe zuerst in einem Datenblock 71 gespeichert, gefolgt von den verbleibenden LH-, HL- und HH-Daten der vierten Zerlegungsstufe in einem Datenblock 72. Dieser wird von einer dritten Zerlegungsstufe in einem Datenblock 74, einer zweiten Zerlegungsstufe in einem Datenblock 76 und einer ersten Zerlegungsstufe in einem Datenblock 78 gefolgt.
Wie oben beschrieben, umfaßt jede Zerlegungsstufe eine Mehrzahl von Unterbildern, die eine Rekonstruktion einer dem Orginalbild entsprechenden Bildwiedergabe ermöglichen. Die Unterbilder weisen Zeilen mit Unterbildwerten auf, die Zeilen der Bildwiedergabe entsprechen. Die Unterbilder werden vorzugsweise mit einer diskreten Wellentransformation transformiert.
Jede Zerlegungsstufe umfaßt einen separaten Satz von Unterbildern für jede Leuchtdichte- und Chrominanz-Ebene von dem Standbild. Jedoch sind die Zeilen von verschiedenen Unterbildern innerhalb der Datendatei und innerhalb jeder speziellen Zerlegungsstufe angeordnet, um Zeilenblöcke, wie in 13 gezeigt, zu bilden. Jeder Zeilenblock in 13 wird durch die Bezeichnung RB#_x gekennzeichnet, wobei # die Zerlegungsstufe und der indizierte Wert eine bestimmte Zeile der Unterbilder der Zerlegungsstufe kennzeichnet. Wie gezeigt, sind die Zeilenblöcke beginnend mit einer oberen Zeile 1 der Unterbilder und mit der unteren Zeile der Unterbilder endend angeordnet. Der wert K kennzeichnet die Anzahl von Zeilen in den Unterbildern der ersten Zerlegungsstufe.
Die Zeilen in jedem Block entsprechen einer einzelnen gemeinsamen Zeile von der Bildwiedergabe, die durch die Zerlegungsstufe bereitgestellt wird, die den Zeilenblock enthält. Jeder Zeilenblock enthält alle zum Rekonstruieren der einzelnen Zeile erforderlichen Daten. Speziell enthält jeder Zeilenblock eine Zeile von Daten von jedem der oder wenigstens einer Mehrzahl der Unterbilder der Zerlegungsstufe. Zum Beispiel enthält ein einzelner Zeilenblock YLH#_x, YHL#_x, YHH#_x, ULH#_x, UHL#_x, UHH#_x, VLH#_x, VHL#_x und VHH#_x, worin x eine bestimmte Zeile der Unterbilder kennzeichnet. Die Zeilenblöcke werden vorzugsweise unter Verwendung einer Form von Lauflängen- und Huffman-Verschlüsselung komprimiert.
Die Erfindung liefert eine benötigte Verbesserung für die Übertragung von Standbildern über relativ langsame Kommunikationsverbindungen. Die Fähigkeit eines Nutzers, die Verbesserungen einer anfänglichen, niedrig aufgelösten Bildwiedergabe zu sehen, so daß die angezeigte Bildwiedergabe allmählich auf ihre volle Auflösung auf einer Linie-für-Linie-Basis an Schärfe zunimmt, ist ein besonders erfreulicher und wünschenswerter Vorteil, wenn Bilder vorab angesehen werden. Die verwendeten besonderen Zerlegungsverfahren liefern zusätzliche Vorteile, indem sie recheneffizient sind und eine effiziente Datenkomprimierung ermöglichen.
Die in der vorangehenden Beschreibung, in den Zeichnungen sowie in den Ansprüchen offenbarten Merkmale der Erfindung können sowohl einzeln als auch in beliebiger Kombination für die Verwirklichung der Erfindung in ihren verschiedenen Ausführungsformen wesentlich sein.

Claims

Verfahren zum Übertragen eines Standbildes, das durch eine Anzahl von Zerlegungsstufen wiedergeben wird, wobei jede Zerlegungsstufe eine Anzahl von Unterbildern umfaßt, die eine Rekonstruktion einer Bildwiedergabe des Standbildes ermöglichen, wobei die Unterbilder Zeilen mit Unterbildwerten aufweisen, die Zeilen der Bildwiedergabe entsprechen, ferner die Zerlegungsstufen zunehmend höhere Auflösungsgrade bereitstellen, wobei das Verfahren die folgenden Schritte umfaßt: aufeinanderfolgendes Übertragen der Zerlegungsstufen, beginnend mit einer Basiszerlegungsstufe, die eine geringe Bildauflösung bereitstellt, und fortsetzend mit Zerlegungsstufen, die zunehmend höhere Auflösungsgrade bereitstellen; gekennzeichnet durch Übertragen der Unterbildwerte von jeder jeweiligen Zerlegungsstufe als Zeilenblöcke, worin jeder Zeilenblock eine Zeile mit Unterbildwerten von verschiedenen Unterbildern der jeweiligen Zerlegungsstufe enthält, und worin die Unterbildwerte von jedem Zeilenblock einer gemeinsamen Bildwiedergabezeile entsprechen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß es ferner umfaßt: Empfangen der Zeilenblöcke mit Unterbildwerten; Rekonstruieren von aufeinanderfolgenden Bildpunktzeilen des Standbildes mit zunehmenden Auflösungsgraden, während jeder Zeilenblock empfangen wird; Anzeigen jeder rekonstruierten Bildpunktzeile des Standbildes, während es rekonstruiert wird.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß der Rekonstruktionsschritt ein Schaffen einer Folge von rekonstruierten Bildern mit zunehmenden Auflösungsgraden umfaßt.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß der Rekonstruktionsschritt ein Schaffen einer Folge von rekonstruierten Bildern mit zunehmenden Größen, die den zunehmenden Auflösungsgraden entsprechen, umfaßt; das Verfahren außerdem ein Vergrößern der rekonstruierten Bilder auf eine einheitliche Größe vor ihrer Anzeige umfaßt.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß der Rekonstruktionsschritt ein Schaffen einer Folge von rekonstruierten Bildern mit zunehmenden Größen, die zunehmenden Auflösungsgraden entsprechen, umfaßt; das Verfahren außerdem ein Interpolieren umfaßt, um die rekonstruierten Bilder auf eine einheitliche Größe vor ihrer Anzeige zu vergrößern.
Verfahren nach irgendeinem der Ansprüche 2 bis 5, dadurch gekennzeichnet, daß das Standbild durch Leuchtdichte- und Chrominanz-Ebenen wiedergegeben wird, und worin der Rekonstruktions- und Anzeigeschritt nur die Leuchdichte-Ebene rekonstruieren und anzeigen.
Verfahren zum Übertragen eines Standbildes nach einem der vorangehenden Ansprüche, gekennzeichnet durch Transformieren des Standbildes in besagte Anzahl von Zerlegungsstufen.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß der Transformationsschritt ein Berechnen der Anzahl von Zerlegungsstufen mittels einer diskreten Wellentransformation umfaßt.
Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, daß es außerdem ein Verschlüsseln der Zeilenblöcke vor ihrer Übertragung umfaßt.
Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, daß es außerdem ein Lauflängen-Verschlüsseln der Zeilenblöcke vor ihrer Übertragung umfaßt.
Verfahren nach irgendeinem der Ansprüche 7 bis 10, dadurch gekennzeichnet, daß das Standbild Chrominanz- und Leuchtdichte-Ebenen umfaßt und worin der Transformationsschritt ein Berechnen eines separaten Satzes von Unterbildern in jeder Zerlegungsstufe für jede Leuchtdichte- und Chrominanz-Ebene umfaßt.
Verfahren nach irgendeinem der Ansprüche 7 bis 10, dadurch gekennzeichnet, daß das Standbild eine Anzahl von Farbebenen umfaßt, wobei das Verfahren außerdem ein Konvertieren der Farbebenen in Chrominanz- und Leuchtdichte-Ebenen vor dem Transformationsschritt umfaßt, worin der Transformationsschritt ein Berechnen eines separaten Satzes von Unterbildern in jeder Zerlegungsstufe für jede Leuchtdichte- und Chrominanz-Ebene umfaßt.
Verfahren nach irgendeinem der Ansprüche 7 bis 12, dadurch gekennzeichnet, daß es außerdem umfaßt: Empfangen der Zeilenblöcke mit Unterbildwerten; Rekonstruieren von aufeinanderfolgenden Bildpunktzeilen des Standbildes mit zunehmenden Auflösungsgraden durch inverse Transformation jedes Zeilenblocks, wenn er empfangen wird; Anzeigen jeder rekonstruierten Bildpunktzeile des Standbildes, während es rekonstruiert wird.