DE60312746T2

DE60312746T2 - Wiederherstellung nach fehlern in datenverarbeitungsanlagen

Info

Publication number: DE60312746T2
Application number: DE60312746T
Authority: DE
Inventors: Robert Frank Chandlers Ford BUXTON; David James Bournemouth FISHER; Jose Emir Richmond GARZA; Stephen James Hampton HOBSON; Paul Chandlers Ford HOPEWELL; Paul Winchester KETTLEY; Robert Daniel Fareham Millar; Peter Romsey SIDDALL; Stephen Richard Lockerley WALKER
Original assignee: International Business Machines Corp
Current assignee: Lenovo Singapore Pte Ltd
Priority date: 2003-04-10
Filing date: 2003-10-22
Publication date: 2007-12-06
Anticipated expiration: 2023-10-23
Also published as: EP1661000B1; WO2004090724A1; DE60312746D1; US20070088970A1; CN100339834C; KR20060004915A; KR100983300B1; AU2003278330A1; CN1729455A; EP1661000A1; GB0308264D0; US7543181B2; ATE357693T1; JP2006514374A

Description

Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf die Wiederherstellung nach Fehlern in Datenverarbeitungsanlagen und im Besonderen auf Wiederherstellungskomponenten und Verfahren, die in Computerprogrammen und Datenverarbeitungsanlagen ausgeführt werden.
Hintergrund
Sogar sehr zuverlässige Datenverarbeitungsanlagen können für Speicherfehler, wie zum Beispiel Plattenfehler und Fehlfunktionen oder Softwaredefekte anfällig sein, die zu einem Verlust an oder der Verfälschung von Daten im primären Datenspeicher führen. Um solche Fehler zu vermeiden, die zu permanentem Verlust an Daten führen, ist es bekannt, umfassende Wiederherstellungsfähigkeiten zur Verfügung zu stellen, die die Durchführung von Sicherungskopien von gespeicherten Daten und das Erstellen und Aufzeichnen von Protokolldateien umfassen, die die Aktualisierungen der gespeicherten Daten seit der letzten Sicherung beschreiben.
Eine Anzahl von Softwareprodukten zur Datenkommunikationsverwaltung, einschließlich der MQSeries^TM und WebSphere^TM MQ Familie von Datenübertragungsprodukten der IBM Corporation stellt während der Übertragung von Nachrichten zwischen einem Absender und einem Empfänger Einrichtungen für das Speichern von Nachrichten in einem Datenspeicher wie zum Beispiel einer Nachrichtenwarteschlange oder einer Datenbanktabelle zur Ver fügung. Wie bei anderen Datenverarbeitungsanlagen und Computerprogrammen gibt es einen Bedarf an Lösungen für die Wiederherstellung nach potentiellen Fehlern in Anordnungen oder Programmen, um den Verlust an kritische Nachrichten zu vermeiden und sicherzustellen, dass die Aufgaben eines Anwendungsprogramms erfolgreich beendet werden können.
In einer Anordnung, die Nachrichten in eine Warteschlange einreiht und in der Warteschlangenmanager die Übertragung von Nachrichten zwischen Warteschlangen ausführen, ist es für Wiederherstellungseinrichtungen in Warteschlangenmanagerprogrammen bekannt, dass sie eine Warteschlange und deren Nachrichteninhalte wiederherstellen, wenn der zum Halten der Nachrichten verwendete primäre Speicher einen Fehler aufweist. Die Wiederherstellungseinrichtungen stellen Nachrichten in der Warteschlange wieder her, so dass der letzte Status der Warteschlange der gleiche ist wie zum Zeitpunkt des Speicherfehlers. Diese Wiederherstellungseinrichtungen stellen eine Nachrichtenwarteschlange und einen Schnappschuss ihres Inhalts aus einer Sicherungskopie der Warteschlange wieder her und beziehen sich dann auf die Protokolldatensätze des Warteschlangenmanagers, um Änderungen an der Warteschlange erneut auszuführen. In solchen bekannten Lösungen müssen Warteschlangenmanager die Wiederherstellung beenden, bevor irgendwelche Nachrichten aus der Warteschlange abgerufen werden und bevor der Warteschlange neue Nachrichten hinzugefügt werden. Dies stellt sicher, dass der Status der Warteschlange nach der Wiederherstellung der gleiche ist wie der Status der Warteschlange zum Zeitpunkt des Fehlers und dass die Reihenfolgebildung der Nachrichten in Folge des Fehlers nicht verloren geht.
Jedoch ist ein verbleibendes Problem im Zusammenhang mit solchen Lösungen die Nichtverfügbarkeit der Nachrichtenübermitt lungsfunktionen und des Nachrichtenspeichers, während die Wiederherstellungsverarbeitung im Gang ist. Viele Anwendungen erfordern eine optimale Verfügbarkeit von Nachrichten, weisen jedoch konkurrierende Anforderungen an die Nachrichtenübermittlungsanordnung auf, um zuverlässig eine nur einmal durchgeführte Übermittlung von Nachrichten zur Verfügung zu stellen. Wenn es einer Anwendung ermöglicht wird auf eine Warteschlange zuzugreifen während die Wiederherstellung abgearbeitet wird, besteht eine Gefahr, dass eine einzelne Nachricht zweimal durch die Anwendung verarbeitet wird. Ein Bankkunde, dem als Antwort auf eine einmal ausgeführte Überweisungsanordnung zweimal Beträge auf seinem Konto belastet werden, wäre sehr unzufrieden.
Das US Patent mit der Nr. 6,377,959, ausgestellt am 23. April 2002 auf Carlson, beschreibt eine Transaktionsverarbeitungsanordnung, die fortfährt, eingehende Transaktionen während des Fehlers und der Wiederherstellung von einer von zwei duplizierten Datenbanken zu verarbeiten. Einem der zwei Duplikate wird der Status „aktiv" zugewiesen, und das andere wird mit dem Status „redundant" aufrecht empfangen. Alle eingehenden Anfragen werden nur an die aktive Datenbank gesandt, und alle eingehenden Aktualisierungen werden sowohl an die aktive als auch die redundante Datenbank gesandt. Wenn eine Datenbank fehlschlägt, wird der anderen der aktive Status zugewiesen (wenn diese nicht bereits aktiv ist) und diese fährt fort, eingehende Anfragen und Aktualisierungen während der Reparatur und des Wiederanlaufs der fehlgeschlagenen Datenbank zu verarbeiten. Die Reparatur und der Wiederanlauf der fehlgeschlagenen Datenbank umfassen die Anwendung von abwechselnden Kopier- und Aktualisierungsoperationen in einem einzelnen Durchlauf durch die aktive Datenbank. Das Abwechseln von eingehenden Ak tualisierungen und Kopieroperationen wird entsprechend einem Schwellenwertverfahren für die Warteschlange ausgeführt, das Kopieroperationen in Reaktion auf die Anzahl von eingehenden Transaktionsaktualisierungen steuert. Die Transaktionsverarbeitungsanordnung bleibt sowohl während der Fehler- als auch der Wiederherstellungsaktivitäten betriebsbereit. Da eine vollständige Replizierung aufrecht erhalten wird, werden Protokolldatensätze nur geschrieben, wenn eine der Datenbanken fehlschlägt, und ein Zugang zur fehlgeschlagenen Datenbank ist nicht erforderlich, während sich diese Datenbank in der Reparatur befindet. Obwohl eine fortlaufende Verfügbarkeit sehr wünschenswert ist, weist diese Lösung die bedeutsamen Verarbeitungs- und Speicheroverheads auf, zwei Datenbankreplizierungen mit der Austauschbarkeit des Betriebsstatus (aktiv oder redundant) von jeder der zwei Datenbankanordnungen aufrecht zu erhalten. Weiterhin schützt eine Replizierung im Allgemeinen nicht gegen eine Softwareverfälschung und so sind in einigen Fällen zusätzlich zur Replizierung Wiederherstellungsoperationen erforderlich.
Die US Patentanmeldung mit der Veröffentlichungs-Nr. 2002/0049776 (am 25. April 2002 für Aronoff et al veröffentlicht) bezieht sich auch auf replizierte Datenbanken für hohe Verfügbarkeit. Das Dokument beschreibt ein einem Fehler folgendes Verfahren zur Resynchronisation von Quell- und Zieldatenbanken durch Neustarten der Replizierung nach der Wiederherstellung der Zieldatenbank und Bereinigung von nicht mehr aktuellen Transaktionen, die während der Wiederherstellung bereits in der Zieldatenbank abgearbeitet wurden.
Eine alternativer Ansatz wird in dem US Patent mit der Nr. 6,353,834, erteilt am 5. März 2002 an Wong et al beschrieben, in dem eine Anordnung zur Einreihung von Nachrichten in eine Warteschlange Nachrichten und Stausinformationen über die Nachrichten speichert, die in einer einzelnen Datei auf einer einzelnen Platte zusammengefasst sind. Diese Anordnung zielt darauf ab, ein effizientes Schreiben von Daten zu erreichen, in dem Schreibaktualisierungen von drei verschiedenen Platten (einer Datenplatte, einer Indexstrukturplatte und einer Protokollplatte) vermieden werden. Eine Speicherabbildtabelle für Warteschlangeneinträge wird verwendet, um Steuerungsformationen, Nachrichtenblöcke und Protokolldatensätze einzugeben. Die Patentschrift US 6,353,834 bezieht sich auf die Verwendung vorhandener RAID Technik und doppeltes Schreiben von Daten, ohne die die beschriebene Anordnung keinen Schutz vor Speicherfehlern zur Verfügung stellt, die zu einem Verlust an den auf der einzelnen Platte gehaltenen Daten führen.
Die internationale Patentanmeldung mit der Veröffentlichungsnummer WO 02/073409 offenbart ein Verfahren für die Wiederherstellung von Datenbankknoten, ohne die Schreibtransaktionen einzustellen. Ein fehlerhafter Knoten wird mit Hilfe einer alten Version eines Datenbankfragments in dem fehlerhaften Knoten zusammen mit einer aktuellen Version des Fragments in einem anderen Knoten wiederhergestellt durch Kopieren der Teile des Fragments, die sich seit der Erstellung der alten Version geändert haben. Ein Löschprotokoll wird verwendet, um der Wiederherstellungsverarbeitung zu ermöglichen, Löschvorgänge seit der Erstellung der alten Version zu berücksichtigen. Schreibtransaktionen, die nach dem Beginn der Wiederherstellungsverarbeitung auftreten, werden während der Wiederherstellungsverarbeitung auf den in der Wiederherstellung befindlichen Knoten ausgeführt.
Zusammenfassung
Die Erfindung wird durch die Ansprüche definiert. Gesichtspunkte der vorliegenden Erfindung stellen Verfahren, Datenverarbeitungsanlagen, Wiederherstellungskomponenten und Computerprogramme zur Wiederherstellung nach Fehlern, die Auswirkungen auf Datenspeicher aufweisen, zur Verfügung, wobei mindestens ein Teil der Wiederherstellungsverarbeitung ausgeführt wird, während die Datenspeicher dazu in der Lage sind, neue Daten zu empfangen und das Wiederabrufen von solchen neuen Daten zu ermöglichen. Der Fehler kann ein Hardwarefehler oder eine Hardwarefehlfunktion sein oder ein Softwarefehler, der zu Verlust an oder Verfälschung von Daten in einem Datenspeicher auf einem primären Datenspeichermedium führt.
Obwohl neue Datenelemente (das heißt jene, die nach dem Fehler empfangen werden) in dem Speicher empfangen und daraus während der Wiederherstellungsverarbeitung wieder abgerufen werden können, werden Aktualisierungen des Datenspeichers, die vor dem Fehler ausgeführt wurden und die dann von der Wiederherstellungsverarbeitung wieder in den Speicher gespeichert werden bis zur Fertigstellung der Wiederherstellungsverarbeitung unzugänglich gemacht. Die Wiederherstellungsverarbeitung kann eine schnelle Verfügbarkeit des Datenspeichers erreichen, während sie auch sicherstellt, dass der wieder hergestellte Speicher mit dem Status des Speichers zur Zeit des Fehlers übereinstimmt.
Unter einem ersten Gesichtspunkt stellt die vorliegende Erfindung ein Verfahren dafür zur Verfügung, einen Datenspeicher nach einem Fehler wiederherzustellen, der eine primäre Kopie des Datenspeichers betrifft, wobei das Verfahren die folgenden Schritte umfasst: eine sekundäre Kopie von Daten aufrecht zu erhalten, die ausreichend sind, die primäre Kopie des Datenspeichers und der darin gehaltenen Dateneinheiten wiederherzustellen; als Antwort auf einen Fehler, der die primäre Kopie des Datenspeichers betrifft, eine primäre Kopie des Datenspeichers aus der sekundären Datenkopie wieder herzustellen und einen Wiederherstellungsprozess zu verwenden, um Dateneinheiten in der primären Kopie im Rahmen einer Wiederherstellungsarbeitseinheit aus der sekundären Kopie wiederherzustellen; wobei in der primäre Kopie des Datenspeichers innerhalb der Wiederherstellungsarbeitseinheit wieder hergestellte Dateneinheiten für Prozesse unzugänglich gemacht werden außer für den Wiederherstellungsprozess, bis die Wiederherstellungsarbeitseinheit bestätigt ist; vor dem Bestätigen der Wiederherstellungsarbeitseinheit die primäre Kopie des Datenspeichers zu konfigurieren, um das Hinzufügen von Dateneinheiten zum Datenspeicher unabhängig von besagtem Wiederherstellungsschritt zu ermöglichen und es Prozessen außer dem Wiederherstellungsprozess zu ermöglichen, besagte unabhängig hinzugefügte Dateneinheiten abzurufen; und als Antwort auf die erfolgreiche Fertigstellung des Wiederherstellungsschritts die Wiederherstellungsarbeitseinheit zu bestätigen, einschließend die besagte Unzugänglichkeit der wiederhergestellten Daten aufzuheben.
Entsprechend einer bevorzugten Ausführungsform der Erfindung umfassen Aktualisierungen von einem Nachrichtenspeicher während der normalen Vorwärtsverarbeitung einer Nachrichtenübermittlungsanordnung Nachrichtensendeoperationen, die dem Speicher Nachrichten hinzufügen und Nachrichtenabrufoperationen, die die Nachrichten löschen. Der „Nachrichtenspeicher" kann in diesem Zusammenhang eine Nachrichtenwarteschlange, eine Datenbanktabelle oder jede andere Datenstruktur sein, die Nachrich ten oder Nachrichtenwarteschlangen hält. Als Folge eines Fehlers, der den Nachrichtenspeicher betrifft, wird der Nachrichtenspeicher in einem leeren Status wieder aufgebaut und dann werden Sende- und Abrufoperationen erneut auf den Speicher angewandt, vorzugsweise durch Bezugnahme auf eine Sicherungskopie des Speichers und der Protokolldatensätze. Das Nachrichtenspeicher wird als ein vorläufiger Wiederherstellungsschritt wieder hergestellt, und Nachrichtenübermittlungsfunktionen sind dazu in der Lage, neue Nachrichten vor der Fertigstellung der Wiederherstellung zu und von dem Nachrichtenspeicher zu übertragen. Aktualisierungen des Nachrichtenspeichers, die es erfordern, Operationen des Sicherungsspeicher und von Protokolldatensätzen erneut anzuwenden, werden behandelt wie unbestätigte Operationen einer Wiederherstellungsarbeitseinheit und werden nur bestätigt (das heißt es wird eine Konsistenzüberprüfung durchgeführt und die Aktualisierungen werden endgültig gemacht und zugreifbar für andere Programme) bei Fertigstellung der Wiederherstellungsarbeitseinheit. Die Wiederherstellungsarbeitseinheit umfasst den Satz von Operationen, die (der Wiederherstellung des Nachrichtenspeichers folgend) erforderlich sind, um den Inhalt des Nachrichtenspeichers in einem mit dem Status des Speichers zur Zeit des Fehlers konsistenten Status wiederherstellen. Der Nachrichtenspeicher ist für den Empfang von neuen Nachrichten verfügbar, sobald er wieder hergestellt ist, während jede Nachricht, die innerhalb der Wiederherstellungsarbeitseinheit in einer Warteschlange wiederhergestellt wird, bis zu Fertigstellung der Wiederherstellungsarbeitseinheit nicht durch ein Zielanwendungsprogramm vom Speicher abgerufen werden kann.
Die Erfindung ist nützlich für Anwendungen, in denen es nicht wesentlich ist, Datenelemente in derselben Reihenfolge zu ver arbeiten wie sie dem Datenspeicher hinzugefügt wurden. In einer ersten beispielhaften Ausführungsform ist jedes Datenelement oder jede Nachricht eine Anfrage zur Durchführung einer bestimmten Aufgabe. Wenn die Reihenfolge der Ausführung der Aufgaben nicht wichtig ist, dann können neue Anfragen in den Speicher aufgenommen und verarbeitet werden, ohne darauf zu warten, dass alle vorherigen Anfragen wieder hergestellt wurden.
Eine Ausführungsform der Erfindung stellt eine Datenkommunikationsanordnung zur Verfügung, um Nachrichten zwischen einem Absender und einem Empfänger zu übertragen, wobei Nachrichten folgend auf eine Nachrichtensendeoperation in einem Nachrichtenspeicher gehalten werden und anschließend für die Lieferung an den Empfänger vom Speicher abgerufen werden. Eine Sicherungskopie des Speichers wird entweder periodisch oder als Antwort auf vordefinierte Ereignisse erzeugt und aktualisiert und Protokolldatensätze werden geschrieben, um Nachrichtensenden aufzuzeichnen, und Protokolldatensätze werden geschrieben, um Nachrichtensende- und Nachrichtenabrufereignisse einschließlich Aktualisierungen am Transaktionszustand von Nachrichten aufzuzeichnen, umfassend die Ereignisse, die seit der letzten und aktuellsten Durchführung einer Datensicherung stattgefunden haben. Die Anordnung umfasst eine Wiederherstellungskomponente, die eingerichtet ist, um die Datenkommunikationsanordnung zu steuern, damit diese die nachfolgenden Durchführungsschritte ausführt: als Antwort auf einen Speicherfehler, der die primäre Kopie des Nachrichtenspeichers betrifft, durch Verweis auf eine Sicherungskopie des Speichers und der Protokolldatensätze einer primären Kopie des Datenspeichers wieder herzustellen und Datenelemente in der primäre Kopie wieder herzustellen. Die Sicherungskopie und die Proto kolldatensätze wurden vor dem Fehler während der normalen Vorwärtsverarbeitung erzeugt. Die Anordnung wird konfiguriert, um es zu ermöglichen, dass dem Speicher neue Nachrichten hinzugefügt und davon abgerufen werden können, ohne die Fertigstellung der Wiederherstellungsverarbeitung abzuwarten. Im Speicher durch Verweis auf die Sicherungskopie oder die Protokolldatensätze wiederhergestellte und auf den Speicher angewandte Aktualisierungen werden für Abruf er unzugänglich gemacht, bis alle Aktualisierungen des Nachrichtenspeichers, die sich auf Sende- und Abrufoperationen beziehen, die vor dem Fehler ausgeführt wurden, erneut auf den Nachrichtenspeicher angewandt worden sind. „Neue Nachrichten" sind in diesem Zusammenhang Nachrichten, die dem Speicher nach dem Fehler zum ersten Mal hinzugefügt werden. Nachrichten, die der Warteschlange vor dem Fehler hinzugefügt wurden und dann nach dem Fehler in der Warteschlange wiederhergestellt wurden, werden nachfolgend als „alte Nachrichten" bezeichnet.
Ein weiteres Problem bei vielen bekannten Kommunikationslösungen ist die Tendenz, dass sich Daten in den Speichern anhäufen, während die Wiederherstellungsverarbeitung ausgeführt wird – und möglicherweise dazu führen, dass der Speicher (oder Strukturen innerhalb des Speichers) einen Status „voll" erreichen. Die Ergebnisse könnten sein, dass einige kommunizierte Daten an den Absender zurückgegeben werden oder sich an einem dazwischen angeordneten Netzwerkort anhäufen, es sei denn, es wird eine wesentliche zusätzliche Verarbeitung ausgeführt, um dieses zu verhindern. Die verbesserte Verfügbarkeit, die sich aus der beschriebenen Lösung ergibt, hilft dabei, dieses Problem anzugehen, es können allerdings zusätzliche Verbesserungen erreicht werden.
Weitere Ausführungsformen der vorliegenden Erfindung stellen Verfahren, Datenverarbeitungsanlagen, Computerprogramme und Wiederherstellungskomponenten zur Verfügung, um ein Verfahren zur Wiederherstellung von Speicherfehlern auszuführen, die einen Datenspeicher betreffen für die Verwendung in einer Anordnung, in der die Aktualisierungen von Daten, die auf den Speicher bei normaler Vorwärtsverarbeitung angewendet werden, innerhalb transaktionsorientierter Arbeitseinheiten angewendet werden. Einem Speicherfehler folgend, der eine primäre Kopie des Datenspeichers betrifft, werden Operationen, die dazu erforderlich sind, Datenelemente in einer primäre Kopie des Datenspeichers wiederherzustellen, mit Bezug auf einen sekundären Speicher identifiziert, werden aber aufgeschoben, bis für jede identifizierte Operation eine Feststellung des Status der entsprechenden ursprünglichen Arbeitseinheit zur Zeit des Fehlers gemacht worden ist. Die Wiederherstellungsoperationen werden dann wie angemessen entsprechend dem festgestellten Status der ursprünglichen Arbeitseinheit ausgeführt oder verworfen.
Wenn weiterhin ein Paar von Aktualisierungen eines Nachrichtenspeichers dem Hinzufügen einer Nachricht und dem Wiederabrufen derselben Nachricht entsprechen und das Paar von Aktualisierungen vor dem Fehler beendet wurde, kann das Paar von Operationen innerhalb der Wiederherstellungsverarbeitung zusammen ausgeführt werden ohne das Risiko, den Speicher in einem inkonsistenten Status zu belassen. In einer bevorzugten Ausführungsform der Erfindung werden solche „Hinzufügen – Abrufen" Paare von Operationen identifiziert, wenn Protokolldatensätze wiederholt werden. Die Paare von Operationen werden entweder aus der Wiederherstellungsverarbeitung weggelassen (das heißt so betrachtet, als ob sie als Paar ausgeführt wur den, da ihre Wirkungen auf die Warteschlange einander aufheben), oder die Paare von Operationen werden außerhalb des Wirkungsbereichs der Wiederherstellungsarbeitseinheit ausgeführt und bestätigt. Jede dieser Optionen vermeidet eine unnötige Verarbeitung und reduziert die potentielle Anhäufung von Nachrichten.
Bevorzugte Ausführungsformen der Erfindung ermöglichen die Wiederherstellung von Fehlern in primären Datenspeichern in einer Nachrichtenübermittlungsanordnung mit gemeinsam genutzter Warteschlange, einschließlich der Wiederherstellung von alten Nachrichten (Nachrichten von Zeitpunkten vor dem Fehler in der Warteschlange) in gemeinsam genutzten Warteschlangen von Sicherungskopien der Warteschlangen und in Protokolldatensätzen. Die gemeinsam genutzten Warteschlangen können durch ein oder mehrere Anwendungsprogramme verwendet werden, die neue Nachrichten verarbeiten (Nachrichten, die nach dem Fehler an die Warteschlange gesandt werden), während die Aktualisierungen von Speichern mit alten Nachrichten aus den Protokolldatensätzen wiederhergestellt werden. Diese Nachrichtenwiederherstellung kann ausgeführt werden, indem durch Behandeln der ganzen Wiederherstellungsverarbeitung als eine einzelne Arbeitseinheit auch eine gesicherte, nur einmalige Übertragung von Nachrichten zur Verfügung gestellt wird.
Indem es ermöglicht wird, dass Nachrichten während der Wiederherstellung von Nachrichten in einer Warteschlange zu einer Warteschlange hinzugefügt und von dieser abgerufen werden können, kann die Erfindung eine verbesserte Verfügbarkeit von Nachrichtenübermittlungsfunktionen erzielen, die auf einen Speicherfehler folgen.
Ein weiterer Gesichtspunkt der vorliegenden Erfindung stellt eine Datenkommunikationsanordnung zur Verfügung, die folgendes umfasst: Datenspeicher für das Speichern einer primären Kopie eines Datenspeichers; sekundären Datenspeicher für das Speichern einer sekundären Kopie von Daten, die den Datenspeicher darstellen, wobei die sekundären Daten genügen, die primäre Kopie des Datenspeichers und darin gehaltene Daten wieder herzustellen; eine Wiederherstellungskomponente zum Steuern des Betriebs der Datenkommunikationsanordnung, um einen Speicherfehler zu beheben, der die primäre Kopie des Datenspeichers betrifft, wobei die Wiederherstellungskomponente eingerichtet ist, um die Datenkommunikationsanordnung zu steuern, damit diese die nachfolgenden Schritte ausführt:
Wiederherstellen einer primäre Kopie des Datenspeichers aus der sekundären Datenkopie und Verwenden eines Wiederherstellungsverfahrens, um Dateneinheiten in der primäre Kopie wiederherzustellen, wobei der Wiederherstellungsschritt innerhalb einer Wiederherstellungsarbeitseinheit ausgeführt wird, und wobei in der primären Kopie des Datenspeichers im Zuge der Wiederherstellungsarbeitseinheit wiederhergestellte Dateneinheiten für Prozesse außer dem Wiederherstellungsprozess unzugänglich gemacht werden, bis die Wiederherstellungsarbeitseinheit ausgeführt wurde; Konfigurieren der primären Kopie des Datenspeichers vor der Ausübung der Wiederherstellungsarbeitseinheit, um das Hinzufügen von Dateneinheiten unabhängig von besagtem Wiederherstellungsschritt zu ermöglichen und um es anderen Komponenten außer der Wiederherstellungskomponente zu ermöglichen, auf besagte unabhängig hinzugefügte Dateneinheiten zuzugreifen; und als Antwort auf die erfolgreiche Fertigstellung des Wiederherstellungsschritts die Wiederherstellungsarbeitseinheit verbindlich zu machen, einschließlich des Freigebens der besagten Unzugänglichkeit der wiederhergestellten Daten.
Verfahren und Wiederherstellungskomponenten wie oben beschrieben können innerhalb eines Computerprogramms ausgeführt werden, um die Leistung einer Datenverarbeitungsvorrichtung zu steuern, auf der der Programmcode abläuft. Der Programmcode kann kommerziell verfügbar gemacht werden als ein Programmprodukt, das Programmcode umfasst, der auf einem Aufzeichnungsmedium aufgezeichnet ist, oder kann für das Herunterladen über ein Netzwerk wie zum Beispiel das Internet verfügbar gemacht werden.
Kurze Beschreibung der Figuren
Ausführungsformen der Erfindung werden nachfolgend im Detail auf dem Weg von Beispielen mit Bezug auf die begleitenden Figuren beschrieben, in denen:
1 ein Nachrichtenkommunikationsnetzwerk zeigt, in dem Nachrichten zwischen Warteschlangen auf der Strecke zu Zielanwendungsprogrammen übertragen werden.
2 eine Darstellung einer Reihe von Warteschlangenmanagern zeigt, die einen gemeinsamen Zugriff auf eine Warteschlange innerhalb einer Listenstruktur einer Verbindungseinrichtung aufweisen;
3 eine Folge von Schritten eines Wiederherstellungsverfahrens entsprechend einer Ausführungsform der Erfindung zeigt; und
4 eine Folge von Schritten einer Wiederherstellungsarbeitseinheit entsprechend einer Ausführungsform der Erfindung zeigt.
Detaillierte Beschreibung von bevorzugten Ausführungsformen
Eine erste Ausführungsform der Erfindung wird nachfolgend im Zusammenhang mit asynchronen Nachrichtenkommunikationsanordnungen beschrieben, in denen Nachrichten zwischen den Schritten eines Absenderprogramms, das die Nachricht sendet, und eines Abrufprogramms, das die Nachricht abruft, in Nachrichtenspeichern eingereiht werden. Ein Fehler des primären Datenspeichers kann den Verlust an oder die Verfälschung von Nachrichtendaten verursachen, es sei denn es sind Wiederherstellungsmerkmale verfügbar, um die Warteschlange wieder herzustellen und Nachrichten in der Warteschlange wieder herzustellen. Während sie auch auf andere Datenspeicher anwendbar ist, ist die Erfindung im Besonderen anwendbar auf Nachrichtenwarteschlangen, weil solche Warteschlangen typischerweise diskrete unabhängige Einheiten (die Nachrichten) enthalten, die hinzugefügt und dann gelöscht werden, anstatt dass die Nachricht hinzugefügt wird, ihr Inhalt aktualisiert wird und dann schließlich gelöscht wird.
Wie Personen, die in der Technik ausgebildet sind, klar sein wird, sind bestimmte Ausführungsformen der Erfindung gleichermaßen in einer Datenbankumgebung anwendbar, in der ein Fehler zu Verlust an oder Verfälschung von Daten innerhalb einer Datenbanktabelle führen kann und daher die Wiederherstellung der Datenbanktabelle und die erneute Speicherung von Datenelementen in die Tabelle erforderlich machen. Ausführungsformen der Erfindung sind ebenfalls anwendbar in anderen Datenverarbeitungsumgebungen, in denen Hardware- oder Softwarefehler die Wiederherstellung eines Datenspeichers zum Beispiel aus einem Sicherungsspeicher und Protokolldatensätzen erforderlich machen, und in denen es eine Notwendigkeit gibt, den Verlust an der Verfügbarkeit des Datenspeichers zu minimieren, während die Wiederherstellungsverarbeitung ausgeführt wird.
Ein Verlust an oder eine Verfälschung von Daten in einem primären Datenspeichermedium kann sich aus einem Hardwarefehler oder einer Fehlfunktion, einem Softwarefehler oder sogar einem menschlichen Fehler (wie einem versehentlichen Löschen einer Warteschlange und aller ihrer Nachrichten) ergeben. Zum Zweck einer leichten Bezugnahme werden alle diese verschiedenen Arten von Fehlern, die einen Datenspeicher betreffen, im Folgenden als „Speicherfehler" bezeichnet. Der Verlust oder die Verfälschung kann nur eine einzelne Warteschlangen- oder Datenbanktabelle oder Datei betreffen oder der Fehler kann mehr als eine Warteschlange (oder Tabelle usw.) betreffen, wie zum Beispiel die innerhalb einer einzelnen Listenstruktur einer Verbindungseinrichtung (Coupling Facility – CF) gehaltenen mehrfachen Warteschlangen (siehe nachfolgende Erläuterung von CF Listenstrukturen). In typischen Fällen betrifft ein Fehler, der eine CF Listenstruktur betrifft, alle Warteschlangen in der CF Listenstruktur statt nur eine einzelne Warteschlange.
Nachrichtenübermittlungsumgebung
Die MQSeries^TM und WebSphere^TM MQ Familie von Nachrichtenübermittlungsprodukten der IBM Corporation sind Beispiele für bekannte Produkte, die Nachrichtenwarteschlangen verwenden, um die Interoperabilität zwischen Anwendungsprogrammen zu unterstützen, die auf verschiedenen Anordnungen in einer verteilten heterogenen Umgebung ablaufen können.
Produkte für Nachrichtenwarteschlangen und handelsüblich verfügbare Produkte für Nachrichtenwarteschlangen sind in B. Blakeley, H. Harris & R. Lewis, „Messaging and Queuing Using the MQI", McGraw Hill, 1994, und in den folgenden Veröffentlichungen beschrieben, die von der IBM Corporation verfügbar sind: „An Introduction to Messaging and Queuing" (IBM Document number GC33-0805-00) und „MQSeries – Message Queue Interface Technical Reference" (IBM Document number SC33-0850-01). Das Netzwerk, über das die Computer unter Verwendung von Nachrichtenwarteschlangen kommunizieren, kann das Internet, ein Intranet oder jedes andere Computernetzwerk sein. MQseries und WebSphere sind Warenzeichen der IBM Corporation.
Wie in Transaktionsverarbeitungsanordnungen gut bekannt ist, ist eine „Arbeitseinheit" eine Reihe von Verarbeitungsoperationen, die erfolgreich zusammen ausgeführt werden müssen oder im Fall der Unmöglichkeit, die vollständige Reihe von Operationen zu beenden, rückgängig gemacht werden müssen um sicherzustellen, dass die Datenintegrität nicht verloren geht. Alle Operationen innerhalb einer Arbeitseinheit werden für andere Prozesse nicht zugreifbar gehalten, die von den Aktualisierungen abhängig sein können, bis der Abschluss der gesamten Arbeitseinheit es ermöglicht, dass alle Aktualisierungen bestätigt (vollständig abgeschlossen und zugreifbar gemacht) werden.
Die MQSeries und WebSphere MQ Nachrichtenübermittlungsprodukte der IBM Corporation stellen eine transaktionsorientierte Unterstützung der Nachrichtenübermittlung zur Verfügung, indem Nachrichten innerhalb logischer Arbeitseinheiten entsprechend einem Nachrichtenübermittlungsprotokoll synchronisiert werden, das sogar im Fall von Fehlern in der Anordnung oder bei der Datenübertragung eine gesicherte, nur einmal erfolgende Nach richtenübermittlung zur Verfügung stellt. Diese gesicherte Übermittlung wird erreicht, in dem eine Nachricht aus dem Speicher einer Absenderanordnung nicht endgültig gelöscht wird, bis die Nachricht als sicher durch eine Empfängeranordnung gespeichert bestätigt ist und durch die Verwendung von hoch entwickelten Wiederherstellungseinrichtungen. Vor der Bestätigung der Übertragung der Nachricht zum Zeitpunkt der Bestätigung des erfolgreichen Speicherns werden sowohl das Löschen der Nachricht aus dem Speicher der Absenderanordnung als auch das Einfügung in den Speicher der Empfängeranordnung als unbestätigte („im Gange" oder „zweifelhafte") Operationen gekennzeichnet und können im Fall eines Fehlers atomisch rückabgewickelt werden. Dieses Nachrichtenübertragungsprotokoll und die zugehörigen Transaktionskonzepte und Wiederherstellungseinrichtungen sind in der Veröffentlichung der internationalen Patentanmeldung WO 95/10805 und dem US Patent mit der Nr. 5,465,328 beschrieben.
Die Kommunikationseinrichtungen zwischen Programmen der MQSeries und WebSphere MQ Produkte der IBM ermöglichen jedem Anwendungsprogramm, Nachrichten an die Eingangswarteschlange jedes anderen Zielanwendungsprogramms zu senden, und jede Zielanwendung kann diese Nachrichten aus ihrer Eingangswarteschlange asynchron zur Verarbeitung entnehmen. Dies ermöglicht die Lieferung von Nachrichten zwischen Anwendungsprogrammen, die über ein verteiltes heterogenes Computernetzwerk verteilt werden können, ohne eine dedizierte logisch durchgehende Verbindung zwischen diesen Anwendungsprogrammen zu erfordern.
Neue Versionen der Warteschlangenmanagersoftware der MQSeries der IBM Corporation für OS/390 stellen mit Hilfe der OS/390 Listenstrukturen der Verbindungseinrichtung (CF) als dem primären Datenspeicher für gemeinsame Warteschlangen eine Unter stützung für gemeinsame Warteschlangen zur Verfügung. Nachrichten in gemeinsamen Warteschlangen werden als Listeneinträge in CF Listenstrukturen gespeichert. Anwendungen, die auf mehrfachen Warteschlangenmanagern in derselben, die Warteschlange gemeinsam nutzenden Gruppe irgendwo in einem Parallelen Sysplex ablaufen, können dann auf Nachrichten dieser gemeinsam genutzten Warteschlange zugreifen, wobei auf die Nachrichten in der Reihenfolge von zugewiesenen Primärschlüsseln zugegriffen wird. Vom Standpunkt der Verbindungseinrichtung aus wird die Zuweisung der Primärschlüssel beliebig vom Warteschlangenmanager entschieden und mit jeder Nachricht verbunden. Der Warteschlangenmanager setzt den Schlüssel für jede Nachricht, so dass die gesamte Reihenfolge die richtige Reihenfolge für das Wiederabrufen ist (unter Anwendung von FIFO Reihenfolgen mit Ausnahmen wie weiter unten beschrieben).
Solch ein gemeinsamer Zugang zu bestimmten Warteschlangen weist den Nutzen hoher Verfügbarkeit durch Redundanz (die Toleranz gegenüber Fehlern, die einen oder mehrere Warteschlangenmanager innerhalb der Gruppe betreffen) und automatisches Ausbalancieren der Arbeitsbelastung auf, da Nachrichten von der nächsten verfügbaren Anwendung abgerufen werden. Dies stellt eine hoch skalierbare Architektur zur Verfügung, die für hohen Nachrichtendurchsatz geeignet ist.
Das vorliegende Ausführungsform ist auf die oben beschriebene Systemarchitektur anwendbar – und ist in der Tat nützlich, da viele Anwendungen, die in dieser Umgebung ausgeführt werden, eine hohe Verfügbarkeit erfordern – Ausführungsformen der Erfindung sind jedoch auch dort anwendbar, wo alternative Speicheranordnungen verwendet werden. Im Folgenden wird die Bezeichnung Nachrichtenspeicher verwendet, um sich auf Nachrichtenwarteschlangen und andere Datenstrukturen zu beziehen, in denen Nachrichten gehalten werden können, unabhängig davon, ob diese in CF Listenstrukturen, Datenbanktabellen oder anderen bekannten Anordnungen implementiert sind.
Wie weiter oben beschrieben, stellen Anordnungen für Nachrichtenwarteschlangen in der OS/390 Betriebssystemumgebung eine Unterstützung für gemeinsame Warteschlangen zur Verfügung, die für eine die Warteschlange gemeinsam nutzende Gruppe von Warteschlangenmanagern über CF Listenstrukturen verfügbar gemacht werden können. Anordnungskomponenten, Datenstrukturen und Verfahren, die auf solche Anordnungen anwendbar sind, einschließlich einer Reihe von Wiederherstellungsmerkmalen, die für eine Verwendung in solchen Anordnungen geeignet sind, werden in den Beschreibungen der nachfolgenden, gleichzeitig anhängigen und gewöhnlich zugeteilten Patentanmeldungen beschrieben:

• US Patentanmeldung Nr. 09/605589 (entspricht UK Patentanmeldung Nr. 0009989.5 – Aktenzeichen des Anwalts GB920000031 ),
• US Patentanmeldung Nr. 09/912279 (Aktenzeichen des Anwalts GB920000032),
• US Patentanmeldung Nr. 10/228615 (entspricht UK Patentanmeldung Nr. 0207969.7 – Aktenzeichen des Anwalts GB920010101 ),
• US Patentanmeldung Nr. 10/228636 (entspricht UK Patentanmeldung Nr. 0207967.1 – Aktenzeichen des Anwalts GB920020001 ) und
• US Patentanmeldung Nr. 10/256093 (entspricht UK Patentanmeldung Nr. 0208143.8 – Aktenzeichen des Anwalts GB920020015 ).

Die Ausführungsform der unten beschriebenen vorliegenden Erfindung ist mit den in den oben genannten und aufgelisteten Bezugnahmen beschriebenen Wiederherstellungsmerkmalen kompatibel.
Ein Verfahren und eine Vorrichtung für die Implementierung von sowohl Nachrichtenwarteschlangen innerhalb von Listenstrukturen und die Verarbeitung von Listenstrukturen wie auch Lösungen für das Unterscheiden zwischen Betriebszuständen mit Hilfe von eindeutigen Schlüsseln werden in den Beschreibungen der folgenden gleichzeitig anhängigen, gewöhnlich zugeteilten Patentanmeldungen beschrieben: US Patentanmeldung Nr. 09/677,339, eingereicht am 2. Oktober 2000, mit dem Titel „Method and Apparatus for Proessing a List Structure" (Aktenzeichen des Anwalts POU920000043); und US Patentanmeldung Nr. 09/677,341, eingereicht am 2. Oktober 2000, mit dem Titel „Method and Apparatus for Implementing a Shared Message Queue Using a List Structure" (Aktenzeichen des Anwalts POU920000042).
1 zeigt schematisch ein Nachrichtenübermittlungsnetzwerk 10, in dem Nachrichten zwischen Warteschlangen 20 unter der Steuerung von Warteschlangenmanagerprogrammen 30 in einem verteilten Netzwerk aus Computern 80 übertragen werden. Absenderanwendungsprogramme 40 stellen Nachrichten in ihre lokale Warteschlange ein und Anwendungsprogramme 50 rufen Nachrichten aus ihrer Eingangswarteschlange ab und die gesamte Arbeit, die Nachricht über das Netzwerk ohne Verlust an fortlaufenden Nachrichten zur Eingangswarteschlange des Zielanwendungspro gramms zu übertragen, wird von den Warteschlangenmanagern 30 ausgeführt. Jeder Warteschlangenmanager hält eine Sicherungskopie 60 von seinen lokalen Warteschlangen vor und schreibt Protokolldatensätze 70, um jedes Mal dann Aktualisierungen widerzuspiegeln, wenn Nachrichten hinzugefügt oder gelöscht werden oder ihr Status geändert wird.
2 zeigt einer Gruppe von Warteschlangenmanagern 30, die einen gemeinsamen Zugang zu Warteschlangen 100 haben und in einer Listenstruktur einer Verbindungseinrichtung (Coupling Facility CF) 110 gehaltenen werden. Die CF Listenstrukturen werden verwendet, um Nachrichten in beiden Richtungen – zu und von der die Warteschlange gemeinsam nutzenden Gruppe – in die Warteschlange einzureihen. Zusätzlich zu der primäre Kopie der gemeinsamen Warteschlange wird eine sekundäre Sicherungskopie 60 auf einer Platte 120 vorgehalten. Sicherungskopien der Warteschlange, die Warteschlangendefinitionsinformationen und Informationen umfassen, die sich zur Zeit der Sicherung auf in der Warteschlange gehaltene Nachrichten beziehen, werden periodisch auf der Platte gesichert. Protokolldatensätze 70 werden für jede Aktualisierung einer Warteschlange innerhalb der CF Listenstruktur auf die Platte 120 geschrieben. Die Kombination einer Sicherungskopie und von Protokolldatensätzen, die alle Aktualisierungen seit der letzten Sicherung widerspiegeln, ermöglicht die Wiederherstellung der primären Kopie der Warteschlange als Antwort auf einen Medienfehler.
Die Protokolldatensätze enthalten einen Hinweis auf die ausgeführte Operation (Hinzufügen, Löschen oder Status aktualisieren) und den eindeutigen Schlüssel für die relevante Nachricht, deren Schlüssel zu der Zeit erzeugt wird, zu der die Nachricht der CF hinzugefügt wird. Für Hinzufügen Operationen (und in einigen Implementierungen für Aktualisierungsoperatio nen) enthält der Protokolldatensatz auch den vollständigen Inhalt der Nachricht. Protokolldatensätze für Löschen Operationen enthalten den Inhalt der Datenbankdatensätze nicht. In einigen Implementierungen wird nur die Information protokolliert, die erforderlich ist, um Änderungen an Aktualisierungsoperationen zu verfolgen.
Wiederherstellung mit verbesserter Verfügbarkeit
Einige Rechnersysteme und Anwendungen können Aktualisierungen von Datenspeichern zulassen, die „außerhalb einer Reihenfolge" stattfinden. Das heißt, die Anordnungen funktionieren korrekt, selbst wenn die Abfolge der Aktualisierungen im Speicher nicht genau die Abfolge widerspiegelt, in der die Aktualisierungen hinzugefügt wurden. Dies gilt für einige Anordnungen und Anwendungen, die Nachrichtenwarteschlangenmanager benutzen, um Nachrichten zu und von Warteschlangen zu übertragen, wenn sie die Nachrichtenübertragung zwischen Anwendungsprogrammen abarbeiten.
Die Erfinder der vorliegenden Erfindung haben erkannt, dass solche Anordnungen und Anwendungen von verbesserter Verfügbarkeit profitieren können, in dem es ermöglicht wird, dass neue Nachrichten vor der Fertigstellung der Wiederherstellung der Daten in den Warteschlangen in Folge eines Fehlers zu Warteschlangen hinzugefügt und von diesen abgerufen werden können. Jedoch muss, bevor dies erreicht werden kann, eine Reihe von Problemen überwunden werden.
Wenn es einer Anwendung ermöglicht wird, auf eine neu erzeugte Warteschlange parallel mit alten Nachrichten zuzugreifen, die in der Warteschlange durch Wiedergabe von Protokollaufzeichnungen wiederhergestellt werden, besteht eine Gefahr, dass dieselbe Nachricht durch die Anwendung zweimal verarbeitet werden kann. Zum Beispiel kann eine Nachricht einer Warteschlange hinzugefügt werden, die Hinzufügeoperation bestätigte werden und die Nachricht dann aus der Warteschlange abgerufen werden. In den meisten Fällen wird die Nachricht aus der Warteschlange gelöscht, wenn die Abrufoperation bestätigt wird. Wenn dann ein Fehler im Warteschlangenspeicher auftritt, kann die Warteschlange aus dem Sicherungsspeicher wieder hergestellt werden, gefolgt von der erneuten Anwendung von Aktualisierungen auf die Warteschlange aus aufgezeichneten Protokolldatensätzen. Während der Wiedergabe der Protokolldatensätze wird die Nachricht in der Warteschlange wieder hergestellt und wird für abrufende Anwendungen verfügbar gemacht, wenn die Bestätigung der Hinzufügeoperation wiederholt wird, und verschwindet dann, wenn die Nachrichtenabrufoperation wiederholt wird. Wenn jedoch Anwendungsprogramme dazu in der Lage sind, während der Wiederherstellung auf die Warteschlange zuzugreifen, kann ein Anwendungsprogramm die Nachricht abrufen, sobald diese verfügbar wird (das heißt vor der Wiederholung des Protokolldatensatzes des Nachrichtenabrufs), und eine Nachricht verarbeiten, die bereits zuvor verarbeitet worden ist.
Die oben genannte Abfolge von Ereignissen und andere Beispiele können zu unannehmbarer Abweichung von einer gesicherten, nur einmal stattfindenden Überstellung von Nachrichten führen.
Nachfolgend wird eine Lösung für dieses Problem beschrieben, die eine Wiederherstellung von einem primären Datenspeicherfehler durch Wiederherstellen von Nachrichten in gemeinsam genutzten Warteschlangen durchführen kann, während die gemeinsam genutzten Warteschlangen sich in der Verwendung durch eine Anwendung befinden, die neue Nachrichten verarbeitet, ohne von einer gesicherten, nur einmal stattfindenden Überstellung von Nachrichten abzuweichen. „Neue Nachrichten" sind in diesem Zusammenhang Nachrichten, die der Warteschlange nach einem Fehler zum ersten Mal hinzugefügt wurden. „Alte Nachrichten" sind jene, die der Warteschlange vor dem Fehler hinzugefügt wurden, und die auf einen Fehler folgend in der Warteschlange wiederhergestellt werden.
Wiederherstellungsverarbeitung innerhalb einer Wiederherstellungsarbeitseinheit
In der vorliegenden Ausführungsform wird der Wiederherstellungsprozess als eine Wiederherstellungsarbeitseinheit ausgeführt. Das heißt, die Abfolge von Schritten zum Wiederherstellen von Nachrichten in einer Warteschlange und zum Aktualisieren des Zustands von Nachrichten in der Warteschlange von einem Sicherungsspeicher und durch Wiederholen des Protokolls werden ausgeführt und bestätigt im Wirkungsbereich einer neu definierten Arbeitseinheit.
Die Aktionen zum Beispiel des Wiederholens einer Out-Of-Syncpoint „Put" Operation (Hinzufügen einer Nachricht zu einer Warteschlange) einer Nachricht oder „Get" Operation (Abrufen einer Nachricht von der Warteschlange) oder das Wiederholen einer Bestätigung eines In-Syncpoint Put oder Get, werden als In-Syncpoint Puts oder Gets innerhalb der Wiederherstellungsarbeitseinheit ausgeführt. Die Wiederherstellungsarbeitseinheit deckt den gesamten Prozess ab, Nachrichten in der Warteschlange wieder herzustellen und Operationen zu wiederholen, die den Status dieser Nachrichten ändern.
Eine Arbeitseinheit ist ein Satz von Operationen, die zusammen (oder überhaupt nicht) ausgeführt werden müssen, wenn die von dem Satz von Operationen betroffenen Daten am Ende der Ausfüh rung des Satzes von Operationen in einem konsistenten Status belassen werden sollen. Ein In-Syncpoint ist ein identifizierbarer Punkt innerhalb der Verarbeitung, zu dem sich Daten in einem konsistenten Status befinden, und Syncpoints werden am Ende jeder Arbeitseinheit aufgezeichnet, um diesen Punkt der Konsistenz aufzuzeichnen. Eine Bezugnahme auf aufgezeichnete Syncpoints ermöglicht eine Bestimmung, wie weit zurück in der Zeit eine Rollback Verarbeitung gemacht werden muss, um zu einem Punkt mit Datenkonsistenz zurückzukehren. Ein einzelne Transaktion kann eine Anzahl von Put Message und Get Message Operationen umfassen, die als eine einzelne Arbeitseinheit verarbeitet werden. Wenn die Transaktion bestätigt ist, werden alle der Put und Get Operationen innerhalb der Arbeitseinheit endgültig abgeschlossen, so dass auf eine Warteschlange gestellte Nachrichten auf der Warteschlange als abrufbare Nachrichten erscheinen, und Nachrichten, für die Get Operationen ausgeführt worden sind, endgültig gelöscht werden. Jedoch können bestimmte Put Message und Get Message Operationen in einigen transaktionsorientierten Anordnungen so ausgeführt werden, dass sie sofort wirksam werden, ohne die endgültige Beendigung der Transaktion abzuwarten – auf diese wird als „Out-Of-Syncpoint" Put und Get Operationen Bezug genommen.
Wie zuvor angemerkt, kann ein Fehler eine einzelne Warteschlange oder mehrfache Warteschlangen (zum Beispiel alle Warteschlangen innerhalb einer bestimmten CF Listenstruktur) betreffen. Wenn mehrfache Warteschlangen wiederhergestellt werden müssen, ist es für einen einzelnen Aufruf des Wiederherstellungsprozesses wünschenswert, die Wiederherstellung aller betroffenen Warteschlangen zu initiieren. Eine verbesserte Verarbeitungseffizienz kann dadurch erreicht werden, dass ein Satz von betroffenen Warteschlangen wieder hergestellt wird und dann eine einzelne Wiederherstellungsarbeitseinheit ausgeführt wird, die die Wiederherstellung von Nachrichten und Nachrichtenaktualisierungen für den ganzen Satz von betroffenen Warteschlangen umfasst.
Der Wiederherstellungsprozess weist Zugang auf zu Informationen und verwendet welches Protokoll auch immer oder welche Protokolle auch immer Informationen enthalten, die sich auf Änderungen an der Warteschlange oder den Warteschlangen beziehen, die wiederhergestellt werden. In einer Umgebung mit gemeinsam genutzten Warteschlangen ist es wahrscheinlich, dass jeder Warteschlangenmanager sein eigenes physisch separates Protokoll aufrecht erhalten wird, und jedes Protokoll kann eine Reihe von Dateien umfassen. Der Wiederherstellungsprozess kann alle der Protokolle parallel lesen und logisch ein einzelnes, zusammengefügtes Protokoll aufbauen. Das einzelne, zusammengefügte Protokoll (welches im Allgemeinen nicht als eine einzelne physische Datei existiert) enthält sowohl alle Änderungen an der Warteschlange oder den Warteschlangen, die wiederhergestellt werden, wie auch die Änderungen an anderen Warteschlangen, die vom Fehler unberührt sind. Der Wiederherstellungsprozess ignoriert Änderungen an Warteschlangen, die nicht für die aktuelle Wiederherstellungsverarbeitung benötigt werden.
Eine bestimmte Abfolge von Wiederherstellungsverarbeitungsoperationen wird nachfolgend im Detail mit Bezug auf 3 beschrieben. Zur Erleichterung der Bezugnahme beschreibt die folgende Beschreibung der Wiederherstellungsverarbeitung das Beispiel dafür, eine einzelne Warteschlange wieder herzustellen.
Ein erster Schritt 200 des Verfahrens ist die Identifizierung eines Speicherfehlers. In vielen Fällen wird Software, die einen Datenspeicher verwendet, davon in Kenntnis gesetzt, dass Daten entweder von der Hardware (auf die zum Beispiel nicht zugreifbar sein kann) oder von dem Betriebssystem oder einer anderen Laufzeitumgebung, wie einer Java Virtual Machine (die einen Fehlerhinweis zurückgeben kann, wenn ein Zugriff versucht wird) verloren wurden oder korrumpiert worden sind. In der bevorzugten Ausführungsform initiiert 200 die Software, die einen Datenspeicher verwendet, automatisch eine Wiederherstellungsverarbeitung, wenn die Software von einem Problem in Kenntnis gesetzt wird. Im Besonderen antwortet ein Warteschlangenmanagerprogramm, das die fehlgeschlagene Warteschlange oder die fehlgeschlagenen Warteschlangen verwendet, auf einen bestimmten Satz von Fehlerbedingungen durch Starten eines Wiederherstellungsprozesses, der ein Bestandteil des Warteschlangenmanagers ist.
In alternativen Ausführungsformen kann die Software geschrieben werden, um einen geeigneten Fehlerhinweis als Antwort auf einen Fehler zu zeigen, der menschlichen Eingriff veranlasst, um die Wiederherstellungsverarbeitung manuell zu initiieren. Außerdem ist im Allgemeinen die Aktion einer Bedienperson notwendig, um die Wiederherstellung zu initiieren, wenn ein Speicherfehler auf Grund versehentlichen oder bösartigen Löschens von Daten auftritt.
Wenn er als Antwort auf die Identifizierung eines Fehlers initiiert wird, greift der Wiederherstellungsprozess auf sekundären Speicher zu und ruft 210 die Sicherungskopie der Warteschlangendefinitionen ab, die der oder den fehlerhaften Warteschlange(n) entspricht, und verwendet die abgerufenen Defini tionen, um eine leere Kopie der Warteschlange innerhalb des primären Datenspeichers wieder herzustellen 210.
In der bevorzugten Ausführungsform wird die Definition einer Warteschlange (oder eines anderen Datenspeichers) in einem sekundären Sicherungsspeicher gesondert vom Inhalt der Warteschlange gehalten. Eine Sicherung der Warteschlangendefinitionen als ein von der Sicherung eines Schnappschusses des Warteschlangeninhalts unabhängiger Schritt ist nützlich, weil er die Wiederherstellung der Warteschlange in einem leeren Status als einen separaten Schritt erleichtert, bevor der Inhalt wiederhergestellt wird. Die Warteschlange kann für den Erhalt von neuen Nachrichten verfügbar gemacht werden, sobald sie aus ihren Warteschlangendefinitionen im primären Datenspeicher wieder hergestellt worden ist.
In konventionellen Wiederherstellungslösungen wird eine Sperrung auf einem neu wieder hergestellten Datenspeicher aufrecht erhalten von dem Zeitpunkt an, zu dem der Speicher wieder hergestellt wird bis die Wiederherstellungsverarbeitung vollständig ist, und solche Sperrungen werden als notwendig erachtet, um die Duplizierung von Nachrichten zu verhindern. In der vorliegenden Ausführungsform ist keine solche Sperrung erforderlich, und daher ist der Datenspeicher (das heißt die Warteschlange oder die Datenbanktabelle, aber nicht die Aktualisierungen innerhalb der Wiederherstellungsarbeitseinheit) für den Gebrauch durch Anwendungen verfügbar, sobald der Datenspeicher wieder hergestellt ist.
Nachdem die Warteschlange (in einem leeren Status) wieder hergestellt wurde, wird nachfolgend eine Wiederherstellungsarbeitseinheit gestartet 230, um Nachrichten und Nachrichtenaktualisierungen in der Warteschlange wieder herzustellen. Zu sätzlich zu den für die Wiederherstellung von einer Warteschlange in ihrem leeren Status erforderlichen Warteschlangendefinitionen enthält der sekundäre Speicher eine Sicherungskopie des Warteschlangeninhalts, der dem Zeitpunkt eines Schnappschuss von Nachrichten auf der Warteschlange entspricht, zu dem die Sicherung ausgeführt wurde. Die Nachrichten innerhalb der Sicherungskopie werden in der primären Kopie der relevanten Warteschlange wieder hergestellt 240, in dem eine Kopieroperation verwendet wird zusammen mit dem Schritt, jede der Nachrichten zu markieren, um anzuzeigen, dass sie Teil der nicht fertiggestellten Wiederherstellungsarbeitseinheit sind. Diese Markierung macht sie nicht zugreifbar für Anwendungen, die sonst wieder hergestellte Nachrichten aus der Warteschlange abrufen könnten.
In der bevorzugten Ausführungsform wird die Markierung von Nachrichten durch Zuordnen einer Arbeitseinheits-ID und einen eindeutigen Primärschlüssel zu jeder Nachricht durchgeführt, wobei der Wert von einem Byte des Schlüssels den Status der Nachricht anzeigt. Warteschlangenmanager können dann den Byte-Wert des Primärschlüssels interpretieren, um festzustellen, ob eine Nachricht von einem Anwendungsprogramm abgerufen werden kann oder nicht. In diesem Schritt kann von Anwendungen auf keine Nachrichtenaktualisierung innerhalb einer unfertigen Wiederherstellungsarbeitseinheit zugegriffen werden (solange nicht, bis der Byte-Wert bei der bestätigten Fertigstellung der Wiederherstellungsarbeitseinheit geändert wird). Dies wird im weiteren Detail weiter unten unter dem Titel „eindeutiger Schlüssel" beschrieben. Die Arbeitseinheits-ID ist nützlich für den Fall, dass die Wiederherstellungsverarbeitung abgebrochen wird (wie zum Beispiel wenn ein Warteschlangenmanager auf halbem Weg durch die Wiederherstellungsverarbeitung ausfällt), da dies ein leichtes Löschen aller innerhalb der Wiederherstellungsarbeitseinheit ausgeführten Operationen ermöglicht. Die MQSeries Warteschlangenmanagerprogramme der IBM Corporation sind bekannt dafür, dass sie gleichrangige Wiederherstellungsfähigkeiten aufweisen, die es ihnen ermöglichen, unter solchen Umständen die Verarbeitung einer Warteschlangenwiederherstellung zu übernehmen.
Während die Wiederherstellungsverarbeitung voranschreitet erzeugt der wiederherstellende Warteschlangenmanager auch eine Liste aller der Nachrichten, für die Operationen innerhalb der Wiederherstellungsarbeitseinheit ausgeführt werden. Diese Liste wird später während der Bestätigung der Fertigstellung der Verarbeitung verwendet.
Protokolldatensätze, geschrieben zwischen der Zeit der Sicherungskopie und der Zeit des Speicherfehlers, werden dann wiederholte 250, um Information über alle Aktualisierungen an der Warteschlange zur Verfügung zu stellen, die in Folge des Fehlers verloren gegangen sind. Jeder Protokolldatensatz entspricht einer Add Operation für eine Nachricht (wie zum Beispiel einer Put Message Operation), einer Delete Operation für eine Nachricht (wie zum Beispiel einer destruktiven Get Message Operation) oder einer Statusaktualisierung für eine Nachricht (wie zum Beispiel einer Bestätigung der Fertigstellung oder einem Abbruch). Da jeder Protokolldatensatz wiederholt wird, wird die Warteschlange durch die entsprechende Operation aktualisiert, und die Nachricht wird mit der Arbeitseinheits-ID der Wiederherstellungsarbeitseinheit und durch Zuteilen eines Primärschlüssels einschließlich eines Byte-Werts innerhalb des „in Wiederherstellung" Bereiches von Bytewerten markiert, wie weiter oben beschrieben. Dieser Vorgang fährt fort, bis der Punkt in den Protokolldatensätzen erreicht wird, der dem Zeitpunkt des Fehlers entspricht.
Wenn die Wiederherstellungsverarbeitung den Punkt in den Protokolldatensätzen erreicht, der der Zeit des Speicherfehlers entspricht, ist der Nachrichtenspeicher in dem Status wiederhergestellt worden, in dem er zur Zeit des Fehlers war – abhängig von hinzugefügten und abgerufenen Nachrichten, die vom Wiederherstellungsprozess unabhängig sind.
An dieser Stelle wird die Wiederherstellungsverarbeitung durch Bestätigen der Fertigstellung (Commit) 260 der Wiederherstellungsarbeitseinheit beendet. Ein Syncpoint wird verwendet, um den konsistenten Status der Warteschlangendaten aufzuzeichnen, und alle Nachrichten werden für Anwendungen verfügbar. Im Besonderen beinhaltet das Bestätigen der Arbeitseinheit, alle relevanten Aktualisierungen dadurch zu identifizieren, dass auf die Liste der während der Ausführung der Wiederherstellungsarbeitseinheit hinzugefügten, gelöschten oder aktualisierten Nachrichten Bezug genommen wird und nachfolgend für jede Nachricht in der Liste der den Status anzeigenden Byte-Wert innerhalb des eindeutigen Primärschlüssels auf einen Wert aktualisiert wird, der den neuen Status der Nachricht bezeichnet. Das Ändern des höchstwertigen Byte-Werts bewegt die bestätigten Nachrichten in eine neue Position in der Warteschlange, da die Schlüsselwerte sowohl für die gewünschte Reihenfolge der Nachrichtenwiederherstellung bezeichnend sind, als auch für den Status der Nachrichten bezeichnend sind.
Wenn die Schritte „alte" Nachrichten und Nachrichtenaktualisierungen in den Warteschlangen wieder herzustellen fehlschlagen, sollte die gesondert ausgeführte Wiederherstellung der Warteschlange die fortlaufende Verwendung der Warteschlange für „neue" Nachrichten ermöglichen, während die Wiederherstellungsschritte der Wiederherstellungsverarbeitung erneut versucht werden. Auf diese Weise macht die Abfolge von Operationen, einen ersten Wiederherstellungsschritt auszuführen und anschließend Aktualisierungen durch Verweis auf Protokolldatensätze erneut anzuwenden, die Warteschlange nicht nur zu einem frühen Schritt für neue Nachrichten verfügbar, sondern schirmt auch die Warteschlangenwiederherstellung und die Verarbeitung neuer Nachrichten von jeglichen Schwierigkeiten ab, die die Wiederherstellung betreffen. Die Kombination dieser Eigenschaften kann zu bedeutsamen Verbesserungen der Verfügbarkeit sowohl von Nachrichtenübermittlungsfunktionen führen wie auch dazu, die erforderliche außergewöhnliche Verarbeitung als Antwort auf „Warteschlange voll" Zustände zu vermeiden.
Von diesem Punkt an können unter der Annahme, dass die Wiederherstellung erfolgreich war, normale Nachrichtenverarbeitungsoperationen für alle Nachrichten in der Warteschlange fortgesetzt werden. Wenn ein Warteschlangenmanager, der die wiederhergestellte Warteschlange verwendet, als Nächstes den den Status der Nachricht anzeigenden Byte-Wert überprüft, bestimmt der neue Status der Nachricht, ob diese abgerufen werden kann oder nicht.
Eine In-Syncpoint Get Operation innerhalb der Wiederherstellungsarbeitseinheit unterscheidet sich von einer Get Operation einer konventionellen Anwendung darin, dass die neue Get Operation spezifiziert, welche Nachricht die Operation abrufen soll, um so Operationen aus dem Protokoll in der richtigen Abfolge zu wiederholen. Konventionelle Get Operationen rufen typischerweise die erste verfügbare Nachricht ab, solch ein Ansatz könnte jedoch während der Wiederherstellungsverarbeitung zu Widersprüchlichkeiten zwischen der Warteschlange zur Zeit des Fehlers und der wiederhergestellten Warteschlange führen, da während der Wiederherstellungsverarbeitung eine andere Nachricht von der Get Operation abgerufen werden kann, als von der ursprünglichen Get Operation abgerufen wurde. Deshalb werden, obwohl einige Anwendungen nicht von sich selbst aus erfordern, dass Nachrichten in derselben Reihenfolge verarbeitet werden wie die Nachrichten in die Warteschlange gestellt wurden, von Protokolldatensätzen wiederholte Nachrichtenaktualisierungen dennoch auf eine Weise angewandt, die die Konsistenz mit der Abfolge von vor dem Fehler ausgeführten Operationen sicherstellt.
Geeignete Verfahren für die Bestimmung einer bestimmten Nachricht, die von einer Get Message Operation abgerufen werden soll, sind gemäß dem Stand der Technik bereits bekannt und werden daher hierin nicht im Detail beschrieben. Eine beispielhafte Ausführungsform für die Get Message Operation ist, den (für alle Nachrichten innerhalb eines Sysplex eindeutigen) eindeutigen Schlüssel zu verwenden, der jeder Nachricht zugeordnet wird, wenn die Nachricht einer gemeinsam genutzten Warteschlange hinzugefügt wird.
Empfehlung von Wiederherstellungsoperationen
In der vorliegenden Ausführungsform der Erfindung wiederholt die Wiederherstellung beim Verarbeiten des Protokolls In-Syncpoint Get und Put Operationen nicht sofort. Stattdessen werden, wie in 4 gezeigt, die Get und Put Operationen zwischengespeichert 251, bis die Wiederholung des Protokolls eine zu treffende Bestimmung 252 des Status der entsprechenden Arbeitseinheit ermöglicht. Das Protokoll wird wiederholt, und Operationen, die sich auf die Nachrichtenwarteschlange oder die Warteschlangen beziehen, die wiederhergestellt werden, werden identifiziert. Die identifizierten Protokolldatensätze werden in einen Cachespeicher kopiert. Wenn die Wiederherstellungsverarbeitung den Punkt in den Protokolldatensätzen erreicht, der der Zeit des Fehlers entspricht, werden die zwischengespeicherten Protokolldatensätze analysiert 252, um den Status jeder (ursprünglichen) zugehörigen Arbeitseinheit zur Zeit des Fehlers zu bestimmen.
Wenn die Bestimmung 252 ausgeführt wird, wird eine der folgenden Aktionen ergriffen:

1. Wenn die Arbeitseinheit bestätigt wird, werden das Put oder das Get (wie weiter oben beschrieben) als Teil der Wiederherstellungsverarbeitung ausgeführt 256;
2. Wenn die Arbeitseinheit am Ende der Wiederherstellungsarbeitseinheit unbestätigt bleibt, führt die Wiederherstellungsverarbeitung das Put oder das Get aus, markiert aber außerdem die Operation als unbestätigt 257 und als Teil der ursprünglichen Arbeitseinheit – wie es für die letztendliche Beendigung der Arbeitseinheit durch den koordinierenden Syncpointmanager erforderlich ist; und
3. Für alle übrigen Fälle (Zurücksetzen, Abbruch, oder vermuteter Abbruch), werden die gespeicherten Get und Put Operationen verworfen 255.

Die Wiederherstellungsarbeitseinheit wird dann wie zuvor beschrieben bestätigt.
Das weiter oben beschriebene Wiederherstellungsverarbeitungsverfahren ermöglicht dem Wiederherstellungsprozess, parallel zu der Verwendung der neu wieder erzeugten Warte schlange abzulaufen, ohne die gesicherte, nur einmalige Übermittlung von Nachrichten zu beeinträchtigen.
Optimierte Handhabung von gepaarten Aktualisierungen
Die Erfinder der vorliegenden Erfindung haben erkannt, dass eine In-Syncpoint Wiederholung einer bestätigten Get Operation innerhalb der Wiederherstellungsarbeitseinheit in jedem Fall eine Put Nachricht zur Warteschlange innerhalb derselben Wiederherstellungsarbeitseinheit zur Folge hat. Die Wiederholung kann die Wiederholung einer Get Message Operation umfassen, die von einer Wiederholung der Bestätigung für die ursprüngliche Arbeitseinheit gefolgt wird. Diese bestimmte Nachricht kann als Antwort auf die bestätigte Get Message Operation gelöscht werden, ohne auf die Bestätigung der Wiederherstellungsarbeitseinheit am Ende des Wiederherstellungsprozesses zu warten. In der vorliegenden Ausführungsform werden Put und Get Paare innerhalb der Wiederherstellungsarbeitseinheit identifiziert 253, und die entsprechenden zwischengespeicherten Protokolldatensätze werden aus dem Cachespeicher gelöscht 254 ohne die Notwendigkeit, die Warteschlange zu aktualisieren und dann die Aktualisierung zu löschen. Dieses Merkmal der Ausführungsform ergänzt das weiter oben erwähnte Merkmal „Zwischenspeichern bis zur Beendigung", um eine unnötige Verarbeitung zu vermeiden und es dem wiederherstellenden Warteschlangenmanager zu ermöglichen, die Anhäufung von Nachrichten in der Warteschlange zu reduzieren. Dies vermeidet potentielle, unnötige Warteschlange oder Speicher „voll" Zustände.
Eindeutige Schlüssel
Es ist aus den gemeinsam genutzten Mechanismen der Warteschlangenunterstützung von vorhandenen Warteschlangenmanagern bekannt, eindeutige Primärschlüssel zu benutzen, um zwischen Nachrichten in einer Verbindungseinrichtung (CF) zu unterscheiden, das sich in verschiedenen Zuständen befinden. Typischerweise sind diese Zustände: beendet, in Bearbeitung und unbestätigt. Solch eine Verwendung von eindeutigen Schlüsseln, um zwischen Zuständen zu unterscheiden, wird zum Beispiel in den Beschreibungen der gewöhnlich zugeteilten gleichzeitig anhängigen US Patentanmeldungen Nr. 09/677,339 und 09/677,341 beschrieben.
Die vorliegende Ausführungsform verwendet eindeutige Primärschlüsselwerte für Nachrichten, die innerhalb der Wiederherstellungsarbeitseinheit in Bearbeitung sind. „In Bearbeitung" ist der Status einer Transaktion, bevor eine Anfrage zur Bestätigung oder zum Abbruch (oder im Falle von zweiphasigen Bestätigungen vor einer „Vorbereitung zur Bestätigung" Anweisung) gemacht worden ist. Wenn ein Fehler auftritt, während eine Transaktion „in Bearbeitung" ist, wird der Nachrichtenstatus auf Abbruch gesetzt. Dies ist allgemein bekannt als der „vermuteter Abbruch" Ansatz. „Unbestätigt" ist ein Status der auf zweiphasige Bestätigungen von Transaktionen zutrifft, die einen externen Transaktionskoordinator umfassen. Der Koordinator richtet eine „Vorbereiten" Aufforderung für die Transaktion an jeden Ressourcenmanager, der ein Interesse aufweist. Der Fertigstellung des Vorbereitungsschritts folgend, befindet sich die Transaktion nicht mehr länger im Status „in Bearbeitung", sondern wird jetzt als „unbestätigt" betrachtet. Eine Beendigung von unbestätigt zu bestätigt oder Abbruch wird als Antwort auf einen anschließenden Aufruf des Transaktionskoordinators ausgeführt. Protokollaufzeichnungen können oder können nicht geschrieben worden sein für Get und Put Operationen, die durch eine in Bearbeitung Transaktion ausgeführt wurden.
Die Eindeutigkeit der Primärschlüssel wird durch Verwenden von eindeutigen Wertebereichen für ein Byte innerhalb des Primärschlüssels erreicht. Zum Beispiel umfasst das erste Byte des Primärschlüssels von Nachrichten auf einer Put Liste (das heißt einer Liste, die die Nachrichten darstellt, die in die Warteschlange gestellt worden sind) einen Wert im Bereich X'00' bis X'09', wenn die Nachricht bestätigt wurde, und einen Wert im Bereich von X'F4' bis X'F6', wenn die Nachricht nicht bestätigt ist. Die spezifische Zuweisung von Byte-Werten innerhalb des den Status anzeigenden Wertebereichs folgt einfach der Abfolge von Werten innerhalb des Bereichs, um eine FIFO Reihenfolge zu erreichen. Andere Verfahren für das Zuweisen von eindeutigen Schlüsseln sind gleichermaßen möglich.
Wenn ein Anwendungsprogramm einen Get Message Aufruf ausgibt, werden die Primärschlüsselwerte von Nachrichten in der Warteschlange untersucht und mit einer Liste von Schlüsselbereichen verglichen, um den Status der Nachricht zu bestimen. Der Status einer Nachricht, wie er vom Primärschlüsselwezt widergegeben wird, bestimmt, ob eine Anwendung die Nachricht abrufen kann, aber die Schlüsselwerte bestimmen auch die Reihenfolge von Nachrichten in der Warteschlange und auf diese Weise weisen Nachrichten, für die ein Abruf nicht möglich ist, Schlüsselwerte auf, die dem rückseitigen Ende der Warteschlange entsprechen. Dies bedeutet, dass einfaches numerisches Anordnen nicht abrufbare Nachrichten vermeidet, wann immer abrufbare Nachrichten in der Warteschlange verfügbar sind.
Die Verwendung von eindeutigen Schlüsseln auf diese Weise ermöglicht, dass ein Warteschlangenmanager selektiv auf Nachrichten mit bestimmten Zuständen zugreift, und erlaubt eine einfache Implementierung von anderen Funktionen, wie zum Beispiel das Auslösen einer Aktion auf Grundlage der Anzahl von bestätigten Nachrichten in der Warteschlange. Durch Platzieren von speziellen Werten in das höherwertige Byte des Schlüssels werden Nachrichten, die zur Warteschlange hinzugefügt (Put) wurden, aber noch nicht bestätigt worden sind, am rückseitigen Ende der Liste platziert, was es leicht macht sie zu ignorieren, wenn ein Warteschlangenmanager eine Get Message Operation im Auftrag einer Anwendung ausführt.
Eindeutige Werte des höherwertigen Bytes können verwendet werden, um nachfolgend auf den Aufruf einer Put Message Operation zwischen einer Anzahl von verschiedenen Zuständen einer Nachricht zu unterscheiden. Zum Beispiel kann ein erster Bereich von Byte-Werten eine Nachricht anzeigen, für die ein Put zusammen mit der ersten „vorbereiten" Phase einer zweiphasigen Bestätigung ausgeführt wurde, aber das Put noch nicht bestätigt wurde; wobei ein zweiter Wertebereich eine Nachricht anzeigt, für die die einem Put folgende Vorbereitungsphase der Bestätigung noch nicht ausgeführt wurde.
Zwei neue Betriebszustände werden in der vorliegenden Ausführungsform mit entsprechenden eindeutigen Schlüsseln für jede Operation und Nachricht definiert – wobei ein Byte jedes Schlüssels den charakteristischen Wert innerhalb eines Wertbereichs enthält, der den Status identifiziert. Die neuen Zustände sind nur auf Nachrichten anwendbar, die als Teil der Wiederherstellungsverarbeitung in den Nachrichtenspeicher platziert worden sind (in diesem Fall die gemeinsam genutzte CF Warteschlange). Ein Status entspricht dem Status unbestätigt innerhalb der ursprünglichen Arbeitseinheit (die Arbeitseinheit wird wiederholt) und der Wiederherstellungsarbeitseinheit, und der zweite Status entspricht dem Status bestätigt innerhalb der ursprüngliche Arbeitseinheit, aber immer noch unbestätigt innerhalb der Wiederherstellungsarbeitseinheit.
Diese neue Nachrichtenzustände und eindeutigen Schlüsselwerte stellen die folgenden Nutzen zur Verfügung:

• In-Syncpoint Put Operationen können durch Speichern der Nachricht auf dem CF mit einem eindeutigen Schlüssel wiederholt werden. Der eindeutige Schlüssel hindert die Nachricht daran, von anderen Prozessen verarbeitet zu werden, die Aktionen auf der Warteschlange ausführen, und hindert die Nachricht unter anderem daran, dass diese in Längenberechnungen der Warteschlangen einbezogen wird. Dies bedeutet, dass der Wiederherstellungsprozess diese Put Operationen im Datenspeicher nicht zwischenspeichern muss – was die Komplexität des Wiederherstellungsprozesses und den Speicherplatzbedarf beträchtlich reduziert.
• Out-Of-Syncpoint Put Operationen und Bestätigungen von In-Syncpoint Put Operationen können durch Setzen eines Schlüsselwerts wiederholt werden, der unterschiedlich ist zur normalen Out-Of-Syncpoint Aktivität. Dies bedeutet, dass die Bestätigung der Wiederherstellungsarbeitseinheit durch Aktualisieren von Primärschlüsselwerten ausgeführt werden kann (die einen Wert in einem ersten Wertebereich durch einen Wert aus einem zweiten Bereich ersetzen, der einem anderen Status entspricht), ohne dass ein im Speicher gehaltenes oder ein Strukturmodell zur CF Verwaltung erforderlich ist. Solche Strukturen werden in typischen alternativen Ausführungsformen benötigt.

Es wird im Licht dieser Mitteilung Personen, die in der Technik ausgebildet sind, klar sein, dass verschiedene Abänderungen der beschriebenen spezifischen Ausführungsformen die Vorteile der vorliegenden Erfindung erreichen können and sich in nerhalb des Schutzumfangs der Erfindung befinden, wie sie in den begleitenden Ansprüchen ausgeführt ist.
Zum Beispiel bezieht sich die weiter oben genannte Beschreibung von bevorzugten Ausführungsformen darauf, einen Datenspeicher wieder herzustellen und Daten im Speicher wieder herzustellen. Es wird Personen, die in der Technik ausgebildet sind, klar sein, dass es einige Lösungen innerhalb des Schutzumfangs der vorliegenden Erfindung erfordern, die ganzen Daten wiederherzustellen, die zur Zeit eines Fehlers im Speicher waren. Andere Lösungen erfordern nur die Wiederherstellung von bestimmten Klassen von Daten – wie zum Beispiel nur permanente Nachrichten wieder herzustellen und nicht permanente Nachrichten auszuschließen. Im letzteren Fall dürfen Protokolldatensätze für nicht permanente Nachrichten, wie zum Beispiel nur informative Datenübermittlungen, auch nicht geschrieben werden. Zum Beispiel kann es sein, dass eine Nachricht, die einen periodisch aktualisierte Wettervorhersage oder einen Aktienpreis enthält, nicht wiederhergestellt werden muss, wenn die nächste Aktualisierung kurzfristig verfügbar sein wird, während eine Nachricht, die über die Stornierung einer Flugreservierung oder den Verkauf von Vorräten unterrichtet, wieder herstellbar sein muss, um eine gesicherte, nur einmalige Übermittlung zu ermöglichen.
Zweitens können, während die weiter oben durchgeführte Beschreibung dargestellt hat, dass Verarbeitungseffizienzen durch Wiederherstellen von Datenelementen in mehrfachen Warteschlangen innerhalb des Wirkungsbereiches einer einzelnen Wiederherstellungsarbeitseinheit erreicht werden können, alternative Implementierungen jede Warteschlange innerhalb ihrer eigenen separaten Arbeitseinheit wieder herstellen. Dies vermin dert die Wirkung von bestimmten Arten von Fehlern während der Wiederherstellungsverarbeitung.
Drittens bezieht sich die weiter oben ausgeführte Beschreibung auf ein bestimmtes Verfahren dafür, Nachrichten zu markieren, um sie bis zur Bestätigung der Wiederherstellungsarbeitseinheit für den Abruf durch Anwendungsprogramme nicht verfügbar zu machen. Andere Mechanismen für die Steuerung der Nichtverfügbarkeit von wiederhergestellten Nachrichten sind ebenfalls möglich, während es gleichzeitig vermieden wird, den Speicher für die ganze Wiederherstellungsperiode zu sperren. Ein solches Beispiel besteht darin, für jede wiederhergestellte Nachricht eine Arbeitseinheits-ID zu setzen und eine unbestätigt Markierung zu setzen, die von den eindeutigen Primärschlüsseln getrennt ist.
Die weiter oben ausgeführte Beschreibung einer bevorzugten Ausführungsform der Erfindung verwendet unabhängig von einander gespeicherte Sicherungskopien der Definitionen einer Warteschlange und der Inhalte der Warteschlange. Alternative Ausführungsformen halten sowohl die Information, die einen Speicher definiert, wie auch den Inhalt des Datenspeichers zur Zeit der Sicherung in einer einzelnen sekundären Kopie aufrecht. Dennoch kann die Wiederherstellungsverarbeitung die gespeicherten Daten von dem sekundären Speicher (Sicherung) abrufen und diese Daten in einer Abfolge verarbeiten, um eine schnelle Wiederherstellung des Speichers und dessen verfügbar machen für neue Datenelementen zu ermöglichen, gefolgt von einem separaten Schritt, den Inhalt des Speichers wieder herzustellen.
Weitere Ausführungsformen der Erfindung sind auf Datenbanklösungen anwendbar. In einer Datenbanktabelle können neue Zeilen in die Tabelle eingeführt und verarbeitet werden, bevor alte Zeilen (die mit Daten vor dem Fehler besetzt waren) wiederhergestellt werden. Während der Wiederherstellung sehen die Anwendungen die Tabelle so, als würde sie nur die neuen Zeilen enthalten bis zu der Zeit, zu der die Wiederherstellung vollständig ist.
Die oben genannte Beschreibung einer bevorzugten Ausführungsform offenbart ein Wiederherstellungsverfahren und eine Vorrichtung, die nachfolgendes umfasst:

(i) Wiederaufbau eines Datenspeichers in einem leeren Status für schnelle Verfügbarkeit und nachfolgende Wiederherstellungsoperationen als eine Wiederherstellungsarbeitseinheit zu behandeln;
(ii) Wiederherstellungsoperationen in Abhängigkeit vom festgestellten Status der entsprechenden ursprüngliche Arbeitseinheit für die effiziente Wiederherstellungsverarbeitung ausführen;
(iii) optimierte Handhabung von gepaarten Aktualisierungen für die effiziente Verarbeitung und um eine Anhäufung im Datenspeicher zu vermeiden; und
(iv) Verwendung von eindeutigen Primärschlüsseln, um bestimmte in der Wiederherstellung befindliche Zustände von Datenelementen und Aktualisierungen von Datenelementen anzuzeigen. Während die Merkmale (i) bis (iv) sich gegenseitig ergänzend sind, es ist für die Durchführung jedes dieser Merkmale (i) bis (iv) nicht wesentlich, dass alle Merkmale (i) bis (iv) zusammen implementiert werden, wie für Personen, die in der Technik ausgebildet sind, klar sein wird.

Claims

Verfahren zur Wiederherstellung eines Datenspeicher nach einem Fehler, der eine primäre Kopie des Datenspeichers betrifft, wobei es nicht notwendig ist, Datenelemente in derselben Reihenfolge zu verarbeiten, in der sie dem Datenspeicher hinzugefügt wurden, wobei das Verfahren die nachfolgenden Schritte umfasst: i) Aufrechterhalten einer sekundären Kopie von Daten, die ausreichend ist, die primäre Kopie des Datenspeichers und der darin gehalten Datenelemente wieder herzustellen; ii) als Antwort auf einen Fehler, der die primäre Kopie des Datenspeichers betrifft, aus der sekundären Kopie eine primäre Kopie des Datenspeichers wieder herzustellen; iii) Verwenden eines Wiederherstellungsverfahrens, um Datenelemente in der primären Kopie aus der sekundären Kopie innerhalb einer Wiederherstellungsarbeitseinheit wieder herzustellen, wobei in der Wiederherstellungsarbeitseinheit in der primären Kopie des Datenspeichers wieder hergestellte Datenelemente nicht zugreifbar gemacht werden für Prozesse außer dem Wiederherstellungsprozess, bis die Wiederherstellungsarbeitseinheit bestätigt ist; iv) Konfigurieren der primären Kopie des Datenspeichers vor dem Bestätigen der Wiederherstellungsarbeitseinheit, um das Hinzufügen von Datenelementen zum Datenspeicher unabhängig von besagtem Wiederherstellungsschritt zu ermöglichen; und v) als Antwort auf die erfolgreiche Vervollständigung des Wiederherstellungsschritts die Wiederherstel lungsarbeitseinheit zu bestätigen, einschließlich des Zurücksetzens der besagten Unzugreifbarkeit auf die wiederhergestellten Daten; gekennzeichnet durch den Schritt: vi) die primäre Kopie des Datenspeichers zu konfigurieren, um Prozessen außer dem Wiederherstellungsprozess zu ermöglichen, besagte unabhängig hinzugefügte Datenelemente abzurufen.
Verfahren nach Anspruch 1, wobei das Aufrechterhalten der sekundären Datenkopie umfasst, eine Sicherungskopie des Datenspeichers zu speichern und Protokolldatensätze zu speichern, die Aktualisierungen an der primäre Kopie beschreiben, die ausgeführt wurden, seit die Sicherungskopie gespeichert wurde; wobei das Wiederherstellen der primären Kopie des Datenspeichers den Schritt umfasst, Datenspeicherdefinitionen aus der Sicherungskopie zu kopieren und die Definitionen anzuwenden, um die primäre Kopie wieder herzustellen; und wobei das Wiederherstellen von Datenelementen in der primäre Kopie umfasst, Datenelemente aus der Sicherungskopie zu kopieren und die Protokolldatensätze zu wiederholen, um Aktualisierungen zu identifizieren und erneut auf die primäre Kopie anzuwenden.
Verfahren nach Anspruch 1, wobei das Aufrechterhalten der sekundären Datenkopie umfasst, Protokolldatensätze zu speichern, die Aktualisierungen an der primäre Kopie beschreiben, und wobei der Schritt, die primäre Kopie des Speichers wieder herzustellen, die Schritte umfasst: Wiederholen der Protokolldatensätze von Operationen, die auf Datenelemente innerhalb der primären Kopie des Datenspeichers ausgeführt wurden, Zwischenspeichern von Protokolldatensätzen, die sich auf Operationen beziehen, die unter Syncpoint Steuerung innerhalb einer ursprüngliche Arbeitseinheit ausgeführt wurden, Feststellen des Zustands der ursprünglichen Arbeitseinheiten zur Zeit des Fehlers aus den zwischengespeicherten Protokolldatensätzen, und Feststellen, welche von den besagten Syncpoint gesteuerten Operationen innerhalb der Wiederherstellungsarbeitseinheit basierend auf dem festgestellten Status der ursprünglichen Arbeitseinheiten auszuführen sind.
Verfahren nach Anspruch 2 oder Anspruch 3, umfassend die Durchführung von Operationen innerhalb der wiederherstellungsarbeitseinheit entsprechend dem folgenden Verfahren: • Ausführen der relevanten Operationen der bestätigten Arbeitseinheit, wenn die ursprüngliche Arbeitseinheit vor dem Fehler bestätigt wurde; • Ausführen der relevanten Operationen der unbestätigten Arbeitseinheit, aber die Operationen als unbestätigt kennzeichnen, wenn die ursprüngliche Arbeitseinheit unbestätigt war; und • Verwerfen der zwischengespeicherten Operationen, wenn die ursprüngliche Arbeitseinheit weder bestätigt noch unbestätigt ist.
verfahren nach Anspruch 2 oder Anspruch 3 oder Anspruch 4, umfassend aus der Wiederherstellungsarbeitseinheit jegliche Paare von Hinzufüge- und Löschoperationen zu verwerfen, die ein Hinzufügen eines Datenelements zur primären Kopie des Datenspeichers und ein Löschen desselben Datenelements aus der primären Kopie des Datenspeichers umfas sen, vorausgesetzt, dass besagte Hinzufüge- und Löschoperationen vor dem Fehler ausgeführt und bestätigt wurden.
Verfahren gemäß einem der vorangegangenen Ansprüche, wobei der Datenspeicher ein Nachrichtenspeicher ist, und der Schritt, Daten in der primären Kopie des Datenspeichers wiederherzustellen umfasst, Hinzufüge-, Aktualisierungs- und Löschoperationen für Nachrichten am Nachrichtenspeicher durchzuführen.
Verfahren gemäß einem der vorangegangenen Ansprüche, wobei in der primären Kopie des Speichers innerhalb der Wiederherstellungsarbeitseinheit wiederhergestellte Daten nicht zugreifbar gemacht werden durch Setzen einer Markierung für jedes im Datenspeicher wiederhergestellte Datenelement, wobei die Markierung anzeigt, dass das Datenelement nicht zugreifbar ist.
Verfahren nach Anspruch 7, wobei die Markierung einen Transaktionszustand des Datenelements anzeigt und wobei ein Verfahren für das Abrufen von Datenelementen aus dem Speicher eingerichtet ist, um einen oder mehrere vordefinierte Transaktionszustände als nicht zugreifbar zu identifizieren.
Verfahren nach Anspruch 8 oder Anspruch 7, wobei die Markierung einen Byte-Wert eines eindeutigen Primärschlüssels umfasst, der dem Datenelement zugeordnet wird, wenn das Datenelement im Datenspeicher wiederhergestellt wird, wobei der Byte-Wert aus einem Wertebereich gewählt wird, der für den Transaktionsstatus des Datenelements bezeichnend ist.
Verfahren entsprechend einem der Ansprüche 7 bis 9, wobei der Schritt, eine Markierung zu setzen, umfasst: i) Setzen einer ersten Markierung für jedes Datenelement, für das die letzte auf das Datenelement vor dem Fehler ausgeführte Operation eine bestätigte Hinzufügeoperation war, die innerhalb der Wiederherstellungsarbeitseinheit im Datenspeicher wiederhergestellt werden soll; und ii) Setzen einer zweiten Markierung für jedes Datenelement, für das die letzte auf das Datenelement vor dem Fehler ausgeführte Operation eine unbestätigte Hinzufüge- oder Löschoperation war, die innerhalb der Wiederherstellungsarbeitseinheit im Datenspeicher wiederhergestellt werden soll.
Verfahren nach Anspruch 10, wobei die erste Markierung einen Byte-Wert eines Dateneinheitenschlüssels umfasst, der aus einem ersten Bereich von Byte-Werten ausgewählt ist, die einen ersten Transaktionsstatus bezeichnen, und die zweite Markierung einen Byte-Wert eines Dateneinheitenschlüssels umfasst, der aus einem zweiten Bereich von Byte-Werten ausgewählt ist, die einen zweiten Transaktionsstatus bezeichnen.
Datenkommunikationsanordnung, die nachfolgendes umfasst: i) Datenspeicher für das Speichern einer primäre Kopie eines Datenspeichers; ii) sekundären Datenspeicher (120) für das Speichern einer sekundären Kopie (60) von Daten, die den Datenspeicher repräsentieren, wobei die sekundären Daten ausreichend sind, um die primäre Kopie des Daten speichers und darin gehaltene Daten wieder herzustellen; iii) Wiederherstellungskomponente zur Steuerung des Betriebs der Datenkommunikationsanordnung (10), um nach einem Fehler wieder hergestellt zu werden, der die primäre Kopie des Datenspeichers betrifft, wobei die Wiederherstellungskomponente betriebsbereit ist, um die Datenkommunikationsanordnung so zu steuern, dass diese das Verfahren gemäß einem der vorangegangenen Ansprüche ausführt.
Datenkommunikationsanordnung nach Anspruch 12 in einer Ausführungsform gemäß einem der Ansprüche 5 bis 11 zur Übertragung von Nachrichten zwischen einem Absender (40) und einem Empfänger (50), wobei Nachrichten nachfolgend auf eine Nachrichtensendeoperation vom Absender im Nachrichtenspeicher gehalten werden und die Nachrichten nachfolgend zur Übertragung an den Empfänger von dem Datenspeicher abgerufen werden.
Computerprogrammprodukt, das computerlesbaren Programmcode umfasst, der von einer digitalen Verarbeitungseinheit ausführbar ist, um ein Verfahren entsprechend einem der Ansprüchen 1 bis 11 auszuführen.