DE112006001641T5 - Signalverarbeitungseinrichtung - Google Patents

Signalverarbeitungseinrichtung Download PDF

Info

Publication number
DE112006001641T5
DE112006001641T5 DE112006001641T DE112006001641T DE112006001641T5 DE 112006001641 T5 DE112006001641 T5 DE 112006001641T5 DE 112006001641 T DE112006001641 T DE 112006001641T DE 112006001641 T DE112006001641 T DE 112006001641T DE 112006001641 T5 DE112006001641 T5 DE 112006001641T5
Authority
DE
Germany
Prior art keywords
data
signal
restored
processing
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE112006001641T
Other languages
English (en)
Inventor
Fuminori Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nitto Optical Co Ltd
Original Assignee
Nitto Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nitto Optical Co Ltd filed Critical Nitto Optical Co Ltd
Publication of DE112006001641T5 publication Critical patent/DE112006001641T5/de
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction

Abstract

Vorrichtung zur Signalverarbeitung, die eine Verarbeitungseinheit aufweist, die restaurierte Daten erzeugt, die sich den Signaldaten vor dem Schwanken annähern, wozu die folgende Verarbeitung wiederholt wird:
Erzeugen von Vergleichsdaten aus willkürlichen Signaldaten durch Anwenden von Informationsdaten, die einen Schwankungsfaktor betreffen, der die Signalschwankung auslöst;
Vergleichen der Vergleichsdaten mit den Originalsignaldaten als ein zu verarbeitender Gegenstand;
Erzeugen restaurierter Daten durch Benutzen von Daten, welche den Unterschied zwischen den Vergleichsdaten und den Originalsignaldaten zeigen; und
Ersetzen der willkürlichen Signaldaten durch die restaurierten Daten.

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung betrifft eine Signalverarbeitungsvorrichtung. Stand der Technik
  • Es ist allgemein bekannt, dass ein Bild unscharf wird, wenn man ein Bild mit einer Kamera und dergleichen aufnimmt. Die Unschärfe eines Bilds geht hauptsächlich auf eine unruhige Hand bei der Bildaufnahme zurück, sowie auf verschiedene Unregelmäßigkeiten der Optik, Linsen-Verzerrung und dergleichen.
  • Um ein Bild zu stabilisieren gibt es zwei Verfahren, ein Bewegen der Linse und eine elektronische Verarbeitung. Beispielsweise zeigt das Patentdokument 1 ein Verfahren zum Linsenbewegen das Stabilisieren eines Bildes durch Detektieren der Handunruhe (Wackelns) und das Verschieben einer vorbestimmten Linse als Reaktion auf die Unruhe. Als ein Verfahren elektronischer Verarbeitung zeigt das Dokument 2 das Erzeugen eines restaurierten Bildes durch Detektieren eines Versatzes der optischen Achse einer Kamera mittels eines Sensors für die Winkelgeschwindigkeit, wobei eine Transferfunktion gewonnen wird, die einen unscharfen Zustand beim Aufnehmen eines Bildes aus der detektierten Winkelgeschwindigkeit zeigt, und die gewonnene Transferfunktion um ein geschossenes Bild herum transformiert.
  • Weiterhin ist bekannt, dass Signale einer Sprachmeldung, eines Röntgenfotos, eines Mikroskop-Bildes, einer Erdbeben-Schwingungsform und dergleichen, mehr als ein allgemein geschossenes Bild auch aufgrund von Schwankung und anderen Ursachen unscharf und verschlechtert werden.
    • Patentdokument 1: ungeprüfte Patentveröffentlichung 6-317824 (siehe die Zusammenfassung)
    • Patentdokument 2: ungeprüfte Patentveröffentlichung 11-24122 (siehe die Zusammenfassung)
  • Offenbarung der Erfindung
  • Zu lösende Probleme
  • Eine Kamera, die mit einem Verfahren zum Stabilisieren eines Bildes ausgerüstet ist und im Patentdokument 1 gezeigt wird, bekommt eine große Abmessung, wegen der Notwendigkeit eines Raumes zum Montieren der Mechanik zum Antreiben einer Linse, beispielsweise eines Motors. Ferner müssen die Kosten steigen, wenn eine derartige Mechanik und ein Schaltkreis für die Ansteuerung installiert wird. Andererseits schließt ein Verfahren zum Bildstabilisieren, das im Patentdokument 2 gezeigt wird, die folgenden Punkte ein, wenn auch dem Verfahren nicht das oben erwähnte Problem anhaftet. Die folgenden zwei Punkte verursachen tatsächlich eine Schwierigkeit beim Erzeugen eines restaurierten Bildes, obwohl das inverse Transformieren der gewonnenen Transferfunktion theoretisch ein restauriertes Bild hervorbringt.
  • Erstens ist die gewonnene Transferfunktion äußerst schwach beim Verarbeiten von Rauschen und Informationsfehlern um die Umschärfe herum, und eine leichte Schwankung dieser Dinge beeinflusst in starker Maße die Funktionswerte. Diese Schwankung führt zu einem Nachteil, dass ein durch die inverse Transformation restauriertes Bild weit ab von einem stabilisierten Bild ist, ohne unruhige Hand und ohne aktuellen Gebrauch. Zweitens braucht man für das durch die inverse Transformation eingebrachte Rauschen gelegentlich eine Methode zum Abschätzen der Lösungen durch Anwenden einer Einzelwert-Zerlegung für Lösungen in simultanen Gleichungen. Aber die berechneten Werte für eine derartige Abschätzung laufen zu astronomischen Zahlen, bringen in der Tat ein hohes Risiko ungelöst zu bleiben.
  • Diese ein Bild betreffenden Dinge erscheinen auch im Fall des allgemeinen Umgangs mit verschiedenartigen Signaldaten. Es ist schwierig ein Signal durch Anwenden der inversen Transformation zu restaurieren, falls die gewonnene Transformations-Funktion ungenau ist, oder selbst wenn sie genau ist. Weiter ist es unmöglich, eine perfekt genaue Transformierfunktion zu bekommen, wenn man Gegenstande der Natur verarbeitet.
  • Der Vorteil der Erfindung besteht im Beschaffen einer Signalverarbeitungseinrichtung, die eine praktische Signalverarbeitung beim Restaurieren von Signaldaten realisiert, auch die Vorrichtung davor bewahrt, zu große Abmessungen zu haben. Mittel zum Lösen des Problems
  • Um die obigen Punkte zu lösen, besitzt gemäß einem Aspekt der Erfindung, eine Signalverarbeitungseinrichtung einen Prozessor, der restaurierte Daten erzeugt, die sich den Signaldaten vor dem Schwanken annähern, wozu das folgende Verarbeiten wiederholt wird: Erzeugen von Vergleichsdaten aus beliebigen Signaldaten durch Verwenden von Informationsdaten bezüglich eines Schwankungsfaktors, der die Signalschwankung auslöst; Vergleichen der Vergleichsdaten mit Originalsignaldaten als ein zu verarbeitender Gegenstand; Erzeugen restaurierter Daten durch Benutzen von Unterschiedsdaten als Differenz zwischen den Vergleichsdaten und den Originaldaten; und Ersetzen der beliebigen Signaldaten durch die restaurierten Daten.
  • Der obige Aspekt der Erfindung erzeugt restaurierte Daten, die sich den Originalsignalen vor dem Schwanken annähern, nur durch Erzeugen vorbestimmter Daten mit Gebrauch von Informationsdaten bezüglich eines Schwankungsfaktors, der die Signalschwankung auslöst. Diese Verarbeitung benötigt keine Zunahme an zusätzlicher Mechanik, so dass keine Einrichtung großer Abmessung entsteht. Weitere Verarbeitungsschritte zum Herstellen von Vergleichsdaten aus restaurierten Daten und Vergleichen der Vergleichsdaten mit den Originalsignaldaten als ein zu verarbeitender Gegenstand werden wiederholt, wodurch restaurierte Daten gewonnen werden, die sich allmählich einem Bild vor der Schwankung annähern, was eine Basis für ein ursprüngliches Signal ist. Diese Verarbeitungen realisieren tatsächliche Restaurier-Operationen. Deswegen sind diese Prozessschritte imstande eine Signalverarbeitungseinrichtung bereitzustellen, die ein Schaltungssystem zum Verarbeiten enthält, um ein Signal in seinem Wesen zu restaurieren.
  • Gemäß einem anderen Aspekt der Erfindung, zusätzlich zu der vorstehend erwähnten Erfindung, hält der Prozessor die Wiederholung der Verarbeitung an, falls die Differenzdaten gleich oder weniger oder kleiner als ein vorbestimmter Wert werden. Dieser Stopp kann eine langdauernde Verarbeitung vermeiden, weil das Verarbeiten vor der Differenz „Null" angehalten wird. Des weiteren kann das Setzen der Differenzdaten gleich oder weniger als ein vorbestimmter Wert die restaurierten Werte dazu bringen, sich weiterhin den Signaldaten vor dem Schwanken (vor der Unschärfe) zu nähern, was eine Grundlage für Originalsignale sein wird. Ferner ist, wenn sogar entstehendes Rauschen eine Situation der Differenz „Null" bringen kann, was tatsächlich nicht geschehen ist, der obige Stopp in der Lage sein, eine unbegrenzte Wiederholung zu vermeiden.
  • Gemäß einem weiteren anderen Aspekt der Erfindung, zusätzlich zur oben erwähnten Erfindung, stoppt der Prozessor die Wiederholung der Verarbeitung, falls die Wiederholzahl eine vorher festgelegte Zahl wird. Dieser Halt kann ein langdauerndes Verarbeiten vermeiden, weil die Verarbeitung gestoppt wird, obwohl die Differenz „Null" wird oder nicht. Ferner wird die Verarbeitung durch die vorher festgelegten Zahlen wiederholt. Diese Wiederholung lässt restaurierte Daten näher an die Signaldaten vor dem Schwanken herankommen, was eine Grundlage für ein Originalsignal sein wird. Ferner ist das Obige, selbst wenn eingebrachtes Rauschen eine Situation einer Differenz von nicht „Null" erbringt, was tatsächlich geschehen ist, imstande eine unbegrenzte Wiederholung zu vermeiden.
  • Gemäß einem weiteren anderen Aspekt der Erfindung, zusätzlich zu der oben erwähnten Erfindung, stoppt der Prozessor die Wiederholung der Verarbeitung, falls die Differenzdaten zum Zeitpunkt, wenn die Wiederholzahl eine vorbestimmte Zahl erreicht, gleich oder weniger oder kleiner als ein vorbestimmter Wert werden, und wird eine weitere Wiederholung mit einer vorher festgelegten Anzahl ausführen, falls die Differenzdaten gleich oder mehr oder größer als der vorbestimmte Wert werden. In diesem Aspekt der Erfindung, worin die Zahl der Prozesswiederholung mit dem Differenzwert verknüpft wird, kann eine günstige Balance zwischen der Signalqualität und der Verarbeitungszeit erhalten werden, dieses im Vergleich mit einem Fall des einfachen Begrenzens der Wiederholzahl oder Begrenzen des Differenzwerts.
  • Gemäß einem noch anderen Aspekt der Erfindung, enthält eine Signalverarbeitungseinrichtung einen Prozessor, der die folgende Verarbeitung durchführt: Erzeugen von Vergleichsdaten aus vorbestimmten Signaldaten durch Anwenden von Informationsdaten bezüglich eines Schwankungsfaktors, der eine Signalschwankung auslöst; Vergleichen der Vergleichsdaten mit Originalsignaldaten einschließlich von Schwankungssignalen als ein zu verarbeitender Gegenstand; Anhalten der Verarbeitung und Behandeln der vorbestimmten Signaldaten, die eine Grundlage für die Vergleichsdaten als Signale vor der Schwankung der Originalsignaldaten gewesen sind, falls die Differenzdaten zwischen den Vergleichsdaten und den Originalsignaldaten gleich oder weniger oder kleiner sind als ein vorbestimmter Wert; Ersetzen der vorbestimmten Signaldaten durch die restaurierten Daten und Wiederholen der Verarbeitung, falls die Differenzdaten gleich oder mehr oder größer als ein vorbestimmter Wert sind, wobei restaurierte Daten durch Anwenden der Differenzdaten erzeugt werden.
  • Gemäß dem obigen Aspekt der Erfindung werden die Vergleichsdaten durch Anwenden von Informationsdaten bezüglich eines Schwankungsfaktors erzeugt, der die Signalschwankung auslöst. Die Vergleichsdaten werden mit dem Originalsignal verglichen, und die restaurierten Daten, die sich dem Originalsignal annähern, werden nur erzeugt, wenn die Differenz groß ist. Diese Verarbeitung kann eine zusätzliche Mechanik und ein Gerät großer Abmessung vermeiden. Weitere Verarbeitungen, die Vergleichsdaten aus restaurierten Daten herstellen und die Vergleichsdaten mit den Originalsignaldaten als ein zu verarbeitender Gegenstand vergleichen, werden wiederholt, wodurch restaurierte Daten erhalten werden, die schrittweise sich einem Bild vor der Schwankung als Originalsignale annähern. Diese Verarbeitungsschritte realisieren aktuelle Restaurier-Operationen. Deswegen sind diese Verarbeitungen in der Lage eine Signalverarbeitungseinrichtung bereit zu stellen, die ein Schaltungssystem zum Verarbeiten besitzt, um im wesentlichen schwankende Signale zu restaurieren.
  • Gemäß einem weiteren anderen Aspekt der Erfindung, zusätzlich zur oben erwähnten Erfindung, stoppt der Prozessor die Wiederholung der Verarbeitung, falls die Wiederholzahl eine vorbestimmte Anzahl wird. Dieser Halt kann ein langdauerndes Verarbeiten vermeiden, weil die Verarbeitung angehalten wird, obwohl die Differenz „Null" oder nicht wird. Ferner wird die Verarbeitung gemäß der vorher festgelegten Anzahl wiederholt. Diese Wiederholung bringt die restaurierten Daten näher an die Signaldaten vor dem Schwanken heran, die eine Basis für die Originalsignale sind. Ferner ist, selbst wenn aufkommendes Rauschen eine Situation von Differenz ungleich „Null" erbringt, was tatsächlich geschehen ist und zu unbegrenzter Wiederholung der Verarbeitung führt, der obige Halt imstande, den Punkt derartiger unbegrenzter Wiederholung zu vermeiden.
  • Gemäß einem noch weiteren anderen Aspekt der Erfindung, zusätzlich zur oben erwähnten Erfindung, weist die Vorrichtung des weiteren eine Detektiereinheit auf, die Information bezüglich eines Schwankungsfaktors detektiert, sowie eine Faktorinformations-Speichereinheit, die vorhandene Information hinsichtlich eines Schwankungsfaktors abspeichert. Diese Zusatzeinrichtungen sind in der Lage, restaurierte Daten zu erhalten, die unter Berücksichtigung von Außen- und Innenfaktoren kompensiert sind, die Signale schwanken lassen.
  • Ferner lässt sich die Wiederholung vorzugsweise stoppen, wenn die Differenzdaten gestreut sind. Dieser Halt in diesem Aspekt kann das Abgeben solcher restaurierten Daten, die schlechte Qualität haben, und eine Zeitvergeudung für unnötiges Prozessieren, vermeiden.
  • Ferner lässt sich die Wiederholung vorzugsweise stoppen, falls die restaurierten Daten einen anomalen Wert enthalten, der mehr ist als ein erlaubter Wert. Dieser Halt kann das Abgeben restaurierter Daten schlechter Qualität und eine Zeitvergeudung für unnötiges Verarbeiten vermeiden.
  • Ferner kann, falls die restaurierten Daten einen anomalen Wert außer eines erlaubten Werts haben, die Wiederholung vorzugsweise fortgesetzt werden, nachdem der anomale Wert in den erlaubten Wert geändert wurde. Diese Fortsetzung kann ein Fall sein, bei dem ein Teil der Daten anomal wird, und sich weitere bevorzugte restaurierte Daten gewinnen lassen.
  • Ein noch anderer Aspekt der Erfindung, zusätzlich zu der oben erwähnten Erfindung, umfasst ferner das Erzeugen von restaurierten Daten durch Gebrauch der Differenz, das Addieren der Differenz, die einem Signalelement entspricht, oder variabler Größen der Differenz zu einem Signalelement entsprechend den Vergleichsdaten. Diese Addition kann zu schneller Verarbeitung führen, wenn es kleine Schwankungen wie z.B. Unschärfe gibt.
  • Gemäß einem noch anderen Aspekt der Erfindung, zusätzlich zur oben erwähnten Erfindung, umfasst das Erzeugen restaurierter Daten durch Gebrauch der Differenz des weiteren das Zuordnen der Differenzdaten zu den Daten willkürlichen Signals oder vorbestimmten Signaldaten durch Anwenden der Informationsdaten bezüglich eines Schwankungsfaktors. Diese Zuordnung hat eine Fähigkeit den Prozess zu restaurieren, als Reaktion auf solche Schwankungsfaktoren wie Unschärfe und dergleichen.
  • Ferner kann der Prozessor vorzugsweise einen Schwerpunkt (barycenter) der Information bezüglich eines Schwankungsfaktors einrichten, und die Differenzdaten des Signals am Schwerpunkt addieren, oder die Differenzdaten variabler Größe zu einem Signalelement, das unter willkürlichen oder vorbestimmten Signalen restauriert werden soll. Dieses Einrichten und die Addition haben eine Fähigkeit zum Prozess-Restaurieren mit einer hohen Geschwindigkeit, als Reaktion auf solche Schwankungsfaktoren wie Unschärfe und dergleichen.
  • Ferner kann der Prozessor vorzugsweise Information bezüglich eines Schwankungsfaktors in jede einer Vielzahl von Arten klassifizieren und ein unterschiedliches Verarbeiten durchführen, was von der Klassifikation abhängt. Diese Klassifikation hat eine Fähigkeit, den Prozess mit einer schnellen Geschwindigkeit zu restaurieren, als Reaktion auf solche Schwankungsfaktoren wie Unschärfe und dergleichen.
  • Des weiteren kann der Prozessor die Information bezüglich der Schwankungsfaktoren in jede einer Vielzahl von Arten klassifizieren und die Wiederholzahlen jeder Klassifikation einteilen. Diese unterschiedliche Klassifikation hat eine Fähigkeit den Prozess in optimaler Zeit zu restaurieren, als Reaktion auf Schwankungsfaktoren wie beispielsweise Unschärfe und dergleichen.
  • Gemäß noch einem anderen Aspekt der Erfindung, zusätzlich zur oben erwähnten Erfindung, umfasst das Erzeugen der restaurierten Daten ferner das Platzieren der Daten in einen Bereich, der ein zu restaurierender Gegenstand ist, der gegenüber irgendeiner der vertikalen, horizontalen oder geneigten Richtungen positioniert ist, falls die restaurierten Daten außerhalb des Bereiches, der ein restaurierter Gegenstand werden soll, abgegeben werden. Dieses Erzeugen und Platzieren der Daten kann den Bereich, der ein restauriertes Objekt werden soll, fest herstellen.
  • Vorteil der Erfindung
  • Ein Vorteil der Erfindung ist das Bereitstellen einer Signalverarbeitungseinrichtung, die im wesentlichen ein Schaltkreissystem zum Verarbeiten einschließt, auch eine Einrichtung davor bewahrt zu große Abmessungen zu bekommen, selbst beim Restaurieren schwankender Signale, wie durch Unschärfe und dergleichen. Kurzbeschreibung der Zeichnungen
  • 1 ist ein Blockschaltbild, das Hauptstrukturen einer Signalverarbeitungseinrichtung eines Ausführungsbeispiels der Erfindung zeigt.
  • 2 ist eine perspektivische und schematische Ansicht, die ein Gesamtkonzept der in 1 gezeigten Signalverarbeitungseinrichtung zeigt, und den Platz eines Winkelgeschwindigkeitssensors.
  • 3 ist ein Flussdiagramm, das ein Verarbeitungsverfahren (eine Prozess-Routine) zeigt, die durch eine Verarbeitungseinheit (Prozessor) in der Signalverarbeitungseinrichtung der 1 implementiert ist.
  • 4 ist ein Schaubild, das ein Konzept des in 3 gezeigten Verarbeitungsverfahrens erläutert.
  • 5 ist eine Darstellung, die das Verarbeitungsverfahren der 3 als ein Beispiel von Hand-Verwackeln konkret erklärt, sowie eine Tabelle der Energie-Konzentration ohne Handwackeln.
  • 6 ist eine Darstellung, die das Verarbeitungsverfahren der 3 als ein Beispiel des Handwackelns konkret erklärt, sowie ein Schaubild, das Bilddaten ohne Handunruhe zeigt.
  • 7 ist eine Darstellung, die das Verarbeitungsverfahren der 3 konkret als ein Beispiel des Handwackelns erklärt, und ein Schaubild, das die Energieverteilung beim Handwackeln zeigt.
  • 8 ist eine Darstellung, die konkret das Verarbeitungsverfahren der 3 als ein Beispiel des Handwackelns erklärt, und ein Schaubild, das die Erzeugung von Vergleichsdaten aus einem willkürlichen Bild zeigt.
  • 9 ist eine Darstellung, die konkret das Verarbeitungsverfahren der 3 als ein Beispiel des Handwackelns erklärt, und ein Schaubild, das die Erzeugung von Differenzdaten durch das Vergleichen der Vergleichsdaten mit einem unscharfen Originalbild, das ein verarbeitetes Objekt sein soll, zeigt.
  • 10 ist eine Darstellung, die konkret das Verarbeitungsverfahren der 3 als ein Beispiel des Handwackelns erklärt, sowie ein Schaubild, das die Erzeugung restaurierter Daten durch Zuordnen und Addieren von Differenzdaten zu einem willkürlichen Bild zeigt.
  • 11 ist eine Darstellung, das konkret das Verarbeitungsverfahren der 3 als ein Beispiel des Handwackelns erklärt, sowie ein Schaubild der Erzeugung neuer Vergleichsdaten aus restaurierten Daten und Differenzdaten, durch Vergleichen der Vergleichsdaten mit unscharfen Originaldaten, als ein zu verarbeitendes Objekt.
  • 12 ist eine Darstellung, die konkret das Verarbeitungsverfahren der 3 als ein Beispiel des Handwackelns erklärt, sowie ein Schaubild der Erzeugung neuer restaurierter Daten durch Zuordnen neuer Differenzdaten.
  • 13(A) und (B) stellen ein Schaubild dar, das erklärt, wie ein Schwerpunkt von Schwankungsfaktoren als anderes Verarbeitungsverfahren unter Anwendung der in 3 gezeigten Methode zu benutzen ist. 13(A) ist ein Schaubild eines Zustands, wie ein Pixel (Bildpunkt) innerhalb korrekter Bilddaten zu beachten ist. 13(B) ist ein Schaubild eines Zustands der Streuung eines Pixels, das in Originalbilddaten beachtet wurde.
  • 14 ist ein Schaubild, das konkret einen Prozess des Gebrauchs eines Schwerpunkts von Schwankungsfaktoren als ein in 13 gezeigtes Verfahren erklärt.
  • 15(A) und (B) sind ein Schaubild eines anderen Verarbeitungsverfahrens unter Anwendung der in 3 gezeigten Methode. 13(A) zeigt Daten des Originalbilds als ein zu verarbeitendes Objekt.
  • 16(A) und (B) sind ein Schaubild noch eines anderen Verarbeitungsverfahrens unter Anwendung des Verfahrens der 3. 16(A) zeigt Daten des Originalbildes als ein zu verarbeitendes Objekt. 16(B) zeigt Daten, die durch Abgreifen eines Teils der Daten aus 16(A) erhalten werden..
  • 17 ist ein Schaubild, das eine Modifizierung des Verarbeitungsverfahrens der 14 erklärt, sowie ein Schaubild, dass ein Splitten von Daten des Originalbildes in vier Bereiche, sowie das Nehmen eines Teils der Bereiche für ein wiederholtes Restaurieren von jedem Bereich.
  • 18 ist ein Schaubild, welches das Entfalten des Verarbeitungsverfahrens (Prozessroutine) erklärt, das durch die Signalverarbeitungseinrichtung und ihren Prozessor, gezeigt in 1, in einer allgemeinen Verarbeitungseinrichtung ausgeführt wird.
  • Bevorzugte Ausführungsbeispiele der Erfindung
  • Eine Signalverarbeitungsvorrichtung gemäß einem ersten Ausführungsbeispiel der Erfindung wird unter Bezugnahme auf die nachstehenden Zeichnungen näher erläutert. Die Signalverarbeitungsvorrichtung 1 ist eine bildverarbeitende Einrichtung, die für eine Konsumenten-Kamera im Ausführungsbeispiel verwendet wird, aber auch für andere Kameras, beispielsweise zum Überwachen, für das Fernsehen, und im Endoskop, auch für andere Geräte außer Kameras, wie zum Beispiel Mikroskop, Ferngläser und ein Diagnose-Bildgerät, beispielsweise zur Bildgewinnung mittels NMR.
  • Die Signalverarbeitungsvorrichtung 1 enthält eine Bildgebereinheit 2 zum Aufnehmen eines Bildes, beispielsweise einer Figur, einen Controller (Steuergerät) 3 zum Ansteuern der Bildgebereinheit 2 und eine Verarbeitungseinheit (Prozessor) 4 zum Verarbeiten eines Bildes (von Signaldaten), das durch die Bildgebereinheit 2 aufgenommen wurde. Die Signalverarbeitungsvorrichtung 1 umfasst des weiteren eine Aufnahmeeinheit 5 zum Aufnehmen eines Bildes, das durch den Prozessor 4 verarbeitet wurde, einen Winkelgeschwindigkeitssensor, einen Detektor 6 zum Detektieren der Schwankungsfaktor-Information, die ein Hauptfaktor der Bildunschärfe ist, und eine die Faktorinformation speichernde Einheit 7.
  • Die Bildeinheit 2 ist mit einer Optik ausgestattet, die eine Linse und ein bildgebendes Element besitzt, das ein die Linse durchwanderndes Lichtbild in elektrische Signale umwandelt, beispielsweise eine ladungsgekoppelte Einrichtung (CCD) und einen komplementären Metalloxid-Halbleiter (CMOS). Der Controller 3 steuert die Einheiten der Signalverarbeitungsvorrichtung 1, beispielsweise die Bildeinheit 2, den Prozessor 4, die Aufnahmeeinheit 5, den Detektor 6 und die Faktorinformations-Speichereinheit 7.
  • Die Verarbeitungseinheit (Prozessor) 4 verfügt über einen Bildverarbeitungsprozessor, der sich aus Hardware zusammensetzt, beispielsweise aus einem applikationsspezifischen integrierten Schaltkreis (ASIC). Der Prozessor 4 kann ein Bild speichern, das eine Anfangsbasis zum Erzeugen von Vergleichsdaten wird, wie nachfolgend beschrieben. Der Prozessor 4 kann Software anstelle von Hardware, wie zum Beispiel ASIC, enthalten. Die Aufnahmeeinheit 5 weist einen Halbleiterspeicher auf, kann aber magnetische Registriermittel aufweisen, beispielsweise einen Festplatten-Antrieb oder optische Registriermittel wie beispielsweise eine „digital versatile disc" (DVD).
  • Die Detektiereinheit (Detektor) 6 weist zwei Winkelgeschwindigkeits-Sensoren auf, welche die Winkelgeschwindigkeit entlang der Achsen X und Y senkrecht zur Achse Z detektieren, welche die optische Achse der Signalverarbeitungsvorrichtung 1 ist, wie in 2 gezeigt wird. Ein Handwackeln beim Aufnehmen eines Bildes mit einer Kamera erzeugt Bewegungen entlang der Richtungen X, Y und Z, sowie Drehung entlang der Z-Achse. Aber insbesondere die Drehungen entlang der Achsen X und Y empfangen den meisten Einfluss der Handunruhe. Ein aufgenommenes Bild ist in starkem Maße unscharf, selbst wenn diese Drehungen leicht schwanken. Wegen des obigen Grundes sind nur zwei Winkelsensoren entlang der Achsen X und Y in 2 in dem Ausführungsbeispiel angeordnet. Jedoch kann ein anderer Winkelsensor entlang der Z-Achse und Sensoren, die eine Bewegung entlang der Richtungen X und Y detektieren, zugefügt werden, um eine weitere genaue Detektierung zu bekommen. Ein Sensor kann ein Winkelbeschleunigungssensor anstelle eines Winkelgeschwindigkeitssensors sein.
  • Die Faktor-Informations-Speichereinheit 7 ist eine Aufnahmeeinheit, die Information bezüglich Schwankungsfaktoren, beispielsweise die bereits bekannten Unschärfefaktoren wie zum Beispiel optische Abweichungen und andere, aufnimmt. Im Ausführungsbeispiel speichert die Faktorinformations-Speichereinheit 7 die Information der Aberration der Optik und die Linsenverzerrung. Aber eine derartige Information wird nicht zum Restaurieren eines unscharfen Bildes aufgrund von Handunruhe benutzt, wie später beschrieben wird.
  • Als nächstes wird ein Verarbeitungsverfahren, das durch die Verarbeitungseinheit (Prozessor) 4 in der Signalverarbeitungseinrichtung 1 ausgeführt wird mit Bezug auf 3 erläutert.
  • In 3 ist „Io" ein willkürliches Anfangsbild (anfängliche Signaldaten), das heißt Bilddaten, die zuvor durch die Aufnahmeeinheit im Prozessor 4 registriert worden sind. „Io'" sind Daten unscharfen Bildes der Anfangsbilddaten Io, Vergleichsdaten zum Vergleichen. „G" sind Daten der Information bezüglich Schwankungsfaktoren (= Information über Unschärfefaktoren (Punktbildfunktionen)), detektiert vom Detektor 6 und gespeichert durch die Aufnahmeeinheit im Prozessor 4. „Img" ist ein geschossenes Bild, nämlich unscharfe Bilddaten, die Originalbild (Originalsignal)-Daten werden, ein in der Verarbeitung zu verarbeitender Gegenstand.
  • „δ" ist ein Unterschied (eine Differenz) zwischen den Originalbilddaten Img' und den Vergleichsdaten Io'. „k" ist ein Zuordnungs-Verhältnis, das auf Information bezüglich der Schwankungsfaktoren basiert. "Io + n" sind restaurierte Bilddaten (wieder hergestellte Daten), die neu erzeugt wurden durch Zuordnen der Differenzdaten δ zu den Anfangsbilddaten Io, basierend auf den Daten G der Schwankungsfaktor-Information. „Img" sind innerlich korrigierte Bilddaten ohne Unschärfe, was eine Basis der Originalbilddaten „Img" ist, einem unscharfen Bild, als es geschossen (aufgenommen) wurde. Hier wird angenommen, dass die Beziehung zwischen Img und Img' als die folgende Formel (1) auszudrücken ist.
  • Img' = Img·G (1), worin „·" ein Operateur ist, der eine überlagernde Integration andeutet. Hier wird die Differenz „δ" im allgemeinen durch die Daten G der Schwankungsfaktor-Information fluktuiert, und in der folgenden Formel (2) ausgedrückt, obwohl die Daten ein einfacher Unterschied (Differenz) um ein Pixel (Bildpunkt) entsprechend einem Signalelement sein können. δ = f (Img', Img, G) (2)
  • Hinsichtlich einer Routine, die durch den Prozessor 4 verarbeitet wird, werden zunächst willkürlich Bilddaten Io vorbereitet (Schritt S101). Die Anfangsbilddaten Io können die aufgenommenen unscharfen Bilddaten Img' sein, oder irgendwelche Bilddaten, die ausgezogen schwarz, weiß, grau, Prüfstellen und dergleichen haben. Die Vergleichsdaten Io' als das unscharfe Bild werden durch Eingeben der Daten des willkürlichen Bildes Io erhalten, die das Anfangsbild werden, zur Formel (1) anstelle von Img als Schritt S102. Danach werden die Differenzdaten δ durch Vergleichen der Originalbilddaten Img' als das geschossene unscharfe Bild mit den Vergleichsdaten Io' (Schritt S103) berechnet.
  • Im Schritt S104 werden die Differenzdaten δ beurteilt, ob sie gleich oder mehr sind als ein vorher festgesetzter Wert, oder nicht. Danach werden neu restaurierte Bilddaten (wieder hergestellte Daten) in Schritt S105 erzeugt, falls die Differenzdaten δ gleich sind oder mehr als ein vorbestimmter Wert. Es werden nämlich neu restaurierte Daten Io + n durch Zuordnen der Differenzdaten δ zu den Willkürbilddaten Io erzeugt, basierend auf den Daten G der Schwankungsfaktor-Information. Danach werden die Schritte S102, S103 und S104 wiederholt.
  • Im Schritt S104 wird, falls die Differenzdaten δ kleiner als der vorbestimmte Wert sind, die Verarbeitung gestoppt (Schritt S106). Danach wird angenommen, dass die restaurierten Daten Io + n zum Zeitpunkt des Halts ein korrektes Bild sind, nämlich Bilddaten Img ohne Unschärfe. Daraufhin werden diese korrekten Daten durch die Aufnahmeeinheit 5 registriert. Die restaurierten Daten Io + n sind nämlich zum Zeitpunkt des Anhaltens der Verarbeitung äußerst nahe den Daten Img. Hier kann die Registriereinheit 5 die Anfangsbilddaten Io und die Daten G der Schwankungsfaktor-Information registrieren und diese zur Verarbeitungseinheit 4 schicken, falls sie notwendig sind.
  • Das obige Verarbeitungsverfahren wird wie folgt zusammengefasst. Dieses Verfahren gewinnt nämlich nicht Lösungen wie das Lösen inverser Dinge, aber gewinnt Lösungen als optimierende Dinge zum Suchen vernünftiger Lösungen. Wie im Patentdokument 2 offenbart, ist das Lösen inverser Dinge theoretisch möglich, aber sieht sich Schwierigkeiten in einer tatsächlichen Lage gegenüber.
  • Das Gewinnen von Lösungen als optimierende Erfolge braucht die folgenden Voraussetzungen:
    • (1) ein Ausgangswert, der einem Eingangswert entspricht, ist in einzigartiger Weise festgelegt.
    • (2) Falls ein Ausgangswert der gleiche ist, ist ein Eingangswert der gleiche.
    • (3) Das Verarbeiten wird wiederholt, während die Eingangswerte auf update gebracht werden, um den gleichen Ausgangswert zu bekommen, um eine Lösung konvergieren zu lassen.
  • In anderen Worten veranlasst, wie in den 4(A) und 4(B) gezeigt, das Erzeugen der Vergleichsdaten Io' (Io + n), was sich den Originalbilddaten Img' als das geschossene Bild nähert, die Anfangsbilddaten Io, welche die Anfangsdaten für eine solche Erzeugung sind, oder die restaurierten Daten Io + n, sich den korrekten Bilddaten Img zu nähern, die eine Anfangsbasis für die Originalbilddaten Img' sind.
  • Hier im Ausführungsbeispiel detektiert der Winkelgeschwindigkeitssensor alle 5 μ sec die Winkelgeschwindigkeit. Der Wert zum Beurteilen der Differenzdaten δ ist „6" im Ausführungsbeispiel, wenn jegliche Daten als 8 bits (0 bis 255) ausgedrückt werden. Wenn nämlich die Differenzdaten kleiner als 6, gleich oder weniger als 5, sind, wird das Verarbeiten angehalten. Die Rohdaten der durch den Winkelgeschwindigkeitssensor detektierten Schwankung koinzidieren nicht mit der aktuellen Schwankung, falls das Korrigieren des Sensors unzureichend ist. Deshalb ist es notwendig die detektierten Rohdaten zu kompensieren, beispielsweise durch Multiplizieren der Daten mit einer vorbestimmten Vergrößerung, um die aktuelle Schwankung anzupassen, wenn der Sensor nicht korrigiert ist.
  • Als Nächstes werden die Einzelheiten der in den 3 und 4 gezeigten Verarbeitung unter Bezugnahme auf die 5 bis 12 erläutert.
  • Restaurierungs-Algorithmen bei Handverwackelung
  • Gibt es keine Hand-Unruhe, wird die optische Energie, die einem vorbestimmten Pixel entspricht, auf das Pixel selbst während der Aufnahme fokussiert. Gibt es aber ein Handwackeln, wird die optische Energie in Pixels verteilt, die bei der Aufnahme unscharf gemacht sind. Falls des weiteren der Grad des Handwackelns bei der Aufnahme erkannt wird, wird die Art, wie die Verteilung der optischen Energie während der Aufnahme geschieht, auch erkannt. Deswegen ist es der Erkennung möglich, ein nicht unscharfes Bild aus einem unscharfen Bild zu erzeugen.
  • Die Details werden als eine horizontale Dimension zur Vereinfachung erklärt. Pixels (Bildpunkte), die Signalelemente werden, werden definiert als n-1, n, n+1, n+2 und n+3 von einer linken Seite, und einem Pixel „n" wird die Beachtung gewidmet. Ohne Handwackeln wird die Energie bei der Aufnahme in das Pixel konzentriert, so dass die Energie-Konzentration zu „1.0" wird. Diese Energiekonzentration wird in 5 gezeigt. Die Tabelle in 6 zeigt die Resultate des geschossenen Bildes unter der obigen Energiekonzentration in 5. Diese in 6 gezeigten Ergebnisse werden zu den korrekten Bilddaten Img ohne Unschärfe. Hier werden alle Daten als 8 bits (0 bis 255) gezeigt.
  • Andererseits, wenn es Handwackeln während der Aufnahme gibt, wird angenommen, dass ein Bild auf das Pixel „n" während 50% der Aufnahmezeit unscharf gemacht wird, das (n+1)-te Pixel während 30% und das (n+2)-te Pixel während 20%. Die Art, wie die Energieaufteilung in diesem Fall gemacht wird, ist in der Tabelle in 7 zu sehen. Diese Aufteilung wird zu den Daten G der Schwankungsfaktor-Information.
  • Die Unschärfe ist auf allen Pixeln gleichförmig. Falls es keine obere Unschärfe (vertikale Unschärfe) gibt, wird der Status der Unschärfe in der Tabelle der 8 gezeigt. In 8 sind die als „geschossene Resultate" gezeigten Daten die innerlich korrigierten Bilddaten Img, und die als „unscharfe Bilder" gezeigten Daten sind die geschossenen unscharfen Bilddaten Img'. Spezifischer, die Daten „120" am „n-3"-ten Pixel zum Beispiel, folgen dem Zuordnungsverhältnis der Daten G der Schwankungsfaktor-Information, „0.5", „0.3" und „0.2".
  • Deshalb sind die Bilddaten aufgeteilt auf das „n-3"-te Pixel mit „60", auf das „n-2"-te Pixel mit „36" und auf das „n-1"-te Pixel mit „24"- In ähnlicher Weise sind die Bilddaten mit „60" des „n-2"-ten Pixels auf das „n-2"-te Pixel mit das „n-1"-te Pixel mit 18" und das „n"-te Pixel mit „12" aufgeteilt. Die korrekten geschossenen Ergebnisse ohne Unschärfe werden aus den unscharfen Bilddaten Img' und den Daten G der Schwankungsfaktor-Information errechnet, wie in 7 gezeigt ist.
  • In dieser Erläuterung sind die geschossenen Originalbilddaten Img' als die willkürlichen Bilddaten Io verwendet, die in Schritt S101 gezeigt sind, obschon jedwede Arten von Daten auf solche Willkürbilddaten angewandt werden können. Zuerst wird nämlich Io als gleich zu Img' zu Beginn definiert. Der in der Tabelle der 9 gezeigte „Input" (Eingangswert) entspricht den Anfangsbilddaten Io. Die Daten Io, nämlich Img', werden multipliziert mit den Daten G der Schwankungsfaktorinformation in Schritt S102. Spezifischer, die Daten „60" am „n-3"-ten Pixel der Anfangsbilddaten Io werden beispielsweise dem „n-3"-ten Pixel mit „30" zugeordnet, dem „n-2"-ten Pixel mit „18" und dem „n-1"-ten Pixel mit „12". Andere Bilddaten bei anderen Pixeln werden in ähnlicher Weise zugeordnet. Danach werden die Vergleichsdaten Io' erzeugt, die als „output Io" (Ausgangswert Io) angedeutet sind. Deswegen werden die Differenzdaten δ in Schritt S103 zu den Werten, die unten auf der Tabelle in 9 gezeigt sind.
  • Danach wird das Maß der Differenzdaten δ in Schritt S104 beurteilt. Spezifischer, falls die absoluten Werte aller Differenzdaten δ gleich oder weniger als 5 werden, wird die Verarbeitung gestoppt. Jedoch sind die in 9 gezeigten Differenzdaten δ nicht an diese Bedingung angepasst, wonach die Verarbeitung zu Schritt S105 weitergeht. Die neu restaurierten Daten Io + n werden nämlich durch Zuordnen der Differenzdaten δ zu den Willkürbilddaten unter Benutzen der Daten G der Schwankungsfaktorinformation erzeugt. Die neu restaurierten Daten Io + n werden als „next input" (nächster Eingangswert) in 10 angedeutet. In diesem Fall wird die erste Verarbeitung als Io + 1 in 10 angedeutet.
  • Die Differenzdaten δ werden wie folgt zugeordnet. Die Daten „30" am „n-3"-ten Pixel werden beispielsweise dem „n-3"-ten Pixel mit „15" zugeordnet, was durch Multiplizieren von „30" durch „0.5" erhalten wird, dem Zuordnungsverhältnis am „n-3"-ten Pixel selbst. Die Daten „15" am „n-2"-ten Pixel werden dem „n-2"-ten Pixel mit „4.5" zugeordnet, was durch Multiplizieren von „15" mit „0.3" erhalten wird, dem Zuordnungsverhältnis am „n-2"-ten Pixel. Die Daten „9.2" am „n-1"-ten Pixel werden dem „n-1"-ten Pixel mit „1.84" zugeordnet, was durch Multiplizieren von „9.2" mit „0.2" erhalten wird, dem Zuordnungsverhältnis am „n-1"-ten Pixel. Der dem „n-3"-ten Pixel zugeordnete Gesamtbetrag wird „21.34". Die restaurierten Daten Io + 1 werden durch Addieren dieses Werts zu den Anfangsbilddaten Io (hier den geschossenen Originalbilddaten Img') produziert.
  • Wie in 11 zu sehen ist, werden die restaurierten Daten Io + 1 zu Eingangsbilddaten (den Anfangsbilddaten Io) in Schritt S102 zum Ausführen des Schritts. Danach werden neue Differenzdaten δ durch Fortsetzen des Schritts S103 erhalten. Das Maß der neuen Differenzdaten δ wird in Schritt S104 beurteilt. Falls die Daten umfangreicher sind als ein vorbestimmter Wert, werden die neuen Differenzdaten δ den vorherigen restaurierten Daten Io + 1 zugeordnet, so dass die neuen restaurierten Daten Io + 2 erzeugt werden (12). Danach werden die neuen Vergleichsdaten Io + 2' aus den neuen restaurierten Daten Io + 2 beim Ausführen des Schritts S102 erzeugt. Wie schon erläutert wurde, wird der Schritt S104 nach dem Ausführen der Schritte S102 und S103 ausgeführt. Dann wird abhängig von der Beurteilung in Schritt S104 entweder der Schritt S105 oder der Schritt S106 ausgeführt. Diese Vorgänge werden wiederholt.
  • Die Signalverarbeitungseinrichtung 1 ist in der Lage entweder die Zahlen der Verarbeitung oder einen Bezugswert zum Beurteilen der Differenzdaten δ im voraus festzulegen, oder beide während des Schritts S104. Wiederholzahlen für die Verarbeitung lassen sich willkürlich festlegen, beispielsweise als 20 oder 50. Weiterhin wird der Wert der Differenzdaten δ auf „5" unter 8 bits (0 bis 255) zum Stoppen der Verarbeitung gesetzt. Falls die Daten gleich oder weniger als 5 werden, kann die Verarbeitung abgeschlossen werden. Wird andernfalls der Wert auf „0.5" gesetzt, und werden die Daten gleich oder weniger als „0.5", kann die Verarbeitung abgeschlossen werden. Der Wert kann willkürlich festgesetzt werden. Beim Eingeben sowohl der Zahlen für das Wiederholen der Verarbeitung wie auch des Bezugswerts für die Beurteilung, wird die Verarbeitung gestoppt, falls eines davon befriedigt wird. Falls hier das Setzen beider möglich ist, kann dem Bezugswert für die Beurteilung die Priorität gegeben werden, und die vorbestimmten Zahlen für das Wiederholen der Verarbeitung lassen sich weiter wiederholen, falls die Differenzdaten nicht in den Bereich des Bezugswerts der Beurteilung durch Wiederholen vorbestimmter Zahlen gerät.
  • Im Ausführungsbeispiel wird eine in der Faktorinformations-Speichereinheit 7 abgespeicherte Information nicht benutzt. Jedoch können bereits bekannte Unschärfefaktoren wie beispielsweise optische Aberration und Linsenverzerrung benutzt werden. In diesem Fall ist es beispielsweise in dem in 3 gezeigten Verarbeiten bevorzugt, dass die Verarbeitung durch Kombinieren der Handwackel-Information mit der optischen Aberration als eine Unschärfen-Information durchgeführt wird. Andernfalls kann ein Bild stabilisiert werden, indem die Information optischer Aberration nach dem Abschließen der Verarbeitung mit Benutzen der Handwackel-Information verwendet wird. Ferner kann ein Bild korrigiert oder restauriert werden nur durch Bewegungsfaktoren zum Zeitpunkt der Aufnahme, beispielsweise als Handwackeln ohne Setzen der Faktorinformations-Speichereinheit 7.
  • Die vorstehend erwähnte Signalverarbeitungseinrichtung 1 im Ausführungsbeispiel lässt sich im Rahmen der Erfindung modifizieren. Die von der Verarbeitungseinheit 4 durchgeführte Verarbeitung kann beispielsweise durch Hardware ersetzt werden, die sich aus Teilen zusammensetzt, von denen jedes anteilig wirkt und einen Teil der Verarbeitung übernimmt.
  • Weiteres kann das Originalbild, das ein zu verarbeitender Gegenstand sein wird, ein verarbeitetes aufgenommenes Bild sein wie zum Beispiel farbkorrigiert oder Fourier-transformiert anstelle eines Schnappschusses. Ferner können die Vergleichsdaten verarbeitete Daten sein, beispielsweise nach der Erzeugung farbkorrigiert oder Fourier-transformiert durch Anwenden der Daten G der Schwankungsfaktorinformation, anstelle von Daten, die nur durch die Daten G der Schwankungsfaktorinformation produziert werden. Weiterhin können die Daten G der Schwankungsfaktorinformation nicht nur Information über Unschärfefaktoren enthalten, sondern auch Information zum Ändern von Bildern oder Verbessern der Bildgüte anstelle einer Unschärfebildung.
  • Ferner können, wenn die Verarbeitungs-Wiederholzahlen automatisch durch die Signalverarbeitungsvorrichtung 1 festgelegt sind, die festgesetzten Wiederholzahlen durch die Daten G der Schwankungsfaktorinformation geändert werden. Wenn die Daten eines Pixels auf viele andere Pixels durch Unschärfebildung aufgeteilt werden, können die Wiederholzahlen beispielsweise erhöht werden. Aber wenn die Aufteilung klein ist, können die Wiederholzahlen verkleinert werden.
  • Weiterhin kann, wenn die Differenzdaten δ während des Wiederholens der Verarbeitung aufgeteilt werden, die Verarbeitung gestoppt werden. Was das Beurteilen der Aufteilung über die Differenzdaten δ angeht, können, falls der Mittelwert der Differenzdaten δ beobachtet wird und größer wird als beispielsweise ein vorheriger Wert, die Differenzdaten δ zum Aufteilen beurteilt werden. Ferner kann, falls die Aufteilung geschieht, die Verarbeitung angehalten werden. Falls ansonsten die Aufteilung zweimal oder mit vorbestimmten Zahlen ständig auftrat, kann die Verarbeitung angehalten werden. Wird ein Eingangswert in einen anomalen Wert während der Wiederholung der Verarbeitung geändert, kann die Verarbeitung gestoppt werden. Ist der Eingangswert 8 bits und überschreitet ein zu ändernder Wert 255, kann die Verarbeitung angehalten werden. Wenn ein Eingangswert so geändert wird, dass er ein anomaler Wert während der Wiederholung der Verarbeitung sein soll, kann ein normaler Wert anstelle eines solchen anomalen Werts benutzt werden. Wenn beispielsweise eingegeben wird, der 255 unter 0 bis 255 von 8 bits überschreitet, wird die Verarbeitung unter einer Bedingung ausgeführt, dass die Eingangsdaten einen Maximalwert 255 haben. Falls nämlich die restaurierten Werte einen anomalen Wert enthalten (einen Wert, der im obigen Beispiel 255 übersteigt), der größer als ein erlaubter Wert ist (ein Wert von 0 bis 255 im obigen Beispiel), kann die Verarbeitung angehalten werden. Im anderen Fall kann, falls die restaurierten Daten einen anomalen Wert enthalten, der größer als der erlaubte Wert ist, der anomale Wert durch den erlaubten Wert ersetzt werden, und die Verarbeitung fortgesetzt werden.
  • Ferner können, wenn die restaurierten Daten als ein Ausgabebild erzeugt werden, die Daten den Bereich verlassen, der als ein zu restaurierendes Bild spezifiziert ist, was von den Daten G der Schwankungsfaktor-Information abhängt. In einem solchen Fall sollten die aus dem Bereich laufenden Daten in eine gegenüberliegende Seite eingeführt werden. Des weiteren können, falls Daten von der Außenseite des Bereichs kommen, die Daten in eine gegenüberliegende Seite gebracht werden. Falls Daten zu Pixeln zugeordnet sind, die niedriger als die unterste Position des Bereiches liegen, wo sich das Pixel XN1 (die N-te Reihe und die erste Spalte) befindet, beispielsweise erzeugt werden, wird der Platz außerhalb des Bereiches liegen. In einem solchen Fall werden die Daten den Pixeln X11 (die erste Reihe und die erste Spalte) auf der obersten Position direkt oberhalb des Pixels XN1 zugeordnet werden. Die Daten beim Piexel XN2 (die N-te Reihe und die zweite Spalte) werden auch den Pixeln X12 (die erste Reihe und die zweite Spalte nahe dem Pixel X11) auf der obersten Position direkt oberhalb des Pixels XN2 (die N-te Reihe und die zweite Splate) nahe dem Pixel XN1 in ähnlicher Weise zugeordnet werden. Im Fall des Erzeugens der restaurierten Daten werden, wenn Daten außerhalb des zu restaurierenden Bereichs auftreten, die Daten auf den Positionen gegenüber der Position neu angeordnet, wo die Daten gegen eine der vertikalen, horizontalen und geneigten Richtungen innerhalb des zu restaurierenden Bereichs auftreten. Eine derartige Neuanordnung ist imstande, die Daten in dem zu restaurierenden Bereich sicher zu restaurieren.
  • Weiteres wird im Falle des Erzeugens der restaurierten Daten Io + n das Zuordnungsverhältnis k möglicherweise nicht benutzt. Stattdessen können die Differenzdaten δ, die dem zu behandelnden Pixel entsprechen, direkt zum Pixel in den zuvor restaurierten Daten Io + n addiert werden. Andernfalls können die Differenzdaten δ variabel verstärkt werden und danach zum Pixel addiert werden. Ferner lassen sich die Daten kδ (der Wert als „erneuernder Betrag" in 10 und 12) nachdem die Differenzdaten δ zugeordnet sind, variabel verstärken und zu den zuvor restaurierten Daten I0 + n addieren. Die Verarbeitungs-Geschwindigkeit wird durch gutes Anwenden der Verarbeitung weiter erhöht.
  • Im Falle des Erzeugens der restaurierten Daten Io + n kann das „barycenter" der Schwankungsfaktoren, beispielsweise die Unschärfe und dergleichen berechnet werden. Danach können die Differenz des barycenter oder die variablen Größen der Differenz zu den zuvor restaurierten Daten Io + n addiert werden. Dieses Unternehmen wird im einzelnen unter Bezugnahme auf 13 und 14 erklärt.
  • Wie in den 13(A) und 13(B) gezeigt wird, umfassen die korrekten Bilddaten Img die Pixel 11 bis 15, 21 bis 25, 31 bis 35, 41 bis 45 und 51 bis 55. Das Pixel 33 wird beachtet, siehe 13(A). Wenn das Pixel 33 zu Positionen der Pixel 33, 43, 53 und 52 wegen des Handwackelns bewegt werden, beeinflusst das Bild am Pixel 33 in den Originalbilddaten Img' als ein unscharfes Bild die Bilder bei den Pixeln 33, 43, 53 und 52, wie in 13(B) gezeigt wird.
  • In dieser Unschärfebildung kommt, in einem Fall, wenn das Pixel 33 bewegt wird, falls das Pixel auf der Position des Pixels 43 die längste Zeit bleibt, das barycenter der Unschärfe, nämlich die Schwankungsfaktoren, der Originalbilddaten Img' auf die Position des Pixels 43 bezüglich des Pixels 33 in den korrigierten Bilddaten Img. Durch diese Positionierung werden, wie in 14 zu sehen ist, die Differenzdaten δ als die Differenz der Datem am Pixel 43 zwischen dem Originalbild Img' und den Vergleichsdaten Io' berechnet. Solche Differenzdaten werden zu den Originalbilddaten Io oder den restaurierten Daten Io + n am Pixel 33 addiert.
  • Im vorherigen Beispiel ist unter drei barycenters „0.5", „0.3" und 0.2" der höchste Wert „0.5", der ein Eigenzentrum sein wird. Somit werden, ohne Berücksichtigen der Zuordnung von „0.3" und „0.2", nur „0.5" oder die variablen Größen von „0.5" zur Eigenposition zugeordnet. Eine derartige Verarbeitung wird bevorzugt, wenn die Unschärfe-Energie konzentriert ist.
  • Des weiteren kann jedes der oben erwähnten Verfahren automatisch ausgewählt werden, was vom Inhalt der Daten G der Schwankungsfaktor-Information abhängt. Der Prozessor 4 klassifiziert nämlich die Daten G der Schwankungsfaktorinformation in eine Artenvielfalt und führt eine unterschiedliche Verarbeitung je nach solcher Klassifikation aus. Beispielsweise sind, wie in den 5 bis 12 gezeigt wird, Programme zum Ausführen von drei Methoden im Prozessor 4 gespeichert, und wird der Status der Unschärfefaktoren analysiert, wonach irgendeines dieser drei Verfahren ausgewählt wird. Diese Verfahren sind:
    • (1) ein Verfahren zum Zuordnen der Differenzdaten δ durch Anwenden des Zuordnungs-Verhältnisses k (ein Verfahren des Ausführungsbeispiels),
    • (2) ein Verfahren zum variablen Vergrößern des Unterschieds oder der Differenzdaten δ, entsprechend einem Pixel (ein Verfahren eines entsprechenden Pixels), und
    • (3) ein Verfahren zum Benutzen von Daten in einem barycenter des Schwankungsfaktors nach dem Detektieren des barycenter (ein barycenter Verfahren).
  • Andererseits lässt sich eine Vielzahl dieser drei Verfahren auswählen und in jeder Routine gebrauchen. Ferner kann ein Verfahren während der anfänglichen mehreren Wiederholzeiten benutzt werden, und ein anderes Verfahren kann danach angewandt werden.
  • Weiterhin kann eine Kombination mit inversem Lösungsausgang betrachtet werden, um die restaurierende Verarbeitung noch zu beschleunigen. Die Verarbeitung wird nämlich mit reduzierten Daten wiederholt, und eine Transferfunktion zu reduzierten restaurierten Daten wird vom reduzierten Originalbild berechnet. Danach wird die berechnete Transferfunktion vergrößert und interpoliert. Die restaurierten Daten des Originalbildes werden durch Anwenden der vergrößerten und interpolierten Transferfunktion erhalten. Dieses Verarbeitungsverfahren ist für das Verarbeiten eines großen Bildes wirkungsvoll.
  • Zwei Verfahren sind substanzielle Wege dieser Verarbeitung. Als erstes gewinnt man mit dem Ausdünnen von Daten die reduzierten Daten. Beim Ausdünnen von Daten werden, falls die Originalbilddaten Img' Pixel enthalten, beispielsweise 11 bis 16, 21 bis 26, 31 bis 36, 41 bis 46, 51 bis 56 und 61 bis 66, die Pixel zu jedem anderen Pixel verdünnt, was ein reduziertes Bild Img' erzeugt, mit einem Viertel des Originals, umfassend die Pixel 11, 13, 31, 33, 35, 51, 53 und 55.
  • Somit erzeugt ein Verdünnen der Originalbilddaten Img' die ausgedünnten Daten als das reduzierte Bild Img'. Die Verarbeitung wird durch Benutzen des reduzierten Bildes Img' siehe 3, wiederholt, wobei die restaurierten Daten Io + n gewonnen werden, die ausreichend ausgedünnt sind. Die reduzierten restaurierten Daten Io + n sind genügend Daten, jedoch noch Näherungsdaten. Somit sind die Transferfunktion der restaurierten Daten Io + n und die Originalbilddaten Img' nicht diejenige Transferfunktion, die zum Wiederholen der Verarbeitung mit den reduzierten Daten benutzt werden. Somit wird die Transferfunktion aus den reduzierten restaurierten Daten Io + n und den reduzierten Originalbilddaten Img' berechnet, wird die berechnete Transferfunktion vergrößert und wird danach ein Zwischenraum zwischen den vergrößerten Anteilen interpoliert. Diese vergrößerte und interpolierte Funktion ist eine modifizierte Funktion für die Originalbilddaten Img' als Originaldaten. Danach wird durch Anwenden der modifizierten Transferfunktion eine Dekonvolutionsberechnung (Entfernen von unscharfen Anteilen aus einem unscharfen Bild durch Rechnung) in einem Frequenzraum durchgeführt, wodurch die perfekten restaurierten Daten Io + n erhalten werden, wobei angenommen wird, dass es sich um ein innerlich korrigiertes Bild Img ohne Unschärfe handelt.
  • Hier können in dieser Verarbeitung das erhaltene korrigierte Bild und die vorausgesetzt restaurierten Daten Io + n als die Anfangsbilddaten Io benutzt werden, wie in 3 gezeigt wird, und eine weitere Verarbeitung kann durch Anwenden der Daten G der Schwankungsfaktorinformation und des unscharfen Originalbildes Img' wiederholt werden.
  • Das zweite Verfahren zum Benutzen reduzierten Bildes ist das Gewinnen eines Teils der Originalbilddaten Img' und diese zu reduzierten Daten zu machen. Falls die Originalbilddaten Img' Pixel umfassen, beispielsweise 11 bis 16, 21 bis 26, 31 bis 36, 41 bis 46, 51 bis 56 und 61 bis 66, siehe 16, wird ein Zentralbereich gewonnen, der die Pixel 32, 33, 34, 42, 43 und 44 umfasst, so dass die reduzierten Img' produziert werden.
  • Dementsprechend restauriert das obige Verfahren nicht die ganzen Bereiche eines Bildes durch Wiederholen der Verarbeitung, wiederholt jedoch das Verarbeiten eines Teils der Bereiche, um stattdessen ein bevorzugtes restauriertes Bild zu gewinnen. Durch Gebrauch des Resultats der Wiederholung wird die Transferfunktion, die dem Teil entspricht, erhalten. Schließlich wird ein ganzes Bild durch Anwenden solcher Transferfunktion selbst oder der modifizierten (vergrößerten) Transferfunktion restauriert. Hier muss der vorstehend gewonnene Bereich ausreichend größer als die Schwankungsbereiche sein. In dem in 5 gezeigten Beispiel wird ein Bild über drei Pixel fluktuiert, wobei man einen Bereich gewinnen muss, der mehr als drei Pixel hat.
  • Im Falle der Gewinnung des reduzierten Bereiches lassen sich die Originalbilddaten Img' in vier Bereiche einteilen, wie beispielsweise in 17 zu sehen ist, und ein Teil in jedem der geteilten Bereiche kann gewonnen werden. Danach lassen sich vier reduzierte Img' im kleinen Teil wiederholt verarbeiten, wobei Daten für jeden der vier geteilten Bereiche restauriert, und die restaurierten vier geteilten Bilder in ein Bild als ein gesamtes restauriertes Bild integriert werden. Beim Teilen des Bereiches in eine Mehrzahl, ist es vorzugsweise sicher, wenn überlappte Bereiche beibehalten werden, die eine Mehrzahl von Bereichen überlappen. Weiterhin ist es zu bevorzugen den Mittelwert im überlappten Bereich als das restaurierte Bild zu benutzen, oder sanft und kontinuierlich das restaurierte Bild in dem überlappten Bereich zu verbinden.
  • Ferner wurde, als das Verarbeitungsverfahren der 3 tatsächlich angewandt wurde, gefunden, dass eine Konvergenz zu einem bevorzugten angenäherten restaurierten Bild hinsichtlich eines Bildes verzögert wurde, das eine scharfe Kontraständerung aufwies. Es gibt einige Fälle, worin die Konvergenz-Geschwindigkeit der Wiederholung der Verarbeitung langsam ist, und es werden viele Wiederholzahlen benötigt, was von dem als ein Anfangsbild geschossenen Objekt abhängt. In einem Fall eines solchen aufgenommenen Objekts wird angenommen, dass der obige Punkt durch ein folgendes Verfahren gelöst wird.
  • Das Verfahren wird erläutert. Falls nämlich ein Bild nahe einem Anfangsbild durch Wiederholen des Restauriervorgangs der 3 bezüglich eines aufzunehmenden Gegenstands, der einen scharfen Kontrast aufweist, erhalten wird, werden die Wiederholzahlen äußerst groß, und lassen sich die restaurierten Daten Io + n nahe dem aufzunehmenden Anfangsobjekt nicht erzeugen. Deswegen werden die unscharfen Bilddaten B' hergestellt, wozu die Daten G der Schwankungsfaktorinformation zum Zeitpunkt des Aufnehmens aus den bereits bekannten Bilddaten B verwendet werden. Danach werden die unscharfen Bilddaten B' mit den geschossenen Originalbilddaten (dem unscharfen Bild) Img' überlappt, was die überlappten Daten „Img' +B'" erzeugt. Danach wird das überlappte Bild durch den Prozess der 3 restauriert. Dann werden die schon bekannten Bilddaten B, welche zu den restaurierten Daten Io + n werden, von den Resultatdaten C entfernt, und die gewünschten restaurierten Bilddaten Img werden gewonnen.
  • Die innerlich korrigierten Daten Img enthalten die scharfe Kontraständerung. Jedoch kann die vorstehende Methode des Hinzuaddierens der bereits bekannten Bilddaten B die scharfe Kontraständerung vermindern und die Wiederholzahlen des Restauriervorgangs verkleinern.
  • Es lassen sich andere Verfahren als ein Verfahren zum Verarbeiten eines aufzunehmenden Gegenstands anwenden, der schwierig zu restaurieren ist, oder ein Verfahren der Hochgeschwindigkeits-Verarbeitung. Falls beispielsweise die Wiederholzahlen der Verarbeitung zum Restaurieren erhöht werden, lässt sich ein günstiger restauriertes Bild erhalten, aber das braucht eine lange Verarbeitungszeit. Somit wird ein durch Wiederholen des Restauriervorgangs erhaltenes Bild in gewissem Grade anstelle der obigen erhöhten Wiederholung benutzt. Eine im Bild enthaltene Fehlerkomponente wird berechnet und dann der berechnete Fehler aus dem restaurierten Bild entfernt, wodurch das bevorzugte restaurierte Bild Io + n erhalten wird.
  • Dieses Verfahren wird im einzelnen erläutert. Ein gewünschtes korrektes Bild wird als A definiert, ein geschossenes Originalbild als A', ein aus dem Originalbild A' restauriertes Bild als A + δ, und die unscharfen Vergleichsdaten, die aus den restaurierten Daten erzeugt werden, als A' + δ'. Das aufgenommene Originalbild „A'" wird zu „A' + δ'" addiert, dann werden diese addierten Daten restauriert, um „A + δ + A + δ + δ" zu werden, und werden zu „2A + 3δ" oder „2 (A+ α) + α". „A + δ" ist bereits in vorheriger Verarbeitung erhalten worden, worin „2 (A + δ) + δ – 2 (A + δ)" berechnet und „δ" erhalten wurde. Deswegen kann durch das Entfernen von „δ" von „A + δ" das gewünschte korrekte Bild A gewonnen werden.
  • Die oben erwähnten verschiedenen Verfahren sind:
    • (1) ein Verfahren zum Zuordnen der Differenzdaten δ durch Anwenden des Zuordnungsverhältnisses k (ein Verfahren des Ausführungsbeispiels),
    • (2) ein Verfahren zum variablen Verstärken des Unterschieds oder der Differenzdaten δ, entsprechend einem Pixel (ein Verfahren eines entsprechenden Pixels),
    • (3) ein Verfahren zum Detektieren des Schwerpunkt von Schwankungsfaktoren und Anwenden der Daten im Schwerpunkt (ein barycenter-Verfahren),
    • (4) ein Verfahren zum Ausdünnen von Daten und Kombinieren von Daten mit einem inversen Ausgang (Verfahren inversen Ausgangs),
    • (5) ein Verfahren zum Gewinnen eines reduzierten Bereiches und Kombinieren des Bereiches mit einem inversen Ausgang (ein Verfahren inversen Ausgangs und Wiedergewinnens eines Bereiches),
    • (6) ein Verfahren zum Überlagern eines vorbestimmten Bildes, Wiederholen der Verarbeitung, und danach Beseitigen des vorbestimmten Bildes (ein Verfahren der Gegenmaßnahme gegen ein schwieriges Bild und dieses überlagernd), und
    • (7) ein Verfahren zum Beseitigen eines berechneten Fehlers aus einem restaurierten Bild, das einen Fehler enthält (ein Fehler-gewinnendes Verfahren).
  • Die Programme für diese Verfahren lassen sich in der Verarbeitungseinheit (Prozessor) 4 abspeichern, und jedes von diesen kann automatisch ausgewählt werden, was von der Auswahl des Benutzers oder der Art der Bilder abhängt.
  • Des weiteren kann der Prozessor 4 die Daten G der Schwankungsfaktor-Information in eine von vielen Arten klassifizieren und kann eine unterschiedliche Verarbeitung durchführen, was von jeder der Klassifikationen abhängt (von irgendeinem der oben erwähnten Verfahren), oder die Wiederholzahlen lassen sich je nach Klassifikation differenzieren.
  • Ferner lassen sich jedes aus der obigen Vielzahl (1) bis (7) im Prozessor 4 speichern und können automatisch ausgewählt werden, was von der Auswahl des Benutzers oder der Art der Bilder abhängt. Andernfalls lässt sich eine Vielzahl dieser sieben Verfahren auswählen und abwechselnd oder in Reihe in jeder Routine anwenden. Ferner kann ein Verfahren während der anfänglichen mehreren Wiederholzeiten und ein anderes Verfahren danach angewandt werden. Hier kann die Signalverarbeitungseinrichtung 1 ein anderes Verfahren einschließen, das sich von einem oder einer Vielzahl der oben erwähnten Verfahren (1) bis (7) unterscheidet.
  • Weiteres wird beim Zuordnen der Differenzdaten δ ein Teil der Differenzdaten δ jedem Pixel (jedem Signalelement) zugeordnet, wozu das Zuordnungsverhältnis k benutzt wird. Jedoch können stattdessen die Differenzdaten δ durch das Zuordnungsverhältnis k, das unter 1 liegt, geteilt werden; das Zuordnungsverhältnis k kann nämlich die 1 überschreiten, den rückgeführten Betrag maximieren und in großem Maße die Anzahl der Verarbeitungswiederholungen reduzieren.
  • Auch kann, wie in 18 zu sehen ist, die vorliegende Erfindung auf andere Einrichtungen als nur eine bildverarbeitende Einrichtung angewandt werden. Die 18 ist ein Schaubild zum Erläutern der Anwendung des Verarbeitungsverfahrens (der Prozessroutine), das durch den Prozessor 4 der Signalverarbeitungsvorrichtung 1 ausgeführt wird, sowie der Wandlung der Signalverarbeitungsvorrichtung 1 in eine allgemeine Signalverarbeitungseinrichtung. In einem linearen System 21, wenn die Daten G der Schwankungsfaktorinformation beispielsweise von Unschärfe in diesem System bereits bekannt sind, sind die Ausgabesignale (Ausgangs-Information) gleich, wodurch die Eingabesignale (Eingangs-Information) die gleichen werden. Somit werden die Differenzdaten δ zwischen den Ausgabesignalen (Ausgangsinformation) als Signaldaten und Ausgabesignalen als Beobachtungssignale (Ausgangsinformation) zu den Eingangssignalen rückgekoppelt, damit die Ausgabesignale (Ausgangsinformation) als Signaldaten gleich werden. Dann wird die in 3 gezeigte Verarbeitung und andere wiederholt, bis zu dem Zeitpunkt, dass die Differenzdaten δ genügend klein gemacht sind, die Restaurierung der Signaldaten erreicht wird, bevor fluktuiert wird wie beispielsweise durch Unschärfebildung.
  • Die 18 erklärt einen Fall, bei dem die Signaldaten, beispielsweise Klang, ein zu verarbeitendes Objekt sind, und das lineare System 21 ein Rekorder (Aufnahmegerät) ist, in dem die Daten G der Schwankungsfaktorinformation bekannt sind. In diesem Fall werden die Differenzdaten δ zwischen den Originalsignaldaten Img' (Ausgabeinformation) als Beobachtungssignale und die Vergleichsdaten Io + n' (Io') zum Anfangssignal Io und den restaurierten Daten Io + n rückgeführt, wodurch die Originalsignaldaten Img' die gleichen wie die Vergleichsdaten Io + n' (Io') werden. Danach wird die Verarbeitung, siehe 3, und andere wiederholt, bis zu dem Zeitpunkt, dass die Differenzdaten δ ausreichend klein werden. Danach kann, falls die Ausgabesignale (die Originalsignaldaten Img') die gleichen sind oder äußerst nahe an den Vergleichsdaten Io + n' (Io') liegen, angenommen werden, dass die restaurierten Daten Io + n die Originalsignaldaten Img' sind.
  • Die 18 erläutert eine Verallgemeinerung der vorliegenden Erfindung mit beispielhaften Klangsignalen. Jedoch können jegliche andere Einrichtungen (Geräte), falls die Daten G der Schwankungsfaktorinformation auf das bereits bekannte lineare System 21 in solchen Einrichtungen gelegt wird, die restaurierten Daten Io + n durch Wiederholen der Verarbeitung gemäß 3 und Annähern der Differenzdaten δ an „0" erreichen. Beispielsweise lässt sich die obige Generalisierung auf Geräte anwenden, die mit Signalen umgehen, wie Sprachsignalprozessoren und einem Gerät zum Detektieren von Erdbebenwellensignalen anstelle von Bildsignalen.
  • Ferner lassen sich die obigen Verfahren programmieren. Des weiteren kann solcher programmierter Inhalt in einem Speichermedium abgespeichert werden, beispielsweise auf CD, DVD, in USB, und von einem Rechner ausgelesen werden. In diesem Fall kann die Signalverarbeitungsvorrichtung 1 ein Mittel zum Auslesen des im Medium gespeicherten Programms enthalten. Ferner kann der programmierte Inhalt auf einen Server außerhalb der Signalverarbeitungseinrichtung gelegt werden, dann heruntergeladen und verwendet werden, falls das nötig wird. In diesem Fall kann die Signalverarbeitungseinrichtung 1 ein Kommunikationsmittel enthalten, mit dem das in einem Medium ab gespeicherte Programm heruntergeladen wird.
  • ZUSAMMENFASSUNG
  • Die Erfindung soll eine signalverarbeitende Vorrichtung bereitstellen, die praktischer für das Restaurieren von Signalen ist, auch die Vorrichtung davor bewahren, groß zu werden. Die signalverarbeitende Vorrichtung enthält einen Signalprozessor zum Signalverarbeiten. Der Prozessor erzeugt Daten, die sich den Originalsignaldaten vor dem Schwanken (vor dem Unscharfwerden) nähern, wozu die folgende Verarbeitung wiederholt wird: Erzeugen von Vergleichsdaten Io' aus willkürlichen Signaldaten Io durch Anwenden von Informationsdaten G bezüglich der Schwankungsfaktoren, welche die Signalschwankung auslösen; Vergleichen der Vergleichsdaten Io' mit den Originalsignaldaten Img' als ein danach zu verarbeitender Gegenstand; Erzeugen restaurierter Daten Io + n durch Zuordnen von Differenzdaten δ zu den willkürlichen Signaldaten, wobei die Informationsdaten G bezüglich der Schwankungsfaktoren benutzt werden; und danach Ersetzen der willkürlichen Signaldaten Io durch die restaurierten Daten Io + n.
  • 1
    Signalverarbeitungsvorrichtung
    2
    Bildeinheit
    3
    Steuereinheit
    4
    Verarbeitungseinheit
    5
    Aufnahme
    6
    Detektiereinheit
    7
    Faktorinformations-Speicherheit
    Io
    Daten eines Anfangsbildes (Daten eines beliebigen Bildes)
    Io'
    Vergleichsdaten
    G
    Daten der Schwankungsfaktor-Information (Informationsdaten zu Unschärfiefaktoren)
    Img'
    Daten eines Originalbildes (geschossenes Bild, Schnappschuss)
    Δ
    Differenzdaten (Unterschiedsdaten)
    K
    Zuordnungs-Verhältnis
    Io + n
    restaurierte Daten (Daten eines wieder hergestellten Bildes)
    Img
    Daten eines innerlich korrigierten Bildes ohne Unschärfe

Claims (16)

  1. Vorrichtung zur Signalverarbeitung, die eine Verarbeitungseinheit aufweist, die restaurierte Daten erzeugt, die sich den Signaldaten vor dem Schwanken annähern, wozu die folgende Verarbeitung wiederholt wird: Erzeugen von Vergleichsdaten aus willkürlichen Signaldaten durch Anwenden von Informationsdaten, die einen Schwankungsfaktor betreffen, der die Signalschwankung auslöst; Vergleichen der Vergleichsdaten mit den Originalsignaldaten als ein zu verarbeitender Gegenstand; Erzeugen restaurierter Daten durch Benutzen von Daten, welche den Unterschied zwischen den Vergleichsdaten und den Originalsignaldaten zeigen; und Ersetzen der willkürlichen Signaldaten durch die restaurierten Daten.
  2. Vorrichtung zur Signalverarbeitung gemäß Patentanspruch 1, worin der Prozessor die Wiederholung der Verarbeitung anhält, falls die Differenzdaten gleich oder weniger oder kleiner als ein vorbestimmter Wert werden.
  3. Vorrichtung zur Signalverarbeitung gemäß Patentanspruch 1, worin der Prozessor die Wiederholung der Verarbeitung anhält, falls die Wiederholzahl eine vorbestimmte Zahl wird.
  4. Vorrichtung zur Signalverarbeitung gemäß Patentanspruch 1, worin der Prozessor die Wiederholung der Verarbeitung anhält, falls die Differenzdaten gleich oder weniger oder kleiner als ein vorbestimmter Wert zum Zeitpunkt werden, wenn die Wiederholzahl eine vorbestimmte Zahl erreicht, und eine weitere Wiederholung mit einer vorbestimmten Zahl ausführt, falls die Differenzdaten gleich oder mehr einem vorbestimmten Wert werden oder diesen überschreiten.
  5. Vorrichtung zur Signalverarbeitung, die einen Prozessor enthält, welche die folgende Verarbeitung durchführt: Erzeugen von Vergleichsdaten aus vorbestimmten Signaldaten durch Anwenden von Informationsdaten, die einen Schwankungsfaktor betreffen, der die Signalschwankung auslöst; Vergleichen der Vergleichsdaten mit Originalsignaldaten, die Schwankungssignale als einen zu verarbeitenden Gegenstand enthalten; Anhalten der Verarbeitung und Behandeln der vorbestimmten Signaldaten, die eine Basis für die Vergleichsdaten als Signale vor der Schwankung der Originalsignaldaten gewesen sind, falls die Differenzdaten zwischen den Vergleichsdaten und den Originalsignaldaten gleich oder weniger oder kleiner als ein vorbestimmter Wert sind; und Erzeugen restaurierter Daten durch Verwenden der Differenzdaten, Ersetzen der vorbestimmten Signaldaten durch die restaurierten Daten und Wiederholen der Verarbeitung, falls die Differenzdaten gleich oder mehr oder größer als der vorbestimmte Wert sind.
  6. Vorrichtung zur Signalverarbeitung gemäß Patentanspruch 5, worin der Prozessor die Wiederholung der Verarbeitung anhält, falls die Wiederholzahl eine vorbestimmte Zahl erreicht.
  7. Vorrichtung zur Signalverarbeitung gemäß Patentanspruch 1 bis 6, des weiteren aufweisende: Einen Detektor, der die Information bezüglich eines Schwankungsfaktors detektiert; und Eine Faktorinformations-Speichereinheit, die bereits bekannte Information bezüglich eines Schwankungsfaktors abspeichert.
  8. Vorrichtung zur Signalverarbeitung gemäß einem der Patentansprüche 1 bis 7, worin die Wiederholung der Verarbeitung angehalten wird, falls die Differenzdaten gestreut werden.
  9. Vorrichtung zur Signalverarbeitung gemäß einem der Patentansprüche 1 bis 8, worin die Wiederholung der Verarbeitung angehalten wird, falls die abgespeicherten Daten einen anomalen Wert enthalten, mit Ausnahme eines erlaubten Werts.
  10. Vorrichtung zur Signalverarbeitung gemäß einem der Patentansprüche 1 bis 8, worin, falls die abgespeicherten Daten einen anomalen Wert mit Ausnahme eines erlaubten Werts enthalten, die Wiederholung der Verarbeitung fortgesetzt wird, nachdem der anomale Wert durch einen erlaubten Wert ersetzt ist.
  11. Vorrichtung zur Signalverarbeitung gemäß einem der Patentansprüche 1 bis 10, worin das Erzeugen restaurierter Daten durch Verwenden der Differenzdaten ferner aufweist: Zufügen des Unterschieds, der einem Signalelement oder der variablen Leistung der Differenz zu einem Signalelement entsprechend den Vergleichsdaten entspricht.
  12. Vorrichtung zur Signalverarbeitung gemäß einem der Patentansprüche 1 bis 10, worin das Erzeugen restaurierter Daten durch Verwenden der Differenzdaten ferner aufweist: Zuordnen der Differenzdaten zu den willkürlichen Signaldaten oder vorbestimmten Signaldaten durch Benutzen der Informationsdaten bezüglich eines Schwankungsfaktors.
  13. Vorrichtung zur Signalverarbeitung gemäß Patentanspruch 12, worin der Prozessor einen Schwerpunkt (barycenter).der Information bezüglich eines Schwankungsfaktors setzt und die Differenzdaten eines Signalelements im Schwerpunkt oder die variable Größe der Differenzdaten einem zu restaurierenden Signalelement unter willkürlichen oder vorbestimmten Signalen addiert.
  14. Vorrichtung zur Signalverarbeitung gemäß Patentanspruch 12, worin der Prozessor die Information bezüglich eines Schwankungsfaktors in jede einer Vielzahl von Arten klassifiziert und ein unterschiedliches Verarbeiten durchführt, was von jeder Klassifikation abhängt.
  15. Vorrichtung zur Signalverarbeitung gemäß Patentanspruch 12, worin der Prozessor die Information bezüglich eines Schwankungsfaktors in jede einer Vielzahl von Arten klassifiziert und eine Wiederholungszahl abhängig von jeder Klassifikation verschieden macht.
  16. Vorrichtung zur Signalverarbeitung gemäß einem der Patentansprüche 1 bis 15, worin die Erzeugung der restaurierten Daten des weiteren das Platzieren der Daten in einen Bereich umfasst, der ein restaurierter Gegenstand sein soll, der gegenüber irgendeiner der vertikalen, horizontalen und geneigten Richtungen positioniert wird, falls die restaurierten Daten außerhalb des Bereiches, der ein restaurierter Gegenstand sein soll, gewonnen werden.
DE112006001641T 2005-06-21 2006-06-14 Signalverarbeitungseinrichtung Ceased DE112006001641T5 (de)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2005-180336 2005-06-21
JP2005180336 2005-06-21
JP2005-207105 2005-07-15
JP2005207105 2005-07-15
JP2005374340A JP3895357B2 (ja) 2005-06-21 2005-12-27 信号処理装置
JP2005-374340 2005-12-27
PCT/JP2006/311945 WO2006137308A1 (ja) 2005-06-21 2006-06-14 信号処理装置

Publications (1)

Publication Number Publication Date
DE112006001641T5 true DE112006001641T5 (de) 2008-05-08

Family

ID=37570338

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112006001641T Ceased DE112006001641T5 (de) 2005-06-21 2006-06-14 Signalverarbeitungseinrichtung

Country Status (6)

Country Link
US (1) US8229243B2 (de)
JP (1) JP3895357B2 (de)
CN (1) CN101198985B (de)
DE (1) DE112006001641T5 (de)
GB (1) GB2446486B (de)
WO (1) WO2006137308A1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4965179B2 (ja) * 2006-07-27 2012-07-04 イーストマン コダック カンパニー 画像処理装置
JPWO2008090858A1 (ja) * 2007-01-23 2010-05-20 日東光学株式会社 画像処理装置および画像処理方法
JP5007245B2 (ja) * 2008-01-16 2012-08-22 日東光学株式会社 信号処理装置
JP4974176B2 (ja) * 2008-03-04 2012-07-11 日東光学株式会社 変化要因情報のデータの生成法および信号処理装置
JP2009289079A (ja) * 2008-05-29 2009-12-10 Nittoh Kogaku Kk 画像出力装置
JP5487722B2 (ja) * 2009-05-25 2014-05-07 ソニー株式会社 撮像装置と振れ補正方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4623237A (en) * 1984-07-07 1986-11-18 Canon Kabushiki Kaisha Automatic focusing device
US5060007A (en) * 1986-11-20 1991-10-22 Canon Kabushiki Kaisha Image blur display device
US5150429A (en) * 1987-12-17 1992-09-22 Eastman Kodak Company Image processor with error diffusion modulated threshold matrix
JP2530372B2 (ja) * 1989-08-28 1996-09-04 トヨタ自動車株式会社 サスペンションの圧力制御装置
GB2239575B (en) * 1989-10-17 1994-07-27 Mitsubishi Electric Corp Motion vector detecting apparatus and image blur correcting apparatus, and video camera including such apparatus
US5287223A (en) * 1990-05-10 1994-02-15 Canon Kabushiki Kaisha Lens drive controlling apparatus
US5799111A (en) * 1991-06-14 1998-08-25 D.V.P. Technologies, Ltd. Apparatus and methods for smoothing images
DE69225365T2 (de) * 1991-08-30 1998-11-19 Fuji Xerox Co Ltd Bildsignalkodierungsvorrichtung
US5636295A (en) * 1992-10-07 1997-06-03 Daewoo Electronics Co., Ltd. Apparatus for reducing quantization noise in image signals
US20030099467A1 (en) * 1992-12-28 2003-05-29 Manabu Inoue Image recording and reproducing system capable or correcting an image deterioration
JP3348461B2 (ja) 1993-05-06 2002-11-20 株式会社ニコン 手ぶれ補正カメラ
US5802403A (en) * 1994-03-18 1998-09-01 Nikon Corporation Apparatus for inspecting blur correction camera, blur correction camera, and method of inspecting blur correction camera
JP3635282B2 (ja) * 1996-11-29 2005-04-06 コニカミノルタフォトイメージング株式会社 ブレ補正カメラ
JPH1124122A (ja) 1997-07-03 1999-01-29 Ricoh Co Ltd 手ぶれ画像補正方法および手ぶれ画像補正装置並びにその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2000004363A (ja) * 1998-06-17 2000-01-07 Olympus Optical Co Ltd 画像復元方法
US6452183B1 (en) * 1999-09-13 2002-09-17 Kabushiki Kaisha Toshiba Nuclear medical diagnosis apparatus and image reconstruction method therefor
US6842196B1 (en) * 2000-04-04 2005-01-11 Smith & Nephew, Inc. Method and system for automatic correction of motion artifacts
EP1401210A4 (de) * 2001-05-10 2011-12-21 Panasonic Corp Bildverarbeitungsvorrichtung
US6580062B2 (en) * 2001-05-29 2003-06-17 Hewlett-Packard Development Company, L.P. Contrast focus figure-of-merit method that is insensitive to scene illumination level
US6539177B2 (en) * 2001-07-17 2003-03-25 Eastman Kodak Company Warning message camera and method
US7130776B2 (en) * 2002-03-25 2006-10-31 Lockheed Martin Corporation Method and computer program product for producing a pattern recognition training set
JP4143318B2 (ja) * 2002-03-29 2008-09-03 キヤノン株式会社 レンズ鏡筒およびこれを用いた光学機器
US6937775B2 (en) * 2002-05-15 2005-08-30 Eastman Kodak Company Method of enhancing the tone scale of a digital image to extend the linear response range without amplifying noise
JP3862613B2 (ja) * 2002-06-05 2006-12-27 キヤノン株式会社 画像処理装置及び画像処理方法並びにコンピュータプログラム
JP4120928B2 (ja) * 2003-01-28 2008-07-16 富士ゼロックス株式会社 画像処理装置、画像処理方法、およびそのプログラム
JP2005117462A (ja) * 2003-10-09 2005-04-28 Seiko Epson Corp 印刷装置、画像読み取り装置、印刷方法及び印刷システム
JP4066367B2 (ja) * 2003-11-28 2008-03-26 ノーリツ鋼機株式会社 画像ノイズ除去方法

Also Published As

Publication number Publication date
JP2007048257A (ja) 2007-02-22
JP3895357B2 (ja) 2007-03-22
US8229243B2 (en) 2012-07-24
WO2006137308A1 (ja) 2006-12-28
CN101198985B (zh) 2012-01-18
CN101198985A (zh) 2008-06-11
GB2446486B (en) 2010-12-01
US20100021078A1 (en) 2010-01-28
GB2446486A (en) 2008-08-13
GB0724737D0 (en) 2008-01-30

Similar Documents

Publication Publication Date Title
DE112016007498B4 (de) Untersuchungseinrichtung und untersuchungsverfahren
DE60131759T2 (de) Bilderzeugungsvorrichtung und -verfahren
DE69734747T2 (de) Verfahren und Gerät zur Bildverarbeitung
EP0681269B1 (de) Verfahren zur Wiedergabe insbesondere einer digitalen Röntgenaufnahme als sichtbares Bild sowie Anordnung zur Durchführung des Verfahrens
DE102011006272A1 (de) Bildverarbeitungsvorrichtung und Verfahren des Steuerns von dieser
DE102015110326A1 (de) Bildverarbeitungsvorrichtung, Verfahren zum Steuern derselben und Speichermedium
DE112017006107T5 (de) Digitale Korrektur von optischen Systemaberrationen
DE112016002229B4 (de) Bildverarbeitungsvorrichtung, bildaufnahmevorrichtung, bildverarbeitungsverfahren und speichermedium
DE102018101035A1 (de) Bildstabilisierungsvorrichtung und steuerverfahren dafür, bildaufnahmevorrichtung und speichermedium
DE60037852T2 (de) Vorrichtung und Verfahren zur Kalibrierung der Auflösung von Röntgenbildern
EP2710794A2 (de) Verfahren zur erzeugung und auswertung eines bilds
DE102014013446A1 (de) Bildaufnahmevorrichtung und -system und Steuerverfahren für die Bildaufnahmevorrichtung
DE112017001458T5 (de) Bildverarbeitungsvorrichtung, Bildgebungsvorrichtung und Steuerverfahren davon
DE102018107950A1 (de) Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und bildaufnahmevorrichtung
DE112006001641T5 (de) Signalverarbeitungseinrichtung
DE112011104668T5 (de) Gerät für einen Strahl von geladenen Teilchen und Verfahren zum Korrigieren eines detektierten Signals desselben
DE102021100444A1 (de) Mikroskopiesystem und verfahren zum bewerten von bildverarbeitungsergebnissen
DE3417385C2 (de)
DE112020004853T5 (de) Reduzierung eines Flimmereffektes mehrerer Lichtquellen in einem Bild
DE102016118192A1 (de) Fokuserfassungsvorrichtung, Prädiktionsverfahren und zugehöriges Speichermedium
WO2016087277A1 (de) Digitales bilderfassungssystem und verfahren zur fehlerkorrektur in einem solchen system
WO2020126719A1 (de) Grössenveränderung von bildern mittels eines neuronalen netzes
WO2020126720A1 (de) Optikkorrektur durch maschinenlernen
DE102015110026A1 (de) Bildverarbeitungsvorrichtung, zugehöriges steuerverfahren und speichermedium
DE4343698C2 (de) Bildstabilisierungssystem für eine Videokamera

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final

Effective date: 20120504