WO2006137308A1

WO2006137308A1 - 信号処理装置

Info

Publication number: WO2006137308A1
Application number: PCT/JP2006/311945
Authority: WO
Inventors: Fuminori Takahashi
Original assignee: Nittoh Kogaku K.K
Priority date: 2005-06-21
Filing date: 2006-06-14
Publication date: 2006-12-28
Also published as: GB2446486B; JP3895357B2; CN101198985A; GB0724737D0; GB2446486A; US8229243B2; CN101198985B; DE112006001641T5; US20100021078A1; JP2007048257A

Abstract

　信号を復元するに当たり、装置の大型化を防止すると共に、現実性のある回路処理方式を提案すること。　この信号処理装置は、信号を処理する処理部を有する。この処理部は、信号変化の要因となる変化要因情報のデータＧを利用して、任意の信号のデータＩｏから比較用データＩｏ′を生成し、その後、処理対象となる原信号のデータＩｍｇ′と比較用データＩｏ′とを比較し、得られた差分のデータδを変化要因情報のデータＧを利用して任意の信号のデータＩｏに配分することで復元データＩｏ+ｎを生成し、その後、この復元データＩｏ+ｎを任意の信号データＩｏの代わりに使用し、同様の処理を繰り返すことで変化前（劣化等する前）の原信号に近似する復元データＩｏ+ｎを生成する処理を行う。

Description

明細書

信号処理装置

技術分野

[0001] 本発明は、信号処理装置に関する。

背景技術

[0002] 従来から、カメラ等で撮影した際には、画像劣化が生ずることが知られている。画像劣化の要因としては撮影時の手ぶれ、光学系の各種の収差、レンズの歪み等がある

[0003] 撮影時の手ぶれを補正するためには、レンズを動かす方式と、回路処理する方式とが知られている。たとえば、レンズを動かす方式としては、カメラの手ぶれを検出し、所定のレンズを、その検出した手ぶれに合わせて動かすことで補正する方式が知られている（特許文献 1参照）。また、回路処理する方式としては、カメラの光軸の変動を角加速度センサで検出し、検出した角速度等から撮影時のぼけ状態を表す伝達関数を取得し、撮影画像に対し、取得した伝達関数の逆変換を行い、画像を復元する方式が知られてレ、る（特許文献 2参照）。

[0004] また、一般の撮影画像以外にも、音声、 X線写真、顕微鏡画像、地震波形等、種々の信号がブレやその他の原因によって劣化したり、変化したりすることが知られれている。

[0005] 特許文献 1：特開平 6— 317824号公報 (要約書参照）

特許文献 2：特開平 11 - 24122号公報 (要約書参照）

発明の開示

発明が解決しょうとする課題

[0006] 特許文献 1記載の手ぶれ補正を採用したカメラは、モータ等、レンズを駆動するハ一ドウエアのスペースが必要となり大型化してしまう。また、そのようなハードウェア自体やそのハードウェアを動かす駆動回路が必要となり、コストアップとなってしまう。また、特許文献 2記載の手ぶれ補正の場合は、上述した問題点はなくなるものの、次のような問題を有する。すなわち、取得した伝達関数の逆変換で画像復元がなされることは理論上成り立つが、実際問題として、以下の 2つの理由で、画像復元が困難である。

[0007] 第 1に、取得する伝達関数は、ノイズゃブレ情報誤差等に非常に弱ぐこれらのわずかな変動により、値が大きく変動する。このため、逆変換で得られる復元画像は、手ぶれがない状態で写した画像とはほど遠レ、ものとなり、実際上は利用できない。第 2に、ノイズ等を考慮した逆変換を行う場合、連立方程式の解の特異値分解等で解を推定する方法も採用できるが、その推定のための計算値が天文学的な大きさになり、実際的には解くことができなくなるリスクが高い。

[0008] 画像に生ずる上述した問題は、一般の種々のデータにも現れ、伝達関数の逆変換で信号の復元を行うことは、取得した伝達関数が不正確であるときは勿論のこと困難であるが、正確であったとしても困難な場合がある。しかも、 100%正確な伝達関数を得ることは、自然界を対象とする場合は、あり得ない状況である。

[0009] 上述したように、本発明の課題は、信号を復元するに当たり、装置の大型化を防止すると共に、現実性のある回路処理方式を有する信号処理装置を提供することである。

課題を解決するための手段

[0010] 上記課題を解決するために、本発明の信号処理装置は、信号を処理する処理部を有する信号処理装置において、処理部は、信号変化の要因となる変化要因情報のデータを利用して、任意の信号のデータから比較用データを生成し、処理対象となる原信号のデータと比較用データとを比較し、得られた差分のデータを利用して復元データを生成し、この復元データを任意の信号データの代わりに使用し、同様の処理を繰り返すことで、変化する前の原信号に近似する復元データを生成を生成している。

[0011] この発明によれば、信号変化の要因情報を利用して、所定のデータを生成することだけで原信号に近似する復元データを生成しているので、ハードウェア的な増加はほとんど無ぐ装置が大型化しない。また、復元データから比較用データを作り、その比較用データと処理対象の原信号のデータを比較するという処理を繰り返し、徐々に原信号の元となる変化前の映像に近レ、復元データを得るので、現実的な復元作業となる。このため、信号の復元に当たって、現実性のある回路処理方式を有する信号処理装置とすることができる。

[0012] また、他の発明は、上述の発明にカ卩え、処理部は、繰り返しの処理の際、差分のデータが所定値以下または所定値より小さくなつたら、停止させる処理を行なっている。この構成を採用した場合、差分が「0」にならなくても処理を停止させるので、処理の長時間化を防止することができる。また、所定値以下としているので、復元データは原信号の元となる変化前 (劣化等する前）の信号データにより近レ、ものとなる。さらに、ノイズなどがあった場合、差分が「0」になることが現実的にはあり得ない状況が生じがちであるが、そのような場合であっても無限に処理を繰り返すことにはならない。

[0013] さらに、他の発明は、上述の発明に加え、処理部は、繰り返しの処理の際、繰り返しの回数が所定回数となったら停止させる処理を行っている。この構成を採用した場合、差分が「0」になってもならなくても処理を停止させるので、処理の長時間化を防止すること力 Sできる。また、所定回数まで処理を継続させているので、復元データは原信号の元となる劣化等する前の信号データにより近レ、ものとなる。さらに、ノイズなどがあった場合、差分が「0」にならない状況が現実的には生じがちである力そのような場合であっても所定回数で終了させているので、無限に処理を繰り返すことにはならない。

[0014] さらに他の発明は、上述の発明に加え、処理部は、繰り返しの処理の際、繰り返しの回数が所定回数に到達したときの差分のデータが所定値以下または所定値より小さい場合は停止し、所定値より超えるまたは所定値以上の場合は、さらに所定回数繰り返す処理を行っている。この発明では、処理の回数と、差分の値とを組み合わせて行うようにしているので、単に処理回数に制限を加えたり、差分の値に制限を行う場合に比較して、信号の良さと処理時間の短さのバランスが取れた処理とすることができる。

[0015] また、他の発明の信号処理装置は、信号を処理する処理部を有する信号処理装置において、処理部は、信号変化の要因となる変化要因情報のデータを利用して、所定の信号のデータから比較用データを生成し、処理対象となる信号が変化した原信号のデータと比較用データを比較し、得られた差分のデータが所定値以下または所定値より小さい場合は処理を停止し、比較用データの元となった所定の信号を原信号の変化前の信号として扱い、差分が所定値より大きいまたは所定値以上の場合は、差分のデータを利用して復元データを生成し、この復元データを所定の信号に置き換えて同様な処理を繰り返す処理を行っている。

[0016] この発明によれば、信号劣化等の変化要因情報を利用して、比較用データを生成し、原信号との比較をし、差が大きいときのみ原信号に近似する復元データを生成しているので、ハードウェア的な増加はほとんど無ぐ装置が大型化しなレ、。また、復元データから比較用データを作り、その比較データと処理対象の原信号のデータを比較することを繰り返し、徐々に原信号の元となる変化前の信号データに近い復元データを得るので、現実的な復元作業となる。このため、劣化等した信号を復元するに当たり、現実性のある回路処理方式を有する信号処理装置とすることができる。

[0017] また、他の発明は、上述の発明にカ卩え、処理部は、繰り返しの処理の際、繰り返しの回数が所定回数となったら停止させる処理を行っている。この構成を採用した場合、差分力 S「0」になってもならなくても処理を停止させるので、処理の長時間化を防止すること力 Sできる。また、所定回数まで処理を継続させているので、復元データは原信号の元となる変化前の信号データにより近いものとなる。さらに、ノイズなどがあつた場合、差分が「0」にならない状況が現実的には生じがちであるが、そのような場合、無限に処理を繰り返すことになつてしまうが、この構成を採用すると、そのような問題が生じない。

[0018] さらに他の発明は、上述の発明に加え、変化要因情報を検知する検出部と、既知の変化要因情報を保存する要因情報保存部とを有している。この構成を採用すると、信号変化の外部要因と内部要因の両者を考慮した、補正された復元データを得ることができる。

[0019] また、繰り返しの処理は、差分のデータが発散してきたら中止するのが好ましい。この構成を採用すると、質の悪い復元データの発生を阻止することができると共に不要な処理に時間を費やすことを防止できる。

[0020] さらに、繰り返しの処理は、復元データ中に許容される数値以外の異常数値が含まれるときは、その処理を中止するのが好ましい。この構成を採用すると、質の悪い復元データの発生を阻止することができると共に不要な処理に時間を費やすことを防止できる。

[0021] 加えて、繰り返しの処理は、復元データ中に許容される数値以外の異常数値が含まれるときは、その異常数値を許容される数値に変更して処理を継続するのが好ましレ、。この構成の場合、一部のデータに異常が生じても処理を継続でき、より好ましレヽ復元データが得られる。

[0022] また、他の発明は、上述の発明にカ卩えて、差分のデータを利用して復元データを生成する処理は、対応する信号要素の差分またはその差分を変倍して比較用データの対応する信号要素に加える処理としている。この構成を採用すると、ぶれ等の変化要因が少ないとき、速い処理が可能となる。

[0023] さらに、他の発明は、上述の発明に加えて、差分のデータを利用して復元データを生成する処理は、変化要因情報のデータを利用して、任意の信号のデータまたは所定の信号のデータに、差分のデータを配分する処理としている。この構成の場合、ぶれ等の変化要因に沿った復元処理が可能となる。

[0024] また、処理部は、変化要因情報の重心をとり、その重心位置の信号要素の差分のデータまたはその変倍したデータを、任意の信号中または所定の信号中の復元対象となる信号要素に加える処理をするのが好ましい。この構成を採用すると、ぶれ等の変化要因に合った復元処理を高速で行うことが可能となる。

[0025] さらに、処理部は、変化要因情報のデータを複数の種類の内のいずれかに分類付けし、その分類毎に違う処理を行うようにするのが好ましい。この場合、ぶれ等の変化要因に合った復元処理を高速で行うことが可能となる。

[0026] また、処理部は、変化要因情報のデータを複数の種類の内のいずれかに分類付けし、その分類毎に、繰り返しの回数を異ならせるのが好ましい。この場合、ぶれ等の変化要因に合った復元処理を最適時間で行うことが可能となる。

[0027] また、他の発明は、上述の発明にカ卩え、復元データを生成する際、復元対象領域外となるデータが発生するときは、そのデータの発生位置の縦、横、または斜めのいずれか 1つの方向の反対側の位置の復元対象領域内に配置している。この構成を採用すると、復元対象領域を確実に復元できることとなる。発明の効果

[0028] 本発明によれば、劣化等変化した信号を復元するに当たり、装置の大型化を防止できると共に、現実性のある回路処理方式を有する信号処理装置とすることができる図面の簡単な説明

[0029] [図 1]本発明の実施の形態に係る信号処理装置の主要構成を示すブロック図である

[図 2]図 1に示す信号処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。

[図 3]図 1に示す信号処理装置の処理部で行う処理方法 (処理ノレ一チン)を説明するための処理フロー図である。

[図 4]図 3に示す処理方法の概念を説明するための図である。

[図 5]図 3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときのエネルギーの集中を示す表である。

[図 6]図 3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときの画像データを示す図である。

[図 7]図 3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれが生じたときのエネルギーの分散を示す図である。

[図 8]図 3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、任意の画像から比較用データを生成する状況を説明するための図である。

[図 9]図 3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、比較用データと、処理対象となるぶれた原画像とを比較して、差分のデータを生成する状況を説明するための図である。

[図 10]図 3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、差分のデータを配分し任意の画像に加えることで復元データを生成する状況を説明するための図である。

[図 11]図 3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、生成された復元データから新たな比較用データを生成し、そのデータと処理対象となるぶれた原画像とを比較して差分のデータを生成する状況を説明するための図である

[図 12]図 3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、新たに生成された差分のデータを配分し、新たな復元データを生成する状況を説明するための図である。

[図 13]図 3に示す処理方法を利用した他の処理方法である変化要因の重心を利用した処理を説明するための図で、（A)は正しい画像のデータ中の 1つの画素に注目する状態を示す図で、（B)は原画像のデータを示す図中で、注目した画素のデータが拡がる状態を示す図である。

[図 14]図 13に示す処理方法である変化要因の重心を利用した処理を、具体的に説明するための図である。

[図 15]図 3に示す処理方法を利用した他の処理方法を説明するための図で、（A)は処理対象となる原画像のデータを示し、 (B)は (A)のデータを間引いたデータを示す図である。

[図 16]図 3に示す処理方法を利用した、さらに他の処理方法を説明するための図で、 (A)は処理対象となる原画像のデータを示し、（B)は (A)のデータの一部を取り出したデータを示す図である。

[図 17]図 14に示す処理方法の変形例を説明するための図で、原画像のデータを 4 分割し、各分割領域から、反復処理するための一部の領域を取り出すことを示す図である。

[図 18]図 1に示す信号処理装置およびその信号処理装置の処理部で行う処理方法（処理ルーチン)を、一般の信号処理装置に展開できることを説明するための図である

符号の説明

1 信号処理装置

2 撮影部

3 制御系部

4 処理部 5 記録部

6 検出部

7 要因情報保存部

Io 初期画像のデータ (任意の画像のデータ）

Ιο' 比較用データ

G 変化要因情報のデータ (劣化要因情報のデータ）

l g^f 原画像のデータ（撮影された画像）

δ 差分のデータ

k 配分比

Io+n 復元データ（復元画像のデータ）

Img 劣化のない本来の正しい画像のデータ

発明を実施するための最良の形態

[0031] 以下、本発明の第 1の実施の形態に係る信号処理装置 1について図を参照しながら説明する。なお、この信号処理装置 1は、画像処理装置となっており、民生用のカメラとして用いられるものである力監視用カメラ、テレビ用カメラ、内視鏡カメラ、等他の用途のカメラとしたり、顕微鏡、双眼鏡、さらには NMR撮影等の画像診断装置等、カメラ以外の機器にも適用できる。

[0032] 信号処理装置 1は、人物等の映像を撮影する撮影部 2と、その撮影部 2を駆動する制御系部 3と、撮影部 2で撮影された画像 (信号データ）を処理する処理部 4と、を有している。また、この実施の形態に係る信号処理装置 1は、さらに処理部 4で処理された画像を記録する記録部 5と、角速度センサ等からなり、画像劣化など信号変化の要因となる変化要因情報を検知する検出部 6と、画像劣化などを生じさせる既知の変化要因情報を保存する要因情報保存部 7を有する。

[0033] 撮像部 2は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換する Cし D (Charge Coupled Devices)や C— M〇S (し omplementary Metal Oxide em iconductor)等の撮像素子を備える部分である。制御系部 3は、撮影部 2，処理部 4, 記録部 5、検出部 6,および要因情報保存部 7等、信号処理装置 1内の各部を制御するものである。 [0034] 処理部 4は、画像処理プロセサで構成されており、 ASIC(Application Specific Integ rated Circuit)のようなハードウェアで構成されている。この処理部 4には、後述する比較用データを生成する際の元となる画像が保管されることもある。処理部 4は、 ASIC のようなハードウェアとして構成されのではなぐソフトウェアで処理する構成としても良い。記録部 5は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段や、 DVD (Digital Versatile Disk)等を使用する光記録手段等を採用しても良い。

[0035] 検出部 6は、図 2に示すように、信号処理装置 1の光軸である Z軸に対して垂直方向となる X軸、 Y軸の回りの速度を検出する 2つの角速度センサを備えるものである。ところで、カメラで撮影する際の手ぶれは、 X方向、 Y方向、 Z方向の各方向への移動や Z軸回りの回動も生ずるが、各変動により最も大きな影響を受けるのは、 Y軸回りの回転と X軸回りの回転である。これら 2つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図 2の X軸回りと Y軸回りの 2つの角速度センサのみを配置している。し力し、より完全を期すため Z 軸回りの角速度センサをさらに付加したり、 X方向や Y方向への移動を検出するセンサを付カ卩しても良レ、。また、使用するセンサとしては、角速度センサではなぐ角加速度センサとしても良い。

[0036] 要因情報保存部 7は、既知の劣化要因情報などの変化要因情報、たとえば光学系の収差等を保存しておく記録部である。なお、この実施の形態では、要因情報保存部 7には、光学系の収差やレンズのひずみの情報が保存されている力後述する手ぶれのぼけの復元の際にはそれらの情報は、利用していない。

[0037] 次に、以上のように構成された信号処理装置 1の処理部 4の処理方法の概要を、図 3に基づいて説明する。

[0038] 図 3中、「Io」は、任意の初期画像 (初期信号データ）であって、処理部 4の記録部に予め保存されている画像のデータである。 Γΐο' 」は、その初期画像のデータ Ιοの劣化画像のデータを示し、比較のための比較用データである。「G」は、検出部 6で検出された変化要因情報（=劣化要因情報 (点像関数)）のデータで、処理部 4の記録部に保存されるものである。 rimg 」は、撮影された画像、すなわち劣化画像のデータを指し、この処理にぉレ、て処理対象となる原画像 (原信号）のデータである。

[0039] 「 δ」は、原画像のデータ Img' と、比較用データ Ιο' との差分のデータである。「k 」は、変化要因情報のデータに基づく配分比である。「Io+n」は、初期画像のデータ I oに、差分のデータ δを変化要因情報のデータ Gに基づいて配分して新たに生成した復元画像のデータ（復元データ）である。「Img」は、撮影された劣化画像である原画像のデータ Img^ の基となった、劣化のない本来の正しい画像のデータである。ここで、 Imgと Img' の関係は、次の（1)式で現されるとする。

Img, =Img * G - - - (1)

ここで、「*」は、重畳積分を表す演算子である。なお、差分のデータ δは、対応する信号要素となる画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報のデータ Gにより異なり、次の（2)式で現される。

δ =f (Img^/ , Img, G) - - - (2)

[0040] 処理部 4の処理ルーチンは、まず、任意の画像のデータ Ioを用意する（ステップ S1 01)ことから始まる。この初期画像のデータ Ioとしては、撮影された劣化画像のデータ Img' を用いても良ぐまた、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像のデータを用いても良レ、。ステップ S102で、（1)式の Imgの代わりに初期画像となる任意の画像のデータ Ioを入れ、劣化画像である比較用データ Io'を求める。次に、撮影された劣化画像である原画像のデータ Img' と比較用データと比較し、差分のデータ δを算出する（ステップ S103)。

[0041] 次に、ステップ S104で、この差分のデータ δが所定値以上であるか否かを判断し、所定値以上であれば、ステップ S105で新たな復元画像のデータ（=復元データ）を生成する処理を行う。すなわち、差分のデータ δを変化要因情報のデータ Gに基づいて、任意の画像のデータ Ioに配分し、新たな復元データ Io+nを生成する。その後、ステップ S102， S103, S104を繰り返す。

[0042] ステップ S104において、差分のデータ δが所定値より小さい場合、処理を終了する（ステップ S 106)。そして、処理を終了した時点での復元データ Io+nを正しい画像、すなわち劣化のない画像のデータ Imgと推定し、そのデータを記録部 5に記録する。すなわち、処理を終了した時点での復元データ Io+nは、データ Imgにきわめて近似するものとなるのである。なお、記録部 5には、初期画像のデータ Ioや変化要因情報のデータ Gを記録しておき、必要により処理部 4に渡すようにしても良い。

[0043] 以上の処理方法の考え方をまとめると以下のようになる。すなわち、この処理方法においては、処理の解を逆問題としては解かず、合理的な解を求める最適化問題として解くのである。逆問題として解く場合、特許文献 2の記載にもあるように、理論上は可能であるが、現実問題としては困難である。

[0044] 最適化問題として解くということは、次の条件を前提としている。

すなわち、

(1)入力に対する出力は、一意に決まる。

(2)出力が同じであれば、入力は同じである。

(3)出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。

[0045] このことを換言すれば、図 4 (A) (B)に示すように、撮影された画像である原画像のデータ Img^ と近似である比較用データ Ιο' (Ιο+η' )を生成できれば、その生成の元データとなる初期画像のデータ Ioまたは復元データ Ιο+ηは、原画像のデータ Img ' の元となる正しい画像のデータ Imgに近似したものとなる。

[0046] なお、この実施の形態では、角速度検出センサは 5 / sec毎に角速度を検出している。また、差分のデータ δの判定基準となる値は、各データを 8ビット（0〜255)で表した場合に、この実施の形態では「6」としている。すなわち、 6より小さい、つまり 5以下の時は、処理を終了している。また、角速度検出センサで検出したブレの生データは、センサ自体の校正が不十分なときは、実際のブレとは対応しなレ、。よって実際のブレに対応させるため、センサが校正されていないときは、センサで検出した生データに所定の倍率をかけたりする補正が必要とされる。

[0047] 次に、図 3および図 4に示す処理方法の詳細を、図 5,図 6,図 7，図 8，図 9,図 10 ,図 11および図 12に基づいて説明する。

[0048] (手ぶれの復元アルゴリズム）

手ぶれが無いとき、所定の画素に対応する光エネルギーは、露光時間中、その画素に集中する。また、手ぶれがある場合、光エネルギーは、露光時間中にぶれた画素に分散する。さらに、露光時間中のブレがわかれば、露光時間中のエネルギーの分散の仕方がわかるため、ぶれた画像からブレの無い画像を作ることが可能となる。

[0049] 以下、簡単のため、横一次元で説明する。信号要素となる画素を左から順に、 n-l， n, n+1, n+2, n+3,…，とし、ある画素 nに注目する。ブレが無いとき、露光時間中のェネルギ一は、その画素に集中するため、エネルギーの集中度は「1. 0」である。この状態を図 5に示す。このときの撮影結果を、図 6の表に示す。図 6に示すものが、劣化しなかった場合の正しい画像データ Imgとなる。なお、各データは、 8ビット（0〜255 )のデータで現している。

[0050] 露光時間中にブレがあり、露光時間中の 50%の時間は n番目の画素に、 30%の時間は n+1番目の画素に、 20%の時間は n+2番目の画素に、それぞれぶれていたとする。エネルギーの分散の仕方は、図 7に示す表のとおりとなる。これが変化要因情報のデータ Gとなる。

[0051] ブレは、全ての画素で一様であるので、上ぶれ（縦ぶれ）が無いとすると、ブレの状況は、図 8に示す表のとおりとなる。図 8中の「撮影結果」として示されるデータが、元の正しい画像のデータ Imgで、「ブレ画像」として示されるデータ力撮影された劣化画像のデータ Img' となる。具体的には、たとえば「n— 3」の画素の「120」は、ぶれ情報である変化要因情報のデータ Gの「0. 5」「0. 3」「0. 2」の配分比に従い、 Γ_η- 3」の画素に「60」、「η— 2」の画素に「36」、「η— 1」の画素に「24」とレ、うように分散する。同様に、「η— 2」の画素のデータである「60」は、「η— 2」に「30」、「η— 1」に「1 8」、「η」に「12」として分散する。この劣化画像のデータ Img' と、図 7に示す変化要因情報のデータ Gからぶれの無い撮影結果を算出することとなる。

[0052] ステップ S101に示す任意の画像のデータ Ioとしては、どのようなものでも採用できるが、この説明に当たっては、撮影した原画像のデータ Im を用いる。すなわち、 I o = Img^/ として処理を開始する。図 9の表中に「入力」とされたものが初期画像のデータ Ioに相当する。このデータ Ioすなわち Img' に、ステップ S102で変化要因情報のデータ Gをかける。すなわち、たとえば、初期画像のデータ Ioの「n_ 3」の画素の「 60」は、 n_ 3の画素に「30」が、「n_ 2」の画素に「18」が、「n_ l」の画素に「12」がそれぞれ割り振られる。他の画素についても同様に配分され、「出力 Io' 」として示される比較用データ Ic が生成される。このため、ステップ S103の差分のデータ δは、図 9の最下欄に示すようになる。

[0053] この後、ステップ S104にて差分のデータ δの大きさを判断する。具体的には、差分のデータ δが全て絶対値で 5以下となった場合に処理を終了するが、図 9に示す差分のデータ δは、この条件に合わないため、ステップ S105に進む。すなわち、差分のデータ δを変化要因情報のデータ Gを使用して、任意の画像のデータ Ιοに配分して、図 10中の「次回入力」として示される復元データ Ιο+ηを生成する。この場合、第 1 回目であるため、図 10では、 Io+lと現している。

[0054] 差分のデータ δの配分は、たとえば「η— 3」の画素のデータ「30」に自分の所（=「 η_ 3」の画素）の配分比である 0. 5をかけた「15」を「η_ 3」の画素に配分し、また「η - 2Jの画素のデータ「15」にその「η_ 2」の画素にきてレ、るはずの配分比である 0. 3 を力けた「4. 5」を配分し、さらに、「η_ 1」の画素のデータ「9. 2」に、その「η_ 1」の画素にきているはずの配分比である 0· 2を力けた「1. 84」を配分する。「η— 3」の画素に配分された総量は、「21 · 34」となり、この値を初期画像のデータ Ιο (ここでは撮影された原画像のデータ Img' を使用）にプラスして、復元データ Io+lを生成している。

[0055] 図 11に示すように、この復元データ Io+lがステップ S102の入力画像のデータ（= 初期画像のデータ Io)になり、ステップ S102が実行され、ステップ S103へと移行し、新しい差分のデータ δを得る。その新しい差分のデータ δの大きさをステップ S104 で判断し、所定値より大きい場合、ステップ S105で新しい差分のデータ δを前回の復元データ Io+lに配分し、新しい復元データ Io+2を生成する（図 12参照）。その後、ステップ S102の遂行により、復元データ Io+2から新しい比較用データ IO+2' が生成される。このように、ステップ S102, S103が実行された後、ステップ S104へ行き、そこでの判断によりステップ S105へ行ったり、ステップ S106へ移行する。このような処理を繰り返す。

[0056] この信号処理装置 1では、処理するに当たり、ステップ 104Sにおいて、事前に処理回数と、差分のデータ δの判断基準値のいずれか一方または両者を設定できる。たとえば処理回数として 20回、 50回等任意の回数を設定できる。また、処理を停止させる差分のデータ δの値を 8ビット（0〜255)中の「5」と設定し、 5以下になったら処理を終了させたり、「0. 5」と設定し「0. 5」以下になったら処理を終了させることができる。この設定値を任意に設定できる。処理回数と判断基準値の両者を入力した場合、いずれか一方が満足されたとき処理は停止される。なお、両者の設定を可能としたとき、判断基準値を優先し、所定の回数の処理では判断基準値内に入らなかった場合、さらに所定回数の処理を繰り返すようにしても良レ、。

[0057] この実施の形態の説明の中では、要因情報保存部 7に保存されている情報を利用しなかった力ここに保存されている既知の劣化要因、たとえば光学収差やレンズのひずみなどのデータを使用するようにしても良レ、。その場合、たとえば、先の例（図 3) の処理方法では、ブレの情報と光学収差の情報を合わせて 1つの劣化要因として捉えて処理を行うのが好ましいが、ブレの情報での処理を終了した後に光学収差の情報での補正を行うようにしても良レ、。また、この要因情報保存部 7を設置しないようにして、撮影時の動的要因、たとえばブレのみで画像を修正したり復元したりしても良レ、。

[0058] 以上、本発明の実施の形態に係る信号処理装置 1について説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。たとえば、処理部 4で行った処理は、ソフトウェアで構成している力 S、それぞれ、一部の処理を分担して行うようにした部品からなるハードウェアで構成しても良い。

[0059] また、処理対象となる原画像としては撮影画像の他に、その撮影画像を色補正したり、フーリエ変換したり等、加工を施したものとしても良レ、。さらに、比較用データとしては、変化要因情報のデータ Gを使用して生成したデータ以外に、変化要因情報のデータ Gを使用して生成したものに色補正をカ卩えたり、フーリエ変換したりしたデータとしても良い。また、変化要因情報のデータとしては、劣化要因情報のデータのみではなぐ単に画像を変化させる情報や、劣化とは逆に、画像を良くする情報を含むものとする。

[0060] また、処理の反復回数が信号処理装置 1側で自動的にまたは固定的に設定されている場合、その設定された回数を変化要因情報のデータ Gによって変更するようにしても良い。たとえば、ある画素のデータがブレにより多数の画素に分散している場合は、反復回数を多くし、分散が少ない場合は反復回数を少なくするようにしても良い。

[0061] さらに、反復処理中に、差分のデータ δが発散してきたら、すなわち大きくなつていつたら処理を中止させるようにても良い。発散しているか否かは、たとえば差分のデータ δの平均値を見てその平均値が前回より大きくなつたら発散していると判断する方法を採用できる。また、発散が 1回生じたら、処理を即中止させても良レ、が、発散が 2 回続けて生じたら中止させる方法としたり、発散が所定回数続いたら処理を中止させる方法を採用しても良い。また、反復処理中に、入力を異常な値に変更しょうとしたときには、処理を中止させるようにしても良レ、。たとえば 8ビットの場合、変更されるようとする値が 255を超える値であるときには、処理を中止させる。また、反復処理中、新たなデータである入力を異常な値に変更しょうとしたとき、その値を使用せず、正常な値とするようにしても良レヽ。たとえば、 8ビットの 0〜255の中で、 255を超える値を入力データとしょうとした際は、マックスの値である 255として処理するようにする。すなわち、復元データ中に許容される数値（上述の例では、 0〜255)以外の異常数値（上述の例では、 255を超える値）が含まれるときは、その処理を中止したり、復元データ中に許容される数値以外の異常数値が含まれるときは、その異常数値を許容される数値に変更して処理を継続させたりすることができる。

[0062] また、出力画像となる復元データを生成する際、変化要因情報のデータ Gによっては、復元させようとする画像の領域外へ出てしまうようなデータが発生する場合がある。このような場合、領域外へはみ出るデータは反対側へ入れる。また、領域外から入つてくるべきデータがある場合は、そのデータは反対側から持ってくるようにするのが好ましレ、。たとえば、領域内の最も下に位置する画素 XN1 (Ν行 1列）のデータから、さらに下の画素に割り振られるデータが発生した場合、その位置は領域外になる。そこで、そのデータは画素 XN1の真上で最も上に位置する画素 XI I (1行 1列）に割り振られる処理をする。画素 XN1の隣の画素 ΧΝ2 (Ν行 2列）についても同様に真上で最上欄の画素 XI 2 (=画素 XI Iの隣りで 1行 2列））に割り振ることとなる。このように、復元データを生成する際、復元対象領域外となるデータが発生するときは、そのデータの発生位置の縦、横、または斜めのいずれか 1つの方向の反対側の位置の復元対象領域内に配置するようにすると、復元しょうとする対象領域について、確実な復元が可能となる。

[0063] また、復元データ Io+nを生成するとき、配分比 kを使用せず、対応する画素の差分のデータ δをそのまま前回の復元データ Io+n の対応する画素に加えたり、対応す

- 1

る画素の差分のデータ δを変倍した後に加えたり、また差分のデータ δが割り振られた後のデータ k S (図 10、図 12中の「更新量」として示される値）を変倍して、前回の復元データ Io+n に加えるようにしても良い。これらの処理方法をうまく活用すると、

- 1

処理速度が速くなる。

[0064] また、復元データ Io+nを生成するとき、劣化等の変化要因の重心を算出し、その重心のみの差分、またはその差分の変倍を前回の復元データ Io+n に加えるようにし

- 1

ても良い。この考え方を図 13および図 14に基づいて以下に説明する。

[0065] 図 13に示すように、正しい画像のデータ Imgが画素 1：!〜 15, 21〜25, 31〜35，

41〜45, 51〜55で構成されてレヽるとき、図 13 (A)に示すように、画素 33に注目する。手ブレなどにより画素 33が画素 33, 43, 53, 52の位置へと動いていくと、劣化した画像である原画像のデータ Img' では、図 13 (B)に示すように、画素 33, 43, 52 , 53に初めの画素 33の影響が出る。

[0066] このような劣化の場合、画素 33が移動する際、画素 43の位置に最も長時間位置していたとすると、劣化、すなわち変化の要因の重心は、正しい画像のデータ Img中の画素 33に関しては原画像のデータ Img' では画素 43の位置にくる。これにより、差分のデータ δは、図 14に示すように、原画像のデータ Img' と比較用データ Ιο' のそれぞれの画素 43の差として計算する。その差分のデータ δは、初期画像のデータ Ιοや復元データ Io+nの画素 33に加えられる。

[0067] また、先の例で言えば、「0. 5J「0. 3」「0. 2」の 3つの重心は、最も値が大きい「0.

5」の位置であり、自分の位置となる。よって「0. 3」や「0. 2」の割り振りを考慮せず、差分のデータ δの「0. 5」または 0. 5の変倍分のみ自己の位置に割り振るようにすることとなる。このような処理は、ブレのエネルギーが集中している場合に好適となる。

[0068] さらに、変化要因情報のデータ Gの内容によって自動的に上述した各処理方法を選択させるようにすることもできる。すなわち、処理部 4は、変化要因情報のデータ G を複数の種類の内のいずれかに分類付けし、その分類毎に違う処理を行わせることができる。たとえば、処理方法として、図 5〜図 12に示したように、（1)配分比 kを使用して差分のデータ δを配分する方法 (実施例方式)、（2)対応する画素の差分、または差分のデータ δを変倍する方法 (対応画素方式)、（3)劣化要因の重心を検出してその重心部分のデータを利用する方法 (重心方法）の 3方法を実行できるプロダラムを処理部 4内に保存しておき、劣化要因の状況を分析し、その分析結果に基づき、その 3つの方法のいずれか 1つを選択するようにする。また、 3つの方法のうちいずれか複数を選択し、 1ルーチンの度に交互に利用したり、最初の数回はある方式で処理し、その後は他の方式で処理するようにしても良い。

[0069] また、復元処理の高速化を図る意味で、逆問題と組み合わせる方法が存在する。

すなわち、縮小データで反復処理を行い、縮小した原画像から縮小した復元データへの伝達関数を算出する。そして算出された伝達関数を拡大、補間し、その拡大、補間された伝達関数を使って原画像の復元データを得る。この処理方法は大きな画像の処理に有利となる。

[0070] このような処理方法としては、 2つの方法が考えられる。第 1は、データを間引くことで縮小データとする方法である。間引く場合、たとえば、図 15に示すように、原画像のデータ ImgZ 、画素 11〜： 16, 21〜26, 31〜36, 41〜46, 51〜56, 61〜66 で構成されてレヽるとき、 1つおきに画素を間引き、画素 11 , 13, 15, 31, 33, 35, 51 , 53, 55からなる 4分の 1の大きさの縮小 Img' を生成する方法がある。

[0071] このように、原画像のデータ Img' を間引き、間引かれたデータである縮小 Img' を生成し、その縮小 Img' 用いて、図 3に示す反復処理を行い、充分満足な間引かれた復元データ Io+nを得る。縮小復元データ Io+nは充分満足なデータではあるが、あくまで近似である。したがって、復元データ Io+nと原画像のデータ Img' の伝達関数は、縮小データの反復処理で用いた伝達関数ではなレ、。そこで、縮小復元データ Io+nと縮小した原画像のデータである縮小 Img' 力も伝達関数を算出し、算出した伝達関数を拡大し、拡大した間を補間して、その修正した伝達関数を、元データとなる原画像のデータ Img' に対する伝達関数とする。そして、その修正した伝達関数を使用し、周波数空間でデコンボリューシヨン計算 (ボケを含む画像群から計算によつてボケを除去する計算）を行い、完全な復元データ Io+nを得て、それを劣化していなレ、元の正しレ、画像 Imgと推定する。

[0072] なお、この処理の場合、得られた正しい画像と推定された復元データ Io+nを図 3に示す処理の初期画像のデータ Ioとして使用し、変化要因情報のデータ Gと劣化した原画像のデータ Img' とを用レ、、さらに処理するようにしても良い。

[0073] 縮小データを利用する方法の第 2は、原画像のデータ Img' の一部の領域のデータを取り出すことで縮小データとする方法である。たとえば、図 16に示すように、原画像のデータ ImgZ 、画素 11〜： 16, 21〜26， 31〜； 36, 41〜46, 51 ~56, 61〜6 6で構成されてレヽるとき、その中央の領域である、画素 32, 33， 34， 42, 43, 44力らなる領域を取り出し、縮小 Im を生成する方法がある。

[0074] このように、画像領域全体を反復処理で復元せず、領域の一部分を反復処理し良好な復元画像を求め、それを使ってその部分に対する伝達関数を求め、その伝達関数自体またはそれを修正 (拡大など）したものを用いて画像全体の復元を行うものである。ただし、取り出してくる領域は、変動領域よりも充分大きな領域とする必要がある。図 5等に示した先の例では、 3画素に渡って変動しているので、 3画素以上の領域を取り出してくる必要がある。

[0075] なお、この縮小領域を取り出してくる方法の場合、原画像のデータ Img' を、たとえば図 17に示すように、 4分割し、各分割領域から一部の領域を取り出し、小さい領域である 4つの縮小 Im^ をそれぞれ反復処理し、 4分割された分割区域をそれぞれ復元し、復元された 4つの分割画像を一つにすることで元の全体画像としても良い。なお、複数に分割する際、必ず複数領域に渡って重なる領域 (オーバーラップ領域）を持つようにするのが好ましい。また、各復元された画像のオーバーラップ領域は、平均値を使ったり、オーバーラップ領域で滑らかにつなぐなどの処理を行うようにするのが好ましい。

[0076] さらに、実際に図 3の処理方法を採用した場合、コントラストの急激な変化のある画像等については、良好な近似の復元画像への収束が遅いことが判明した。このように、元の画像である被写体の性質によっては、反復処理の収束スピードが遅ぐ反復回数を多くしなければならない場合がある。このような被写体の場合、次のような処理方法を採用すると、この問題を解決できると推定される。 [0077] その方法とは以下のとおりである。すなわち、コントラストの急激な変化のある被写体は、図 3に示す処理方法による復元の反復処理を使用し、元の画像に近似したものを得ようとすると、反復数が非常に多くなると共に多くの回数の処理を行った後も、元の被写体に近似する復元データ Io+nを生成できなレ、。そこで、撮影された原画像

(ブレ画像）のデータ Img' に、既知の画像のデータ Bから撮影時の変化要因情報のデータ Gを用いてブレ画像のデータ B'を生成し、そのデータ B'を重ね合わせ、「Img ' +B'」を作る。その後、重ね合わせた画像を図 3に示す処理にて復元処理し、その復元データ Io+nとなる結果データ Cから既知の加えた場像のデータ Bを取り去り、求めたレ、復元画像のデータ Imgを取り出す。

[0078] この方法では、正しい画像のデータ Imgは急激なコントラスト変化を含んでいるが、既知の画像のデータ Bをカ卩えることで、この急激なコントラスト変化を軽減することができ、復元処理の反復数を低減する事ができる。

[0079] また、復元の困難な被写体の処理方法および高速な処理方法として、他の処理方法も採用できる。たとえば、復元処理の反復数を多くすれば良好な復元画像により近づけることができる力処理に時間がかかる。そこで、ある程度の反復処理数で得られた画像を用いて、そこに含まれる誤差成分を算出し、誤差を含む復元画像から、算出した誤差を取り去ることで良好な復元画像すなわち復元データ Io+nを得ることができる。

[0080] この方法を具体的に以下に説明する。求めたい正しい画像を Aとし、撮影した原画像を A'とし、原画像 A'から復元した画像を A+ 5とし、その復元データから生成したブレた比較用データを A' + 5 'とする。この「Α' + δ '」に、撮影した原画像「Α'」を付加し、それを復元処理すると、 ΓΑ+ δ +Α+ δ + δ」となり、これは「2Α+ 3 δ」であり、また、「2 (Α+ ひ） + ひ」である。「Α+ δ」は前回の復元処理で求まっているので、「2 (Α+ δ ) + δ - 2 (Α+ δ )」が計算でき、「δ」が求まる。よって「Α+ δ」から「 δ」を取り去ることで、求めたい正しい画像 Αが得られる。

[0081] 以上説明した各処理方法、すなわち、（1)配分比 kを使用して差分のデータ δを配分する方法 (実施例方式)、（2)対応する画素の差分、または差分のデータ δを変倍する方法 (対応画素方式)、（3)劣化要因の重心を検出してその重心部分のデータを利用する方法 (重心方法）、（4)データを間引き、逆問題と組み合わせる方法 (逆問題間引き方法)、（5)縮小領域を取り出し、逆問題と組み合わせる方法 (逆題間領域取り出し方法）、（6)所定の画像を重ね合わせて反復処理し、その後、その所定の画像を取り去る方法（苦手画像対策重ね合わせ方法）、（7)誤差を含む復元画像から、算出した誤差を取り去る方法 (誤差取り出し方法）の各処理方法のプログラムを処理部 4に保存しておき、使用者の選択または画像の種類に応じて自動的に、処理方法を選択できるようにしても良レ、。

[0082] また、処理部 4は、変化要因情報のデータ Gを複数の種類の内のいずれかに分類付けし、その分類毎に違う処理（上述した各方法のいずれ力、 1つ）を行うようにしたり、また、その分類毎に、繰り返しの回数を異ならせるようにしても良い。

[0083] また、これら（1)〜（7)のいずれか複数を処理部 4に保存しておき、使用者の選択または画像の種類に応じて自動的に、処理方法を選択できるようにしても良レ、。また、これら 7つの方法のうちいずれか複数を選択し、 1ルーチンの度に交互または順番に利用したり、最初の数回はある方式で処理し、その後は他の方式で処理するようにしても良い。なお、信号処理装置 1は、上述した（1)〜（7)のいずれか 1つまたは複数の他に、それらとは異なる処理方法をも有するようにしても良レ、。

[0084] さらに、差分のデータ δを配分する際、配分比 kを使用して、差分のデータ δの一部を各画素 (各信号要素）に振り分けているが、 1未満の配分比 kで差分のデータ δ を割る、すなわち、配分比 kが 1を超えるようにして、戻し量を大幅とし、繰り返し処理の回数を大幅に削減するようにしても良い。

[0085] また、図 18に示すように、本発明は、画像処理装置以外にも適用できる。図 18は、信号処理装置 1およびその信号処理装置 1の処理部 4で行う処理方法（処理ノレーチン)を、一般の信号処理装置に展開できることを説明するための図である。線形システム 21において、この線形システム 21の劣化情報等の変化要因情報のデータ Gが既知であるとき、出力信号（出力情報)が同じであれば、入力信号 (入力情報）は同じであると考えられる。よって、信号データである出力信号（出力情報）が同じになるように、観測信号となる出力信号（出力情報)との差分のデータ δを入力信号へフィードバックし、差分のデータ δが充分小さくなるまで、図 3等に示す繰り返し処理 (反復処理)を行うことで、劣化等の変化前の信号データを復元することができる。

[0086] 図 18においては、音信号のような信号データを対象にして説明しており、線形システム 21は、変化要因情報のデータ Gが判明しているレコーダである。この例では、信号データとなる出力信号（図 18では、原信号のデータ Im ）と比較用データ Io+n ' (Ιο' )とが同じになるように、観測信号となる原信号のデータ Im （出力情報）と比較用データ (Io^r )との差である差分のデータ δを、入力信号となる初期信号 Ιοや復元データ Ιο+η へフィードバックし、差分のデータ δが充分小さくなるまで、図 3等に示す繰り返し処理 (反復処理)を行う。そして、出力信号 (原信号のデータ I mg )と比較用データ Io+ (Io^r )とが同じまたは極めて近似すれば、復元データ Io+nは、原信号のデータ Img' と推定することができる。

[0087] 図 18は、音などの信号を例にして、本発明の一般化を説明しているが、このように、変化要因情報のデータ Gが既知の線形システム 21を利用するものであれば、どのような装置であろうと、図 3に示すような繰り返し処理により、差分のデータ δを「0」に近似させることで、復元データ Io+nが得られる。たとえば、音声信号処理装置、地震波検知装置など画像以外の信号を扱う装置にも展開できる。

[0088] また、上述した各処理方法は、プログラム化されても良い。また、プログラム化されたものが記憶媒体、たとえば CD (Compact Disc)、 DVD、 USB (Universal Serial Bus) メモリに入れられ、コンピュータによって読みとり可能とされても良レ、。この場合、信号処理装置 1は、その記憶媒体内のプログラムを読み込む読み込み手段を持つこととなる。さらには、そのプログラム化されたものが信号処理装置 1の外部のサーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、信号処理装置 1は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。

Claims

請求の範囲

[1] 信号を処理する処理部を有する信号処理装置において、上記処理部は、信号変化の要因となる変化要因情報のデータを利用して、任意の信号のデータから比較用データを生成し、処理対象となる原信号のデータと上記比較用データとを比較し、得られた差分のデータを利用して復元データを生成し、この復元データを上記任意の信号データの代わりに使用し、同様の処理を繰り返すことで、変化する前の原信号に近似する復元データを生成する処理を行うことを特徴とする信号処理装置。

[2] 前記処理部は、前記繰り返しの処理の際、前記差分のデータが所定値以下または所定値より小さくなつたら、停止させる処理を行うことを特徴とする請求項 1記載の信号処理装置。

[3] 前記処理部は、前記繰り返しの処理の際、繰り返しの回数が所定回数となったら停止させる処理を行うことを特徴とする請求項 1記載の信号処理装置。

[4] 前記処理部は、前記繰り返しの処理の際、繰り返しの回数が所定回数に到達したときの前記差分のデータが所定値以下または所定値より小さい場合は停止し、所定値より超えるまたは所定値以上の場合は、さらに所定回数繰り返す処理を行うことを特徴とする請求項 1記載の信号処理装置。

[5] 信号を処理する処理部を有する信号処理装置において、上記処理部は、信号変化の要因となる変化要因情報のデータを利用して、所定の信号のデータから比較用データを生成し、処理対象となる信号が変化した原信号のデータと上記比較用データを比較し、得られた差分のデータが所定値以下または所定値より小さい場合は処理を停止し、上記比較用データの元となった上記所定の信号を上記原信号の変化前の信号として扱い、上記差分が所定値より大きいまたは所定値以上の場合は、上記差分のデータを利用して復元データを生成し、この復元データを上記所定の信号に置き換えて同様な処理を繰り返す処理を行うことを特徴とする信号処理装置。

[6] 前記処理部は、前記繰り返しの処理の際、繰り返しの回数が所定回数となったら停止させる処理を行うことを特徴とする請求項 5記載の信号処理装置。

[7] 前記変化要因情報を検知する検出部と、既知の変化要因情報を保存する要因情報保存部とを有することを特徴とする請求項 1から 6のいずれ力 1項記載の信号処理装置。

[8] 前記繰り返しの処理は、前記差分のデータが発散してきたら中止することを特徴とする請求項 1から 7のいずれか 1項記載の信号処理装置。

[9] 前記繰り返しの処理は、前記復元データ中に許容される数値以外の異常数値が含まれるときは、その処理を中止することを特徴とする請求項 1から 8のいずれ力、 1項記載の信号処理装置。

[10] 前記繰り返しの処理は、前記復元データ中に許容される数値以外の異常数値が含まれるときは、その異常数値を許容される数値に変更して処理を継続することを特徴とする請求項 1から 8のいずれか 1項記載の信号処理装置。

[11] 前記差分のデータを利用して前記復元データを生成する処理は、対応する信号要素の差分またはその差分を変倍して前記比較用データの対応する信号要素に加える処理としたことを特徴とする請求項 1から 10のいずれか 1項記載の信号処理装置。

[12] 前記差分のデータを利用して前記復元データを生成する処理は、前記変化要因情報のデータを利用して、前記任意の信号のデータまたは前記所定の信号のデータに、前記差分のデータを配分する処理としたことを特徴とする請求項 1から 10のいずれか 1項記載の信号処理装置。

[13] 前記処理部は、前記変化要因情報の重心をとり、その重心位置の信号要素の差分のデータまたはその変倍したデータを、前記任意の信号中または前記所定の信号中の復元対象となる信号要素に加える処理をすることを特徴とする請求項 12記載の信号処理装置。

[14] 前記処理部は、前記変化要因情報のデータを複数の種類の内のいずれかに分類付けし、その分類毎に違う処理を行うことを特徴とする請求項 12記載の信号処理装置。

[15] 前記処理部は、前記変化要因情報のデータを複数の種類の内のいずれかに分類付けし、その分類毎に、前記繰り返しの回数を異ならせることを特徴とする請求項 12 記載の信号処理装置。

[16] 前記復元データを生成する際、復元対象領域外となるデータが発生するときは、そのデータの発生位置の縦、横、または斜めのいずれか 1つの方向の反対側の位置の復元対象領域内に配置することを特徴とする請求項 1から 15のいずれ力 1項記載の信号処理装置。